23939a18564b0a125632bff2b64ca3d8138063dc
[csit.git] / resources / tools / presentation / specification.yaml
1 - type: "environment"
2
3   paths:
4     # Top level directories:
5     ## Working directory
6     DIR[WORKING]: "_tmp"
7     ## Build directories
8     DIR[BUILD,HTML]: "_build"
9     DIR[BUILD,LATEX]: "_build_latex"
10
11     # Static .rst files
12     DIR[RST]: "../../../docs/report"
13
14     # Working directories
15     ## Input data files (.zip, .xml)
16     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
17     ## Static source files from git
18     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
19     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
20
21     # Static html content
22     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
23     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
24     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
25     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
26
27     # Detailed test results
28     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
29     DIR[DTR,PERF,DPDK,3N,HSW]: "{DIR[DTR]}/dpdk_performance_results_3n_hsw"
30     DIR[DTR,PERF,DPDK,3N,SKX]: "{DIR[DTR]}/dpdk_performance_results_3n_skx"
31     DIR[DTR,PERF,DPDK,2N,SKX]: "{DIR[DTR]}/dpdk_performance_results_2n_skx"
32     DIR[DTR,PERF,DPDK,2N,ZN2]: "{DIR[DTR]}/dpdk_performance_results_2n_zn2"
33     DIR[DTR,PERF,DPDK,2N,CLX]: "{DIR[DTR]}/dpdk_performance_results_2n_clx"
34     DIR[DTR,PERF,DPDK,2N,DNV]: "{DIR[DTR]}/dpdk_performance_results_2n_dnv"
35     DIR[DTR,PERF,DPDK,3N,DNV]: "{DIR[DTR]}/dpdk_performance_results_3n_dnv"
36     DIR[DTR,PERF,DPDK,3N,TSH]: "{DIR[DTR]}/dpdk_performance_results_3n_tsh"
37     DIR[DTR,PERF,VPP,ALL]: "{DIR[DTR]}/vpp_performance_results"
38     DIR[DTR,PERF,VPP,3N,HSW]: "{DIR[DTR]}/vpp_performance_results_3n_hsw"
39     DIR[DTR,PERF,VPP,3N,SKX]: "{DIR[DTR]}/vpp_performance_results_3n_skx"
40     DIR[DTR,PERF,VPP,2N,SKX]: "{DIR[DTR]}/vpp_performance_results_2n_skx"
41     DIR[DTR,PERF,VPP,2N,ZN2]: "{DIR[DTR]}/vpp_performance_results_2n_zn2"
42     DIR[DTR,PERF,VPP,2N,CLX]: "{DIR[DTR]}/vpp_performance_results_2n_clx"
43     DIR[DTR,PERF,VPP,3N,TSH]: "{DIR[DTR]}/vpp_performance_results_3n_tsh"
44     DIR[DTR,PERF,VPP,3N,DNV]: "{DIR[DTR]}/vpp_performance_results_3n_dnv"
45     DIR[DTR,PERF,VPP,2N,DNV]: "{DIR[DTR]}/vpp_performance_results_2n_dnv"
46     DIR[DTR,MRR,VPP,ALL]: "{DIR[DTR]}/vpp_mrr_results"
47     DIR[DTR,MRR,VPP,3N,HSW]: "{DIR[DTR]}/vpp_mrr_results_3n_hsw"
48     DIR[DTR,MRR,VPP,3N,SKX]: "{DIR[DTR]}/vpp_mrr_results_3n_skx"
49     DIR[DTR,MRR,VPP,2N,SKX]: "{DIR[DTR]}/vpp_mrr_results_2n_skx"
50     DIR[DTR,MRR,VPP,2N,ZN2]: "{DIR[DTR]}/vpp_mrr_results_2n_zn2"
51     DIR[DTR,MRR,VPP,2N,CLX]: "{DIR[DTR]}/vpp_mrr_results_2n_clx"
52     DIR[DTR,MRR,VPP,3N,TSH]: "{DIR[DTR]}/vpp_mrr_results_3n_tsh"
53     DIR[DTR,MRR,VPP,3N,DNV]: "{DIR[DTR]}/vpp_mrr_results_3n_dnv"
54     DIR[DTR,MRR,VPP,2N,DNV]: "{DIR[DTR]}/vpp_mrr_results_2n_dnv"
55     DIR[DTR,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTR]}/vpp_device_results_ubuntu"
56
57     # Detailed test configurations
58     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
59     DIR[DTC,PERF,VPP,ALL]: "{DIR[DTC]}/vpp_performance_configuration"
60     DIR[DTC,PERF,VPP,3N,HSW]: "{DIR[DTC]}/vpp_performance_configuration_3n_hsw"
61     DIR[DTC,PERF,VPP,3N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_3n_skx"
62     DIR[DTC,PERF,VPP,2N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_2n_skx"
63     DIR[DTC,PERF,VPP,2N,ZN2]: "{DIR[DTC]}/vpp_performance_configuration_2n_zn2"
64     DIR[DTC,PERF,VPP,2N,CLX]: "{DIR[DTC]}/vpp_performance_configuration_2n_clx"
65     DIR[DTC,PERF,VPP,3N,TSH]: "{DIR[DTC]}/vpp_performance_configuration_3n_tsh"
66     DIR[DTC,PERF,VPP,3N,DNV]: "{DIR[DTC]}/vpp_performance_configuration_3n_dnv"
67     DIR[DTC,PERF,VPP,2N,DNV]: "{DIR[DTC]}/vpp_performance_configuration_2n_dnv"
68     DIR[DTC,MRR,VPP,ALL]: "{DIR[DTC]}/vpp_mrr_configuration"
69     DIR[DTC,MRR,VPP,3N,HSW]: "{DIR[DTC]}/vpp_mrr_configuration_3n_hsw"
70     DIR[DTC,MRR,VPP,3N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_3n_skx"
71     DIR[DTC,MRR,VPP,2N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_skx"
72     DIR[DTC,MRR,VPP,2N,ZN2]: "{DIR[DTC]}/vpp_mrr_configuration_2n_zn2"
73     DIR[DTC,MRR,VPP,2N,CLX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_clx"
74     DIR[DTC,MRR,VPP,3N,TSH]: "{DIR[DTC]}/vpp_mrr_configuration_3n_tsh"
75     DIR[DTC,MRR,VPP,3N,DNV]: "{DIR[DTC]}/vpp_mrr_configuration_3n_dnv"
76     DIR[DTC,MRR,VPP,2N,DNV]: "{DIR[DTC]}/vpp_mrr_configuration_2n_dnv"
77     DIR[DTC,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTC]}/vpp_device_configuration_ubuntu"
78
79     # Detailed tests operational data
80     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
81     DIR[DTO,PERF,VPP,ALL]: "{DIR[DTO]}/vpp_performance_operational_data"
82     DIR[DTO,PERF,VPP,3N,HSW]: "{DIR[DTO]}/vpp_performance_operational_data_3n_hsw"
83     DIR[DTO,PERF,VPP,3N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_3n_skx"
84     DIR[DTO,PERF,VPP,2N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_skx"
85     DIR[DTO,PERF,VPP,2N,ZN2]: "{DIR[DTO]}/vpp_performance_operational_data_2n_zn2"
86     DIR[DTO,PERF,VPP,2N,CLX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_clx"
87     DIR[DTO,PERF,VPP,3N,TSH]: "{DIR[DTO]}/vpp_performance_operational_data_3n_tsh"
88     DIR[DTO,PERF,VPP,3N,DNV]: "{DIR[DTO]}/vpp_performance_operational_data_3n_dnv"
89     DIR[DTO,PERF,VPP,2N,DNV]: "{DIR[DTO]}/vpp_performance_operational_data_2n_dnv"
90
91     # Latencies:
92     DIR[LAT,VPP]: "{DIR[WORKING,SRC]}/vpp_performance_tests/hdrh_packet_latency_by_percentile_graphs"
93     DIR[LAT,DPDK]: "{DIR[WORKING,SRC]}/dpdk_performance_tests/hdrh_packet_latency_by_percentile_graphs"
94
95     # .css patch file to fix tables generated by Sphinx
96     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
97     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
98
99   urls:
100     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
101     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
102     URL[NEXUS,LOG]: "https://logs.fd.io/production/vex-yul-rot-jenkins-1"
103     URL[NEXUS,DOC]: "https://docs.fd.io/csit"
104     DIR[NEXUS,DOC]: "report/_static/archive"
105
106   make-dirs:
107   # List the directories which are created while preparing the environment.
108   # All directories MUST be defined in "paths" section.
109   - "DIR[WORKING,DATA]"
110   - "DIR[STATIC,VPP]"
111   - "DIR[STATIC,DPDK]"
112   - "DIR[STATIC,ARCH]"
113   - "DIR[BUILD,LATEX]"
114   - "DIR[WORKING,SRC]"
115   - "DIR[WORKING,SRC,STATIC]"
116
117   remove-dirs:
118   # List the directories which are deleted while cleaning the environment.
119   # All directories MUST be defined in "paths" section.
120   #- "DIR[BUILD,HTML]"
121   - "DIR[WORKING,DATA]"
122
123   build-dirs:
124   # List the directories where the results (build) is stored.
125   # All directories MUST be defined in "paths" section.
126   - "DIR[BUILD,HTML]"
127   - "DIR[BUILD,LATEX]"
128
129 - type: "configuration"
130
131   mapping-file: "mapping_report.yaml"
132
133   limits:
134     nic:
135       x520: 24460000
136       x553: 29761905
137       x710: 35800000
138       xxv710: 35800000
139       xl710: 35800000
140       cx556a: 148809523.81
141
142     link:
143       10ge: 14880952.38
144       25ge: 37202380.95
145       40ge: 59523809.52
146       100ge: 148809523.81
147
148     pci:
149       pci-g3-x8: 74404761.90
150       pci-g3-x16: 148809523.81
151
152   data-sets:
153
154     ###########################################################################
155     # Plots:
156
157     # 3n-hsw
158
159     plot-vpp-throughput-lat-tsa-3n-hsw:
160       csit-vpp-perf-report-iterative-2009-3n-hsw:
161         - 21  # rls2009 NDRPDR iter env 5
162         - 22  # rls2009 NDRPDR iter env 5
163         - 24  # rls2009 NDRPDR iter env 5
164         - 25  # rls2009 NDRPDR iter env 5
165         - 26  # rls2009 NDRPDR iter env 5
166         - 27  # rls2009 NDRPDR iter env 5
167         - 28  # rls2009 NDRPDR iter env 5
168         - 29  # rls2009 NDRPDR iter env 5
169         - 30  # rls2009 NDRPDR iter env 5
170         - 31  # rls2009 NDRPDR iter env 5
171
172     plot-vpp-hdrh-lat-3n-hsw:
173       csit-vpp-perf-report-iterative-2009-3n-hsw:
174         - 22  # rls2009 NDRPDR iter env 5
175
176     plot-vpp-hoststack-3n-hsw:
177       csit-vpp-perf-report-iterative-2009-3n-hsw:
178         - 32  # rls2009 Hoststack iter env 5
179         - 33  # rls2009 Hoststack iter env 5
180         - 34  # rls2009 Hoststack iter env 5
181         - 35  # rls2009 Hoststack iter env 5
182         - 36  # rls2009 Hoststack iter env 5
183         - 37  # rls2009 Hoststack iter env 5
184         - 38  # rls2009 Hoststack iter env 5
185         - 39  # rls2009 Hoststack iter env 5
186         - 40  # rls2009 Hoststack iter env 5
187         - 41  # rls2009 Hoststack iter env 5
188
189     plot-dpdk-throughput-latency-3n-hsw:
190       csit-dpdk-perf-report-iterative-2009-3n-hsw:
191         - 6   # NDRPDR iter env5
192         - 7   # NDRPDR iter env5
193         - 8   # NDRPDR iter env5
194         - 9   # NDRPDR iter env5
195         - 10  # NDRPDR iter env5
196         - 11  # NDRPDR iter env5
197         - 12  # NDRPDR iter env5
198         - 13  # NDRPDR iter env5
199         - 14  # NDRPDR iter env5
200         - 15  # NDRPDR iter env5
201
202     plot-dpdk-hdrh-lat-3n-hsw:
203       csit-dpdk-perf-report-iterative-2009-3n-hsw:
204         - 6   # NDRPDR iter env5
205
206     # 3n-skx
207
208     plot-vpp-throughput-lat-tsa-3n-skx:
209       csit-vpp-perf-report-iterative-2009-3n-skx:
210         - 26  # rls2009 NDRPDR iter env 5
211         - 27  # rls2009 NDRPDR iter env 5
212         - 28  # rls2009 NDRPDR iter env 5
213         - 29  # rls2009 NDRPDR iter env 5
214         - 35  # rls2009 NDRPDR iter env 5
215         - 36  # rls2009 NDRPDR iter env 5
216         - 37  # rls2009 NDRPDR iter env 5
217         - 38  # rls2009 NDRPDR iter env 5
218         - 39  # rls2009 NDRPDR iter env 5
219         - 40  # rls2009 NDRPDR iter env 5
220
221     plot-vpp-hdrh-lat-3n-skx:
222       csit-vpp-perf-report-iterative-2009-3n-skx:
223         - 27  # rls2009 NDRPDR iter env 5
224
225 #    plot-vpp-nfv-3n-skx-ndrpdr:
226 #      # No data
227 #      csit-vpp-perf-report-iterative-2009-3n-skx:
228
229 #    plot-vpp-nfv-3n-skx-mrr:
230 #      # No data
231 #      csit-vpp-perf-report-iterative-2009-3n-skx:
232
233     plot-dpdk-throughput-latency-3n-skx:
234       csit-dpdk-perf-report-iterative-2009-3n-skx:
235         - 4   # NDRPDR sel env5
236         - 5   # NDRPDR sel env5
237         - 6   # NDRPDR sel env5
238         - 7   # NDRPDR sel env5
239         - 8   # NDRPDR sel env5
240         - 9   # NDRPDR sel env5
241         - 14  # NDRPDR sel env5
242         - 11  # NDRPDR sel env5
243         - 12  # NDRPDR sel env5
244         - 13  # NDRPDR sel env5
245
246     plot-dpdk-hdrh-lat-3n-skx:
247       csit-dpdk-perf-report-iterative-2009-3n-skx:
248         - 4   # NDRPDR sel env5
249
250     # 2n-skx
251
252     plot-vpp-throughput-lat-tsa-2n-skx:
253       csit-vpp-perf-report-iterative-2009-2n-skx:
254         - 35  # rls2009 NDRPDR iter env 5
255         - 36  # rls2009 NDRPDR iter env 5
256         - 37  # rls2009 NDRPDR iter env 5
257         - 39  # rls2009 NDRPDR iter env 5
258         - 40  # rls2009 NDRPDR iter env 5
259         - 42  # rls2009 NDRPDR iter env 5
260         - 43  # rls2009 NDRPDR iter env 5
261         - 44  # rls2009 NDRPDR iter env 5
262         - 46  # rls2009 NDRPDR iter env 5
263         - 48  # rls2009 NDRPDR iter env 5
264         - 110 # rls2009 NDRPDR iter NAT44 env 5
265         - 111 # rls2009 NDRPDR iter NAT44 env 5
266         - 112 # rls2009 NDRPDR iter NAT44 env 5
267         - 113 # rls2009 NDRPDR iter NAT44 env 5
268         - 114 # rls2009 NDRPDR iter NAT44 env 5
269         - 115 # rls2009 NDRPDR iter NAT44 env 5
270         - 116 # rls2009 NDRPDR iter NAT44 env 5
271         - 118 # rls2009 NDRPDR iter NAT44 env 5
272         - 119 # rls2009 NDRPDR iter NAT44 env 5
273         - 121 # rls2009 NDRPDR iter NAT44 env 5
274
275     plot-vpp-hdrh-lat-2n-skx:
276       csit-vpp-perf-report-iterative-2009-2n-skx:
277         - 35  # rls2009 NDRPDR iter env 5
278
279     plot-vpp-hdrh-lat-2n-skx-nat44:
280       csit-vpp-perf-report-iterative-2009-2n-skx:
281         - 110 # rls2009 NDRPDR iter NAT44 env 5
282
283     plot-vpp-soak-2n-skx:
284       csit-vpp-perf-report-iterative-2009-2n-skx:
285         - 33  # rls2009 soak env 5
286         - 34  # rls2009 soak env 5
287
288     plot-vpp-nfv-2n-skx-ndrpdr:
289       csit-vpp-perf-report-iterative-2009-2n-skx:
290         - 38  # rls2009 nf-density iter env 5
291         - 41  # rls2009 nf-density iter env 5
292         - 45  # rls2009 nf-density iter env 5
293         - 47  # rls2009 nf-density iter env 5
294         - 49  # rls2009 nf-density iter env 5
295         - 63  # rls2009 nf-density iter env 5
296         - 65  # rls2009 nf-density iter env 5
297         - 66  # rls2009 nf-density iter env 5
298         - 71  # rls2009 nf-density iter env 5
299         - 72  # rls2009 nf-density iter env 5
300
301     plot-vpp-nfv-2n-skx-mrr:
302       csit-vpp-perf-report-iterative-2009-2n-skx:
303         - 50  # rls2009 MRR nf-density iter env 5
304
305     plot-vpp-nfv-reconf-2n-skx:
306       csit-vpp-perf-report-iterative-2009-2n-skx:
307         - 27  # rls2009 reconf env 5
308         - 28  # rls2009 reconf env 5
309         - 29  # rls2009 reconf env 5
310         - 30  # rls2009 reconf env 5
311         - 31  # rls2009 reconf env 5
312         - 32  # rls2009 reconf env 5
313         - 61  # rls2009 reconf env 5
314         - 62  # rls2009 reconf env 5
315         - 68  # rls2009 reconf env 5
316         - 70  # rls2009 reconf env 5
317
318     plot-dpdk-throughput-latency-2n-skx:
319       csit-dpdk-perf-report-iterative-2009-2n-skx:
320         - 4   # NDRPDR iter env5
321         - 5   # NDRPDR iter env5
322         - 6   # NDRPDR iter env5
323         - 7   # NDRPDR iter env5
324         - 8   # NDRPDR iter env5
325         - 9   # NDRPDR iter env5
326         - 10  # NDRPDR iter env5
327         - 11  # NDRPDR iter env5
328         - 12  # NDRPDR iter env5
329         - 13  # NDRPDR iter env5
330
331     plot-dpdk-hdrh-lat-2n-skx:
332       csit-dpdk-perf-report-iterative-2009-2n-skx:
333         - 4   # NDRPDR iter env5
334
335     # 2n-zn2
336
337     plot-vpp-throughput-lat-tsa-2n-zn2-turbo:
338       csit-vpp-perf-report-iterative-2009-2n-zn2:
339         - 3   # rls2009 NDRPDR turbo iter env 5
340         - 4   # rls2009 NDRPDR turbo iter env 5
341         - 6   # rls2009 NDRPDR turbo iter env 5
342         - 7   # rls2009 NDRPDR turbo iter env 5
343         - 8   # rls2009 NDRPDR turbo iter env 5
344         - 9   # rls2009 NDRPDR turbo iter env 5
345         - 10  # rls2009 NDRPDR turbo iter env 5
346         - 11  # rls2009 NDRPDR turbo iter env 5
347
348     plot-vpp-hdrh-lat-2n-zn2-turbo:
349       csit-vpp-perf-report-iterative-2009-2n-zn2:
350         - 3   # rls2009 NDRPDR turbo iter env 5
351
352     plot-dpdk-throughput-latency-2n-zn2-turbo:
353       csit-dpdk-perf-report-iterative-2009-2n-zn2:
354         - 1   # NDRPDR turbo iter env5
355
356     plot-dpdk-hdrh-lat-2n-zn2-turbo:
357       csit-dpdk-perf-report-iterative-2009-2n-zn2:
358         - 1   # NDRPDR turbo iter env5
359
360     plot-vpp-throughput-lat-tsa-2n-zn2:
361       csit-vpp-perf-report-iterative-2009-2n-zn2:
362         - 17  # rls2009 NDRPDR iter env 5
363         - 18  # rls2009 NDRPDR iter env 5
364         - 31  # rls2009 NDRPDR iter env 5
365         - 33  # rls2009 NDRPDR iter env 5
366
367     plot-vpp-hdrh-lat-2n-zn2:
368       csit-vpp-perf-report-iterative-2009-2n-zn2:
369         - 18  # rls2009 NDRPDR iter env 5
370
371     plot-dpdk-throughput-latency-2n-zn2:
372       csit-dpdk-perf-report-iterative-2009-2n-zn2:
373         - 16  # NDRPDR iter env5
374         - 21  # NDRPDR iter env5
375         - 22  # NDRPDR iter env5
376         - 23  # NDRPDR iter env5
377         - 24  # NDRPDR iter env5
378         - 25  # NDRPDR iter env5
379         - 29  # NDRPDR iter env5
380
381     plot-dpdk-hdrh-lat-2n-zn2:
382       csit-dpdk-perf-report-iterative-2009-2n-zn2:
383         - 16  # NDRPDR iter env5
384
385     # 2n-clx
386
387     plot-vpp-throughput-lat-tsa-2n-clx:
388       csit-vpp-perf-report-iterative-2009-2n-clx:
389         - 36  # rls2009 NDRPDR iter env 5
390         - 39  # rls2009 NDRPDR iter env 5
391         - 40  # rls2009 NDRPDR iter env 5
392         - 65  # rls2009 NDRPDR iter env 5
393         - 66  # rls2009 NDRPDR iter env 5
394         - 79  # rls2009 NDRPDR iter env 5
395         - 82  # rls2009 NDRPDR iter env 5
396         - 88  # rls2009 NDRPDR iter env 5
397         - 89  # rls2009 NDRPDR iter env 5
398         - 90  # rls2009 NDRPDR iter env 5
399         - 114 # rls2009 NDRPDR iter NAT44 env 5
400         - 115 # rls2009 NDRPDR iter NAT44 env 5
401         - 116 # rls2009 NDRPDR iter NAT44 env 5
402         - 117 # rls2009 NDRPDR iter NAT44 env 5
403         - 118 # rls2009 NDRPDR iter NAT44 env 5
404         - 119 # rls2009 NDRPDR iter NAT44 env 5
405         - 121 # rls2009 NDRPDR iter NAT44 env 5
406         - 122 # rls2009 NDRPDR iter NAT44 env 5
407         - 123 # rls2009 NDRPDR iter NAT44 env 5
408         - 126 # rls2009 NDRPDR iter NAT44 env 5
409
410     plot-vpp-hdrh-lat-2n-clx:
411       csit-vpp-perf-report-iterative-2009-2n-clx:
412         - 36  # rls2009 NDRPDR iter env 5
413
414     plot-vpp-hdrh-lat-2n-clx-nat44:
415       csit-vpp-perf-report-iterative-2009-2n-clx:
416         - 123 # rls2009 NDRPDR iter NAT44 env 5
417
418     plot-vpp-nfv-2n-clx-ndrpdr:
419       csit-vpp-perf-report-iterative-2009-2n-clx:
420         - 37  # rls2009 nf-density iter env 5
421         - 43  # rls2009 nf-density iter env 5
422         - 69  # rls2009 nf-density iter env 5
423         - 70  # rls2009 nf-density iter env 5
424         - 71  # rls2009 nf-density iter env 5
425         - 72  # rls2009 nf-density iter env 5
426         - 73  # rls2009 nf-density iter env 5
427         - 74  # rls2009 nf-density iter env 5
428         - 75  # rls2009 nf-density iter env 5
429         - 76  # rls2009 nf-density iter env 5
430
431     plot-vpp-nfv-2n-clx-mrr:
432       csit-vpp-perf-report-iterative-2009-2n-clx:
433         - 45  # rls2009 MRR nf-density iter env 5
434
435     plot-vpp-nfv-reconf-2n-clx:
436       csit-vpp-perf-report-iterative-2009-2n-clx:
437         - 25  # rls2009 reconf env 5
438         - 27  # rls2009 reconf env 5
439         - 28  # rls2009 reconf env 5
440         - 29  # rls2009 reconf env 5
441         - 30  # rls2009 reconf env 5
442         - 30  # rls2009 reconf env 5
443         - 32  # rls2009 reconf env 5
444         - 48  # rls2009 reconf env 5
445         - 53  # rls2009 reconf env 5
446         - 68  # rls2009 reconf env 5
447
448     plot-vpp-soak-2n-clx:
449       csit-vpp-perf-report-iterative-2009-2n-clx:
450         - 33  # rls2009 soak env 5
451         - 34  # rls2009 soak env 5
452
453     plot-dpdk-throughput-latency-2n-clx:
454       csit-dpdk-perf-report-iterative-2009-2n-clx:
455         - 4   # NDRPDR iter env5
456         - 5   # NDRPDR iter env5
457         - 6   # NDRPDR iter env5
458         - 7   # NDRPDR iter env5
459         - 8   # NDRPDR iter env5
460         - 9   # NDRPDR iter env5
461         - 10  # NDRPDR iter env5
462         - 11  # NDRPDR iter env5
463         - 12  # NDRPDR iter env5
464         - 13  # NDRPDR iter env5
465
466     plot-dpdk-hdrh-lat-2n-clx:
467       csit-dpdk-perf-report-iterative-2009-2n-clx:
468         - 4   # NDRPDR iter env5
469
470     # 3n-tsh
471
472     plot-vpp-throughput-lat-tsa-3n-tsh:
473       csit-vpp-perf-report-iterative-2009-3n-tsh:
474         - 14  # rls2009 NDRPDR iter env 5
475         - 20  # rls2009 NDRPDR iter env 5
476         - 21  # rls2009 NDRPDR iter env 5
477         - 22  # rls2009 NDRPDR iter env 5
478         - 23  # rls2009 NDRPDR iter env 5
479         - 28  # rls2009 NDRPDR iter env 5
480         - 30  # rls2009 NDRPDR iter env 5
481         - 33  # rls2009 NDRPDR iter env 5
482         - 38  # rls2009 NDRPDR iter env 5
483         - 41  # rls2009 NDRPDR iter env 5
484
485     plot-vpp-hdrh-lat-3n-tsh:
486       csit-vpp-perf-report-iterative-2009-3n-tsh:
487         - 14  # rls2009 NDRPDR iter env 5
488
489     plot-dpdk-throughput-latency-3n-tsh:
490       csit-dpdk-perf-report-iterative-2009-3n-tsh:
491         - 1   # NDRPDR iter env5
492         - 2   # NDRPDR iter env5
493         - 3   # NDRPDR iter env5
494         - 4   # NDRPDR iter env5
495         - 5   # NDRPDR iter env5
496         - 6   # NDRPDR iter env5
497         - 7   # NDRPDR iter env5
498         - 9   # NDRPDR iter env5
499         - 10  # NDRPDR iter env5
500         - 11  # NDRPDR iter env5
501
502     plot-dpdk-hdrh-lat-3n-tsh:
503       csit-dpdk-perf-report-iterative-2009-3n-tsh:
504         - 1   # NDRPDR iter env5
505
506     # 3n-dnv
507
508     plot-vpp-throughput-lat-tsa-3n-dnv:
509       csit-vpp-perf-report-iterative-2009-3n-dnv:
510         - 3   # rls2009 NDRPDR iter env 5
511         - 6   # rls2009 NDRPDR iter env 5
512         - 7   # rls2009 NDRPDR iter env 5
513         - 8   # rls2009 NDRPDR iter env 5
514         - 10  # rls2009 NDRPDR iter env 5
515         - 11  # rls2009 NDRPDR iter env 5
516         - 12  # rls2009 NDRPDR iter env 5
517         - 14  # rls2009 NDRPDR iter env 5
518         - 15  # rls2009 NDRPDR iter env 5
519         - 24  # rls2009 NDRPDR iter env 5
520
521 #    plot-dpdk-throughput-latency-3n-dnv:
522 #      # No data
523 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
524
525     # 2n-dnv
526
527     plot-vpp-throughput-lat-tsa-2n-dnv:
528       csit-vpp-perf-report-iterative-2009-2n-dnv:
529         - 3   # rls2009 NDRPDR iter env 5
530         - 5   # rls2009 NDRPDR iter env 5
531         - 6   # rls2009 NDRPDR iter env 5
532         - 7   # rls2009 NDRPDR iter env 5
533         - 9   # rls2009 NDRPDR iter env 5
534         - 10  # rls2009 NDRPDR iter env 5
535         - 11  # rls2009 NDRPDR iter env 5
536         - 12  # rls2009 NDRPDR iter env 5
537         - 14  # rls2009 NDRPDR iter env 5
538         - 15  # rls2009 NDRPDR iter env 5
539
540 #    plot-dpdk-throughput-latency-2n-dnv:
541 #      # No data
542 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
543
544     ###########################################################################
545     # Simple tables (only one data set):
546
547     # NIC Comparisons
548
549     vpp-nic-comparison-3n-skx:
550       csit-vpp-perf-report-iterative-2009-3n-skx:
551         - 26  # rls2009 NDRPDR iter env 5
552         - 27  # rls2009 NDRPDR iter env 5
553         - 28  # rls2009 NDRPDR iter env 5
554         - 29  # rls2009 NDRPDR iter env 5
555         - 35  # rls2009 NDRPDR iter env 5
556         - 36  # rls2009 NDRPDR iter env 5
557         - 37  # rls2009 NDRPDR iter env 5
558         - 38  # rls2009 NDRPDR iter env 5
559         - 39  # rls2009 NDRPDR iter env 5
560         - 40  # rls2009 NDRPDR iter env 5
561
562     vpp-nic-comparison-2n-skx:
563       csit-vpp-perf-report-iterative-2009-2n-skx:
564         - 35  # rls2009 NDRPDR iter env 5
565         - 36  # rls2009 NDRPDR iter env 5
566         - 37  # rls2009 NDRPDR iter env 5
567         - 39  # rls2009 NDRPDR iter env 5
568         - 40  # rls2009 NDRPDR iter env 5
569         - 42  # rls2009 NDRPDR iter env 5
570         - 43  # rls2009 NDRPDR iter env 5
571         - 44  # rls2009 NDRPDR iter env 5
572         - 46  # rls2009 NDRPDR iter env 5
573         - 48  # rls2009 NDRPDR iter env 5
574         - 110 # rls2009 NDRPDR iter NAT44 env 5
575         - 111 # rls2009 NDRPDR iter NAT44 env 5
576         - 112 # rls2009 NDRPDR iter NAT44 env 5
577         - 113 # rls2009 NDRPDR iter NAT44 env 5
578         - 114 # rls2009 NDRPDR iter NAT44 env 5
579         - 115 # rls2009 NDRPDR iter NAT44 env 5
580         - 116 # rls2009 NDRPDR iter NAT44 env 5
581         - 118 # rls2009 NDRPDR iter NAT44 env 5
582         - 119 # rls2009 NDRPDR iter NAT44 env 5
583         - 121 # rls2009 NDRPDR iter NAT44 env 5
584
585     vpp-nic-comparison-3n-skx-mrr:
586       csit-vpp-perf-report-iterative-2009-3n-skx:
587         - 24  # rls2009 MRR iter env 5
588
589     vpp-nic-comparison-2n-skx-mrr:
590       csit-vpp-perf-report-iterative-2009-2n-skx:
591         - 120 # rls2009 MRR iter env 5
592
593     # Results
594
595     vpp-perf-results-3n-hsw:
596       csit-vpp-perf-report-coverage-2009-3n-hsw:
597         - 3   # rls2009 NDRPDR cov 3n-hsw-crypto-00
598         - 4   # rls2009 NDRPDR cov 3n-hsw-crypto-01
599         - 5   # rls2009 NDRPDR cov 3n-hsw-crypto-02
600         - 6   # rls2009 NDRPDR cov 3n-hsw-crypto-03
601         - 7   # rls2009 NDRPDR cov 3n-hsw-ip4-00
602         - 8   # rls2009 NDRPDR cov 3n-hsw-ip4-01
603         - 9   # rls2009 NDRPDR cov 3n-hsw-ip4-02
604         - 10  # rls2009 NDRPDR cov 3n-hsw-ip4-03
605         - 11  # rls2009 NDRPDR cov 3n-hsw-ip4-04
606         - 12  # rls2009 NDRPDR cov 3n-hsw-ip4-05
607         - 13  # rls2009 NDRPDR cov 3n-hsw-ip4-06
608         - 14  # rls2009 NDRPDR cov 3n-hsw-ip4-07
609         - 15  # rls2009 NDRPDR cov 3n-hsw-ip4tun-00
610         - 16  # rls2009 NDRPDR cov 3n-hsw-ip4tun-01
611         - 17  # rls2009 NDRPDR cov 3n-hsw-ip4tun-02
612         - 18  # rls2009 NDRPDR cov 3n-hsw-ip6-00
613         - 19  # rls2009 NDRPDR cov 3n-hsw-ip6-01
614         - 20  # rls2009 NDRPDR cov 3n-hsw-ip6tun-00
615         - 21  # rls2009 NDRPDR cov 3n-hsw-l2-00
616         - 22  # rls2009 NDRPDR cov 3n-hsw-l2-01
617         - 23  # rls2009 NDRPDR cov 3n-hsw-l2-01
618         - 24  # rls2009 NDRPDR cov 3n-hsw-l2-03
619         - 25  # rls2009 NDRPDR cov 3n-hsw-l2-04
620         - 26  # rls2009 NDRPDR cov 3n-hsw-l2-05
621         - 27  # rls2009 NDRPDR cov 3n-hsw-l2-06
622         - 28  # rls2009 NDRPDR cov 3n-hsw-l2-07
623         - 29  # rls2009 NDRPDR cov 3n-hsw-l2-08
624         - 30  # rls2009 NDRPDR cov 3n-hsw-l2-09
625         - 31  # rls2009 NDRPDR cov 3n-hsw-l2-10
626         - 32  # rls2009 NDRPDR cov 3n-hsw-memif-00
627         - 33  # rls2009 NDRPDR cov 3n-hsw-srv6-00
628         - 34  # rls2009 NDRPDR cov 3n-hsw-srv6-01
629         - 35  # rls2009 NDRPDR cov 3n-hsw-vhost-00
630         - 36  # rls2009 NDRPDR cov 3n-hsw-vhost-01
631         - 37  # rls2009 NDRPDR cov 3n-hsw-vhost-02
632
633     vpp-perf-results-3n-skx:
634       csit-vpp-perf-report-coverage-2009-3n-skx:
635         - 36  # rls2009 NDRPDR cov 3n-skx-crypto-00
636         - 3   # rls2009 NDRPDR cov 3n-skx-crypto-01
637         - 4   # rls2009 NDRPDR cov 3n-skx-crypto-02
638         - 37  # rls2009 NDRPDR cov 3n-skx-crypto-03
639         - 6   # rls2009 NDRPDR cov 3n-skx-ip4-00
640         - 7   # rls2009 NDRPDR cov 3n-skx-ip4-01
641         - 8   # rls2009 NDRPDR cov 3n-skx-ip4-02
642         - 9   # rls2009 NDRPDR cov 3n-skx-ip4-03
643         - 10  # rls2009 NDRPDR cov 3n-skx-ip4-04
644         - 38  # rls2009 NDRPDR cov 3n-skx-ip4-05
645         - 12  # rls2009 NDRPDR cov 3n-skx-ip4-06
646         - 39  # rls2009 NDRPDR cov 3n-skx-ip4-07
647         - 14  # rls2009 NDRPDR cov 3n-skx-ip4tun-00
648         - 15  # rls2009 NDRPDR cov 3n-skx-ip4tun-01
649         - 16  # rls2009 NDRPDR cov 3n-skx-ip4tun-02
650         - 40  # rls2009 NDRPDR cov 3n-skx-ip6-00
651         - 18  # rls2009 NDRPDR cov 3n-skx-ip6-01
652         - 19  # rls2009 NDRPDR cov 3n-skx-ip6tun-00
653         - 20  # rls2009 NDRPDR cov 3n-skx-l2-00
654         - 21  # rls2009 NDRPDR cov 3n-skx-l2-01
655         - 22  # rls2009 NDRPDR cov 3n-skx-l2-02
656         - 23  # rls2009 NDRPDR cov 3n-skx-l2-03
657         - 24  # rls2009 NDRPDR cov 3n-skx-l2-04
658         - 41  # rls2009 NDRPDR cov 3n-skx-l2-05
659         - 42  # rls2009 NDRPDR cov 3n-skx-l2-06
660         - 43  # rls2009 NDRPDR cov 3n-skx-l2-07
661         - 28  # rls2009 NDRPDR cov 3n-skx-l2-08
662         - 44  # rls2009 NDRPDR cov 3n-skx-l2-09
663         - 45  # rls2009 NDRPDR cov 3n-skx-l2-10
664         - 46  # rls2009 NDRPDR cov 3n-skx-memif-00
665         - 47  # rls2009 NDRPDR cov 3n-skx-srv6-00
666         - 48  # rls2009 NDRPDR cov 3n-skx-srv6-01
667         - 49  # rls2009 NDRPDR cov 3n-skx-vhost-00
668         - 50  # rls2009 NDRPDR cov 3n-skx-vhost-01
669         - 51  # rls2009 NDRPDR cov 3n-skx-vhost-02
670         - 54  # rls2009 NDRPDR cov 3n-skx-vhost-03
671
672     vpp-perf-results-2n-skx:
673       csit-vpp-perf-report-coverage-2009-2n-skx:
674         - 18  # rls2009 NDRPDR cov 2n-skx-ip4-00
675         - 19  # rls2009 NDRPDR cov 2n-skx-ip4-01
676         - 10  # rls2009 NDRPDR cov 2n-skx-ip4-02
677         - 20  # rls2009 NDRPDR cov 2n-skx-ip4-03
678         - 21  # rls2009 NDRPDR cov 2n-skx-ip4-04
679         - 31  # rls2009 NDRPDR cov 2n-skx-ip4-05
680         - 32  # rls2009 NDRPDR cov 2n-skx-ip4-06
681         - 33  # rls2009 NDRPDR cov 2n-skx-ip4-07
682         - 22  # rls2009 NDRPDR cov 2n-skx-ip6-00
683         - 23  # rls2009 NDRPDR cov 2n-skx-ip6-01
684         - 24  # rls2009 NDRPDR cov 2n-skx-l2-00
685         - 25  # rls2009 NDRPDR cov 2n-skx-l2-01
686         - 26  # rls2009 NDRPDR cov 2n-skx-lb-00
687         - 27  # rls2009 NDRPDR cov 2n-skx-memif-00
688         - 28  # rls2009 NDRPDR cov 2n-skx-vhost-00
689         - 29  # rls2009 NDRPDR cov 2n-skx-vhost-01
690         - 30  # rls2009 NDRPDR cov 2n-skx-vts-00
691
692     vpp-perf-results-2n-zn2:
693       csit-vpp-perf-report-iterative-2009-2n-zn2:
694         - 18  # rls2009 NDRPDR iter env 5
695
696     vpp-perf-results-2n-clx:
697       csit-vpp-perf-report-coverage-2009-2n-clx:
698         - 2   # rls2009 NDRPDR cov 2n-clx-ip4-00
699         - 3   # rls2009 NDRPDR cov 2n-clx-ip4-01
700         - 4   # rls2009 NDRPDR cov 2n-clx-ip4-02
701         - 5   # rls2009 NDRPDR cov 2n-clx-ip4-03
702         - 6   # rls2009 NDRPDR cov 2n-clx-ip4-04
703         - 23  # rls2009 NDRPDR cov 2n-clx-ip4-05
704         - 24  # rls2009 NDRPDR cov 2n-clx-ip4-06
705         - 25  # rls2009 NDRPDR cov 2n-clx-ip4-07
706         - 22  # rls2009 NDRPDR cov 2n-clx-ip6-00
707         - 9   # rls2009 NDRPDR cov 2n-clx-ip6-01
708         - 17  # rls2009 NDRPDR cov 2n-clx-l2-00
709         - 21  # rls2009 NDRPDR cov 2n-clx-l2-01
710         - 12  # rls2009 NDRPDR cov 2n-clx-lb-00
711         - 13  # rls2009 NDRPDR cov 2n-clx-memif-00
712         - 14  # rls2009 NDRPDR cov 2n-clx-vhost-00
713         - 15  # rls2009 NDRPDR cov 2n-clx-vhost-01
714         - 16  # rls2009 NDRPDR cov 2n-clx-vts-00
715
716     vpp-perf-results-3n-tsh:
717       csit-vpp-perf-report-iterative-2009-3n-tsh:
718         - 14  # rls2009 NDRPDR iter env 5
719
720     vpp-perf-results-3n-dnv:
721       csit-vpp-perf-report-coverage-2009-3n-dnv:
722         - 10  # rls2009 NDRPDR cov 3n-dnv-crypto-00
723         - 2   # rls2009 NDRPDR cov 3n-dnv-crypto-01
724         - 11  # rls2009 NDRPDR cov 3n-dnv-ip4-00
725         - 12  # rls2009 NDRPDR cov 3n-dnv-ip4-01
726         - 13  # rls2009 NDRPDR cov 3n-dnv-ip4tun-00
727         - 14  # rls2009 NDRPDR cov 3n-dnv-ip6-00
728         - 15  # rls2009 NDRPDR cov 3n-dnv-ip6-01
729         - 16  # rls2009 NDRPDR cov 3n-dnv-l2-00
730         - 17  # rls2009 NDRPDR cov 3n-dnv-l2-01
731
732     vpp-perf-results-2n-dnv:
733       csit-vpp-perf-report-coverage-2009-2n-dnv:
734         - 2   # rls2009 NDRPDR cov 2n-dnv-ip4-00
735         - 3   # rls2009 NDRPDR cov 2n-dnv-ip4-01
736         - 4   # rls2009 NDRPDR cov 2n-dnv-ip6-00
737         - 5   # rls2009 NDRPDR cov 2n-dnv-ip6-01
738         - 6   # rls2009 NDRPDR cov 2n-dnv-l2-00
739         - 7   # rls2009 NDRPDR cov 2n-dnv-l2-01
740
741     vpp-mrr-results-3n-hsw:
742       csit-vpp-perf-report-iterative-2009-3n-hsw:
743         - 23  # rls2009 MRR iter env 5
744
745     vpp-mrr-results-3n-skx:
746       csit-vpp-perf-report-iterative-2009-3n-skx:
747         - 24  # rls2009 MRR iter env 5
748
749     vpp-mrr-results-2n-skx:
750       csit-vpp-perf-report-iterative-2009-2n-skx:
751         - 120 # rls2009 MRR iter env 5
752
753     vpp-mrr-results-2n-zn2:
754       csit-vpp-perf-report-iterative-2009-2n-zn2:
755         - 15  # rls2009 MRR iter env 5
756
757     vpp-mrr-results-2n-clx:
758       csit-vpp-perf-report-iterative-2009-2n-clx:
759         - 125 # rls2009 MRR iter env 5
760
761     vpp-mrr-results-3n-tsh:
762       csit-vpp-perf-report-iterative-2009-3n-tsh:
763         - 15  # rls2009 MRR iter env 5
764
765     vpp-mrr-results-3n-dnv:
766       csit-vpp-perf-report-iterative-2009-3n-dnv:
767         - 22  # rls2009 MRR iter env 5
768
769     vpp-mrr-results-2n-dnv:
770       csit-vpp-perf-report-iterative-2009-2n-dnv:
771         - 13  # rls2009 MRR iter env 5
772
773     vpp-device-results-ubuntu:
774       csit-vpp-device-2009-ubuntu1804-1n-skx:
775         - 131 # rls2009 env 5
776
777     dpdk-perf-results-3n-hsw:
778       csit-dpdk-perf-report-iterative-2009-3n-hsw:
779         - 6   # NDRPDR iter env5
780
781     dpdk-perf-results-3n-skx:
782       csit-dpdk-perf-report-iterative-2009-3n-skx:
783         - 4   # NDRPDR sel env5
784
785     dpdk-perf-results-2n-skx:
786       csit-dpdk-perf-report-iterative-2009-2n-skx:
787         - 4   # NDRPDR iter env5
788
789     dpdk-perf-results-2n-zn2:
790       csit-dpdk-perf-report-iterative-2009-2n-zn2:
791         - 16  # NDRPDR iter env5
792
793     dpdk-perf-results-2n-clx:
794       csit-dpdk-perf-report-iterative-2009-2n-clx:
795         - 4   # NDRPDR iter env5
796
797 #    dpdk-perf-results-2n-dnv:
798 #      # No data
799 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
800
801 #    dpdk-perf-results-3n-dnv:
802 #      # No data
803 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
804
805     dpdk-perf-results-3n-tsh:
806       csit-dpdk-perf-report-iterative-2009-3n-tsh:
807         - 1   # NDRPDR iter env5
808
809 ###########################################################################
810     # Tables (more than one data set)
811
812     # Performance changes
813
814     vpp-performance-changes-3n-hsw-h1:
815       csit-vpp-perf-report-iterative-2005-3n-hsw:
816         - 31  # NDRPDR sel 2001.0-4
817         - 32  # NDRPDR sel 2001.0-4
818         - 33  # NDRPDR sel 2001.0-4
819         - 34  # NDRPDR sel 2001.0-4
820         - 35  # NDRPDR sel 2001.0-4
821         - 36  # NDRPDR sel 2001.0-4
822         - 38  # NDRPDR sel 2001.0-4
823     vpp-performance-changes-3n-hsw-ref-env4:
824       csit-vpp-perf-report-iterative-2005-3n-hsw:
825         - 20  # NDRPDR sel env 4
826         - 21  # NDRPDR sel env 4
827         - 22  # NDRPDR sel env 4
828         - 23  # NDRPDR sel env 4
829         - 24  # NDRPDR sel env 4
830         - 25  # NDRPDR sel env 4
831         - 26  # NDRPDR sel env 4
832         - 27  # NDRPDR sel env 4
833         - 28  # NDRPDR sel env 4
834         - 29  # NDRPDR sel env 4
835     vpp-performance-changes-3n-hsw-ref-env5:
836       csit-vpp-perf-report-iterative-2009-3n-hsw:
837         - 9   # rls2005 NDRPDR iter env 5
838         - 10  # rls2005 NDRPDR iter env 5
839         - 11  # rls2005 NDRPDR iter env 5
840         - 12  # rls2005 NDRPDR iter env 5
841         - 13  # rls2005 NDRPDR iter env 5
842         - 14  # rls2005 NDRPDR iter env 5
843         - 15  # rls2005 NDRPDR iter env 5
844         - 16  # rls2005 NDRPDR iter env 5
845         - 17  # rls2005 NDRPDR iter env 5
846         - 19  # rls2005 NDRPDR iter env 5
847     vpp-performance-changes-3n-hsw-cmp:
848       csit-vpp-perf-report-iterative-2009-3n-hsw:
849         - 21  # rls2009 NDRPDR iter env 5
850         - 22  # rls2009 NDRPDR iter env 5
851         - 24  # rls2009 NDRPDR iter env 5
852         - 25  # rls2009 NDRPDR iter env 5
853         - 26  # rls2009 NDRPDR iter env 5
854         - 27  # rls2009 NDRPDR iter env 5
855         - 28  # rls2009 NDRPDR iter env 5
856         - 29  # rls2009 NDRPDR iter env 5
857         - 30  # rls2009 NDRPDR iter env 5
858         - 31  # rls2009 NDRPDR iter env 5
859
860     vpp-performance-changes-3n-skx-h1:
861       csit-vpp-perf-report-iterative-2005-3n-skx:
862         - 50  # NDRPDR sel 2001.0-4
863         - 51  # NDRPDR sel 2001.0-4
864         - 52  # NDRPDR sel 2001.0-4
865         - 53  # NDRPDR sel 2001.0-4
866         - 54  # NDRPDR sel 2001.0-4
867     vpp-performance-changes-3n-skx-ref-env4:
868       csit-vpp-perf-report-iterative-2005-3n-skx:
869         - 42  # NDRPDR sel env 4
870         - 43  # NDRPDR sel env 4
871         - 44  # NDRPDR sel env 4
872         - 45  # NDRPDR sel env 4
873         - 47  # NDRPDR sel env 4
874         - 55  # NDRPDR sel env 4
875         - 56  # NDRPDR sel env 4
876         - 57  # NDRPDR sel env 4
877         - 61  # NDRPDR sel env 4
878         - 62  # NDRPDR sel env 4
879     vpp-performance-changes-3n-skx-ref-env5:
880       csit-vpp-perf-report-iterative-2009-3n-skx:
881         - 13  # rls2005 NDRPDR iter env 5
882         - 18  # rls2005 NDRPDR iter env 5
883         - 19  # rls2005 NDRPDR iter env 5
884         - 41  # rls2005 NDRPDR iter env 5
885         - 43  # rls2005 NDRPDR iter env 5
886         - 44  # rls2005 NDRPDR iter env 5
887         - 45  # rls2005 NDRPDR iter env 5
888         - 46  # rls2005 NDRPDR iter env 5
889         - 48  # rls2005 NDRPDR iter env 5
890         - 49  # rls2005 NDRPDR iter env 5
891     vpp-performance-changes-3n-skx-cmp:
892       csit-vpp-perf-report-iterative-2009-3n-skx:
893         - 26  # rls2009 NDRPDR iter env 5
894         - 27  # rls2009 NDRPDR iter env 5
895         - 28  # rls2009 NDRPDR iter env 5
896         - 29  # rls2009 NDRPDR iter env 5
897         - 35  # rls2009 NDRPDR iter env 5
898         - 36  # rls2009 NDRPDR iter env 5
899         - 37  # rls2009 NDRPDR iter env 5
900         - 38  # rls2009 NDRPDR iter env 5
901         - 39  # rls2009 NDRPDR iter env 5
902         - 40  # rls2009 NDRPDR iter env 5
903
904     vpp-performance-changes-2n-skx-h1:
905       csit-vpp-perf-report-iterative-2005-2n-skx:
906         - 100 # NDRPDR sel 2001.0-4
907         - 101 # NDRPDR sel 2001.0-4
908         - 102 # NDRPDR sel 2001.0-4
909         - 103 # NDRPDR sel 2001.0-4
910         - 104 # NDRPDR sel 2001.0-4
911         - 105 # NDRPDR sel 2001.0-4
912     vpp-performance-changes-2n-skx-ref-env4:
913       csit-vpp-perf-report-iterative-2005-2n-skx:
914         - 88  # NDRPDR sel env 4
915         - 89  # NDRPDR sel env 4
916         - 90  # NDRPDR sel env 4
917         - 91  # NDRPDR sel env 4
918         - 92  # NDRPDR sel env 4
919         - 93  # NDRPDR sel env 4
920         - 94  # NDRPDR sel env 4
921         - 125 # NDRPDR sel env 4
922         - 126 # NDRPDR sel env 4
923         - 127 # NDRPDR sel env 4
924     vpp-performance-changes-2n-skx-ref-env5:
925       csit-vpp-perf-report-iterative-2009-2n-skx:
926         - 13  # rls2005 NDRPDR iter env 5
927         - 16  # rls2005 NDRPDR iter env 5
928         - 17  # rls2005 NDRPDR iter env 5
929         - 18  # rls2005 NDRPDR iter env 5
930         - 19  # rls2005 NDRPDR iter env 5
931         - 21  # rls2005 NDRPDR iter env 5
932         - 22  # rls2005 NDRPDR iter env 5
933         - 23  # rls2005 NDRPDR iter env 5
934         - 24  # rls2005 NDRPDR iter env 5
935         - 25  # rls2005 NDRPDR iter env 5
936     vpp-performance-changes-2n-skx-cmp:
937       csit-vpp-perf-report-iterative-2009-2n-skx:
938         - 35  # rls2009 NDRPDR iter env 5
939         - 36  # rls2009 NDRPDR iter env 5
940         - 37  # rls2009 NDRPDR iter env 5
941         - 39  # rls2009 NDRPDR iter env 5
942         - 40  # rls2009 NDRPDR iter env 5
943         - 42  # rls2009 NDRPDR iter env 5
944         - 43  # rls2009 NDRPDR iter env 5
945         - 44  # rls2009 NDRPDR iter env 5
946         - 46  # rls2009 NDRPDR iter env 5
947         - 48  # rls2009 NDRPDR iter env 5
948         - 110 # rls2009 NDRPDR iter NAT44 env 5
949         - 111 # rls2009 NDRPDR iter NAT44 env 5
950         - 112 # rls2009 NDRPDR iter NAT44 env 5
951         - 113 # rls2009 NDRPDR iter NAT44 env 5
952         - 114 # rls2009 NDRPDR iter NAT44 env 5
953         - 115 # rls2009 NDRPDR iter NAT44 env 5
954         - 116 # rls2009 NDRPDR iter NAT44 env 5
955         - 118 # rls2009 NDRPDR iter NAT44 env 5
956         - 119 # rls2009 NDRPDR iter NAT44 env 5
957         - 121 # rls2009 NDRPDR iter NAT44 env 5
958
959     vpp-performance-changes-2n-clx-h1:
960       csit-vpp-perf-report-iterative-2005-2n-clx:
961         - 73  # NDRPDR sel 2001.0-4
962         - 74  # NDRPDR sel 2001.0-4
963         - 75  # NDRPDR sel 2001.0-4
964         - 76  # NDRPDR sel 2001.0-4
965         - 77  # NDRPDR sel 2001.0-4
966         - 78  # NDRPDR sel 2001.0-4
967         - 79  # NDRPDR sel 2001.0-4
968         - 80  # NDRPDR sel 2001.0-4
969     vpp-performance-changes-2n-clx-ref-env4:
970       csit-vpp-perf-report-iterative-2005-2n-clx:
971         - 62  # NDRPDR sel env 4
972         - 63  # NDRPDR sel env 4
973         - 64  # NDRPDR sel env 4
974         - 65  # NDRPDR sel env 4
975         - 66  # NDRPDR sel env 4
976         - 68  # NDRPDR sel env 4
977         - 69  # NDRPDR sel env 4
978         - 70  # NDRPDR sel env 4
979         - 103 # NDRPDR sel env 4
980         - 104 # NDRPDR sel env 4
981     vpp-performance-changes-2n-clx-ref-env5:
982       csit-vpp-perf-report-iterative-2009-2n-clx:
983         - 13  # rls2005 NDRPDR iter env 5
984         - 15  # rls2005 NDRPDR iter env 5
985         - 17  # rls2005 NDRPDR iter env 5
986         - 18  # rls2005 NDRPDR iter env 5
987         - 19  # rls2005 NDRPDR iter env 5
988         - 20  # rls2005 NDRPDR iter env 5
989         - 21  # rls2005 NDRPDR iter env 5
990         - 22  # rls2005 NDRPDR iter env 5
991         - 23  # rls2005 NDRPDR iter env 5
992         - 24  # rls2005 NDRPDR iter env 5
993     vpp-performance-changes-2n-clx-cmp:
994       csit-vpp-perf-report-iterative-2009-2n-clx:
995         - 36  # rls2009 NDRPDR iter env 5
996         - 39  # rls2009 NDRPDR iter env 5
997         - 40  # rls2009 NDRPDR iter env 5
998         - 65  # rls2009 NDRPDR iter env 5
999         - 66  # rls2009 NDRPDR iter env 5
1000         - 79  # rls2009 NDRPDR iter env 5
1001         - 82  # rls2009 NDRPDR iter env 5
1002         - 88  # rls2009 NDRPDR iter env 5
1003         - 89  # rls2009 NDRPDR iter env 5
1004         - 90  # rls2009 NDRPDR iter env 5
1005         - 114 # rls2009 NDRPDR iter NAT44 env 5
1006         - 115 # rls2009 NDRPDR iter NAT44 env 5
1007         - 116 # rls2009 NDRPDR iter NAT44 env 5
1008         - 117 # rls2009 NDRPDR iter NAT44 env 5
1009         - 118 # rls2009 NDRPDR iter NAT44 env 5
1010         - 119 # rls2009 NDRPDR iter NAT44 env 5
1011         - 121 # rls2009 NDRPDR iter NAT44 env 5
1012         - 122 # rls2009 NDRPDR iter NAT44 env 5
1013         - 123 # rls2009 NDRPDR iter NAT44 env 5
1014         - 126 # rls2009 NDRPDR iter NAT44 env 5
1015
1016     vpp-performance-changes-2n-dnv-h1:
1017       csit-vpp-perf-verify-2001-2n-dnv:
1018         - 4   # NDRPDR sel
1019         - 5   # NDRPDR sel
1020         - 6   # NDRPDR sel
1021         - 7   # NDRPDR sel
1022         - 8   # NDRPDR sel
1023         - 9   # NDRPDR sel
1024         - 10  # NDRPDR sel
1025         - 11  # NDRPDR sel
1026         - 13  # NDRPDR sel
1027         - 16  # NDRPDR sel
1028     vpp-performance-changes-2n-dnv-ref:
1029       csit-vpp-perf-report-iterative-2009-2n-dnv:
1030         - 16  # rls2005 NDRPDR iter env 5
1031         - 17  # rls2005 NDRPDR iter env 5
1032         - 18  # rls2005 NDRPDR iter env 5
1033         - 19  # rls2005 NDRPDR iter env 5
1034         - 21  # rls2005 NDRPDR iter env 5
1035         - 24  # rls2005 NDRPDR iter env 5
1036         - 27  # rls2005 NDRPDR iter env 5
1037         - 28  # rls2005 NDRPDR iter env 5
1038         - 29  # rls2005 NDRPDR iter env 5
1039         - 30  # rls2005 NDRPDR iter env 5
1040     vpp-performance-changes-2n-dnv-cmp:
1041       csit-vpp-perf-report-iterative-2009-2n-dnv:
1042         - 3   # rls2009 NDRPDR iter env 5
1043         - 5   # rls2009 NDRPDR iter env 5
1044         - 6   # rls2009 NDRPDR iter env 5
1045         - 7   # rls2009 NDRPDR iter env 5
1046         - 9   # rls2009 NDRPDR iter env 5
1047         - 10  # rls2009 NDRPDR iter env 5
1048         - 11  # rls2009 NDRPDR iter env 5
1049         - 12  # rls2009 NDRPDR iter env 5
1050         - 14  # rls2009 NDRPDR iter env 5
1051         - 15  # rls2009 NDRPDR iter env 5
1052
1053     vpp-performance-changes-3n-dnv-h1:
1054       csit-vpp-perf-verify-2001-3n-dnv:
1055         - 5   # NDRPDR sel
1056         - 6   # NDRPDR sel
1057         - 7   # NDRPDR sel
1058         - 8   # NDRPDR sel
1059         - 9   # NDRPDR sel
1060         - 10  # NDRPDR sel
1061         - 12  # NDRPDR sel
1062         - 16  # NDRPDR sel
1063         - 17  # NDRPDR sel
1064         - 18  # NDRPDR sel
1065     vpp-performance-changes-3n-dnv-ref:
1066       csit-vpp-perf-report-iterative-2009-3n-dnv:
1067         - 16  # rls2005 NDRPDR iter env 5
1068         - 23  # rls2005 NDRPDR iter env 5
1069         - 25  # rls2005 NDRPDR iter env 5
1070         - 26  # rls2005 NDRPDR iter env 5
1071         - 27  # rls2005 NDRPDR iter env 5
1072         - 28  # rls2005 NDRPDR iter env 5
1073         - 29  # rls2005 NDRPDR iter env 5
1074         - 30  # rls2005 NDRPDR iter env 5
1075         - 31  # rls2005 NDRPDR iter env 5
1076         - 32  # rls2005 NDRPDR iter env 5
1077     vpp-performance-changes-3n-dnv-cmp:
1078       csit-vpp-perf-report-iterative-2009-3n-dnv:
1079         - 3   # rls2009 NDRPDR iter env 5
1080         - 6   # rls2009 NDRPDR iter env 5
1081         - 7   # rls2009 NDRPDR iter env 5
1082         - 8   # rls2009 NDRPDR iter env 5
1083         - 10  # rls2009 NDRPDR iter env 5
1084         - 11  # rls2009 NDRPDR iter env 5
1085         - 12  # rls2009 NDRPDR iter env 5
1086         - 14  # rls2009 NDRPDR iter env 5
1087         - 15  # rls2009 NDRPDR iter env 5
1088         - 24  # rls2009 NDRPDR iter env 5
1089
1090     vpp-performance-changes-3n-tsh-h1:
1091       csit-vpp-perf-report-iterative-2005-3n-tsh:
1092         - 28  # NDRPDR sel 2001.0-4
1093         - 29  # NDRPDR sel 2001.0-4
1094         - 31  # NDRPDR sel 2001.0-4
1095     vpp-performance-changes-3n-tsh-ref-env4:
1096       csit-vpp-perf-report-iterative-2005-3n-tsh:
1097         - 23  # NDRPDR sel env 4
1098         - 25  # NDRPDR sel env 4
1099         - 33  # NDRPDR sel env 4
1100         - 34  # NDRPDR sel env 4
1101         - 35  # NDRPDR sel env 4
1102         - 36  # NDRPDR sel env 4
1103         - 37  # NDRPDR sel env 4
1104         - 38  # NDRPDR sel env 4
1105         - 39  # NDRPDR sel env 4
1106         - 40  # NDRPDR sel env 4
1107     vpp-performance-changes-3n-tsh-ref-env5:
1108       csit-vpp-perf-report-iterative-2009-3n-tsh:
1109         - 8   # rls2005 NDRPDR iter env 5
1110         - 11  # rls2005 NDRPDR iter env 5
1111         - 12  # rls2005 NDRPDR iter env 5
1112         - 24  # rls2005 NDRPDR iter env 5
1113         - 27  # rls2005 NDRPDR iter env 5
1114         - 29  # rls2005 NDRPDR iter env 5
1115         - 31  # rls2005 NDRPDR iter env 5
1116         - 39  # rls2005 NDRPDR iter env 5
1117         - 40  # rls2005 NDRPDR iter env 5
1118         - 42  # rls2005 NDRPDR iter env 5
1119     vpp-performance-changes-3n-tsh-cmp:
1120       csit-vpp-perf-report-iterative-2009-3n-tsh:
1121         - 14  # rls2009 NDRPDR iter env 5
1122         - 20  # rls2009 NDRPDR iter env 5
1123         - 21  # rls2009 NDRPDR iter env 5
1124         - 22  # rls2009 NDRPDR iter env 5
1125         - 23  # rls2009 NDRPDR iter env 5
1126         - 28  # rls2009 NDRPDR iter env 5
1127         - 30  # rls2009 NDRPDR iter env 5
1128         - 33  # rls2009 NDRPDR iter env 5
1129         - 38  # rls2009 NDRPDR iter env 5
1130         - 41  # rls2009 NDRPDR iter env 5
1131
1132     vpp-soak-vs-ndr-2n-skx-ref:
1133       csit-vpp-perf-report-iterative-2009-2n-skx:
1134         - 35  # rls2009 NDRPDR iter env 5
1135         - 36  # rls2009 NDRPDR iter env 5
1136         - 37  # rls2009 NDRPDR iter env 5
1137         - 39  # rls2009 NDRPDR iter env 5
1138         - 40  # rls2009 NDRPDR iter env 5
1139         - 42  # rls2009 NDRPDR iter env 5
1140         - 43  # rls2009 NDRPDR iter env 5
1141         - 44  # rls2009 NDRPDR iter env 5
1142         - 46  # rls2009 NDRPDR iter env 5
1143         - 48  # rls2009 NDRPDR iter env 5
1144     vpp-soak-vs-ndr-2n-skx-cmp:
1145       csit-vpp-perf-report-iterative-2009-2n-skx:
1146         - 33  # rls2009 soak env 5
1147         - 34  # rls2009 soak env 5
1148     vpp-soak-vs-ndr-2n-skx:
1149       csit-vpp-perf-report-iterative-2009-2n-skx:
1150         - 35  # rls2009 NDRPDR iter env 5
1151         - 36  # rls2009 NDRPDR iter env 5
1152         - 37  # rls2009 NDRPDR iter env 5
1153         - 39  # rls2009 NDRPDR iter env 5
1154         - 40  # rls2009 NDRPDR iter env 5
1155         - 42  # rls2009 NDRPDR iter env 5
1156         - 43  # rls2009 NDRPDR iter env 5
1157         - 44  # rls2009 NDRPDR iter env 5
1158         - 46  # rls2009 NDRPDR iter env 5
1159         - 48  # rls2009 NDRPDR iter env 5
1160         - 33  # rls2009 soak env 5
1161         - 34  # rls2009 soak env 5
1162
1163     vpp-soak-vs-ndr-2n-clx-ref:
1164       csit-vpp-perf-report-iterative-2009-2n-clx:
1165         - 36  # rls2009 NDRPDR iter env 5
1166         - 39  # rls2009 NDRPDR iter env 5
1167         - 40  # rls2009 NDRPDR iter env 5
1168         - 65  # rls2009 NDRPDR iter env 5
1169         - 66  # rls2009 NDRPDR iter env 5
1170         - 79  # rls2009 NDRPDR iter env 5
1171         - 82  # rls2009 NDRPDR iter env 5
1172         - 88  # rls2009 NDRPDR iter env 5
1173         - 89  # rls2009 NDRPDR iter env 5
1174         - 90  # rls2009 NDRPDR iter env 5
1175     vpp-soak-vs-ndr-2n-clx-cmp:
1176       csit-vpp-perf-report-iterative-2009-2n-clx:
1177         - 33  # rls2009 soak env 5
1178         - 34  # rls2009 soak env 5
1179     vpp-soak-vs-ndr-2n-clx:
1180       csit-vpp-perf-report-iterative-2009-2n-clx:
1181         - 36  # rls2009 NDRPDR iter env 5
1182         - 39  # rls2009 NDRPDR iter env 5
1183         - 40  # rls2009 NDRPDR iter env 5
1184         - 65  # rls2009 NDRPDR iter env 5
1185         - 66  # rls2009 NDRPDR iter env 5
1186         - 79  # rls2009 NDRPDR iter env 5
1187         - 82  # rls2009 NDRPDR iter env 5
1188         - 88  # rls2009 NDRPDR iter env 5
1189         - 89  # rls2009 NDRPDR iter env 5
1190         - 90  # rls2009 NDRPDR iter env 5
1191         - 33  # rls2009 soak env 5
1192         - 34  # rls2009 soak env 5
1193
1194     vpp-performance-changes-3n-hsw-mrr-h1:
1195       csit-vpp-perf-verify-2001-3n-hsw:
1196         - 17  # MRR sel
1197     vpp-performance-changes-3n-hsw-mrr-ref-env4:
1198       csit-vpp-perf-report-iterative-2005-3n-hsw:
1199         - 30  # MRR env 4
1200     vpp-performance-changes-3n-hsw-mrr-ref-env5:
1201       csit-vpp-perf-report-iterative-2009-3n-hsw:
1202         - 18  # rls2005 MRR iter env 5
1203     vpp-performance-changes-3n-hsw-mrr-cmp:
1204       csit-vpp-perf-report-iterative-2009-3n-hsw:
1205         - 23  # rls2009 MRR iter env 5
1206
1207     vpp-performance-changes-3n-skx-mrr-h1:
1208       csit-vpp-perf-verify-2001-3n-skx:
1209         - 50  # MRR sel
1210         - 53  # MRR sel addition
1211     vpp-performance-changes-3n-skx-mrr-ref-env4:
1212       csit-vpp-perf-report-iterative-2005-3n-skx:
1213         - 49  # MRR sel env 4
1214     vpp-performance-changes-3n-skx-mrr-ref-env5:
1215       csit-vpp-perf-report-iterative-2009-3n-skx:
1216         - 17  # rls2005 MRR iter env 5
1217     vpp-performance-changes-3n-skx-mrr-cmp:
1218       csit-vpp-perf-report-iterative-2009-3n-skx:
1219         - 24  # rls2009 MRR iter env 5
1220
1221     vpp-performance-changes-2n-skx-mrr-h1:
1222       csit-vpp-perf-verify-2001-2n-skx:
1223         - 101 # MRR sel
1224         - 128 # MRR sel addition
1225     vpp-performance-changes-2n-skx-mrr-ref-env4:
1226       csit-vpp-perf-report-iterative-2005-2n-skx:
1227         - 99  # MRR sel env 4
1228     vpp-performance-changes-2n-skx-mrr-ref-env5:
1229       csit-vpp-perf-report-iterative-2009-2n-skx:
1230         - 20  # rls2005 MRR iter env 5
1231     vpp-performance-changes-2n-skx-mrr-cmp:
1232       csit-vpp-perf-report-iterative-2009-2n-skx:
1233         - 120 # rls2009 MRR iter env 5
1234
1235     vpp-performance-changes-2n-clx-mrr-h1:
1236       csit-vpp-perf-verify-2001-2n-clx:
1237         - 39  # MRR
1238     vpp-performance-changes-2n-clx-mrr-ref-env4:
1239       csit-vpp-perf-report-iterative-2005-2n-clx:
1240         - 72   # MRR sel env 4
1241     vpp-performance-changes-2n-clx-mrr-ref-env5:
1242       csit-vpp-perf-report-iterative-2009-2n-clx:
1243         - 77  # rls2005 MRR iter env 5
1244     vpp-performance-changes-2n-clx-mrr-cmp:
1245       csit-vpp-perf-report-iterative-2009-2n-clx:
1246         - 125 # rls2009 MRR iter env 5
1247
1248     vpp-performance-changes-2n-dnv-mrr-h1:
1249       csit-vpp-perf-verify-2001-2n-dnv:
1250         - 12  # MRR sel
1251     vpp-performance-changes-2n-dnv-mrr-ref:
1252       csit-vpp-perf-report-iterative-2009-2n-dnv:
1253         - 23  # rls2005 MRR iter env 5
1254     vpp-performance-changes-2n-dnv-mrr-cmp:
1255       csit-vpp-perf-report-iterative-2009-2n-dnv:
1256         - 13  # rls2009 MRR iter env 5
1257
1258     vpp-performance-changes-3n-dnv-mrr-h1:
1259       csit-vpp-perf-verify-2001-3n-dnv:
1260         - 11  # MRR sel
1261     vpp-performance-changes-3n-dnv-mrr-ref:
1262       csit-vpp-perf-report-iterative-2009-3n-dnv:
1263         - 19  # rls2005 MRR iter env 5
1264     vpp-performance-changes-3n-dnv-mrr-cmp:
1265       csit-vpp-perf-report-iterative-2009-3n-dnv:
1266         - 22  # rls2009 MRR iter env 5
1267
1268     vpp-performance-changes-3n-tsh-mrr-h1:
1269       csit-vpp-perf-verify-2001-3n-tsh:
1270         - 9   # MRR sel
1271     vpp-performance-changes-3n-tsh-mrr-ref-env4:
1272       csit-vpp-perf-report-iterative-2005-3n-tsh:
1273         - 27  # MRR sel env 4
1274     vpp-performance-changes-3n-tsh-mrr-ref-env5:
1275       csit-vpp-perf-report-iterative-2009-3n-tsh:
1276         - 13  # rls2005 MRR iter env 5
1277     vpp-performance-changes-3n-tsh-mrr-cmp:
1278       csit-vpp-perf-report-iterative-2009-3n-tsh:
1279         - 15  # rls2009 MRR iter env 5
1280
1281     dpdk-performance-changes-3n-hsw-h1:
1282       csit-dpdk-perf-verify-2001-3n-hsw:
1283         - 4   # NDRPDR sel
1284         - 5   # NDRPDR sel
1285         - 6   # NDRPDR sel
1286         - 7   # NDRPDR sel
1287         - 8   # NDRPDR sel
1288         - 9   # NDRPDR sel
1289         - 10  # NDRPDR sel
1290         - 11  # NDRPDR sel
1291         - 12  # NDRPDR sel
1292         - 13  # NDRPDR sel
1293         - 15  # NDRPDR sel
1294         - 16  # NDRPDR sel
1295         - 17  # NDRPDR sel
1296         - 18  # NDRPDR sel
1297         - 19  # NDRPDR sel
1298         - 20  # NDRPDR sel
1299         - 21  # NDRPDR sel
1300         - 22  # NDRPDR sel
1301         - 23  # NDRPDR sel
1302         - 24  # NDRPDR sel
1303     dpdk-performance-changes-3n-hsw-ref:
1304       csit-dpdk-perf-report-iterative-2005-3n-hsw:
1305         - 25  # NDRPDR iter
1306         - 26  # NDRPDR iter
1307         - 27  # NDRPDR iter
1308         - 28  # NDRPDR iter
1309         - 29  # NDRPDR iter
1310         - 30  # NDRPDR iter
1311         - 31  # NDRPDR iter
1312         - 32  # NDRPDR iter
1313         - 33  # NDRPDR iter
1314         - 34  # NDRPDR iter
1315     dpdk-performance-changes-3n-hsw-cmp:
1316       csit-dpdk-perf-report-iterative-2009-3n-hsw:
1317         - 6   # NDRPDR iter env5
1318         - 7   # NDRPDR iter env5
1319         - 8   # NDRPDR iter env5
1320         - 9   # NDRPDR iter env5
1321         - 10  # NDRPDR iter env5
1322         - 11  # NDRPDR iter env5
1323         - 12  # NDRPDR iter env5
1324         - 13  # NDRPDR iter env5
1325         - 14  # NDRPDR iter env5
1326         - 15  # NDRPDR iter env5
1327
1328     dpdk-performance-changes-3n-skx-h1:
1329       csit-dpdk-perf-verify-2001-3n-skx:
1330         - 29  # NDRPDR sel xxv710
1331         - 33  # NDRPDR sel xxv710
1332         - 34  # NDRPDR sel xxv710
1333         - 35  # NDRPDR sel xxv710
1334         - 36  # NDRPDR sel xxv710
1335         - 37  # NDRPDR sel xxv710
1336         - 41  # NDRPDR sel xxv710
1337         - 42  # NDRPDR sel xxv710
1338         - 43  # NDRPDR sel xxv710
1339         - 45  # NDRPDR sel xxv710
1340         - 30  # NDRPDR sel x710
1341         - 31  # NDRPDR sel x710
1342         - 32  # NDRPDR sel x710
1343         - 38  # NDRPDR sel x710
1344         - 39  # NDRPDR sel x710
1345         - 40  # NDRPDR sel x710
1346         - 44  # NDRPDR sel x710
1347         - 46  # NDRPDR sel x710
1348         - 47  # NDRPDR sel x710
1349         - 48  # NDRPDR sel x710
1350     dpdk-performance-changes-3n-skx-ref:
1351       csit-dpdk-perf-report-iterative-2005-3n-skx:
1352         - 28  # NDRPDR iter
1353         - 29  # NDRPDR iter
1354         - 30  # NDRPDR iter
1355         - 31  # NDRPDR iter
1356         - 32  # NDRPDR iter
1357         - 33  # NDRPDR iter
1358         - 34  # NDRPDR iter
1359         - 35  # NDRPDR iter
1360         - 36  # NDRPDR iter
1361         - 37  # NDRPDR iter
1362     dpdk-performance-changes-3n-skx-cmp:
1363       csit-dpdk-perf-report-iterative-2009-3n-skx:
1364         - 4   # NDRPDR sel env5
1365         - 5   # NDRPDR sel env5
1366         - 6   # NDRPDR sel env5
1367         - 7   # NDRPDR sel env5
1368         - 8   # NDRPDR sel env5
1369         - 9   # NDRPDR sel env5
1370         - 14  # NDRPDR sel env5
1371         - 11  # NDRPDR sel env5
1372         - 12  # NDRPDR sel env5
1373         - 13  # NDRPDR sel env5
1374
1375     dpdk-performance-changes-2n-skx-h1:
1376       csit-dpdk-perf-verify-2001-2n-skx:
1377         - 35  # NDRPDR sel xxv710
1378         - 36  # NDRPDR sel xxv710
1379         - 37  # NDRPDR sel xxv710
1380         - 41  # NDRPDR sel xxv710
1381         - 42  # NDRPDR sel xxv710
1382         - 43  # NDRPDR sel xxv710
1383         - 46  # NDRPDR sel xxv710
1384         - 47  # NDRPDR sel xxv710
1385         - 52  # NDRPDR sel xxv710
1386         - 53  # NDRPDR sel xxv710
1387         - 38  # NDRPDR sel x710
1388         - 39  # NDRPDR sel x710
1389         - 40  # NDRPDR sel x710
1390         - 44  # NDRPDR sel x710
1391         - 45  # NDRPDR sel x710
1392         - 48  # NDRPDR sel x710
1393         - 49  # NDRPDR sel x710
1394         - 50  # NDRPDR sel x710
1395         - 51  # NDRPDR sel x710
1396         - 54  # NDRPDR sel x710
1397     dpdk-performance-changes-2n-skx-ref:
1398       csit-dpdk-perf-report-iterative-2005-2n-skx:
1399         - 20  # NDRPDR iter
1400         - 21  # NDRPDR iter
1401         - 22  # NDRPDR iter
1402         - 23  # NDRPDR iter
1403         - 24  # NDRPDR iter
1404         - 25  # NDRPDR iter
1405         - 26  # NDRPDR iter
1406         - 27  # NDRPDR iter
1407         - 28  # NDRPDR iter
1408         - 29  # NDRPDR iter
1409     dpdk-performance-changes-2n-skx-cmp:
1410       csit-dpdk-perf-report-iterative-2009-2n-skx:
1411         - 4   # NDRPDR iter env5
1412         - 5   # NDRPDR iter env5
1413         - 6   # NDRPDR iter env5
1414         - 7   # NDRPDR iter env5
1415         - 8   # NDRPDR iter env5
1416         - 9   # NDRPDR iter env5
1417         - 10  # NDRPDR iter env5
1418         - 11  # NDRPDR iter env5
1419         - 12  # NDRPDR iter env5
1420         - 13  # NDRPDR iter env5
1421
1422     dpdk-performance-changes-2n-clx-h1:
1423       csit-dpdk-perf-verify-2001-2n-clx:
1424         - 15  # NDRPDR sel
1425         - 16  # NDRPDR sel
1426         - 17  # NDRPDR sel
1427         - 18  # NDRPDR sel
1428         - 19  # NDRPDR sel
1429         - 20  # NDRPDR sel
1430         - 21  # NDRPDR sel
1431         - 22  # NDRPDR sel
1432         - 23  # NDRPDR sel
1433         - 24  # NDRPDR sel
1434         - 25  # NDRPDR sel
1435         - 26  # NDRPDR sel
1436         - 27  # NDRPDR sel
1437         - 28  # NDRPDR sel
1438         - 29  # NDRPDR sel
1439         - 30  # NDRPDR sel
1440         - 31  # NDRPDR sel
1441         - 32  # NDRPDR sel
1442         - 33  # NDRPDR sel
1443         - 34  # NDRPDR sel
1444     dpdk-performance-changes-2n-clx-ref:
1445       csit-dpdk-perf-report-iterative-2005-2n-clx:
1446         - 20  # NDRPDR iter
1447         - 21  # NDRPDR iter
1448         - 22  # NDRPDR iter
1449         - 23  # NDRPDR iter
1450         - 24  # NDRPDR iter
1451         - 25  # NDRPDR iter
1452         - 26  # NDRPDR iter
1453         - 27  # NDRPDR iter
1454         - 28  # NDRPDR iter
1455         - 29  # NDRPDR iter
1456     dpdk-performance-changes-2n-clx-cmp:
1457       csit-dpdk-perf-report-iterative-2009-2n-clx:
1458         - 4   # NDRPDR iter env5
1459         - 5   # NDRPDR iter env5
1460         - 6   # NDRPDR iter env5
1461         - 7   # NDRPDR iter env5
1462         - 8   # NDRPDR iter env5
1463         - 9   # NDRPDR iter env5
1464         - 10  # NDRPDR iter env5
1465         - 11  # NDRPDR iter env5
1466         - 12  # NDRPDR iter env5
1467         - 13  # NDRPDR iter env5
1468
1469 #    dpdk-performance-changes-2n-dnv-h1:
1470 #      csit-dpdk-perf-verify-2001-2n-dnv:
1471 #        - 9   # NDRPDR sel
1472 #        - 10  # NDRPDR sel
1473 #        - 11  # NDRPDR sel
1474 #        - 12  # NDRPDR sel
1475 #        - 13  # NDRPDR sel
1476 #        - 14  # NDRPDR sel
1477 #        - 15  # NDRPDR sel
1478 #        - 16  # NDRPDR sel
1479 #        - 17  # NDRPDR sel
1480 #        - 18  # NDRPDR sel
1481 #    dpdk-performance-changes-2n-dnv-ref:
1482 #      # No data
1483 #    dpdk-performance-changes-2n-dnv-cmp:
1484 #      # No data
1485 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
1486
1487 #    dpdk-performance-changes-3n-dnv-h1:
1488 #      csit-dpdk-perf-verify-2001-3n-dnv:
1489 #        - 12  # NDRPDR sel
1490 #        - 13  # NDRPDR sel
1491 #        - 14  # NDRPDR sel
1492 #        - 15  # NDRPDR sel
1493 #        - 16  # NDRPDR sel
1494 #        - 17  # NDRPDR sel
1495 #        - 18  # NDRPDR sel
1496 #        - 19  # NDRPDR sel
1497 #        - 20  # NDRPDR sel
1498 #        - 22  # NDRPDR sel
1499 #    dpdk-performance-changes-3n-dnv-ref:
1500 #      # No data
1501 #    dpdk-performance-changes-3n-dnv-cmp:
1502 #      # No data
1503 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
1504
1505     dpdk-performance-changes-3n-tsh-h1:
1506       csit-dpdk-perf-verify-2001-3n-tsh:
1507         - 3   # NDRPDR sel
1508         - 4   # NDRPDR sel
1509         - 5   # NDRPDR sel
1510         - 9   # NDRPDR sel
1511         - 10  # NDRPDR sel
1512         - 11  # NDRPDR sel
1513         - 12  # NDRPDR sel
1514         - 14  # NDRPDR sel
1515         - 15  # NDRPDR sel
1516         - 18  # NDRPDR sel
1517     dpdk-performance-changes-3n-tsh-ref:
1518       csit-dpdk-perf-report-iterative-2005-3n-tsh:
1519         - 5   # NDRPDR sel
1520     dpdk-performance-changes-3n-tsh-cmp:
1521       csit-dpdk-perf-report-iterative-2009-3n-tsh:
1522         - 1   # NDRPDR iter env5
1523         - 2   # NDRPDR iter env5
1524         - 3   # NDRPDR iter env5
1525         - 4   # NDRPDR iter env5
1526         - 5   # NDRPDR iter env5
1527         - 6   # NDRPDR iter env5
1528         - 7   # NDRPDR iter env5
1529         - 9   # NDRPDR iter env5
1530         - 10  # NDRPDR iter env5
1531         - 11  # NDRPDR iter env5
1532
1533     # Compare testbeds
1534
1535     vpp-compare-testbeds-ref:
1536       csit-vpp-perf-report-iterative-2009-3n-hsw:
1537         - 21  # rls2009 NDRPDR iter env 5
1538         - 22  # rls2009 NDRPDR iter env 5
1539         - 24  # rls2009 NDRPDR iter env 5
1540         - 25  # rls2009 NDRPDR iter env 5
1541         - 26  # rls2009 NDRPDR iter env 5
1542         - 27  # rls2009 NDRPDR iter env 5
1543         - 28  # rls2009 NDRPDR iter env 5
1544         - 29  # rls2009 NDRPDR iter env 5
1545         - 30  # rls2009 NDRPDR iter env 5
1546         - 31  # rls2009 NDRPDR iter env 5
1547     vpp-compare-testbeds-cmp:
1548       csit-vpp-perf-report-iterative-2009-3n-skx:
1549         - 26  # rls2009 NDRPDR iter env 5
1550         - 27  # rls2009 NDRPDR iter env 5
1551         - 28  # rls2009 NDRPDR iter env 5
1552         - 29  # rls2009 NDRPDR iter env 5
1553         - 35  # rls2009 NDRPDR iter env 5
1554         - 36  # rls2009 NDRPDR iter env 5
1555         - 37  # rls2009 NDRPDR iter env 5
1556         - 38  # rls2009 NDRPDR iter env 5
1557         - 39  # rls2009 NDRPDR iter env 5
1558         - 40  # rls2009 NDRPDR iter env 5
1559
1560     vpp-compare-testbeds-skx-clx-ref:
1561       csit-vpp-perf-report-iterative-2009-2n-skx:
1562         - 35  # rls2009 NDRPDR iter env 5
1563         - 36  # rls2009 NDRPDR iter env 5
1564         - 37  # rls2009 NDRPDR iter env 5
1565         - 39  # rls2009 NDRPDR iter env 5
1566         - 40  # rls2009 NDRPDR iter env 5
1567         - 42  # rls2009 NDRPDR iter env 5
1568         - 43  # rls2009 NDRPDR iter env 5
1569         - 44  # rls2009 NDRPDR iter env 5
1570         - 46  # rls2009 NDRPDR iter env 5
1571         - 48  # rls2009 NDRPDR iter env 5
1572         - 110 # rls2009 NDRPDR iter NAT44 env 5
1573         - 111 # rls2009 NDRPDR iter NAT44 env 5
1574         - 112 # rls2009 NDRPDR iter NAT44 env 5
1575         - 113 # rls2009 NDRPDR iter NAT44 env 5
1576         - 114 # rls2009 NDRPDR iter NAT44 env 5
1577         - 115 # rls2009 NDRPDR iter NAT44 env 5
1578         - 116 # rls2009 NDRPDR iter NAT44 env 5
1579         - 118 # rls2009 NDRPDR iter NAT44 env 5
1580         - 119 # rls2009 NDRPDR iter NAT44 env 5
1581         - 121 # rls2009 NDRPDR iter NAT44 env 5
1582     vpp-compare-testbeds-skx-clx-cmp:
1583       csit-vpp-perf-report-iterative-2009-2n-clx:
1584         - 36  # rls2009 NDRPDR iter env 5
1585         - 39  # rls2009 NDRPDR iter env 5
1586         - 40  # rls2009 NDRPDR iter env 5
1587         - 65  # rls2009 NDRPDR iter env 5
1588         - 66  # rls2009 NDRPDR iter env 5
1589         - 79  # rls2009 NDRPDR iter env 5
1590         - 82  # rls2009 NDRPDR iter env 5
1591         - 88  # rls2009 NDRPDR iter env 5
1592         - 89  # rls2009 NDRPDR iter env 5
1593         - 90  # rls2009 NDRPDR iter env 5
1594         - 114 # rls2009 NDRPDR iter NAT44 env 5
1595         - 115 # rls2009 NDRPDR iter NAT44 env 5
1596         - 116 # rls2009 NDRPDR iter NAT44 env 5
1597         - 117 # rls2009 NDRPDR iter NAT44 env 5
1598         - 118 # rls2009 NDRPDR iter NAT44 env 5
1599         - 119 # rls2009 NDRPDR iter NAT44 env 5
1600         - 121 # rls2009 NDRPDR iter NAT44 env 5
1601         - 122 # rls2009 NDRPDR iter NAT44 env 5
1602         - 123 # rls2009 NDRPDR iter NAT44 env 5
1603         - 126 # rls2009 NDRPDR iter NAT44 env 5
1604
1605     vpp-compare-testbeds-hsw-clx-ref:
1606       csit-vpp-perf-report-iterative-2009-3n-hsw:
1607         - 21  # rls2009 NDRPDR iter env 5
1608         - 22  # rls2009 NDRPDR iter env 5
1609         - 24  # rls2009 NDRPDR iter env 5
1610         - 25  # rls2009 NDRPDR iter env 5
1611         - 26  # rls2009 NDRPDR iter env 5
1612         - 27  # rls2009 NDRPDR iter env 5
1613         - 28  # rls2009 NDRPDR iter env 5
1614         - 29  # rls2009 NDRPDR iter env 5
1615         - 30  # rls2009 NDRPDR iter env 5
1616         - 31  # rls2009 NDRPDR iter env 5
1617     vpp-compare-testbeds-hsw-clx-cmp:
1618       csit-vpp-perf-report-iterative-2009-2n-clx:
1619         - 36  # rls2009 NDRPDR iter env 5
1620         - 39  # rls2009 NDRPDR iter env 5
1621         - 40  # rls2009 NDRPDR iter env 5
1622         - 65  # rls2009 NDRPDR iter env 5
1623         - 66  # rls2009 NDRPDR iter env 5
1624         - 79  # rls2009 NDRPDR iter env 5
1625         - 82  # rls2009 NDRPDR iter env 5
1626         - 88  # rls2009 NDRPDR iter env 5
1627         - 89  # rls2009 NDRPDR iter env 5
1628         - 90  # rls2009 NDRPDR iter env 5
1629
1630     vpp-compare-testbeds-mrr-ref:
1631       csit-vpp-perf-report-iterative-2009-3n-hsw:
1632         - 23  # rls2009 MRR iter env 5
1633     vpp-compare-testbeds-mrr-cmp:
1634       csit-vpp-perf-report-iterative-2009-3n-skx:
1635         - 24  # rls2009 MRR iter env 5
1636
1637     vpp-compare-testbeds-mrr-skx-clx-ref:
1638       csit-vpp-perf-report-iterative-2009-2n-skx:
1639         - 120 # rls2009 MRR iter env 5
1640     vpp-compare-testbeds-mrr-skx-clx-cmp:
1641       csit-vpp-perf-report-iterative-2009-2n-clx:
1642         - 125 # rls2009 MRR iter env 5
1643
1644     vpp-compare-testbeds-mrr-hsw-clx-ref:
1645       csit-vpp-perf-report-iterative-2009-3n-hsw:
1646         - 23  # rls2009 MRR iter env 5
1647     vpp-compare-testbeds-mrr-hsw-clx-cmp:
1648       csit-vpp-perf-report-iterative-2009-2n-clx:
1649         - 125 # rls2009 MRR iter env 5
1650
1651     dpdk-compare-testbeds-ref:
1652       csit-dpdk-perf-report-iterative-2009-3n-hsw:
1653         - 6   # NDRPDR iter env5
1654         - 7   # NDRPDR iter env5
1655         - 8   # NDRPDR iter env5
1656         - 9   # NDRPDR iter env5
1657         - 10  # NDRPDR iter env5
1658         - 11  # NDRPDR iter env5
1659         - 12  # NDRPDR iter env5
1660         - 13  # NDRPDR iter env5
1661         - 14  # NDRPDR iter env5
1662         - 15  # NDRPDR iter env5
1663     dpdk-compare-testbeds-cmp:
1664       csit-dpdk-perf-report-iterative-2009-3n-skx:
1665         - 4   # NDRPDR sel env5
1666         - 5   # NDRPDR sel env5
1667         - 6   # NDRPDR sel env5
1668         - 7   # NDRPDR sel env5
1669         - 8   # NDRPDR sel env5
1670         - 9   # NDRPDR sel env5
1671         - 14  # NDRPDR sel env5
1672         - 11  # NDRPDR sel env5
1673         - 12  # NDRPDR sel env5
1674         - 13  # NDRPDR sel env5
1675
1676     dpdk-compare-testbeds-skx-clx-ref:
1677       csit-dpdk-perf-report-iterative-2009-2n-skx:
1678         - 4   # NDRPDR iter env5
1679         - 5   # NDRPDR iter env5
1680         - 6   # NDRPDR iter env5
1681         - 7   # NDRPDR iter env5
1682         - 8   # NDRPDR iter env5
1683         - 9   # NDRPDR iter env5
1684         - 10  # NDRPDR iter env5
1685         - 11  # NDRPDR iter env5
1686         - 12  # NDRPDR iter env5
1687         - 13  # NDRPDR iter env5
1688     dpdk-compare-testbeds-skx-clx-cmp:
1689       csit-dpdk-perf-report-iterative-2009-2n-clx:
1690         - 4   # NDRPDR iter env5
1691         - 5   # NDRPDR iter env5
1692         - 6   # NDRPDR iter env5
1693         - 7   # NDRPDR iter env5
1694         - 8   # NDRPDR iter env5
1695         - 9   # NDRPDR iter env5
1696         - 10  # NDRPDR iter env5
1697         - 11  # NDRPDR iter env5
1698         - 12  # NDRPDR iter env5
1699         - 13  # NDRPDR iter env5
1700
1701     # Compare topologies
1702
1703     vpp-compare-topologies-ref:
1704       csit-vpp-perf-report-iterative-2009-3n-skx:
1705         - 26  # rls2009 NDRPDR iter env 5
1706         - 27  # rls2009 NDRPDR iter env 5
1707         - 28  # rls2009 NDRPDR iter env 5
1708         - 29  # rls2009 NDRPDR iter env 5
1709         - 35  # rls2009 NDRPDR iter env 5
1710         - 36  # rls2009 NDRPDR iter env 5
1711         - 37  # rls2009 NDRPDR iter env 5
1712         - 38  # rls2009 NDRPDR iter env 5
1713         - 39  # rls2009 NDRPDR iter env 5
1714         - 40  # rls2009 NDRPDR iter env 5
1715     vpp-compare-topologies-cmp:
1716       csit-vpp-perf-report-iterative-2009-2n-skx:
1717         - 35  # rls2009 NDRPDR iter env 5
1718         - 36  # rls2009 NDRPDR iter env 5
1719         - 37  # rls2009 NDRPDR iter env 5
1720         - 39  # rls2009 NDRPDR iter env 5
1721         - 40  # rls2009 NDRPDR iter env 5
1722         - 42  # rls2009 NDRPDR iter env 5
1723         - 43  # rls2009 NDRPDR iter env 5
1724         - 44  # rls2009 NDRPDR iter env 5
1725         - 46  # rls2009 NDRPDR iter env 5
1726         - 48  # rls2009 NDRPDR iter env 5
1727
1728     vpp-compare-topologies-mrr-ref:
1729       csit-vpp-perf-report-iterative-2009-3n-skx:
1730         - 24  # rls2009 MRR iter env 5
1731     vpp-compare-topologies-mrr-cmp:
1732       csit-vpp-perf-report-iterative-2009-2n-skx:
1733         - 120 # rls2009 MRR iter env 5
1734
1735     dpdk-compare-topologies-ref:
1736       csit-dpdk-perf-report-iterative-2009-3n-skx:
1737         - 4   # NDRPDR sel env5
1738         - 5   # NDRPDR sel env5
1739         - 6   # NDRPDR sel env5
1740         - 7   # NDRPDR sel env5
1741         - 8   # NDRPDR sel env5
1742         - 9   # NDRPDR sel env5
1743         - 14  # NDRPDR sel env5
1744         - 11  # NDRPDR sel env5
1745         - 12  # NDRPDR sel env5
1746         - 13  # NDRPDR sel env5
1747     dpdk-compare-topologies-cmp:
1748       csit-dpdk-perf-report-iterative-2009-2n-skx:
1749         - 4   # NDRPDR iter env5
1750         - 5   # NDRPDR iter env5
1751         - 6   # NDRPDR iter env5
1752         - 7   # NDRPDR iter env5
1753         - 8   # NDRPDR iter env5
1754         - 9   # NDRPDR iter env5
1755         - 10  # NDRPDR iter env5
1756         - 11  # NDRPDR iter env5
1757         - 12  # NDRPDR iter env5
1758         - 13  # NDRPDR iter env5
1759
1760   plot-layouts:
1761
1762     plot-soak-throughput:
1763       titlefont:
1764         size: 16
1765       xaxis:
1766         title: "<b>Test Cases [Index]</b>"
1767         titlefont:
1768           size: 14
1769         autorange: True
1770         fixedrange: False
1771         gridcolor: "rgb(230, 230, 230)"
1772         linecolor: "rgb(220, 220, 220)"
1773         linewidth: 1
1774         showgrid: True
1775         showline: True
1776         showticklabels: True
1777         tickcolor: "rgb(220, 220, 220)"
1778         tickmode: "linear"
1779         tickfont:
1780           size: 14
1781         zeroline: False
1782       yaxis:
1783         title: "<b>Critical Rate Lower Bound [Mpps]</b>"
1784         titlefont:
1785           size: 14
1786         gridcolor: "rgb(230, 230, 230)"
1787         hoverformat: ".4r"
1788         tickformat: ".3r"
1789         linecolor: "rgb(220, 220, 220)"
1790         linewidth: 1
1791         showgrid: True
1792         showline: True
1793         showticklabels: True
1794         tickcolor: "rgb(220, 220, 220)"
1795         tickfont:
1796           size: 14
1797         zeroline: False
1798         range: [0,50]
1799       autosize: False
1800       margin:
1801         t: 50
1802         b: 0
1803         l: 80
1804         r: 20
1805       showlegend: True
1806       legend:
1807         orientation: "h"
1808         font:
1809           size: 14
1810       width: 700
1811       height: 900
1812       paper_bgcolor: "#fff"
1813       plot_bgcolor: "#fff"
1814       hoverlabel:
1815         namelength: -1
1816
1817     plot-service-density:
1818       titlefont:
1819         size: 16
1820       xaxis:
1821         side: "top"
1822         autorange: True
1823         fixedrange: False
1824         showgrid: False
1825         showline: False
1826         showticklabels: False
1827         ticks: ""
1828         ticklen: 0
1829         tickwidth: 0
1830         zeroline: False
1831       yaxis:
1832         autorange: "reversed"
1833         showgrid: False
1834         showline: False
1835         showticklabels: False
1836         ticks: ""
1837         ticklen: 0
1838         tickwidth: 0
1839         zeroline: False
1840       showlegend: False
1841       paper_bgcolor: "#fff"
1842       plot_bgcolor: "#fff"
1843       width: 700
1844       height: 700
1845       hoverlabel:
1846         namelength: -1
1847
1848     plot-hoststack:
1849       titlefont:
1850         size: 16
1851       xaxis:
1852         title: "<b>Test Cases [Index]</b>"
1853         titlefont:
1854           size: 14
1855         autorange: True
1856         fixedrange: False
1857         gridcolor: "rgb(230, 230, 230)"
1858         linecolor: "rgb(220, 220, 220)"
1859         linewidth: 1
1860         showgrid: True
1861         showline: True
1862         showticklabels: True
1863         tickcolor: "rgb(220, 220, 220)"
1864         tickmode: "linear"
1865         tickfont:
1866           size: 14
1867         zeroline: False
1868       yaxis:
1869         title: "<b>Bandwidth [Gbps]</b>"
1870         titlefont:
1871           size: 14
1872         gridcolor: "rgb(230, 230, 230)"
1873         hoverformat: ".4s"
1874         linecolor: "rgb(220, 220, 220)"
1875         linewidth: 1
1876         rangemode: "tozero"
1877         showgrid: True
1878         showline: True
1879         showticklabels: True
1880         tickcolor: "rgb(230, 230, 230)"
1881         tickformat: ".3s"
1882         tickfont:
1883           size: 14
1884         zeroline: False
1885       autosize: False
1886       margin:
1887         t: 50
1888         b: 20
1889         l: 80
1890         r: 20
1891       showlegend: True
1892       legend:
1893         orientation: "h"
1894         font:
1895           size: 14
1896       width: 700
1897       height: 800
1898       paper_bgcolor: "#fff"
1899       plot_bgcolor: "#fff"
1900       hoverlabel:
1901         namelength: -1
1902
1903     plot-throughput:
1904       titlefont:
1905         size: 16
1906       xaxis:
1907         title: "<b>Test Cases [Index]</b>"
1908         titlefont:
1909           size: 14
1910         autorange: True
1911         fixedrange: False
1912         gridcolor: "rgb(230, 230, 230)"
1913         linecolor: "rgb(220, 220, 220)"
1914         linewidth: 1
1915         showgrid: True
1916         showline: True
1917         showticklabels: True
1918         tickcolor: "rgb(220, 220, 220)"
1919         tickmode: "linear"
1920         tickfont:
1921           size: 14
1922         zeroline: False
1923       yaxis:
1924         title: "<b>Packet Throughput [Mpps]</b>"
1925         titlefont:
1926           size: 14
1927         gridcolor: "rgb(230, 230, 230)"
1928         hoverformat: ".4r"
1929         tickformat: ".3r"
1930         linecolor: "rgb(220, 220, 220)"
1931         linewidth: 1
1932         showgrid: True
1933         showline: True
1934         showticklabels: True
1935         tickcolor: "rgb(220, 220, 220)"
1936         tickfont:
1937           size: 14
1938         zeroline: False
1939         range: [0,50]
1940       autosize: False
1941       margin:
1942         t: 50
1943         b: 0
1944         l: 80
1945         r: 20
1946       showlegend: True
1947       legend:
1948         orientation: "h"
1949         font:
1950           size: 14
1951       width: 700
1952       height: 900
1953       paper_bgcolor: "#fff"
1954       plot_bgcolor: "#fff"
1955       hoverlabel:
1956         namelength: -1
1957
1958     plot-throughput-gbps:
1959       titlefont:
1960         size: 16
1961       xaxis:
1962         title: "<b>Test Cases [Index]</b>"
1963         titlefont:
1964           size: 14
1965         autorange: True
1966         fixedrange: False
1967         gridcolor: "rgb(230, 230, 230)"
1968         linecolor: "rgb(220, 220, 220)"
1969         linewidth: 1
1970         showgrid: True
1971         showline: True
1972         showticklabels: True
1973         tickcolor: "rgb(220, 220, 220)"
1974         tickmode: "linear"
1975         tickfont:
1976           size: 14
1977         zeroline: False
1978       yaxis:
1979         title: "<b>Packet Throughput [Gbps]</b>"
1980         titlefont:
1981           size: 14
1982         gridcolor: "rgb(230, 230, 230)"
1983         hoverformat: ".4r"
1984         tickformat: ".3r"
1985         linecolor: "rgb(220, 220, 220)"
1986         linewidth: 1
1987         showgrid: True
1988         showline: True
1989         showticklabels: True
1990         tickcolor: "rgb(220, 220, 220)"
1991         tickfont:
1992           size: 14
1993         zeroline: False
1994         range: [0,10]
1995       autosize: False
1996       margin:
1997         t: 50
1998         b: 0
1999         l: 80
2000         r: 20
2001       showlegend: True
2002       legend:
2003         orientation: "h"
2004         font:
2005           size: 14
2006       width: 700
2007       height: 900
2008       paper_bgcolor: "#fff"
2009       plot_bgcolor: "#fff"
2010       hoverlabel:
2011         namelength: -1
2012
2013     plot-cps:
2014       titlefont:
2015         size: 16
2016       xaxis:
2017         title: "<b>Test Cases [Index]</b>"
2018         titlefont:
2019           size: 14
2020         autorange: True
2021         fixedrange: False
2022         gridcolor: "rgb(230, 230, 230)"
2023         linecolor: "rgb(220, 220, 220)"
2024         linewidth: 1
2025         showgrid: True
2026         showline: True
2027         showticklabels: True
2028         tickcolor: "rgb(220, 220, 220)"
2029         tickmode: "linear"
2030         tickfont:
2031           size: 14
2032         zeroline: False
2033       yaxis:
2034         title: "<b>Connection Rate [Mcps]</b>"
2035         titlefont:
2036           size: 14
2037         gridcolor: "rgb(230, 230, 230)"
2038         hoverformat: ".4r"
2039         tickformat: ".3s"
2040         linecolor: "rgb(220, 220, 220)"
2041         linewidth: 1
2042         showgrid: True
2043         showline: True
2044         showticklabels: True
2045         tickcolor: "rgb(220, 220, 220)"
2046         tickfont:
2047           size: 14
2048         zeroline: False
2049         range: [0,10]
2050       autosize: False
2051       margin:
2052         t: 50
2053         b: 0
2054         l: 80
2055         r: 20
2056       showlegend: True
2057       legend:
2058         orientation: "h"
2059         font:
2060           size: 14
2061       width: 700
2062       height: 900
2063       paper_bgcolor: "#fff"
2064       plot_bgcolor: "#fff"
2065       hoverlabel:
2066         namelength: -1
2067
2068     plot-throughput-speedup-analysis:
2069       titlefont:
2070         size: 16
2071       xaxis:
2072         title: "<b>Number of Cores [Qty]</b>"
2073         titlefont:
2074           size: 14
2075         autorange: True
2076         fixedrange: False
2077         gridcolor: "rgb(230, 230, 230)"
2078         linecolor: "rgb(220, 220, 220)"
2079         linewidth: 1
2080         showgrid: True
2081         showline: True
2082         showticklabels: True
2083         tickcolor: "rgb(238, 238, 238)"
2084         tickmode: "linear"
2085         tickfont:
2086           size: 14
2087         zeroline: False
2088       yaxis:
2089         title: "<b>Packet Throughput [Mpps]</b>"
2090         titlefont:
2091           size: 14
2092         type: "linear"
2093         gridcolor: "rgb(230, 230, 230)"
2094         hoverformat: ".4s"
2095         linecolor: "rgb(220, 220, 220)"
2096         linewidth: 1
2097         showgrid: True
2098         showline: True
2099         showticklabels: True
2100         tickcolor: "rgb(220, 220, 220)"
2101         tickformat: ".4s"
2102         tickfont:
2103           size: 14
2104         zeroline: True
2105         rangemode: "tozero"
2106         range: [0,100]
2107       legend:
2108         orientation: "h"
2109         font:
2110           size: 14
2111         xanchor: "left"
2112         yanchor: "top"
2113         x: 0
2114         y: -0.2
2115         bgcolor: "rgba(255, 255, 255, 0)"
2116         bordercolor: "rgba(255, 255, 255, 0)"
2117         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2118       autosize: False
2119       margin:
2120           't': 50
2121           'b': 150
2122           'l': 85
2123           'r': 10
2124       showlegend: True
2125       width: 700
2126       height: 700
2127       paper_bgcolor: "#fff"
2128       plot_bgcolor: "#fff"
2129       hoverlabel:
2130         namelength: -1
2131       annotations: [
2132         {
2133           text: "_ _          __          ...",
2134           align: "left",
2135           showarrow: False,
2136           xref: "paper",
2137           yref: "paper",
2138           xanchor: "left",
2139           yanchor: "top",
2140           x: 0,
2141           y: -0.14,
2142           font: {
2143             family: "Consolas, Courier New",
2144             size: 13
2145           },
2146         },
2147         {
2148           text: "    Perfect     Measured     Limit",
2149           align: "left",
2150           showarrow: False,
2151           xref: "paper",
2152           yref: "paper",
2153           xanchor: "left",
2154           yanchor: "top",
2155           x: 0,
2156           y: -0.15,
2157           font: {
2158             family: "Consolas, Courier New",
2159             size: 13
2160           },
2161         },
2162       ]
2163
2164     plot-throughput-speedup-analysis-gbps:
2165       titlefont:
2166         size: 16
2167       xaxis:
2168         title: "<b>Number of Cores [Qty]</b>"
2169         titlefont:
2170           size: 14
2171         autorange: True
2172         fixedrange: False
2173         gridcolor: "rgb(230, 230, 230)"
2174         linecolor: "rgb(220, 220, 220)"
2175         linewidth: 1
2176         showgrid: True
2177         showline: True
2178         showticklabels: True
2179         tickcolor: "rgb(238, 238, 238)"
2180         tickmode: "linear"
2181         tickfont:
2182           size: 14
2183         zeroline: False
2184       yaxis:
2185         title: "<b>Packet Throughput [Gbps]</b>"
2186         titlefont:
2187           size: 14
2188         type: "linear"
2189         gridcolor: "rgb(230, 230, 230)"
2190         hoverformat: ".4s"
2191         linecolor: "rgb(220, 220, 220)"
2192         linewidth: 1
2193         showgrid: True
2194         showline: True
2195         showticklabels: True
2196         tickcolor: "rgb(220, 220, 220)"
2197         tickformat: ".4s"
2198         tickfont:
2199           size: 14
2200         zeroline: True
2201         rangemode: "tozero"
2202         range: [0,100]
2203       legend:
2204         orientation: "h"
2205         font:
2206           size: 14
2207         xanchor: "left"
2208         yanchor: "top"
2209         x: 0
2210         y: -0.2
2211         bgcolor: "rgba(255, 255, 255, 0)"
2212         bordercolor: "rgba(255, 255, 255, 0)"
2213         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2214       autosize: False
2215       margin:
2216           't': 50
2217           'b': 150
2218           'l': 85
2219           'r': 10
2220       showlegend: True
2221       width: 700
2222       height: 700
2223       paper_bgcolor: "#fff"
2224       plot_bgcolor: "#fff"
2225       hoverlabel:
2226         namelength: -1
2227       annotations: [
2228         {
2229           text: "_ _          __",
2230           align: "left",
2231           showarrow: False,
2232           xref: "paper",
2233           yref: "paper",
2234           xanchor: "left",
2235           yanchor: "top",
2236           x: 0,
2237           y: -0.13,
2238           font: {
2239             family: "Consolas, Courier New",
2240             size: 13
2241           },
2242         },
2243         {
2244           text: "    Perfect     Measured",
2245           align: "left",
2246           showarrow: False,
2247           xref: "paper",
2248           yref: "paper",
2249           xanchor: "left",
2250           yanchor: "top",
2251           x: 0,
2252           y: -0.15,
2253           font: {
2254             family: "Consolas, Courier New",
2255             size: 13
2256           },
2257         },
2258       ]
2259
2260     plot-throughput-speedup-analysis-cps:
2261       titlefont:
2262         size: 16
2263       xaxis:
2264         title: "<b>Number of Cores [Qty]</b>"
2265         titlefont:
2266           size: 14
2267         autorange: True
2268         fixedrange: False
2269         gridcolor: "rgb(230, 230, 230)"
2270         linecolor: "rgb(220, 220, 220)"
2271         linewidth: 1
2272         showgrid: True
2273         showline: True
2274         showticklabels: True
2275         tickcolor: "rgb(238, 238, 238)"
2276         tickmode: "linear"
2277         tickfont:
2278           size: 14
2279         zeroline: False
2280       yaxis:
2281         title: "<b>Connection Rate [Mcps]</b>"
2282         titlefont:
2283           size: 14
2284         type: "linear"
2285         gridcolor: "rgb(230, 230, 230)"
2286         hoverformat: ".4s"
2287         linecolor: "rgb(220, 220, 220)"
2288         linewidth: 1
2289         showgrid: True
2290         showline: True
2291         showticklabels: True
2292         tickcolor: "rgb(220, 220, 220)"
2293         tickformat: ".4s"
2294         tickfont:
2295           size: 14
2296         zeroline: True
2297         rangemode: "tozero"
2298         range: [0,100]
2299       legend:
2300         orientation: "h"
2301         font:
2302           size: 14
2303         xanchor: "left"
2304         yanchor: "top"
2305         x: 0
2306         y: -0.2
2307         bgcolor: "rgba(255, 255, 255, 0)"
2308         bordercolor: "rgba(255, 255, 255, 0)"
2309         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2310       autosize: False
2311       margin:
2312           't': 50
2313           'b': 150
2314           'l': 85
2315           'r': 10
2316       showlegend: True
2317       width: 700
2318       height: 700
2319       paper_bgcolor: "#fff"
2320       plot_bgcolor: "#fff"
2321       hoverlabel:
2322         namelength: -1
2323       annotations: [
2324         {
2325           text: "_ _          __",
2326           align: "left",
2327           showarrow: False,
2328           xref: "paper",
2329           yref: "paper",
2330           xanchor: "left",
2331           yanchor: "top",
2332           x: 0,
2333           y: -0.13,
2334           font: {
2335             family: "Consolas, Courier New",
2336             size: 13
2337           },
2338         },
2339         {
2340           text: "    Perfect     Measured",
2341           align: "left",
2342           showarrow: False,
2343           xref: "paper",
2344           yref: "paper",
2345           xanchor: "left",
2346           yanchor: "top",
2347           x: 0,
2348           y: -0.15,
2349           font: {
2350             family: "Consolas, Courier New",
2351             size: 13
2352           },
2353         },
2354       ]
2355
2356     plot-latency:
2357       titlefont:
2358         size: 16
2359       xaxis:
2360         title: "<b>Direction</b>"
2361         titlefont:
2362           size: 14
2363         autorange: True
2364         fixedrange: False
2365         gridcolor: "rgb(230, 230, 230)"
2366         linecolor: "rgb(220, 220, 220)"
2367         linewidth: 1
2368         showgrid: True
2369         showline: True
2370         showticklabels: False
2371         tickcolor: "rgb(220, 220, 220)"
2372         tickmode: "linear"
2373         tickfont:
2374           size: 14
2375         zeroline: False
2376       yaxis:
2377         title: "<b>Packet Latency [uSec]</b>"
2378         titlefont:
2379           size: 14
2380         type: "linear"
2381         gridcolor: "rgb(230, 230, 230)"
2382         hoverformat: ".4s"
2383         linecolor: "rgb(220, 220, 220)"
2384         linewidth: 1
2385         showgrid: True
2386         showline: True
2387         showticklabels: True
2388         tickcolor: "rgb(220, 220, 220)"
2389         tickformat: ".4s"
2390         tickfont:
2391           size: 14
2392         zeroline: True
2393         rangemode: "tozero"
2394       legend:
2395         orientation: "h"
2396         font:
2397           size: 14
2398         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2399       autosize: False
2400       margin:
2401           't': 50
2402           'b': 150
2403           'l': 80
2404           'r': 10
2405       showlegend: True
2406       width: 700
2407       height: 700
2408       paper_bgcolor: "#fff"
2409       plot_bgcolor: "#fff"
2410       hoverlabel:
2411         namelength: -1
2412
2413     plot-hdrh-latency:
2414       title:
2415         text: ""
2416         xanchor: "center"
2417         x: 0.5
2418         font:
2419           size: 16
2420       width: 700
2421       plot_bgcolor: "white"
2422       annotations:
2423         - font:
2424             size: 14
2425           showarrow: False
2426           text: "<b>Packet Latency [uSec]</b>"
2427           x: 1
2428           xanchor: "right"
2429           xref: "paper"
2430           y: -0.045
2431           yanchor: "top"
2432           yref: "paper"
2433         - font:
2434             size: 14
2435           showarrow: False
2436           text: "<b>Probability [%]</b>"
2437           textangle: 270
2438           x: -0.06
2439           xanchor: "center"
2440           xref: "paper"
2441           y: 0.5
2442           yanchor: "middle"
2443           yref: "paper"
2444         - font:
2445             size: 14
2446           showarrow: False
2447           text: "<b>Direction: E-W</b>"
2448           x: 0.24
2449           xanchor: "center"
2450           xref: "paper"
2451           y: 1.05
2452           yanchor: "bottom"
2453           yref: "paper"
2454         - font:
2455             size: 14
2456           showarrow: False
2457           text: "<b>Direction: W-E</b>"
2458           x: 0.74
2459           xanchor: "center"
2460           xref: "paper"
2461           y: 1.05
2462           yanchor: "bottom"
2463           yref: "paper"
2464
2465     plot-hdrh-latency-percentile:
2466       title:
2467         text: ""
2468         xanchor: "center"
2469         x: 0.5
2470         font:
2471           size: 16
2472       xaxis:
2473         type: "log"
2474         title: "<b>Percentile [%]</b>"
2475         titlefont:
2476           size: 14
2477         autorange: True
2478         fixedrange: False
2479         gridcolor: "rgb(230, 230, 230)"
2480         linecolor: "rgb(220, 220, 220)"
2481         linewidth: 1
2482         showgrid: True
2483         showline: True
2484         showticklabels: True
2485         tickcolor: "rgb(220, 220, 220)"
2486         tickvals: [1, 2, 1e1, 20, 1e2, 1e3, 1e4, 1e5, 1e6, 1e7, 1e8]
2487         ticktext: [0, 50, 90, 95, 99, 99.9, 99.99, 99.999, 99.9999, 99.99999, 99.999999]
2488         tickfont:
2489           size: 14
2490       yaxis:
2491         title: "<b>Packet Latency [uSec]</b>"
2492         titlefont:
2493           size: 14
2494         gridcolor: "rgb(230, 230, 230)"
2495         linecolor: "rgb(220, 220, 220)"
2496         linewidth: 1
2497         showgrid: True
2498         showline: True
2499         showticklabels: True
2500         tickcolor: "rgb(220, 220, 220)"
2501         tickfont:
2502           size: 14
2503       autosize: False
2504       showlegend: True
2505       legend:
2506         traceorder: "normal"
2507         orientation: "h"
2508         font:
2509           size: 14
2510         xanchor: "left"
2511         yanchor: "top"
2512         x: 0
2513         y: -0.15
2514         bgcolor: "rgba(255, 255, 255, 0)"
2515         bordercolor: "rgba(255, 255, 255, 0)"
2516       width: 700
2517       height: 700
2518       paper_bgcolor: "white"
2519       plot_bgcolor: "white"
2520
2521     plot-hdrh-latency-by-percentile:
2522       title:
2523         text: "<b>Latency by Percentile Distribution</b>"
2524         xanchor: "center"
2525         x: 0.5
2526         font:
2527           size: 18
2528       showlegend: True
2529       legend:
2530         traceorder: "normal"
2531         orientation: "h"
2532         font:
2533           size: 16
2534         xanchor: "left"
2535         yanchor: "top"
2536         x: 0
2537         y: -0.2
2538         bgcolor: "rgba(255, 255, 255, 0)"
2539         bordercolor: "rgba(255, 255, 255, 0)"
2540       xaxis:
2541         type: "linear"
2542         title: "<b>Percentile [%]</b>"
2543         titlefont:
2544           size: 14
2545         autorange: False
2546         fixedrange: False
2547         range: [0, 100]
2548         gridcolor: "rgb(230, 230, 230)"
2549         linecolor: "rgb(220, 220, 220)"
2550         linewidth: 1
2551         showgrid: True
2552         showline: True
2553         showticklabels: True
2554         tickcolor: "rgb(220, 220, 220)"
2555         tickvals: [0, 25, 50, 75, 100]
2556         ticktext: [0, 25, 50, 75, 100]
2557         tickfont:
2558           size: 14
2559       yaxis:
2560         title: "<b>One-Way Latency per Direction [uSec]</b>"
2561         titlefont:
2562           size: 14
2563         gridcolor: "rgb(230, 230, 230)"
2564         linecolor: "rgb(220, 220, 220)"
2565         linewidth: 1
2566         showgrid: True
2567         showline: True
2568         showticklabels: True
2569         tickcolor: "rgb(220, 220, 220)"
2570         tickfont:
2571           size: 14
2572       width: 700
2573       height: 700
2574       paper_bgcolor: "white"
2575       plot_bgcolor: "white"
2576
2577 - type: "static"
2578   src-path: "{DIR[RST]}"
2579   dst-path: "{DIR[WORKING,SRC]}"
2580
2581 - type: "input"
2582   general:
2583     file-name: "output_info.xml.gz"
2584     file-format: ".gz"
2585     arch-file-format:
2586       - ".gz"
2587       - ".zip"
2588     download-path: "{job}/{build}/archives/{filename}"
2589     extract: "output.xml"
2590
2591     zip-file-name: "robot-plugin.zip"
2592     zip-file-format: ".zip"
2593     zip-download-path: "{job}/{build}/robot/report/*zip*/{filename}"
2594     zip-extract: "robot-plugin/output.xml"
2595
2596   builds:
2597
2598     csit-vpp-perf-verify-2001-3n-hsw:
2599       - 17  # MRR sel
2600     csit-vpp-perf-report-iterative-2005-3n-hsw:
2601       - 20  # NDRPDR sel env 4
2602       - 21  # NDRPDR sel env 4
2603       - 22  # NDRPDR sel env 4
2604       - 23  # NDRPDR sel env 4
2605       - 24  # NDRPDR sel env 4
2606       - 25  # NDRPDR sel env 4
2607       - 26  # NDRPDR sel env 4
2608       - 27  # NDRPDR sel env 4
2609       - 28  # NDRPDR sel env 4
2610       - 29  # NDRPDR sel env 4
2611       - 30  # MRR env 4
2612       - 31  # NDRPDR sel 2001.0-4
2613       - 32  # NDRPDR sel 2001.0-4
2614       - 33  # NDRPDR sel 2001.0-4
2615       - 34  # NDRPDR sel 2001.0-4
2616       - 35  # NDRPDR sel 2001.0-4
2617       - 36  # NDRPDR sel 2001.0-4
2618       - 38  # NDRPDR sel 2001.0-4
2619     csit-vpp-perf-report-iterative-2009-3n-hsw:
2620       - 18  # rls2005 MRR iter env 5
2621       - 9   # rls2005 NDRPDR iter env 5
2622       - 10  # rls2005 NDRPDR iter env 5
2623       - 11  # rls2005 NDRPDR iter env 5
2624       - 12  # rls2005 NDRPDR iter env 5
2625       - 13  # rls2005 NDRPDR iter env 5
2626       - 14  # rls2005 NDRPDR iter env 5
2627       - 15  # rls2005 NDRPDR iter env 5
2628       - 16  # rls2005 NDRPDR iter env 5
2629       - 17  # rls2005 NDRPDR iter env 5
2630       - 19  # rls2005 NDRPDR iter env 5
2631       - 23  # rls2009 MRR iter env 5
2632       - 21  # rls2009 NDRPDR iter env 5
2633       - 22  # rls2009 NDRPDR iter env 5
2634       - 24  # rls2009 NDRPDR iter env 5
2635       - 25  # rls2009 NDRPDR iter env 5
2636       - 26  # rls2009 NDRPDR iter env 5
2637       - 27  # rls2009 NDRPDR iter env 5
2638       - 28  # rls2009 NDRPDR iter env 5
2639       - 29  # rls2009 NDRPDR iter env 5
2640       - 30  # rls2009 NDRPDR iter env 5
2641       - 31  # rls2009 NDRPDR iter env 5
2642       - 32  # rls2009 Hoststack iter env 5
2643       - 33  # rls2009 Hoststack iter env 5
2644       - 34  # rls2009 Hoststack iter env 5
2645       - 35  # rls2009 Hoststack iter env 5
2646       - 36  # rls2009 Hoststack iter env 5
2647       - 37  # rls2009 Hoststack iter env 5
2648       - 38  # rls2009 Hoststack iter env 5
2649       - 39  # rls2009 Hoststack iter env 5
2650       - 40  # rls2009 Hoststack iter env 5
2651       - 41  # rls2009 Hoststack iter env 5
2652     csit-vpp-perf-report-coverage-2009-3n-hsw:
2653       - 3   # rls2009 NDRPDR cov 3n-hsw-crypto-00
2654       - 4   # rls2009 NDRPDR cov 3n-hsw-crypto-01
2655       - 5   # rls2009 NDRPDR cov 3n-hsw-crypto-02
2656       - 6   # rls2009 NDRPDR cov 3n-hsw-crypto-03
2657       - 7   # rls2009 NDRPDR cov 3n-hsw-ip4-00
2658       - 8   # rls2009 NDRPDR cov 3n-hsw-ip4-01
2659       - 9   # rls2009 NDRPDR cov 3n-hsw-ip4-02
2660       - 10  # rls2009 NDRPDR cov 3n-hsw-ip4-03
2661       - 11  # rls2009 NDRPDR cov 3n-hsw-ip4-04
2662       - 12  # rls2009 NDRPDR cov 3n-hsw-ip4-05
2663       - 13  # rls2009 NDRPDR cov 3n-hsw-ip4-06
2664       - 14  # rls2009 NDRPDR cov 3n-hsw-ip4-07
2665       - 15  # rls2009 NDRPDR cov 3n-hsw-ip4tun-00
2666       - 16  # rls2009 NDRPDR cov 3n-hsw-ip4tun-01
2667       - 17  # rls2009 NDRPDR cov 3n-hsw-ip4tun-02
2668       - 18  # rls2009 NDRPDR cov 3n-hsw-ip6-00
2669       - 19  # rls2009 NDRPDR cov 3n-hsw-ip6-01
2670       - 20  # rls2009 NDRPDR cov 3n-hsw-ip6tun-00
2671       - 21  # rls2009 NDRPDR cov 3n-hsw-l2-00
2672       - 22  # rls2009 NDRPDR cov 3n-hsw-l2-01
2673       - 23  # rls2009 NDRPDR cov 3n-hsw-l2-01
2674       - 24  # rls2009 NDRPDR cov 3n-hsw-l2-03
2675       - 25  # rls2009 NDRPDR cov 3n-hsw-l2-04
2676       - 26  # rls2009 NDRPDR cov 3n-hsw-l2-05
2677       - 27  # rls2009 NDRPDR cov 3n-hsw-l2-06
2678       - 28  # rls2009 NDRPDR cov 3n-hsw-l2-07
2679       - 29  # rls2009 NDRPDR cov 3n-hsw-l2-08
2680       - 30  # rls2009 NDRPDR cov 3n-hsw-l2-09
2681       - 31  # rls2009 NDRPDR cov 3n-hsw-l2-10
2682       - 32  # rls2009 NDRPDR cov 3n-hsw-memif-00
2683       - 33  # rls2009 NDRPDR cov 3n-hsw-srv6-00
2684       - 34  # rls2009 NDRPDR cov 3n-hsw-srv6-01
2685       - 35  # rls2009 NDRPDR cov 3n-hsw-vhost-00
2686       - 36  # rls2009 NDRPDR cov 3n-hsw-vhost-01
2687       - 37  # rls2009 NDRPDR cov 3n-hsw-vhost-02
2688
2689     csit-vpp-perf-verify-2001-3n-skx:
2690       - 50  # MRR sel
2691       - 53  # MRR sel addition
2692     csit-vpp-perf-report-iterative-2005-3n-skx:
2693       - 4   # NDRPDR sel
2694       - 5   # NDRPDR sel ??? all x710 failed
2695       - 33  # NDRPDR sel
2696       - 28  # NDRPDR sel
2697       - 34  # NDRPDR sel
2698       - 42  # NDRPDR sel env 4
2699       - 43  # NDRPDR sel env 4
2700       - 44  # NDRPDR sel env 4
2701       - 45  # NDRPDR sel env 4
2702       - 47  # NDRPDR sel env 4
2703       - 55  # NDRPDR sel env 4
2704       - 56  # NDRPDR sel env 4
2705       - 57  # NDRPDR sel env 4
2706       - 61  # NDRPDR sel env 4
2707       - 62  # NDRPDR sel env 4
2708       - 50  # NDRPDR sel 2001.0-4
2709       - 51  # NDRPDR sel 2001.0-4
2710       - 52  # NDRPDR sel 2001.0-4
2711       - 53  # NDRPDR sel 2001.0-4
2712       - 54  # NDRPDR sel 2001.0-4
2713       - 49  # MRR sel env 4
2714     csit-vpp-perf-report-iterative-2009-3n-skx:
2715       - 17  # rls2005 MRR iter env 5
2716       - 13  # rls2005 NDRPDR iter env 5
2717       - 18  # rls2005 NDRPDR iter env 5
2718       - 19  # rls2005 NDRPDR iter env 5
2719       - 41  # rls2005 NDRPDR iter env 5
2720       - 43  # rls2005 NDRPDR iter env 5
2721       - 44  # rls2005 NDRPDR iter env 5
2722       - 45  # rls2005 NDRPDR iter env 5
2723       - 46  # rls2005 NDRPDR iter env 5
2724       - 48  # rls2005 NDRPDR iter env 5
2725       - 49  # rls2005 NDRPDR iter env 5
2726       - 24  # rls2009 MRR iter env 5
2727       - 26  # rls2009 NDRPDR iter env 5
2728       - 27  # rls2009 NDRPDR iter env 5
2729       - 28  # rls2009 NDRPDR iter env 5
2730       - 29  # rls2009 NDRPDR iter env 5
2731       - 35  # rls2009 NDRPDR iter env 5
2732       - 36  # rls2009 NDRPDR iter env 5
2733       - 37  # rls2009 NDRPDR iter env 5
2734       - 38  # rls2009 NDRPDR iter env 5
2735       - 39  # rls2009 NDRPDR iter env 5
2736       - 40  # rls2009 NDRPDR iter env 5
2737     csit-vpp-perf-report-coverage-2009-3n-skx:
2738       - 36  # rls2009 NDRPDR cov 3n-skx-crypto-00
2739       - 3   # rls2009 NDRPDR cov 3n-skx-crypto-01
2740       - 4   # rls2009 NDRPDR cov 3n-skx-crypto-02
2741       - 37  # rls2009 NDRPDR cov 3n-skx-crypto-03
2742       - 6   # rls2009 NDRPDR cov 3n-skx-ip4-00
2743       - 7   # rls2009 NDRPDR cov 3n-skx-ip4-01
2744       - 8   # rls2009 NDRPDR cov 3n-skx-ip4-02
2745       - 9   # rls2009 NDRPDR cov 3n-skx-ip4-03
2746       - 10  # rls2009 NDRPDR cov 3n-skx-ip4-04
2747       - 38  # rls2009 NDRPDR cov 3n-skx-ip4-05
2748       - 12  # rls2009 NDRPDR cov 3n-skx-ip4-06
2749       - 39  # rls2009 NDRPDR cov 3n-skx-ip4-07
2750       - 14  # rls2009 NDRPDR cov 3n-skx-ip4tun-00
2751       - 15  # rls2009 NDRPDR cov 3n-skx-ip4tun-01
2752       - 16  # rls2009 NDRPDR cov 3n-skx-ip4tun-02
2753       - 40  # rls2009 NDRPDR cov 3n-skx-ip6-00
2754       - 18  # rls2009 NDRPDR cov 3n-skx-ip6-01
2755       - 19  # rls2009 NDRPDR cov 3n-skx-ip6tun-00
2756       - 20  # rls2009 NDRPDR cov 3n-skx-l2-00
2757       - 21  # rls2009 NDRPDR cov 3n-skx-l2-01
2758       - 22  # rls2009 NDRPDR cov 3n-skx-l2-02
2759       - 23  # rls2009 NDRPDR cov 3n-skx-l2-03
2760       - 24  # rls2009 NDRPDR cov 3n-skx-l2-04
2761       - 41  # rls2009 NDRPDR cov 3n-skx-l2-05
2762       - 42  # rls2009 NDRPDR cov 3n-skx-l2-06
2763       - 43  # rls2009 NDRPDR cov 3n-skx-l2-07
2764       - 28  # rls2009 NDRPDR cov 3n-skx-l2-08
2765       - 44  # rls2009 NDRPDR cov 3n-skx-l2-09
2766       - 45  # rls2009 NDRPDR cov 3n-skx-l2-10
2767       - 46  # rls2009 NDRPDR cov 3n-skx-memif-00
2768       - 47  # rls2009 NDRPDR cov 3n-skx-srv6-00
2769       - 48  # rls2009 NDRPDR cov 3n-skx-srv6-01
2770       - 49  # rls2009 NDRPDR cov 3n-skx-vhost-00
2771       - 50  # rls2009 NDRPDR cov 3n-skx-vhost-01
2772       - 51  # rls2009 NDRPDR cov 3n-skx-vhost-02
2773       - 54  # rls2009 NDRPDR cov 3n-skx-vhost-03
2774
2775     csit-vpp-perf-verify-2001-2n-skx:
2776       - 101  # MRR sel - old
2777       - 128  # MRR sel addition - old
2778     csit-vpp-perf-report-iterative-2005-2n-skx:
2779       - 88  # NDRPDR sel env 4
2780       - 89  # NDRPDR sel env 4
2781       - 90  # NDRPDR sel env 4
2782       - 91  # NDRPDR sel env 4
2783       - 92  # NDRPDR sel env 4
2784       - 93  # NDRPDR sel env 4
2785       - 94  # NDRPDR sel env 4
2786       - 125 # NDRPDR sel env 4
2787       - 126 # NDRPDR sel env 4
2788       - 127 # NDRPDR sel env 4
2789       - 100 # NDRPDR sel 2001.0-4
2790       - 101 # NDRPDR sel 2001.0-4
2791       - 102 # NDRPDR sel 2001.0-4
2792       - 103 # NDRPDR sel 2001.0-4
2793       - 104 # NDRPDR sel 2001.0-4
2794       - 105 # NDRPDR sel 2001.0-4
2795       - 99  # MRR sel env 4
2796     csit-vpp-perf-report-iterative-2009-2n-skx:
2797       - 20  # rls2005 MRR iter env 5
2798       - 13  # rls2005 NDRPDR iter env 5
2799       - 16  # rls2005 NDRPDR iter env 5
2800       - 17  # rls2005 NDRPDR iter env 5
2801       - 18  # rls2005 NDRPDR iter env 5
2802       - 19  # rls2005 NDRPDR iter env 5
2803       - 21  # rls2005 NDRPDR iter env 5
2804       - 22  # rls2005 NDRPDR iter env 5
2805       - 23  # rls2005 NDRPDR iter env 5
2806       - 24  # rls2005 NDRPDR iter env 5
2807       - 25  # rls2005 NDRPDR iter env 5
2808       - 120 # rls2009 MRR iter env 5
2809       - 35  # rls2009 NDRPDR iter env 5
2810       - 36  # rls2009 NDRPDR iter env 5
2811       - 37  # rls2009 NDRPDR iter env 5
2812       - 39  # rls2009 NDRPDR iter env 5
2813       - 40  # rls2009 NDRPDR iter env 5
2814       - 42  # rls2009 NDRPDR iter env 5
2815       - 43  # rls2009 NDRPDR iter env 5
2816       - 44  # rls2009 NDRPDR iter env 5
2817       - 46  # rls2009 NDRPDR iter env 5
2818       - 48  # rls2009 NDRPDR iter env 5
2819       - 110 # rls2009 NDRPDR iter NAT44 env 5
2820       - 111 # rls2009 NDRPDR iter NAT44 env 5
2821       - 112 # rls2009 NDRPDR iter NAT44 env 5
2822       - 113 # rls2009 NDRPDR iter NAT44 env 5
2823       - 114 # rls2009 NDRPDR iter NAT44 env 5
2824       - 115 # rls2009 NDRPDR iter NAT44 env 5
2825       - 116 # rls2009 NDRPDR iter NAT44 env 5
2826       - 118 # rls2009 NDRPDR iter NAT44 env 5
2827       - 119 # rls2009 NDRPDR iter NAT44 env 5
2828       - 121 # rls2009 NDRPDR iter NAT44 env 5
2829       - 38  # rls2009 nf-density iter env 5
2830       - 41  # rls2009 nf-density iter env 5
2831       - 45  # rls2009 nf-density iter env 5
2832       - 47  # rls2009 nf-density iter env 5
2833       - 49  # rls2009 nf-density iter env 5
2834       - 63  # rls2009 nf-density iter env 5
2835       - 65  # rls2009 nf-density iter env 5
2836       - 66  # rls2009 nf-density iter env 5
2837       - 71  # rls2009 nf-density iter env 5
2838       - 72  # rls2009 nf-density iter env 5
2839       - 50  # rls2009 MRR nf-density iter env 5
2840       - 27  # rls2009 reconf env 5
2841       - 28  # rls2009 reconf env 5
2842       - 29  # rls2009 reconf env 5
2843       - 30  # rls2009 reconf env 5
2844       - 31  # rls2009 reconf env 5
2845       - 32  # rls2009 reconf env 5
2846       - 61  # rls2009 reconf env 5
2847       - 62  # rls2009 reconf env 5
2848       - 68  # rls2009 reconf env 5
2849       - 70  # rls2009 reconf env 5
2850       - 33  # rls2009 soak env 5
2851       - 34  # rls2009 soak env 5
2852     csit-vpp-perf-report-coverage-2009-2n-skx:
2853       - 18  # rls2009 NDRPDR cov 2n-skx-ip4-00
2854       - 19  # rls2009 NDRPDR cov 2n-skx-ip4-01
2855       - 10  # rls2009 NDRPDR cov 2n-skx-ip4-02
2856       - 20  # rls2009 NDRPDR cov 2n-skx-ip4-03
2857       - 21  # rls2009 NDRPDR cov 2n-skx-ip4-04
2858       - 31  # rls2009 NDRPDR cov 2n-skx-ip4-05
2859       - 32  # rls2009 NDRPDR cov 2n-skx-ip4-06
2860       - 33  # rls2009 NDRPDR cov 2n-skx-ip4-07
2861       - 22  # rls2009 NDRPDR cov 2n-skx-ip6-00
2862       - 23  # rls2009 NDRPDR cov 2n-skx-ip6-01
2863       - 24  # rls2009 NDRPDR cov 2n-skx-l2-00
2864       - 25  # rls2009 NDRPDR cov 2n-skx-l2-01
2865       - 26  # rls2009 NDRPDR cov 2n-skx-lb-00
2866       - 27  # rls2009 NDRPDR cov 2n-skx-memif-00
2867       - 28  # rls2009 NDRPDR cov 2n-skx-vhost-00
2868       - 29  # rls2009 NDRPDR cov 2n-skx-vhost-01
2869       - 30  # rls2009 NDRPDR cov 2n-skx-vts-00
2870
2871     csit-vpp-perf-verify-2001-2n-clx:
2872       - 39  # MRR
2873     csit-vpp-perf-report-iterative-2005-2n-clx:
2874       - 62  # NDRPDR sel env 4
2875       - 63  # NDRPDR sel env 4
2876       - 64  # NDRPDR sel env 4
2877       - 65  # NDRPDR sel env 4
2878       - 66  # NDRPDR sel env 4
2879       - 68  # NDRPDR sel env 4
2880       - 69  # NDRPDR sel env 4
2881       - 70  # NDRPDR sel env 4
2882       - 103 # NDRPDR sel env 4
2883       - 104 # NDRPDR sel env 4
2884       - 73  # NDRPDR sel 2001.0-4
2885       - 74  # NDRPDR sel 2001.0-4
2886       - 75  # NDRPDR sel 2001.0-4
2887       - 76  # NDRPDR sel 2001.0-4
2888       - 77  # NDRPDR sel 2001.0-4
2889       - 78  # NDRPDR sel 2001.0-4
2890       - 79  # NDRPDR sel 2001.0-4
2891       - 80  # NDRPDR sel 2001.0-4
2892       - 72  # MRR env 4
2893     csit-vpp-perf-report-iterative-2009-2n-clx:
2894       - 77  # rls2005 MRR iter env 5
2895       - 13  # rls2005 NDRPDR iter env 5
2896       - 15  # rls2005 NDRPDR iter env 5
2897       - 17  # rls2005 NDRPDR iter env 5
2898       - 18  # rls2005 NDRPDR iter env 5
2899       - 19  # rls2005 NDRPDR iter env 5
2900       - 20  # rls2005 NDRPDR iter env 5
2901       - 21  # rls2005 NDRPDR iter env 5
2902       - 22  # rls2005 NDRPDR iter env 5
2903       - 23  # rls2005 NDRPDR iter env 5
2904       - 24  # rls2005 NDRPDR iter env 5
2905       - 125 # rls2009 MRR iter env 5
2906       - 36  # rls2009 NDRPDR iter env 5
2907       - 39  # rls2009 NDRPDR iter env 5
2908       - 40  # rls2009 NDRPDR iter env 5
2909       - 65  # rls2009 NDRPDR iter env 5
2910       - 66  # rls2009 NDRPDR iter env 5
2911       - 79  # rls2009 NDRPDR iter env 5
2912       - 82  # rls2009 NDRPDR iter env 5
2913       - 88  # rls2009 NDRPDR iter env 5
2914       - 89  # rls2009 NDRPDR iter env 5
2915       - 90  # rls2009 NDRPDR iter env 5
2916       - 114 # rls2009 NDRPDR iter NAT44 env 5
2917       - 115 # rls2009 NDRPDR iter NAT44 env 5
2918       - 116 # rls2009 NDRPDR iter NAT44 env 5
2919       - 117 # rls2009 NDRPDR iter NAT44 env 5
2920       - 118 # rls2009 NDRPDR iter NAT44 env 5
2921       - 119 # rls2009 NDRPDR iter NAT44 env 5
2922       - 121 # rls2009 NDRPDR iter NAT44 env 5
2923       - 122 # rls2009 NDRPDR iter NAT44 env 5
2924       - 123 # rls2009 NDRPDR iter NAT44 env 5
2925       - 126 # rls2009 NDRPDR iter NAT44 env 5
2926       - 37  # rls2009 nf-density iter env 5
2927       - 43  # rls2009 nf-density iter env 5
2928       - 69  # rls2009 nf-density iter env 5
2929       - 70  # rls2009 nf-density iter env 5
2930       - 71  # rls2009 nf-density iter env 5
2931       - 72  # rls2009 nf-density iter env 5
2932       - 73  # rls2009 nf-density iter env 5
2933       - 74  # rls2009 nf-density iter env 5
2934       - 75  # rls2009 nf-density iter env 5
2935       - 76  # rls2009 nf-density iter env 5
2936       - 45  # rls2009 MRR nf-density iter env 5
2937       - 25  # rls2009 reconf env 5
2938       - 27  # rls2009 reconf env 5
2939       - 28  # rls2009 reconf env 5
2940       - 29  # rls2009 reconf env 5
2941       - 30  # rls2009 reconf env 5
2942       - 30  # rls2009 reconf env 5
2943       - 32  # rls2009 reconf env 5
2944       - 48  # rls2009 reconf env 5
2945       - 53  # rls2009 reconf env 5
2946       - 68  # rls2009 reconf env 5
2947       - 33  # rls2009 soak env 5
2948       - 34  # rls2009 soak env 5
2949     csit-vpp-perf-report-coverage-2009-2n-clx:
2950       - 2   # rls2009 NDRPDR cov 2n-clx-ip4-00
2951       - 3   # rls2009 NDRPDR cov 2n-clx-ip4-01
2952       - 4   # rls2009 NDRPDR cov 2n-clx-ip4-02
2953       - 5   # rls2009 NDRPDR cov 2n-clx-ip4-03
2954       - 6   # rls2009 NDRPDR cov 2n-clx-ip4-04
2955       - 23  # rls2009 NDRPDR cov 2n-clx-ip4-05
2956       - 24  # rls2009 NDRPDR cov 2n-clx-ip4-06
2957       - 25  # rls2009 NDRPDR cov 2n-clx-ip4-07
2958       - 22  # rls2009 NDRPDR cov 2n-clx-ip6-00
2959       - 9   # rls2009 NDRPDR cov 2n-clx-ip6-01
2960       - 17  # rls2009 NDRPDR cov 2n-clx-l2-00
2961       - 21  # rls2009 NDRPDR cov 2n-clx-l2-01
2962       - 12  # rls2009 NDRPDR cov 2n-clx-lb-00
2963       - 13  # rls2009 NDRPDR cov 2n-clx-memif-00
2964       - 14  # rls2009 NDRPDR cov 2n-clx-vhost-00
2965       - 15  # rls2009 NDRPDR cov 2n-clx-vhost-01
2966       - 16  # rls2009 NDRPDR cov 2n-clx-vts-00
2967
2968     csit-vpp-perf-report-iterative-2009-2n-zn2:
2969       - 1   # rls2009 MRR turbo iter env 5
2970       - 3   # rls2009 NDRPDR turbo iter env 5
2971       - 4   # rls2009 NDRPDR turbo iter env 5
2972       - 6   # rls2009 NDRPDR turbo iter env 5
2973       - 7   # rls2009 NDRPDR turbo iter env 5
2974       - 8   # rls2009 NDRPDR turbo iter env 5
2975       - 9   # rls2009 NDRPDR turbo iter env 5
2976       - 10  # rls2009 NDRPDR turbo iter env 5
2977       - 11  # rls2009 NDRPDR turbo iter env 5
2978       - 15  # rls2009 MRR iter env 5
2979       - 17  # rls2009 NDRPDR iter env 5
2980       - 18  # rls2009 NDRPDR iter env 5
2981       - 31  # rls2009 NDRPDR iter env 5
2982       - 33  # rls2009 NDRPDR iter env 5
2983
2984     csit-vpp-perf-verify-2001-3n-tsh:
2985       - 9   # MRR sel
2986     csit-vpp-perf-report-iterative-2005-3n-tsh:
2987       - 23  # NDRPDR sel env 4
2988       - 25  # NDRPDR sel env 4
2989       - 33  # NDRPDR sel env 4
2990       - 34  # NDRPDR sel env 4
2991       - 35  # NDRPDR sel env 4
2992       - 36  # NDRPDR sel env 4
2993       - 37  # NDRPDR sel env 4
2994       - 38  # NDRPDR sel env 4
2995       - 39  # NDRPDR sel env 4
2996       - 40  # NDRPDR sel env 4
2997       - 28  # NDRPDR sel 2001.0-4
2998       - 29  # NDRPDR sel 2001.0-4
2999       - 31  # NDRPDR sel 2001.0-4
3000       - 27  # MRR sel env 4
3001     csit-vpp-perf-report-iterative-2009-3n-tsh:
3002       - 8   # rls2005 NDRPDR iter env 5
3003       - 11  # rls2005 NDRPDR iter env 5
3004       - 12  # rls2005 NDRPDR iter env 5
3005       - 24  # rls2005 NDRPDR iter env 5
3006       - 27  # rls2005 NDRPDR iter env 5
3007       - 29  # rls2005 NDRPDR iter env 5
3008       - 31  # rls2005 NDRPDR iter env 5
3009       - 39  # rls2005 NDRPDR iter env 5
3010       - 40  # rls2005 NDRPDR iter env 5
3011       - 42  # rls2005 NDRPDR iter env 5
3012       - 13  # rls2005 MRR iter env 5
3013       - 14  # rls2009 NDRPDR iter env 5
3014       - 20  # rls2009 NDRPDR iter env 5
3015       - 21  # rls2009 NDRPDR iter env 5
3016       - 22  # rls2009 NDRPDR iter env 5
3017       - 23  # rls2009 NDRPDR iter env 5
3018       - 28  # rls2009 NDRPDR iter env 5
3019       - 30  # rls2009 NDRPDR iter env 5
3020       - 33  # rls2009 NDRPDR iter env 5
3021       - 38  # rls2009 NDRPDR iter env 5
3022       - 41  # rls2009 NDRPDR iter env 5
3023       - 15  # rls2009 MRR iter env 5
3024
3025     csit-vpp-perf-verify-2001-3n-dnv:
3026       - 5   # NDRPDR sel
3027       - 6   # NDRPDR sel
3028       - 7   # NDRPDR sel
3029       - 8   # NDRPDR sel
3030       - 9   # NDRPDR sel
3031       - 10  # NDRPDR sel
3032       - 12  # NDRPDR sel
3033       - 16  # NDRPDR sel
3034       - 17  # NDRPDR sel
3035       - 18  # NDRPDR sel
3036       - 11  # MRR sel
3037     csit-vpp-perf-report-iterative-2009-3n-dnv:
3038       - 16  # rls2005 NDRPDR iter env 5
3039       - 23  # rls2005 NDRPDR iter env 5
3040       - 25  # rls2005 NDRPDR iter env 5
3041       - 26  # rls2005 NDRPDR iter env 5
3042       - 27  # rls2005 NDRPDR iter env 5
3043       - 28  # rls2005 NDRPDR iter env 5
3044       - 29  # rls2005 NDRPDR iter env 5
3045       - 30  # rls2005 NDRPDR iter env 5
3046       - 31  # rls2005 NDRPDR iter env 5
3047       - 32  # rls2005 NDRPDR iter env 5
3048       - 19  # rls2005 MRR iter env 5
3049       - 3   # rls2009 NDRPDR iter env 5
3050       - 6   # rls2009 NDRPDR iter env 5
3051       - 7   # rls2009 NDRPDR iter env 5
3052       - 8   # rls2009 NDRPDR iter env 5
3053       - 10  # rls2009 NDRPDR iter env 5
3054       - 11  # rls2009 NDRPDR iter env 5
3055       - 12  # rls2009 NDRPDR iter env 5
3056       - 14  # rls2009 NDRPDR iter env 5
3057       - 15  # rls2009 NDRPDR iter env 5
3058       - 24  # rls2009 NDRPDR iter env 5
3059       - 22  # rls2009 MRR iter env 5
3060     csit-vpp-perf-report-coverage-2009-3n-dnv:
3061       - 10  # rls2009 NDRPDR cov 3n-dnv-crypto-00
3062       - 2   # rls2009 NDRPDR cov 3n-dnv-crypto-01
3063       - 11  # rls2009 NDRPDR cov 3n-dnv-ip4-00
3064       - 12  # rls2009 NDRPDR cov 3n-dnv-ip4-01
3065       - 13  # rls2009 NDRPDR cov 3n-dnv-ip4tun-00
3066       - 14  # rls2009 NDRPDR cov 3n-dnv-ip6-00
3067       - 15  # rls2009 NDRPDR cov 3n-dnv-ip6-01
3068       - 16  # rls2009 NDRPDR cov 3n-dnv-l2-00
3069       - 17  # rls2009 NDRPDR cov 3n-dnv-l2-01
3070
3071     csit-vpp-perf-verify-2001-2n-dnv:
3072       - 4   # NDRPDR sel
3073       - 5   # NDRPDR sel
3074       - 6   # NDRPDR sel
3075       - 7   # NDRPDR sel
3076       - 8   # NDRPDR sel
3077       - 9   # NDRPDR sel
3078       - 10  # NDRPDR sel
3079       - 11  # NDRPDR sel
3080       - 13  # NDRPDR sel
3081       - 16  # NDRPDR sel
3082       - 12  # MRR sel
3083     csit-vpp-perf-report-iterative-2009-2n-dnv:
3084       - 16  # rls2005 NDRPDR iter env 5
3085       - 17  # rls2005 NDRPDR iter env 5
3086       - 18  # rls2005 NDRPDR iter env 5
3087       - 19  # rls2005 NDRPDR iter env 5
3088       - 21  # rls2005 NDRPDR iter env 5
3089       - 24  # rls2005 NDRPDR iter env 5
3090       - 27  # rls2005 NDRPDR iter env 5
3091       - 28  # rls2005 NDRPDR iter env 5
3092       - 29  # rls2005 NDRPDR iter env 5
3093       - 30  # rls2005 NDRPDR iter env 5
3094       - 23  # rls2005 MRR iter env 5
3095       - 3   # rls2009 NDRPDR iter env 5
3096       - 5   # rls2009 NDRPDR iter env 5
3097       - 6   # rls2009 NDRPDR iter env 5
3098       - 7   # rls2009 NDRPDR iter env 5
3099       - 9   # rls2009 NDRPDR iter env 5
3100       - 10  # rls2009 NDRPDR iter env 5
3101       - 11  # rls2009 NDRPDR iter env 5
3102       - 12  # rls2009 NDRPDR iter env 5
3103       - 14  # rls2009 NDRPDR iter env 5
3104       - 15  # rls2009 NDRPDR iter env 5
3105       - 13  # rls2009 MRR iter env 5
3106     csit-vpp-perf-report-coverage-2009-2n-dnv:
3107       - 2   # rls2009 NDRPDR cov 2n-dnv-ip4-00
3108       - 3   # rls2009 NDRPDR cov 2n-dnv-ip4-01
3109       - 4   # rls2009 NDRPDR cov 2n-dnv-ip6-00
3110       - 5   # rls2009 NDRPDR cov 2n-dnv-ip6-01
3111       - 6   # rls2009 NDRPDR cov 2n-dnv-l2-00
3112       - 7   # rls2009 NDRPDR cov 2n-dnv-l2-01
3113
3114     csit-dpdk-perf-verify-2001-3n-hsw:
3115       - 4   # NDRPDR sel
3116       - 5   # NDRPDR sel
3117       - 6   # NDRPDR sel
3118       - 7   # NDRPDR sel
3119       - 8   # NDRPDR sel
3120       - 9   # NDRPDR sel
3121       - 10  # NDRPDR sel
3122       - 11  # NDRPDR sel
3123       - 12  # NDRPDR sel
3124       - 13  # NDRPDR sel
3125       - 15  # NDRPDR sel
3126       - 16  # NDRPDR sel
3127       - 17  # NDRPDR sel
3128       - 18  # NDRPDR sel
3129       - 19  # NDRPDR sel
3130       - 20  # NDRPDR sel
3131       - 21  # NDRPDR sel
3132       - 22  # NDRPDR sel
3133       - 23  # NDRPDR sel
3134       - 24  # NDRPDR sel
3135     csit-dpdk-perf-report-iterative-2005-3n-hsw:
3136       - 25  # NDRPDR iter
3137       - 26  # NDRPDR iter
3138       - 27  # NDRPDR iter
3139       - 28  # NDRPDR iter
3140       - 29  # NDRPDR iter
3141       - 30  # NDRPDR iter
3142       - 31  # NDRPDR iter
3143       - 32  # NDRPDR iter
3144       - 33  # NDRPDR iter
3145       - 34  # NDRPDR iter
3146     csit-dpdk-perf-report-iterative-2009-3n-hsw:
3147       - 6   # NDRPDR iter env5
3148       - 7   # NDRPDR iter env5
3149       - 8   # NDRPDR iter env5
3150       - 9   # NDRPDR iter env5
3151       - 10  # NDRPDR iter env5
3152       - 11  # NDRPDR iter env5
3153       - 12  # NDRPDR iter env5
3154       - 13  # NDRPDR iter env5
3155       - 14  # NDRPDR iter env5
3156       - 15  # NDRPDR iter env5
3157
3158     csit-dpdk-perf-verify-2001-3n-skx:
3159       - 29  # NDRPDR sel xxv710
3160       - 33  # NDRPDR sel xxv710
3161       - 34  # NDRPDR sel xxv710
3162       - 35  # NDRPDR sel xxv710
3163       - 36  # NDRPDR sel xxv710
3164       - 37  # NDRPDR sel xxv710
3165       - 41  # NDRPDR sel xxv710
3166       - 42  # NDRPDR sel xxv710
3167       - 43  # NDRPDR sel xxv710
3168       - 45  # NDRPDR sel xxv710
3169       - 30  # NDRPDR sel x710
3170       - 31  # NDRPDR sel x710
3171       - 32  # NDRPDR sel x710
3172       - 38  # NDRPDR sel x710
3173       - 39  # NDRPDR sel x710
3174       - 40  # NDRPDR sel x710
3175       - 44  # NDRPDR sel x710
3176       - 46  # NDRPDR sel x710
3177       - 47  # NDRPDR sel x710
3178       - 48  # NDRPDR sel x710
3179     csit-dpdk-perf-report-iterative-2005-3n-skx:
3180       - 28  # NDRPDR iter
3181       - 29  # NDRPDR iter
3182       - 30  # NDRPDR iter
3183       - 31  # NDRPDR iter
3184       - 32  # NDRPDR iter
3185       - 33  # NDRPDR iter
3186       - 34  # NDRPDR iter
3187       - 35  # NDRPDR iter
3188       - 36  # NDRPDR iter
3189       - 37  # NDRPDR iter
3190     csit-dpdk-perf-report-iterative-2009-3n-skx:
3191       - 4   # NDRPDR sel env5
3192       - 5   # NDRPDR sel env5
3193       - 6   # NDRPDR sel env5
3194       - 7   # NDRPDR sel env5
3195       - 8   # NDRPDR sel env5
3196       - 9   # NDRPDR sel env5
3197       - 14  # NDRPDR sel env5
3198       - 11  # NDRPDR sel env5
3199       - 12  # NDRPDR sel env5
3200       - 13  # NDRPDR sel env5
3201
3202     csit-dpdk-perf-verify-2001-2n-skx:
3203       - 35  # NDRPDR sel xxv710
3204       - 36  # NDRPDR sel xxv710
3205       - 37  # NDRPDR sel xxv710
3206       - 41  # NDRPDR sel xxv710
3207       - 42  # NDRPDR sel xxv710
3208       - 43  # NDRPDR sel xxv710
3209       - 46  # NDRPDR sel xxv710
3210       - 47  # NDRPDR sel xxv710
3211       - 52  # NDRPDR sel xxv710
3212       - 53  # NDRPDR sel xxv710
3213       - 38  # NDRPDR sel x710
3214       - 39  # NDRPDR sel x710
3215       - 40  # NDRPDR sel x710
3216       - 44  # NDRPDR sel x710
3217       - 45  # NDRPDR sel x710
3218       - 48  # NDRPDR sel x710
3219       - 49  # NDRPDR sel x710
3220       - 50  # NDRPDR sel x710
3221       - 51  # NDRPDR sel x710
3222       - 54  # NDRPDR sel x710
3223     csit-dpdk-perf-report-iterative-2005-2n-skx:
3224       - 20  # NDRPDR iter
3225       - 21  # NDRPDR iter
3226       - 22  # NDRPDR iter
3227       - 23  # NDRPDR iter
3228       - 24  # NDRPDR iter
3229       - 25  # NDRPDR iter
3230       - 26  # NDRPDR iter
3231       - 27  # NDRPDR iter
3232       - 28  # NDRPDR iter
3233       - 29  # NDRPDR iter
3234     csit-dpdk-perf-report-iterative-2009-2n-skx:
3235       - 4   # NDRPDR iter env5
3236       - 5   # NDRPDR iter env5
3237       - 6   # NDRPDR iter env5
3238       - 7   # NDRPDR iter env5
3239       - 8   # NDRPDR iter env5
3240       - 9   # NDRPDR iter env5
3241       - 10  # NDRPDR iter env5
3242       - 11  # NDRPDR iter env5
3243       - 12  # NDRPDR iter env5
3244       - 13  # NDRPDR iter env5
3245
3246     csit-dpdk-perf-verify-2001-2n-clx:
3247       - 15  # NDRPDR sel
3248       - 16  # NDRPDR sel
3249       - 17  # NDRPDR sel
3250       - 18  # NDRPDR sel
3251       - 19  # NDRPDR sel
3252       - 20  # NDRPDR sel
3253       - 21  # NDRPDR sel
3254       - 22  # NDRPDR sel
3255       - 23  # NDRPDR sel
3256       - 24  # NDRPDR sel
3257       - 25  # NDRPDR sel
3258       - 26  # NDRPDR sel
3259       - 27  # NDRPDR sel
3260       - 28  # NDRPDR sel
3261       - 29  # NDRPDR sel
3262       - 30  # NDRPDR sel
3263       - 31  # NDRPDR sel
3264       - 32  # NDRPDR sel
3265       - 33  # NDRPDR sel
3266       - 34  # NDRPDR sel
3267     csit-dpdk-perf-report-iterative-2005-2n-clx:
3268       - 20  # NDRPDR iter
3269       - 21  # NDRPDR iter
3270       - 22  # NDRPDR iter
3271       - 23  # NDRPDR iter
3272       - 24  # NDRPDR iter
3273       - 25  # NDRPDR iter
3274       - 26  # NDRPDR iter
3275       - 27  # NDRPDR iter
3276       - 28  # NDRPDR iter
3277       - 29  # NDRPDR iter
3278     csit-dpdk-perf-report-iterative-2009-2n-clx:
3279       - 4   # NDRPDR iter env5
3280       - 5   # NDRPDR iter env5
3281       - 6   # NDRPDR iter env5
3282       - 7   # NDRPDR iter env5
3283       - 8   # NDRPDR iter env5
3284       - 9   # NDRPDR iter env5
3285       - 10  # NDRPDR iter env5
3286       - 11  # NDRPDR iter env5
3287       - 12  # NDRPDR iter env5
3288       - 13  # NDRPDR iter env5
3289
3290     csit-dpdk-perf-report-iterative-2009-2n-zn2:
3291       - 1   # NDRPDR turbo iter env5
3292       - 16  # NDRPDR iter env5
3293       - 21  # NDRPDR iter env5
3294       - 22  # NDRPDR iter env5
3295       - 23  # NDRPDR iter env5
3296       - 24  # NDRPDR iter env5
3297       - 25  # NDRPDR iter env5
3298       - 29  # NDRPDR iter env5
3299
3300 #    csit-dpdk-perf-verify-2001-2n-dnv:
3301 #      - 9   # NDRPDR sel
3302 #      - 10  # NDRPDR sel
3303 #      - 11  # NDRPDR sel
3304 #      - 12  # NDRPDR sel
3305 #      - 13  # NDRPDR sel
3306 #      - 14  # NDRPDR sel
3307 #      - 15  # NDRPDR sel
3308 #      - 16  # NDRPDR sel
3309 #      - 17  # NDRPDR sel
3310 #      - 18  # NDRPDR sel
3311 #    csit-dpdk-perf-report-iterative-2005-2n-dnv:
3312 #      # No data
3313 #    # csit-dpdk-perf-report-iterative-2009-2n-dnv:
3314 #      # No data
3315
3316 #    csit-dpdk-perf-verify-2001-3n-dnv:
3317 #      - 12  # NDRPDR sel
3318 #      - 13  # NDRPDR sel
3319 #      - 14  # NDRPDR sel
3320 #      - 15  # NDRPDR sel
3321 #      - 16  # NDRPDR sel
3322 #      - 17  # NDRPDR sel
3323 #      - 18  # NDRPDR sel
3324 #      - 19  # NDRPDR sel
3325 #      - 20  # NDRPDR sel
3326 #      - 22  # NDRPDR sel
3327 #    csit-dpdk-perf-report-iterative-2005-3n-dnv:
3328 #      # No data
3329 #    # csit-dpdk-perf-report-iterative-2009-3n-dnv:
3330 #      # No data
3331
3332     csit-dpdk-perf-verify-2001-3n-tsh:
3333       - 3   # NDRPDR sel
3334       - 4   # NDRPDR sel
3335       - 5   # NDRPDR sel
3336       - 9   # NDRPDR sel
3337       - 10  # NDRPDR sel
3338       - 11  # NDRPDR sel
3339       - 12  # NDRPDR sel
3340       - 14  # NDRPDR sel
3341       - 15  # NDRPDR sel
3342       - 18  # NDRPDR sel
3343     csit-dpdk-perf-report-iterative-2005-3n-tsh:
3344       - 5   # NDRPDR sel
3345     csit-dpdk-perf-report-iterative-2009-3n-tsh:
3346       - 1   # NDRPDR iter env5
3347       - 2   # NDRPDR iter env5
3348       - 3   # NDRPDR iter env5
3349       - 4   # NDRPDR iter env5
3350       - 5   # NDRPDR iter env5
3351       - 6   # NDRPDR iter env5
3352       - 7   # NDRPDR iter env5
3353       - 9   # NDRPDR iter env5
3354       - 10  # NDRPDR iter env5
3355       - 11  # NDRPDR iter env5
3356
3357     csit-vpp-device-2009-ubuntu1804-1n-skx:
3358       - 131 # rls2009 env 5
3359
3360 - type: "output"
3361   output: "report"
3362   format:
3363     html:
3364     - full
3365     pdf:
3366     - minimal
3367
3368 ################################################################################
3369 ###                               T A B L E S                                ###
3370 ################################################################################
3371
3372 # VPP Soak vs NDR - 2n-skx
3373 - type: "table"
3374   title: "VPP Soak vs NDR 2n-skx"
3375   algorithm: "table_soak_vs_ndr"
3376   output-file: "{DIR[STATIC,VPP]}/soak-vs-ndr-2n-skx"
3377   reference:
3378     title: "NDR"
3379     data: "vpp-soak-vs-ndr-2n-skx-ref"
3380   compare:
3381     title: "Soak"
3382     data: "vpp-soak-vs-ndr-2n-skx-cmp"
3383   data: "vpp-soak-vs-ndr-2n-skx"
3384   include-tests: "NDR"
3385   filter: "('NDRPDR' or 'SOAK') and not 'NF_DENSITY'"
3386   parameters:
3387     - "throughput"
3388     - "name"
3389     - "parent"
3390
3391 # VPP Soak vs NDR - 2n-clx
3392 - type: "table"
3393   title: "VPP Soak vs NDR 2n-clx"
3394   algorithm: "table_soak_vs_ndr"
3395   output-file: "{DIR[STATIC,VPP]}/soak-vs-ndr-2n-clx"
3396   reference:
3397     title: "NDR"
3398     data: "vpp-soak-vs-ndr-2n-clx-ref"
3399   compare:
3400     title: "Soak"
3401     data: "vpp-soak-vs-ndr-2n-clx-cmp"
3402   data: "vpp-soak-vs-ndr-2n-clx"
3403   include-tests: "NDR"
3404   filter: "('NDRPDR' or 'SOAK') and not 'NF_DENSITY'"
3405   parameters:
3406     - "throughput"
3407     - "name"
3408     - "parent"
3409
3410 ################################################################################
3411
3412 # VPP Compare NICs 3n-skx 2t1c ndr
3413 - type: "table"
3414   title: "VPP Compare NICs 3n-skx 2t1c ndr"
3415   algorithm: "table_comparison"
3416   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-ndr"
3417   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
3418   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
3419   columns:
3420     - title: "x710"
3421       data-set: "vpp-nic-comparison-3n-skx"
3422       tag: "NIC_Intel-X710"
3423     - title: "xxv710"
3424       data-set: "vpp-nic-comparison-3n-skx"
3425       tag: "NIC_Intel-XXV710"
3426   comparisons:
3427     - title: "Diff"
3428       reference: 1
3429       compare: 2
3430   legend:
3431     - ""
3432     - "x710, xxv710 - NICs tested."
3433     - "Diff - difference between x710 and xxv710 NIC."
3434
3435 # VPP Compare NICs 3n-skx 4t2c ndr
3436 - type: "table"
3437   title: "VPP Compare NICs 3n-skx 4t2c ndr"
3438   algorithm: "table_comparison"
3439   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-ndr"
3440   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
3441   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
3442   columns:
3443     - title: "x710"
3444       data-set: "vpp-nic-comparison-3n-skx"
3445       tag: "NIC_Intel-X710"
3446     - title: "xxv710"
3447       data-set: "vpp-nic-comparison-3n-skx"
3448       tag: "NIC_Intel-XXV710"
3449   comparisons:
3450     - title: "Diff"
3451       reference: 1
3452       compare: 2
3453   legend:
3454     - ""
3455     - "x710, xxv710 - NICs tested."
3456     - "Diff - difference between x710 and xxv710 NIC."
3457
3458 # VPP Compare NICs 3n-skx 2t1c pdr
3459 - type: "table"
3460   title: "VPP Compare NICs 3n-skx 2t1c pdr"
3461   algorithm: "table_comparison"
3462   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-pdr"
3463   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3464   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
3465   columns:
3466     - title: "x710"
3467       data-set: "vpp-nic-comparison-3n-skx"
3468       tag: "NIC_Intel-X710"
3469     - title: "xxv710"
3470       data-set: "vpp-nic-comparison-3n-skx"
3471       tag: "NIC_Intel-XXV710"
3472   comparisons:
3473     - title: "Diff"
3474       reference: 1
3475       compare: 2
3476   legend:
3477     - ""
3478     - "x710, xxv710 - NICs tested."
3479     - "Diff - difference between x710 and xxv710 NIC."
3480
3481 # VPP Compare NICs 3n-skx 4t2c pdr
3482 - type: "table"
3483   title: "VPP Compare NICs 3n-skx 4t2c pdr"
3484   algorithm: "table_comparison"
3485   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-pdr"
3486   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3487   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
3488   columns:
3489     - title: "x710"
3490       data-set: "vpp-nic-comparison-3n-skx"
3491       tag: "NIC_Intel-X710"
3492     - title: "xxv710"
3493       data-set: "vpp-nic-comparison-3n-skx"
3494       tag: "NIC_Intel-XXV710"
3495   comparisons:
3496     - title: "Diff"
3497       reference: 1
3498       compare: 2
3499   legend:
3500     - ""
3501     - "x710, xxv710 - NICs tested."
3502     - "Diff - difference between x710 and xxv710 NIC."
3503
3504 # VPP Compare NICs 3n-skx 2t1c mrr
3505 - type: "table"
3506   title: "VPP Compare NICs 3n-skx 2t1c mrr"
3507   algorithm: "table_comparison"
3508   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-mrr"
3509   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3510   filter: "'2T1C' and 'MRR' and not 'NF_DENSITY'"
3511   columns:
3512     - title: "x710"
3513       data-set: "vpp-nic-comparison-3n-skx-mrr"
3514       tag: "NIC_Intel-X710"
3515     - title: "xxv710"
3516       data-set: "vpp-nic-comparison-3n-skx-mrr"
3517       tag: "NIC_Intel-XXV710"
3518   comparisons:
3519     - title: "Diff"
3520       reference: 1
3521       compare: 2
3522   legend:
3523     - ""
3524     - "x710, xxv710 - NICs tested."
3525     - "Diff - difference between x710 and xxv710 NIC."
3526
3527 # VPP Compare NICs 3n-skx 4t2c mrr
3528 - type: "table"
3529   title: "VPP Compare NICs 3n-skx 4t2c mrr"
3530   algorithm: "table_comparison"
3531   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-mrr"
3532   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3533   filter: "'4T2C' and 'MRR' and not 'NF_DENSITY'"
3534   columns:
3535     - title: "x710"
3536       data-set: "vpp-nic-comparison-3n-skx-mrr"
3537       tag: "NIC_Intel-X710"
3538     - title: "xxv710"
3539       data-set: "vpp-nic-comparison-3n-skx-mrr"
3540       tag: "NIC_Intel-XXV710"
3541   comparisons:
3542     - title: "Diff"
3543       reference: 1
3544       compare: 2
3545   legend:
3546     - ""
3547     - "x710, xxv710 - NICs tested."
3548     - "Diff - difference between x710 and xxv710 NIC."
3549
3550 # VPP Compare NICs 3n-skx 8t4c mrr
3551 - type: "table"
3552   title: "VPP Compare NICs 3n-skx 8t4c mrr"
3553   algorithm: "table_comparison"
3554   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-8t4c-nics-mrr"
3555   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3556   filter: "'8T4C' and 'MRR' and not 'NF_DENSITY'"
3557   columns:
3558     - title: "x710"
3559       data-set: "vpp-nic-comparison-3n-skx-mrr"
3560       tag: "NIC_Intel-X710"
3561     - title: "xxv710"
3562       data-set: "vpp-nic-comparison-3n-skx-mrr"
3563       tag: "NIC_Intel-XXV710"
3564   comparisons:
3565     - title: "Diff"
3566       reference: 1
3567       compare: 2
3568   legend:
3569     - ""
3570     - "x710, xxv710 - NICs tested."
3571     - "Diff - difference between x710 and xxv710 NIC."
3572
3573 # VPP Compare NICs 2n-skx 2t1c ndr
3574 - type: "table"
3575   title: "VPP Compare NICs 2n-skx 2t1c ndr"
3576   algorithm: "table_comparison"
3577   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-nics-ndr"
3578   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
3579   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
3580   columns:
3581     - title: "x710"
3582       data-set: "vpp-nic-comparison-2n-skx"
3583       tag: "NIC_Intel-X710"
3584     - title: "xxv710"
3585       data-set: "vpp-nic-comparison-2n-skx"
3586       tag: "NIC_Intel-XXV710"
3587   comparisons:
3588     - title: "Diff"
3589       reference: 1
3590       compare: 2
3591   legend:
3592     - ""
3593     - "x710, xxv710 - NICs tested."
3594     - "Diff - difference between x710 and xxv710 NIC."
3595
3596 # VPP Compare NICs 2n-skx 4t2c ndr
3597 - type: "table"
3598   title: "VPP Compare NICs 2n-skx 4t2c ndr"
3599   algorithm: "table_comparison"
3600   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-nics-ndr"
3601   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
3602   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
3603   columns:
3604     - title: "x710"
3605       data-set: "vpp-nic-comparison-2n-skx"
3606       tag: "NIC_Intel-X710"
3607     - title: "xxv710"
3608       data-set: "vpp-nic-comparison-2n-skx"
3609       tag: "NIC_Intel-XXV710"
3610   comparisons:
3611     - title: "Diff"
3612       reference: 1
3613       compare: 2
3614   legend:
3615     - ""
3616     - "x710, xxv710 - NICs tested."
3617     - "Diff - difference between x710 and xxv710 NIC."
3618
3619 # VPP Compare NICs 2n-skx 2t1c pdr
3620 - type: "table"
3621   title: "VPP Compare NICs 2n-skx 2t1c pdr"
3622   algorithm: "table_comparison"
3623   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-nics-pdr"
3624   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3625   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
3626   columns:
3627     - title: "x710"
3628       data-set: "vpp-nic-comparison-2n-skx"
3629       tag: "NIC_Intel-X710"
3630     - title: "xxv710"
3631       data-set: "vpp-nic-comparison-2n-skx"
3632       tag: "NIC_Intel-XXV710"
3633   comparisons:
3634     - title: "Diff"
3635       reference: 1
3636       compare: 2
3637   legend:
3638     - ""
3639     - "x710, xxv710 - NICs tested."
3640     - "Diff - difference between x710 and xxv710 NIC."
3641
3642 # VPP Compare NICs 2n-skx 4t2c pdr
3643 - type: "table"
3644   title: "VPP Compare NICs 2n-skx 4t2c pdr"
3645   algorithm: "table_comparison"
3646   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-nics-pdr"
3647   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3648   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
3649   columns:
3650     - title: "x710"
3651       data-set: "vpp-nic-comparison-2n-skx"
3652       tag: "NIC_Intel-X710"
3653     - title: "xxv710"
3654       data-set: "vpp-nic-comparison-2n-skx"
3655       tag: "NIC_Intel-XXV710"
3656   comparisons:
3657     - title: "Diff"
3658       reference: 1
3659       compare: 2
3660   legend:
3661     - ""
3662     - "x710, xxv710 - NICs tested."
3663     - "Diff - difference between x710 and xxv710 NIC."
3664
3665 # VPP Compare NICs 2n-skx 2t1c mrr
3666 - type: "table"
3667   title: "VPP Compare NICs 2n-skx 2t1c mrr"
3668   algorithm: "table_comparison"
3669   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-nics-mrr"
3670   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3671   filter: "'2T1C' and 'MRR' and not 'NF_DENSITY'"
3672   columns:
3673     - title: "x710"
3674       data-set: "vpp-nic-comparison-2n-skx-mrr"
3675       tag: "NIC_Intel-X710"
3676     - title: "xxv710"
3677       data-set: "vpp-nic-comparison-2n-skx-mrr"
3678       tag: "NIC_Intel-XXV710"
3679   comparisons:
3680     - title: "Diff"
3681       reference: 1
3682       compare: 2
3683   legend:
3684     - ""
3685     - "x710, xxv710 - NICs tested."
3686     - "Diff - difference between x710 and xxv710 NIC."
3687
3688 # VPP Compare NICs 2n-skx 4t2c mrr
3689 - type: "table"
3690   title: "VPP Compare NICs 2n-skx 4t2c mrr"
3691   algorithm: "table_comparison"
3692   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-nics-mrr"
3693   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3694   filter: "'4T2C' and 'MRR' and not 'NF_DENSITY'"
3695   columns:
3696     - title: "x710"
3697       data-set: "vpp-nic-comparison-2n-skx-mrr"
3698       tag: "NIC_Intel-X710"
3699     - title: "xxv710"
3700       data-set: "vpp-nic-comparison-2n-skx-mrr"
3701       tag: "NIC_Intel-XXV710"
3702   comparisons:
3703     - title: "Diff"
3704       reference: 1
3705       compare: 2
3706   legend:
3707     - ""
3708     - "x710, xxv710 - NICs tested."
3709     - "Diff - difference between x710 and xxv710 NIC."
3710
3711 # VPP Compare NICs 2n-skx 8t4c mrr
3712 - type: "table"
3713   title: "VPP Compare NICs 2n-skx 8t4c mrr"
3714   algorithm: "table_comparison"
3715   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-8t4c-nics-mrr"
3716   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3717   filter: "'8T4C' and 'MRR' and not 'NF_DENSITY'"
3718   columns:
3719     - title: "x710"
3720       data-set: "vpp-nic-comparison-2n-skx-mrr"
3721       tag: "NIC_Intel-X710"
3722     - title: "xxv710"
3723       data-set: "vpp-nic-compar