Report: Add comp tables for 2n-clx with mellanox NIC
[csit.git] / resources / tools / presentation / specification.yaml
1 - type: "environment"
2
3   paths:
4     # Top level directories:
5     ## Working directory
6     DIR[WORKING]: "_tmp"
7     ## Build directories
8     DIR[BUILD,HTML]: "_build"
9     DIR[BUILD,LATEX]: "_build_latex"
10
11     # Static .rst files
12     DIR[RST]: "../../../docs/report"
13
14     # Working directories
15     ## Input data files (.zip, .xml)
16     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
17     ## Static source files from git
18     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
19     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
20
21     # Static html content
22     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
23     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
24     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
25     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
26
27     # Detailed test results
28     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
29     DIR[DTR,PERF,DPDK,3N,HSW]: "{DIR[DTR]}/dpdk_performance_results_3n_hsw"
30     DIR[DTR,PERF,DPDK,3N,SKX]: "{DIR[DTR]}/dpdk_performance_results_3n_skx"
31     DIR[DTR,PERF,DPDK,2N,SKX]: "{DIR[DTR]}/dpdk_performance_results_2n_skx"
32     DIR[DTR,PERF,DPDK,2N,ZN2]: "{DIR[DTR]}/dpdk_performance_results_2n_zn2"
33     DIR[DTR,PERF,DPDK,2N,CLX]: "{DIR[DTR]}/dpdk_performance_results_2n_clx"
34     DIR[DTR,PERF,DPDK,2N,DNV]: "{DIR[DTR]}/dpdk_performance_results_2n_dnv"
35     DIR[DTR,PERF,DPDK,3N,DNV]: "{DIR[DTR]}/dpdk_performance_results_3n_dnv"
36     DIR[DTR,PERF,DPDK,3N,TSH]: "{DIR[DTR]}/dpdk_performance_results_3n_tsh"
37     DIR[DTR,PERF,DPDK,2N,TX2]: "{DIR[DTR]}/dpdk_performance_results_2n_tx2"
38     DIR[DTR,PERF,VPP,ALL]: "{DIR[DTR]}/vpp_performance_results"
39     DIR[DTR,PERF,VPP,3N,HSW]: "{DIR[DTR]}/vpp_performance_results_3n_hsw"
40     DIR[DTR,PERF,VPP,3N,SKX]: "{DIR[DTR]}/vpp_performance_results_3n_skx"
41     DIR[DTR,PERF,VPP,2N,SKX]: "{DIR[DTR]}/vpp_performance_results_2n_skx"
42     DIR[DTR,PERF,VPP,2N,ZN2]: "{DIR[DTR]}/vpp_performance_results_2n_zn2"
43     DIR[DTR,PERF,VPP,2N,CLX]: "{DIR[DTR]}/vpp_performance_results_2n_clx"
44     DIR[DTR,PERF,VPP,3N,TSH]: "{DIR[DTR]}/vpp_performance_results_3n_tsh"
45     DIR[DTR,PERF,VPP,2N,TX2]: "{DIR[DTR]}/vpp_performance_results_2n_tx2"
46     DIR[DTR,PERF,VPP,3N,DNV]: "{DIR[DTR]}/vpp_performance_results_3n_dnv"
47     DIR[DTR,PERF,VPP,2N,DNV]: "{DIR[DTR]}/vpp_performance_results_2n_dnv"
48     DIR[DTR,MRR,VPP,ALL]: "{DIR[DTR]}/vpp_mrr_results"
49     DIR[DTR,MRR,VPP,3N,HSW]: "{DIR[DTR]}/vpp_mrr_results_3n_hsw"
50     DIR[DTR,MRR,VPP,3N,SKX]: "{DIR[DTR]}/vpp_mrr_results_3n_skx"
51     DIR[DTR,MRR,VPP,2N,SKX]: "{DIR[DTR]}/vpp_mrr_results_2n_skx"
52     DIR[DTR,MRR,VPP,2N,ZN2]: "{DIR[DTR]}/vpp_mrr_results_2n_zn2"
53     DIR[DTR,MRR,VPP,2N,CLX]: "{DIR[DTR]}/vpp_mrr_results_2n_clx"
54     DIR[DTR,MRR,VPP,3N,TSH]: "{DIR[DTR]}/vpp_mrr_results_3n_tsh"
55     DIR[DTR,MRR,VPP,2N,TX2]: "{DIR[DTR]}/vpp_mrr_results_2n_tx2"
56     DIR[DTR,MRR,VPP,3N,DNV]: "{DIR[DTR]}/vpp_mrr_results_3n_dnv"
57     DIR[DTR,MRR,VPP,2N,DNV]: "{DIR[DTR]}/vpp_mrr_results_2n_dnv"
58     DIR[DTR,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTR]}/vpp_device_results_ubuntu"
59
60     # Detailed test configurations
61     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
62     DIR[DTC,PERF,VPP,ALL]: "{DIR[DTC]}/vpp_performance_configuration"
63     DIR[DTC,PERF,VPP,3N,HSW]: "{DIR[DTC]}/vpp_performance_configuration_3n_hsw"
64     DIR[DTC,PERF,VPP,3N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_3n_skx"
65     DIR[DTC,PERF,VPP,2N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_2n_skx"
66     DIR[DTC,PERF,VPP,2N,ZN2]: "{DIR[DTC]}/vpp_performance_configuration_2n_zn2"
67     DIR[DTC,PERF,VPP,2N,CLX]: "{DIR[DTC]}/vpp_performance_configuration_2n_clx"
68     DIR[DTC,PERF,VPP,3N,TSH]: "{DIR[DTC]}/vpp_performance_configuration_3n_tsh"
69     DIR[DTC,PERF,VPP,2N,TX2]: "{DIR[DTC]}/vpp_performance_configuration_2n_tx2"
70     DIR[DTC,PERF,VPP,3N,DNV]: "{DIR[DTC]}/vpp_performance_configuration_3n_dnv"
71     DIR[DTC,PERF,VPP,2N,DNV]: "{DIR[DTC]}/vpp_performance_configuration_2n_dnv"
72     DIR[DTC,MRR,VPP,ALL]: "{DIR[DTC]}/vpp_mrr_configuration"
73     DIR[DTC,MRR,VPP,3N,HSW]: "{DIR[DTC]}/vpp_mrr_configuration_3n_hsw"
74     DIR[DTC,MRR,VPP,3N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_3n_skx"
75     DIR[DTC,MRR,VPP,2N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_skx"
76     DIR[DTC,MRR,VPP,2N,ZN2]: "{DIR[DTC]}/vpp_mrr_configuration_2n_zn2"
77     DIR[DTC,MRR,VPP,2N,CLX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_clx"
78     DIR[DTC,MRR,VPP,3N,TSH]: "{DIR[DTC]}/vpp_mrr_configuration_3n_tsh"
79     DIR[DTC,MRR,VPP,2N,TX2]: "{DIR[DTC]}/vpp_mrr_configuration_2n_tx2"
80     DIR[DTC,MRR,VPP,3N,DNV]: "{DIR[DTC]}/vpp_mrr_configuration_3n_dnv"
81     DIR[DTC,MRR,VPP,2N,DNV]: "{DIR[DTC]}/vpp_mrr_configuration_2n_dnv"
82     DIR[DTC,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTC]}/vpp_device_configuration_ubuntu"
83
84     # Detailed tests operational data
85     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
86     DIR[DTO,PERF,VPP,ALL]: "{DIR[DTO]}/vpp_performance_operational_data"
87     DIR[DTO,PERF,VPP,3N,HSW]: "{DIR[DTO]}/vpp_performance_operational_data_3n_hsw"
88     DIR[DTO,PERF,VPP,3N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_3n_skx"
89     DIR[DTO,PERF,VPP,2N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_skx"
90     DIR[DTO,PERF,VPP,2N,ZN2]: "{DIR[DTO]}/vpp_performance_operational_data_2n_zn2"
91     DIR[DTO,PERF,VPP,2N,CLX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_clx"
92     DIR[DTO,PERF,VPP,3N,TSH]: "{DIR[DTO]}/vpp_performance_operational_data_3n_tsh"
93     DIR[DTO,PERF,VPP,2N,TX2]: "{DIR[DTO]}/vpp_performance_operational_data_2n_tx2"
94     DIR[DTO,PERF,VPP,3N,DNV]: "{DIR[DTO]}/vpp_performance_operational_data_3n_dnv"
95     DIR[DTO,PERF,VPP,2N,DNV]: "{DIR[DTO]}/vpp_performance_operational_data_2n_dnv"
96
97     # Latencies:
98     DIR[LAT,VPP]: "{DIR[WORKING,SRC]}/vpp_performance_tests/hdrh_packet_latency_by_percentile_graphs"
99     DIR[LAT,DPDK]: "{DIR[WORKING,SRC]}/dpdk_performance_tests/hdrh_packet_latency_by_percentile_graphs"
100
101     # .css patch file to fix tables generated by Sphinx
102     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
103     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
104
105   urls:
106     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
107     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
108     URL[NEXUS,LOG]: "https://logs.fd.io/production/vex-yul-rot-jenkins-1"
109     URL[NEXUS,DOC]: "https://docs.fd.io/csit"
110     DIR[NEXUS,DOC]: "report/_static/archive"
111
112   make-dirs:
113   # List the directories which are created while preparing the environment.
114   # All directories MUST be defined in "paths" section.
115   - "DIR[WORKING,DATA]"
116   - "DIR[STATIC,VPP]"
117   - "DIR[STATIC,DPDK]"
118   - "DIR[STATIC,ARCH]"
119   - "DIR[BUILD,LATEX]"
120   - "DIR[WORKING,SRC]"
121   - "DIR[WORKING,SRC,STATIC]"
122
123   remove-dirs:
124   # List the directories which are deleted while cleaning the environment.
125   # All directories MUST be defined in "paths" section.
126   #- "DIR[BUILD,HTML]"
127   - "DIR[WORKING,DATA]"
128
129   build-dirs:
130   # List the directories where the results (build) is stored.
131   # All directories MUST be defined in "paths" section.
132   - "DIR[BUILD,HTML]"
133   - "DIR[BUILD,LATEX]"
134
135 - type: "configuration"
136
137   mapping-file: "mapping_report.yaml"
138
139   limits:
140     nic:
141       x520: 24460000
142       x553: 29761905
143       x710: 35800000
144       xxv710: 35800000
145       xl710: 35800000
146       cx556a: 148809523.81
147
148     link:
149       10ge: 14880952.38
150       25ge: 37202380.95
151       40ge: 59523809.52
152       100ge: 148809523.81
153
154     pci:
155       pci-g3-x8: 74404761.90
156       pci-g3-x16: 148809523.81
157
158   data-sets:
159
160     ###########################################################################
161     # Plots:
162
163     # 3n-hsw
164
165     plot-vpp-throughput-lat-tsa-3n-hsw:
166       csit-vpp-perf-report-iterative-2101-3n-hsw:
167         - 64  # rls2101.rel NDRPDR iter env 6
168         - 71  # rls2101.rel NDRPDR iter env 6
169         - 73  # rls2101.rel NDRPDR iter env 6
170         - 74  # rls2101.rel NDRPDR iter env 6
171         - 80  # rls2101.rel NDRPDR iter env 6
172         - 81  # rls2101.rel NDRPDR iter env 6
173         - 82  # rls2101.rel NDRPDR iter env 6
174         - 83  # rls2101.rel NDRPDR iter env 6
175         - 88  # rls2101.rel NDRPDR iter env 6
176         - 89  # rls2101.rel NDRPDR iter env 6
177         - 128 # rls2101.rel NDRPDR iter RND env 6
178         - 129 # rls2101.rel NDRPDR iter RND env 6
179         - 130 # rls2101.rel NDRPDR iter RND env 6
180         - 131 # rls2101.rel NDRPDR iter RND env 6
181         - 132 # rls2101.rel NDRPDR iter RND env 6
182         - 133 # rls2101.rel NDRPDR iter RND env 6
183         - 134 # rls2101.rel NDRPDR iter RND env 6
184         - 135 # rls2101.rel NDRPDR iter RND env 6
185         - 136 # rls2101.rel NDRPDR iter RND env 6
186         - 137 # rls2101.rel NDRPDR iter RND env 6
187
188     plot-vpp-hdrh-lat-3n-hsw:
189       csit-vpp-perf-report-iterative-2101-3n-hsw:
190         - 89  # rls2101.rel NDRPDR iter env 6
191
192     plot-vpp-hdrh-lat-3n-hsw-rnd:
193       csit-vpp-perf-report-iterative-2101-3n-hsw:
194         - 128 # rls2101.rel NDRPDR iter RND env 6
195
196     plot-vpp-ipsec-reconf-3n-hsw:
197       csit-vpp-perf-report-iterative-2101-3n-hsw:
198         - 65  # rls2101.rel NDRPDR reconf iter env 6
199         - 68  # rls2101.rel NDRPDR reconf iter env 6
200         - 77  # rls2101.rel NDRPDR reconf iter env 6
201         - 84  # rls2101.rel NDRPDR reconf iter env 6
202         - 90  # rls2101.rel NDRPDR reconf iter env 6
203         - 96  # rls2101.rel NDRPDR reconf iter env 6
204         - 101 # rls2101.rel NDRPDR reconf iter env 6
205         - 104 # rls2101.rel NDRPDR reconf iter env 6
206         - 105 # rls2101.rel NDRPDR reconf iter env 6
207         - 106 # rls2101.rel NDRPDR reconf iter env 6
208         - 107 # rls2101.rel NDRPDR reconf iter env 6
209         - 108 # rls2101.rel NDRPDR reconf iter env 6
210         - 110 # rls2101.rel NDRPDR reconf iter env 6
211         - 111 # rls2101.rel NDRPDR reconf iter env 6
212         - 112 # rls2101.rel NDRPDR reconf iter env 6
213         - 113 # rls2101.rel NDRPDR reconf iter env 6
214         - 114 # rls2101.rel NDRPDR reconf iter env 6
215         - 115 # rls2101.rel NDRPDR reconf iter env 6
216         - 116 # rls2101.rel NDRPDR reconf iter env 6
217         - 117 # rls2101.rel NDRPDR reconf iter env 6
218
219     plot-vpp-hoststack-3n-hsw:
220       csit-vpp-perf-report-iterative-2101-3n-hsw:
221         - 69  # rls2101.rel Hoststack iter env 6
222         - 70  # rls2101.rel Hoststack iter env 6
223         - 75  # rls2101.rel Hoststack iter env 6
224         - 76  # rls2101.rel Hoststack iter env 6
225         - 78  # rls2101.rel Hoststack iter env 6
226         - 79  # rls2101.rel Hoststack iter env 6
227         - 85  # rls2101.rel Hoststack iter env 6
228         - 86  # rls2101.rel Hoststack iter env 6
229         - 87  # rls2101.rel Hoststack iter env 6
230         - 91  # rls2101.rel Hoststack iter env 6
231         - 92  # rls2101.rel Hoststack iter env 6
232         - 93  # rls2101.rel Hoststack iter env 6
233         - 94  # rls2101.rel Hoststack iter env 6
234         - 95  # rls2101.rel Hoststack iter env 6
235         - 97  # rls2101.rel Hoststack iter env 6
236         - 98  # rls2101.rel Hoststack iter env 6
237         - 99  # rls2101.rel Hoststack iter env 6
238         - 100 # rls2101.rel Hoststack iter env 6
239         - 102 # rls2101.rel Hoststack iter env 6
240         - 103 # rls2101.rel Hoststack iter env 6
241
242     plot-dpdk-throughput-latency-3n-hsw:
243       csit-dpdk-perf-report-iterative-2101-3n-hsw:
244         - 11  # rls2101 NDRPDR iter env 6
245         - 12  # rls2101 NDRPDR iter env 6
246         - 13  # rls2101 NDRPDR iter env 6
247         - 14  # rls2101 NDRPDR iter env 6
248         - 16  # rls2101 NDRPDR iter env 6
249         - 17  # rls2101 NDRPDR iter env 6
250         - 18  # rls2101 NDRPDR iter env 6
251         - 19  # rls2101 NDRPDR iter env 6
252         - 20  # rls2101 NDRPDR iter env 6
253         - 21  # rls2101 NDRPDR iter env 6
254
255     plot-dpdk-hdrh-lat-3n-hsw:
256       csit-dpdk-perf-report-iterative-2101-3n-hsw:
257         - 11  # rls2101 NDRPDR iter env 6
258
259     # 3n-skx
260
261     plot-vpp-throughput-lat-tsa-3n-skx:
262       csit-vpp-perf-report-iterative-2101-3n-skx:
263         - 36  # rls2101.rel NDRPDR iter env 6
264         - 37  # rls2101.rel NDRPDR iter env 6
265         - 38  # rls2101.rel NDRPDR iter env 6
266         - 39  # rls2101.rel NDRPDR iter env 6
267         - 40  # rls2101.rel NDRPDR iter env 6
268         - 41  # rls2101.rel NDRPDR iter env 6
269         - 42  # rls2101.rel NDRPDR iter env 6
270         - 47  # rls2101.rel NDRPDR iter env 6
271         - 48  # rls2101.rel NDRPDR iter env 6
272         - 50  # rls2101.rel NDRPDR iter env 6
273
274     plot-vpp-hdrh-lat-3n-skx:
275       csit-vpp-perf-report-iterative-2101-3n-skx:
276         - 36  # rls2101.rel NDRPDR iter env 6
277
278 #    plot-vpp-nfv-3n-skx-ndrpdr:
279 #      # No data
280 #      csit-vpp-perf-report-iterative-2101-3n-skx:
281
282 #    plot-vpp-nfv-3n-skx-mrr:
283 #      # No data
284 #      csit-vpp-perf-report-iterative-2101-3n-skx:
285
286     plot-dpdk-throughput-latency-3n-skx:
287       csit-dpdk-perf-report-iterative-2101-3n-skx:
288         - 12  # rls2101 NDRPDR iter env 6
289         - 14  # rls2101 NDRPDR iter env 6
290         - 15  # rls2101 NDRPDR iter env 6
291         - 17  # rls2101 NDRPDR iter env 6
292         - 19  # rls2101 NDRPDR iter env 6
293         - 20  # rls2101 NDRPDR iter env 6
294         - 21  # rls2101 NDRPDR iter env 6
295         - 22  # rls2101 NDRPDR iter env 6
296         - 25  # rls2101 NDRPDR iter env 6
297         - 26  # rls2101 NDRPDR iter env 6
298
299     plot-dpdk-hdrh-lat-3n-skx:
300       csit-dpdk-perf-report-iterative-2101-3n-skx:
301         - 12  # rls2101 NDRPDR iter env 6
302
303     # 2n-skx
304
305     plot-vpp-throughput-lat-tsa-2n-skx:
306       csit-vpp-perf-report-iterative-2101-2n-skx:
307         - 63  # rls2101.rel NDRPDR iter env 6
308         - 69  # rls2101.rel NDRPDR iter env 6
309         - 70  # rls2101.rel NDRPDR iter env 6
310         - 75  # rls2101.rel NDRPDR iter env 6
311         - 76  # rls2101.rel NDRPDR iter env 6
312         - 77  # rls2101.rel NDRPDR iter env 6
313         - 82  # rls2101.rel NDRPDR iter env 6
314         - 85  # rls2101.rel NDRPDR iter env 6
315         - 86  # rls2101.rel NDRPDR iter env 6
316         - 94  # rls2101.rel NDRPDR iter env 6
317         - 89  # rls2101.rel NDRPDR iter RND env 6
318         - 90  # rls2101.rel NDRPDR iter RND env 6
319         - 91  # rls2101.rel NDRPDR iter RND env 6
320         - 92  # rls2101.rel NDRPDR iter RND env 6
321         - 93  # rls2101.rel NDRPDR iter RND env 6
322         - 96  # rls2101.rel NDRPDR iter RND env 6
323         - 98  # rls2101.rel NDRPDR iter RND env 6
324         - 99  # rls2101.rel NDRPDR iter RND env 6
325         - 101 # rls2101.rel NDRPDR iter RND env 6
326         - 102 # rls2101.rel NDRPDR iter RND env 6
327         - 116 # rls2101.rel NDRPDR iter NAT env 6
328         - 117 # rls2101.rel NDRPDR iter NAT env 6
329         - 118 # rls2101.rel NDRPDR iter NAT env 6
330         - 119 # rls2101.rel NDRPDR iter NAT env 6
331         - 120 # rls2101.rel NDRPDR iter NAT env 6
332         - 121 # rls2101.rel NDRPDR iter NAT env 6
333         - 122 # rls2101.rel NDRPDR iter NAT env 6
334         - 123 # rls2101.rel NDRPDR iter NAT env 6
335         - 124 # rls2101.rel NDRPDR iter NAT env 6
336         - 125 # rls2101.rel NDRPDR iter NAT env 6
337
338     plot-vpp-hdrh-lat-2n-skx:
339       csit-vpp-perf-report-iterative-2101-2n-skx:
340         - 94  # rls2101.rel NDRPDR iter env 6
341
342     plot-vpp-hdrh-lat-2n-skx-rnd:
343       csit-vpp-perf-report-iterative-2101-2n-skx:
344         - 89  # rls2101.rel NDRPDR iter RND env 6
345
346     plot-vpp-hdrh-lat-2n-skx-nat:
347       csit-vpp-perf-report-iterative-2101-2n-skx:
348         - 118 # rls2101.rel NDRPDR iter NAT env 6
349
350     plot-vpp-soak-2n-skx:
351       csit-vpp-perf-report-iterative-2101-2n-skx:
352         - 68  # rls2101.rel soak env 6
353         - 73  # rls2101.rel soak env 6
354
355     plot-vpp-nfv-2n-skx-ndrpdr:
356       csit-vpp-perf-report-iterative-2101-2n-skx:
357         - 67  # rls2101.rel NDRPDR nf-density iter env 6
358         - 72  # rls2101.rel NDRPDR nf-density iter env 6
359         - 79  # rls2101.rel NDRPDR nf-density iter env 6
360         - 83  # rls2101.rel NDRPDR nf-density iter env 6
361         - 88  # rls2101.rel NDRPDR nf-density iter env 6
362         - 97  # rls2101.rel NDRPDR nf-density iter env 6
363         - 103 # rls2101.rel NDRPDR nf-density iter env 6
364         - 108 # rls2101.rel NDRPDR nf-density iter env 6
365         - 109 # rls2101.rel NDRPDR nf-density iter env 6
366         - 110 # rls2101.rel NDRPDR nf-density iter env 6
367
368     plot-vpp-nfv-2n-skx-mrr:
369       csit-vpp-perf-report-iterative-2101-2n-skx:
370         - 65  # rls2101.rel MRR nf-density iter env 6
371
372     plot-vpp-nfv-reconf-2n-skx:
373       csit-vpp-perf-report-iterative-2101-2n-skx:
374         - 64  # rls2101.rel NDRPDR reconf iter env 6
375         - 66  # rls2101.rel NDRPDR reconf iter env 6
376         - 71  # rls2101.rel NDRPDR reconf iter env 6
377         - 74  # rls2101.rel NDRPDR reconf iter env 6
378         - 78  # rls2101.rel NDRPDR reconf iter env 6
379         - 87  # rls2101.rel NDRPDR reconf iter env 6
380         - 95  # rls2101.rel NDRPDR reconf iter env 6
381         - 100 # rls2101.rel NDRPDR reconf iter env 6
382         - 104 # rls2101.rel NDRPDR reconf iter env 6
383         - 106 # rls2101.rel NDRPDR reconf iter env 6
384
385     plot-dpdk-throughput-latency-2n-skx:
386       csit-dpdk-perf-report-iterative-2101-2n-skx:
387         - 11  # rls2101 NDRPDR iter env 6
388         - 12  # rls2101 NDRPDR iter env 6
389         - 13  # rls2101 NDRPDR iter env 6
390         - 14  # rls2101 NDRPDR iter env 6
391         - 15  # rls2101 NDRPDR iter env 6
392         - 17  # rls2101 NDRPDR iter env 6
393         - 18  # rls2101 NDRPDR iter env 6
394         - 19  # rls2101 NDRPDR iter env 6
395         - 20  # rls2101 NDRPDR iter env 6
396         - 21  # rls2101 NDRPDR iter env 6
397
398     plot-dpdk-hdrh-lat-2n-skx:
399       csit-dpdk-perf-report-iterative-2101-2n-skx:
400         - 11  # rls2101 NDRPDR iter env 6
401
402     # 2n-zn2
403
404     plot-vpp-throughput-lat-tsa-2n-zn2:
405       csit-vpp-perf-report-iterative-2101-2n-zn2:
406         - 31  # rls2101.rel NDRPDR iter env 6
407         - 32  # rls2101.rel NDRPDR iter env 6
408         - 33  # rls2101.rel NDRPDR iter env 6
409         - 34  # rls2101.rel NDRPDR iter env 6
410         - 35  # rls2101.rel NDRPDR iter env 6
411         - 36  # rls2101.rel NDRPDR iter env 6
412         - 37  # rls2101.rel NDRPDR iter env 6
413         - 38  # rls2101.rel NDRPDR iter env 6
414         - 44  # rls2101.rel NDRPDR iter env 6
415         - 49  # rls2101.rel NDRPDR iter env 6
416         - 39  # rls2101.rel NDRPDR iter RND env 6
417         - 40  # rls2101.rel NDRPDR iter RND env 6
418         - 41  # rls2101.rel NDRPDR iter RND env 6
419         - 42  # rls2101.rel NDRPDR iter RND env 6
420         - 43  # rls2101.rel NDRPDR iter RND env 6
421         - 45  # rls2101.rel NDRPDR iter RND env 6
422         - 48  # rls2101.rel NDRPDR iter RND env 6
423         - 50  # rls2101.rel NDRPDR iter RND env 6
424         - 51  # rls2101.rel NDRPDR iter RND env 6
425         - 52  # rls2101.rel NDRPDR iter RND env 6
426
427     plot-vpp-hdrh-lat-2n-zn2:
428       csit-vpp-perf-report-iterative-2101-2n-zn2:
429         - 31  # rls2101.rel NDRPDR iter env 6
430
431     plot-vpp-hdrh-lat-2n-zn2-rnd:
432       csit-vpp-perf-report-iterative-2101-2n-zn2:
433         - 40  # rls2101.rel NDRPDR iter RND env 6
434
435     plot-dpdk-throughput-latency-2n-zn2:
436       csit-dpdk-perf-report-iterative-2101-2n-zn2:
437         - 11  # rls2101 NDRPDR iter env 6
438         - 12  # rls2101 NDRPDR iter env 6
439         - 13  # rls2101 NDRPDR iter env 6
440         - 14  # rls2101 NDRPDR iter env 6
441         - 16  # rls2101 NDRPDR iter env 6
442         - 17  # rls2101 NDRPDR iter env 6
443         - 18  # rls2101 NDRPDR iter env 6
444         - 19  # rls2101 NDRPDR iter env 6
445         - 20  # rls2101 NDRPDR iter env 6
446         - 21  # rls2101 NDRPDR iter env 6
447
448     plot-dpdk-hdrh-lat-2n-zn2:
449       csit-dpdk-perf-report-iterative-2101-2n-zn2:
450         - 11  # rls2101 NDRPDR iter env 6
451
452     # 2n-clx
453
454     plot-vpp-throughput-lat-tsa-2n-clx:
455       csit-vpp-perf-report-iterative-2101-2n-clx:
456         - 54  # rls2101.rel NDRPDR iter env 6
457         - 59  # rls2101.rel NDRPDR iter env 6
458         - 60  # rls2101.rel NDRPDR iter env 6
459         - 63  # rls2101.rel NDRPDR iter env 6
460         - 66  # rls2101.rel NDRPDR iter env 6
461         - 68  # rls2101.rel NDRPDR iter env 6
462         - 73  # rls2101.rel NDRPDR iter env 6
463         - 75  # rls2101.rel NDRPDR iter env 6
464         - 86  # rls2101.rel NDRPDR iter env 6
465         - 90  # rls2101.rel NDRPDR iter env 6
466         - 80  # rls2101.rel NDRPDR iter RND env 6
467         - 87  # rls2101.rel NDRPDR iter RND env 6
468         - 91  # rls2101.rel NDRPDR iter RND env 6
469         - 92  # rls2101.rel NDRPDR iter RND env 6
470         - 93  # rls2101.rel NDRPDR iter RND env 6
471         - 94  # rls2101.rel NDRPDR iter RND env 6
472         - 95  # rls2101.rel NDRPDR iter RND env 6
473         - 100 # rls2101.rel NDRPDR iter RND env 6
474         - 106 # rls2101.rel NDRPDR iter RND env 6
475         - 108 # rls2101.rel NDRPDR iter RND env 6
476         - 112 # rls2101.rel NDRPDR iter NAT env 6
477         - 113 # rls2101.rel NDRPDR iter NAT env 6
478         - 114 # rls2101.rel NDRPDR iter NAT env 6
479         - 115 # rls2101.rel NDRPDR iter NAT env 6
480         - 116 # rls2101.rel NDRPDR iter NAT env 6
481         - 117 # rls2101.rel NDRPDR iter NAT env 6
482         - 118 # rls2101.rel NDRPDR iter NAT env 6
483         - 119 # rls2101.rel NDRPDR iter NAT env 6
484         - 120 # rls2101.rel NDRPDR iter NAT env 6
485         - 121 # rls2101.rel NDRPDR iter NAT env 6
486         - 122 # rls2101.rel NDRPDR iter MLX env 6
487         - 123 # rls2101.rel NDRPDR iter MLX env 6
488         - 124 # rls2101.rel NDRPDR iter MLX env 6
489         - 126 # rls2101.rel NDRPDR iter MLX env 6
490         - 127 # rls2101.rel NDRPDR iter MLX env 6
491         - 128 # rls2101.rel NDRPDR iter MLX env 6
492         - 129 # rls2101.rel NDRPDR iter MLX env 6
493         - 130 # rls2101.rel NDRPDR iter MLX env 6
494         - 131 # rls2101.rel NDRPDR iter MLX env 6
495         - 132 # rls2101.rel NDRPDR iter MLX env 6
496
497     plot-vpp-hdrh-lat-2n-clx:
498       csit-vpp-perf-report-iterative-2101-2n-clx:
499         - 75  # rls2101.rel NDRPDR iter env 6
500
501     plot-vpp-hdrh-lat-2n-clx-rnd:
502       csit-vpp-perf-report-iterative-2101-2n-clx:
503         - 87  # rls2101.rel NDRPDR iter RND env 6
504
505     plot-vpp-hdrh-lat-2n-clx-nat:
506       csit-vpp-perf-report-iterative-2101-2n-clx:
507         - 118 # rls2101.rel NDRPDR iter NAT env 6
508
509     plot-vpp-hdrh-lat-2n-clx-mlx:
510       csit-vpp-perf-report-iterative-2101-2n-clx:
511         - 127 # rls2101.rel NDRPDR iter MLX env 6
512
513     plot-vpp-nfv-2n-clx-ndrpdr:
514       csit-vpp-perf-report-iterative-2101-2n-clx:
515         - 57  # rls2101.rel NDRPDR nf-density iter env 6
516         - 62  # rls2101.rel NDRPDR nf-density iter env 6
517         - 70  # rls2101.rel NDRPDR nf-density iter env 6
518         - 71  # rls2101.rel NDRPDR nf-density iter env 6
519         - 82  # rls2101.rel NDRPDR nf-density iter env 6
520         - 88  # rls2101.rel NDRPDR nf-density iter env 6
521         - 89  # rls2101.rel NDRPDR nf-density iter env 6
522         - 96  # rls2101.rel NDRPDR nf-density iter env 6
523         - 97  # rls2101.rel NDRPDR nf-density iter env 6
524         - 98  # rls2101.rel NDRPDR nf-density iter env 6
525
526     plot-vpp-nfv-2n-clx-mrr:
527       csit-vpp-perf-report-iterative-2101-2n-clx:
528         - 72  # rls2101.rel MRR nf-density iter env 6
529
530     plot-vpp-nfv-reconf-2n-clx:
531       csit-vpp-perf-report-iterative-2101-2n-clx:
532         - 55  # rls2101.rel NDRPDR reconf iter env 6
533         - 64  # rls2101.rel NDRPDR reconf iter env 6
534         - 76  # rls2101.rel NDRPDR reconf iter env 6
535         - 83  # rls2101.rel NDRPDR reconf iter env 6
536         - 99  # rls2101.rel NDRPDR reconf iter env 6
537         - 101 # rls2101.rel NDRPDR reconf iter env 6
538         - 102 # rls2101.rel NDRPDR reconf iter env 6
539         - 107 # rls2101.rel NDRPDR reconf iter env 6
540         - 109 # rls2101.rel NDRPDR reconf iter env 6
541         - 110 # rls2101.rel NDRPDR reconf iter env 6
542
543     plot-vpp-soak-2n-clx:
544       csit-vpp-perf-report-iterative-2101-2n-clx:
545         - 58  # rls2101.rel soak env 6
546         - 61  # rls2101.rel soak env 6
547
548     plot-dpdk-throughput-latency-2n-clx:
549       csit-dpdk-perf-report-iterative-2101-2n-clx:
550         - 12  # rls2101 NDRPDR iter env 6
551         - 13  # rls2101 NDRPDR iter env 6
552         - 14  # rls2101 NDRPDR iter env 6
553         - 18  # rls2101 NDRPDR iter env 6
554         - 22  # rls2101 NDRPDR iter env 6
555
556     plot-dpdk-hdrh-lat-2n-clx:
557       csit-dpdk-perf-report-iterative-2101-2n-clx:
558         - 12  # rls2101 NDRPDR iter env 6
559
560     # 3n-tsh
561
562     plot-vpp-throughput-lat-tsa-3n-tsh:
563       csit-vpp-perf-report-iterative-2101-3n-tsh:
564         - 23  # rls2101.rel NDRPDR iter env 6
565         - 24  # rls2101.rel NDRPDR iter env 6
566         - 25  # rls2101.rel NDRPDR iter env 6
567         - 26  # rls2101.rel NDRPDR iter env 6
568         - 27  # rls2101.rel NDRPDR iter env 6
569         - 28  # rls2101.rel NDRPDR iter env 6
570         - 29  # rls2101.rel NDRPDR iter env 6
571         - 30  # rls2101.rel NDRPDR iter env 6
572         - 31  # rls2101.rel NDRPDR iter env 6
573         - 32  # rls2101.rel NDRPDR iter env 6
574
575     plot-vpp-hdrh-lat-3n-tsh:
576       csit-vpp-perf-report-iterative-2101-3n-tsh:
577         - 23  # rls2101.rel NDRPDR iter env 6
578
579     plot-dpdk-throughput-latency-3n-tsh:
580       csit-dpdk-perf-report-iterative-2101-3n-tsh:
581         - 11  # rls2101 NDRPDR iter env 6
582         - 12  # rls2101 NDRPDR iter env 6
583         - 13  # rls2101 NDRPDR iter env 6
584         - 14  # rls2101 NDRPDR iter env 6
585         - 16  # rls2101 NDRPDR iter env 6
586         - 17  # rls2101 NDRPDR iter env 6
587         - 18  # rls2101 NDRPDR iter env 6
588         - 19  # rls2101 NDRPDR iter env 6
589         - 20  # rls2101 NDRPDR iter env 6
590         - 21  # rls2101 NDRPDR iter env 6
591
592     plot-dpdk-hdrh-lat-3n-tsh:
593       csit-dpdk-perf-report-iterative-2101-3n-tsh:
594         - 21  # rls2101 NDRPDR iter env 6
595
596     # 2n-tx2
597
598     plot-vpp-throughput-lat-tsa-2n-tx2:
599       csit-vpp-perf-report-iterative-2101-2n-tx2:
600         - 22  # rls2101.rel NDRPDR iter env 6
601         - 23  # rls2101.rel NDRPDR iter env 6
602         - 24  # rls2101.rel NDRPDR iter env 6
603         - 25  # rls2101.rel NDRPDR iter env 6
604         - 26  # rls2101.rel NDRPDR iter env 6
605         - 27  # rls2101.rel NDRPDR iter env 6
606         - 28  # rls2101.rel NDRPDR iter env 6
607         - 29  # rls2101.rel NDRPDR iter env 6
608         - 30  # rls2101.rel NDRPDR iter env 6
609         - 31  # rls2101.rel NDRPDR iter env 6
610
611     plot-vpp-hdrh-lat-2n-tx2:
612       csit-vpp-perf-report-iterative-2101-2n-tx2:
613         - 29  # rls2101.rel NDRPDR iter env 6
614
615     plot-dpdk-throughput-latency-2n-tx2:
616       csit-dpdk-perf-report-iterative-2101-2n-tx2:
617         - 4   # rls2101 NDRPDR iter env 6
618         - 6   # rls2101 NDRPDR iter env 6
619         - 7   # rls2101 NDRPDR iter env 6
620         - 8   # rls2101 NDRPDR iter env 6
621         - 9   # rls2101 NDRPDR iter env 6
622         - 10  # rls2101 NDRPDR iter env 6
623         - 11  # rls2101 NDRPDR iter env 6
624         - 12  # rls2101 NDRPDR iter env 6
625         - 13  # rls2101 NDRPDR iter env 6
626         - 14  # rls2101 NDRPDR iter env 6
627
628     plot-dpdk-hdrh-lat-2n-tx2:
629       csit-dpdk-perf-report-iterative-2101-2n-tx2:
630         - 4   # rls2101 NDRPDR iter env 6
631
632     # 3n-dnv
633
634     plot-vpp-throughput-lat-tsa-3n-dnv:
635       csit-vpp-perf-report-iterative-2101-3n-dnv:
636         - 33  # rls2101.rel NDRPDR iter env 6
637         - 34  # rls2101.rel NDRPDR iter env 6
638         - 35  # rls2101.rel NDRPDR iter env 6
639         - 36  # rls2101.rel NDRPDR iter env 6
640         - 37  # rls2101.rel NDRPDR iter env 6
641         - 38  # rls2101.rel NDRPDR iter env 6
642         - 39  # rls2101.rel NDRPDR iter env 6
643         - 40  # rls2101.rel NDRPDR iter env 6
644         - 41  # rls2101.rel NDRPDR iter env 6
645         - 42  # rls2101.rel NDRPDR iter env 6
646         - 43  # rls2101.rel NDRPDR iter RND env 6
647         - 44  # rls2101.rel NDRPDR iter RND env 6
648         - 45  # rls2101.rel NDRPDR iter RND env 6
649         - 46  # rls2101.rel NDRPDR iter RND env 6
650         - 47  # rls2101.rel NDRPDR iter RND env 6
651         - 48  # rls2101.rel NDRPDR iter RND env 6
652         - 49  # rls2101.rel NDRPDR iter RND env 6
653         - 50  # rls2101.rel NDRPDR iter RND env 6
654         - 51  # rls2101.rel NDRPDR iter RND env 6
655         - 52  # rls2101.rel NDRPDR iter RND env 6
656
657 #    plot-dpdk-throughput-latency-3n-dnv:
658 #      # No data
659 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
660
661     # 2n-dnv
662
663     plot-vpp-throughput-lat-tsa-2n-dnv:
664       csit-vpp-perf-report-iterative-2101-2n-dnv:
665         - 32  # rls2101.rel NDRPDR iter env 6
666         - 33  # rls2101.rel NDRPDR iter env 6
667         - 34  # rls2101.rel NDRPDR iter env 6
668         - 35  # rls2101.rel NDRPDR iter env 6
669         - 39  # rls2101.rel NDRPDR iter env 6
670         - 41  # rls2101.rel NDRPDR iter env 6
671         - 42  # rls2101.rel NDRPDR iter env 6
672         - 43  # rls2101.rel NDRPDR iter env 6
673         - 44  # rls2101.rel NDRPDR iter env 6
674         - 45  # rls2101.rel NDRPDR iter env 6
675         - 46  # rls2101.rel NDRPDR iter RND env 6
676         - 47  # rls2101.rel NDRPDR iter RND env 6
677         - 48  # rls2101.rel NDRPDR iter RND env 6
678         - 49  # rls2101.rel NDRPDR iter RND env 6
679         - 50  # rls2101.rel NDRPDR iter RND env 6
680         - 51  # rls2101.rel NDRPDR iter RND env 6
681         - 52  # rls2101.rel NDRPDR iter RND env 6
682         - 53  # rls2101.rel NDRPDR iter RND env 6
683         - 54  # rls2101.rel NDRPDR iter RND env 6
684         - 55  # rls2101.rel NDRPDR iter RND env 6
685
686 #    plot-dpdk-throughput-latency-2n-dnv:
687 #      # No data
688 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
689
690     ###########################################################################
691     # Simple tables (only one data set):
692
693     # NIC Comparisons
694
695     vpp-nic-comparison-3n-skx:
696       csit-vpp-perf-report-iterative-2101-3n-skx:
697         - 36  # rls2101.rel NDRPDR iter env 6
698         - 37  # rls2101.rel NDRPDR iter env 6
699         - 38  # rls2101.rel NDRPDR iter env 6
700         - 39  # rls2101.rel NDRPDR iter env 6
701         - 40  # rls2101.rel NDRPDR iter env 6
702         - 41  # rls2101.rel NDRPDR iter env 6
703         - 42  # rls2101.rel NDRPDR iter env 6
704         - 47  # rls2101.rel NDRPDR iter env 6
705         - 48  # rls2101.rel NDRPDR iter env 6
706         - 50  # rls2101.rel NDRPDR iter env 6
707
708     vpp-nic-comparison-2n-skx:
709       csit-vpp-perf-report-iterative-2101-2n-skx:
710         - 63  # rls2101.rel NDRPDR iter env 6
711         - 69  # rls2101.rel NDRPDR iter env 6
712         - 70  # rls2101.rel NDRPDR iter env 6
713         - 75  # rls2101.rel NDRPDR iter env 6
714         - 76  # rls2101.rel NDRPDR iter env 6
715         - 77  # rls2101.rel NDRPDR iter env 6
716         - 82  # rls2101.rel NDRPDR iter env 6
717         - 85  # rls2101.rel NDRPDR iter env 6
718         - 86  # rls2101.rel NDRPDR iter env 6
719         - 94  # rls2101.rel NDRPDR iter env 6
720         - 89  # rls2101.rel NDRPDR iter RND env 6
721         - 90  # rls2101.rel NDRPDR iter RND env 6
722         - 91  # rls2101.rel NDRPDR iter RND env 6
723         - 92  # rls2101.rel NDRPDR iter RND env 6
724         - 93  # rls2101.rel NDRPDR iter RND env 6
725         - 96  # rls2101.rel NDRPDR iter RND env 6
726         - 98  # rls2101.rel NDRPDR iter RND env 6
727         - 99  # rls2101.rel NDRPDR iter RND env 6
728         - 101 # rls2101.rel NDRPDR iter RND env 6
729         - 102 # rls2101.rel NDRPDR iter RND env 6
730         - 116 # rls2101.rel NDRPDR iter NAT env 6
731         - 117 # rls2101.rel NDRPDR iter NAT env 6
732         - 118 # rls2101.rel NDRPDR iter NAT env 6
733         - 119 # rls2101.rel NDRPDR iter NAT env 6
734         - 120 # rls2101.rel NDRPDR iter NAT env 6
735         - 121 # rls2101.rel NDRPDR iter NAT env 6
736         - 122 # rls2101.rel NDRPDR iter NAT env 6
737         - 123 # rls2101.rel NDRPDR iter NAT env 6
738         - 124 # rls2101.rel NDRPDR iter NAT env 6
739         - 125 # rls2101.rel NDRPDR iter NAT env 6
740
741     vpp-nic-comparison-3n-skx-mrr:
742       csit-vpp-perf-report-iterative-2101-3n-skx:
743         - 35  # rls2101.rel MRR iter env 6
744
745     vpp-nic-comparison-2n-skx-mrr:
746       csit-vpp-perf-report-iterative-2101-2n-skx:
747         - 62  # rls2101.rel MRR iter env 6
748
749     # Results
750
751     vpp-perf-results-3n-hsw:
752       csit-vpp-perf-report-coverage-2101-3n-hsw:
753         - 1   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-00
754         - 2   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-01
755         - 3   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-02
756         - 4   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-03
757         - 5   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-00
758         - 6   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-01
759         - 7   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-02
760         - 8   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-03
761         - 9   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-04
762         - 10  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-05
763         - 11  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-06
764         - 12  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-07
765         - 13  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4tun-00
766         - 14  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4tun-01
767         - 15  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4tun-02
768         - 16  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip6-00
769         - 18  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip6-01
770         - 19  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-00
771         - 20  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-01
772         - 21  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-02
773         - 22  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-03
774         - 23  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-04
775         - 24  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip6tun-00
776         - 25  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-05
777         - 26  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-06
778         - 27  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-07
779         - 28  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-08
780         - 29  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-09
781         - 30  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-10
782         - 31  # rls2101.rel NDRPDR cov env 6 3n-hsw-memif-00
783         - 32  # rls2101.rel NDRPDR cov env 6 3n-hsw-srv6-00
784         - 33  # rls2101.rel NDRPDR cov env 6 3n-hsw-srv6-01
785         - 34  # rls2101.rel NDRPDR cov env 6 3n-hsw-vhost-00
786         - 35  # rls2101.rel NDRPDR cov env 6 3n-hsw-vhost-01
787         - 36  # rls2101.rel NDRPDR cov env 6 3n-hsw-vhost-02
788
789     vpp-perf-results-3n-skx:
790       csit-vpp-perf-report-coverage-2101-3n-skx:
791         - 1   # rls2101.rel NDRPDR cov env 6 3n-skx-crypto-00
792         - 2   # rls2101.rel NDRPDR cov env 6 3n-skx-crypto-01
793         - 3   # rls2101.rel NDRPDR cov env 6 3n-skx-crypto-02
794         - 4   # rls2101.rel NDRPDR cov env 6 3n-skx-crypto-03
795         - 5   # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-00
796         - 16  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-01
797         - 7   # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-02
798         - 17  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-03
799         - 18  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-04
800         - 19  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-05
801         - 20  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-06
802         - 12  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-06
803         - 13  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4tun-00
804         - 26  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4tun-01
805         - 15  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4tun-02
806         - 21  # rls2101.rel NDRPDR cov env 6 3n-skx-ip6-00
807         - 22  # rls2101.rel NDRPDR cov env 6 3n-skx-ip6-01
808         - 23  # rls2101.rel NDRPDR cov env 6 3n-skx-ip6tun-00
809         - 24  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-00
810         - 30  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-01
811         - 27  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-02
812         - 28  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-03
813         - 29  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-04
814         - 31  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-05
815         - 32  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-06
816         - 33  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-07
817         - 34  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-08
818         - 35  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-09
819         - 36  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-10
820         - 37  # rls2101.rel NDRPDR cov env 6 3n-skx-memif-00
821         - 38  # rls2101.rel NDRPDR cov env 6 3n-skx-srv6-00
822         - 39  # rls2101.rel NDRPDR cov env 6 3n-skx-srv6-01
823         - 40  # rls2101.rel NDRPDR cov env 6 3n-skx-vhost-00
824         - 41  # rls2101.rel NDRPDR cov env 6 3n-skx-vhost-01
825         - 42  # rls2101.rel NDRPDR cov env 6 3n-skx-vhost-02
826         - 43  # rls2101.rel NDRPDR cov env 6 3n-skx-vhost-03
827
828     vpp-perf-results-2n-skx:
829       csit-vpp-perf-report-coverage-2101-2n-skx:
830         - 1   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-00
831         - 2   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-01
832         - 3   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-02
833         - 4   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-03
834         - 5   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-04
835         - 6   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-05
836         - 7   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-06
837         - 8   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-07
838         - 21  # rls2101.rel NDRPDR cov env 6 2n-skx-ip4tun-00
839         - 22  # rls2101.rel NDRPDR cov env 6 2n-skx-ip4tun-00
840         - 10  # rls2101.rel NDRPDR cov env 6 2n-skx-ip6-00
841         - 11  # rls2101.rel NDRPDR cov env 6 2n-skx-ip6-01
842         - 12  # rls2101.rel NDRPDR cov env 6 2n-skx-l2-00
843         - 13  # rls2101.rel NDRPDR cov env 6 2n-skx-l2-01
844         - 14  # rls2101.rel NDRPDR cov env 6 2n-skx-lb-00
845         - 15  # rls2101.rel NDRPDR cov env 6 2n-skx-memif-00
846         - 16  # rls2101.rel NDRPDR cov env 6 2n-skx-vhost-00
847         - 17  # rls2101.rel NDRPDR cov env 6 2n-skx-vhost-01
848         - 19  # rls2101.rel NDRPDR cov env 6 2n-skx-vts-00
849
850     vpp-perf-results-2n-zn2:
851       csit-vpp-perf-report-coverage-2101-2n-zn2:
852         - 1   # rls2101.rel NDRPDR cov env 6 2n-zn2-ip4-00
853         - 2   # rls2101.rel NDRPDR cov env 6 2n-zn2-ip4-01
854         - 3   # rls2101.rel NDRPDR cov env 6 2n-zn2-ip4-02
855         - 4   # rls2101.rel NDRPDR cov env 6 2n-zn2-ip4-03
856         - 5   # rls2101.rel NDRPDR cov env 6 2n-zn2-ip4-04
857         - 6   # rls2101.rel NDRPDR cov env 6 2n-zn2-ip4-05
858         - 17  # rls2101.rel NDRPDR cov env 6 2n-zn2-ip4tun-00
859         - 18  # rls2101.rel NDRPDR cov env 6 2n-zn2-ip4tun-01
860         - 8   # rls2101.rel NDRPDR cov env 6 2n-zn2-ip6-00
861         - 9   # rls2101.rel NDRPDR cov env 6 2n-zn2-ip6-01
862         - 10  # rls2101.rel NDRPDR cov env 6 2n-zn2-l2-00
863         - 11  # rls2101.rel NDRPDR cov env 6 2n-zn2-l2-01
864         - 12  # rls2101.rel NDRPDR cov env 6 2n-zn2-lb-00
865         - 13  # rls2101.rel NDRPDR cov env 6 2n-zn2-memif-00
866         - 14  # rls2101.rel NDRPDR cov env 6 2n-zn2-vhost-00
867         - 15  # rls2101.rel NDRPDR cov env 6 2n-zn2-vhost-00
868         - 16  # rls2101.rel NDRPDR cov env 6 2n-zn2-vts-00
869
870     vpp-perf-results-2n-clx:
871       csit-vpp-perf-report-coverage-2101-2n-clx:
872         - 1   # rls2101.rel NDRPDR cov env 6 2n-clx-ip4-00
873         - 2   # rls2101.rel NDRPDR cov env 6 2n-clx-ip4-01
874         - 3   # rls2101.rel NDRPDR cov env 6 2n-clx-ip4-02
875         - 4   # rls2101.rel NDRPDR cov env 6 2n-clx-ip4-03
876         - 5   # rls2101.rel NDRPDR cov env 6 2n-clx-ip4-04
877         - 6   # rls2101.rel NDRPDR cov env 6 2n-clx-ip4-05
878         - 7   # rls2101.rel NDRPDR cov env 6 2n-clx-ip4-06
879         - 8   # rls2101.rel NDRPDR cov env 6 2n-clx-ip4-07
880         - 19  # rls2101.rel NDRPDR cov env 6 2n-clx-ip4tun-00
881         - 20  # rls2101.rel NDRPDR cov env 6 2n-clx-ip4tun-00
882         - 10  # rls2101.rel NDRPDR cov env 6 2n-clx-ip6-00
883         - 11  # rls2101.rel NDRPDR cov env 6 2n-clx-ip6-01
884         - 12  # rls2101.rel NDRPDR cov env 6 2n-clx-l2-00
885         - 13  # rls2101.rel NDRPDR cov env 6 2n-clx-l2-01
886         - 14  # rls2101.rel NDRPDR cov env 6 2n-clx-lb-00
887         - 15  # rls2101.rel NDRPDR cov env 6 2n-clx-memif-00
888         - 16  # rls2101.rel NDRPDR cov env 6 2n-clx-vhost-00
889         - 17  # rls2101.rel NDRPDR cov env 6 2n-clx-vhost-01
890         - 18  # rls2101.rel NDRPDR cov env 6 2n-clx-vts-00
891
892     vpp-perf-results-3n-tsh:
893       csit-vpp-perf-report-coverage-2101-3n-tsh:
894         - 1   # rls2101.rel NDRPDR cov env 6 3n-tsh-ip4-00
895         - 2   # rls2101.rel NDRPDR cov env 6 3n-tsh-ip4-01
896         - 3   # rls2101.rel NDRPDR cov env 6 3n-tsh-ip4-02
897         - 4   # rls2101.rel NDRPDR cov env 6 3n-tsh-ip4-03
898         - 5   # rls2101.rel NDRPDR cov env 6 3n-tsh-ip4tun-00
899         - 6   # rls2101.rel NDRPDR cov env 6 3n-tsh-ip4tun-01
900         - 7   # rls2101.rel NDRPDR cov env 6 3n-tsh-ip6-00
901         - 8   # rls2101.rel NDRPDR cov env 6 3n-tsh-ip6-01
902         - 9   # rls2101.rel NDRPDR cov env 6 3n-tsh-l2-00
903         - 10  # rls2101.rel NDRPDR cov env 6 3n-tsh-l2-01
904         - 11  # rls2101.rel NDRPDR cov env 6 3n-tsh-l2-02
905         - 12  # rls2101.rel NDRPDR cov env 6 3n-tsh-l2-03
906         - 13  # rls2101.rel NDRPDR cov env 6 3n-tsh-l2-04
907         - 19  # rls2101.rel NDRPDR cov env 6 3n-tsh-memif-00
908         - 15  # rls2101.rel NDRPDR cov env 6 3n-tsh-srv6-00
909         - 16  # rls2101.rel NDRPDR cov env 6 3n-tsh-srv6-01
910         - 17  # rls2101.rel NDRPDR cov env 6 3n-tsh-vhost-00
911         - 18  # rls2101.rel NDRPDR cov env 6 3n-tsh-vhost-01
912
913     vpp-perf-results-2n-tx2:
914       csit-vpp-perf-report-coverage-2101-2n-tx2:
915         - 1   # rls2101.rel NDRPDR cov env 6 2n-tx2-ip4-00
916         - 2   # rls2101.rel NDRPDR cov env 6 2n-tx2-ip4-01
917         - 3   # rls2101.rel NDRPDR cov env 6 2n-tx2-ip4-02
918         - 4   # rls2101.rel NDRPDR cov env 6 2n-tx2-ip4-03
919         - 5   # rls2101.rel NDRPDR cov env 6 2n-tx2-ip4-04
920         - 6   # rls2101.rel NDRPDR cov env 6 2n-tx2-ip4-05
921         - 7   # rls2101.rel NDRPDR cov env 6 2n-tx2-ip4-06
922         - 8   # rls2101.rel NDRPDR cov env 6 2n-tx2-ip6-00
923         - 9   # rls2101.rel NDRPDR cov env 6 2n-tx2-ip6-01
924         - 10  # rls2101.rel NDRPDR cov env 6 2n-tx2-l2-00
925         - 11  # rls2101.rel NDRPDR cov env 6 2n-tx2-l2-01
926         - 12  # rls2101.rel NDRPDR cov env 6 2n-tx2-l2-02
927         - 13  # rls2101.rel NDRPDR cov env 6 2n-tx2-l2-03
928         - 15  # rls2101.rel NDRPDR cov env 6 2n-tx2-l2-04
929
930     vpp-perf-results-3n-dnv:
931       csit-vpp-perf-report-coverage-2101-3n-dnv:
932         - 1   # rls2101.rel NDRPDR cov env 6 3n-dnv-crypto-00
933         - 2   # rls2101.rel NDRPDR cov env 6 3n-dnv-crypto-01
934         - 3   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4-00
935         - 4   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4-01
936         - 5   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4tun-00
937         - 6   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip6-00
938         - 7   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip6-01
939         - 8   # rls2101.rel NDRPDR cov env 6 3n-dnv-l2-00
940         - 9   # rls2101.rel NDRPDR cov env 6 3n-dnv-l2-01
941
942     vpp-perf-results-2n-dnv:
943       csit-vpp-perf-report-coverage-2101-2n-dnv:
944         - 1   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4-00
945         - 2   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4-01
946         - 3   # rls2101.rel NDRPDR cov env 6 2n-dnv-ip6-00
947         - 4   # rls2101.rel NDRPDR cov env 6 2n-dnv-ip6-01
948         - 5   # rls2101.rel NDRPDR cov env 6 2n-dnv-l2-00
949         - 6   # rls2101.rel NDRPDR cov env 6 2n-dnv-l2-01
950
951     vpp-mrr-results-3n-hsw:
952       csit-vpp-perf-report-iterative-2101-3n-hsw:
953         - 63  # rls2101.rel MRR iter env 6
954
955     vpp-mrr-results-3n-skx:
956       csit-vpp-perf-report-iterative-2101-3n-skx:
957         - 35  # rls2101.rel MRR iter env 6
958
959     vpp-mrr-results-2n-skx:
960       csit-vpp-perf-report-iterative-2101-2n-skx:
961         - 62  # rls2101.rel MRR iter env 6
962
963     vpp-mrr-results-2n-zn2:
964       csit-vpp-perf-report-iterative-2101-2n-zn2:
965         - 30  # rls2101.rel MRR iter env 6
966
967     vpp-mrr-results-2n-clx:
968       csit-vpp-perf-report-iterative-2101-2n-clx:
969         - 53  # rls2101.rel MRR iter env 6
970
971     vpp-mrr-results-3n-tsh:
972       csit-vpp-perf-report-iterative-2101-3n-tsh:
973         - 22  # rls2101.rel MRR iter env 6
974
975     vpp-mrr-results-2n-tx2:
976       csit-vpp-perf-report-iterative-2101-2n-tx2:
977         - 21  # rls2101.rel MRR iter env 6
978
979     vpp-mrr-results-3n-dnv:
980       csit-vpp-perf-report-iterative-2101-3n-dnv:
981         - 32  # rls2101.rel MRR iter env 6
982
983     vpp-mrr-results-2n-dnv:
984       csit-vpp-perf-report-iterative-2101-2n-dnv:
985         - 31  # rls2101.rel MRR iter env 6
986
987     vpp-device-results-ubuntu:
988       csit-vpp-device-2101-ubuntu1804-1n-skx:
989         - 358  # rls2101.rel VPP DEV env 6
990
991     dpdk-perf-results-3n-hsw:
992       csit-dpdk-perf-report-iterative-2101-3n-hsw:
993         - 11  # rls2101 NDRPDR iter env 6
994
995     dpdk-perf-results-3n-skx:
996       csit-dpdk-perf-report-iterative-2101-3n-skx:
997         - 12  # rls2101 NDRPDR iter env 6
998
999     dpdk-perf-results-2n-skx:
1000       csit-dpdk-perf-report-iterative-2101-2n-skx:
1001         - 11  # rls2101 NDRPDR iter env 6
1002
1003     dpdk-perf-results-2n-zn2:
1004       csit-dpdk-perf-report-iterative-2101-2n-zn2:
1005         - 11  # rls2101 NDRPDR iter env 6
1006
1007     dpdk-perf-results-2n-clx:
1008       csit-dpdk-perf-report-iterative-2101-2n-clx:
1009         - 12  # rls2101 NDRPDR iter env 6
1010
1011 #    dpdk-perf-results-2n-dnv:
1012 #      # No data
1013 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
1014
1015 #    dpdk-perf-results-3n-dnv:
1016 #      # No data
1017 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
1018
1019     dpdk-perf-results-3n-tsh:
1020       csit-dpdk-perf-report-iterative-2101-3n-tsh:
1021         - 21  # rls2101 NDRPDR iter env 6
1022
1023     dpdk-perf-results-2n-tx2:
1024       csit-dpdk-perf-report-iterative-2101-2n-tx2:
1025         - 4   # rls2101 NDRPDR iter env 6
1026
1027 ###########################################################################
1028     # Tables (more than one data set)
1029
1030     # Performance changes
1031
1032     vpp-performance-changes-3n-hsw-h1:
1033       csit-vpp-perf-report-iterative-2009-3n-hsw:
1034         - 9   # rls2005 NDRPDR iter env 5
1035         - 10  # rls2005 NDRPDR iter env 5
1036         - 11  # rls2005 NDRPDR iter env 5
1037         - 12  # rls2005 NDRPDR iter env 5
1038         - 13  # rls2005 NDRPDR iter env 5
1039         - 14  # rls2005 NDRPDR iter env 5
1040         - 15  # rls2005 NDRPDR iter env 5
1041         - 16  # rls2005 NDRPDR iter env 5
1042         - 17  # rls2005 NDRPDR iter env 5
1043         - 19  # rls2005 NDRPDR iter env 5
1044     vpp-performance-changes-3n-hsw-ref-env-old:
1045       csit-vpp-perf-report-iterative-2009-3n-hsw:
1046         - 21  # rls2009 NDRPDR iter env 5
1047         - 22  # rls2009 NDRPDR iter env 5
1048         - 24  # rls2009 NDRPDR iter env 5
1049         - 25  # rls2009 NDRPDR iter env 5
1050         - 26  # rls2009 NDRPDR iter env 5
1051         - 27  # rls2009 NDRPDR iter env 5
1052         - 28  # rls2009 NDRPDR iter env 5
1053         - 29  # rls2009 NDRPDR iter env 5
1054         - 30  # rls2009 NDRPDR iter env 5
1055         - 31  # rls2009 NDRPDR iter env 5
1056     vpp-performance-changes-3n-hsw-ref-env-new:
1057       csit-vpp-perf-report-iterative-2101-3n-hsw:
1058         - 19  # rls2009 NDRPDR iter env 6
1059         - 20  # rls2009 NDRPDR iter env 6
1060         - 21  # rls2009 NDRPDR iter env 6
1061         - 22  # rls2009 NDRPDR iter env 6
1062         - 23  # rls2009 NDRPDR iter env 6
1063         - 24  # rls2009 NDRPDR iter env 6
1064         - 25  # rls2009 NDRPDR iter env 6
1065         - 26  # rls2009 NDRPDR iter env 6
1066         - 27  # rls2009 NDRPDR iter env 6
1067         - 28  # rls2009 NDRPDR iter env 6
1068     vpp-performance-changes-3n-hsw-cmp:
1069       csit-vpp-perf-report-iterative-2101-3n-hsw:
1070         - 64  # rls2101.rel NDRPDR iter env 6
1071         - 71  # rls2101.rel NDRPDR iter env 6
1072         - 73  # rls2101.rel NDRPDR iter env 6
1073         - 74  # rls2101.rel NDRPDR iter env 6
1074         - 80  # rls2101.rel NDRPDR iter env 6
1075         - 81  # rls2101.rel NDRPDR iter env 6
1076         - 82  # rls2101.rel NDRPDR iter env 6
1077         - 83  # rls2101.rel NDRPDR iter env 6
1078         - 88  # rls2101.rel NDRPDR iter env 6
1079         - 89  # rls2101.rel NDRPDR iter env 6
1080         - 128 # rls2101.rel NDRPDR iter RND env 6
1081         - 129 # rls2101.rel NDRPDR iter RND env 6
1082         - 130 # rls2101.rel NDRPDR iter RND env 6
1083         - 131 # rls2101.rel NDRPDR iter RND env 6
1084         - 132 # rls2101.rel NDRPDR iter RND env 6
1085         - 133 # rls2101.rel NDRPDR iter RND env 6
1086         - 134 # rls2101.rel NDRPDR iter RND env 6
1087         - 135 # rls2101.rel NDRPDR iter RND env 6
1088         - 136 # rls2101.rel NDRPDR iter RND env 6
1089         - 137 # rls2101.rel NDRPDR iter RND env 6
1090
1091     vpp-performance-changes-3n-skx-h1:
1092       csit-vpp-perf-report-iterative-2009-3n-skx:
1093         - 13  # rls2005 NDRPDR iter env 5
1094         - 18  # rls2005 NDRPDR iter env 5
1095         - 19  # rls2005 NDRPDR iter env 5
1096         - 41  # rls2005 NDRPDR iter env 5
1097         - 43  # rls2005 NDRPDR iter env 5
1098         - 44  # rls2005 NDRPDR iter env 5
1099         - 45  # rls2005 NDRPDR iter env 5
1100         - 46  # rls2005 NDRPDR iter env 5
1101         - 48  # rls2005 NDRPDR iter env 5
1102         - 49  # rls2005 NDRPDR iter env 5
1103     vpp-performance-changes-3n-skx-ref-env-old:
1104       csit-vpp-perf-report-iterative-2009-3n-skx:
1105         - 26  # rls2009 NDRPDR iter env 5
1106         - 27  # rls2009 NDRPDR iter env 5
1107         - 28  # rls2009 NDRPDR iter env 5
1108         - 29  # rls2009 NDRPDR iter env 5
1109         - 35  # rls2009 NDRPDR iter env 5
1110         - 36  # rls2009 NDRPDR iter env 5
1111         - 37  # rls2009 NDRPDR iter env 5
1112         - 38  # rls2009 NDRPDR iter env 5
1113         - 39  # rls2009 NDRPDR iter env 5
1114         - 40  # rls2009 NDRPDR iter env 5
1115     vpp-performance-changes-3n-skx-ref-env-new:
1116       csit-vpp-perf-report-iterative-2101-3n-skx:
1117         - 14  # rls2009 NDRPDR iter env 6
1118         - 15  # rls2009 NDRPDR iter env 6
1119         - 16  # rls2009 NDRPDR iter env 6
1120         - 17  # rls2009 NDRPDR iter env 6
1121         - 18  # rls2009 NDRPDR iter env 6
1122         - 25  # rls2009 NDRPDR iter env 6
1123         - 26  # rls2009 NDRPDR iter env 6
1124         - 27  # rls2009 NDRPDR iter env 6
1125         - 29  # rls2009 NDRPDR iter env 6
1126         - 31  # rls2009 NDRPDR iter env 6
1127     vpp-performance-changes-3n-skx-cmp:
1128       csit-vpp-perf-report-iterative-2101-3n-skx:
1129         - 36  # rls2101.rel NDRPDR iter env 6
1130         - 37  # rls2101.rel NDRPDR iter env 6
1131         - 38  # rls2101.rel NDRPDR iter env 6
1132         - 39  # rls2101.rel NDRPDR iter env 6
1133         - 40  # rls2101.rel NDRPDR iter env 6
1134         - 41  # rls2101.rel NDRPDR iter env 6
1135         - 42  # rls2101.rel NDRPDR iter env 6
1136         - 47  # rls2101.rel NDRPDR iter env 6
1137         - 48  # rls2101.rel NDRPDR iter env 6
1138         - 50  # rls2101.rel NDRPDR iter env 6
1139
1140     vpp-performance-changes-2n-skx-h1:
1141       csit-vpp-perf-report-iterative-2009-2n-skx:
1142         - 13  # rls2005 NDRPDR iter env 5
1143         - 16  # rls2005 NDRPDR iter env 5
1144         - 17  # rls2005 NDRPDR iter env 5
1145         - 18  # rls2005 NDRPDR iter env 5
1146         - 19  # rls2005 NDRPDR iter env 5
1147         - 21  # rls2005 NDRPDR iter env 5
1148         - 22  # rls2005 NDRPDR iter env 5
1149         - 23  # rls2005 NDRPDR iter env 5
1150         - 24  # rls2005 NDRPDR iter env 5
1151         - 25  # rls2005 NDRPDR iter env 5
1152     vpp-performance-changes-2n-skx-ref-env-old:
1153       csit-vpp-perf-report-iterative-2009-2n-skx:
1154         - 35  # rls2009 NDRPDR iter env 5
1155         - 36  # rls2009 NDRPDR iter env 5
1156         - 37  # rls2009 NDRPDR iter env 5
1157         - 39  # rls2009 NDRPDR iter env 5
1158         - 40  # rls2009 NDRPDR iter env 5
1159         - 42  # rls2009 NDRPDR iter env 5
1160         - 43  # rls2009 NDRPDR iter env 5
1161         - 44  # rls2009 NDRPDR iter env 5
1162         - 46  # rls2009 NDRPDR iter env 5
1163         - 48  # rls2009 NDRPDR iter env 5
1164         - 110 # rls2009 NDRPDR iter NAT44 env 5
1165         - 111 # rls2009 NDRPDR iter NAT44 env 5
1166         - 112 # rls2009 NDRPDR iter NAT44 env 5
1167         - 113 # rls2009 NDRPDR iter NAT44 env 5
1168         - 114 # rls2009 NDRPDR iter NAT44 env 5
1169         - 115 # rls2009 NDRPDR iter NAT44 env 5
1170         - 116 # rls2009 NDRPDR iter NAT44 env 5
1171         - 118 # rls2009 NDRPDR iter NAT44 env 5
1172         - 119 # rls2009 NDRPDR iter NAT44 env 5
1173         - 121 # rls2009 NDRPDR iter NAT44 env 5
1174     vpp-performance-changes-2n-skx-ref-env-new:
1175       csit-vpp-perf-report-iterative-2101-2n-skx:
1176         - 22  # rls2009 NDRPDR iter env 6
1177         - 23  # rls2009 NDRPDR iter env 6
1178         - 24  # rls2009 NDRPDR iter env 6
1179         - 25  # rls2009 NDRPDR iter env 6
1180         - 26  # rls2009 NDRPDR iter env 6
1181         - 28  # rls2009 NDRPDR iter env 6
1182         - 39  # rls2009 NDRPDR iter env 6
1183         - 40  # rls2009 NDRPDR iter env 6
1184         - 41  # rls2009 NDRPDR iter env 6
1185         - 44  # rls2009 NDRPDR iter env 6
1186     vpp-performance-changes-2n-skx-cmp:
1187       csit-vpp-perf-report-iterative-2101-2n-skx:
1188         - 63  # rls2101.rel NDRPDR iter env 6
1189         - 69  # rls2101.rel NDRPDR iter env 6
1190         - 70  # rls2101.rel NDRPDR iter env 6
1191         - 75  # rls2101.rel NDRPDR iter env 6
1192         - 76  # rls2101.rel NDRPDR iter env 6
1193         - 77  # rls2101.rel NDRPDR iter env 6
1194         - 82  # rls2101.rel NDRPDR iter env 6
1195         - 85  # rls2101.rel NDRPDR iter env 6
1196         - 86  # rls2101.rel NDRPDR iter env 6
1197         - 94  # rls2101.rel NDRPDR iter env 6
1198         - 89  # rls2101.rel NDRPDR iter RND env 6
1199         - 90  # rls2101.rel NDRPDR iter RND env 6
1200         - 91  # rls2101.rel NDRPDR iter RND env 6
1201         - 92  # rls2101.rel NDRPDR iter RND env 6
1202         - 93  # rls2101.rel NDRPDR iter RND env 6
1203         - 96  # rls2101.rel NDRPDR iter RND env 6
1204         - 98  # rls2101.rel NDRPDR iter RND env 6
1205         - 99  # rls2101.rel NDRPDR iter RND env 6
1206         - 101 # rls2101.rel NDRPDR iter RND env 6
1207         - 102 # rls2101.rel NDRPDR iter RND env 6
1208         - 116 # rls2101.rel NDRPDR iter NAT env 6
1209         - 117 # rls2101.rel NDRPDR iter NAT env 6
1210         - 118 # rls2101.rel NDRPDR iter NAT env 6
1211         - 119 # rls2101.rel NDRPDR iter NAT env 6
1212         - 120 # rls2101.rel NDRPDR iter NAT env 6
1213         - 121 # rls2101.rel NDRPDR iter NAT env 6
1214         - 122 # rls2101.rel NDRPDR iter NAT env 6
1215         - 123 # rls2101.rel NDRPDR iter NAT env 6
1216         - 124 # rls2101.rel NDRPDR iter NAT env 6
1217         - 125 # rls2101.rel NDRPDR iter NAT env 6
1218
1219     vpp-performance-changes-2n-clx-h1:
1220       csit-vpp-perf-report-iterative-2009-2n-clx:
1221         - 13  # rls2005 NDRPDR iter env 5
1222         - 15  # rls2005 NDRPDR iter env 5
1223         - 17  # rls2005 NDRPDR iter env 5
1224         - 18  # rls2005 NDRPDR iter env 5
1225         - 19  # rls2005 NDRPDR iter env 5
1226         - 20  # rls2005 NDRPDR iter env 5
1227         - 21  # rls2005 NDRPDR iter env 5
1228         - 22  # rls2005 NDRPDR iter env 5
1229         - 23  # rls2005 NDRPDR iter env 5
1230         - 24  # rls2005 NDRPDR iter env 5
1231     vpp-performance-changes-2n-clx-ref-env-old:
1232       csit-vpp-perf-report-iterative-2009-2n-clx:
1233         - 36  # rls2009 NDRPDR iter env 5
1234         - 39  # rls2009 NDRPDR iter env 5
1235         - 40  # rls2009 NDRPDR iter env 5
1236         - 65  # rls2009 NDRPDR iter env 5
1237         - 66  # rls2009 NDRPDR iter env 5
1238         - 79  # rls2009 NDRPDR iter env 5
1239         - 82  # rls2009 NDRPDR iter env 5
1240         - 88  # rls2009 NDRPDR iter env 5
1241         - 89  # rls2009 NDRPDR iter env 5
1242         - 90  # rls2009 NDRPDR iter env 5
1243         - 114 # rls2009 NDRPDR iter NAT44 env 5
1244         - 115 # rls2009 NDRPDR iter NAT44 env 5
1245         - 116 # rls2009 NDRPDR iter NAT44 env 5
1246         - 117 # rls2009 NDRPDR iter NAT44 env 5
1247         - 118 # rls2009 NDRPDR iter NAT44 env 5
1248         - 119 # rls2009 NDRPDR iter NAT44 env 5
1249         - 121 # rls2009 NDRPDR iter NAT44 env 5
1250         - 122 # rls2009 NDRPDR iter NAT44 env 5
1251         - 123 # rls2009 NDRPDR iter NAT44 env 5
1252         - 126 # rls2009 NDRPDR iter NAT44 env 5
1253     vpp-performance-changes-2n-clx-ref-env-new:
1254       csit-vpp-perf-report-iterative-2101-2n-clx:
1255         - 16  # rls2009 NDRPDR iter env 6
1256         - 17  # rls2009 NDRPDR iter env 6
1257         - 18  # rls2009 NDRPDR iter env 6
1258         - 19  # rls2009 NDRPDR iter env 6
1259         - 20  # rls2009 NDRPDR iter env 6
1260         - 21  # rls2009 NDRPDR iter env 6
1261         - 32  # rls2009 NDRPDR iter env 6
1262         - 33  # rls2009 NDRPDR iter env 6
1263         - 34  # rls2009 NDRPDR iter env 6
1264         - 35  # rls2009 NDRPDR iter env 6
1265         - 146 # rls2009 NDRPDR MLX iter env 6
1266         - 147 # rls2009 NDRPDR MLX iter env 6
1267         - 148 # rls2009 NDRPDR MLX iter env 6
1268         - 149 # rls2009 NDRPDR MLX iter env 6
1269     vpp-performance-changes-2n-clx-cmp:
1270       csit-vpp-perf-report-iterative-2101-2n-clx:
1271         - 54  # rls2101.rel NDRPDR iter env 6
1272         - 59  # rls2101.rel NDRPDR iter env 6
1273         - 60  # rls2101.rel NDRPDR iter env 6
1274         - 63  # rls2101.rel NDRPDR iter env 6
1275         - 66  # rls2101.rel NDRPDR iter env 6
1276         - 68  # rls2101.rel NDRPDR iter env 6
1277         - 73  # rls2101.rel NDRPDR iter env 6
1278         - 75  # rls2101.rel NDRPDR iter env 6
1279         - 86  # rls2101.rel NDRPDR iter env 6
1280         - 90  # rls2101.rel NDRPDR iter env 6
1281         - 80  # rls2101.rel NDRPDR iter RND env 6
1282         - 87  # rls2101.rel NDRPDR iter RND env 6
1283         - 91  # rls2101.rel NDRPDR iter RND env 6
1284         - 92  # rls2101.rel NDRPDR iter RND env 6
1285         - 93  # rls2101.rel NDRPDR iter RND env 6
1286         - 94  # rls2101.rel NDRPDR iter RND env 6
1287         - 95  # rls2101.rel NDRPDR iter RND env 6
1288         - 100 # rls2101.rel NDRPDR iter RND env 6
1289         - 106 # rls2101.rel NDRPDR iter RND env 6
1290         - 108 # rls2101.rel NDRPDR iter RND env 6
1291         - 112 # rls2101.rel NDRPDR iter NAT env 6
1292         - 113 # rls2101.rel NDRPDR iter NAT env 6
1293         - 114 # rls2101.rel NDRPDR iter NAT env 6
1294         - 115 # rls2101.rel NDRPDR iter NAT env 6
1295         - 116 # rls2101.rel NDRPDR iter NAT env 6
1296         - 117 # rls2101.rel NDRPDR iter NAT env 6
1297         - 118 # rls2101.rel NDRPDR iter NAT env 6
1298         - 119 # rls2101.rel NDRPDR iter NAT env 6
1299         - 120 # rls2101.rel NDRPDR iter NAT env 6
1300         - 121 # rls2101.rel NDRPDR iter NAT env 6
1301         - 122 # rls2101.rel NDRPDR iter MLX env 6
1302         - 123 # rls2101.rel NDRPDR iter MLX env 6
1303         - 124 # rls2101.rel NDRPDR iter MLX env 6
1304         - 126 # rls2101.rel NDRPDR iter MLX env 6
1305         - 127 # rls2101.rel NDRPDR iter MLX env 6
1306         - 128 # rls2101.rel NDRPDR iter MLX env 6
1307         - 129 # rls2101.rel NDRPDR iter MLX env 6
1308         - 130 # rls2101.rel NDRPDR iter MLX env 6
1309         - 131 # rls2101.rel NDRPDR iter MLX env 6
1310         - 132 # rls2101.rel NDRPDR iter MLX env 6
1311
1312     vpp-performance-changes-2n-zn2-ref-env-old:
1313       csit-vpp-perf-report-iterative-2009-2n-zn2:
1314         - 17  # rls2009 NDRPDR iter env 5
1315         - 18  # rls2009 NDRPDR iter env 5
1316         - 31  # rls2009 NDRPDR iter env 5
1317         - 33  # rls2009 NDRPDR iter env 5
1318         - 34  # rls2009 NDRPDR iter env 5
1319     vpp-performance-changes-2n-zn2-ref-env-new:
1320       csit-vpp-perf-report-iterative-2101-2n-zn2:
1321         - 9   # rls2009 NDRPDR iter env 6
1322         - 10  # rls2009 NDRPDR iter env 6
1323         - 11  # rls2009 NDRPDR iter env 6
1324         - 12  # rls2009 NDRPDR iter env 6
1325         - 13  # rls2009 NDRPDR iter env 6
1326         - 20  # rls2009 NDRPDR iter env 6
1327         - 21  # rls2009 NDRPDR iter env 6
1328         - 22  # rls2009 NDRPDR iter env 6
1329         - 25  # rls2009 NDRPDR iter env 6
1330         - 26  # rls2009 NDRPDR iter env 6
1331     vpp-performance-changes-2n-zn2-cmp:
1332       csit-vpp-perf-report-iterative-2101-2n-zn2:
1333         - 31  # rls2101.rel NDRPDR iter env 6
1334         - 32  # rls2101.rel NDRPDR iter env 6
1335         - 33  # rls2101.rel NDRPDR iter env 6
1336         - 34  # rls2101.rel NDRPDR iter env 6
1337         - 35  # rls2101.rel NDRPDR iter env 6
1338         - 36  # rls2101.rel NDRPDR iter env 6
1339         - 37  # rls2101.rel NDRPDR iter env 6
1340         - 38  # rls2101.rel NDRPDR iter env 6
1341         - 44  # rls2101.rel NDRPDR iter env 6
1342         - 49  # rls2101.rel NDRPDR iter env 6
1343         - 39  # rls2101.rel NDRPDR iter RND env 6
1344         - 40  # rls2101.rel NDRPDR iter RND env 6
1345         - 41  # rls2101.rel NDRPDR iter RND env 6
1346         - 42  # rls2101.rel NDRPDR iter RND env 6
1347         - 43  # rls2101.rel NDRPDR iter RND env 6
1348         - 45  # rls2101.rel NDRPDR iter RND env 6
1349         - 48  # rls2101.rel NDRPDR iter RND env 6
1350         - 50  # rls2101.rel NDRPDR iter RND env 6
1351         - 51  # rls2101.rel NDRPDR iter RND env 6
1352         - 52  # rls2101.rel NDRPDR iter RND env 6
1353
1354     vpp-performance-changes-2n-dnv-h1:
1355       csit-vpp-perf-report-iterative-2009-2n-dnv:
1356         - 16  # rls2005 NDRPDR iter env 5
1357         - 17  # rls2005 NDRPDR iter env 5
1358         - 18  # rls2005 NDRPDR iter env 5
1359         - 19  # rls2005 NDRPDR iter env 5
1360         - 21  # rls2005 NDRPDR iter env 5
1361         - 24  # rls2005 NDRPDR iter env 5
1362         - 27  # rls2005 NDRPDR iter env 5
1363         - 28  # rls2005 NDRPDR iter env 5
1364         - 29  # rls2005 NDRPDR iter env 5
1365         - 30  # rls2005 NDRPDR iter env 5
1366     vpp-performance-changes-2n-dnv-ref-env-old:
1367       csit-vpp-perf-report-iterative-2009-2n-dnv:
1368         - 3   # rls2009 NDRPDR iter env 5
1369         - 5   # rls2009 NDRPDR iter env 5
1370         - 6   # rls2009 NDRPDR iter env 5
1371         - 7   # rls2009 NDRPDR iter env 5
1372         - 9   # rls2009 NDRPDR iter env 5
1373         - 10  # rls2009 NDRPDR iter env 5
1374         - 11  # rls2009 NDRPDR iter env 5
1375         - 12  # rls2009 NDRPDR iter env 5
1376         - 14  # rls2009 NDRPDR iter env 5
1377         - 15  # rls2009 NDRPDR iter env 5
1378     vpp-performance-changes-2n-dnv-ref-env-new:
1379       # TODO: Re-test in new env
1380       csit-vpp-perf-report-iterative-2009-2n-dnv:
1381         - 3   # rls2009 NDRPDR iter env 5
1382         - 5   # rls2009 NDRPDR iter env 5
1383         - 6   # rls2009 NDRPDR iter env 5
1384         - 7   # rls2009 NDRPDR iter env 5
1385         - 9   # rls2009 NDRPDR iter env 5
1386         - 10  # rls2009 NDRPDR iter env 5
1387         - 11  # rls2009 NDRPDR iter env 5
1388         - 12  # rls2009 NDRPDR iter env 5
1389         - 14  # rls2009 NDRPDR iter env 5
1390         - 15  # rls2009 NDRPDR iter env 5
1391     vpp-performance-changes-2n-dnv-cmp:
1392       csit-vpp-perf-report-iterative-2101-2n-dnv:
1393         - 32  # rls2101.rel NDRPDR iter env 6
1394         - 33  # rls2101.rel NDRPDR iter env 6
1395         - 34  # rls2101.rel NDRPDR iter env 6
1396         - 35  # rls2101.rel NDRPDR iter env 6
1397         - 39  # rls2101.rel NDRPDR iter env 6
1398         - 41  # rls2101.rel NDRPDR iter env 6
1399         - 42  # rls2101.rel NDRPDR iter env 6
1400         - 43  # rls2101.rel NDRPDR iter env 6
1401         - 44  # rls2101.rel NDRPDR iter env 6
1402         - 45  # rls2101.rel NDRPDR iter env 6
1403         - 46  # rls2101.rel NDRPDR iter RND env 6
1404         - 47  # rls2101.rel NDRPDR iter RND env 6
1405         - 48  # rls2101.rel NDRPDR iter RND env 6
1406         - 49  # rls2101.rel NDRPDR iter RND env 6
1407         - 50  # rls2101.rel NDRPDR iter RND env 6
1408         - 51  # rls2101.rel NDRPDR iter RND env 6
1409         - 52  # rls2101.rel NDRPDR iter RND env 6
1410         - 53  # rls2101.rel NDRPDR iter RND env 6
1411         - 54  # rls2101.rel NDRPDR iter RND env 6
1412         - 55  # rls2101.rel NDRPDR iter RND env 6
1413
1414     vpp-performance-changes-3n-dnv-h1:
1415       csit-vpp-perf-report-iterative-2009-3n-dnv:
1416         - 16  # rls2005 NDRPDR iter env 5
1417         - 23  # rls2005 NDRPDR iter env 5
1418         - 25  # rls2005 NDRPDR iter env 5
1419         - 26  # rls2005 NDRPDR iter env 5
1420         - 27  # rls2005 NDRPDR iter env 5
1421         - 28  # rls2005 NDRPDR iter env 5
1422         - 29  # rls2005 NDRPDR iter env 5
1423         - 30  # rls2005 NDRPDR iter env 5
1424         - 31  # rls2005 NDRPDR iter env 5
1425         - 32  # rls2005 NDRPDR iter env 5
1426     vpp-performance-changes-3n-dnv-ref-env-old:
1427       csit-vpp-perf-report-iterative-2009-3n-dnv:
1428         - 3   # rls2009 NDRPDR iter env 5
1429         - 6   # rls2009 NDRPDR iter env 5
1430         - 7   # rls2009 NDRPDR iter env 5
1431         - 8   # rls2009 NDRPDR iter env 5
1432         - 10  # rls2009 NDRPDR iter env 5
1433         - 11  # rls2009 NDRPDR iter env 5
1434         - 12  # rls2009 NDRPDR iter env 5
1435         - 14  # rls2009 NDRPDR iter env 5
1436         - 15  # rls2009 NDRPDR iter env 5
1437         - 24  # rls2009 NDRPDR iter env 5
1438     vpp-performance-changes-3n-dnv-ref-env-new:
1439       # TODO: Re-test in new env
1440       csit-vpp-perf-report-iterative-2009-3n-dnv:
1441         - 3   # rls2009 NDRPDR iter env 5
1442         - 6   # rls2009 NDRPDR iter env 5
1443         - 7   # rls2009 NDRPDR iter env 5
1444         - 8   # rls2009 NDRPDR iter env 5
1445         - 10  # rls2009 NDRPDR iter env 5
1446         - 11  # rls2009 NDRPDR iter env 5
1447         - 12  # rls2009 NDRPDR iter env 5
1448         - 14  # rls2009 NDRPDR iter env 5
1449         - 15  # rls2009 NDRPDR iter env 5
1450         - 24  # rls2009 NDRPDR iter env 5
1451     vpp-performance-changes-3n-dnv-cmp:
1452       csit-vpp-perf-report-iterative-2101-3n-dnv:
1453         - 33  # rls2101.rel NDRPDR iter env 6
1454         - 34  # rls2101.rel NDRPDR iter env 6
1455         - 35  # rls2101.rel NDRPDR iter env 6
1456         - 36  # rls2101.rel NDRPDR iter env 6
1457         - 37  # rls2101.rel NDRPDR iter env 6
1458         - 38  # rls2101.rel NDRPDR iter env 6
1459         - 39  # rls2101.rel NDRPDR iter env 6
1460         - 40  # rls2101.rel NDRPDR iter env 6
1461         - 41  # rls2101.rel NDRPDR iter env 6
1462         - 42  # rls2101.rel NDRPDR iter env 6
1463         - 43  # rls2101.rel NDRPDR iter RND env 6
1464         - 44  # rls2101.rel NDRPDR iter RND env 6
1465         - 45  # rls2101.rel NDRPDR iter RND env 6
1466         - 46  # rls2101.rel NDRPDR iter RND env 6
1467         - 47  # rls2101.rel NDRPDR iter RND env 6
1468         - 48  # rls2101.rel NDRPDR iter RND env 6
1469         - 49  # rls2101.rel NDRPDR iter RND env 6
1470         - 50  # rls2101.rel NDRPDR iter RND env 6
1471         - 51  # rls2101.rel NDRPDR iter RND env 6
1472         - 52  # rls2101.rel NDRPDR iter RND env 6
1473
1474     vpp-performance-changes-3n-tsh-h1:
1475       csit-vpp-perf-report-iterative-2009-3n-tsh:
1476         - 8   # rls2005 NDRPDR iter env 5
1477         - 11  # rls2005 NDRPDR iter env 5
1478         - 12  # rls2005 NDRPDR iter env 5
1479         - 24  # rls2005 NDRPDR iter env 5
1480         - 27  # rls2005 NDRPDR iter env 5
1481         - 29  # rls2005 NDRPDR iter env 5
1482         - 31  # rls2005 NDRPDR iter env 5
1483         - 39  # rls2005 NDRPDR iter env 5
1484         - 40  # rls2005 NDRPDR iter env 5
1485         - 42  # rls2005 NDRPDR iter env 5
1486     vpp-performance-changes-3n-tsh-ref-env-old:
1487       csit-vpp-perf-report-iterative-2009-3n-tsh:
1488         - 14  # rls2009 NDRPDR iter env 5
1489         - 20  # rls2009 NDRPDR iter env 5
1490         - 21  # rls2009 NDRPDR iter env 5
1491         - 22  # rls2009 NDRPDR iter env 5
1492         - 23  # rls2009 NDRPDR iter env 5
1493         - 28  # rls2009 NDRPDR iter env 5
1494         - 30  # rls2009 NDRPDR iter env 5
1495         - 33  # rls2009 NDRPDR iter env 5
1496         - 38  # rls2009 NDRPDR iter env 5
1497         - 41  # rls2009 NDRPDR iter env 5
1498     vpp-performance-changes-3n-tsh-ref-env-new:
1499       csit-vpp-perf-report-iterative-2101-3n-tsh:
1500         - 8   # rls2009 NDRPDR iter env 6
1501         - 13  # rls2009 NDRPDR iter env 6
1502         - 14  # rls2009 NDRPDR iter env 6
1503         - 15  # rls2009 NDRPDR iter env 6
1504         - 16  # rls2009 NDRPDR iter env 6
1505         - 17  # rls2009 NDRPDR iter env 6
1506         - 18  # rls2009 NDRPDR iter env 6
1507         - 19  # rls2009 NDRPDR iter env 6
1508         - 21  # rls2009 NDRPDR iter env 6
1509     vpp-performance-changes-3n-tsh-cmp:
1510       csit-vpp-perf-report-iterative-2101-3n-tsh:
1511         - 23  # rls2101.rel NDRPDR iter env 6
1512         - 24  # rls2101.rel NDRPDR iter env 6
1513         - 25  # rls2101.rel NDRPDR iter env 6
1514         - 26  # rls2101.rel NDRPDR iter env 6
1515         - 27  # rls2101.rel NDRPDR iter env 6
1516         - 28  # rls2101.rel NDRPDR iter env 6
1517         - 29  # rls2101.rel NDRPDR iter env 6
1518         - 30  # rls2101.rel NDRPDR iter env 6
1519         - 31  # rls2101.rel NDRPDR iter env 6
1520         - 32  # rls2101.rel NDRPDR iter env 6
1521
1522 #     vpp-performance-changes-2n-tx2-h1:
1523 #       csit-vpp-perf-report-iterative-2009-2n-tx2:
1524 #         -
1525 #     vpp-performance-changes-2n-tx2-ref-env-old:
1526 #       csit-vpp-perf-report-iterative-2009-2n-tx2:
1527 #         -
1528     vpp-performance-changes-2n-tx2-ref-env-new:
1529       csit-vpp-perf-report-iterative-2101-2n-tx2:
1530         - 6   # rls2009 NDRPDR iter env 6
1531         - 7   # rls2009 NDRPDR iter env 6
1532         - 11  # rls2009 NDRPDR iter env 6
1533         - 12  # rls2009 NDRPDR iter env 6
1534         - 13  # rls2009 NDRPDR iter env 6
1535         - 16  # rls2009 NDRPDR iter env 6
1536         - 17  # rls2009 NDRPDR iter env 6
1537         - 18  # rls2009 NDRPDR iter env 6
1538         - 19  # rls2009 NDRPDR iter env 6
1539         - 20  # rls2009 NDRPDR iter env 6
1540     vpp-performance-changes-2n-tx2-cmp:
1541       csit-vpp-perf-report-iterative-2101-2n-tx2:
1542         - 22  # rls2101.rel NDRPDR iter env 6
1543         - 23  # rls2101.rel NDRPDR iter env 6
1544         - 24  # rls2101.rel NDRPDR iter env 6
1545         - 25  # rls2101.rel NDRPDR iter env 6
1546         - 26  # rls2101.rel NDRPDR iter env 6
1547         - 27  # rls2101.rel NDRPDR iter env 6
1548         - 28  # rls2101.rel NDRPDR iter env 6
1549         - 29  # rls2101.rel NDRPDR iter env 6
1550         - 30  # rls2101.rel NDRPDR iter env 6
1551         - 31  # rls2101.rel NDRPDR iter env 6
1552
1553     vpp-soak-vs-ndr-2n-skx-ref:
1554       csit-vpp-perf-report-iterative-2101-2n-skx:
1555         - 63  # rls2101.rel NDRPDR iter env 6
1556         - 69  # rls2101.rel NDRPDR iter env 6
1557         - 70  # rls2101.rel NDRPDR iter env 6
1558         - 75  # rls2101.rel NDRPDR iter env 6
1559         - 76  # rls2101.rel NDRPDR iter env 6
1560         - 77  # rls2101.rel NDRPDR iter env 6
1561         - 82  # rls2101.rel NDRPDR iter env 6
1562         - 85  # rls2101.rel NDRPDR iter env 6
1563         - 86  # rls2101.rel NDRPDR iter env 6
1564         - 94  # rls2101.rel NDRPDR iter env 6
1565     vpp-soak-vs-ndr-2n-skx-cmp:
1566       csit-vpp-perf-report-iterative-2101-2n-skx:
1567         - 68  # rls2101.rel soak env 6
1568         - 73  # rls2101.rel soak env 6
1569     vpp-soak-vs-ndr-2n-skx:
1570       csit-vpp-perf-report-iterative-2101-2n-skx:
1571         - 63  # rls2101.rel NDRPDR iter env 6
1572         - 69  # rls2101.rel NDRPDR iter env 6
1573         - 70  # rls2101.rel NDRPDR iter env 6
1574         - 75  # rls2101.rel NDRPDR iter env 6
1575         - 76  # rls2101.rel NDRPDR iter env 6
1576         - 77  # rls2101.rel NDRPDR iter env 6
1577         - 82  # rls2101.rel NDRPDR iter env 6
1578         - 85  # rls2101.rel NDRPDR iter env 6
1579         - 86  # rls2101.rel NDRPDR iter env 6
1580         - 94  # rls2101.rel NDRPDR iter env 6
1581         - 68  # rls2101.rel soak env 6
1582         - 73  # rls2101.rel soak env 6
1583
1584     vpp-soak-vs-ndr-2n-clx-ref:
1585       csit-vpp-perf-report-iterative-2101-2n-clx:
1586         - 54  # rls2101.rel NDRPDR iter env 6
1587         - 59  # rls2101.rel NDRPDR iter env 6
1588         - 60  # rls2101.rel NDRPDR iter env 6
1589         - 63  # rls2101.rel NDRPDR iter env 6
1590         - 66  # rls2101.rel NDRPDR iter env 6
1591         - 68  # rls2101.rel NDRPDR iter env 6
1592         - 73  # rls2101.rel NDRPDR iter env 6
1593         - 75  # rls2101.rel NDRPDR iter env 6
1594         - 86  # rls2101.rel NDRPDR iter env 6
1595         - 90  # rls2101.rel NDRPDR iter env 6
1596     vpp-soak-vs-ndr-2n-clx-cmp:
1597       csit-vpp-perf-report-iterative-2101-2n-clx:
1598         - 58  # rls2101.rel soak env 6
1599         - 61  # rls2101.rel soak env 6
1600     vpp-soak-vs-ndr-2n-clx:
1601       csit-vpp-perf-report-iterative-2101-2n-clx:
1602         - 54  # rls2101.rel NDRPDR iter env 6
1603         - 59  # rls2101.rel NDRPDR iter env 6
1604         - 60  # rls2101.rel NDRPDR iter env 6
1605         - 63  # rls2101.rel NDRPDR iter env 6
1606         - 66  # rls2101.rel NDRPDR iter env 6
1607         - 68  # rls2101.rel NDRPDR iter env 6
1608         - 73  # rls2101.rel NDRPDR iter env 6
1609         - 75  # rls2101.rel NDRPDR iter env 6
1610         - 86  # rls2101.rel NDRPDR iter env 6
1611         - 90  # rls2101.rel NDRPDR iter env 6
1612         - 58  # rls2101.rel soak env 6
1613         - 61  # rls2101.rel soak env 6
1614
1615     vpp-performance-changes-3n-hsw-mrr-h1:
1616       csit-vpp-perf-report-iterative-2009-3n-hsw:
1617         - 18  # rls2005 MRR iter env 5
1618     vpp-performance-changes-3n-hsw-mrr-ref-env-old:
1619       csit-vpp-perf-report-iterative-2009-3n-hsw:
1620         - 23  # rls2009 MRR iter env 5
1621     vpp-performance-changes-3n-hsw-mrr-ref-env-new:
1622       csit-vpp-perf-report-iterative-2101-3n-hsw:
1623         - 17  # rls2009 MRR iter env 6
1624     vpp-performance-changes-3n-hsw-mrr-cmp:
1625       csit-vpp-perf-report-iterative-2101-3n-hsw:
1626         - 63  # rls2101.rel MRR iter env 6
1627
1628     vpp-performance-changes-3n-skx-mrr-h1:
1629       csit-vpp-perf-report-iterative-2009-3n-skx:
1630         - 17  # rls2005 MRR iter env 5
1631     vpp-performance-changes-3n-skx-mrr-ref-env-old:
1632       csit-vpp-perf-report-iterative-2009-3n-skx:
1633         - 24  # rls2009 MRR iter env 5
1634     vpp-performance-changes-3n-skx-mrr-ref-env-new:
1635       csit-vpp-perf-report-iterative-2101-3n-skx:
1636         - 34  # rls2009 MRR iter env 6
1637     vpp-performance-changes-3n-skx-mrr-cmp:
1638       csit-vpp-perf-report-iterative-2101-3n-skx:
1639         - 35  # rls2101.rel MRR iter env 6
1640
1641     vpp-performance-changes-2n-skx-mrr-h1:
1642       csit-vpp-perf-report-iterative-2009-2n-skx:
1643         - 20  # rls2005 MRR iter env 5
1644     vpp-performance-changes-2n-skx-mrr-ref-env-old:
1645       csit-vpp-perf-report-iterative-2009-2n-skx:
1646         - 120 # rls2009 MRR iter env 5
1647     vpp-performance-changes-2n-skx-mrr-ref-env-new:
1648       csit-vpp-perf-report-iterative-2101-2n-skx:
1649         - 21  # rls2009 MRR iter env 6
1650     vpp-performance-changes-2n-skx-mrr-cmp:
1651       csit-vpp-perf-report-iterative-2101-2n-skx:
1652         - 62  # rls2101.rel MRR iter env 6
1653
1654     vpp-performance-changes-2n-clx-mrr-h1:
1655       csit-vpp-perf-report-iterative-2009-2n-clx:
1656         - 77  # rls2005 MRR iter env 5
1657     vpp-performance-changes-2n-clx-mrr-ref-env-old:
1658       csit-vpp-perf-report-iterative-2009-2n-clx:
1659         - 125 # rls2009 MRR iter env 5
1660     vpp-performance-changes-2n-clx-mrr-ref-env-new:
1661       csit-vpp-perf-report-iterative-2101-2n-clx:
1662         - 15  # rls2009 MRR iter env 6
1663         - 142 # rls2009 MRR MLX iter env 6
1664     vpp-performance-changes-2n-clx-mrr-cmp:
1665       csit-vpp-perf-report-iterative-2101-2n-clx:
1666         - 53  # rls2101.rel MRR iter env 6
1667         - 133 # rls2101.rel MRR MLX iter env 6
1668
1669     vpp-performance-changes-2n-zn2-mrr-ref-env-old:
1670       csit-vpp-perf-report-iterative-2009-2n-zn2:
1671         - 15  # rls2009 MRR iter env 5
1672     vpp-performance-changes-2n-zn2-mrr-ref-env-new:
1673       csit-vpp-perf-report-iterative-2101-2n-zn2:
1674         - 8   # rls2009 MRR iter env6
1675     vpp-performance-changes-2n-zn2-mrr-cmp:
1676       csit-vpp-perf-report-iterative-2101-2n-zn2:
1677         - 30  # rls2101.rel MRR iter env 6
1678
1679     vpp-performance-changes-2n-dnv-mrr-h1:
1680       csit-vpp-perf-report-iterative-2009-2n-dnv:
1681         - 23  # rls2005 MRR iter env 5
1682     vpp-performance-changes-2n-dnv-mrr-ref-env-old:
1683       csit-vpp-perf-report-iterative-2009-2n-dnv:
1684         - 13  # rls2009 MRR iter env 5
1685     vpp-performance-changes-2n-dnv-mrr-ref-env-new:
1686       # TODO: Re-test in new env
1687       csit-vpp-perf-report-iterative-2009-2n-dnv:
1688         - 13  # rls2009 MRR iter env 5
1689     vpp-performance-changes-2n-dnv-mrr-cmp:
1690       csit-vpp-perf-report-iterative-2101-2n-dnv:
1691         - 31  # rls2101.rel MRR iter env 6
1692
1693     vpp-performance-changes-3n-dnv-mrr-h1:
1694       csit-vpp-perf-report-iterative-2009-3n-dnv:
1695         - 19  # rls2005 MRR iter env 5
1696     vpp-performance-changes-3n-dnv-mrr-ref-env-old:
1697       csit-vpp-perf-report-iterative-2009-3n-dnv:
1698         - 22  # rls2009 MRR iter env 5
1699     vpp-performance-changes-3n-dnv-mrr-ref-env-new:
1700       # TODO: Re-test in new env
1701       csit-vpp-perf-report-iterative-2009-3n-dnv:
1702         - 22  # rls2009 MRR iter env 5
1703     vpp-performance-changes-3n-dnv-mrr-cmp:
1704       csit-vpp-perf-report-iterative-2101-3n-dnv:
1705         - 32  # rls2101.rel MRR iter env 6
1706
1707     vpp-performance-changes-3n-tsh-mrr-h1:
1708       csit-vpp-perf-report-iterative-2009-3n-tsh:
1709         - 13  # rls2005 MRR iter env 5
1710     vpp-performance-changes-3n-tsh-mrr-ref-env-old:
1711       csit-vpp-perf-report-iterative-2009-3n-tsh:
1712         - 15  # rls2009 MRR iter env 5
1713     vpp-performance-changes-3n-tsh-mrr-ref-env-new:
1714       csit-vpp-perf-report-iterative-2101-3n-tsh:
1715         - 7   # rls2009 MRR iter env 6
1716     vpp-performance-changes-3n-tsh-mrr-cmp:
1717       csit-vpp-perf-report-iterative-2101-3n-tsh:
1718         - 22  # rls2101.rel MRR iter env 6
1719
1720 #     vpp-performance-changes-2n-tx2-mrr-h1:
1721 #       csit-vpp-perf-report-iterative-2009-2n-tx2:
1722 #         -
1723 #     vpp-performance-changes-2n-tx2-mrr-ref-env-old:
1724 #       csit-vpp-perf-report-iterative-2009-2n-tx2:
1725 #         -
1726     vpp-performance-changes-2n-tx2-mrr-ref-env-new:
1727       csit-vpp-perf-report-iterative-2101-2n-tx2:
1728         - 5   # rls2009 MRR iter env 6
1729     vpp-performance-changes-2n-tx2-mrr-cmp:
1730       csit-vpp-perf-report-iterative-2101-2n-tx2:
1731         - 21  # rls2101.rel MRR iter env 6
1732
1733     dpdk-performance-changes-3n-hsw-h1:
1734       csit-dpdk-perf-report-iterative-2005-3n-hsw:
1735         - 25  # NDRPDR iter
1736         - 26  # NDRPDR iter
1737         - 27  # NDRPDR iter
1738         - 28  # NDRPDR iter
1739         - 29  # NDRPDR iter
1740         - 30  # NDRPDR iter
1741         - 31  # NDRPDR iter
1742         - 32  # NDRPDR iter
1743         - 33  # NDRPDR iter
1744         - 34  # NDRPDR iter
1745     dpdk-performance-changes-3n-hsw-ref:
1746       csit-dpdk-perf-report-iterative-2009-3n-hsw:
1747         - 6   # NDRPDR iter env5
1748         - 7   # NDRPDR iter env5
1749         - 8   # NDRPDR iter env5
1750         - 9   # NDRPDR iter env5
1751         - 10  # NDRPDR iter env5
1752         - 11  # NDRPDR iter env5
1753         - 12  # NDRPDR iter env5
1754         - 13  # NDRPDR iter env5
1755         - 14  # NDRPDR iter env5
1756         - 15  # NDRPDR iter env5
1757     dpdk-performance-changes-3n-hsw-cmp:
1758       csit-dpdk-perf-report-iterative-2101-3n-hsw:
1759         - 11  # rls2101 NDRPDR iter env 6
1760         - 12  # rls2101 NDRPDR iter env 6
1761         - 13  # rls2101 NDRPDR iter env 6
1762         - 14  # rls2101 NDRPDR iter env 6
1763         - 16  # rls2101 NDRPDR iter env 6
1764         - 17  # rls2101 NDRPDR iter env 6
1765         - 18  # rls2101 NDRPDR iter env 6
1766         - 19  # rls2101 NDRPDR iter env 6
1767         - 20  # rls2101 NDRPDR iter env 6
1768         - 21  # rls2101 NDRPDR iter env 6
1769
1770     dpdk-performance-changes-3n-skx-h1:
1771       csit-dpdk-perf-report-iterative-2005-3n-skx:
1772         - 28  # NDRPDR iter
1773         - 29  # NDRPDR iter
1774         - 30  # NDRPDR iter
1775         - 31  # NDRPDR iter
1776         - 32  # NDRPDR iter
1777         - 33  # NDRPDR iter
1778         - 34  # NDRPDR iter
1779         - 35  # NDRPDR iter
1780         - 36  # NDRPDR iter
1781         - 37  # NDRPDR iter
1782     dpdk-performance-changes-3n-skx-ref:
1783       csit-dpdk-perf-report-iterative-2009-3n-skx:
1784         - 4   # NDRPDR sel env5
1785         - 5   # NDRPDR sel env5
1786         - 6   # NDRPDR sel env5
1787         - 7   # NDRPDR sel env5
1788         - 8   # NDRPDR sel env5
1789         - 9   # NDRPDR sel env5
1790         - 14  # NDRPDR sel env5
1791         - 11  # NDRPDR sel env5
1792         - 12  # NDRPDR sel env5
1793         - 13  # NDRPDR sel env5
1794     dpdk-performance-changes-3n-skx-cmp:
1795       csit-dpdk-perf-report-iterative-2101-3n-skx:
1796         - 12  # rls2101 NDRPDR iter env 6
1797         - 14  # rls2101 NDRPDR iter env 6
1798         - 15  # rls2101 NDRPDR iter env 6
1799         - 17  # rls2101 NDRPDR iter env 6
1800         - 19  # rls2101 NDRPDR iter env 6
1801         - 20  # rls2101 NDRPDR iter env 6
1802         - 21  # rls2101 NDRPDR iter env 6
1803         - 22  # rls2101 NDRPDR iter env 6
1804         - 25  # rls2101 NDRPDR iter env 6
1805         - 26  # rls2101 NDRPDR iter env 6
1806
1807     dpdk-performance-changes-2n-skx-h1:
1808       csit-dpdk-perf-report-iterative-2005-2n-skx:
1809         - 20  # NDRPDR iter
1810         - 21  # NDRPDR iter
1811         - 22  # NDRPDR iter
1812         - 23  # NDRPDR iter
1813         - 24  # NDRPDR iter
1814         - 25  # NDRPDR iter
1815         - 26  # NDRPDR iter
1816         - 27  # NDRPDR iter
1817         - 28  # NDRPDR iter
1818         - 29  # NDRPDR iter
1819     dpdk-performance-changes-2n-skx-ref:
1820       csit-dpdk-perf-report-iterative-2009-2n-skx:
1821         - 4   # NDRPDR iter env5
1822         - 5   # NDRPDR iter env5
1823         - 6   # NDRPDR iter env5
1824         - 7   # NDRPDR iter env5
1825         - 8   # NDRPDR iter env5
1826         - 9   # NDRPDR iter env5
1827         - 10  # NDRPDR iter env5
1828         - 11  # NDRPDR iter env5
1829         - 12  # NDRPDR iter env5
1830         - 13  # NDRPDR iter env5
1831     dpdk-performance-changes-2n-skx-cmp:
1832       csit-dpdk-perf-report-iterative-2101-2n-skx:
1833         - 11  # rls2101 NDRPDR iter env 6
1834         - 12  # rls2101 NDRPDR iter env 6
1835         - 13  # rls2101 NDRPDR iter env 6
1836         - 14  # rls2101 NDRPDR iter env 6
1837         - 15  # rls2101 NDRPDR iter env 6
1838         - 17  # rls2101 NDRPDR iter env 6
1839         - 18  # rls2101 NDRPDR iter env 6
1840         - 19  # rls2101 NDRPDR iter env 6
1841         - 20  # rls2101 NDRPDR iter env 6
1842         - 21  # rls2101 NDRPDR iter env 6
1843
1844     dpdk-performance-changes-2n-clx-h1:
1845       csit-dpdk-perf-report-iterative-2005-2n-clx:
1846         - 20  # NDRPDR iter
1847         - 21  # NDRPDR iter
1848         - 22  # NDRPDR iter
1849         - 23  # NDRPDR iter
1850         - 24  # NDRPDR iter
1851         - 25  # NDRPDR iter
1852         - 26  # NDRPDR iter
1853         - 27  # NDRPDR iter
1854         - 28  # NDRPDR iter
1855         - 29  # NDRPDR iter
1856     dpdk-performance-changes-2n-clx-ref:
1857       csit-dpdk-perf-report-iterative-2009-2n-clx:
1858         - 4   # NDRPDR iter env5
1859         - 5   # NDRPDR iter env5
1860         - 6   # NDRPDR iter env5
1861         - 7   # NDRPDR iter env5
1862         - 8   # NDRPDR iter env5
1863         - 9   # NDRPDR iter env5
1864         - 10  # NDRPDR iter env5
1865         - 11  # NDRPDR iter env5
1866         - 12  # NDRPDR iter env5
1867         - 13  # NDRPDR iter env5
1868     dpdk-performance-changes-2n-clx-cmp:
1869       csit-dpdk-perf-report-iterative-2101-2n-clx:
1870         - 12  # rls2101 NDRPDR iter env 6
1871         - 13  # rls2101 NDRPDR iter env 6
1872         - 14  # rls2101 NDRPDR iter env 6
1873         - 18  # rls2101 NDRPDR iter env 6
1874         - 22  # rls2101 NDRPDR iter env 6
1875
1876     dpdk-performance-changes-2n-zn2-ref:
1877       csit-dpdk-perf-report-iterative-2009-2n-zn2:
1878         - 16  # NDRPDR iter env5
1879         - 21  # NDRPDR iter env5
1880         - 22  # NDRPDR iter env5
1881         - 23  # NDRPDR iter env5
1882         - 24  # NDRPDR iter env5
1883         - 25  # NDRPDR iter env5
1884         - 29  # NDRPDR iter env5
1885     dpdk-performance-changes-2n-zn2-cmp:
1886       csit-dpdk-perf-report-iterative-2101-2n-zn2:
1887         - 11  # rls2101 NDRPDR iter env 6
1888         - 12  # rls2101 NDRPDR iter env 6
1889         - 13  # rls2101 NDRPDR iter env 6
1890         - 14  # rls2101 NDRPDR iter env 6
1891         - 16  # rls2101 NDRPDR iter env 6
1892         - 17  # rls2101 NDRPDR iter env 6
1893         - 18  # rls2101 NDRPDR iter env 6
1894         - 19  # rls2101 NDRPDR iter env 6
1895         - 20  # rls2101 NDRPDR iter env 6
1896         - 21  # rls2101 NDRPDR iter env 6
1897
1898 #    dpdk-performance-changes-2n-dnv-h1:
1899 #      csit-dpdk-perf-verify-2101-2n-dnv:
1900 #        - 9   # NDRPDR sel
1901 #        - 10  # NDRPDR sel
1902 #        - 11  # NDRPDR sel
1903 #        - 12  # NDRPDR sel
1904 #        - 13  # NDRPDR sel
1905 #        - 14  # NDRPDR sel
1906 #        - 15  # NDRPDR sel
1907 #        - 16  # NDRPDR sel
1908 #        - 17  # NDRPDR sel
1909 #        - 18  # NDRPDR sel
1910 #    dpdk-performance-changes-2n-dnv-ref:
1911 #      # No data
1912 #    dpdk-performance-changes-2n-dnv-cmp:
1913 #      # No data
1914 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
1915
1916 #    dpdk-performance-changes-3n-dnv-h1:
1917 #      csit-dpdk-perf-verify-2101-3n-dnv:
1918 #        - 12  # NDRPDR sel
1919 #        - 13  # NDRPDR sel
1920 #        - 14  # NDRPDR sel
1921 #        - 15  # NDRPDR sel
1922 #        - 16  # NDRPDR sel
1923 #        - 17  # NDRPDR sel
1924 #        - 18  # NDRPDR sel
1925 #        - 19  # NDRPDR sel
1926 #        - 20  # NDRPDR sel
1927 #        - 22  # NDRPDR sel
1928 #    dpdk-performance-changes-3n-dnv-ref:
1929 #      # No data
1930 #    dpdk-performance-changes-3n-dnv-cmp:
1931 #      # No data
1932 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
1933
1934     dpdk-performance-changes-3n-tsh-h1:
1935       csit-dpdk-perf-report-iterative-2005-3n-tsh:
1936         - 5   # NDRPDR sel
1937     dpdk-performance-changes-3n-tsh-ref:
1938       csit-dpdk-perf-report-iterative-2009-3n-tsh:
1939         - 1   # NDRPDR iter env5
1940         - 2   # NDRPDR iter env5
1941         - 3   # NDRPDR iter env5
1942         - 4   # NDRPDR iter env5
1943         - 5   # NDRPDR iter env5
1944         - 6   # NDRPDR iter env5
1945         - 7   # NDRPDR iter env5
1946         - 9   # NDRPDR iter env5
1947         - 10  # NDRPDR iter env5
1948         - 11  # NDRPDR iter env5
1949     dpdk-performance-changes-3n-tsh-cmp:
1950       csit-dpdk-perf-report-iterative-2101-3n-tsh:
1951         - 11  # rls2101 NDRPDR iter env 6
1952         - 12  # rls2101 NDRPDR iter env 6
1953         - 13  # rls2101 NDRPDR iter env 6
1954         - 14  # rls2101 NDRPDR iter env 6
1955         - 16  # rls2101 NDRPDR iter env 6
1956         - 17  # rls2101 NDRPDR iter env 6
1957         - 18  # rls2101 NDRPDR iter env 6
1958         - 19  # rls2101 NDRPDR iter env 6
1959         - 20  # rls2101 NDRPDR iter env 6
1960         - 21  # rls2101 NDRPDR iter env 6
1961
1962     # Compare testbeds
1963
1964     vpp-compare-testbeds-ref:
1965       csit-vpp-perf-report-iterative-2101-3n-hsw:
1966         - 64  # rls2101.rel NDRPDR iter env 6
1967         - 71  # rls2101.rel NDRPDR iter env 6
1968         - 73  # rls2101.rel NDRPDR iter env 6
1969         - 74  # rls2101.rel NDRPDR iter env 6
1970         - 80  # rls2101.rel NDRPDR iter env 6
1971         - 81  # rls2101.rel NDRPDR iter env 6
1972         - 82  # rls2101.rel NDRPDR iter env 6
1973         - 83  # rls2101.rel NDRPDR iter env 6
1974         - 88  # rls2101.rel NDRPDR iter env 6
1975         - 89  # rls2101.rel NDRPDR iter env 6
1976     vpp-compare-testbeds-cmp:
1977       csit-vpp-perf-report-iterative-2101-3n-skx:
1978         - 36  # rls2101.rel NDRPDR iter env 6
1979         - 37  # rls2101.rel NDRPDR iter env 6
1980         - 38  # rls2101.rel NDRPDR iter env 6
1981         - 39  # rls2101.rel NDRPDR iter env 6
1982         - 40  # rls2101.rel NDRPDR iter env 6
1983         - 41  # rls2101.rel NDRPDR iter env 6
1984         - 42  # rls2101.rel NDRPDR iter env 6
1985         - 47  # rls2101.rel NDRPDR iter env 6
1986         - 48  # rls2101.rel NDRPDR iter env 6
1987         - 50  # rls2101.rel NDRPDR iter env 6
1988
1989     vpp-compare-testbeds-skx-clx-ref:
1990       csit-vpp-perf-report-iterative-2101-2n-skx:
1991         - 63  # rls2101.rel NDRPDR iter env 6
1992         - 69  # rls2101.rel NDRPDR iter env 6
1993         - 70  # rls2101.rel NDRPDR iter env 6
1994         - 75  # rls2101.rel NDRPDR iter env 6
1995         - 76  # rls2101.rel NDRPDR iter env 6
1996         - 77  # rls2101.rel NDRPDR iter env 6
1997         - 82  # rls2101.rel NDRPDR iter env 6
1998         - 85  # rls2101.rel NDRPDR iter env 6
1999         - 86  # rls2101.rel NDRPDR iter env 6
2000         - 94  # rls2101.rel NDRPDR iter env 6
2001         - 89  # rls2101.rel NDRPDR iter RND env 6
2002         - 90  # rls2101.rel NDRPDR iter RND env 6
2003         - 91  # rls2101.rel NDRPDR iter RND env 6
2004         - 92  # rls2101.rel NDRPDR iter RND env 6
2005         - 93  # rls2101.rel NDRPDR iter RND env 6
2006         - 96  # rls2101.rel NDRPDR iter RND env 6
2007         - 98  # rls2101.rel NDRPDR iter RND env 6
2008         - 99  # rls2101.rel NDRPDR iter RND env 6
2009         - 101 # rls2101.rel NDRPDR iter RND env 6
2010         - 102 # rls2101.rel NDRPDR iter RND env 6
2011         - 116 # rls2101.rel NDRPDR iter NAT env 6
2012         - 117 # rls2101.rel NDRPDR iter NAT env 6
2013         - 118 # rls2101.rel NDRPDR iter NAT env 6
2014         - 119 # rls2101.rel NDRPDR iter NAT env 6
2015         - 120 # rls2101.rel NDRPDR iter NAT env 6
2016         - 121 # rls2101.rel NDRPDR iter NAT env 6
2017         - 122 # rls2101.rel NDRPDR iter NAT env 6
2018         - 123 # rls2101.rel NDRPDR iter NAT env 6
2019         - 124 # rls2101.rel NDRPDR iter NAT env 6
2020         - 125 # rls2101.rel NDRPDR iter NAT env 6
2021     vpp-compare-testbeds-skx-clx-cmp:
2022       csit-vpp-perf-report-iterative-2101-2n-clx:
2023         - 54  # rls2101.rel NDRPDR iter env 6
2024         - 59  # rls2101.rel NDRPDR iter env 6
2025         - 60  # rls2101.rel NDRPDR iter env 6
2026         - 63  # rls2101.rel NDRPDR iter env 6
2027         - 66  # rls2101.rel NDRPDR iter env 6
2028         - 68  # rls2101.rel NDRPDR iter env 6
2029         - 73  # rls2101.rel NDRPDR iter env 6
2030         - 75  # rls2101.rel NDRPDR iter env 6
2031         - 86  # rls2101.rel NDRPDR iter env 6
2032         - 90  # rls2101.rel NDRPDR iter env 6
2033         - 80  # rls2101.rel NDRPDR iter RND env 6
2034         - 87  # rls2101.rel NDRPDR iter RND env 6
2035         - 91  # rls2101.rel NDRPDR iter RND env 6
2036         - 92  # rls2101.rel NDRPDR iter RND env 6
2037         - 93  # rls2101.rel NDRPDR iter RND env 6
2038         - 94  # rls2101.rel NDRPDR iter RND env 6
2039         - 95  # rls2101.rel NDRPDR iter RND env 6
2040         - 100 # rls2101.rel NDRPDR iter RND env 6
2041         - 106 # rls2101.rel NDRPDR iter RND env 6
2042         - 108 # rls2101.rel NDRPDR iter RND env 6
2043         - 112 # rls2101.rel NDRPDR iter NAT env 6
2044         - 113 # rls2101.rel NDRPDR iter NAT env 6
2045         - 114 # rls2101.rel NDRPDR iter NAT env 6
2046         - 115 # rls2101.rel NDRPDR iter NAT env 6
2047         - 116 # rls2101.rel NDRPDR iter NAT env 6
2048         - 117 # rls2101.rel NDRPDR iter NAT env 6
2049         - 118 # rls2101.rel NDRPDR iter NAT env 6
2050         - 119 # rls2101.rel NDRPDR iter NAT env 6
2051         - 120 # rls2101.rel NDRPDR iter NAT env 6
2052         - 121 # rls2101.rel NDRPDR iter NAT env 6
2053         - 122 # rls2101.rel NDRPDR iter MLX env 6
2054         - 123 # rls2101.rel NDRPDR iter MLX env 6
2055         - 124 # rls2101.rel NDRPDR iter MLX env 6
2056         - 126 # rls2101.rel NDRPDR iter MLX env 6
2057         - 127 # rls2101.rel NDRPDR iter MLX env 6
2058         - 128 # rls2101.rel NDRPDR iter MLX env 6
2059         - 129 # rls2101.rel NDRPDR iter MLX env 6
2060         - 130 # rls2101.rel NDRPDR iter MLX env 6
2061         - 131 # rls2101.rel NDRPDR iter MLX env 6
2062         - 132 # rls2101.rel NDRPDR iter MLX env 6
2063
2064     vpp-compare-testbeds-hsw-clx-ref:
2065       csit-vpp-perf-report-iterative-2101-3n-hsw:
2066         - 64  # rls2101.rel NDRPDR iter env 6
2067         - 71  # rls2101.rel NDRPDR iter env 6
2068         - 73  # rls2101.rel NDRPDR iter env 6
2069         - 74  # rls2101.rel NDRPDR iter env 6
2070         - 80  # rls2101.rel NDRPDR iter env 6
2071         - 81  # rls2101.rel NDRPDR iter env 6
2072         - 82  # rls2101.rel NDRPDR iter env 6
2073         - 83  # rls2101.rel NDRPDR iter env 6
2074         - 88  # rls2101.rel NDRPDR iter env 6
2075         - 89  # rls2101.rel NDRPDR iter env 6
2076         - 128 # rls2101.rel NDRPDR iter RND env 6
2077         - 129 # rls2101.rel NDRPDR iter RND env 6
2078         - 130 # rls2101.rel NDRPDR iter RND env 6
2079         - 131 # rls2101.rel NDRPDR iter RND env 6
2080         - 132 # rls2101.rel NDRPDR iter RND env 6
2081         - 133 # rls2101.rel NDRPDR iter RND env 6
2082         - 134 # rls2101.rel NDRPDR iter RND env 6
2083         - 135 # rls2101.rel NDRPDR iter RND env 6
2084         - 136 # rls2101.rel NDRPDR iter RND env 6
2085         - 137 # rls2101.rel NDRPDR iter RND env 6
2086     vpp-compare-testbeds-hsw-clx-cmp:
2087       csit-vpp-perf-report-iterative-2101-2n-clx:
2088         - 54  # rls2101.rel NDRPDR iter env 6
2089         - 59  # rls2101.rel NDRPDR iter env 6
2090         - 60  # rls2101.rel NDRPDR iter env 6
2091         - 63  # rls2101.rel NDRPDR iter env 6
2092         - 66  # rls2101.rel NDRPDR iter env 6
2093         - 68  # rls2101.rel NDRPDR iter env 6
2094         - 73  # rls2101.rel NDRPDR iter env 6
2095         - 75  # rls2101.rel NDRPDR iter env 6
2096         - 90  # rls2101.rel NDRPDR iter env 6
2097         - 80  # rls2101.rel NDRPDR iter RND env 6
2098         - 87  # rls2101.rel NDRPDR iter RND env 6
2099         - 91  # rls2101.rel NDRPDR iter RND env 6
2100         - 92  # rls2101.rel NDRPDR iter RND env 6
2101         - 93  # rls2101.rel NDRPDR iter RND env 6
2102         - 94  # rls2101.rel NDRPDR iter RND env 6
2103         - 95  # rls2101.rel NDRPDR iter RND env 6
2104         - 100 # rls2101.rel NDRPDR iter RND env 6
2105         - 106 # rls2101.rel NDRPDR iter RND env 6
2106         - 108 # rls2101.rel NDRPDR iter RND env 6
2107         - 112 # rls2101.rel NDRPDR iter NAT env 6
2108         - 113 # rls2101.rel NDRPDR iter NAT env 6
2109         - 114 # rls2101.rel NDRPDR iter NAT env 6
2110         - 115 # rls2101.rel NDRPDR iter NAT env 6
2111         - 116 # rls2101.rel NDRPDR iter NAT env 6
2112         - 117 # rls2101.rel NDRPDR iter NAT env 6
2113         - 118 # rls2101.rel NDRPDR iter NAT env 6
2114         - 119 # rls2101.rel NDRPDR iter NAT env 6
2115         - 120 # rls2101.rel NDRPDR iter NAT env 6
2116         - 121 # rls2101.rel NDRPDR iter NAT env 6
2117         - 122 # rls2101.rel NDRPDR iter MLX env 6
2118         - 123 # rls2101.rel NDRPDR iter MLX env 6
2119         - 124 # rls2101.rel NDRPDR iter MLX env 6
2120         - 126 # rls2101.rel NDRPDR iter MLX env 6
2121         - 127 # rls2101.rel NDRPDR iter MLX env 6
2122         - 128 # rls2101.rel NDRPDR iter MLX env 6
2123         - 129 # rls2101.rel NDRPDR iter MLX env 6
2124         - 130 # rls2101.rel NDRPDR iter MLX env 6
2125         - 131 # rls2101.rel NDRPDR iter MLX env 6
2126         - 132 # rls2101.rel NDRPDR iter MLX env 6
2127
2128     vpp-compare-testbeds-mrr-ref:
2129       csit-vpp-perf-report-iterative-2101-3n-hsw:
2130         - 63  # rls2101.rel MRR iter env 6
2131     vpp-compare-testbeds-mrr-cmp:
2132       csit-vpp-perf-report-iterative-2101-3n-skx:
2133         - 35  # rls2101.rel MRR iter env 6
2134
2135     vpp-compare-testbeds-mrr-skx-clx-ref:
2136       csit-vpp-perf-report-iterative-2101-2n-skx:
2137         - 62  # rls2101.rel MRR iter env 6
2138     vpp-compare-testbeds-mrr-skx-clx-cmp:
2139       csit-vpp-perf-report-iterative-2101-2n-clx:
2140         - 53  # rls2101.rel MRR iter env 6
2141
2142     vpp-compare-testbeds-mrr-hsw-clx-ref:
2143       csit-vpp-perf-report-iterative-2101-3n-hsw:
2144         - 63  # rls2101.rel MRR iter env 6
2145     vpp-compare-testbeds-mrr-hsw-clx-cmp:
2146       csit-vpp-perf-report-iterative-2101-2n-clx:
2147         - 53  # rls2101.rel MRR iter env 6
2148
2149     dpdk-compare-testbeds-ref:
2150       csit-dpdk-perf-report-iterative-2101-3n-hsw:
2151         - 11  # rls2101 NDRPDR iter env 6
2152         - 12  # rls2101 NDRPDR iter env 6
2153         - 13  # rls2101 NDRPDR iter env 6
2154         - 14  # rls2101 NDRPDR iter env 6
2155         - 16  # rls2101 NDRPDR iter env 6
2156         - 17  # rls2101 NDRPDR iter env 6
2157         - 18  # rls2101 NDRPDR iter env 6
2158         - 19  # rls2101 NDRPDR iter env 6
2159         - 20  # rls2101 NDRPDR iter env 6
2160         - 21  # rls2101 NDRPDR iter env 6
2161     dpdk-compare-testbeds-cmp:
2162       csit-dpdk-perf-report-iterative-2101-3n-skx:
2163         - 12  # rls2101 NDRPDR iter env 6
2164         - 14  # rls2101 NDRPDR iter env 6
2165         - 15  # rls2101 NDRPDR iter env 6
2166         - 17  # rls2101 NDRPDR iter env 6
2167         - 19  # rls2101 NDRPDR iter env 6
2168         - 20  # rls2101 NDRPDR iter env 6
2169         - 21  # rls2101 NDRPDR iter env 6
2170         - 22  # rls2101 NDRPDR iter env 6
2171         - 25  # rls2101 NDRPDR iter env 6
2172         - 26  # rls2101 NDRPDR iter env 6
2173
2174     dpdk-compare-testbeds-skx-clx-ref:
2175       csit-dpdk-perf-report-iterative-2101-2n-skx:
2176         - 11  # rls2101 NDRPDR iter env 6
2177         - 12  # rls2101 NDRPDR iter env 6
2178         - 13  # rls2101 NDRPDR iter env 6
2179         - 14  # rls2101 NDRPDR iter env 6
2180         - 15  # rls2101 NDRPDR iter env 6
2181         - 17  # rls2101 NDRPDR iter env 6
2182         - 18  # rls2101 NDRPDR iter env 6
2183         - 19  # rls2101 NDRPDR iter env 6
2184         - 20  # rls2101 NDRPDR iter env 6
2185         - 21  # rls2101 NDRPDR iter env 6
2186     dpdk-compare-testbeds-skx-clx-cmp:
2187       csit-dpdk-perf-report-iterative-2101-2n-clx:
2188         - 12  # rls2101 NDRPDR iter env 6
2189         - 13  # rls2101 NDRPDR iter env 6
2190         - 14  # rls2101 NDRPDR iter env 6
2191         - 18  # rls2101 NDRPDR iter env 6
2192         - 22  # rls2101 NDRPDR iter env 6
2193
2194     # Compare topologies
2195
2196     vpp-compare-topologies-ref:
2197       csit-vpp-perf-report-iterative-2101-3n-skx:
2198         - 36  # rls2101.rel NDRPDR iter env 6
2199         - 37  # rls2101.rel NDRPDR iter env 6
2200         - 38  # rls2101.rel NDRPDR iter env 6
2201         - 39  # rls2101.rel NDRPDR iter env 6
2202         - 40  # rls2101.rel NDRPDR iter env 6
2203         - 41  # rls2101.rel NDRPDR iter env 6
2204         - 42  # rls2101.rel NDRPDR iter env 6
2205         - 47  # rls2101.rel NDRPDR iter env 6
2206         - 48  # rls2101.rel NDRPDR iter env 6
2207         - 50  # rls2101.rel NDRPDR iter env 6
2208     vpp-compare-topologies-cmp:
2209       csit-vpp-perf-report-iterative-2101-2n-skx:
2210         - 63  # rls2101.rel NDRPDR iter env 6
2211         - 69  # rls2101.rel NDRPDR iter env 6
2212         - 70  # rls2101.rel NDRPDR iter env 6
2213         - 75  # rls2101.rel NDRPDR iter env 6
2214         - 76  # rls2101.rel NDRPDR iter env 6
2215         - 77  # rls2101.rel NDRPDR iter env 6
2216         - 82  # rls2101.rel NDRPDR iter env 6
2217         - 85  # rls2101.rel NDRPDR iter env 6
2218         - 86  # rls2101.rel NDRPDR iter env 6
2219         - 94  # rls2101.rel NDRPDR iter env 6
2220
2221     vpp-compare-topologies-mrr-ref:
2222       csit-vpp-perf-report-iterative-2101-3n-skx:
2223         - 35  # rls2101.rel MRR iter env 6
2224     vpp-compare-topologies-mrr-cmp:
2225       csit-vpp-perf-report-iterative-2101-2n-skx:
2226         - 62  # rls2101.rel MRR iter env 6
2227
2228     dpdk-compare-topologies-ref:
2229       csit-dpdk-perf-report-iterative-2101-3n-skx:
2230         - 12  # rls2101 NDRPDR iter env 6
2231         - 14  # rls2101 NDRPDR iter env 6
2232         - 15  # rls2101 NDRPDR iter env 6
2233         - 17  # rls2101 NDRPDR iter env 6
2234         - 19  # rls2101 NDRPDR iter env 6
2235         - 20  # rls2101 NDRPDR iter env 6
2236         - 21  # rls2101 NDRPDR iter env 6
2237         - 22  # rls2101 NDRPDR iter env 6
2238         - 25  # rls2101 NDRPDR iter env 6
2239         - 26  # rls2101 NDRPDR iter env 6
2240     dpdk-compare-topologies-cmp:
2241       csit-dpdk-perf-report-iterative-2101-2n-skx:
2242         - 11  # rls2101 NDRPDR iter env 6
2243         - 12  # rls2101 NDRPDR iter env 6
2244         - 13  # rls2101 NDRPDR iter env 6
2245         - 14  # rls2101 NDRPDR iter env 6
2246         - 15  # rls2101 NDRPDR iter env 6
2247         - 17  # rls2101 NDRPDR iter env 6
2248         - 18  # rls2101 NDRPDR iter env 6
2249         - 19  # rls2101 NDRPDR iter env 6
2250         - 20  # rls2101 NDRPDR iter env 6
2251         - 21  # rls2101 NDRPDR iter env 6
2252
2253   plot-layouts:
2254
2255     plot-soak-throughput:
2256       titlefont:
2257         size: 16
2258       xaxis:
2259         title: "<b>Test Cases [Index]</b>"
2260         titlefont:
2261           size: 14
2262         autorange: True
2263         fixedrange: False
2264         gridcolor: "rgb(230, 230, 230)"
2265         linecolor: "rgb(220, 220, 220)"
2266         linewidth: 1
2267         showgrid: True
2268         showline: True
2269         showticklabels: True
2270         tickcolor: "rgb(220, 220, 220)"
2271         tickmode: "linear"
2272         tickfont:
2273           size: 14
2274         zeroline: False
2275       yaxis:
2276         title: "<b>Critical Rate Lower Bound [Mpps]</b>"
2277         titlefont:
2278           size: 14
2279         gridcolor: "rgb(230, 230, 230)"
2280         hoverformat: ".4r"
2281         tickformat: ".3r"
2282         linecolor: "rgb(220, 220, 220)"
2283         linewidth: 1
2284         showgrid: True
2285         showline: True
2286         showticklabels: True
2287         tickcolor: "rgb(220, 220, 220)"
2288         tickfont:
2289           size: 14
2290         zeroline: False
2291         range: [0,50]
2292       autosize: False
2293       margin:
2294         t: 50
2295         b: 0
2296         l: 80
2297         r: 20
2298       showlegend: True
2299       legend:
2300         orientation: "h"
2301         font:
2302           size: 14
2303       width: 700
2304       height: 900
2305       paper_bgcolor: "#fff"
2306       plot_bgcolor: "#fff"
2307       hoverlabel:
2308         namelength: -1
2309
2310     plot-service-density:
2311       titlefont:
2312         size: 16
2313       xaxis:
2314         side: "top"
2315         autorange: True
2316         fixedrange: False
2317         showgrid: False
2318         showline: False
2319         showticklabels: False
2320         ticks: ""
2321         ticklen: 0
2322         tickwidth: 0
2323         zeroline: False
2324       yaxis:
2325         autorange: "reversed"
2326         showgrid: False
2327         showline: False
2328         showticklabels: False
2329         ticks: ""
2330         ticklen: 0
2331         tickwidth: 0
2332         zeroline: False
2333       showlegend: False
2334       paper_bgcolor: "#fff"
2335       plot_bgcolor: "#fff"
2336       width: 700
2337       height: 700
2338       hoverlabel:
2339         namelength: -1
2340
2341     plot-hoststack:
2342       titlefont:
2343         size: 16
2344       xaxis:
2345         title: "<b>Test Cases [Index]</b>"
2346         titlefont:
2347           size: 14
2348         autorange: True
2349         fixedrange: False
2350         gridcolor: "rgb(230, 230, 230)"
2351         linecolor: "rgb(220, 220, 220)"
2352         linewidth: 1
2353         showgrid: True
2354         showline: True
2355         showticklabels: True
2356         tickcolor: "rgb(220, 220, 220)"
2357         tickmode: "linear"
2358         tickfont:
2359           size: 14
2360         zeroline: False
2361       yaxis:
2362         title: "<b>Bandwidth [Gbps]</b>"
2363         titlefont:
2364           size: 14
2365         gridcolor: "rgb(230, 230, 230)"
2366         hoverformat: ".4s"
2367         linecolor: "rgb(220, 220, 220)"
2368         linewidth: 1
2369         rangemode: "tozero"
2370         showgrid: True
2371         showline: True
2372         showticklabels: True
2373         tickcolor: "rgb(230, 230, 230)"
2374         tickformat: ".3s"
2375         tickfont:
2376           size: 14
2377         zeroline: False
2378       autosize: False
2379       margin:
2380         t: 50
2381         b: 20
2382         l: 80
2383         r: 20
2384       showlegend: True
2385       legend:
2386         orientation: "h"
2387         font:
2388           size: 14
2389       width: 700
2390       height: 800
2391       paper_bgcolor: "#fff"
2392       plot_bgcolor: "#fff"
2393       hoverlabel:
2394         namelength: -1
2395
2396     plot-throughput:
2397       titlefont:
2398         size: 16
2399       xaxis:
2400         title: "<b>Test Cases [Index]</b>"
2401         titlefont:
2402           size: 14
2403         autorange: True
2404         fixedrange: False
2405         gridcolor: "rgb(230, 230, 230)"
2406         linecolor: "rgb(220, 220, 220)"
2407         linewidth: 1
2408         showgrid: True
2409         showline: True
2410         showticklabels: True
2411         tickcolor: "rgb(220, 220, 220)"
2412         tickmode: "linear"
2413         tickfont:
2414           size: 14
2415         zeroline: False
2416       yaxis:
2417         title: "<b>Packet Throughput [Mpps]</b>"
2418         titlefont:
2419           size: 14
2420         gridcolor: "rgb(230, 230, 230)"
2421         hoverformat: ".4r"
2422         tickformat: ".3r"
2423         linecolor: "rgb(220, 220, 220)"
2424         linewidth: 1
2425         showgrid: True
2426         showline: True
2427         showticklabels: True
2428         tickcolor: "rgb(220, 220, 220)"
2429         tickfont:
2430           size: 14
2431         zeroline: False
2432         range: [0,50]
2433       autosize: False
2434       margin:
2435         t: 50
2436         b: 0
2437         l: 80
2438         r: 20
2439       showlegend: True
2440       legend:
2441         orientation: "h"
2442         font:
2443           size: 14
2444       width: 700
2445       height: 900
2446       paper_bgcolor: "#fff"
2447       plot_bgcolor: "#fff"
2448       hoverlabel:
2449         namelength: -1
2450
2451     plot-throughput-gbps:
2452       titlefont:
2453         size: 16
2454       xaxis:
2455         title: "<b>Test Cases [Index]</b>"
2456         titlefont:
2457           size: 14
2458         autorange: True
2459         fixedrange: False
2460         gridcolor: "rgb(230, 230, 230)"
2461         linecolor: "rgb(220, 220, 220)"
2462         linewidth: 1
2463         showgrid: True
2464         showline: True
2465         showticklabels: True
2466         tickcolor: "rgb(220, 220, 220)"
2467         tickmode: "linear"
2468         tickfont:
2469           size: 14
2470         zeroline: False
2471       yaxis:
2472         title: "<b>Packet Throughput [Gbps]</b>"
2473         titlefont:
2474           size: 14
2475         gridcolor: "rgb(230, 230, 230)"
2476         hoverformat: ".4r"
2477         tickformat: ".3r"
2478         linecolor: "rgb(220, 220, 220)"
2479         linewidth: 1
2480         showgrid: True
2481         showline: True
2482         showticklabels: True
2483         tickcolor: "rgb(220, 220, 220)"
2484         tickfont:
2485           size: 14
2486         zeroline: False
2487         range: [0,10]
2488       autosize: False
2489       margin:
2490         t: 50
2491         b: 0
2492         l: 80
2493         r: 20
2494       showlegend: True
2495       legend:
2496         orientation: "h"
2497         font:
2498           size: 14
2499       width: 700
2500       height: 900
2501       paper_bgcolor: "#fff"
2502       plot_bgcolor: "#fff"
2503       hoverlabel:
2504         namelength: -1
2505
2506     plot-cps:
2507       titlefont:
2508         size: 16
2509       xaxis:
2510         title: "<b>Test Cases [Index]</b>"
2511         titlefont:
2512           size: 14
2513         autorange: True
2514         fixedrange: False
2515         gridcolor: "rgb(230, 230, 230)"
2516         linecolor: "rgb(220, 220, 220)"
2517         linewidth: 1
2518         showgrid: True
2519         showline: True
2520         showticklabels: True
2521         tickcolor: "rgb(220, 220, 220)"
2522         tickmode: "linear"
2523         tickfont:
2524           size: 14
2525         zeroline: False
2526       yaxis:
2527         title: "<b>Connection Rate [Mcps]</b>"
2528         titlefont:
2529           size: 14
2530         gridcolor: "rgb(230, 230, 230)"
2531         hoverformat: ".4r"
2532         tickformat: ".3s"
2533         linecolor: "rgb(220, 220, 220)"
2534         linewidth: 1
2535         showgrid: True
2536         showline: True
2537         showticklabels: True
2538         tickcolor: "rgb(220, 220, 220)"
2539         tickfont:
2540           size: 14
2541         zeroline: False
2542         range: [0,10]
2543       autosize: False
2544       margin:
2545         t: 50
2546         b: 0
2547         l: 80
2548         r: 20
2549       showlegend: True
2550       legend:
2551         orientation: "h"
2552         font:
2553           size: 14
2554       width: 700
2555       height: 900
2556       paper_bgcolor: "#fff"
2557       plot_bgcolor: "#fff"
2558       hoverlabel:
2559         namelength: -1
2560
2561     plot-throughput-speedup-analysis:
2562       titlefont:
2563         size: 16
2564       xaxis:
2565         title: "<b>Number of Cores [Qty]</b>"
2566         titlefont:
2567           size: 14
2568         autorange: True
2569         fixedrange: False
2570         gridcolor: "rgb(230, 230, 230)"
2571         linecolor: "rgb(220, 220, 220)"
2572         linewidth: 1
2573         showgrid: True
2574         showline: True
2575         showticklabels: True
2576         tickcolor: "rgb(238, 238, 238)"
2577         tickmode: "linear"
2578         tickfont:
2579           size: 14
2580         zeroline: False
2581       yaxis:
2582         title: "<b>Packet Throughput [Mpps]</b>"
2583         titlefont:
2584           size: 14
2585         type: "linear"
2586         gridcolor: "rgb(230, 230, 230)"
2587         hoverformat: ".4s"
2588         linecolor: "rgb(220, 220, 220)"
2589         linewidth: 1
2590         showgrid: True
2591         showline: True
2592         showticklabels: True
2593         tickcolor: "rgb(220, 220, 220)"
2594         tickformat: ".4s"
2595         tickfont:
2596           size: 14
2597         zeroline: True
2598         rangemode: "tozero"
2599         range: [0,100]
2600       legend:
2601         orientation: "h"
2602         font:
2603           size: 14
2604         xanchor: "left"
2605         yanchor: "top"
2606         x: 0
2607         y: -0.2
2608         bgcolor: "rgba(255, 255, 255, 0)"
2609         bordercolor: "rgba(255, 255, 255, 0)"
2610         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2611       autosize: False
2612       margin:
2613           't': 50
2614           'b': 150
2615           'l': 85
2616           'r': 10
2617       showlegend: True
2618       width: 700
2619       height: 700
2620       paper_bgcolor: "#fff"
2621       plot_bgcolor: "#fff"
2622       hoverlabel:
2623         namelength: -1
2624       annotations: [
2625         {
2626           text: "_ _          __          ...",
2627           align: "left",
2628           showarrow: False,
2629           xref: "paper",
2630           yref: "paper",
2631           xanchor: "left",
2632           yanchor: "top",
2633           x: 0,
2634           y: -0.14,
2635           font: {
2636             family: "Consolas, Courier New",
2637             size: 13
2638           },
2639         },
2640         {
2641           text: "    Perfect     Measured     Limit",
2642           align: "left",
2643           showarrow: False,
2644           xref: "paper",
2645           yref: "paper",
2646           xanchor: "left",
2647           yanchor: "top",
2648           x: 0,
2649           y: -0.15,
2650           font: {
2651             family: "Consolas, Courier New",
2652             size: 13
2653           },
2654         },
2655       ]
2656
2657     plot-throughput-speedup-analysis-gbps:
2658       titlefont:
2659         size: 16
2660       xaxis:
2661         title: "<b>Number of Cores [Qty]</b>"
2662         titlefont:
2663           size: 14
2664         autorange: True
2665         fixedrange: False
2666         gridcolor: "rgb(230, 230, 230)"
2667         linecolor: "rgb(220, 220, 220)"
2668         linewidth: 1
2669         showgrid: True
2670         showline: True
2671         showticklabels: True
2672         tickcolor: "rgb(238, 238, 238)"
2673         tickmode: "linear"
2674         tickfont:
2675           size: 14
2676         zeroline: False
2677       yaxis:
2678         title: "<b>Packet Throughput [Gbps]</b>"
2679         titlefont:
2680           size: 14
2681         type: "linear"
2682         gridcolor: "rgb(230, 230, 230)"
2683         hoverformat: ".4s"
2684         linecolor: "rgb(220, 220, 220)"
2685         linewidth: 1
2686         showgrid: True
2687         showline: True
2688         showticklabels: True
2689         tickcolor: "rgb(220, 220, 220)"
2690         tickformat: ".4s"
2691         tickfont:
2692           size: 14
2693         zeroline: True
2694         rangemode: "tozero"
2695         range: [0,100]
2696       legend:
2697         orientation: "h"
2698         font:
2699           size: 14
2700         xanchor: "left"
2701         yanchor: "top"
2702         x: 0
2703         y: -0.2
2704         bgcolor: "rgba(255, 255, 255, 0)"
2705         bordercolor: "rgba(255, 255, 255, 0)"
2706         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2707       autosize: False
2708       margin:
2709           't': 50
2710           'b': 150
2711           'l': 85
2712           'r': 10
2713       showlegend: True
2714       width: 700
2715       height: 700
2716       paper_bgcolor: "#fff"
2717       plot_bgcolor: "#fff"
2718       hoverlabel:
2719         namelength: -1
2720       annotations: [
2721         {
2722           text: "_ _          __",
2723           align: "left",
2724           showarrow: False,
2725           xref: "paper",
2726           yref: "paper",
2727           xanchor: "left",
2728           yanchor: "top",
2729           x: 0,
2730           y: -0.13,
2731           font: {
2732             family: "Consolas, Courier New",
2733             size: 13
2734           },
2735         },
2736         {
2737           text: "    Perfect     Measured",
2738           align: "left",
2739           showarrow: False,
2740           xref: "paper",
2741           yref: "paper",
2742           xanchor: "left",
2743           yanchor: "top",
2744           x: 0,
2745           y: -0.15,
2746           font: {
2747             family: "Consolas, Courier New",
2748             size: 13
2749           },
2750         },
2751       ]
2752
2753     plot-throughput-speedup-analysis-cps:
2754       titlefont:
2755         size: 16
2756       xaxis:
2757         title: "<b>Number of Cores [Qty]</b>"
2758         titlefont:
2759           size: 14
2760         autorange: True
2761         fixedrange: False
2762         gridcolor: "rgb(230, 230, 230)"
2763         linecolor: "rgb(220, 220, 220)"
2764         linewidth: 1
2765         showgrid: True
2766         showline: True
2767         showticklabels: True
2768         tickcolor: "rgb(238, 238, 238)"
2769         tickmode: "linear"
2770         tickfont:
2771           size: 14
2772         zeroline: False
2773       yaxis:
2774         title: "<b>Connection Rate [Mcps]</b>"
2775         titlefont:
2776           size: 14
2777         type: "linear"
2778         gridcolor: "rgb(230, 230, 230)"
2779         hoverformat: ".4s"
2780         linecolor: "rgb(220, 220, 220)"
2781         linewidth: 1
2782         showgrid: True
2783         showline: True
2784         showticklabels: True
2785         tickcolor: "rgb(220, 220, 220)"
2786         tickformat: ".4s"
2787         tickfont:
2788           size: 14
2789         zeroline: True
2790         rangemode: "tozero"
2791         range: [0,100]
2792       legend:
2793         orientation: "h"
2794         font:
2795           size: 14
2796         xanchor: "left"
2797         yanchor: "top"
2798         x: 0
2799         y: -0.2
2800         bgcolor: "rgba(255, 255, 255, 0)"
2801         bordercolor: "rgba(255, 255, 255, 0)"
2802         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2803       autosize: False
2804       margin:
2805           't': 50
2806           'b': 150
2807           'l': 85
2808           'r': 10
2809       showlegend: True
2810       width: 700
2811       height: 700
2812       paper_bgcolor: "#fff"
2813       plot_bgcolor: "#fff"
2814       hoverlabel:
2815         namelength: -1
2816       annotations: [
2817         {
2818           text: "_ _          __",
2819           align: "left",
2820           showarrow: False,
2821           xref: "paper",
2822           yref: "paper",
2823           xanchor: "left",
2824           yanchor: "top",
2825           x: 0,
2826           y: -0.13,
2827           font: {
2828             family: "Consolas, Courier New",
2829             size: 13
2830           },
2831         },
2832         {
2833           text: "    Perfect     Measured",
2834           align: "left",
2835           showarrow: False,
2836           xref: "paper",
2837           yref: "paper",
2838           xanchor: "left",
2839           yanchor: "top",
2840           x: 0,
2841           y: -0.15,
2842           font: {
2843             family: "Consolas, Courier New",
2844             size: 13
2845           },
2846         },
2847       ]
2848
2849     plot-latency:
2850       titlefont:
2851         size: 16
2852       xaxis:
2853         title: "<b>Direction</b>"
2854         titlefont:
2855           size: 14
2856         autorange: True
2857         fixedrange: False
2858         gridcolor: "rgb(230, 230, 230)"
2859         linecolor: "rgb(220, 220, 220)"
2860         linewidth: 1
2861         showgrid: True
2862         showline: True
2863         showticklabels: False
2864         tickcolor: "rgb(220, 220, 220)"
2865         tickmode: "linear"
2866         tickfont:
2867           size: 14
2868         zeroline: False
2869       yaxis:
2870         title: "<b>Packet Latency [uSec]</b>"
2871         titlefont:
2872           size: 14
2873         type: "linear"
2874         gridcolor: "rgb(230, 230, 230)"
2875         hoverformat: ".4s"
2876         linecolor: "rgb(220, 220, 220)"
2877         linewidth: 1
2878         showgrid: True
2879         showline: True
2880         showticklabels: True
2881         tickcolor: "rgb(220, 220, 220)"
2882         tickformat: ".4s"
2883         tickfont:
2884           size: 14
2885         zeroline: True
2886         rangemode: "tozero"
2887       legend:
2888         orientation: "h"
2889         font:
2890           size: 14
2891         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2892       autosize: False
2893       margin:
2894           't': 50
2895           'b': 150
2896           'l': 80
2897           'r': 10
2898       showlegend: True
2899       width: 700
2900       height: 700
2901       paper_bgcolor: "#fff"
2902       plot_bgcolor: "#fff"
2903       hoverlabel:
2904         namelength: -1
2905
2906     plot-hdrh-latency:
2907       title:
2908         text: ""
2909         xanchor: "center"
2910         x: 0.5
2911         font:
2912           size: 16
2913       width: 700
2914       plot_bgcolor: "white"
2915       annotations:
2916         - font:
2917             size: 14
2918           showarrow: False
2919           text: "<b>Packet Latency [uSec]</b>"
2920           x: 1
2921           xanchor: "right"
2922           xref: "paper"
2923           y: -0.045
2924           yanchor: "top"
2925           yref: "paper"
2926         - font:
2927             size: 14
2928           showarrow: False
2929           text: "<b>Probability [%]</b>"
2930           textangle: 270
2931           x: -0.06
2932           xanchor: "center"
2933           xref: "paper"
2934           y: 0.5
2935           yanchor: "middle"
2936           yref: "paper"
2937         - font:
2938             size: 14
2939           showarrow: False
2940           text: "<b>Direction: E-W</b>"
2941           x: 0.24
2942           xanchor: "center"
2943           xref: "paper"
2944           y: 1.05
2945           yanchor: "bottom"
2946           yref: "paper"
2947         - font:
2948             size: 14
2949           showarrow: False
2950           text: "<b>Direction: W-E</b>"
2951           x: 0.74
2952           xanchor: "center"
2953           xref: "paper"
2954           y: 1.05
2955           yanchor: "bottom"
2956           yref: "paper"
2957
2958     plot-hdrh-latency-percentile-x-log:
2959       title:
2960         text: "<b>Latency by Percentile Distribution</b>"
2961         xanchor: "center"
2962         x: 0.5
2963         font:
2964           size: 18
2965       showlegend: True
2966       legend:
2967         traceorder: "normal"
2968         orientation: "h"
2969         font:
2970           size: 16
2971         xanchor: "left"
2972         yanchor: "top"
2973         x: 0
2974         y: -0.2
2975         bgcolor: "rgba(255, 255, 255, 0)"
2976         bordercolor: "rgba(255, 255, 255, 0)"
2977       xaxis:
2978         type: "log"
2979         title: "<b>Percentile [%]</b>"
2980         titlefont:
2981           size: 14
2982         autorange: False
2983         fixedrange: True
2984         gridcolor: "rgb(230, 230, 230)"
2985         linecolor: "rgb(220, 220, 220)"
2986         linewidth: 1
2987         showgrid: True
2988         showline: True
2989         showticklabels: True
2990         tickcolor: "rgb(220, 220, 220)"
2991         tickvals: [1, 2, 1e1, 20, 1e2, 1e3, 1e4, 1e5, 1e6]
2992         ticktext: [0, 50, 90, 95, 99, 99.9, 99.99, 99.999, 99.9999]
2993         tickfont:
2994           size: 14
2995       yaxis:
2996         title: "<b>One-Way Latency per Direction [uSec]</b>"
2997         titlefont:
2998           size: 14
2999         gridcolor: "rgb(230, 230, 230)"
3000         linecolor: "rgb(220, 220, 220)"
3001         linewidth: 1
3002         showgrid: True
3003         showline: True
3004         showticklabels: True
3005         tickcolor: "rgb(220, 220, 220)"
3006         tickfont:
3007           size: 14
3008       autosize: False
3009       width: 700
3010       height: 700
3011       paper_bgcolor: "white"
3012       plot_bgcolor: "white"
3013
3014     plot-hdrh-latency-by-percentile:
3015       title:
3016         text: "<b>Latency by Percentile Distribution</b>"
3017         xanchor: "center"
3018         x: 0.5
3019         font:
3020           size: 18
3021       showlegend: True
3022       legend:
3023         traceorder: "normal"
3024         orientation: "h"
3025         font:
3026           size: 16
3027         xanchor: "left"
3028         yanchor: "top"
3029         x: 0
3030         y: -0.2
3031         bgcolor: "rgba(255, 255, 255, 0)"
3032         bordercolor: "rgba(255, 255, 255, 0)"
3033       xaxis:
3034         type: "linear"
3035         title: "<b>Percentile [%]</b>"
3036         titlefont:
3037           size: 14
3038         autorange: False
3039         fixedrange: False
3040         range: [0, 100]
3041         gridcolor: "rgb(230, 230, 230)"
3042         linecolor: "rgb(220, 220, 220)"
3043         linewidth: 1
3044         showgrid: True
3045         showline: True
3046         showticklabels: True
3047         tickcolor: "rgb(220, 220, 220)"
3048         tickvals: [0, 25, 50, 75, 100]
3049         ticktext: [0, 25, 50, 75, 100]
3050         tickfont:
3051           size: 14
3052       yaxis:
3053         title: "<b>One-Way Latency per Direction [uSec]</b>"
3054         titlefont:
3055           size: 14
3056         gridcolor: "rgb(230, 230, 230)"
3057         linecolor: "rgb(220, 220, 220)"
3058         linewidth: 1
3059         showgrid: True
3060         showline: True
3061         showticklabels: True
3062         tickcolor: "rgb(220, 220, 220)"
3063         tickfont:
3064           size: 14
3065       width: 700
3066       height: 700
3067       paper_bgcolor: "white"
3068       plot_bgcolor: "white"
3069
3070 - type: "static"
3071   src-path: "{DIR[RST]}"
3072   dst-path: "{DIR[WORKING,SRC]}"
3073
3074 - type: "input"
3075   general:
3076     file-name: "output_info.xml.gz"
3077     file-format: ".gz"
3078     arch-file-format:
3079       - ".gz"
3080       - ".zip"
3081     download-path: "{job}/{build}/archives/{filename}"
3082     extract: "output.xml"
3083
3084     zip-file-name: "robot-plugin.zip"
3085     zip-file-format: ".zip"
3086     zip-download-path: "{job}/{build}/robot/report/*zip*/{filename}"
3087     zip-extract: "robot-plugin/output.xml"
3088
3089   builds:
3090
3091     csit-vpp-perf-report-iterative-2009-3n-hsw:
3092       - 18  # rls2005 MRR iter env 5
3093       - 9   # rls2005 NDRPDR iter env 5
3094       - 10  # rls2005 NDRPDR iter env 5
3095       - 11  # rls2005 NDRPDR iter env 5
3096       - 12  # rls2005 NDRPDR iter env 5
3097       - 13  # rls2005 NDRPDR iter env 5
3098       - 14  # rls2005 NDRPDR iter env 5
3099       - 15  # rls2005 NDRPDR iter env 5
3100       - 16  # rls2005 NDRPDR iter env 5
3101       - 17  # rls2005 NDRPDR iter env 5
3102       - 19  # rls2005 NDRPDR iter env 5
3103       - 23  # rls2009 MRR iter env 5
3104       - 21  # rls2009 NDRPDR iter env 5
3105       - 22  # rls2009 NDRPDR iter env 5
3106       - 24  # rls2009 NDRPDR iter env 5
3107       - 25  # rls2009 NDRPDR iter env 5
3108       - 26  # rls2009 NDRPDR iter env 5
3109       - 27  # rls2009 NDRPDR iter env 5
3110       - 28  # rls2009 NDRPDR iter env 5
3111       - 29  # rls2009 NDRPDR iter env 5
3112       - 30  # rls2009 NDRPDR iter env 5
3113       - 31  # rls2009 NDRPDR iter env 5
3114     csit-vpp-perf-report-iterative-2101-3n-hsw:
3115       - 17  # rls2009 MRR iter env 6
3116       - 19  # rls2009 NDRPDR iter env 6
3117       - 20  # rls2009 NDRPDR iter env 6
3118       - 21  # rls2009 NDRPDR iter env 6
3119       - 22  # rls2009 NDRPDR iter env 6
3120       - 23  # rls2009 NDRPDR iter env 6
3121       - 24  # rls2009 NDRPDR iter env 6
3122       - 25  # rls2009 NDRPDR iter env 6
3123       - 26  # rls2009 NDRPDR iter env 6
3124       - 27  # rls2009 NDRPDR iter env 6
3125       - 63  # rls2101.rel MRR iter env 6