Report: Add data
[csit.git] / resources / tools / presentation / specification.yaml
1 - type: "environment"
2
3   paths:
4     # Top level directories:
5     ## Working directory
6     DIR[WORKING]: "_tmp"
7     ## Build directories
8     DIR[BUILD,HTML]: "_build"
9     DIR[BUILD,LATEX]: "_build_latex"
10
11     # Static .rst files
12     DIR[RST]: "../../../docs/report"
13
14     # Working directories
15     ## Input data files (.zip, .xml)
16     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
17     ## Static source files from git
18     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
19     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
20
21     # Static html content
22     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
23     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
24     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
25     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
26
27     # Detailed test results
28     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
29     DIR[DTR,PERF,DPDK,3N,HSW]: "{DIR[DTR]}/dpdk_performance_results_3n_hsw"
30     DIR[DTR,PERF,DPDK,3N,SKX]: "{DIR[DTR]}/dpdk_performance_results_3n_skx"
31     DIR[DTR,PERF,DPDK,2N,SKX]: "{DIR[DTR]}/dpdk_performance_results_2n_skx"
32     DIR[DTR,PERF,DPDK,2N,ZN2]: "{DIR[DTR]}/dpdk_performance_results_2n_zn2"
33     DIR[DTR,PERF,DPDK,2N,CLX]: "{DIR[DTR]}/dpdk_performance_results_2n_clx"
34     DIR[DTR,PERF,DPDK,2N,DNV]: "{DIR[DTR]}/dpdk_performance_results_2n_dnv"
35     DIR[DTR,PERF,DPDK,3N,DNV]: "{DIR[DTR]}/dpdk_performance_results_3n_dnv"
36     DIR[DTR,PERF,DPDK,3N,TSH]: "{DIR[DTR]}/dpdk_performance_results_3n_tsh"
37     DIR[DTR,PERF,DPDK,2N,TX2]: "{DIR[DTR]}/dpdk_performance_results_2n_tx2"
38     DIR[DTR,PERF,VPP,ALL]: "{DIR[DTR]}/vpp_performance_results"
39     DIR[DTR,PERF,VPP,3N,HSW]: "{DIR[DTR]}/vpp_performance_results_3n_hsw"
40     DIR[DTR,PERF,VPP,3N,SKX]: "{DIR[DTR]}/vpp_performance_results_3n_skx"
41     DIR[DTR,PERF,VPP,2N,SKX]: "{DIR[DTR]}/vpp_performance_results_2n_skx"
42     DIR[DTR,PERF,VPP,2N,ZN2]: "{DIR[DTR]}/vpp_performance_results_2n_zn2"
43     DIR[DTR,PERF,VPP,2N,CLX]: "{DIR[DTR]}/vpp_performance_results_2n_clx"
44     DIR[DTR,PERF,VPP,3N,TSH]: "{DIR[DTR]}/vpp_performance_results_3n_tsh"
45     DIR[DTR,PERF,VPP,2N,TX2]: "{DIR[DTR]}/vpp_performance_results_2n_tx2"
46     DIR[DTR,PERF,VPP,3N,DNV]: "{DIR[DTR]}/vpp_performance_results_3n_dnv"
47     DIR[DTR,PERF,VPP,2N,DNV]: "{DIR[DTR]}/vpp_performance_results_2n_dnv"
48     DIR[DTR,MRR,VPP,ALL]: "{DIR[DTR]}/vpp_mrr_results"
49     DIR[DTR,MRR,VPP,3N,HSW]: "{DIR[DTR]}/vpp_mrr_results_3n_hsw"
50     DIR[DTR,MRR,VPP,3N,SKX]: "{DIR[DTR]}/vpp_mrr_results_3n_skx"
51     DIR[DTR,MRR,VPP,2N,SKX]: "{DIR[DTR]}/vpp_mrr_results_2n_skx"
52     DIR[DTR,MRR,VPP,2N,ZN2]: "{DIR[DTR]}/vpp_mrr_results_2n_zn2"
53     DIR[DTR,MRR,VPP,2N,CLX]: "{DIR[DTR]}/vpp_mrr_results_2n_clx"
54     DIR[DTR,MRR,VPP,3N,TSH]: "{DIR[DTR]}/vpp_mrr_results_3n_tsh"
55     DIR[DTR,MRR,VPP,2N,TX2]: "{DIR[DTR]}/vpp_mrr_results_2n_tx2"
56     DIR[DTR,MRR,VPP,3N,DNV]: "{DIR[DTR]}/vpp_mrr_results_3n_dnv"
57     DIR[DTR,MRR,VPP,2N,DNV]: "{DIR[DTR]}/vpp_mrr_results_2n_dnv"
58     DIR[DTR,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTR]}/vpp_device_results_ubuntu"
59
60     # Detailed test configurations
61     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
62     DIR[DTC,PERF,VPP,ALL]: "{DIR[DTC]}/vpp_performance_configuration"
63     DIR[DTC,PERF,VPP,3N,HSW]: "{DIR[DTC]}/vpp_performance_configuration_3n_hsw"
64     DIR[DTC,PERF,VPP,3N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_3n_skx"
65     DIR[DTC,PERF,VPP,2N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_2n_skx"
66     DIR[DTC,PERF,VPP,2N,ZN2]: "{DIR[DTC]}/vpp_performance_configuration_2n_zn2"
67     DIR[DTC,PERF,VPP,2N,CLX]: "{DIR[DTC]}/vpp_performance_configuration_2n_clx"
68     DIR[DTC,PERF,VPP,3N,TSH]: "{DIR[DTC]}/vpp_performance_configuration_3n_tsh"
69     DIR[DTC,PERF,VPP,2N,TX2]: "{DIR[DTC]}/vpp_performance_configuration_2n_tx2"
70     DIR[DTC,PERF,VPP,3N,DNV]: "{DIR[DTC]}/vpp_performance_configuration_3n_dnv"
71     DIR[DTC,PERF,VPP,2N,DNV]: "{DIR[DTC]}/vpp_performance_configuration_2n_dnv"
72     DIR[DTC,MRR,VPP,ALL]: "{DIR[DTC]}/vpp_mrr_configuration"
73     DIR[DTC,MRR,VPP,3N,HSW]: "{DIR[DTC]}/vpp_mrr_configuration_3n_hsw"
74     DIR[DTC,MRR,VPP,3N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_3n_skx"
75     DIR[DTC,MRR,VPP,2N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_skx"
76     DIR[DTC,MRR,VPP,2N,ZN2]: "{DIR[DTC]}/vpp_mrr_configuration_2n_zn2"
77     DIR[DTC,MRR,VPP,2N,CLX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_clx"
78     DIR[DTC,MRR,VPP,3N,TSH]: "{DIR[DTC]}/vpp_mrr_configuration_3n_tsh"
79     DIR[DTC,MRR,VPP,2N,TX2]: "{DIR[DTC]}/vpp_mrr_configuration_2n_tx2"
80     DIR[DTC,MRR,VPP,3N,DNV]: "{DIR[DTC]}/vpp_mrr_configuration_3n_dnv"
81     DIR[DTC,MRR,VPP,2N,DNV]: "{DIR[DTC]}/vpp_mrr_configuration_2n_dnv"
82     DIR[DTC,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTC]}/vpp_device_configuration_ubuntu"
83
84     # Detailed tests operational data
85     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
86     DIR[DTO,PERF,VPP,ALL]: "{DIR[DTO]}/vpp_performance_operational_data"
87     DIR[DTO,PERF,VPP,3N,HSW]: "{DIR[DTO]}/vpp_performance_operational_data_3n_hsw"
88     DIR[DTO,PERF,VPP,3N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_3n_skx"
89     DIR[DTO,PERF,VPP,2N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_skx"
90     DIR[DTO,PERF,VPP,2N,ZN2]: "{DIR[DTO]}/vpp_performance_operational_data_2n_zn2"
91     DIR[DTO,PERF,VPP,2N,CLX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_clx"
92     DIR[DTO,PERF,VPP,3N,TSH]: "{DIR[DTO]}/vpp_performance_operational_data_3n_tsh"
93     DIR[DTO,PERF,VPP,2N,TX2]: "{DIR[DTO]}/vpp_performance_operational_data_2n_tx2"
94     DIR[DTO,PERF,VPP,3N,DNV]: "{DIR[DTO]}/vpp_performance_operational_data_3n_dnv"
95     DIR[DTO,PERF,VPP,2N,DNV]: "{DIR[DTO]}/vpp_performance_operational_data_2n_dnv"
96
97     # Latencies:
98     DIR[LAT,VPP]: "{DIR[WORKING,SRC]}/vpp_performance_tests/hdrh_packet_latency_by_percentile_graphs"
99     DIR[LAT,DPDK]: "{DIR[WORKING,SRC]}/dpdk_performance_tests/hdrh_packet_latency_by_percentile_graphs"
100
101     # .css patch file to fix tables generated by Sphinx
102     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
103     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
104
105   urls:
106     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
107     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
108     URL[NEXUS,LOG]: "https://logs.fd.io/production/vex-yul-rot-jenkins-1"
109     URL[NEXUS,DOC]: "https://docs.fd.io/csit"
110     DIR[NEXUS,DOC]: "report/_static/archive"
111
112   make-dirs:
113   # List the directories which are created while preparing the environment.
114   # All directories MUST be defined in "paths" section.
115   - "DIR[WORKING,DATA]"
116   - "DIR[STATIC,VPP]"
117   - "DIR[STATIC,DPDK]"
118   - "DIR[STATIC,ARCH]"
119   - "DIR[BUILD,LATEX]"
120   - "DIR[WORKING,SRC]"
121   - "DIR[WORKING,SRC,STATIC]"
122
123   remove-dirs:
124   # List the directories which are deleted while cleaning the environment.
125   # All directories MUST be defined in "paths" section.
126   #- "DIR[BUILD,HTML]"
127   - "DIR[WORKING,DATA]"
128
129   build-dirs:
130   # List the directories where the results (build) is stored.
131   # All directories MUST be defined in "paths" section.
132   - "DIR[BUILD,HTML]"
133   - "DIR[BUILD,LATEX]"
134
135 - type: "configuration"
136
137   mapping-file: "mapping_report.yaml"
138
139   limits:
140     nic:
141       x520: 24460000
142       x553: 29761905
143       x710: 35800000
144       xxv710: 35800000
145       xl710: 35800000
146       cx556a: 148809523.81
147
148     link:
149       10ge: 14880952.38
150       25ge: 37202380.95
151       40ge: 59523809.52
152       100ge: 148809523.81
153
154     pci:
155       pci-g3-x8: 74404761.90
156       pci-g3-x16: 148809523.81
157
158   data-sets:
159
160     ###########################################################################
161     # Plots:
162
163     # 3n-hsw
164
165     plot-vpp-throughput-lat-tsa-3n-hsw:
166       csit-vpp-perf-report-iterative-2101-3n-hsw:
167         - 64  # rls2101.rel NDRPDR iter env 6
168         - 71  # rls2101.rel NDRPDR iter env 6
169         - 73  # rls2101.rel NDRPDR iter env 6
170         - 74  # rls2101.rel NDRPDR iter env 6
171         - 80  # rls2101.rel NDRPDR iter env 6
172         - 81  # rls2101.rel NDRPDR iter env 6
173         - 82  # rls2101.rel NDRPDR iter env 6
174         - 83  # rls2101.rel NDRPDR iter env 6
175         - 88  # rls2101.rel NDRPDR iter env 6
176         - 89  # rls2101.rel NDRPDR iter env 6
177         - 128 # rls2101.rel NDRPDR iter RND env 6
178         - 129 # rls2101.rel NDRPDR iter RND env 6
179         - 130 # rls2101.rel NDRPDR iter RND env 6
180         - 131 # rls2101.rel NDRPDR iter RND env 6
181         - 132 # rls2101.rel NDRPDR iter RND env 6
182         - 133 # rls2101.rel NDRPDR iter RND env 6
183         - 134 # rls2101.rel NDRPDR iter RND env 6
184         - 135 # rls2101.rel NDRPDR iter RND env 6
185         - 136 # rls2101.rel NDRPDR iter RND env 6
186         - 137 # rls2101.rel NDRPDR iter RND env 6
187
188     plot-vpp-hdrh-lat-3n-hsw:
189       csit-vpp-perf-report-iterative-2101-3n-hsw:
190         - 89  # rls2101.rel NDRPDR iter env 6
191
192     plot-vpp-hdrh-lat-3n-hsw-rnd:
193       csit-vpp-perf-report-iterative-2101-3n-hsw:
194         - 128 # rls2101.rel NDRPDR iter RND env 6
195
196     plot-vpp-ipsec-reconf-3n-hsw:
197       csit-vpp-perf-report-iterative-2101-3n-hsw:
198         - 65  # rls2101.rel NDRPDR reconf iter env 6
199         - 68  # rls2101.rel NDRPDR reconf iter env 6
200         - 77  # rls2101.rel NDRPDR reconf iter env 6
201         - 84  # rls2101.rel NDRPDR reconf iter env 6
202         - 90  # rls2101.rel NDRPDR reconf iter env 6
203         - 96  # rls2101.rel NDRPDR reconf iter env 6
204         - 101 # rls2101.rel NDRPDR reconf iter env 6
205         - 104 # rls2101.rel NDRPDR reconf iter env 6
206         - 105 # rls2101.rel NDRPDR reconf iter env 6
207         - 106 # rls2101.rel NDRPDR reconf iter env 6
208         - 107 # rls2101.rel NDRPDR reconf iter env 6
209         - 108 # rls2101.rel NDRPDR reconf iter env 6
210         - 110 # rls2101.rel NDRPDR reconf iter env 6
211         - 111 # rls2101.rel NDRPDR reconf iter env 6
212         - 112 # rls2101.rel NDRPDR reconf iter env 6
213         - 113 # rls2101.rel NDRPDR reconf iter env 6
214         - 114 # rls2101.rel NDRPDR reconf iter env 6
215         - 115 # rls2101.rel NDRPDR reconf iter env 6
216         - 116 # rls2101.rel NDRPDR reconf iter env 6
217         - 117 # rls2101.rel NDRPDR reconf iter env 6
218
219     plot-vpp-hoststack-3n-hsw:
220       csit-vpp-perf-report-iterative-2101-3n-hsw:
221         - 69  # rls2101.rel Hoststack iter env 6
222         - 70  # rls2101.rel Hoststack iter env 6
223         - 75  # rls2101.rel Hoststack iter env 6
224         - 76  # rls2101.rel Hoststack iter env 6
225         - 78  # rls2101.rel Hoststack iter env 6
226         - 79  # rls2101.rel Hoststack iter env 6
227         - 85  # rls2101.rel Hoststack iter env 6
228         - 86  # rls2101.rel Hoststack iter env 6
229         - 87  # rls2101.rel Hoststack iter env 6
230         - 91  # rls2101.rel Hoststack iter env 6
231         - 92  # rls2101.rel Hoststack iter env 6
232         - 93  # rls2101.rel Hoststack iter env 6
233         - 94  # rls2101.rel Hoststack iter env 6
234         - 95  # rls2101.rel Hoststack iter env 6
235         - 97  # rls2101.rel Hoststack iter env 6
236         - 98  # rls2101.rel Hoststack iter env 6
237         - 99  # rls2101.rel Hoststack iter env 6
238         - 100 # rls2101.rel Hoststack iter env 6
239         - 102 # rls2101.rel Hoststack iter env 6
240         - 103 # rls2101.rel Hoststack iter env 6
241
242     plot-dpdk-throughput-latency-3n-hsw:
243       csit-dpdk-perf-report-iterative-2101-3n-hsw:
244         - 11  # rls2101 NDRPDR iter env 6
245         - 12  # rls2101 NDRPDR iter env 6
246         - 13  # rls2101 NDRPDR iter env 6
247         - 14  # rls2101 NDRPDR iter env 6
248         - 16  # rls2101 NDRPDR iter env 6
249         - 17  # rls2101 NDRPDR iter env 6
250         - 18  # rls2101 NDRPDR iter env 6
251         - 19  # rls2101 NDRPDR iter env 6
252         - 20  # rls2101 NDRPDR iter env 6
253         - 21  # rls2101 NDRPDR iter env 6
254
255     plot-dpdk-hdrh-lat-3n-hsw:
256       csit-dpdk-perf-report-iterative-2101-3n-hsw:
257         - 11  # rls2101 NDRPDR iter env 6
258
259     # 3n-skx
260
261     plot-vpp-throughput-lat-tsa-3n-skx:
262       csit-vpp-perf-report-iterative-2101-3n-skx:
263         - 36  # rls2101.rel NDRPDR iter env 6
264         - 37  # rls2101.rel NDRPDR iter env 6
265         - 38  # rls2101.rel NDRPDR iter env 6
266         - 39  # rls2101.rel NDRPDR iter env 6
267         - 40  # rls2101.rel NDRPDR iter env 6
268         - 41  # rls2101.rel NDRPDR iter env 6
269         - 42  # rls2101.rel NDRPDR iter env 6
270         - 47  # rls2101.rel NDRPDR iter env 6
271         - 48  # rls2101.rel NDRPDR iter env 6
272         - 50  # rls2101.rel NDRPDR iter env 6
273
274     plot-vpp-hdrh-lat-3n-skx:
275       csit-vpp-perf-report-iterative-2101-3n-skx:
276         - 36  # rls2101.rel NDRPDR iter env 6
277
278 #    plot-vpp-nfv-3n-skx-ndrpdr:
279 #      # No data
280 #      csit-vpp-perf-report-iterative-2101-3n-skx:
281
282 #    plot-vpp-nfv-3n-skx-mrr:
283 #      # No data
284 #      csit-vpp-perf-report-iterative-2101-3n-skx:
285
286     plot-dpdk-throughput-latency-3n-skx:
287       csit-dpdk-perf-report-iterative-2101-3n-skx:
288         - 12  # rls2101 NDRPDR iter env 6
289         - 14  # rls2101 NDRPDR iter env 6
290         - 15  # rls2101 NDRPDR iter env 6
291         - 17  # rls2101 NDRPDR iter env 6
292         - 19  # rls2101 NDRPDR iter env 6
293         - 20  # rls2101 NDRPDR iter env 6
294         - 21  # rls2101 NDRPDR iter env 6
295         - 22  # rls2101 NDRPDR iter env 6
296         - 25  # rls2101 NDRPDR iter env 6
297         - 26  # rls2101 NDRPDR iter env 6
298
299     plot-dpdk-hdrh-lat-3n-skx:
300       csit-dpdk-perf-report-iterative-2101-3n-skx:
301         - 12  # rls2101 NDRPDR iter env 6
302
303     # 2n-skx
304
305     plot-vpp-throughput-lat-tsa-2n-skx:
306       csit-vpp-perf-report-iterative-2101-2n-skx:
307         - 63  # rls2101.rel NDRPDR iter env 6
308         - 69  # rls2101.rel NDRPDR iter env 6
309         - 70  # rls2101.rel NDRPDR iter env 6
310         - 75  # rls2101.rel NDRPDR iter env 6
311         - 76  # rls2101.rel NDRPDR iter env 6
312         - 77  # rls2101.rel NDRPDR iter env 6
313         - 82  # rls2101.rel NDRPDR iter env 6
314         - 85  # rls2101.rel NDRPDR iter env 6
315         - 86  # rls2101.rel NDRPDR iter env 6
316         - 94  # rls2101.rel NDRPDR iter env 6
317         - 89  # rls2101.rel NDRPDR iter RND env 6
318         - 90  # rls2101.rel NDRPDR iter RND env 6
319         - 91  # rls2101.rel NDRPDR iter RND env 6
320         - 92  # rls2101.rel NDRPDR iter RND env 6
321         - 93  # rls2101.rel NDRPDR iter RND env 6
322         - 96  # rls2101.rel NDRPDR iter RND env 6
323         - 98  # rls2101.rel NDRPDR iter RND env 6
324         - 99  # rls2101.rel NDRPDR iter RND env 6
325         - 101 # rls2101.rel NDRPDR iter RND env 6
326         - 102 # rls2101.rel NDRPDR iter RND env 6
327         - 116 # rls2101.rel NDRPDR iter NAT env 6
328         - 117 # rls2101.rel NDRPDR iter NAT env 6
329         - 118 # rls2101.rel NDRPDR iter NAT env 6
330         - 119 # rls2101.rel NDRPDR iter NAT env 6
331         - 120 # rls2101.rel NDRPDR iter NAT env 6
332         - 121 # rls2101.rel NDRPDR iter NAT env 6
333         - 122 # rls2101.rel NDRPDR iter NAT env 6
334         - 123 # rls2101.rel NDRPDR iter NAT env 6
335         - 124 # rls2101.rel NDRPDR iter NAT env 6
336         - 125 # rls2101.rel NDRPDR iter NAT env 6
337
338     plot-vpp-hdrh-lat-2n-skx:
339       csit-vpp-perf-report-iterative-2101-2n-skx:
340         - 94  # rls2101.rel NDRPDR iter env 6
341
342     plot-vpp-hdrh-lat-2n-skx-rnd:
343       csit-vpp-perf-report-iterative-2101-2n-skx:
344         - 89  # rls2101.rel NDRPDR iter RND env 6
345
346     plot-vpp-hdrh-lat-2n-skx-nat:
347       csit-vpp-perf-report-iterative-2101-2n-skx:
348         - 118 # rls2101.rel NDRPDR iter NAT env 6
349
350     plot-vpp-soak-2n-skx:
351       csit-vpp-perf-report-iterative-2101-2n-skx:
352         - 68  # rls2101.rel soak env 6
353         - 73  # rls2101.rel soak env 6
354
355     plot-vpp-nfv-2n-skx-ndrpdr:
356       csit-vpp-perf-report-iterative-2101-2n-skx:
357         - 67  # rls2101.rel NDRPDR nf-density iter env 6
358         - 72  # rls2101.rel NDRPDR nf-density iter env 6
359         - 79  # rls2101.rel NDRPDR nf-density iter env 6
360         - 83  # rls2101.rel NDRPDR nf-density iter env 6
361         - 88  # rls2101.rel NDRPDR nf-density iter env 6
362         - 97  # rls2101.rel NDRPDR nf-density iter env 6
363         - 103 # rls2101.rel NDRPDR nf-density iter env 6
364         - 108 # rls2101.rel NDRPDR nf-density iter env 6
365         - 109 # rls2101.rel NDRPDR nf-density iter env 6
366         - 110 # rls2101.rel NDRPDR nf-density iter env 6
367
368     plot-vpp-nfv-2n-skx-mrr:
369       csit-vpp-perf-report-iterative-2101-2n-skx:
370         - 65  # rls2101.rel MRR nf-density iter env 6
371
372     plot-vpp-nfv-reconf-2n-skx:
373       csit-vpp-perf-report-iterative-2101-2n-skx:
374         - 64  # rls2101.rel NDRPDR reconf iter env 6
375         - 66  # rls2101.rel NDRPDR reconf iter env 6
376         - 71  # rls2101.rel NDRPDR reconf iter env 6
377         - 74  # rls2101.rel NDRPDR reconf iter env 6
378         - 78  # rls2101.rel NDRPDR reconf iter env 6
379         - 87  # rls2101.rel NDRPDR reconf iter env 6
380         - 95  # rls2101.rel NDRPDR reconf iter env 6
381         - 100 # rls2101.rel NDRPDR reconf iter env 6
382         - 104 # rls2101.rel NDRPDR reconf iter env 6
383         - 106 # rls2101.rel NDRPDR reconf iter env 6
384
385     plot-dpdk-throughput-latency-2n-skx:
386       csit-dpdk-perf-report-iterative-2101-2n-skx:
387         - 11  # rls2101 NDRPDR iter env 6
388         - 12  # rls2101 NDRPDR iter env 6
389         - 13  # rls2101 NDRPDR iter env 6
390         - 14  # rls2101 NDRPDR iter env 6
391         - 15  # rls2101 NDRPDR iter env 6
392         - 17  # rls2101 NDRPDR iter env 6
393         - 18  # rls2101 NDRPDR iter env 6
394         - 19  # rls2101 NDRPDR iter env 6
395         - 20  # rls2101 NDRPDR iter env 6
396         - 21  # rls2101 NDRPDR iter env 6
397
398     plot-dpdk-hdrh-lat-2n-skx:
399       csit-dpdk-perf-report-iterative-2101-2n-skx:
400         - 11  # rls2101 NDRPDR iter env 6
401
402     # 2n-zn2
403
404     plot-vpp-throughput-lat-tsa-2n-zn2:
405       csit-vpp-perf-report-iterative-2101-2n-zn2:
406         - 31  # rls2101.rel NDRPDR iter env 6
407         - 32  # rls2101.rel NDRPDR iter env 6
408         - 33  # rls2101.rel NDRPDR iter env 6
409         - 34  # rls2101.rel NDRPDR iter env 6
410         - 35  # rls2101.rel NDRPDR iter env 6
411         - 36  # rls2101.rel NDRPDR iter env 6
412         - 37  # rls2101.rel NDRPDR iter env 6
413         - 38  # rls2101.rel NDRPDR iter env 6
414         - 44  # rls2101.rel NDRPDR iter env 6
415         - 49  # rls2101.rel NDRPDR iter env 6
416         - 39  # rls2101.rel NDRPDR iter RND env 6
417         - 40  # rls2101.rel NDRPDR iter RND env 6
418         - 41  # rls2101.rel NDRPDR iter RND env 6
419         - 42  # rls2101.rel NDRPDR iter RND env 6
420         - 43  # rls2101.rel NDRPDR iter RND env 6
421         - 45  # rls2101.rel NDRPDR iter RND env 6
422         - 48  # rls2101.rel NDRPDR iter RND env 6
423         - 50  # rls2101.rel NDRPDR iter RND env 6
424         - 51  # rls2101.rel NDRPDR iter RND env 6
425         - 52  # rls2101.rel NDRPDR iter RND env 6
426
427     plot-vpp-hdrh-lat-2n-zn2:
428       csit-vpp-perf-report-iterative-2101-2n-zn2:
429         - 31  # rls2101.rel NDRPDR iter env 6
430
431     plot-vpp-hdrh-lat-2n-zn2-rnd:
432       csit-vpp-perf-report-iterative-2101-2n-zn2:
433         - 40  # rls2101.rel NDRPDR iter RND env 6
434
435     plot-dpdk-throughput-latency-2n-zn2:
436       csit-dpdk-perf-report-iterative-2101-2n-zn2:
437         - 11  # rls2101 NDRPDR iter env 6
438         - 12  # rls2101 NDRPDR iter env 6
439         - 13  # rls2101 NDRPDR iter env 6
440         - 14  # rls2101 NDRPDR iter env 6
441         - 16  # rls2101 NDRPDR iter env 6
442         - 17  # rls2101 NDRPDR iter env 6
443         - 18  # rls2101 NDRPDR iter env 6
444         - 19  # rls2101 NDRPDR iter env 6
445         - 20  # rls2101 NDRPDR iter env 6
446         - 21  # rls2101 NDRPDR iter env 6
447
448     plot-dpdk-hdrh-lat-2n-zn2:
449       csit-dpdk-perf-report-iterative-2101-2n-zn2:
450         - 11  # rls2101 NDRPDR iter env 6
451
452     # 2n-clx
453
454     plot-vpp-throughput-lat-tsa-2n-clx:
455       csit-vpp-perf-report-iterative-2101-2n-clx:
456         - 54  # rls2101.rel NDRPDR iter env 6
457         - 59  # rls2101.rel NDRPDR iter env 6
458         - 60  # rls2101.rel NDRPDR iter env 6
459         - 63  # rls2101.rel NDRPDR iter env 6
460         - 66  # rls2101.rel NDRPDR iter env 6
461         - 68  # rls2101.rel NDRPDR iter env 6
462         - 73  # rls2101.rel NDRPDR iter env 6
463         - 75  # rls2101.rel NDRPDR iter env 6
464         - 86  # rls2101.rel NDRPDR iter env 6
465         - 90  # rls2101.rel NDRPDR iter env 6
466         - 80  # rls2101.rel NDRPDR iter RND env 6
467         - 87  # rls2101.rel NDRPDR iter RND env 6
468         - 91  # rls2101.rel NDRPDR iter RND env 6
469         - 92  # rls2101.rel NDRPDR iter RND env 6
470         - 93  # rls2101.rel NDRPDR iter RND env 6
471         - 94  # rls2101.rel NDRPDR iter RND env 6
472         - 95  # rls2101.rel NDRPDR iter RND env 6
473         - 100 # rls2101.rel NDRPDR iter RND env 6
474         - 106 # rls2101.rel NDRPDR iter RND env 6
475         - 108 # rls2101.rel NDRPDR iter RND env 6
476         - 112 # rls2101.rel NDRPDR iter NAT env 6
477         - 113 # rls2101.rel NDRPDR iter NAT env 6
478         - 114 # rls2101.rel NDRPDR iter NAT env 6
479         - 115 # rls2101.rel NDRPDR iter NAT env 6
480         - 116 # rls2101.rel NDRPDR iter NAT env 6
481         - 117 # rls2101.rel NDRPDR iter NAT env 6
482         - 118 # rls2101.rel NDRPDR iter NAT env 6
483         - 119 # rls2101.rel NDRPDR iter NAT env 6
484         - 120 # rls2101.rel NDRPDR iter NAT env 6
485         - 121 # rls2101.rel NDRPDR iter NAT env 6
486
487     plot-vpp-hdrh-lat-2n-clx:
488       csit-vpp-perf-report-iterative-2101-2n-clx:
489         - 75  # rls2101.rel NDRPDR iter env 6
490
491     plot-vpp-hdrh-lat-2n-clx-rnd:
492       csit-vpp-perf-report-iterative-2101-2n-clx:
493         - 87  # rls2101.rel NDRPDR iter RND env 6
494
495     plot-vpp-hdrh-lat-2n-clx-nat:
496       csit-vpp-perf-report-iterative-2101-2n-clx:
497         - 118 # rls2101.rel NDRPDR iter NAT env 6
498
499     plot-vpp-nfv-2n-clx-ndrpdr:
500       csit-vpp-perf-report-iterative-2101-2n-clx:
501         - 57  # rls2101.rel NDRPDR nf-density iter env 6
502         - 62  # rls2101.rel NDRPDR nf-density iter env 6
503         - 70  # rls2101.rel NDRPDR nf-density iter env 6
504         - 71  # rls2101.rel NDRPDR nf-density iter env 6
505         - 82  # rls2101.rel NDRPDR nf-density iter env 6
506         - 88  # rls2101.rel NDRPDR nf-density iter env 6
507         - 89  # rls2101.rel NDRPDR nf-density iter env 6
508         - 96  # rls2101.rel NDRPDR nf-density iter env 6
509         - 97  # rls2101.rel NDRPDR nf-density iter env 6
510         - 98  # rls2101.rel NDRPDR nf-density iter env 6
511
512     plot-vpp-nfv-2n-clx-mrr:
513       csit-vpp-perf-report-iterative-2101-2n-clx:
514         - 72  # rls2101.rel MRR nf-density iter env 6
515
516     plot-vpp-nfv-reconf-2n-clx:
517       csit-vpp-perf-report-iterative-2101-2n-clx:
518         - 55  # rls2101.rel NDRPDR reconf iter env 6
519         - 64  # rls2101.rel NDRPDR reconf iter env 6
520         - 76  # rls2101.rel NDRPDR reconf iter env 6
521         - 83  # rls2101.rel NDRPDR reconf iter env 6
522         - 99  # rls2101.rel NDRPDR reconf iter env 6
523         - 101 # rls2101.rel NDRPDR reconf iter env 6
524         - 102 # rls2101.rel NDRPDR reconf iter env 6
525         - 107 # rls2101.rel NDRPDR reconf iter env 6
526         - 109 # rls2101.rel NDRPDR reconf iter env 6
527         - 110 # rls2101.rel NDRPDR reconf iter env 6
528
529     plot-vpp-soak-2n-clx:
530       csit-vpp-perf-report-iterative-2101-2n-clx:
531         - 58  # rls2101.rel soak env 6
532         - 61  # rls2101.rel soak env 6
533
534     plot-dpdk-throughput-latency-2n-clx:
535       csit-dpdk-perf-report-iterative-2101-2n-clx:
536         - 12  # rls2101 NDRPDR iter env 6
537         - 13  # rls2101 NDRPDR iter env 6
538         - 14  # rls2101 NDRPDR iter env 6
539         - 18  # rls2101 NDRPDR iter env 6
540         - 22  # rls2101 NDRPDR iter env 6
541
542     plot-dpdk-hdrh-lat-2n-clx:
543       csit-dpdk-perf-report-iterative-2101-2n-clx:
544         - 12  # rls2101 NDRPDR iter env 6
545
546     # 3n-tsh
547
548     plot-vpp-throughput-lat-tsa-3n-tsh:
549       csit-vpp-perf-report-iterative-2101-3n-tsh:
550         - 23  # rls2101.rel NDRPDR iter env 6
551         - 24  # rls2101.rel NDRPDR iter env 6
552         - 25  # rls2101.rel NDRPDR iter env 6
553         - 26  # rls2101.rel NDRPDR iter env 6
554         - 27  # rls2101.rel NDRPDR iter env 6
555         - 28  # rls2101.rel NDRPDR iter env 6
556         - 29  # rls2101.rel NDRPDR iter env 6
557         - 30  # rls2101.rel NDRPDR iter env 6
558         - 31  # rls2101.rel NDRPDR iter env 6
559         - 32  # rls2101.rel NDRPDR iter env 6
560
561     plot-vpp-hdrh-lat-3n-tsh:
562       csit-vpp-perf-report-iterative-2101-3n-tsh:
563         - 23  # rls2101.rel NDRPDR iter env 6
564
565     plot-dpdk-throughput-latency-3n-tsh:
566       csit-dpdk-perf-report-iterative-2101-3n-tsh:
567         - 11  # rls2101 NDRPDR iter env 6
568         - 12  # rls2101 NDRPDR iter env 6
569         - 13  # rls2101 NDRPDR iter env 6
570         - 14  # rls2101 NDRPDR iter env 6
571         - 16  # rls2101 NDRPDR iter env 6
572         - 17  # rls2101 NDRPDR iter env 6
573         - 18  # rls2101 NDRPDR iter env 6
574         - 19  # rls2101 NDRPDR iter env 6
575         - 20  # rls2101 NDRPDR iter env 6
576         - 21  # rls2101 NDRPDR iter env 6
577
578     plot-dpdk-hdrh-lat-3n-tsh:
579       csit-dpdk-perf-report-iterative-2101-3n-tsh:
580         - 21  # rls2101 NDRPDR iter env 6
581
582     # 2n-tx2
583
584     plot-vpp-throughput-lat-tsa-2n-tx2:
585       csit-vpp-perf-report-iterative-2101-2n-tx2:
586         - 22  # rls2101.rel NDRPDR iter env 6
587         - 23  # rls2101.rel NDRPDR iter env 6
588         - 24  # rls2101.rel NDRPDR iter env 6
589         - 25  # rls2101.rel NDRPDR iter env 6
590         - 26  # rls2101.rel NDRPDR iter env 6
591         - 27  # rls2101.rel NDRPDR iter env 6
592         - 28  # rls2101.rel NDRPDR iter env 6
593         - 29  # rls2101.rel NDRPDR iter env 6
594         - 30  # rls2101.rel NDRPDR iter env 6
595         - 31  # rls2101.rel NDRPDR iter env 6
596
597     plot-vpp-hdrh-lat-2n-tx2:
598       csit-vpp-perf-report-iterative-2101-2n-tx2:
599         - 29  # rls2101.rel NDRPDR iter env 6
600
601     plot-dpdk-throughput-latency-2n-tx2:
602       csit-dpdk-perf-report-iterative-2101-2n-tx2:
603         - 4   # rls2101 NDRPDR iter env 6
604         - 6   # rls2101 NDRPDR iter env 6
605         - 7   # rls2101 NDRPDR iter env 6
606         - 8   # rls2101 NDRPDR iter env 6
607         - 9   # rls2101 NDRPDR iter env 6
608         - 10  # rls2101 NDRPDR iter env 6
609         - 11  # rls2101 NDRPDR iter env 6
610         - 12  # rls2101 NDRPDR iter env 6
611         - 13  # rls2101 NDRPDR iter env 6
612         - 14  # rls2101 NDRPDR iter env 6
613
614     plot-dpdk-hdrh-lat-2n-tx2:
615       csit-dpdk-perf-report-iterative-2101-2n-tx2:
616         - 4   # rls2101 NDRPDR iter env 6
617
618     # 3n-dnv
619
620     plot-vpp-throughput-lat-tsa-3n-dnv:
621       csit-vpp-perf-report-iterative-2101-3n-dnv:
622         - 33  # rls2101.rel NDRPDR iter env 6
623         - 34  # rls2101.rel NDRPDR iter env 6
624         - 35  # rls2101.rel NDRPDR iter env 6
625         - 36  # rls2101.rel NDRPDR iter env 6
626         - 37  # rls2101.rel NDRPDR iter env 6
627         - 38  # rls2101.rel NDRPDR iter env 6
628         - 39  # rls2101.rel NDRPDR iter env 6
629         - 40  # rls2101.rel NDRPDR iter env 6
630         - 41  # rls2101.rel NDRPDR iter env 6
631         - 42  # rls2101.rel NDRPDR iter env 6
632         - 43  # rls2101.rel NDRPDR iter RND env 6
633         - 44  # rls2101.rel NDRPDR iter RND env 6
634         - 45  # rls2101.rel NDRPDR iter RND env 6
635         - 46  # rls2101.rel NDRPDR iter RND env 6
636         - 47  # rls2101.rel NDRPDR iter RND env 6
637         - 48  # rls2101.rel NDRPDR iter RND env 6
638         - 49  # rls2101.rel NDRPDR iter RND env 6
639         - 50  # rls2101.rel NDRPDR iter RND env 6
640         - 51  # rls2101.rel NDRPDR iter RND env 6
641         - 52  # rls2101.rel NDRPDR iter RND env 6
642
643 #    plot-dpdk-throughput-latency-3n-dnv:
644 #      # No data
645 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
646
647     # 2n-dnv
648
649     plot-vpp-throughput-lat-tsa-2n-dnv:
650       csit-vpp-perf-report-iterative-2101-2n-dnv:
651         - 32  # rls2101.rel NDRPDR iter env 6
652         - 33  # rls2101.rel NDRPDR iter env 6
653         - 34  # rls2101.rel NDRPDR iter env 6
654         - 35  # rls2101.rel NDRPDR iter env 6
655         - 39  # rls2101.rel NDRPDR iter env 6
656         - 41  # rls2101.rel NDRPDR iter env 6
657         - 42  # rls2101.rel NDRPDR iter env 6
658         - 43  # rls2101.rel NDRPDR iter env 6
659         - 44  # rls2101.rel NDRPDR iter env 6
660         - 45  # rls2101.rel NDRPDR iter env 6
661         - 46  # rls2101.rel NDRPDR iter RND env 6
662         - 47  # rls2101.rel NDRPDR iter RND env 6
663         - 48  # rls2101.rel NDRPDR iter RND env 6
664         - 49  # rls2101.rel NDRPDR iter RND env 6
665         - 50  # rls2101.rel NDRPDR iter RND env 6
666         - 51  # rls2101.rel NDRPDR iter RND env 6
667         - 52  # rls2101.rel NDRPDR iter RND env 6
668         - 53  # rls2101.rel NDRPDR iter RND env 6
669         - 54  # rls2101.rel NDRPDR iter RND env 6
670         - 55  # rls2101.rel NDRPDR iter RND env 6
671
672 #    plot-dpdk-throughput-latency-2n-dnv:
673 #      # No data
674 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
675
676     ###########################################################################
677     # Simple tables (only one data set):
678
679     # NIC Comparisons
680
681     vpp-nic-comparison-3n-skx:
682       csit-vpp-perf-report-iterative-2101-3n-skx:
683         - 36  # rls2101.rel NDRPDR iter env 6
684         - 37  # rls2101.rel NDRPDR iter env 6
685         - 38  # rls2101.rel NDRPDR iter env 6
686         - 39  # rls2101.rel NDRPDR iter env 6
687         - 40  # rls2101.rel NDRPDR iter env 6
688         - 41  # rls2101.rel NDRPDR iter env 6
689         - 42  # rls2101.rel NDRPDR iter env 6
690         - 47  # rls2101.rel NDRPDR iter env 6
691         - 48  # rls2101.rel NDRPDR iter env 6
692         - 50  # rls2101.rel NDRPDR iter env 6
693
694     vpp-nic-comparison-2n-skx:
695       csit-vpp-perf-report-iterative-2101-2n-skx:
696         - 63  # rls2101.rel NDRPDR iter env 6
697         - 69  # rls2101.rel NDRPDR iter env 6
698         - 70  # rls2101.rel NDRPDR iter env 6
699         - 75  # rls2101.rel NDRPDR iter env 6
700         - 76  # rls2101.rel NDRPDR iter env 6
701         - 77  # rls2101.rel NDRPDR iter env 6
702         - 82  # rls2101.rel NDRPDR iter env 6
703         - 85  # rls2101.rel NDRPDR iter env 6
704         - 86  # rls2101.rel NDRPDR iter env 6
705         - 94  # rls2101.rel NDRPDR iter env 6
706         - 89  # rls2101.rel NDRPDR iter RND env 6
707         - 90  # rls2101.rel NDRPDR iter RND env 6
708         - 91  # rls2101.rel NDRPDR iter RND env 6
709         - 92  # rls2101.rel NDRPDR iter RND env 6
710         - 93  # rls2101.rel NDRPDR iter RND env 6
711         - 96  # rls2101.rel NDRPDR iter RND env 6
712         - 98  # rls2101.rel NDRPDR iter RND env 6
713         - 99  # rls2101.rel NDRPDR iter RND env 6
714         - 101 # rls2101.rel NDRPDR iter RND env 6
715         - 102 # rls2101.rel NDRPDR iter RND env 6
716         - 116 # rls2101.rel NDRPDR iter NAT env 6
717         - 117 # rls2101.rel NDRPDR iter NAT env 6
718         - 118 # rls2101.rel NDRPDR iter NAT env 6
719         - 119 # rls2101.rel NDRPDR iter NAT env 6
720         - 120 # rls2101.rel NDRPDR iter NAT env 6
721         - 121 # rls2101.rel NDRPDR iter NAT env 6
722         - 122 # rls2101.rel NDRPDR iter NAT env 6
723         - 123 # rls2101.rel NDRPDR iter NAT env 6
724         - 124 # rls2101.rel NDRPDR iter NAT env 6
725         - 125 # rls2101.rel NDRPDR iter NAT env 6
726
727     vpp-nic-comparison-3n-skx-mrr:
728       csit-vpp-perf-report-iterative-2101-3n-skx:
729         - 35  # rls2101.rel MRR iter env 6
730
731     vpp-nic-comparison-2n-skx-mrr:
732       csit-vpp-perf-report-iterative-2101-2n-skx:
733         - 62  # rls2101.rel MRR iter env 6
734
735     # Results
736
737     vpp-perf-results-3n-hsw:
738       csit-vpp-perf-report-coverage-2101-3n-hsw:
739         - 1   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-00
740         - 2   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-01
741         - 3   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-02
742         - 4   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-03
743         - 5   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-00
744         - 6   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-01
745         - 7   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-02
746         - 8   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-03
747         - 9   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-04
748         - 10  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-05
749         - 11  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-06
750         - 12  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-07
751         - 13  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4tun-00
752         - 14  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4tun-01
753         - 15  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4tun-02
754         - 16  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip6-00
755         - 18  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip6-01
756         - 19  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-00
757         - 20  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-01
758         - 21  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-02
759         - 22  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-03
760         - 23  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-04
761         - 24  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip6tun-00
762         - 25  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-05
763         - 26  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-06
764         - 27  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-07
765         - 28  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-08
766         - 29  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-09
767         - 30  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-10
768         - 31  # rls2101.rel NDRPDR cov env 6 3n-hsw-memif-00
769         - 32  # rls2101.rel NDRPDR cov env 6 3n-hsw-srv6-00
770         - 33  # rls2101.rel NDRPDR cov env 6 3n-hsw-srv6-01
771         - 34  # rls2101.rel NDRPDR cov env 6 3n-hsw-vhost-00
772         - 35  # rls2101.rel NDRPDR cov env 6 3n-hsw-vhost-01
773         - 36  # rls2101.rel NDRPDR cov env 6 3n-hsw-vhost-02
774
775     vpp-perf-results-3n-skx:
776       csit-vpp-perf-report-coverage-2101-3n-skx:
777         - 1   # rls2101.rel NDRPDR cov env 6 3n-skx-crypto-00
778         - 2   # rls2101.rel NDRPDR cov env 6 3n-skx-crypto-01
779         - 3   # rls2101.rel NDRPDR cov env 6 3n-skx-crypto-02
780 #         - 4   # rls2101.rel NDRPDR cov env 6 3n-skx-crypto-03
781         - 5   # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-00
782         - 16  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-01
783         - 7   # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-02
784 #         - 17  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-03
785         - 18  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-04
786         - 19  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-05
787         - 20  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-06
788         - 12  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-06
789         - 13  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4tun-00
790         - 26  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4tun-01
791         - 15  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4tun-02
792         - 21  # rls2101.rel NDRPDR cov env 6 3n-skx-ip6-00
793         - 22  # rls2101.rel NDRPDR cov env 6 3n-skx-ip6-01
794         - 23  # rls2101.rel NDRPDR cov env 6 3n-skx-ip6tun-00
795         - 24  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-00
796         - 30  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-01
797         - 27  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-02
798         - 28  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-03
799         - 29  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-04
800 #         - 31  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-05
801         - 32  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-06
802         - 33  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-07
803         - 34  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-08
804         - 35  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-09
805         - 36  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-10
806         - 37  # rls2101.rel NDRPDR cov env 6 3n-skx-memif-00
807         - 38  # rls2101.rel NDRPDR cov env 6 3n-skx-srv6-00
808         - 39  # rls2101.rel NDRPDR cov env 6 3n-skx-srv6-01
809 #         - 40  # rls2101.rel NDRPDR cov env 6 3n-skx-vhost-00
810         - 41  # rls2101.rel NDRPDR cov env 6 3n-skx-vhost-01
811         - 42  # rls2101.rel NDRPDR cov env 6 3n-skx-vhost-02
812         - 43  # rls2101.rel NDRPDR cov env 6 3n-skx-vhost-03
813
814     vpp-perf-results-2n-skx:
815       csit-vpp-perf-report-coverage-2101-2n-skx:
816         - 1   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-00
817         - 2   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-01
818         - 3   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-02
819         - 4   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-03
820         - 5   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-04
821         - 6   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-05
822         - 7   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-06
823         - 8   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-07
824         - 21  # rls2101.rel NDRPDR cov env 6 2n-skx-ip4tun-00
825         - 22  # rls2101.rel NDRPDR cov env 6 2n-skx-ip4tun-00
826         - 10  # rls2101.rel NDRPDR cov env 6 2n-skx-ip6-00
827         - 11  # rls2101.rel NDRPDR cov env 6 2n-skx-ip6-01
828         - 12  # rls2101.rel NDRPDR cov env 6 2n-skx-l2-00
829         - 13  # rls2101.rel NDRPDR cov env 6 2n-skx-l2-01
830         - 14  # rls2101.rel NDRPDR cov env 6 2n-skx-lb-00
831         - 15  # rls2101.rel NDRPDR cov env 6 2n-skx-memif-00
832         - 16  # rls2101.rel NDRPDR cov env 6 2n-skx-vhost-00
833         - 17  # rls2101.rel NDRPDR cov env 6 2n-skx-vhost-01
834         - 19  # rls2101.rel NDRPDR cov env 6 2n-skx-vts-00
835
836     vpp-perf-results-2n-zn2:
837       csit-vpp-perf-report-coverage-2101-2n-zn2:
838         - 1   # rls2101.rel NDRPDR cov env 6 2n-zn2-ip4-00
839         - 2   # rls2101.rel NDRPDR cov env 6 2n-zn2-ip4-01
840         - 3   # rls2101.rel NDRPDR cov env 6 2n-zn2-ip4-02
841 #         - 4   # rls2101.rel NDRPDR cov env 6 2n-zn2-ip4-03
842         - 5   # rls2101.rel NDRPDR cov env 6 2n-zn2-ip4-04
843         - 6   # rls2101.rel NDRPDR cov env 6 2n-zn2-ip4-05
844         - 17  # rls2101.rel NDRPDR cov env 6 2n-zn2-ip4tun-00
845 #         - 18  # rls2101.rel NDRPDR cov env 6 2n-zn2-ip4tun-01
846         - 8   # rls2101.rel NDRPDR cov env 6 2n-zn2-ip6-00
847         - 9   # rls2101.rel NDRPDR cov env 6 2n-zn2-ip6-01
848         - 10  # rls2101.rel NDRPDR cov env 6 2n-zn2-l2-00
849         - 11  # rls2101.rel NDRPDR cov env 6 2n-zn2-l2-01
850         - 12  # rls2101.rel NDRPDR cov env 6 2n-zn2-lb-00
851         - 13  # rls2101.rel NDRPDR cov env 6 2n-zn2-memif-00
852         - 14  # rls2101.rel NDRPDR cov env 6 2n-zn2-vhost-00
853         - 15  # rls2101.rel NDRPDR cov env 6 2n-zn2-vhost-00
854 #         - 16  # rls2101.rel NDRPDR cov env 6 2n-zn2-vts-00
855
856     vpp-perf-results-2n-clx:
857       csit-vpp-perf-report-coverage-2101-2n-clx:
858         - 1   # rls2101.rel NDRPDR cov env 6 2n-clx-ip4-00
859         - 2   # rls2101.rel NDRPDR cov env 6 2n-clx-ip4-01
860         - 3   # rls2101.rel NDRPDR cov env 6 2n-clx-ip4-02
861         - 4   # rls2101.rel NDRPDR cov env 6 2n-clx-ip4-03
862         - 5   # rls2101.rel NDRPDR cov env 6 2n-clx-ip4-04
863         - 6   # rls2101.rel NDRPDR cov env 6 2n-clx-ip4-05
864         - 7   # rls2101.rel NDRPDR cov env 6 2n-clx-ip4-06
865         - 8   # rls2101.rel NDRPDR cov env 6 2n-clx-ip4-07
866         - 19  # rls2101.rel NDRPDR cov env 6 2n-clx-ip4tun-00
867         - 20  # rls2101.rel NDRPDR cov env 6 2n-clx-ip4tun-00
868         - 10  # rls2101.rel NDRPDR cov env 6 2n-clx-ip6-00
869         - 11  # rls2101.rel NDRPDR cov env 6 2n-clx-ip6-01
870         - 12  # rls2101.rel NDRPDR cov env 6 2n-clx-l2-00
871         - 13  # rls2101.rel NDRPDR cov env 6 2n-clx-l2-01
872         - 14  # rls2101.rel NDRPDR cov env 6 2n-clx-lb-00
873         - 15  # rls2101.rel NDRPDR cov env 6 2n-clx-memif-00
874         - 16  # rls2101.rel NDRPDR cov env 6 2n-clx-vhost-00
875         - 17  # rls2101.rel NDRPDR cov env 6 2n-clx-vhost-01
876         - 18  # rls2101.rel NDRPDR cov env 6 2n-clx-vts-00
877
878     vpp-perf-results-3n-tsh:
879       csit-vpp-perf-report-iterative-2101-3n-tsh:
880         - 23  # rls2101.rel NDRPDR iter env 6
881
882     vpp-perf-results-2n-tx2:
883       csit-vpp-perf-report-coverage-2101-2n-tx2:
884         - 1   # rls2101.rel NDRPDR cov env 6 2n-tx2-ip4-00
885         - 2   # rls2101.rel NDRPDR cov env 6 2n-tx2-ip4-01
886         - 3   # rls2101.rel NDRPDR cov env 6 2n-tx2-ip4-02
887         - 4   # rls2101.rel NDRPDR cov env 6 2n-tx2-ip4-03
888         - 5   # rls2101.rel NDRPDR cov env 6 2n-tx2-ip4-04
889         - 6   # rls2101.rel NDRPDR cov env 6 2n-tx2-ip4-05
890         - 7   # rls2101.rel NDRPDR cov env 6 2n-tx2-ip4-06
891         - 8   # rls2101.rel NDRPDR cov env 6 2n-tx2-ip6-00
892         - 9   # rls2101.rel NDRPDR cov env 6 2n-tx2-ip6-01
893         - 10  # rls2101.rel NDRPDR cov env 6 2n-tx2-l2-00
894         - 11  # rls2101.rel NDRPDR cov env 6 2n-tx2-l2-01
895         - 12  # rls2101.rel NDRPDR cov env 6 2n-tx2-l2-02
896         - 13  # rls2101.rel NDRPDR cov env 6 2n-tx2-l2-03
897         - 15  # rls2101.rel NDRPDR cov env 6 2n-tx2-l2-04
898
899     vpp-perf-results-3n-dnv:
900       csit-vpp-perf-report-coverage-2101-3n-dnv:
901         - 1   # rls2101.rel NDRPDR cov env 6 3n-dnv-crypto-00
902         - 2   # rls2101.rel NDRPDR cov env 6 3n-dnv-crypto-01
903         - 3   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4-00
904         - 4   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4-01
905         - 5   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4tun-00
906         - 6   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip6-00
907         - 7   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip6-01
908         - 8   # rls2101.rel NDRPDR cov env 6 3n-dnv-l2-00
909         - 9   # rls2101.rel NDRPDR cov env 6 3n-dnv-l2-01
910
911     vpp-perf-results-2n-dnv:
912       csit-vpp-perf-report-coverage-2101-2n-dnv:
913         - 1   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4-00
914         - 2   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4-01
915         - 3   # rls2101.rel NDRPDR cov env 6 2n-dnv-ip6-00
916         - 4   # rls2101.rel NDRPDR cov env 6 2n-dnv-ip6-01
917         - 5   # rls2101.rel NDRPDR cov env 6 2n-dnv-l2-00
918         - 6   # rls2101.rel NDRPDR cov env 6 2n-dnv-l2-01
919
920     vpp-mrr-results-3n-hsw:
921       csit-vpp-perf-report-iterative-2101-3n-hsw:
922         - 63  # rls2101.rel MRR iter env 6
923
924     vpp-mrr-results-3n-skx:
925       csit-vpp-perf-report-iterative-2101-3n-skx:
926         - 35  # rls2101.rel MRR iter env 6
927
928     vpp-mrr-results-2n-skx:
929       csit-vpp-perf-report-iterative-2101-2n-skx:
930         - 62  # rls2101.rel MRR iter env 6
931
932     vpp-mrr-results-2n-zn2:
933       csit-vpp-perf-report-iterative-2101-2n-zn2:
934         - 30  # rls2101.rel MRR iter env 6
935
936     vpp-mrr-results-2n-clx:
937       csit-vpp-perf-report-iterative-2101-2n-clx:
938         - 53  # rls2101.rel MRR iter env 6
939
940     vpp-mrr-results-3n-tsh:
941       csit-vpp-perf-report-iterative-2101-3n-tsh:
942         - 22  # rls2101.rel MRR iter env 6
943
944     vpp-mrr-results-2n-tx2:
945       csit-vpp-perf-report-iterative-2101-2n-tx2:
946         - 21  # rls2101.rel MRR iter env 6
947
948     vpp-mrr-results-3n-dnv:
949       csit-vpp-perf-report-iterative-2101-3n-dnv:
950         - 32  # rls2101.rel MRR iter env 6
951
952     vpp-mrr-results-2n-dnv:
953       csit-vpp-perf-report-iterative-2101-2n-dnv:
954         - 31  # rls2101.rel MRR iter env 6
955
956     vpp-device-results-ubuntu:
957       csit-vpp-device-2101-ubuntu1804-1n-skx:
958         - 358  # rls2101.rel VPP DEV env 6
959
960     dpdk-perf-results-3n-hsw:
961       csit-dpdk-perf-report-iterative-2101-3n-hsw:
962         - 11  # rls2101 NDRPDR iter env 6
963
964     dpdk-perf-results-3n-skx:
965       csit-dpdk-perf-report-iterative-2101-3n-skx:
966         - 12  # rls2101 NDRPDR iter env 6
967
968     dpdk-perf-results-2n-skx:
969       csit-dpdk-perf-report-iterative-2101-2n-skx:
970         - 11  # rls2101 NDRPDR iter env 6
971
972     dpdk-perf-results-2n-zn2:
973       csit-dpdk-perf-report-iterative-2101-2n-zn2:
974         - 11  # rls2101 NDRPDR iter env 6
975
976     dpdk-perf-results-2n-clx:
977       csit-dpdk-perf-report-iterative-2101-2n-clx:
978         - 12  # rls2101 NDRPDR iter env 6
979
980 #    dpdk-perf-results-2n-dnv:
981 #      # No data
982 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
983
984 #    dpdk-perf-results-3n-dnv:
985 #      # No data
986 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
987
988     dpdk-perf-results-3n-tsh:
989       csit-dpdk-perf-report-iterative-2101-3n-tsh:
990         - 21  # rls2101 NDRPDR iter env 6
991
992     dpdk-perf-results-2n-tx2:
993       csit-dpdk-perf-report-iterative-2101-2n-tx2:
994         - 4   # rls2101 NDRPDR iter env 6
995
996 ###########################################################################
997     # Tables (more than one data set)
998
999     # Performance changes
1000
1001     vpp-performance-changes-3n-hsw-h1:
1002       csit-vpp-perf-report-iterative-2009-3n-hsw:
1003         - 9   # rls2005 NDRPDR iter env 5
1004         - 10  # rls2005 NDRPDR iter env 5
1005         - 11  # rls2005 NDRPDR iter env 5
1006         - 12  # rls2005 NDRPDR iter env 5
1007         - 13  # rls2005 NDRPDR iter env 5
1008         - 14  # rls2005 NDRPDR iter env 5
1009         - 15  # rls2005 NDRPDR iter env 5
1010         - 16  # rls2005 NDRPDR iter env 5
1011         - 17  # rls2005 NDRPDR iter env 5
1012         - 19  # rls2005 NDRPDR iter env 5
1013     vpp-performance-changes-3n-hsw-ref-env-old:
1014       csit-vpp-perf-report-iterative-2009-3n-hsw:
1015         - 21  # rls2009 NDRPDR iter env 5
1016         - 22  # rls2009 NDRPDR iter env 5
1017         - 24  # rls2009 NDRPDR iter env 5
1018         - 25  # rls2009 NDRPDR iter env 5
1019         - 26  # rls2009 NDRPDR iter env 5
1020         - 27  # rls2009 NDRPDR iter env 5
1021         - 28  # rls2009 NDRPDR iter env 5
1022         - 29  # rls2009 NDRPDR iter env 5
1023         - 30  # rls2009 NDRPDR iter env 5
1024         - 31  # rls2009 NDRPDR iter env 5
1025     vpp-performance-changes-3n-hsw-ref-env-new:
1026       csit-vpp-perf-report-iterative-2101-3n-hsw:
1027         - 19  # rls2009 NDRPDR iter env 6
1028         - 20  # rls2009 NDRPDR iter env 6
1029         - 21  # rls2009 NDRPDR iter env 6
1030         - 22  # rls2009 NDRPDR iter env 6
1031         - 23  # rls2009 NDRPDR iter env 6
1032         - 24  # rls2009 NDRPDR iter env 6
1033         - 25  # rls2009 NDRPDR iter env 6
1034         - 26  # rls2009 NDRPDR iter env 6
1035         - 27  # rls2009 NDRPDR iter env 6
1036         - 28  # rls2009 NDRPDR iter env 6
1037     vpp-performance-changes-3n-hsw-cmp:
1038       csit-vpp-perf-report-iterative-2101-3n-hsw:
1039         - 64  # rls2101.rel NDRPDR iter env 6
1040         - 71  # rls2101.rel NDRPDR iter env 6
1041         - 73  # rls2101.rel NDRPDR iter env 6
1042         - 74  # rls2101.rel NDRPDR iter env 6
1043         - 80  # rls2101.rel NDRPDR iter env 6
1044         - 81  # rls2101.rel NDRPDR iter env 6
1045         - 82  # rls2101.rel NDRPDR iter env 6
1046         - 83  # rls2101.rel NDRPDR iter env 6
1047         - 88  # rls2101.rel NDRPDR iter env 6
1048         - 89  # rls2101.rel NDRPDR iter env 6
1049         - 128 # rls2101.rel NDRPDR iter RND env 6
1050         - 129 # rls2101.rel NDRPDR iter RND env 6
1051         - 130 # rls2101.rel NDRPDR iter RND env 6
1052         - 131 # rls2101.rel NDRPDR iter RND env 6
1053         - 132 # rls2101.rel NDRPDR iter RND env 6
1054         - 133 # rls2101.rel NDRPDR iter RND env 6
1055         - 134 # rls2101.rel NDRPDR iter RND env 6
1056         - 135 # rls2101.rel NDRPDR iter RND env 6
1057         - 136 # rls2101.rel NDRPDR iter RND env 6
1058         - 137 # rls2101.rel NDRPDR iter RND env 6
1059
1060     vpp-performance-changes-3n-skx-h1:
1061       csit-vpp-perf-report-iterative-2009-3n-skx:
1062         - 13  # rls2005 NDRPDR iter env 5
1063         - 18  # rls2005 NDRPDR iter env 5
1064         - 19  # rls2005 NDRPDR iter env 5
1065         - 41  # rls2005 NDRPDR iter env 5
1066         - 43  # rls2005 NDRPDR iter env 5
1067         - 44  # rls2005 NDRPDR iter env 5
1068         - 45  # rls2005 NDRPDR iter env 5
1069         - 46  # rls2005 NDRPDR iter env 5
1070         - 48  # rls2005 NDRPDR iter env 5
1071         - 49  # rls2005 NDRPDR iter env 5
1072     vpp-performance-changes-3n-skx-ref-env-old:
1073       csit-vpp-perf-report-iterative-2009-3n-skx:
1074         - 26  # rls2009 NDRPDR iter env 5
1075         - 27  # rls2009 NDRPDR iter env 5
1076         - 28  # rls2009 NDRPDR iter env 5
1077         - 29  # rls2009 NDRPDR iter env 5
1078         - 35  # rls2009 NDRPDR iter env 5
1079         - 36  # rls2009 NDRPDR iter env 5
1080         - 37  # rls2009 NDRPDR iter env 5
1081         - 38  # rls2009 NDRPDR iter env 5
1082         - 39  # rls2009 NDRPDR iter env 5
1083         - 40  # rls2009 NDRPDR iter env 5
1084     vpp-performance-changes-3n-skx-ref-env-new:
1085       csit-vpp-perf-report-iterative-2101-3n-skx:
1086         - 14  # rls2009 NDRPDR iter env 6
1087         - 15  # rls2009 NDRPDR iter env 6
1088         - 16  # rls2009 NDRPDR iter env 6
1089         - 17  # rls2009 NDRPDR iter env 6
1090         - 18  # rls2009 NDRPDR iter env 6
1091         - 25  # rls2009 NDRPDR iter env 6
1092         - 26  # rls2009 NDRPDR iter env 6
1093         - 27  # rls2009 NDRPDR iter env 6
1094         - 29  # rls2009 NDRPDR iter env 6
1095         - 31  # rls2009 NDRPDR iter env 6
1096     vpp-performance-changes-3n-skx-cmp:
1097       csit-vpp-perf-report-iterative-2101-3n-skx:
1098         - 36  # rls2101.rel NDRPDR iter env 6
1099         - 37  # rls2101.rel NDRPDR iter env 6
1100         - 38  # rls2101.rel NDRPDR iter env 6
1101         - 39  # rls2101.rel NDRPDR iter env 6
1102         - 40  # rls2101.rel NDRPDR iter env 6
1103         - 41  # rls2101.rel NDRPDR iter env 6
1104         - 42  # rls2101.rel NDRPDR iter env 6
1105         - 47  # rls2101.rel NDRPDR iter env 6
1106         - 48  # rls2101.rel NDRPDR iter env 6
1107         - 50  # rls2101.rel NDRPDR iter env 6
1108
1109     vpp-performance-changes-2n-skx-h1:
1110       csit-vpp-perf-report-iterative-2009-2n-skx:
1111         - 13  # rls2005 NDRPDR iter env 5
1112         - 16  # rls2005 NDRPDR iter env 5
1113         - 17  # rls2005 NDRPDR iter env 5
1114         - 18  # rls2005 NDRPDR iter env 5
1115         - 19  # rls2005 NDRPDR iter env 5
1116         - 21  # rls2005 NDRPDR iter env 5
1117         - 22  # rls2005 NDRPDR iter env 5
1118         - 23  # rls2005 NDRPDR iter env 5
1119         - 24  # rls2005 NDRPDR iter env 5
1120         - 25  # rls2005 NDRPDR iter env 5
1121     vpp-performance-changes-2n-skx-ref-env-old:
1122       csit-vpp-perf-report-iterative-2009-2n-skx:
1123         - 35  # rls2009 NDRPDR iter env 5
1124         - 36  # rls2009 NDRPDR iter env 5
1125         - 37  # rls2009 NDRPDR iter env 5
1126         - 39  # rls2009 NDRPDR iter env 5
1127         - 40  # rls2009 NDRPDR iter env 5
1128         - 42  # rls2009 NDRPDR iter env 5
1129         - 43  # rls2009 NDRPDR iter env 5
1130         - 44  # rls2009 NDRPDR iter env 5
1131         - 46  # rls2009 NDRPDR iter env 5
1132         - 48  # rls2009 NDRPDR iter env 5
1133         - 110 # rls2009 NDRPDR iter NAT44 env 5
1134         - 111 # rls2009 NDRPDR iter NAT44 env 5
1135         - 112 # rls2009 NDRPDR iter NAT44 env 5
1136         - 113 # rls2009 NDRPDR iter NAT44 env 5
1137         - 114 # rls2009 NDRPDR iter NAT44 env 5
1138         - 115 # rls2009 NDRPDR iter NAT44 env 5
1139         - 116 # rls2009 NDRPDR iter NAT44 env 5
1140         - 118 # rls2009 NDRPDR iter NAT44 env 5
1141         - 119 # rls2009 NDRPDR iter NAT44 env 5
1142         - 121 # rls2009 NDRPDR iter NAT44 env 5
1143     vpp-performance-changes-2n-skx-ref-env-new:
1144       csit-vpp-perf-report-iterative-2101-2n-skx:
1145         - 22  # rls2009 NDRPDR iter env 6
1146         - 23  # rls2009 NDRPDR iter env 6
1147         - 24  # rls2009 NDRPDR iter env 6
1148         - 25  # rls2009 NDRPDR iter env 6
1149         - 26  # rls2009 NDRPDR iter env 6
1150         - 28  # rls2009 NDRPDR iter env 6
1151         - 39  # rls2009 NDRPDR iter env 6
1152         - 40  # rls2009 NDRPDR iter env 6
1153         - 41  # rls2009 NDRPDR iter env 6
1154         - 44  # rls2009 NDRPDR iter env 6
1155     vpp-performance-changes-2n-skx-cmp:
1156       csit-vpp-perf-report-iterative-2101-2n-skx:
1157         - 63  # rls2101.rel NDRPDR iter env 6
1158         - 69  # rls2101.rel NDRPDR iter env 6
1159         - 70  # rls2101.rel NDRPDR iter env 6
1160         - 75  # rls2101.rel NDRPDR iter env 6
1161         - 76  # rls2101.rel NDRPDR iter env 6
1162         - 77  # rls2101.rel NDRPDR iter env 6
1163         - 82  # rls2101.rel NDRPDR iter env 6
1164         - 85  # rls2101.rel NDRPDR iter env 6
1165         - 86  # rls2101.rel NDRPDR iter env 6
1166         - 94  # rls2101.rel NDRPDR iter env 6
1167         - 89  # rls2101.rel NDRPDR iter RND env 6
1168         - 90  # rls2101.rel NDRPDR iter RND env 6
1169         - 91  # rls2101.rel NDRPDR iter RND env 6
1170         - 92  # rls2101.rel NDRPDR iter RND env 6
1171         - 93  # rls2101.rel NDRPDR iter RND env 6
1172         - 96  # rls2101.rel NDRPDR iter RND env 6
1173         - 98  # rls2101.rel NDRPDR iter RND env 6
1174         - 99  # rls2101.rel NDRPDR iter RND env 6
1175         - 101 # rls2101.rel NDRPDR iter RND env 6
1176         - 102 # rls2101.rel NDRPDR iter RND env 6
1177         - 116 # rls2101.rel NDRPDR iter NAT env 6
1178         - 117 # rls2101.rel NDRPDR iter NAT env 6
1179         - 118 # rls2101.rel NDRPDR iter NAT env 6
1180         - 119 # rls2101.rel NDRPDR iter NAT env 6
1181         - 120 # rls2101.rel NDRPDR iter NAT env 6
1182         - 121 # rls2101.rel NDRPDR iter NAT env 6
1183         - 122 # rls2101.rel NDRPDR iter NAT env 6
1184         - 123 # rls2101.rel NDRPDR iter NAT env 6
1185         - 124 # rls2101.rel NDRPDR iter NAT env 6
1186         - 125 # rls2101.rel NDRPDR iter NAT env 6
1187
1188     vpp-performance-changes-2n-clx-h1:
1189       csit-vpp-perf-report-iterative-2009-2n-clx:
1190         - 13  # rls2005 NDRPDR iter env 5
1191         - 15  # rls2005 NDRPDR iter env 5
1192         - 17  # rls2005 NDRPDR iter env 5
1193         - 18  # rls2005 NDRPDR iter env 5
1194         - 19  # rls2005 NDRPDR iter env 5
1195         - 20  # rls2005 NDRPDR iter env 5
1196         - 21  # rls2005 NDRPDR iter env 5
1197         - 22  # rls2005 NDRPDR iter env 5
1198         - 23  # rls2005 NDRPDR iter env 5
1199         - 24  # rls2005 NDRPDR iter env 5
1200     vpp-performance-changes-2n-clx-ref-env-old:
1201       csit-vpp-perf-report-iterative-2009-2n-clx:
1202         - 36  # rls2009 NDRPDR iter env 5
1203         - 39  # rls2009 NDRPDR iter env 5
1204         - 40  # rls2009 NDRPDR iter env 5
1205         - 65  # rls2009 NDRPDR iter env 5
1206         - 66  # rls2009 NDRPDR iter env 5
1207         - 79  # rls2009 NDRPDR iter env 5
1208         - 82  # rls2009 NDRPDR iter env 5
1209         - 88  # rls2009 NDRPDR iter env 5
1210         - 89  # rls2009 NDRPDR iter env 5
1211         - 90  # rls2009 NDRPDR iter env 5
1212         - 114 # rls2009 NDRPDR iter NAT44 env 5
1213         - 115 # rls2009 NDRPDR iter NAT44 env 5
1214         - 116 # rls2009 NDRPDR iter NAT44 env 5
1215         - 117 # rls2009 NDRPDR iter NAT44 env 5
1216         - 118 # rls2009 NDRPDR iter NAT44 env 5
1217         - 119 # rls2009 NDRPDR iter NAT44 env 5
1218         - 121 # rls2009 NDRPDR iter NAT44 env 5
1219         - 122 # rls2009 NDRPDR iter NAT44 env 5
1220         - 123 # rls2009 NDRPDR iter NAT44 env 5
1221         - 126 # rls2009 NDRPDR iter NAT44 env 5
1222     vpp-performance-changes-2n-clx-ref-env-new:
1223       csit-vpp-perf-report-iterative-2101-2n-clx:
1224         - 16  # rls2009 NDRPDR iter env 6
1225         - 17  # rls2009 NDRPDR iter env 6
1226         - 18  # rls2009 NDRPDR iter env 6
1227         - 19  # rls2009 NDRPDR iter env 6
1228         - 20  # rls2009 NDRPDR iter env 6
1229         - 21  # rls2009 NDRPDR iter env 6
1230         - 32  # rls2009 NDRPDR iter env 6
1231         - 33  # rls2009 NDRPDR iter env 6
1232         - 34  # rls2009 NDRPDR iter env 6
1233         - 35  # rls2009 NDRPDR iter env 6
1234     vpp-performance-changes-2n-clx-cmp:
1235       csit-vpp-perf-report-iterative-2101-2n-clx:
1236         - 54  # rls2101.rel NDRPDR iter env 6
1237         - 59  # rls2101.rel NDRPDR iter env 6
1238         - 60  # rls2101.rel NDRPDR iter env 6
1239         - 63  # rls2101.rel NDRPDR iter env 6
1240         - 66  # rls2101.rel NDRPDR iter env 6
1241         - 68  # rls2101.rel NDRPDR iter env 6
1242         - 73  # rls2101.rel NDRPDR iter env 6
1243         - 75  # rls2101.rel NDRPDR iter env 6
1244         - 86  # rls2101.rel NDRPDR iter env 6
1245         - 90  # rls2101.rel NDRPDR iter env 6
1246         - 80  # rls2101.rel NDRPDR iter RND env 6
1247         - 87  # rls2101.rel NDRPDR iter RND env 6
1248         - 91  # rls2101.rel NDRPDR iter RND env 6
1249         - 92  # rls2101.rel NDRPDR iter RND env 6
1250         - 93  # rls2101.rel NDRPDR iter RND env 6
1251         - 94  # rls2101.rel NDRPDR iter RND env 6
1252         - 95  # rls2101.rel NDRPDR iter RND env 6
1253         - 100 # rls2101.rel NDRPDR iter RND env 6
1254         - 106 # rls2101.rel NDRPDR iter RND env 6
1255         - 108 # rls2101.rel NDRPDR iter RND env 6
1256         - 112 # rls2101.rel NDRPDR iter NAT env 6
1257         - 113 # rls2101.rel NDRPDR iter NAT env 6
1258         - 114 # rls2101.rel NDRPDR iter NAT env 6
1259         - 115 # rls2101.rel NDRPDR iter NAT env 6
1260         - 116 # rls2101.rel NDRPDR iter NAT env 6
1261         - 117 # rls2101.rel NDRPDR iter NAT env 6
1262         - 118 # rls2101.rel NDRPDR iter NAT env 6
1263         - 119 # rls2101.rel NDRPDR iter NAT env 6
1264         - 120 # rls2101.rel NDRPDR iter NAT env 6
1265         - 121 # rls2101.rel NDRPDR iter NAT env 6
1266
1267     vpp-performance-changes-2n-zn2-ref-env-old:
1268       csit-vpp-perf-report-iterative-2009-2n-zn2:
1269         - 17  # rls2009 NDRPDR iter env 5
1270         - 18  # rls2009 NDRPDR iter env 5
1271         - 31  # rls2009 NDRPDR iter env 5
1272         - 33  # rls2009 NDRPDR iter env 5
1273         - 34  # rls2009 NDRPDR iter env 5
1274     vpp-performance-changes-2n-zn2-ref-env-new:
1275       csit-vpp-perf-report-iterative-2101-2n-zn2:
1276         - 9   # rls2009 NDRPDR iter env 6
1277         - 10  # rls2009 NDRPDR iter env 6
1278         - 11  # rls2009 NDRPDR iter env 6
1279         - 12  # rls2009 NDRPDR iter env 6
1280         - 13  # rls2009 NDRPDR iter env 6
1281         - 20  # rls2009 NDRPDR iter env 6
1282         - 21  # rls2009 NDRPDR iter env 6
1283         - 22  # rls2009 NDRPDR iter env 6
1284         - 25  # rls2009 NDRPDR iter env 6
1285         - 26  # rls2009 NDRPDR iter env 6
1286     vpp-performance-changes-2n-zn2-cmp:
1287       csit-vpp-perf-report-iterative-2101-2n-zn2:
1288         - 31  # rls2101.rel NDRPDR iter env 6
1289         - 32  # rls2101.rel NDRPDR iter env 6
1290         - 33  # rls2101.rel NDRPDR iter env 6
1291         - 34  # rls2101.rel NDRPDR iter env 6
1292         - 35  # rls2101.rel NDRPDR iter env 6
1293         - 36  # rls2101.rel NDRPDR iter env 6
1294         - 37  # rls2101.rel NDRPDR iter env 6
1295         - 38  # rls2101.rel NDRPDR iter env 6
1296         - 44  # rls2101.rel NDRPDR iter env 6
1297         - 49  # rls2101.rel NDRPDR iter env 6
1298         - 39  # rls2101.rel NDRPDR iter RND env 6
1299         - 40  # rls2101.rel NDRPDR iter RND env 6
1300         - 41  # rls2101.rel NDRPDR iter RND env 6
1301         - 42  # rls2101.rel NDRPDR iter RND env 6
1302         - 43  # rls2101.rel NDRPDR iter RND env 6
1303         - 45  # rls2101.rel NDRPDR iter RND env 6
1304         - 48  # rls2101.rel NDRPDR iter RND env 6
1305         - 50  # rls2101.rel NDRPDR iter RND env 6
1306         - 51  # rls2101.rel NDRPDR iter RND env 6
1307         - 52  # rls2101.rel NDRPDR iter RND env 6
1308
1309     vpp-performance-changes-2n-dnv-h1:
1310       csit-vpp-perf-report-iterative-2009-2n-dnv:
1311         - 16  # rls2005 NDRPDR iter env 5
1312         - 17  # rls2005 NDRPDR iter env 5
1313         - 18  # rls2005 NDRPDR iter env 5
1314         - 19  # rls2005 NDRPDR iter env 5
1315         - 21  # rls2005 NDRPDR iter env 5
1316         - 24  # rls2005 NDRPDR iter env 5
1317         - 27  # rls2005 NDRPDR iter env 5
1318         - 28  # rls2005 NDRPDR iter env 5
1319         - 29  # rls2005 NDRPDR iter env 5
1320         - 30  # rls2005 NDRPDR iter env 5
1321     vpp-performance-changes-2n-dnv-ref-env-old:
1322       csit-vpp-perf-report-iterative-2009-2n-dnv:
1323         - 3   # rls2009 NDRPDR iter env 5
1324         - 5   # rls2009 NDRPDR iter env 5
1325         - 6   # rls2009 NDRPDR iter env 5
1326         - 7   # rls2009 NDRPDR iter env 5
1327         - 9   # rls2009 NDRPDR iter env 5
1328         - 10  # rls2009 NDRPDR iter env 5
1329         - 11  # rls2009 NDRPDR iter env 5
1330         - 12  # rls2009 NDRPDR iter env 5
1331         - 14  # rls2009 NDRPDR iter env 5
1332         - 15  # rls2009 NDRPDR iter env 5
1333     vpp-performance-changes-2n-dnv-ref-env-new:
1334       # TODO: Re-test in new env
1335       csit-vpp-perf-report-iterative-2009-2n-dnv:
1336         - 3   # rls2009 NDRPDR iter env 5
1337         - 5   # rls2009 NDRPDR iter env 5
1338         - 6   # rls2009 NDRPDR iter env 5
1339         - 7   # rls2009 NDRPDR iter env 5
1340         - 9   # rls2009 NDRPDR iter env 5
1341         - 10  # rls2009 NDRPDR iter env 5
1342         - 11  # rls2009 NDRPDR iter env 5
1343         - 12  # rls2009 NDRPDR iter env 5
1344         - 14  # rls2009 NDRPDR iter env 5
1345         - 15  # rls2009 NDRPDR iter env 5
1346     vpp-performance-changes-2n-dnv-cmp:
1347       csit-vpp-perf-report-iterative-2101-2n-dnv:
1348         - 32  # rls2101.rel NDRPDR iter env 6
1349         - 33  # rls2101.rel NDRPDR iter env 6
1350         - 34  # rls2101.rel NDRPDR iter env 6
1351         - 35  # rls2101.rel NDRPDR iter env 6
1352         - 39  # rls2101.rel NDRPDR iter env 6
1353         - 41  # rls2101.rel NDRPDR iter env 6
1354         - 42  # rls2101.rel NDRPDR iter env 6
1355         - 43  # rls2101.rel NDRPDR iter env 6
1356         - 44  # rls2101.rel NDRPDR iter env 6
1357         - 45  # rls2101.rel NDRPDR iter env 6
1358         - 46  # rls2101.rel NDRPDR iter RND env 6
1359         - 47  # rls2101.rel NDRPDR iter RND env 6
1360         - 48  # rls2101.rel NDRPDR iter RND env 6
1361         - 49  # rls2101.rel NDRPDR iter RND env 6
1362         - 50  # rls2101.rel NDRPDR iter RND env 6
1363         - 51  # rls2101.rel NDRPDR iter RND env 6
1364         - 52  # rls2101.rel NDRPDR iter RND env 6
1365         - 53  # rls2101.rel NDRPDR iter RND env 6
1366         - 54  # rls2101.rel NDRPDR iter RND env 6
1367         - 55  # rls2101.rel NDRPDR iter RND env 6
1368
1369     vpp-performance-changes-3n-dnv-h1:
1370       csit-vpp-perf-report-iterative-2009-3n-dnv:
1371         - 16  # rls2005 NDRPDR iter env 5
1372         - 23  # rls2005 NDRPDR iter env 5
1373         - 25  # rls2005 NDRPDR iter env 5
1374         - 26  # rls2005 NDRPDR iter env 5
1375         - 27  # rls2005 NDRPDR iter env 5
1376         - 28  # rls2005 NDRPDR iter env 5
1377         - 29  # rls2005 NDRPDR iter env 5
1378         - 30  # rls2005 NDRPDR iter env 5
1379         - 31  # rls2005 NDRPDR iter env 5
1380         - 32  # rls2005 NDRPDR iter env 5
1381     vpp-performance-changes-3n-dnv-ref-env-old:
1382       csit-vpp-perf-report-iterative-2009-3n-dnv:
1383         - 3   # rls2009 NDRPDR iter env 5
1384         - 6   # rls2009 NDRPDR iter env 5
1385         - 7   # rls2009 NDRPDR iter env 5
1386         - 8   # rls2009 NDRPDR iter env 5
1387         - 10  # rls2009 NDRPDR iter env 5
1388         - 11  # rls2009 NDRPDR iter env 5
1389         - 12  # rls2009 NDRPDR iter env 5
1390         - 14  # rls2009 NDRPDR iter env 5
1391         - 15  # rls2009 NDRPDR iter env 5
1392         - 24  # rls2009 NDRPDR iter env 5
1393     vpp-performance-changes-3n-dnv-ref-env-new:
1394       # TODO: Re-test in new env
1395       csit-vpp-perf-report-iterative-2009-3n-dnv:
1396         - 3   # rls2009 NDRPDR iter env 5
1397         - 6   # rls2009 NDRPDR iter env 5
1398         - 7   # rls2009 NDRPDR iter env 5
1399         - 8   # rls2009 NDRPDR iter env 5
1400         - 10  # rls2009 NDRPDR iter env 5
1401         - 11  # rls2009 NDRPDR iter env 5
1402         - 12  # rls2009 NDRPDR iter env 5
1403         - 14  # rls2009 NDRPDR iter env 5
1404         - 15  # rls2009 NDRPDR iter env 5
1405         - 24  # rls2009 NDRPDR iter env 5
1406     vpp-performance-changes-3n-dnv-cmp:
1407       csit-vpp-perf-report-iterative-2101-3n-dnv:
1408         - 33  # rls2101.rel NDRPDR iter env 6
1409         - 34  # rls2101.rel NDRPDR iter env 6
1410         - 35  # rls2101.rel NDRPDR iter env 6
1411         - 36  # rls2101.rel NDRPDR iter env 6
1412         - 37  # rls2101.rel NDRPDR iter env 6
1413         - 38  # rls2101.rel NDRPDR iter env 6
1414         - 39  # rls2101.rel NDRPDR iter env 6
1415         - 40  # rls2101.rel NDRPDR iter env 6
1416         - 41  # rls2101.rel NDRPDR iter env 6
1417         - 42  # rls2101.rel NDRPDR iter env 6
1418         - 43  # rls2101.rel NDRPDR iter RND env 6
1419         - 44  # rls2101.rel NDRPDR iter RND env 6
1420         - 45  # rls2101.rel NDRPDR iter RND env 6
1421         - 46  # rls2101.rel NDRPDR iter RND env 6
1422         - 47  # rls2101.rel NDRPDR iter RND env 6
1423         - 48  # rls2101.rel NDRPDR iter RND env 6
1424         - 49  # rls2101.rel NDRPDR iter RND env 6
1425         - 50  # rls2101.rel NDRPDR iter RND env 6
1426         - 51  # rls2101.rel NDRPDR iter RND env 6
1427         - 52  # rls2101.rel NDRPDR iter RND env 6
1428
1429     vpp-performance-changes-3n-tsh-h1:
1430       csit-vpp-perf-report-iterative-2009-3n-tsh:
1431         - 8   # rls2005 NDRPDR iter env 5
1432         - 11  # rls2005 NDRPDR iter env 5
1433         - 12  # rls2005 NDRPDR iter env 5
1434         - 24  # rls2005 NDRPDR iter env 5
1435         - 27  # rls2005 NDRPDR iter env 5
1436         - 29  # rls2005 NDRPDR iter env 5
1437         - 31  # rls2005 NDRPDR iter env 5
1438         - 39  # rls2005 NDRPDR iter env 5
1439         - 40  # rls2005 NDRPDR iter env 5
1440         - 42  # rls2005 NDRPDR iter env 5
1441     vpp-performance-changes-3n-tsh-ref-env-old:
1442       csit-vpp-perf-report-iterative-2009-3n-tsh:
1443         - 14  # rls2009 NDRPDR iter env 5
1444         - 20  # rls2009 NDRPDR iter env 5
1445         - 21  # rls2009 NDRPDR iter env 5
1446         - 22  # rls2009 NDRPDR iter env 5
1447         - 23  # rls2009 NDRPDR iter env 5
1448         - 28  # rls2009 NDRPDR iter env 5
1449         - 30  # rls2009 NDRPDR iter env 5
1450         - 33  # rls2009 NDRPDR iter env 5
1451         - 38  # rls2009 NDRPDR iter env 5
1452         - 41  # rls2009 NDRPDR iter env 5
1453     vpp-performance-changes-3n-tsh-ref-env-new:
1454       csit-vpp-perf-report-iterative-2101-3n-tsh:
1455         - 8   # rls2009 NDRPDR iter env 6
1456         - 13  # rls2009 NDRPDR iter env 6
1457         - 14  # rls2009 NDRPDR iter env 6
1458         - 15  # rls2009 NDRPDR iter env 6
1459         - 16  # rls2009 NDRPDR iter env 6
1460         - 17  # rls2009 NDRPDR iter env 6
1461         - 18  # rls2009 NDRPDR iter env 6
1462         - 19  # rls2009 NDRPDR iter env 6
1463         - 21  # rls2009 NDRPDR iter env 6
1464     vpp-performance-changes-3n-tsh-cmp:
1465       csit-vpp-perf-report-iterative-2101-3n-tsh:
1466         - 23  # rls2101.rel NDRPDR iter env 6
1467         - 24  # rls2101.rel NDRPDR iter env 6
1468         - 25  # rls2101.rel NDRPDR iter env 6
1469         - 26  # rls2101.rel NDRPDR iter env 6
1470         - 27  # rls2101.rel NDRPDR iter env 6
1471         - 28  # rls2101.rel NDRPDR iter env 6
1472         - 29  # rls2101.rel NDRPDR iter env 6
1473         - 30  # rls2101.rel NDRPDR iter env 6
1474         - 31  # rls2101.rel NDRPDR iter env 6
1475         - 32  # rls2101.rel NDRPDR iter env 6
1476
1477 #     vpp-performance-changes-2n-tx2-h1:
1478 #       csit-vpp-perf-report-iterative-2009-2n-tx2:
1479 #         -
1480 #     vpp-performance-changes-2n-tx2-ref-env-old:
1481 #       csit-vpp-perf-report-iterative-2009-2n-tx2:
1482 #         -
1483     vpp-performance-changes-2n-tx2-ref-env-new:
1484       csit-vpp-perf-report-iterative-2101-2n-tx2:
1485         - 6   # rls2009 NDRPDR iter env 6
1486         - 7   # rls2009 NDRPDR iter env 6
1487         - 11  # rls2009 NDRPDR iter env 6
1488         - 12  # rls2009 NDRPDR iter env 6
1489         - 13  # rls2009 NDRPDR iter env 6
1490         - 16  # rls2009 NDRPDR iter env 6
1491         - 17  # rls2009 NDRPDR iter env 6
1492         - 18  # rls2009 NDRPDR iter env 6
1493         - 19  # rls2009 NDRPDR iter env 6
1494         - 20  # rls2009 NDRPDR iter env 6
1495     vpp-performance-changes-2n-tx2-cmp:
1496       csit-vpp-perf-report-iterative-2101-2n-tx2:
1497         - 22  # rls2101.rel NDRPDR iter env 6
1498         - 23  # rls2101.rel NDRPDR iter env 6
1499         - 24  # rls2101.rel NDRPDR iter env 6
1500         - 25  # rls2101.rel NDRPDR iter env 6
1501         - 26  # rls2101.rel NDRPDR iter env 6
1502         - 27  # rls2101.rel NDRPDR iter env 6
1503         - 28  # rls2101.rel NDRPDR iter env 6
1504         - 29  # rls2101.rel NDRPDR iter env 6
1505         - 30  # rls2101.rel NDRPDR iter env 6
1506         - 31  # rls2101.rel NDRPDR iter env 6
1507
1508     vpp-soak-vs-ndr-2n-skx-ref:
1509       csit-vpp-perf-report-iterative-2101-2n-skx:
1510         - 63  # rls2101.rel NDRPDR iter env 6
1511         - 69  # rls2101.rel NDRPDR iter env 6
1512         - 70  # rls2101.rel NDRPDR iter env 6
1513         - 75  # rls2101.rel NDRPDR iter env 6
1514         - 76  # rls2101.rel NDRPDR iter env 6
1515         - 77  # rls2101.rel NDRPDR iter env 6
1516         - 82  # rls2101.rel NDRPDR iter env 6
1517         - 85  # rls2101.rel NDRPDR iter env 6
1518         - 86  # rls2101.rel NDRPDR iter env 6
1519         - 94  # rls2101.rel NDRPDR iter env 6
1520     vpp-soak-vs-ndr-2n-skx-cmp:
1521       csit-vpp-perf-report-iterative-2101-2n-skx:
1522         - 68  # rls2101.rel soak env 6
1523         - 73  # rls2101.rel soak env 6
1524     vpp-soak-vs-ndr-2n-skx:
1525       csit-vpp-perf-report-iterative-2101-2n-skx:
1526         - 63  # rls2101.rel NDRPDR iter env 6
1527         - 69  # rls2101.rel NDRPDR iter env 6
1528         - 70  # rls2101.rel NDRPDR iter env 6
1529         - 75  # rls2101.rel NDRPDR iter env 6
1530         - 76  # rls2101.rel NDRPDR iter env 6
1531         - 77  # rls2101.rel NDRPDR iter env 6
1532         - 82  # rls2101.rel NDRPDR iter env 6
1533         - 85  # rls2101.rel NDRPDR iter env 6
1534         - 86  # rls2101.rel NDRPDR iter env 6
1535         - 94  # rls2101.rel NDRPDR iter env 6
1536         - 68  # rls2101.rel soak env 6
1537         - 73  # rls2101.rel soak env 6
1538
1539     vpp-soak-vs-ndr-2n-clx-ref:
1540       csit-vpp-perf-report-iterative-2101-2n-clx:
1541         - 54  # rls2101.rel NDRPDR iter env 6
1542         - 59  # rls2101.rel NDRPDR iter env 6
1543         - 60  # rls2101.rel NDRPDR iter env 6
1544         - 63  # rls2101.rel NDRPDR iter env 6
1545         - 66  # rls2101.rel NDRPDR iter env 6
1546         - 68  # rls2101.rel NDRPDR iter env 6
1547         - 73  # rls2101.rel NDRPDR iter env 6
1548         - 75  # rls2101.rel NDRPDR iter env 6
1549         - 86  # rls2101.rel NDRPDR iter env 6
1550         - 90  # rls2101.rel NDRPDR iter env 6
1551     vpp-soak-vs-ndr-2n-clx-cmp:
1552       csit-vpp-perf-report-iterative-2101-2n-clx:
1553         - 58  # rls2101.rel soak env 6
1554         - 61  # rls2101.rel soak env 6
1555     vpp-soak-vs-ndr-2n-clx:
1556       csit-vpp-perf-report-iterative-2101-2n-clx:
1557         - 54  # rls2101.rel NDRPDR iter env 6
1558         - 59  # rls2101.rel NDRPDR iter env 6
1559         - 60  # rls2101.rel NDRPDR iter env 6
1560         - 63  # rls2101.rel NDRPDR iter env 6
1561         - 66  # rls2101.rel NDRPDR iter env 6
1562         - 68  # rls2101.rel NDRPDR iter env 6
1563         - 73  # rls2101.rel NDRPDR iter env 6
1564         - 75  # rls2101.rel NDRPDR iter env 6
1565         - 86  # rls2101.rel NDRPDR iter env 6
1566         - 90  # rls2101.rel NDRPDR iter env 6
1567         - 58  # rls2101.rel soak env 6
1568         - 61  # rls2101.rel soak env 6
1569
1570     vpp-performance-changes-3n-hsw-mrr-h1:
1571       csit-vpp-perf-report-iterative-2009-3n-hsw:
1572         - 18  # rls2005 MRR iter env 5
1573     vpp-performance-changes-3n-hsw-mrr-ref-env-old:
1574       csit-vpp-perf-report-iterative-2009-3n-hsw:
1575         - 23  # rls2009 MRR iter env 5
1576     vpp-performance-changes-3n-hsw-mrr-ref-env-new:
1577       csit-vpp-perf-report-iterative-2101-3n-hsw:
1578         - 17  # rls2009 MRR iter env 6
1579     vpp-performance-changes-3n-hsw-mrr-cmp:
1580       csit-vpp-perf-report-iterative-2101-3n-hsw:
1581         - 63  # rls2101.rel MRR iter env 6
1582
1583     vpp-performance-changes-3n-skx-mrr-h1:
1584       csit-vpp-perf-report-iterative-2009-3n-skx:
1585         - 17  # rls2005 MRR iter env 5
1586     vpp-performance-changes-3n-skx-mrr-ref-env-old:
1587       csit-vpp-perf-report-iterative-2009-3n-skx:
1588         - 24  # rls2009 MRR iter env 5
1589     vpp-performance-changes-3n-skx-mrr-ref-env-new:
1590       csit-vpp-perf-report-iterative-2101-3n-skx:
1591         - 34  # rls2009 MRR iter env 6
1592     vpp-performance-changes-3n-skx-mrr-cmp:
1593       csit-vpp-perf-report-iterative-2101-3n-skx:
1594         - 35  # rls2101.rel MRR iter env 6
1595
1596     vpp-performance-changes-2n-skx-mrr-h1:
1597       csit-vpp-perf-report-iterative-2009-2n-skx:
1598         - 20  # rls2005 MRR iter env 5
1599     vpp-performance-changes-2n-skx-mrr-ref-env-old:
1600       csit-vpp-perf-report-iterative-2009-2n-skx:
1601         - 120 # rls2009 MRR iter env 5
1602     vpp-performance-changes-2n-skx-mrr-ref-env-new:
1603       csit-vpp-perf-report-iterative-2101-2n-skx:
1604         - 21  # rls2009 MRR iter env 6
1605     vpp-performance-changes-2n-skx-mrr-cmp:
1606       csit-vpp-perf-report-iterative-2101-2n-skx:
1607         - 62  # rls2101.rel MRR iter env 6
1608
1609     vpp-performance-changes-2n-clx-mrr-h1:
1610       csit-vpp-perf-report-iterative-2009-2n-clx:
1611         - 77  # rls2005 MRR iter env 5
1612     vpp-performance-changes-2n-clx-mrr-ref-env-old:
1613       csit-vpp-perf-report-iterative-2009-2n-clx:
1614         - 125 # rls2009 MRR iter env 5
1615     vpp-performance-changes-2n-clx-mrr-ref-env-new:
1616       csit-vpp-perf-report-iterative-2101-2n-clx:
1617         - 15  # rls2009 MRR iter env 6
1618     vpp-performance-changes-2n-clx-mrr-cmp:
1619       csit-vpp-perf-report-iterative-2101-2n-clx:
1620         - 53  # rls2101.rel MRR iter env 6
1621
1622     vpp-performance-changes-2n-zn2-mrr-ref-env-old:
1623       csit-vpp-perf-report-iterative-2009-2n-zn2:
1624         - 15  # rls2009 MRR iter env 5
1625     vpp-performance-changes-2n-zn2-mrr-ref-env-new:
1626       csit-vpp-perf-report-iterative-2101-2n-zn2:
1627         - 8   # rls2009 MRR iter env6
1628     vpp-performance-changes-2n-zn2-mrr-cmp:
1629       csit-vpp-perf-report-iterative-2101-2n-zn2:
1630         - 30  # rls2101.rel MRR iter env 6
1631
1632     vpp-performance-changes-2n-dnv-mrr-h1:
1633       csit-vpp-perf-report-iterative-2009-2n-dnv:
1634         - 23  # rls2005 MRR iter env 5
1635     vpp-performance-changes-2n-dnv-mrr-ref-env-old:
1636       csit-vpp-perf-report-iterative-2009-2n-dnv:
1637         - 13  # rls2009 MRR iter env 5
1638     vpp-performance-changes-2n-dnv-mrr-ref-env-new:
1639       # TODO: Re-test in new env
1640       csit-vpp-perf-report-iterative-2009-2n-dnv:
1641         - 13  # rls2009 MRR iter env 5
1642     vpp-performance-changes-2n-dnv-mrr-cmp:
1643       csit-vpp-perf-report-iterative-2101-2n-dnv:
1644         - 31  # rls2101.rel MRR iter env 6
1645
1646     vpp-performance-changes-3n-dnv-mrr-h1:
1647       csit-vpp-perf-report-iterative-2009-3n-dnv:
1648         - 19  # rls2005 MRR iter env 5
1649     vpp-performance-changes-3n-dnv-mrr-ref-env-old:
1650       csit-vpp-perf-report-iterative-2009-3n-dnv:
1651         - 22  # rls2009 MRR iter env 5
1652     vpp-performance-changes-3n-dnv-mrr-ref-env-new:
1653       # TODO: Re-test in new env
1654       csit-vpp-perf-report-iterative-2009-3n-dnv:
1655         - 22  # rls2009 MRR iter env 5
1656     vpp-performance-changes-3n-dnv-mrr-cmp:
1657       csit-vpp-perf-report-iterative-2101-3n-dnv:
1658         - 32  # rls2101.rel MRR iter env 6
1659
1660     vpp-performance-changes-3n-tsh-mrr-h1:
1661       csit-vpp-perf-report-iterative-2009-3n-tsh:
1662         - 13  # rls2005 MRR iter env 5
1663     vpp-performance-changes-3n-tsh-mrr-ref-env-old:
1664       csit-vpp-perf-report-iterative-2009-3n-tsh:
1665         - 15  # rls2009 MRR iter env 5
1666     vpp-performance-changes-3n-tsh-mrr-ref-env-new:
1667       csit-vpp-perf-report-iterative-2101-3n-tsh:
1668         - 7   # rls2009 MRR iter env 6
1669     vpp-performance-changes-3n-tsh-mrr-cmp:
1670       csit-vpp-perf-report-iterative-2101-3n-tsh:
1671         - 22  # rls2101.rel MRR iter env 6
1672
1673 #     vpp-performance-changes-2n-tx2-mrr-h1:
1674 #       csit-vpp-perf-report-iterative-2009-2n-tx2:
1675 #         -
1676 #     vpp-performance-changes-2n-tx2-mrr-ref-env-old:
1677 #       csit-vpp-perf-report-iterative-2009-2n-tx2:
1678 #         -
1679     vpp-performance-changes-2n-tx2-mrr-ref-env-new:
1680       csit-vpp-perf-report-iterative-2101-2n-tx2:
1681         - 5   # rls2009 MRR iter env 6
1682     vpp-performance-changes-2n-tx2-mrr-cmp:
1683       csit-vpp-perf-report-iterative-2101-2n-tx2:
1684         - 21  # rls2101.rel MRR iter env 6
1685
1686     dpdk-performance-changes-3n-hsw-h1:
1687       csit-dpdk-perf-report-iterative-2005-3n-hsw:
1688         - 25  # NDRPDR iter
1689         - 26  # NDRPDR iter
1690         - 27  # NDRPDR iter
1691         - 28  # NDRPDR iter
1692         - 29  # NDRPDR iter
1693         - 30  # NDRPDR iter
1694         - 31  # NDRPDR iter
1695         - 32  # NDRPDR iter
1696         - 33  # NDRPDR iter
1697         - 34  # NDRPDR iter
1698     dpdk-performance-changes-3n-hsw-ref:
1699       csit-dpdk-perf-report-iterative-2009-3n-hsw:
1700         - 6   # NDRPDR iter env5
1701         - 7   # NDRPDR iter env5
1702         - 8   # NDRPDR iter env5
1703         - 9   # NDRPDR iter env5
1704         - 10  # NDRPDR iter env5
1705         - 11  # NDRPDR iter env5
1706         - 12  # NDRPDR iter env5
1707         - 13  # NDRPDR iter env5
1708         - 14  # NDRPDR iter env5
1709         - 15  # NDRPDR iter env5
1710     dpdk-performance-changes-3n-hsw-cmp:
1711       csit-dpdk-perf-report-iterative-2101-3n-hsw:
1712         - 11  # rls2101 NDRPDR iter env 6
1713         - 12  # rls2101 NDRPDR iter env 6
1714         - 13  # rls2101 NDRPDR iter env 6
1715         - 14  # rls2101 NDRPDR iter env 6
1716         - 16  # rls2101 NDRPDR iter env 6
1717         - 17  # rls2101 NDRPDR iter env 6
1718         - 18  # rls2101 NDRPDR iter env 6
1719         - 19  # rls2101 NDRPDR iter env 6
1720         - 20  # rls2101 NDRPDR iter env 6
1721         - 21  # rls2101 NDRPDR iter env 6
1722
1723     dpdk-performance-changes-3n-skx-h1:
1724       csit-dpdk-perf-report-iterative-2005-3n-skx:
1725         - 28  # NDRPDR iter
1726         - 29  # NDRPDR iter
1727         - 30  # NDRPDR iter
1728         - 31  # NDRPDR iter
1729         - 32  # NDRPDR iter
1730         - 33  # NDRPDR iter
1731         - 34  # NDRPDR iter
1732         - 35  # NDRPDR iter
1733         - 36  # NDRPDR iter
1734         - 37  # NDRPDR iter
1735     dpdk-performance-changes-3n-skx-ref:
1736       csit-dpdk-perf-report-iterative-2009-3n-skx:
1737         - 4   # NDRPDR sel env5
1738         - 5   # NDRPDR sel env5
1739         - 6   # NDRPDR sel env5
1740         - 7   # NDRPDR sel env5
1741         - 8   # NDRPDR sel env5
1742         - 9   # NDRPDR sel env5
1743         - 14  # NDRPDR sel env5
1744         - 11  # NDRPDR sel env5
1745         - 12  # NDRPDR sel env5
1746         - 13  # NDRPDR sel env5
1747     dpdk-performance-changes-3n-skx-cmp:
1748       csit-dpdk-perf-report-iterative-2101-3n-skx:
1749         - 12  # rls2101 NDRPDR iter env 6
1750         - 14  # rls2101 NDRPDR iter env 6
1751         - 15  # rls2101 NDRPDR iter env 6
1752         - 17  # rls2101 NDRPDR iter env 6
1753         - 19  # rls2101 NDRPDR iter env 6
1754         - 20  # rls2101 NDRPDR iter env 6
1755         - 21  # rls2101 NDRPDR iter env 6
1756         - 22  # rls2101 NDRPDR iter env 6
1757         - 25  # rls2101 NDRPDR iter env 6
1758         - 26  # rls2101 NDRPDR iter env 6
1759
1760     dpdk-performance-changes-2n-skx-h1:
1761       csit-dpdk-perf-report-iterative-2005-2n-skx:
1762         - 20  # NDRPDR iter
1763         - 21  # NDRPDR iter
1764         - 22  # NDRPDR iter
1765         - 23  # NDRPDR iter
1766         - 24  # NDRPDR iter
1767         - 25  # NDRPDR iter
1768         - 26  # NDRPDR iter
1769         - 27  # NDRPDR iter
1770         - 28  # NDRPDR iter
1771         - 29  # NDRPDR iter
1772     dpdk-performance-changes-2n-skx-ref:
1773       csit-dpdk-perf-report-iterative-2009-2n-skx:
1774         - 4   # NDRPDR iter env5
1775         - 5   # NDRPDR iter env5
1776         - 6   # NDRPDR iter env5
1777         - 7   # NDRPDR iter env5
1778         - 8   # NDRPDR iter env5
1779         - 9   # NDRPDR iter env5
1780         - 10  # NDRPDR iter env5
1781         - 11  # NDRPDR iter env5
1782         - 12  # NDRPDR iter env5
1783         - 13  # NDRPDR iter env5
1784     dpdk-performance-changes-2n-skx-cmp:
1785       csit-dpdk-perf-report-iterative-2101-2n-skx:
1786         - 11  # rls2101 NDRPDR iter env 6
1787         - 12  # rls2101 NDRPDR iter env 6
1788         - 13  # rls2101 NDRPDR iter env 6
1789         - 14  # rls2101 NDRPDR iter env 6
1790         - 15  # rls2101 NDRPDR iter env 6
1791         - 17  # rls2101 NDRPDR iter env 6
1792         - 18  # rls2101 NDRPDR iter env 6
1793         - 19  # rls2101 NDRPDR iter env 6
1794         - 20  # rls2101 NDRPDR iter env 6
1795         - 21  # rls2101 NDRPDR iter env 6
1796
1797     dpdk-performance-changes-2n-clx-h1:
1798       csit-dpdk-perf-report-iterative-2005-2n-clx:
1799         - 20  # NDRPDR iter
1800         - 21  # NDRPDR iter
1801         - 22  # NDRPDR iter
1802         - 23  # NDRPDR iter
1803         - 24  # NDRPDR iter
1804         - 25  # NDRPDR iter
1805         - 26  # NDRPDR iter
1806         - 27  # NDRPDR iter
1807         - 28  # NDRPDR iter
1808         - 29  # NDRPDR iter
1809     dpdk-performance-changes-2n-clx-ref:
1810       csit-dpdk-perf-report-iterative-2009-2n-clx:
1811         - 4   # NDRPDR iter env5
1812         - 5   # NDRPDR iter env5
1813         - 6   # NDRPDR iter env5
1814         - 7   # NDRPDR iter env5
1815         - 8   # NDRPDR iter env5
1816         - 9   # NDRPDR iter env5
1817         - 10  # NDRPDR iter env5
1818         - 11  # NDRPDR iter env5
1819         - 12  # NDRPDR iter env5
1820         - 13  # NDRPDR iter env5
1821     dpdk-performance-changes-2n-clx-cmp:
1822       csit-dpdk-perf-report-iterative-2101-2n-clx:
1823         - 12  # rls2101 NDRPDR iter env 6
1824         - 13  # rls2101 NDRPDR iter env 6
1825         - 14  # rls2101 NDRPDR iter env 6
1826         - 18  # rls2101 NDRPDR iter env 6
1827         - 22  # rls2101 NDRPDR iter env 6
1828
1829     dpdk-performance-changes-2n-zn2-ref:
1830       csit-dpdk-perf-report-iterative-2009-2n-zn2:
1831         - 16  # NDRPDR iter env5
1832         - 21  # NDRPDR iter env5
1833         - 22  # NDRPDR iter env5
1834         - 23  # NDRPDR iter env5
1835         - 24  # NDRPDR iter env5
1836         - 25  # NDRPDR iter env5
1837         - 29  # NDRPDR iter env5
1838     dpdk-performance-changes-2n-zn2-cmp:
1839       csit-dpdk-perf-report-iterative-2101-2n-zn2:
1840         - 11  # rls2101 NDRPDR iter env 6
1841         - 12  # rls2101 NDRPDR iter env 6
1842         - 13  # rls2101 NDRPDR iter env 6
1843         - 14  # rls2101 NDRPDR iter env 6
1844         - 16  # rls2101 NDRPDR iter env 6
1845         - 17  # rls2101 NDRPDR iter env 6
1846         - 18  # rls2101 NDRPDR iter env 6
1847         - 19  # rls2101 NDRPDR iter env 6
1848         - 20  # rls2101 NDRPDR iter env 6
1849         - 21  # rls2101 NDRPDR iter env 6
1850
1851 #    dpdk-performance-changes-2n-dnv-h1:
1852 #      csit-dpdk-perf-verify-2101-2n-dnv:
1853 #        - 9   # NDRPDR sel
1854 #        - 10  # NDRPDR sel
1855 #        - 11  # NDRPDR sel
1856 #        - 12  # NDRPDR sel
1857 #        - 13  # NDRPDR sel
1858 #        - 14  # NDRPDR sel
1859 #        - 15  # NDRPDR sel
1860 #        - 16  # NDRPDR sel
1861 #        - 17  # NDRPDR sel
1862 #        - 18  # NDRPDR sel
1863 #    dpdk-performance-changes-2n-dnv-ref:
1864 #      # No data
1865 #    dpdk-performance-changes-2n-dnv-cmp:
1866 #      # No data
1867 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
1868
1869 #    dpdk-performance-changes-3n-dnv-h1:
1870 #      csit-dpdk-perf-verify-2101-3n-dnv:
1871 #        - 12  # NDRPDR sel
1872 #        - 13  # NDRPDR sel
1873 #        - 14  # NDRPDR sel
1874 #        - 15  # NDRPDR sel
1875 #        - 16  # NDRPDR sel
1876 #        - 17  # NDRPDR sel
1877 #        - 18  # NDRPDR sel
1878 #        - 19  # NDRPDR sel
1879 #        - 20  # NDRPDR sel
1880 #        - 22  # NDRPDR sel
1881 #    dpdk-performance-changes-3n-dnv-ref:
1882 #      # No data
1883 #    dpdk-performance-changes-3n-dnv-cmp:
1884 #      # No data
1885 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
1886
1887     dpdk-performance-changes-3n-tsh-h1:
1888       csit-dpdk-perf-report-iterative-2005-3n-tsh:
1889         - 5   # NDRPDR sel
1890     dpdk-performance-changes-3n-tsh-ref:
1891       csit-dpdk-perf-report-iterative-2009-3n-tsh:
1892         - 1   # NDRPDR iter env5
1893         - 2   # NDRPDR iter env5
1894         - 3   # NDRPDR iter env5
1895         - 4   # NDRPDR iter env5
1896         - 5   # NDRPDR iter env5
1897         - 6   # NDRPDR iter env5
1898         - 7   # NDRPDR iter env5
1899         - 9   # NDRPDR iter env5
1900         - 10  # NDRPDR iter env5
1901         - 11  # NDRPDR iter env5
1902     dpdk-performance-changes-3n-tsh-cmp:
1903       csit-dpdk-perf-report-iterative-2101-3n-tsh:
1904         - 11  # rls2101 NDRPDR iter env 6
1905         - 12  # rls2101 NDRPDR iter env 6
1906         - 13  # rls2101 NDRPDR iter env 6
1907         - 14  # rls2101 NDRPDR iter env 6
1908         - 16  # rls2101 NDRPDR iter env 6
1909         - 17  # rls2101 NDRPDR iter env 6
1910         - 18  # rls2101 NDRPDR iter env 6
1911         - 19  # rls2101 NDRPDR iter env 6
1912         - 20  # rls2101 NDRPDR iter env 6
1913         - 21  # rls2101 NDRPDR iter env 6
1914
1915     # Compare testbeds
1916
1917     vpp-compare-testbeds-ref:
1918       csit-vpp-perf-report-iterative-2101-3n-hsw:
1919         - 64  # rls2101.rel NDRPDR iter env 6
1920         - 71  # rls2101.rel NDRPDR iter env 6
1921         - 73  # rls2101.rel NDRPDR iter env 6
1922         - 74  # rls2101.rel NDRPDR iter env 6
1923         - 80  # rls2101.rel NDRPDR iter env 6
1924         - 81  # rls2101.rel NDRPDR iter env 6
1925         - 82  # rls2101.rel NDRPDR iter env 6
1926         - 83  # rls2101.rel NDRPDR iter env 6
1927         - 88  # rls2101.rel NDRPDR iter env 6
1928         - 89  # rls2101.rel NDRPDR iter env 6
1929     vpp-compare-testbeds-cmp:
1930       csit-vpp-perf-report-iterative-2101-3n-skx:
1931         - 36  # rls2101.rel NDRPDR iter env 6
1932         - 37  # rls2101.rel NDRPDR iter env 6
1933         - 38  # rls2101.rel NDRPDR iter env 6
1934         - 39  # rls2101.rel NDRPDR iter env 6
1935         - 40  # rls2101.rel NDRPDR iter env 6
1936         - 41  # rls2101.rel NDRPDR iter env 6
1937         - 42  # rls2101.rel NDRPDR iter env 6
1938         - 47  # rls2101.rel NDRPDR iter env 6
1939         - 48  # rls2101.rel NDRPDR iter env 6
1940         - 50  # rls2101.rel NDRPDR iter env 6
1941
1942     vpp-compare-testbeds-skx-clx-ref:
1943       csit-vpp-perf-report-iterative-2101-2n-skx:
1944         - 63  # rls2101.rel NDRPDR iter env 6
1945         - 69  # rls2101.rel NDRPDR iter env 6
1946         - 70  # rls2101.rel NDRPDR iter env 6
1947         - 75  # rls2101.rel NDRPDR iter env 6
1948         - 76  # rls2101.rel NDRPDR iter env 6
1949         - 77  # rls2101.rel NDRPDR iter env 6
1950         - 82  # rls2101.rel NDRPDR iter env 6
1951         - 85  # rls2101.rel NDRPDR iter env 6
1952         - 86  # rls2101.rel NDRPDR iter env 6
1953         - 94  # rls2101.rel NDRPDR iter env 6
1954         - 89  # rls2101.rel NDRPDR iter RND env 6
1955         - 90  # rls2101.rel NDRPDR iter RND env 6
1956         - 91  # rls2101.rel NDRPDR iter RND env 6
1957         - 92  # rls2101.rel NDRPDR iter RND env 6
1958         - 93  # rls2101.rel NDRPDR iter RND env 6
1959         - 96  # rls2101.rel NDRPDR iter RND env 6
1960         - 98  # rls2101.rel NDRPDR iter RND env 6
1961         - 99  # rls2101.rel NDRPDR iter RND env 6
1962         - 101 # rls2101.rel NDRPDR iter RND env 6
1963         - 102 # rls2101.rel NDRPDR iter RND env 6
1964         - 116 # rls2101.rel NDRPDR iter NAT env 6
1965         - 117 # rls2101.rel NDRPDR iter NAT env 6
1966         - 118 # rls2101.rel NDRPDR iter NAT env 6
1967         - 119 # rls2101.rel NDRPDR iter NAT env 6
1968         - 120 # rls2101.rel NDRPDR iter NAT env 6
1969         - 121 # rls2101.rel NDRPDR iter NAT env 6
1970         - 122 # rls2101.rel NDRPDR iter NAT env 6
1971         - 123 # rls2101.rel NDRPDR iter NAT env 6
1972         - 124 # rls2101.rel NDRPDR iter NAT env 6
1973         - 125 # rls2101.rel NDRPDR iter NAT env 6
1974     vpp-compare-testbeds-skx-clx-cmp:
1975       csit-vpp-perf-report-iterative-2101-2n-clx:
1976         - 54  # rls2101.rel NDRPDR iter env 6
1977         - 59  # rls2101.rel NDRPDR iter env 6
1978         - 60  # rls2101.rel NDRPDR iter env 6
1979         - 63  # rls2101.rel NDRPDR iter env 6
1980         - 66  # rls2101.rel NDRPDR iter env 6
1981         - 68  # rls2101.rel NDRPDR iter env 6
1982         - 73  # rls2101.rel NDRPDR iter env 6
1983         - 75  # rls2101.rel NDRPDR iter env 6
1984         - 86  # rls2101.rel NDRPDR iter env 6
1985         - 90  # rls2101.rel NDRPDR iter env 6
1986         - 80  # rls2101.rel NDRPDR iter RND env 6
1987         - 87  # rls2101.rel NDRPDR iter RND env 6
1988         - 91  # rls2101.rel NDRPDR iter RND env 6
1989         - 92  # rls2101.rel NDRPDR iter RND env 6
1990         - 93  # rls2101.rel NDRPDR iter RND env 6
1991         - 94  # rls2101.rel NDRPDR iter RND env 6
1992         - 95  # rls2101.rel NDRPDR iter RND env 6
1993         - 100 # rls2101.rel NDRPDR iter RND env 6
1994         - 106 # rls2101.rel NDRPDR iter RND env 6
1995         - 108 # rls2101.rel NDRPDR iter RND env 6
1996         - 112 # rls2101.rel NDRPDR iter NAT env 6
1997         - 113 # rls2101.rel NDRPDR iter NAT env 6
1998         - 114 # rls2101.rel NDRPDR iter NAT env 6
1999         - 115 # rls2101.rel NDRPDR iter NAT env 6
2000         - 116 # rls2101.rel NDRPDR iter NAT env 6
2001         - 117 # rls2101.rel NDRPDR iter NAT env 6
2002         - 118 # rls2101.rel NDRPDR iter NAT env 6
2003         - 119 # rls2101.rel NDRPDR iter NAT env 6
2004         - 120 # rls2101.rel NDRPDR iter NAT env 6
2005         - 121 # rls2101.rel NDRPDR iter NAT env 6
2006
2007     vpp-compare-testbeds-hsw-clx-ref:
2008       csit-vpp-perf-report-iterative-2101-3n-hsw:
2009         - 64  # rls2101.rel NDRPDR iter env 6
2010         - 71  # rls2101.rel NDRPDR iter env 6
2011         - 73  # rls2101.rel NDRPDR iter env 6
2012         - 74  # rls2101.rel NDRPDR iter env 6
2013         - 80  # rls2101.rel NDRPDR iter env 6
2014         - 81  # rls2101.rel NDRPDR iter env 6
2015         - 82  # rls2101.rel NDRPDR iter env 6
2016         - 83  # rls2101.rel NDRPDR iter env 6
2017         - 88  # rls2101.rel NDRPDR iter env 6
2018         - 89  # rls2101.rel NDRPDR iter env 6
2019         - 128 # rls2101.rel NDRPDR iter RND env 6
2020         - 129 # rls2101.rel NDRPDR iter RND env 6
2021         - 130 # rls2101.rel NDRPDR iter RND env 6
2022         - 131 # rls2101.rel NDRPDR iter RND env 6
2023         - 132 # rls2101.rel NDRPDR iter RND env 6
2024         - 133 # rls2101.rel NDRPDR iter RND env 6
2025         - 134 # rls2101.rel NDRPDR iter RND env 6
2026         - 135 # rls2101.rel NDRPDR iter RND env 6
2027         - 136 # rls2101.rel NDRPDR iter RND env 6
2028         - 137 # rls2101.rel NDRPDR iter RND env 6
2029     vpp-compare-testbeds-hsw-clx-cmp:
2030       csit-vpp-perf-report-iterative-2101-2n-clx:
2031         - 54  # rls2101.rel NDRPDR iter env 6
2032         - 59  # rls2101.rel NDRPDR iter env 6
2033         - 60  # rls2101.rel NDRPDR iter env 6
2034         - 63  # rls2101.rel NDRPDR iter env 6
2035         - 66  # rls2101.rel NDRPDR iter env 6
2036         - 68  # rls2101.rel NDRPDR iter env 6
2037         - 73  # rls2101.rel NDRPDR iter env 6
2038         - 75  # rls2101.rel NDRPDR iter env 6
2039         - 90  # rls2101.rel NDRPDR iter env 6
2040         - 80  # rls2101.rel NDRPDR iter RND env 6
2041         - 87  # rls2101.rel NDRPDR iter RND env 6
2042         - 91  # rls2101.rel NDRPDR iter RND env 6
2043         - 92  # rls2101.rel NDRPDR iter RND env 6
2044         - 93  # rls2101.rel NDRPDR iter RND env 6
2045         - 94  # rls2101.rel NDRPDR iter RND env 6
2046         - 95  # rls2101.rel NDRPDR iter RND env 6
2047         - 100 # rls2101.rel NDRPDR iter RND env 6
2048         - 106 # rls2101.rel NDRPDR iter RND env 6
2049         - 108 # rls2101.rel NDRPDR iter RND env 6
2050         - 112 # rls2101.rel NDRPDR iter NAT env 6
2051         - 113 # rls2101.rel NDRPDR iter NAT env 6
2052         - 114 # rls2101.rel NDRPDR iter NAT env 6
2053         - 115 # rls2101.rel NDRPDR iter NAT env 6
2054         - 116 # rls2101.rel NDRPDR iter NAT env 6
2055         - 117 # rls2101.rel NDRPDR iter NAT env 6
2056         - 118 # rls2101.rel NDRPDR iter NAT env 6
2057         - 119 # rls2101.rel NDRPDR iter NAT env 6
2058         - 120 # rls2101.rel NDRPDR iter NAT env 6
2059         - 121 # rls2101.rel NDRPDR iter NAT env 6
2060
2061     vpp-compare-testbeds-mrr-ref:
2062       csit-vpp-perf-report-iterative-2101-3n-hsw:
2063         - 63  # rls2101.rel MRR iter env 6
2064     vpp-compare-testbeds-mrr-cmp:
2065       csit-vpp-perf-report-iterative-2101-3n-skx:
2066         - 35  # rls2101.rel MRR iter env 6
2067
2068     vpp-compare-testbeds-mrr-skx-clx-ref:
2069       csit-vpp-perf-report-iterative-2101-2n-skx:
2070         - 62  # rls2101.rel MRR iter env 6
2071     vpp-compare-testbeds-mrr-skx-clx-cmp:
2072       csit-vpp-perf-report-iterative-2101-2n-clx:
2073         - 53  # rls2101.rel MRR iter env 6
2074
2075     vpp-compare-testbeds-mrr-hsw-clx-ref:
2076       csit-vpp-perf-report-iterative-2101-3n-hsw:
2077         - 63  # rls2101.rel MRR iter env 6
2078     vpp-compare-testbeds-mrr-hsw-clx-cmp:
2079       csit-vpp-perf-report-iterative-2101-2n-clx:
2080         - 53  # rls2101.rel MRR iter env 6
2081
2082     dpdk-compare-testbeds-ref:
2083       csit-dpdk-perf-report-iterative-2101-3n-hsw:
2084         - 11  # rls2101 NDRPDR iter env 6
2085         - 12  # rls2101 NDRPDR iter env 6
2086         - 13  # rls2101 NDRPDR iter env 6
2087         - 14  # rls2101 NDRPDR iter env 6
2088         - 16  # rls2101 NDRPDR iter env 6
2089         - 17  # rls2101 NDRPDR iter env 6
2090         - 18  # rls2101 NDRPDR iter env 6
2091         - 19  # rls2101 NDRPDR iter env 6
2092         - 20  # rls2101 NDRPDR iter env 6
2093         - 21  # rls2101 NDRPDR iter env 6
2094     dpdk-compare-testbeds-cmp:
2095       csit-dpdk-perf-report-iterative-2101-3n-skx:
2096         - 12  # rls2101 NDRPDR iter env 6
2097         - 14  # rls2101 NDRPDR iter env 6
2098         - 15  # rls2101 NDRPDR iter env 6
2099         - 17  # rls2101 NDRPDR iter env 6
2100         - 19  # rls2101 NDRPDR iter env 6
2101         - 20  # rls2101 NDRPDR iter env 6
2102         - 21  # rls2101 NDRPDR iter env 6
2103         - 22  # rls2101 NDRPDR iter env 6
2104         - 25  # rls2101 NDRPDR iter env 6
2105         - 26  # rls2101 NDRPDR iter env 6
2106
2107     dpdk-compare-testbeds-skx-clx-ref:
2108       csit-dpdk-perf-report-iterative-2101-2n-skx:
2109         - 11  # rls2101 NDRPDR iter env 6
2110         - 12  # rls2101 NDRPDR iter env 6
2111         - 13  # rls2101 NDRPDR iter env 6
2112         - 14  # rls2101 NDRPDR iter env 6
2113         - 15  # rls2101 NDRPDR iter env 6
2114         - 17  # rls2101 NDRPDR iter env 6
2115         - 18  # rls2101 NDRPDR iter env 6
2116         - 19  # rls2101 NDRPDR iter env 6
2117         - 20  # rls2101 NDRPDR iter env 6
2118         - 21  # rls2101 NDRPDR iter env 6
2119     dpdk-compare-testbeds-skx-clx-cmp:
2120       csit-dpdk-perf-report-iterative-2101-2n-clx:
2121         - 12  # rls2101 NDRPDR iter env 6
2122         - 13  # rls2101 NDRPDR iter env 6
2123         - 14  # rls2101 NDRPDR iter env 6
2124         - 18  # rls2101 NDRPDR iter env 6
2125         - 22  # rls2101 NDRPDR iter env 6
2126
2127     # Compare topologies
2128
2129     vpp-compare-topologies-ref:
2130       csit-vpp-perf-report-iterative-2101-3n-skx:
2131         - 36  # rls2101.rel NDRPDR iter env 6
2132         - 37  # rls2101.rel NDRPDR iter env 6
2133         - 38  # rls2101.rel NDRPDR iter env 6
2134         - 39  # rls2101.rel NDRPDR iter env 6
2135         - 40  # rls2101.rel NDRPDR iter env 6
2136         - 41  # rls2101.rel NDRPDR iter env 6
2137         - 42  # rls2101.rel NDRPDR iter env 6
2138         - 47  # rls2101.rel NDRPDR iter env 6
2139         - 48  # rls2101.rel NDRPDR iter env 6
2140         - 50  # rls2101.rel NDRPDR iter env 6
2141     vpp-compare-topologies-cmp:
2142       csit-vpp-perf-report-iterative-2101-2n-skx:
2143         - 63  # rls2101.rel NDRPDR iter env 6
2144         - 69  # rls2101.rel NDRPDR iter env 6
2145         - 70  # rls2101.rel NDRPDR iter env 6
2146         - 75  # rls2101.rel NDRPDR iter env 6
2147         - 76  # rls2101.rel NDRPDR iter env 6
2148         - 77  # rls2101.rel NDRPDR iter env 6
2149         - 82  # rls2101.rel NDRPDR iter env 6
2150         - 85  # rls2101.rel NDRPDR iter env 6
2151         - 86  # rls2101.rel NDRPDR iter env 6
2152         - 94  # rls2101.rel NDRPDR iter env 6
2153
2154     vpp-compare-topologies-mrr-ref:
2155       csit-vpp-perf-report-iterative-2101-3n-skx:
2156         - 35  # rls2101.rel MRR iter env 6
2157     vpp-compare-topologies-mrr-cmp:
2158       csit-vpp-perf-report-iterative-2101-2n-skx:
2159         - 62  # rls2101.rel MRR iter env 6
2160
2161     dpdk-compare-topologies-ref:
2162       csit-dpdk-perf-report-iterative-2101-3n-skx:
2163         - 12  # rls2101 NDRPDR iter env 6
2164         - 14  # rls2101 NDRPDR iter env 6
2165         - 15  # rls2101 NDRPDR iter env 6
2166         - 17  # rls2101 NDRPDR iter env 6
2167         - 19  # rls2101 NDRPDR iter env 6
2168         - 20  # rls2101 NDRPDR iter env 6
2169         - 21  # rls2101 NDRPDR iter env 6
2170         - 22  # rls2101 NDRPDR iter env 6
2171         - 25  # rls2101 NDRPDR iter env 6
2172         - 26  # rls2101 NDRPDR iter env 6
2173     dpdk-compare-topologies-cmp:
2174       csit-dpdk-perf-report-iterative-2101-2n-skx:
2175         - 11  # rls2101 NDRPDR iter env 6
2176         - 12  # rls2101 NDRPDR iter env 6
2177         - 13  # rls2101 NDRPDR iter env 6
2178         - 14  # rls2101 NDRPDR iter env 6
2179         - 15  # rls2101 NDRPDR iter env 6
2180         - 17  # rls2101 NDRPDR iter env 6
2181         - 18  # rls2101 NDRPDR iter env 6
2182         - 19  # rls2101 NDRPDR iter env 6
2183         - 20  # rls2101 NDRPDR iter env 6
2184         - 21  # rls2101 NDRPDR iter env 6
2185
2186   plot-layouts:
2187
2188     plot-soak-throughput:
2189       titlefont:
2190         size: 16
2191       xaxis:
2192         title: "<b>Test Cases [Index]</b>"
2193         titlefont:
2194           size: 14
2195         autorange: True
2196         fixedrange: False
2197         gridcolor: "rgb(230, 230, 230)"
2198         linecolor: "rgb(220, 220, 220)"
2199         linewidth: 1
2200         showgrid: True
2201         showline: True
2202         showticklabels: True
2203         tickcolor: "rgb(220, 220, 220)"
2204         tickmode: "linear"
2205         tickfont:
2206           size: 14
2207         zeroline: False
2208       yaxis:
2209         title: "<b>Critical Rate Lower Bound [Mpps]</b>"
2210         titlefont:
2211           size: 14
2212         gridcolor: "rgb(230, 230, 230)"
2213         hoverformat: ".4r"
2214         tickformat: ".3r"
2215         linecolor: "rgb(220, 220, 220)"
2216         linewidth: 1
2217         showgrid: True
2218         showline: True
2219         showticklabels: True
2220         tickcolor: "rgb(220, 220, 220)"
2221         tickfont:
2222           size: 14
2223         zeroline: False
2224         range: [0,50]
2225       autosize: False
2226       margin:
2227         t: 50
2228         b: 0
2229         l: 80
2230         r: 20
2231       showlegend: True
2232       legend:
2233         orientation: "h"
2234         font:
2235           size: 14
2236       width: 700
2237       height: 900
2238       paper_bgcolor: "#fff"
2239       plot_bgcolor: "#fff"
2240       hoverlabel:
2241         namelength: -1
2242
2243     plot-service-density:
2244       titlefont:
2245         size: 16
2246       xaxis:
2247         side: "top"
2248         autorange: True
2249         fixedrange: False
2250         showgrid: False
2251         showline: False
2252         showticklabels: False
2253         ticks: ""
2254         ticklen: 0
2255         tickwidth: 0
2256         zeroline: False
2257       yaxis:
2258         autorange: "reversed"
2259         showgrid: False
2260         showline: False
2261         showticklabels: False
2262         ticks: ""
2263         ticklen: 0
2264         tickwidth: 0
2265         zeroline: False
2266       showlegend: False
2267       paper_bgcolor: "#fff"
2268       plot_bgcolor: "#fff"
2269       width: 700
2270       height: 700
2271       hoverlabel:
2272         namelength: -1
2273
2274     plot-hoststack:
2275       titlefont:
2276         size: 16
2277       xaxis:
2278         title: "<b>Test Cases [Index]</b>"
2279         titlefont:
2280           size: 14
2281         autorange: True
2282         fixedrange: False
2283         gridcolor: "rgb(230, 230, 230)"
2284         linecolor: "rgb(220, 220, 220)"
2285         linewidth: 1
2286         showgrid: True
2287         showline: True
2288         showticklabels: True
2289         tickcolor: "rgb(220, 220, 220)"
2290         tickmode: "linear"
2291         tickfont:
2292           size: 14
2293         zeroline: False
2294       yaxis:
2295         title: "<b>Bandwidth [Gbps]</b>"
2296         titlefont:
2297           size: 14
2298         gridcolor: "rgb(230, 230, 230)"
2299         hoverformat: ".4s"
2300         linecolor: "rgb(220, 220, 220)"
2301         linewidth: 1
2302         rangemode: "tozero"
2303         showgrid: True
2304         showline: True
2305         showticklabels: True
2306         tickcolor: "rgb(230, 230, 230)"
2307         tickformat: ".3s"
2308         tickfont:
2309           size: 14
2310         zeroline: False
2311       autosize: False
2312       margin:
2313         t: 50
2314         b: 20
2315         l: 80
2316         r: 20
2317       showlegend: True
2318       legend:
2319         orientation: "h"
2320         font:
2321           size: 14
2322       width: 700
2323       height: 800
2324       paper_bgcolor: "#fff"
2325       plot_bgcolor: "#fff"
2326       hoverlabel:
2327         namelength: -1
2328
2329     plot-throughput:
2330       titlefont:
2331         size: 16
2332       xaxis:
2333         title: "<b>Test Cases [Index]</b>"
2334         titlefont:
2335           size: 14
2336         autorange: True
2337         fixedrange: False
2338         gridcolor: "rgb(230, 230, 230)"
2339         linecolor: "rgb(220, 220, 220)"
2340         linewidth: 1
2341         showgrid: True
2342         showline: True
2343         showticklabels: True
2344         tickcolor: "rgb(220, 220, 220)"
2345         tickmode: "linear"
2346         tickfont:
2347           size: 14
2348         zeroline: False
2349       yaxis:
2350         title: "<b>Packet Throughput [Mpps]</b>"
2351         titlefont:
2352           size: 14
2353         gridcolor: "rgb(230, 230, 230)"
2354         hoverformat: ".4r"
2355         tickformat: ".3r"
2356         linecolor: "rgb(220, 220, 220)"
2357         linewidth: 1
2358         showgrid: True
2359         showline: True
2360         showticklabels: True
2361         tickcolor: "rgb(220, 220, 220)"
2362         tickfont:
2363           size: 14
2364         zeroline: False
2365         range: [0,50]
2366       autosize: False
2367       margin:
2368         t: 50
2369         b: 0
2370         l: 80
2371         r: 20
2372       showlegend: True
2373       legend:
2374         orientation: "h"
2375         font:
2376           size: 14
2377       width: 700
2378       height: 900
2379       paper_bgcolor: "#fff"
2380       plot_bgcolor: "#fff"
2381       hoverlabel:
2382         namelength: -1
2383
2384     plot-throughput-gbps:
2385       titlefont:
2386         size: 16
2387       xaxis:
2388         title: "<b>Test Cases [Index]</b>"
2389         titlefont:
2390           size: 14
2391         autorange: True
2392         fixedrange: False
2393         gridcolor: "rgb(230, 230, 230)"
2394         linecolor: "rgb(220, 220, 220)"
2395         linewidth: 1
2396         showgrid: True
2397         showline: True
2398         showticklabels: True
2399         tickcolor: "rgb(220, 220, 220)"
2400         tickmode: "linear"
2401         tickfont:
2402           size: 14
2403         zeroline: False
2404       yaxis:
2405         title: "<b>Packet Throughput [Gbps]</b>"
2406         titlefont:
2407           size: 14
2408         gridcolor: "rgb(230, 230, 230)"
2409         hoverformat: ".4r"
2410         tickformat: ".3r"
2411         linecolor: "rgb(220, 220, 220)"
2412         linewidth: 1
2413         showgrid: True
2414         showline: True
2415         showticklabels: True
2416         tickcolor: "rgb(220, 220, 220)"
2417         tickfont:
2418           size: 14
2419         zeroline: False
2420         range: [0,10]
2421       autosize: False
2422       margin:
2423         t: 50
2424         b: 0
2425         l: 80
2426         r: 20
2427       showlegend: True
2428       legend:
2429         orientation: "h"
2430         font:
2431           size: 14
2432       width: 700
2433       height: 900
2434       paper_bgcolor: "#fff"
2435       plot_bgcolor: "#fff"
2436       hoverlabel:
2437         namelength: -1
2438
2439     plot-cps:
2440       titlefont:
2441         size: 16
2442       xaxis:
2443         title: "<b>Test Cases [Index]</b>"
2444         titlefont:
2445           size: 14
2446         autorange: True
2447         fixedrange: False
2448         gridcolor: "rgb(230, 230, 230)"
2449         linecolor: "rgb(220, 220, 220)"
2450         linewidth: 1
2451         showgrid: True
2452         showline: True
2453         showticklabels: True
2454         tickcolor: "rgb(220, 220, 220)"
2455         tickmode: "linear"
2456         tickfont:
2457           size: 14
2458         zeroline: False
2459       yaxis:
2460         title: "<b>Connection Rate [Mcps]</b>"
2461         titlefont:
2462           size: 14
2463         gridcolor: "rgb(230, 230, 230)"
2464         hoverformat: ".4r"
2465         tickformat: ".3s"
2466         linecolor: "rgb(220, 220, 220)"
2467         linewidth: 1
2468         showgrid: True
2469         showline: True
2470         showticklabels: True
2471         tickcolor: "rgb(220, 220, 220)"
2472         tickfont:
2473           size: 14
2474         zeroline: False
2475         range: [0,10]
2476       autosize: False
2477       margin:
2478         t: 50
2479         b: 0
2480         l: 80
2481         r: 20
2482       showlegend: True
2483       legend:
2484         orientation: "h"
2485         font:
2486           size: 14
2487       width: 700
2488       height: 900
2489       paper_bgcolor: "#fff"
2490       plot_bgcolor: "#fff"
2491       hoverlabel:
2492         namelength: -1
2493
2494     plot-throughput-speedup-analysis:
2495       titlefont:
2496         size: 16
2497       xaxis:
2498         title: "<b>Number of Cores [Qty]</b>"
2499         titlefont:
2500           size: 14
2501         autorange: True
2502         fixedrange: False
2503         gridcolor: "rgb(230, 230, 230)"
2504         linecolor: "rgb(220, 220, 220)"
2505         linewidth: 1
2506         showgrid: True
2507         showline: True
2508         showticklabels: True
2509         tickcolor: "rgb(238, 238, 238)"
2510         tickmode: "linear"
2511         tickfont:
2512           size: 14
2513         zeroline: False
2514       yaxis:
2515         title: "<b>Packet Throughput [Mpps]</b>"
2516         titlefont:
2517           size: 14
2518         type: "linear"
2519         gridcolor: "rgb(230, 230, 230)"
2520         hoverformat: ".4s"
2521         linecolor: "rgb(220, 220, 220)"
2522         linewidth: 1
2523         showgrid: True
2524         showline: True
2525         showticklabels: True
2526         tickcolor: "rgb(220, 220, 220)"
2527         tickformat: ".4s"
2528         tickfont:
2529           size: 14
2530         zeroline: True
2531         rangemode: "tozero"
2532         range: [0,100]
2533       legend:
2534         orientation: "h"
2535         font:
2536           size: 14
2537         xanchor: "left"
2538         yanchor: "top"
2539         x: 0
2540         y: -0.2
2541         bgcolor: "rgba(255, 255, 255, 0)"
2542         bordercolor: "rgba(255, 255, 255, 0)"
2543         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2544       autosize: False
2545       margin:
2546           't': 50
2547           'b': 150
2548           'l': 85
2549           'r': 10
2550       showlegend: True
2551       width: 700
2552       height: 700
2553       paper_bgcolor: "#fff"
2554       plot_bgcolor: "#fff"
2555       hoverlabel:
2556         namelength: -1
2557       annotations: [
2558         {
2559           text: "_ _          __          ...",
2560           align: "left",
2561           showarrow: False,
2562           xref: "paper",
2563           yref: "paper",
2564           xanchor: "left",
2565           yanchor: "top",
2566           x: 0,
2567           y: -0.14,
2568           font: {
2569             family: "Consolas, Courier New",
2570             size: 13
2571           },
2572         },
2573         {
2574           text: "    Perfect     Measured     Limit",
2575           align: "left",
2576           showarrow: False,
2577           xref: "paper",
2578           yref: "paper",
2579           xanchor: "left",
2580           yanchor: "top",
2581           x: 0,
2582           y: -0.15,
2583           font: {
2584             family: "Consolas, Courier New",
2585             size: 13
2586           },
2587         },
2588       ]
2589
2590     plot-throughput-speedup-analysis-gbps:
2591       titlefont:
2592         size: 16
2593       xaxis:
2594         title: "<b>Number of Cores [Qty]</b>"
2595         titlefont:
2596           size: 14
2597         autorange: True
2598         fixedrange: False
2599         gridcolor: "rgb(230, 230, 230)"
2600         linecolor: "rgb(220, 220, 220)"
2601         linewidth: 1
2602         showgrid: True
2603         showline: True
2604         showticklabels: True
2605         tickcolor: "rgb(238, 238, 238)"
2606         tickmode: "linear"
2607         tickfont:
2608           size: 14
2609         zeroline: False
2610       yaxis:
2611         title: "<b>Packet Throughput [Gbps]</b>"
2612         titlefont:
2613           size: 14
2614         type: "linear"
2615         gridcolor: "rgb(230, 230, 230)"
2616         hoverformat: ".4s"
2617         linecolor: "rgb(220, 220, 220)"
2618         linewidth: 1
2619         showgrid: True
2620         showline: True
2621         showticklabels: True
2622         tickcolor: "rgb(220, 220, 220)"
2623         tickformat: ".4s"
2624         tickfont:
2625           size: 14
2626         zeroline: True
2627         rangemode: "tozero"
2628         range: [0,100]
2629       legend:
2630         orientation: "h"
2631         font:
2632           size: 14
2633         xanchor: "left"
2634         yanchor: "top"
2635         x: 0
2636         y: -0.2
2637         bgcolor: "rgba(255, 255, 255, 0)"
2638         bordercolor: "rgba(255, 255, 255, 0)"
2639         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2640       autosize: False
2641       margin:
2642           't': 50
2643           'b': 150
2644           'l': 85
2645           'r': 10
2646       showlegend: True
2647       width: 700
2648       height: 700
2649       paper_bgcolor: "#fff"
2650       plot_bgcolor: "#fff"
2651       hoverlabel:
2652         namelength: -1
2653       annotations: [
2654         {
2655           text: "_ _          __",
2656           align: "left",
2657           showarrow: False,
2658           xref: "paper",
2659           yref: "paper",
2660           xanchor: "left",
2661           yanchor: "top",
2662           x: 0,
2663           y: -0.13,
2664           font: {
2665             family: "Consolas, Courier New",
2666             size: 13
2667           },
2668         },
2669         {
2670           text: "    Perfect     Measured",
2671           align: "left",
2672           showarrow: False,
2673           xref: "paper",
2674           yref: "paper",
2675           xanchor: "left",
2676           yanchor: "top",
2677           x: 0,
2678           y: -0.15,
2679           font: {
2680             family: "Consolas, Courier New",
2681             size: 13
2682           },
2683         },
2684       ]
2685
2686     plot-throughput-speedup-analysis-cps:
2687       titlefont:
2688         size: 16
2689       xaxis:
2690         title: "<b>Number of Cores [Qty]</b>"
2691         titlefont:
2692           size: 14
2693         autorange: True
2694         fixedrange: False
2695         gridcolor: "rgb(230, 230, 230)"
2696         linecolor: "rgb(220, 220, 220)"
2697         linewidth: 1
2698         showgrid: True
2699         showline: True
2700         showticklabels: True
2701         tickcolor: "rgb(238, 238, 238)"
2702         tickmode: "linear"
2703         tickfont:
2704           size: 14
2705         zeroline: False
2706       yaxis:
2707         title: "<b>Connection Rate [Mcps]</b>"
2708         titlefont:
2709           size: 14
2710         type: "linear"
2711         gridcolor: "rgb(230, 230, 230)"
2712         hoverformat: ".4s"
2713         linecolor: "rgb(220, 220, 220)"
2714         linewidth: 1
2715         showgrid: True
2716         showline: True
2717         showticklabels: True
2718         tickcolor: "rgb(220, 220, 220)"
2719         tickformat: ".4s"
2720         tickfont:
2721           size: 14
2722         zeroline: True
2723         rangemode: "tozero"
2724         range: [0,100]
2725       legend:
2726         orientation: "h"
2727         font:
2728           size: 14
2729         xanchor: "left"
2730         yanchor: "top"
2731         x: 0
2732         y: -0.2
2733         bgcolor: "rgba(255, 255, 255, 0)"
2734         bordercolor: "rgba(255, 255, 255, 0)"
2735         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2736       autosize: False
2737       margin:
2738           't': 50
2739           'b': 150
2740           'l': 85
2741           'r': 10
2742       showlegend: True
2743       width: 700
2744       height: 700
2745       paper_bgcolor: "#fff"
2746       plot_bgcolor: "#fff"
2747       hoverlabel:
2748         namelength: -1
2749       annotations: [
2750         {
2751           text: "_ _          __",
2752           align: "left",
2753           showarrow: False,
2754           xref: "paper",
2755           yref: "paper",
2756           xanchor: "left",
2757           yanchor: "top",
2758           x: 0,
2759           y: -0.13,
2760           font: {
2761             family: "Consolas, Courier New",
2762             size: 13
2763           },
2764         },
2765         {
2766           text: "    Perfect     Measured",
2767           align: "left",
2768           showarrow: False,
2769           xref: "paper",
2770           yref: "paper",
2771           xanchor: "left",
2772           yanchor: "top",
2773           x: 0,
2774           y: -0.15,
2775           font: {
2776             family: "Consolas, Courier New",
2777             size: 13
2778           },
2779         },
2780       ]
2781
2782     plot-latency:
2783       titlefont:
2784         size: 16
2785       xaxis:
2786         title: "<b>Direction</b>"
2787         titlefont:
2788           size: 14
2789         autorange: True
2790         fixedrange: False
2791         gridcolor: "rgb(230, 230, 230)"
2792         linecolor: "rgb(220, 220, 220)"
2793         linewidth: 1
2794         showgrid: True
2795         showline: True
2796         showticklabels: False
2797         tickcolor: "rgb(220, 220, 220)"
2798         tickmode: "linear"
2799         tickfont:
2800           size: 14
2801         zeroline: False
2802       yaxis:
2803         title: "<b>Packet Latency [uSec]</b>"
2804         titlefont:
2805           size: 14
2806         type: "linear"
2807         gridcolor: "rgb(230, 230, 230)"
2808         hoverformat: ".4s"
2809         linecolor: "rgb(220, 220, 220)"
2810         linewidth: 1
2811         showgrid: True
2812         showline: True
2813         showticklabels: True
2814         tickcolor: "rgb(220, 220, 220)"
2815         tickformat: ".4s"
2816         tickfont:
2817           size: 14
2818         zeroline: True
2819         rangemode: "tozero"
2820       legend:
2821         orientation: "h"
2822         font:
2823           size: 14
2824         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2825       autosize: False
2826       margin:
2827           't': 50
2828           'b': 150
2829           'l': 80
2830           'r': 10
2831       showlegend: True
2832       width: 700
2833       height: 700
2834       paper_bgcolor: "#fff"
2835       plot_bgcolor: "#fff"
2836       hoverlabel:
2837         namelength: -1
2838
2839     plot-hdrh-latency:
2840       title:
2841         text: ""
2842         xanchor: "center"
2843         x: 0.5
2844         font:
2845           size: 16
2846       width: 700
2847       plot_bgcolor: "white"
2848       annotations:
2849         - font:
2850             size: 14
2851           showarrow: False
2852           text: "<b>Packet Latency [uSec]</b>"
2853           x: 1
2854           xanchor: "right"
2855           xref: "paper"
2856           y: -0.045
2857           yanchor: "top"
2858           yref: "paper"
2859         - font:
2860             size: 14
2861           showarrow: False
2862           text: "<b>Probability [%]</b>"
2863           textangle: 270
2864           x: -0.06
2865           xanchor: "center"
2866           xref: "paper"
2867           y: 0.5
2868           yanchor: "middle"
2869           yref: "paper"
2870         - font:
2871             size: 14
2872           showarrow: False
2873           text: "<b>Direction: E-W</b>"
2874           x: 0.24
2875           xanchor: "center"
2876           xref: "paper"
2877           y: 1.05
2878           yanchor: "bottom"
2879           yref: "paper"
2880         - font:
2881             size: 14
2882           showarrow: False
2883           text: "<b>Direction: W-E</b>"
2884           x: 0.74
2885           xanchor: "center"
2886           xref: "paper"
2887           y: 1.05
2888           yanchor: "bottom"
2889           yref: "paper"
2890
2891     plot-hdrh-latency-percentile-x-log:
2892       title:
2893         text: "<b>Latency by Percentile Distribution</b>"
2894         xanchor: "center"
2895         x: 0.5
2896         font:
2897           size: 18
2898       showlegend: True
2899       legend:
2900         traceorder: "normal"
2901         orientation: "h"
2902         font:
2903           size: 16
2904         xanchor: "left"
2905         yanchor: "top"
2906         x: 0
2907         y: -0.2
2908         bgcolor: "rgba(255, 255, 255, 0)"
2909         bordercolor: "rgba(255, 255, 255, 0)"
2910       xaxis:
2911         type: "log"
2912         title: "<b>Percentile [%]</b>"
2913         titlefont:
2914           size: 14
2915         autorange: False
2916         fixedrange: True
2917         gridcolor: "rgb(230, 230, 230)"
2918         linecolor: "rgb(220, 220, 220)"
2919         linewidth: 1
2920         showgrid: True
2921         showline: True
2922         showticklabels: True
2923         tickcolor: "rgb(220, 220, 220)"
2924         tickvals: [1, 2, 1e1, 20, 1e2, 1e3, 1e4, 1e5, 1e6]
2925         ticktext: [0, 50, 90, 95, 99, 99.9, 99.99, 99.999, 99.9999]
2926         tickfont:
2927           size: 14
2928       yaxis:
2929         title: "<b>One-Way Latency per Direction [uSec]</b>"
2930         titlefont:
2931           size: 14
2932         gridcolor: "rgb(230, 230, 230)"
2933         linecolor: "rgb(220, 220, 220)"
2934         linewidth: 1
2935         showgrid: True
2936         showline: True
2937         showticklabels: True
2938         tickcolor: "rgb(220, 220, 220)"
2939         tickfont:
2940           size: 14
2941       autosize: False
2942       width: 700
2943       height: 700
2944       paper_bgcolor: "white"
2945       plot_bgcolor: "white"
2946
2947     plot-hdrh-latency-by-percentile:
2948       title:
2949         text: "<b>Latency by Percentile Distribution</b>"
2950         xanchor: "center"
2951         x: 0.5
2952         font:
2953           size: 18
2954       showlegend: True
2955       legend:
2956         traceorder: "normal"
2957         orientation: "h"
2958         font:
2959           size: 16
2960         xanchor: "left"
2961         yanchor: "top"
2962         x: 0
2963         y: -0.2
2964         bgcolor: "rgba(255, 255, 255, 0)"
2965         bordercolor: "rgba(255, 255, 255, 0)"
2966       xaxis:
2967         type: "linear"
2968         title: "<b>Percentile [%]</b>"
2969         titlefont:
2970           size: 14
2971         autorange: False
2972         fixedrange: False
2973         range: [0, 100]
2974         gridcolor: "rgb(230, 230, 230)"
2975         linecolor: "rgb(220, 220, 220)"
2976         linewidth: 1
2977         showgrid: True
2978         showline: True
2979         showticklabels: True
2980         tickcolor: "rgb(220, 220, 220)"
2981         tickvals: [0, 25, 50, 75, 100]
2982         ticktext: [0, 25, 50, 75, 100]
2983         tickfont:
2984           size: 14
2985       yaxis:
2986         title: "<b>One-Way Latency per Direction [uSec]</b>"
2987         titlefont:
2988           size: 14
2989         gridcolor: "rgb(230, 230, 230)"
2990         linecolor: "rgb(220, 220, 220)"
2991         linewidth: 1
2992         showgrid: True
2993         showline: True
2994         showticklabels: True
2995         tickcolor: "rgb(220, 220, 220)"
2996         tickfont:
2997           size: 14
2998       width: 700
2999       height: 700
3000       paper_bgcolor: "white"
3001       plot_bgcolor: "white"
3002
3003 - type: "static"
3004   src-path: "{DIR[RST]}"
3005   dst-path: "{DIR[WORKING,SRC]}"
3006
3007 - type: "input"
3008   general:
3009     file-name: "output_info.xml.gz"
3010     file-format: ".gz"
3011     arch-file-format:
3012       - ".gz"
3013       - ".zip"
3014     download-path: "{job}/{build}/archives/{filename}"
3015     extract: "output.xml"
3016
3017     zip-file-name: "robot-plugin.zip"
3018     zip-file-format: ".zip"
3019     zip-download-path: "{job}/{build}/robot/report/*zip*/{filename}"
3020     zip-extract: "robot-plugin/output.xml"
3021
3022   builds:
3023
3024     csit-vpp-perf-report-iterative-2009-3n-hsw:
3025       - 18  # rls2005 MRR iter env 5
3026       - 9   # rls2005 NDRPDR iter env 5
3027       - 10  # rls2005 NDRPDR iter env 5
3028       - 11  # rls2005 NDRPDR iter env 5
3029       - 12  # rls2005 NDRPDR iter env 5
3030       - 13  # rls2005 NDRPDR iter env 5
3031       - 14  # rls2005 NDRPDR iter env 5
3032       - 15  # rls2005 NDRPDR iter env 5
3033       - 16  # rls2005 NDRPDR iter env 5
3034       - 17  # rls2005 NDRPDR iter env 5
3035       - 19  # rls2005 NDRPDR iter env 5
3036       - 23  # rls2009 MRR iter env 5
3037       - 21  # rls2009 NDRPDR iter env 5
3038       - 22  # rls2009 NDRPDR iter env 5
3039       - 24  # rls2009 NDRPDR iter env 5
3040       - 25  # rls2009 NDRPDR iter env 5
3041       - 26  # rls2009 NDRPDR iter env 5
3042       - 27  # rls2009 NDRPDR iter env 5
3043       - 28  # rls2009 NDRPDR iter env 5
3044       - 29  # rls2009 NDRPDR iter env 5
3045       - 30  # rls2009 NDRPDR iter env 5
3046       - 31  # rls2009 NDRPDR iter env 5
3047     csit-vpp-perf-report-iterative-2101-3n-hsw:
3048       - 17  # rls2009 MRR iter env 6
3049       - 19  # rls2009 NDRPDR iter env 6
3050       - 20  # rls2009 NDRPDR iter env 6
3051       - 21  # rls2009 NDRPDR iter env 6
3052       - 22  # rls2009 NDRPDR iter env 6
3053       - 23  # rls2009 NDRPDR iter env 6
3054       - 24  # rls2009 NDRPDR iter env 6
3055       - 25  # rls2009 NDRPDR iter env 6
3056       - 26  # rls2009 NDRPDR iter env 6
3057       - 27  # rls2009 NDRPDR iter env 6
3058       - 63  # rls2101.rel MRR iter env 6
3059       - 64  # rls2101.rel NDRPDR iter env 6
3060       - 71  # rls2101.rel NDRPDR iter env 6
3061       - 73  # rls2101.rel NDRPDR iter env 6
3062       - 74  # rls2101.rel NDRPDR iter env 6
3063       - 80  # rls2101.rel NDRPDR iter env 6
3064       - 81  # rls2101.rel NDRPDR iter env 6
3065       - 82  # rls2101.rel NDRPDR iter env 6
3066       - 83  # rls2101.rel NDRPDR iter env 6
3067       - 88  # rls2101.rel NDRPDR iter env 6
3068       - 89  # rls2101.rel NDRPDR iter env 6
3069       - 128 # rls2101.rel NDRPDR iter RND env 6
3070       - 129 # rls2101.rel NDRPDR iter RND env 6
3071       - 130 # rls2101.rel NDRPDR iter RND env 6
3072       - 131 # rls2101.rel NDRPDR iter RND env 6
3073       - 132 # rls2101.rel NDRPDR iter RND env 6
3074       - 133 # rls2101.rel NDRPDR iter RND env 6
3075       - 134 # rls2101.rel NDRPDR iter RND env 6
3076       - 135 # rls2101.rel NDRPDR iter RND env 6
3077       - 136 # rls2101.rel NDRPDR iter RND env 6
3078       - 137 # rls2101.rel NDRPDR iter RND env 6
3079       - 65  # rls2101.rel NDRPDR reconf iter env 6
3080       - 68  # rls2101.rel NDRPDR reconf iter env 6
3081       - 77  # rls2101.rel NDRPDR reconf iter env 6
3082       - 84  # rls2101.rel NDRPDR reconf iter env 6
3083       - 90  # rls2101.rel NDRPDR reconf iter env 6
3084       - 96  # rls2101.rel NDRPDR reconf iter env 6
3085       - 101 # rls2101.rel NDRPDR reconf iter env 6
3086       - 104 # rls2101.rel NDRPDR reconf iter env 6
3087       - 105 # rls2101.rel NDRPDR reconf iter env 6
3088       - 106 # rls2101.rel NDRPDR reconf iter env 6
3089       - 107 # rls2101.rel NDRPDR reconf iter env 6
3090       - 108 # rls2101.rel NDRPDR reconf iter env 6
3091       - 110 # rls2101.rel NDRPDR reconf iter env 6
3092       - 111 # rls2101.rel NDRPDR reconf iter env 6
3093       - 112 # rls2101.rel NDRPDR reconf iter env 6
3094       - 113 # rls2101.rel NDRPDR reconf iter env 6
3095       - 114 # rls2101.rel NDRPDR reconf iter env 6
3096       - 115 # rls2101.rel NDRPDR reconf iter env 6
3097       - 116 # rls2101.rel NDRPDR reconf iter env 6
3098       - 117 # rls2101.rel NDRPDR reconf iter env 6
3099       - 69  # rls2101.rel Hoststack iter env 6
3100       - 70  # rls2101.rel Hoststack iter env 6
3101       - 75  # rls2101.rel Hoststack iter env 6
3102       - 76  # rls2101.rel Hoststack iter env 6
3103       - 78  # rls2101.rel Hoststack iter env 6
3104       - 79  # rls2101.rel Hoststack iter env 6
3105       - 85  # rls2101.rel Hoststack iter env 6
3106       - 86  # rls2101.rel Hoststack iter env 6
3107       - 87  # rls2101.rel Hoststack iter env 6
3108       - 91  # rls2101.rel Hoststack iter env 6
3109       - 92  # rls2101.rel Hoststack iter env 6
3110       - 93  # rls2101.rel Hoststack iter env 6
3111       - 94  # rls2101.rel Hoststack iter env 6
3112       - 95  # rls2101.rel Hoststack iter env 6
3113       - 97  # rls2101.rel Hoststack iter env 6
3114       - 98  # rls2101.rel Hoststack iter env 6
3115       - 99  # rls2101.rel Hoststack iter env 6
3116       - 100 # rls2101.rel Hoststack iter env 6
3117       - 102 # rls2101.rel Hoststack iter env 6
3118       - 103 # rls2101.rel Hoststack iter env 6
3119     csit-vpp-perf-report-coverage-2101-3n-hsw:
3120       - 1   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-00
3121       - 2   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-01
3122       - 3   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-02
3123       - 4   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-03
3124       - 5   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-00
3125       - 6   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-01
3126       - 7   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-02
3127       - 8   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-03