HC Test: Fix log archiving in honeycomb tests
[csit.git] / tests / perf / Long_Bridge_Domain_Vhost_Intel-X520-DA2.robot
1 # Copyright (c) 2016 Cisco and/or its affiliates.
2 # Licensed under the Apache License, Version 2.0 (the "License");
3 # you may not use this file except in compliance with the License.
4 # You may obtain a copy of the License at:
5 #
6 #     http://www.apache.org/licenses/LICENSE-2.0
7 #
8 # Unless required by applicable law or agreed to in writing, software
9 # distributed under the License is distributed on an "AS IS" BASIS,
10 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
11 # See the License for the specific language governing permissions and
12 # limitations under the License.
13
14 *** Settings ***
15 | Resource | resources/libraries/robot/performance.robot
16 | Library | resources.libraries.python.QemuUtils
17 | Force Tags | 3_NODE_SINGLE_LINK_TOPO | PERFTEST | HW_ENV | PERFTEST_LONG
18 | ...        | PERFTEST_VHOST | NIC_Intel-X520-DA2
19 | Suite Setup | 3-node Performance Suite Setup with DUT's NIC model
20 | ... | L2 | Intel-X520-DA2
21 | Suite Teardown | 3-node Performance Suite Teardown
22 | Test Setup | Setup all DUTs before test
23 | Test Teardown | Run Keywords
24 | ...           | Run Keyword If Test Failed
25 | ...           | Traffic should pass with no loss | 10
26 | ...           | ${min_rate}pps | ${framesize} | 3-node-bridge
27 | ...           | fail_on_loss=${False}
28 | ...           | AND | Show Vpp Vhost On All DUTs
29 | ...           | AND | Remove startup configuration of VPP from all DUTs
30 | ...           | AND | Guest VM with dpdk-testpmd Teardown | ${dut1}
31 | ...                 | ${dut1_vm_refs}
32 | ...           | AND | Guest VM with dpdk-testpmd Teardown | ${dut2}
33 | ...                 | ${dut2_vm_refs}
34 | Documentation | *RFC2544: Pkt throughput L2BD test cases with vhost*
35 | ...
36 | ... | *[Top] Network Topologies:* TG-DUT1-DUT2-TG 3-node circular topology
37 | ... | with single links between nodes.
38 | ... | *[Enc] Packet Encapsulations:* Eth-IPv4 for L2 switching of IPv4.
39 | ... | *[Cfg] DUT configuration:* DUT1 and DUT2 are configured with L2 bridge-
40 | ... | domain and MAC learning enabled. Qemu Guest is connected to VPP via
41 | ... | vhost-user interfaces. Guest is running DPDK testpmd interconnecting
42 | ... | vhost-user interfaces using 5 cores pinned to cpus 5-9 and 2048M
43 | ... | memory. Testpmd is using socket-mem=1024M (512x2M hugepages), 5 cores
44 | ... | (1 main core and 4 cores dedicated for io), forwarding mode is set to
45 | ... | io, rxd/txd=256, burst=64. DUT1, DUT2 are tested with 2p10GE NIC X520
46 | ... | Niantic by Intel.
47 | ... | *[Ver] TG verification:* TG finds and reports throughput NDR (Non Drop
48 | ... | Rate) with zero packet loss tolerance or throughput PDR (Partial Drop
49 | ... | Rate) with non-zero packet loss tolerance (LT) expressed in percentage
50 | ... | of packets transmitted. NDR and PDR are discovered for different
51 | ... | Ethernet L2 frame sizes using either binary search or linear search
52 | ... | algorithms with configured starting rate and final step that determines
53 | ... | throughput measurement resolution. Test packets are generated by TG on
54 | ... | links to DUTs. TG traffic profile contains two L3 flow-groups
55 | ... | (flow-group per direction, 253 flows per flow-group) with all packets
56 | ... | containing Ethernet header, IPv4 header with IP protocol=61 and static
57 | ... | payload. MAC addresses are matching MAC addresses of the TG node
58 | ... | interfaces.
59 | ... | *[Ref] Applicable standard specifications:* RFC2544.
60
61 *** Variables ***
62 #X520-DA2 bandwidth limit
63 | ${s_limit} | ${10000000000}
64 #Socket names
65 | ${bd_id1}= | 1
66 | ${bd_id2}= | 2
67 | ${sock1}= | /tmp/sock-1-${bd_id1}
68 | ${sock2}= | /tmp/sock-1-${bd_id2}
69
70 *** Test Cases ***
71 | TC01: 64B NDR binary search - DUT L2BD-VHOST - 1thread 1core 1rxq
72 | | [Documentation]
73 | | ... | [Cfg] DUT runs L2BD switching config with 1 thread, 1 phy core, \
74 | | ... | 1 receive queue per NIC port. [Ver] Find NDR for 64 Byte frames \
75 | | ... | using binary search start at 10GE linerate, step 10kpps.
76 | | [Tags] | 1_THREAD_NOHTT_RXQUEUES_1 | SINGLE_THREAD | NDR
77 | | ${framesize}= | Set Variable | ${64}
78 | | ${min_rate}= | Set Variable | ${10000}
79 | | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
80 | | ${binary_min}= | Set Variable | ${min_rate}
81 | | ${binary_max}= | Set Variable | ${max_rate}
82 | | ${threshold}= | Set Variable | ${min_rate}
83 | | ${dut1_vm_refs}= | Create Dictionary
84 | | ${dut2_vm_refs}= | Create Dictionary
85 | | Given Add '1' worker threads and rxqueues '1' in 3-node single-link topo
86 | | And   Add PCI devices to DUTs from 3-node single link topology
87 | | And   Add No Multi Seg to all DUTs
88 | | And   Apply startup configuration on all VPP DUTs
89 | | When  L2 bridge domains with Vhost-User initialized in a 3-node circular topology
90 | | ...   | ${bd_id1} | ${bd_id2} | ${sock1} | ${sock2}
91 | | ${vm1}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
92 | | ...     | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1
93 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
94 | | ${vm2}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
95 | | ...     | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1
96 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
97 | | And Setup scheduler policy for VPP on all DUTs
98 | | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
99 | | ...                                       | ${binary_max} | 3-node-bridge
100 | | ...                                       | ${min_rate} | ${max_rate}
101 | | ...                                       | ${threshold}
102
103 | TC02: 64B PDR binary search - DUT L2BD-VHOST - 1thread 1core 1rxq
104 | | [Documentation]
105 | | ... | [Cfg] DUT runs L2BD switching config with 1 thread, 1 phy core, \
106 | | ... | 1 receive queue per NIC port. [Ver] Find PDR for 64 Byte frames \
107 | | ... | using binary search start at 10GE linerate, step 10kpps, LT=0.5%.
108 | | [Tags] | 1_THREAD_NOHTT_RXQUEUES_1 | SINGLE_THREAD | PDR | SKIP_PATCH
109 | | ${framesize}= | Set Variable | ${64}
110 | | ${min_rate}= | Set Variable | ${10000}
111 | | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
112 | | ${binary_min}= | Set Variable | ${min_rate}
113 | | ${binary_max}= | Set Variable | ${max_rate}
114 | | ${threshold}= | Set Variable | ${min_rate}
115 | | ${dut1_vm_refs}= | Create Dictionary
116 | | ${dut2_vm_refs}= | Create Dictionary
117 | | Given Add '1' worker threads and rxqueues '1' in 3-node single-link topo
118 | | And   Add PCI devices to DUTs from 3-node single link topology
119 | | And   Add No Multi Seg to all DUTs
120 | | And   Apply startup configuration on all VPP DUTs
121 | | When  L2 bridge domains with Vhost-User initialized in a 3-node circular topology
122 | | ...   | ${bd_id1} | ${bd_id2} | ${sock1} | ${sock2}
123 | | ${vm1}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
124 | | ...     | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1
125 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
126 | | ${vm2}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
127 | | ...     | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1
128 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
129 | | And Setup scheduler policy for VPP on all DUTs
130 | | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
131 | | ...                                       | ${binary_max} | 3-node-bridge
132 | | ...                                       | ${min_rate} | ${max_rate}
133 | | ...                                       | ${threshold}
134 | | ...                                       | ${glob_loss_acceptance}
135 | | ...                                       | ${glob_loss_acceptance_type}
136
137 | TC03: 1518B NDR binary search - DUT L2BD-VHOST - 1thread 1core 1rxq
138 | | [Documentation]
139 | | ... | [Cfg] DUT runs L2BD switching config with 1 thread, 1 phy core, \
140 | | ... | 1 receive queue per NIC port. [Ver] Find NDR for 1518 Byte frames \
141 | | ... | using binary search start at 10GE linerate, step 10kpps.
142 | | [Tags] | 1_THREAD_NOHTT_RXQUEUES_1 | SINGLE_THREAD | NDR
143 | | ${framesize}= | Set Variable | ${1518}
144 | | ${min_rate}= | Set Variable | ${10000}
145 | | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
146 | | ${binary_min}= | Set Variable | ${min_rate}
147 | | ${binary_max}= | Set Variable | ${max_rate}
148 | | ${threshold}= | Set Variable | ${min_rate}
149 | | ${dut1_vm_refs}= | Create Dictionary
150 | | ${dut2_vm_refs}= | Create Dictionary
151 | | Given Add '1' worker threads and rxqueues '1' in 3-node single-link topo
152 | | And   Add PCI devices to DUTs from 3-node single link topology
153 | | And   Add No Multi Seg to all DUTs
154 | | And   Apply startup configuration on all VPP DUTs
155 | | When  L2 bridge domains with Vhost-User initialized in a 3-node circular topology
156 | | ...   | ${bd_id1} | ${bd_id2} | ${sock1} | ${sock2}
157 | | ${vm1}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
158 | | ...     | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1
159 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
160 | | ${vm2}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
161 | | ...     | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1
162 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
163 | | And Setup scheduler policy for VPP on all DUTs
164 | | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
165 | | ...                                       | ${binary_max} | 3-node-bridge
166 | | ...                                       | ${min_rate} | ${max_rate}
167 | | ...                                       | ${threshold}
168
169 | TC04: 1518B PDR binary search - DUT L2BD-VHOST - 1thread 1core 1rxq
170 | | [Documentation]
171 | | ... | [Cfg] DUT runs L2BD switching config with 1 thread, 1 phy core, \
172 | | ... | 1 receive queue per NIC port. [Ver] Find PDR for 1518 Byte frames \
173 | | ... | using binary search start at 10GE linerate, step 10kpps, LT=0.5%.
174 | | [Tags] | 1_THREAD_NOHTT_RXQUEUES_1 | SINGLE_THREAD | PDR | SKIP_PATCH
175 | | ${framesize}= | Set Variable | ${1518}
176 | | ${min_rate}= | Set Variable | ${10000}
177 | | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
178 | | ${binary_min}= | Set Variable | ${min_rate}
179 | | ${binary_max}= | Set Variable | ${max_rate}
180 | | ${threshold}= | Set Variable | ${min_rate}
181 | | ${dut1_vm_refs}= | Create Dictionary
182 | | ${dut2_vm_refs}= | Create Dictionary
183 | | Given Add '1' worker threads and rxqueues '1' in 3-node single-link topo
184 | | And   Add PCI devices to DUTs from 3-node single link topology
185 | | And   Add No Multi Seg to all DUTs
186 | | And   Apply startup configuration on all VPP DUTs
187 | | When  L2 bridge domains with Vhost-User initialized in a 3-node circular topology
188 | | ...   | ${bd_id1} | ${bd_id2} | ${sock1} | ${sock2}
189 | | ${vm1}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
190 | | ...     | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1
191 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
192 | | ${vm2}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
193 | | ...     | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1
194 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
195 | | And Setup scheduler policy for VPP on all DUTs
196 | | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
197 | | ...                                       | ${binary_max} | 3-node-bridge
198 | | ...                                       | ${min_rate} | ${max_rate}
199 | | ...                                       | ${threshold}
200 | | ...                                       | ${glob_loss_acceptance}
201 | | ...                                       | ${glob_loss_acceptance_type}
202
203 | TC05: IMIX_v4_1 NDR binary search - DUT L2BD-VHOST - 1thread 1core 1rxq
204 | | [Documentation]
205 | | ... | [Cfg] DUT runs L2BD switching config with 1 thread, 1 phy core, \
206 | | ... | 1 receive queue per NIC port. [Ver] Find NDR for IMIX_v4_1 frame \
207 | | ... | size using binary search start at 10GE linerate, step 5kpps.
208 | | ... | IMIX_v4_1 = (28x64B;16x570B;4x1518B)
209 | | [Tags] | 1_THREAD_NOHTT_RXQUEUES_1 | SINGLE_THREAD | NDR
210 | | ${framesize}= | Set Variable | IMIX_v4_1
211 | | ${min_rate}= | Set Variable | ${10000}
212 | | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
213 | | ${binary_min}= | Set Variable | ${min_rate}
214 | | ${binary_max}= | Set Variable | ${max_rate}
215 | | ${threshold}= | Set Variable | ${min_rate}
216 | | ${dut1_vm_refs}= | Create Dictionary
217 | | ${dut2_vm_refs}= | Create Dictionary
218 | | Given Add '1' worker threads and rxqueues '1' in 3-node single-link topo
219 | | And   Add PCI devices to DUTs from 3-node single link topology
220 | | And   Add No Multi Seg to all DUTs
221 | | And   Apply startup configuration on all VPP DUTs
222 | | When  L2 bridge domains with Vhost-User initialized in a 3-node circular topology
223 | | ...   | ${bd_id1} | ${bd_id2} | ${sock1} | ${sock2}
224 | | ${vm1}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
225 | | ...     | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1
226 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
227 | | ${vm2}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
228 | | ...     | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1
229 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
230 | | And Setup scheduler policy for VPP on all DUTs
231 | | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
232 | | ...                                       | ${binary_max} | 3-node-bridge
233 | | ...                                       | ${min_rate} | ${max_rate}
234 | | ...                                       | ${threshold}
235
236 | TC06: IMIX_v4_1 PDR binary search - DUT L2BD-VHOST - 1thread 1core 1rxq
237 | | [Documentation]
238 | | ... | [Cfg] DUT runs L2BD switching config with 1 thread, 1 phy core, \
239 | | ... | 1 receive queue per NIC port. [Ver] Find PDR for IMIX_v4_1 frame \
240 | | ... | size using binary search start at 10GE linerate, step 5kpps, LT=0.5%.
241 | | ... | IMIX_v4_1 = (28x64B;16x570B;4x1518B)
242 | | [Tags] | 1_THREAD_NOHTT_RXQUEUES_1 | SINGLE_THREAD | PDR | SKIP_PATCH
243 | | ${framesize}= | Set Variable | IMIX_v4_1
244 | | ${min_rate}= | Set Variable | ${10000}
245 | | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
246 | | ${binary_min}= | Set Variable | ${min_rate}
247 | | ${binary_max}= | Set Variable | ${max_rate}
248 | | ${threshold}= | Set Variable | ${min_rate}
249 | | ${dut1_vm_refs}= | Create Dictionary
250 | | ${dut2_vm_refs}= | Create Dictionary
251 | | Given Add '1' worker threads and rxqueues '1' in 3-node single-link topo
252 | | And   Add PCI devices to DUTs from 3-node single link topology
253 | | And   Apply startup configuration on all VPP DUTs
254 | | When  L2 bridge domains with Vhost-User initialized in a 3-node circular topology
255 | | ...   | ${bd_id1} | ${bd_id2} | ${sock1} | ${sock2}
256 | | ${vm1}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
257 | | ...     | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1
258 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
259 | | ${vm2}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
260 | | ...     | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1
261 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
262 | | And Setup scheduler policy for VPP on all DUTs
263 | | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
264 | | ...                                       | ${binary_max} | 3-node-bridge
265 | | ...                                       | ${min_rate} | ${max_rate}
266 | | ...                                       | ${threshold}
267 | | ...                                       | ${glob_loss_acceptance}
268 | | ...                                       | ${glob_loss_acceptance_type}
269
270 | TC07: 64B NDR binary search - DUT L2BD-VHOST - 2threads 2cores 1rxq
271 | | [Documentation]
272 | | ... | [Cfg] DUT runs L2BD switching config with 2 threads, 2 phy cores, \
273 | | ... | 1 receive queue per NIC port. [Ver] Find NDR for 64 Byte frames \
274 | | ... | using binary search start at 10GE linerate, step 10kpps.
275 | | [Tags] | 2_THREAD_NOHTT_RXQUEUES_1 | MULTI_THREAD | NDR
276 | | ${framesize}= | Set Variable | ${64}
277 | | ${min_rate}= | Set Variable | ${10000}
278 | | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
279 | | ${binary_min}= | Set Variable | ${min_rate}
280 | | ${binary_max}= | Set Variable | ${max_rate}
281 | | ${threshold}= | Set Variable | ${min_rate}
282 | | ${dut1_vm_refs}= | Create Dictionary
283 | | ${dut2_vm_refs}= | Create Dictionary
284 | | Given Add '2' worker threads and rxqueues '1' in 3-node single-link topo
285 | | And   Add PCI devices to DUTs from 3-node single link topology
286 | | And   Add No Multi Seg to all DUTs
287 | | And   Apply startup configuration on all VPP DUTs
288 | | When  L2 bridge domains with Vhost-User initialized in a 3-node circular topology
289 | | ...   | ${bd_id1} | ${bd_id2} | ${sock1} | ${sock2}
290 | | ${vm1}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
291 | | ...     | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1
292 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
293 | | ${vm2}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
294 | | ...     | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1
295 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
296 | | And Setup scheduler policy for VPP on all DUTs
297 | | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
298 | | ...                                       | ${binary_max} | 3-node-bridge
299 | | ...                                       | ${min_rate} | ${max_rate}
300 | | ...                                       | ${threshold}
301
302 | TC08: 64B PDR binary search - DUT L2BD-VHOST - 2threads 2cores 1rxq
303 | | [Documentation]
304 | | ... | [Cfg] DUT runs L2BD switching config with 2 threads, 2 phy cores, \
305 | | ... | 1 receive queue per NIC port. [Ver] Find PDR for 64 Byte frames \
306 | | ... | using binary search start at 10GE linerate, step 10kpps, LT=0.5%.
307 | | [Tags] | 2_THREAD_NOHTT_RXQUEUES_1 | MULTI_THREAD | PDR | SKIP_PATCH
308 | | ${framesize}= | Set Variable | ${64}
309 | | ${min_rate}= | Set Variable | ${10000}
310 | | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
311 | | ${binary_min}= | Set Variable | ${min_rate}
312 | | ${binary_max}= | Set Variable | ${max_rate}
313 | | ${threshold}= | Set Variable | ${min_rate}
314 | | ${dut1_vm_refs}= | Create Dictionary
315 | | ${dut2_vm_refs}= | Create Dictionary
316 | | Given Add '2' worker threads and rxqueues '1' in 3-node single-link topo
317 | | And   Add PCI devices to DUTs from 3-node single link topology
318 | | And   Add No Multi Seg to all DUTs
319 | | And   Apply startup configuration on all VPP DUTs
320 | | When  L2 bridge domains with Vhost-User initialized in a 3-node circular topology
321 | | ...   | ${bd_id1} | ${bd_id2} | ${sock1} | ${sock2}
322 | | ${vm1}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
323 | | ...     | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1
324 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
325 | | ${vm2}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
326 | | ...     | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1
327 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
328 | | And Setup scheduler policy for VPP on all DUTs
329 | | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
330 | | ...                                       | ${binary_max} | 3-node-bridge
331 | | ...                                       | ${min_rate} | ${max_rate}
332 | | ...                                       | ${threshold}
333 | | ...                                       | ${glob_loss_acceptance}
334 | | ...                                       | ${glob_loss_acceptance_type}
335
336 | TC09: 1518B NDR binary search - DUT L2BD-VHOST - 2threads 2cores 1rxq
337 | | [Documentation]
338 | | ... | [Cfg] DUT runs L2BD switching config with 2 threads, 2 phy cores, \
339 | | ... | 1 receive queue per NIC port. [Ver] Find NDR for 1518 Byte frames \
340 | | ... | using binary search start at 10GE linerate, step 10kpps.
341 | | [Tags] | 2_THREAD_NOHTT_RXQUEUES_1 | MULTI_THREAD | NDR | SKIP_PATCH
342 | | ${framesize}= | Set Variable | ${1518}
343 | | ${min_rate}= | Set Variable | ${10000}
344 | | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
345 | | ${binary_min}= | Set Variable | ${min_rate}
346 | | ${binary_max}= | Set Variable | ${max_rate}
347 | | ${threshold}= | Set Variable | ${min_rate}
348 | | ${dut1_vm_refs}= | Create Dictionary
349 | | ${dut2_vm_refs}= | Create Dictionary
350 | | Given Add '2' worker threads and rxqueues '1' in 3-node single-link topo
351 | | And   Add PCI devices to DUTs from 3-node single link topology
352 | | And   Add No Multi Seg to all DUTs
353 | | And   Apply startup configuration on all VPP DUTs
354 | | When  L2 bridge domains with Vhost-User initialized in a 3-node circular topology
355 | | ...   | ${bd_id1} | ${bd_id2} | ${sock1} | ${sock2}
356 | | ${vm1}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
357 | | ...     | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1
358 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
359 | | ${vm2}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
360 | | ...     | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1
361 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
362 | | And Setup scheduler policy for VPP on all DUTs
363 | | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
364 | | ...                                       | ${binary_max} | 3-node-bridge
365 | | ...                                       | ${min_rate} | ${max_rate}
366 | | ...                                       | ${threshold}
367
368 | TC10: 1518B PDR binary search - DUT L2BD-VHOST - 2threads 2cores 1rxq
369 | | [Documentation]
370 | | ... | [Cfg] DUT runs L2BD switching config with 2 threads, 2 phy cores, \
371 | | ... | 1 receive queue per NIC port. [Ver] Find PDR for 1518 Byte frames \
372 | | ... | using binary search start at 10GE linerate, step 10kpps, LT=0.5%.
373 | | [Tags] | 2_THREAD_NOHTT_RXQUEUES_1 | MULTI_THREAD | PDR | SKIP_PATCH
374 | | ${framesize}= | Set Variable | ${1518}
375 | | ${min_rate}= | Set Variable | ${10000}
376 | | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
377 | | ${binary_min}= | Set Variable | ${min_rate}
378 | | ${binary_max}= | Set Variable | ${max_rate}
379 | | ${threshold}= | Set Variable | ${min_rate}
380 | | ${dut1_vm_refs}= | Create Dictionary
381 | | ${dut2_vm_refs}= | Create Dictionary
382 | | Given Add '2' worker threads and rxqueues '1' in 3-node single-link topo
383 | | And   Add PCI devices to DUTs from 3-node single link topology
384 | | And   Add No Multi Seg to all DUTs
385 | | And   Apply startup configuration on all VPP DUTs
386 | | When  L2 bridge domains with Vhost-User initialized in a 3-node circular topology
387 | | ...   | ${bd_id1} | ${bd_id2} | ${sock1} | ${sock2}
388 | | ${vm1}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
389 | | ...     | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1
390 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
391 | | ${vm2}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
392 | | ...     | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1
393 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
394 | | And Setup scheduler policy for VPP on all DUTs
395 | | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
396 | | ...                                       | ${binary_max} | 3-node-bridge
397 | | ...                                       | ${min_rate} | ${max_rate}
398 | | ...                                       | ${threshold}
399 | | ...                                       | ${glob_loss_acceptance}
400 | | ...                                       | ${glob_loss_acceptance_type}
401
402 | TC11: IMIX_v4_1 NDR binary search - DUT L2BD-VHOST - 2threads 2cores 1rxq
403 | | [Documentation]
404 | | ... | [Cfg] DUT runs L2BD switching config with 2 threads, 2 phy cores, \
405 | | ... | 1 receive queue per NIC port. [Ver] Find NDR for IMIX_v4_1 frame \
406 | | ... | size using binary search start at 10GE linerate, step 5kpps.
407 | | ... | IMIX_v4_1 = (28x64B;16x570B;4x1518B)
408 | | [Tags] | 2_THREAD_NOHTT_RXQUEUES_1 | MULTI_THREAD | NDR | SKIP_PATCH
409 | | ${framesize}= | Set Variable | IMIX_v4_1
410 | | ${min_rate}= | Set Variable | ${10000}
411 | | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
412 | | ${binary_min}= | Set Variable | ${min_rate}
413 | | ${binary_max}= | Set Variable | ${max_rate}
414 | | ${threshold}= | Set Variable | ${min_rate}
415 | | ${dut1_vm_refs}= | Create Dictionary
416 | | ${dut2_vm_refs}= | Create Dictionary
417 | | Given Add '2' worker threads and rxqueues '1' in 3-node single-link topo
418 | | And   Add PCI devices to DUTs from 3-node single link topology
419 | | And   Add No Multi Seg to all DUTs
420 | | And   Apply startup configuration on all VPP DUTs
421 | | When  L2 bridge domains with Vhost-User initialized in a 3-node circular topology
422 | | ...   | ${bd_id1} | ${bd_id2} | ${sock1} | ${sock2}
423 | | ${vm1}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
424 | | ...     | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1
425 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
426 | | ${vm2}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
427 | | ...     | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1
428 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
429 | | And Setup scheduler policy for VPP on all DUTs
430 | | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
431 | | ...                                       | ${binary_max} | 3-node-bridge
432 | | ...                                       | ${min_rate} | ${max_rate}
433 | | ...                                       | ${threshold}
434
435 | TC12: IMIX_v4_1 PDR binary search - DUT L2BD-VHOST - 2threads 2cores 1rxq
436 | | [Documentation]
437 | | ... | [Cfg] DUT runs L2BD switching config with 2 threads, 2 phy cores, \
438 | | ... | 1 receive queue per NIC port. [Ver] Find PDR for IMIX_v4_1 frame \
439 | | ... | size using binary search start at 10GE linerate, step 5kpps, LT=0.5%.
440 | | ... | IMIX_v4_1 = (28x64B;16x570B;4x1518B)
441 | | [Tags] | 2_THREAD_NOHTT_RXQUEUES_1 | MULTI_THREAD | PDR | SKIP_PATCH
442 | | ${framesize}= | Set Variable | IMIX_v4_1
443 | | ${min_rate}= | Set Variable | ${10000}
444 | | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
445 | | ${binary_min}= | Set Variable | ${min_rate}
446 | | ${binary_max}= | Set Variable | ${max_rate}
447 | | ${threshold}= | Set Variable | ${min_rate}
448 | | ${dut1_vm_refs}= | Create Dictionary
449 | | ${dut2_vm_refs}= | Create Dictionary
450 | | Given Add '2' worker threads and rxqueues '1' in 3-node single-link topo
451 | | And   Add PCI devices to DUTs from 3-node single link topology
452 | | And   Add No Multi Seg to all DUTs
453 | | And   Apply startup configuration on all VPP DUTs
454 | | When  L2 bridge domains with Vhost-User initialized in a 3-node circular topology
455 | | ...   | ${bd_id1} | ${bd_id2} | ${sock1} | ${sock2}
456 | | ${vm1}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
457 | | ...     | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1
458 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
459 | | ${vm2}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
460 | | ...     | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1
461 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
462 | | And Setup scheduler policy for VPP on all DUTs
463 | | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
464 | | ...                                       | ${binary_max} | 3-node-bridge
465 | | ...                                       | ${min_rate} | ${max_rate}
466 | | ...                                       | ${threshold}
467 | | ...                                       | ${glob_loss_acceptance}
468 | | ...                                       | ${glob_loss_acceptance_type}
469
470 | TC13: 64B NDR binary search - DUT L2BD-VHOST - 4threads 4cores 2rxq
471 | | [Documentation]
472 | | ... | [Cfg] DUT runs L2BD switching config with 4 threads, 4 phy cores, \
473 | | ... | 2 receive queues per NIC port. [Ver] Find NDR for 64 Byte frames \
474 | | ... | using binary search start at 10GE linerate, step 10kpps.
475 | | [Tags] | 4_THREAD_NOHTT_RXQUEUES_2 | MULTI_THREAD | NDR
476 | | ${framesize}= | Set Variable | ${64}
477 | | ${min_rate}= | Set Variable | ${10000}
478 | | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
479 | | ${binary_min}= | Set Variable | ${min_rate}
480 | | ${binary_max}= | Set Variable | ${max_rate}
481 | | ${threshold}= | Set Variable | ${min_rate}
482 | | ${dut1_vm_refs}= | Create Dictionary
483 | | ${dut2_vm_refs}= | Create Dictionary
484 | | Given Add '4' worker threads and rxqueues '2' in 3-node single-link topo
485 | | And   Add PCI devices to DUTs from 3-node single link topology
486 | | And   Add No Multi Seg to all DUTs
487 | | And   Apply startup configuration on all VPP DUTs
488 | | When  L2 bridge domains with Vhost-User initialized in a 3-node circular topology
489 | | ...   | ${bd_id1} | ${bd_id2} | ${sock1} | ${sock2}
490 | | ${vm1}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
491 | | ...     | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1
492 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
493 | | ${vm2}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
494 | | ...     | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1
495 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
496 | | And Setup scheduler policy for VPP on all DUTs
497 | | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
498 | | ...                                       | ${binary_max} | 3-node-bridge
499 | | ...                                       | ${min_rate} | ${max_rate}
500 | | ...                                       | ${threshold}
501
502 | TC14: 64B PDR binary search - DUT L2BD-VHOST - 4threads 4cores 2rxq
503 | | [Documentation]
504 | | ... | [Cfg] DUT runs L2BD switching config with 4 threads, 4 phy cores, \
505 | | ... | 2 receive queues per NIC port. [Ver] Find PDR for 64 Byte frames \
506 | | ... | using binary search start at 10GE linerate, step 10kpps, LT=0.5%.
507 | | [Tags] | 4_THREAD_NOHTT_RXQUEUES_2 | MULTI_THREAD | PDR | SKIP_PATCH
508 | | ${framesize}= | Set Variable | ${64}
509 | | ${min_rate}= | Set Variable | ${10000}
510 | | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
511 | | ${binary_min}= | Set Variable | ${min_rate}
512 | | ${binary_max}= | Set Variable | ${max_rate}
513 | | ${threshold}= | Set Variable | ${min_rate}
514 | | ${dut1_vm_refs}= | Create Dictionary
515 | | ${dut2_vm_refs}= | Create Dictionary
516 | | Given Add '4' worker threads and rxqueues '2' in 3-node single-link topo
517 | | And   Add PCI devices to DUTs from 3-node single link topology
518 | | And   Add No Multi Seg to all DUTs
519 | | And   Apply startup configuration on all VPP DUTs
520 | | When  L2 bridge domains with Vhost-User initialized in a 3-node circular topology
521 | | ...   | ${bd_id1} | ${bd_id2} | ${sock1} | ${sock2}
522 | | ${vm1}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
523 | | ...     | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1
524 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
525 | | ${vm2}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
526 | | ...     | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1
527 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
528 | | And Setup scheduler policy for VPP on all DUTs
529 | | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
530 | | ...                                       | ${binary_max} | 3-node-bridge
531 | | ...                                       | ${min_rate} | ${max_rate}
532 | | ...                                       | ${threshold}
533 | | ...                                       | ${glob_loss_acceptance}
534 | | ...                                       | ${glob_loss_acceptance_type}
535
536 | TC15: 1518B NDR binary search - DUT L2BD-VHOST - 4threads 4cores 2rxq
537 | | [Documentation]
538 | | ... | [Cfg] DUT runs L2BD switching config with 4 threads, 4 phy cores, \
539 | | ... | 2 receive queues per NIC port. [Ver] Find NDR for 1518 Byte frames \
540 | | ... | using binary search start at 10GE linerate, step 10kpps.
541 | | [Tags] | 4_THREAD_NOHTT_RXQUEUES_2 | MULTI_THREAD | NDR | SKIP_PATCH
542 | | ${framesize}= | Set Variable | ${1518}
543 | | ${min_rate}= | Set Variable | ${10000}
544 | | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
545 | | ${binary_min}= | Set Variable | ${min_rate}
546 | | ${binary_max}= | Set Variable | ${max_rate}
547 | | ${threshold}= | Set Variable | ${min_rate}
548 | | ${dut1_vm_refs}= | Create Dictionary
549 | | ${dut2_vm_refs}= | Create Dictionary
550 | | Given Add '4' worker threads and rxqueues '2' in 3-node single-link topo
551 | | And   Add PCI devices to DUTs from 3-node single link topology
552 | | And   Add No Multi Seg to all DUTs
553 | | And   Apply startup configuration on all VPP DUTs
554 | | When  L2 bridge domains with Vhost-User initialized in a 3-node circular topology
555 | | ...   | ${bd_id1} | ${bd_id2} | ${sock1} | ${sock2}
556 | | ${vm1}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
557 | | ...     | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1
558 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
559 | | ${vm2}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
560 | | ...     | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1
561 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
562 | | And Setup scheduler policy for VPP on all DUTs
563 | | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
564 | | ...                                       | ${binary_max} | 3-node-bridge
565 | | ...                                       | ${min_rate} | ${max_rate}
566 | | ...                                       | ${threshold}
567
568 | TC16: 1518B PDR binary search - DUT L2BD-VHOST - 4threads 4cores 2rxq
569 | | [Documentation]
570 | | ... | [Cfg] DUT runs L2BD switching config with 4 threads, 4 phy cores, \
571 | | ... | 2 receive queues per NIC port. [Ver] Find PDR for 1518 Byte frames \
572 | | ... | using binary search start at 10GE linerate, step 10kpps, LT=0.5%.
573 | | [Tags] | 4_THREAD_NOHTT_RXQUEUES_2 | MULTI_THREAD | PDR | SKIP_PATCH
574 | | ${framesize}= | Set Variable | ${1518}
575 | | ${min_rate}= | Set Variable | ${10000}
576 | | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
577 | | ${binary_min}= | Set Variable | ${min_rate}
578 | | ${binary_max}= | Set Variable | ${max_rate}
579 | | ${threshold}= | Set Variable | ${min_rate}
580 | | ${dut1_vm_refs}= | Create Dictionary
581 | | ${dut2_vm_refs}= | Create Dictionary
582 | | Given Add '4' worker threads and rxqueues '2' in 3-node single-link topo
583 | | And   Add PCI devices to DUTs from 3-node single link topology
584 | | And   Add No Multi Seg to all DUTs
585 | | And   Apply startup configuration on all VPP DUTs
586 | | When  L2 bridge domains with Vhost-User initialized in a 3-node circular topology
587 | | ...   | ${bd_id1} | ${bd_id2} | ${sock1} | ${sock2}
588 | | ${vm1}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
589 | | ...     | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1
590 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
591 | | ${vm2}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
592 | | ...     | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1
593 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
594 | | And Setup scheduler policy for VPP on all DUTs
595 | | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
596 | | ...                                       | ${binary_max} | 3-node-bridge
597 | | ...                                       | ${min_rate} | ${max_rate}
598 | | ...                                       | ${threshold}
599 | | ...                                       | ${glob_loss_acceptance}
600 | | ...                                       | ${glob_loss_acceptance_type}
601
602 | TC17: IMIX_v4_1 NDR binary search - DUT L2BD-VHOST - 4threads 4cores 2rxq
603 | | [Documentation]
604 | | ... | [Cfg] DUT runs L2BD switching config with 4 threads, 4 phy cores, \
605 | | ... | 2 receive queues per NIC port. [Ver] Find NDR for IMIX_v4_1 frame \
606 | | ... | size using binary search start at 10GE linerate, step 5kpps.
607 | | ... | IMIX_v4_1 = (28x64B;16x570B;4x1518B)
608 | | [Tags] | 4_THREAD_NOHTT_RXQUEUES_2 | MULTI_THREAD | NDR | SKIP_PATCH
609 | | ${framesize}= | Set Variable | IMIX_v4_1
610 | | ${min_rate}= | Set Variable | ${10000}
611 | | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
612 | | ${binary_min}= | Set Variable | ${min_rate}
613 | | ${binary_max}= | Set Variable | ${max_rate}
614 | | ${threshold}= | Set Variable | ${min_rate}
615 | | ${dut1_vm_refs}= | Create Dictionary
616 | | ${dut2_vm_refs}= | Create Dictionary
617 | | Given Add '4' worker threads and rxqueues '2' in 3-node single-link topo
618 | | And   Add PCI devices to DUTs from 3-node single link topology
619 | | And   Add No Multi Seg to all DUTs
620 | | And   Apply startup configuration on all VPP DUTs
621 | | When  L2 bridge domains with Vhost-User initialized in a 3-node circular topology
622 | | ...   | ${bd_id1} | ${bd_id2} | ${sock1} | ${sock2}
623 | | ${vm1}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
624 | | ...     | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1
625 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
626 | | ${vm2}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
627 | | ...     | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1
628 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
629 | | And Setup scheduler policy for VPP on all DUTs
630 | | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
631 | | ...                                       | ${binary_max} | 3-node-bridge
632 | | ...                                       | ${min_rate} | ${max_rate}
633 | | ...                                       | ${threshold}
634
635 | TC18: IMIX_v4_1 PDR binary search - DUT L2BD-VHOST - 4threads 4cores 2rxq
636 | | [Documentation]
637 | | ... | [Cfg] DUT runs L2BD switching config with 4 threads, 4 phy cores, \
638 | | ... | 2 receive queues per NIC port. [Ver] Find PDR for IMIX_v4_1 frame \
639 | | ... | size using binary search start at 10GE linerate, step 5kpps, LT=0.5%.
640 | | ... | IMIX_v4_1 = (28x64B;16x570B;4x1518B)
641 | | [Tags] | 4_THREAD_NOHTT_RXQUEUES_2 | MULTI_THREAD | PDR | SKIP_PATCH
642 | | ${framesize}= | Set Variable | IMIX_v4_1
643 | | ${min_rate}= | Set Variable | ${10000}
644 | | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
645 | | ${binary_min}= | Set Variable | ${min_rate}
646 | | ${binary_max}= | Set Variable | ${max_rate}
647 | | ${threshold}= | Set Variable | ${min_rate}
648 | | ${dut1_vm_refs}= | Create Dictionary
649 | | ${dut2_vm_refs}= | Create Dictionary
650 | | Given Add '4' worker threads and rxqueues '2' in 3-node single-link topo
651 | | And   Add PCI devices to DUTs from 3-node single link topology
652 | | And   Add No Multi Seg to all DUTs
653 | | And   Apply startup configuration on all VPP DUTs
654 | | When  L2 bridge domains with Vhost-User initialized in a 3-node circular topology
655 | | ...   | ${bd_id1} | ${bd_id2} | ${sock1} | ${sock2}
656 | | ${vm1}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
657 | | ...     | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1
658 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
659 | | ${vm2}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
660 | | ...     | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1
661 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
662 | | And Setup scheduler policy for VPP on all DUTs
663 | | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
664 | | ...                                       | ${binary_max} | 3-node-bridge
665 | | ...                                       | ${min_rate} | ${max_rate}
666 | | ...                                       | ${threshold}
667 | | ...                                       | ${glob_loss_acceptance}
668 | | ...                                       | ${glob_loss_acceptance_type}