Fix: Naming of perf suites following conventions
[csit.git] / tests / perf / 40ge2p1xl710-eth-l2bdbasemaclrn-eth-2vhost-1vm-ndrpdrdisc.robot
1 # Copyright (c) 2017 Cisco and/or its affiliates.
2 # Licensed under the Apache License, Version 2.0 (the "License");
3 # you may not use this file except in compliance with the License.
4 # You may obtain a copy of the License at:
5 #
6 #     http://www.apache.org/licenses/LICENSE-2.0
7 #
8 # Unless required by applicable law or agreed to in writing, software
9 # distributed under the License is distributed on an "AS IS" BASIS,
10 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
11 # See the License for the specific language governing permissions and
12 # limitations under the License.
13
14 *** Settings ***
15 | Resource | resources/libraries/robot/performance.robot
16 | Library | resources.libraries.python.QemuUtils
17 | ...
18 | Force Tags | 3_NODE_SINGLE_LINK_TOPO | PERFTEST | HW_ENV | NDRPDRDISC
19 | ... | NIC_Intel-XL710 | ETH | L2BDMACLRN | BASE | VHOST | VM
20 | ...
21 | Suite Setup | 3-node Performance Suite Setup with DUT's NIC model
22 | ... | L2 | Intel-XL710
23 | Suite Teardown | 3-node Performance Suite Teardown
24 | ...
25 | Test Setup | Performance test setup
26 | Test Teardown | Performance test with vhost and VM with dpdk-testpmd teardown
27 | ... | ${min_rate}pps | ${framesize} | 3-node-bridge
28 | ... | dut1_node=${dut1} | dut1_vm_refs=${dut1_vm_refs}
29 | ... | dut2_node=${dut2} | dut2_vm_refs=${dut2_vm_refs}
30 | ...
31 | Documentation | *RFC2544: Packet throughput L2BD test cases with vhost*
32 | ...
33 | ... | *[Top] Network Topologies:* TG-DUT1-DUT2-TG 3-node circular topology
34 | ... | with single links between nodes.
35 | ... | *[Enc] Packet Encapsulations:* Eth-IPv4 for L2 switching of IPv4.
36 | ... | *[Cfg] DUT configuration:* DUT1 and DUT2 are configured with L2 bridge-
37 | ... | domain and MAC learning enabled. Qemu Guest is connected to VPP via
38 | ... | vhost-user interfaces. Guest is running DPDK testpmd interconnecting
39 | ... | vhost-user interfaces using 5 cores pinned to cpus on NUMA1 and 2048M
40 | ... | memory. Testpmd is using socket-mem=1024M (512x2M hugepages), 5 cores
41 | ... | (1 main core and 4 cores dedicated for io), forwarding mode is set to
42 | ... | io, rxd/txd=256, burst=64. DUT1, DUT2 are tested with 2p40GE NIC XL710
43 | ... | by Intel.
44 | ... | *[Ver] TG verification:* TG finds and reports throughput NDR (Non Drop
45 | ... | Rate) with zero packet loss tolerance or throughput PDR (Partial Drop
46 | ... | Rate) with non-zero packet loss tolerance (LT) expressed in percentage
47 | ... | of packets transmitted. NDR and PDR are discovered for different
48 | ... | Ethernet L2 frame sizes using either binary search or linear search
49 | ... | algorithms with configured starting rate and final step that determines
50 | ... | throughput measurement resolution. Test packets are generated by TG on
51 | ... | links to DUTs. TG traffic profile contains two L3 flow-groups
52 | ... | (flow-group per direction, 253 flows per flow-group) with all packets
53 | ... | containing Ethernet header, IPv4 header with IP protocol=61 and static
54 | ... | payload. MAC addresses are matching MAC addresses of the TG node
55 | ... | interfaces.
56 | ... | *[Ref] Applicable standard specifications:* RFC2544.
57
58 *** Variables ***
59 # XL710-DA2 bandwidth limit ~49Gbps/2=24.5Gbps
60 | ${s_24.5G} | ${24500000000}
61 # XL710-DA2 Mpps limit 37.5Mpps/2=18.75Mpps
62 | ${s_18.75Mpps} | ${18750000}
63 # Socket names
64 | ${bd_id1}= | 1
65 | ${bd_id2}= | 2
66 | ${sock1}= | /tmp/sock-1-${bd_id1}
67 | ${sock2}= | /tmp/sock-1-${bd_id2}
68
69 *** Test Cases ***
70 | tc01-64B-1t1c-eth-l2bdbasemaclrn-eth-2vhost-1vm-ndrdisc
71 | | [Documentation]
72 | | ... | [Cfg] DUT runs L2BD switching config with 1 thread, 1 phy core,\
73 | | ... | 1 receive queue per NIC port. [Ver] Find NDR for 64 Byte frames\
74 | | ... | using binary search start at 40GE linerate, step 10kpps.
75 | | ...
76 | | [Tags] | 1T1C | STHREAD | NDRDISC
77 | | ...
78 | | ${framesize}= | Set Variable | ${64}
79 | | ${min_rate}= | Set Variable | ${10000}
80 | | ${max_rate}= | Set Variable | ${s_18.75Mpps}
81 | | ${binary_min}= | Set Variable | ${min_rate}
82 | | ${binary_max}= | Set Variable | ${max_rate}
83 | | ${threshold}= | Set Variable | ${min_rate}
84 | | ${dut1_vm_refs}= | Create Dictionary
85 | | ${dut2_vm_refs}= | Create Dictionary
86 | | Given Add '1' worker threads and rxqueues '1' in 3-node single-link topo
87 | | And Add PCI devices to DUTs from 3-node single link topology
88 | | And Add No Multi Seg to all DUTs
89 | | And Apply startup configuration on all VPP DUTs
90 | | When L2 bridge domains with Vhost-User initialized in a 3-node circular topology
91 | | ... | ${bd_id1} | ${bd_id2} | ${sock1} | ${sock2}
92 | | ${vm1}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
93 | | ... | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1
94 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
95 | | ${vm2}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
96 | | ... | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1
97 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
98 | | And Setup scheduler policy for VPP on all DUTs
99 | | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
100 | | ... | ${binary_max} | 3-node-bridge | ${min_rate} | ${max_rate}
101 | | ... | ${threshold}
102
103 | tc02-64B-1t1c-eth-l2bdbasemaclrn-eth-2vhost-1vm-pdrdisc
104 | | [Documentation]
105 | | ... | [Cfg] DUT runs L2BD switching config with 1 thread, 1 phy core,\
106 | | ... | 1 receive queue per NIC port. [Ver] Find PDR for 64 Byte frames\
107 | | ... | using binary search start at 40GE linerate, step 10kpps, LT=0.5%.
108 | | ...
109 | | [Tags] | 1T1C | STHREAD | PDRDISC | SKIP_PATCH
110 | | ...
111 | | ${framesize}= | Set Variable | ${64}
112 | | ${min_rate}= | Set Variable | ${10000}
113 | | ${max_rate}= | Set Variable | ${s_18.75Mpps}
114 | | ${binary_min}= | Set Variable | ${min_rate}
115 | | ${binary_max}= | Set Variable | ${max_rate}
116 | | ${threshold}= | Set Variable | ${min_rate}
117 | | ${dut1_vm_refs}= | Create Dictionary
118 | | ${dut2_vm_refs}= | Create Dictionary
119 | | Given Add '1' worker threads and rxqueues '1' in 3-node single-link topo
120 | | And Add PCI devices to DUTs from 3-node single link topology
121 | | And Add No Multi Seg to all DUTs
122 | | And Apply startup configuration on all VPP DUTs
123 | | When L2 bridge domains with Vhost-User initialized in a 3-node circular topology
124 | | ... | ${bd_id1} | ${bd_id2} | ${sock1} | ${sock2}
125 | | ${vm1}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
126 | | ... | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1
127 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
128 | | ${vm2}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
129 | | ... | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1
130 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
131 | | And Setup scheduler policy for VPP on all DUTs
132 | | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
133 | | ... | ${binary_max} | 3-node-bridge | ${min_rate} | ${max_rate}
134 | | ... | ${threshold} | ${perf_pdr_loss_acceptance}
135 | | ... | ${perf_pdr_loss_acceptance_type}
136
137 | tc03-1518B-1t1c-eth-l2bdbasemaclrn-eth-2vhost-1vm-ndrdisc
138 | | [Documentation]
139 | | ... | [Cfg] DUT runs L2BD switching config with 1 thread, 1 phy core,\
140 | | ... | 1 receive queue per NIC port. [Ver] Find NDR for 1518 Byte frames\
141 | | ... | using binary search start at 40GE linerate, step 10kpps.
142 | | ...
143 | | [Tags] | 1T1C | STHREAD | NDRDISC
144 | | ...
145 | | ${framesize}= | Set Variable | ${1518}
146 | | ${min_rate}= | Set Variable | ${10000}
147 | | ${max_rate}= | Calculate pps | ${s_24.5G} | ${framesize}
148 | | ${binary_min}= | Set Variable | ${min_rate}
149 | | ${binary_max}= | Set Variable | ${max_rate}
150 | | ${threshold}= | Set Variable | ${min_rate}
151 | | ${dut1_vm_refs}= | Create Dictionary
152 | | ${dut2_vm_refs}= | Create Dictionary
153 | | Given Add '1' worker threads and rxqueues '1' in 3-node single-link topo
154 | | And Add PCI devices to DUTs from 3-node single link topology
155 | | And Add No Multi Seg to all DUTs
156 | | And Apply startup configuration on all VPP DUTs
157 | | When L2 bridge domains with Vhost-User initialized in a 3-node circular topology
158 | | ... | ${bd_id1} | ${bd_id2} | ${sock1} | ${sock2}
159 | | ${vm1}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
160 | | ... | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1
161 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
162 | | ${vm2}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
163 | | ... | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1
164 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
165 | | And Setup scheduler policy for VPP on all DUTs
166 | | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
167 | | ... | ${binary_max} | 3-node-bridge | ${min_rate} | ${max_rate}
168 | | ... | ${threshold}
169
170 | tc04-1518B-1t1c-eth-l2bdbasemaclrn-eth-2vhost-1vm-pdrdisc
171 | | [Documentation]
172 | | ... | [Cfg] DUT runs L2BD switching config with 1 thread, 1 phy core,\
173 | | ... | 1 receive queue per NIC port. [Ver] Find PDR for 1518 Byte frames\
174 | | ... | using binary search start at 40GE linerate, step 10kpps, LT=0.5%.
175 | | ...
176 | | [Tags] | 1T1C | STHREAD | PDRDISC | SKIP_PATCH
177 | | ...
178 | | ${framesize}= | Set Variable | ${1518}
179 | | ${min_rate}= | Set Variable | ${10000}
180 | | ${max_rate}= | Calculate pps | ${s_24.5G} | ${framesize}
181 | | ${binary_min}= | Set Variable | ${min_rate}
182 | | ${binary_max}= | Set Variable | ${max_rate}
183 | | ${threshold}= | Set Variable | ${min_rate}
184 | | ${dut1_vm_refs}= | Create Dictionary
185 | | ${dut2_vm_refs}= | Create Dictionary
186 | | Given Add '1' worker threads and rxqueues '1' in 3-node single-link topo
187 | | And Add PCI devices to DUTs from 3-node single link topology
188 | | And Add No Multi Seg to all DUTs
189 | | And Apply startup configuration on all VPP DUTs
190 | | When L2 bridge domains with Vhost-User initialized in a 3-node circular topology
191 | | ... | ${bd_id1} | ${bd_id2} | ${sock1} | ${sock2}
192 | | ${vm1}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
193 | | ... | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1
194 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
195 | | ${vm2}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
196 | | ... | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1
197 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
198 | | And Setup scheduler policy for VPP on all DUTs
199 | | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
200 | | ... | ${binary_max} | 3-node-bridge | ${min_rate} | ${max_rate}
201 | | ... | ${threshold} | ${perf_pdr_loss_acceptance}
202 | | ... | ${perf_pdr_loss_acceptance_type}
203
204 | tc05-IMIX-1t1c-eth-l2bdbasemaclrn-eth-2vhost-1vm-ndrdisc
205 | | [Documentation]
206 | | ... | [Cfg] DUT runs L2BD switching config with 1 thread, 1 phy core,\
207 | | ... | 1 receive queue per NIC port. [Ver] Find NDR for IMIX_v4_1 frame\
208 | | ... | size using binary search start at 40GE linerate, step 5kpps.
209 | | ... | IMIX_v4_1 = (28x64B; 16x570B; 4x1518B)
210 | | ...
211 | | [Tags] | 1T1C | STHREAD | NDRDISC
212 | | ...
213 | | ${framesize}= | Set Variable | IMIX_v4_1
214 | | ${min_rate}= | Set Variable | ${10000}
215 | | ${max_rate}= | Calculate pps | ${s_24.5G} | ${353.83333}
216 | | ${binary_min}= | Set Variable | ${min_rate}
217 | | ${binary_max}= | Set Variable | ${max_rate}
218 | | ${threshold}= | Set Variable | ${min_rate}
219 | | ${dut1_vm_refs}= | Create Dictionary
220 | | ${dut2_vm_refs}= | Create Dictionary
221 | | Given Add '1' worker threads and rxqueues '1' in 3-node single-link topo
222 | | And Add PCI devices to DUTs from 3-node single link topology
223 | | And Add No Multi Seg to all DUTs
224 | | And Apply startup configuration on all VPP DUTs
225 | | When L2 bridge domains with Vhost-User initialized in a 3-node circular topology
226 | | ... | ${bd_id1} | ${bd_id2} | ${sock1} | ${sock2}
227 | | ${vm1}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
228 | | ... | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1
229 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
230 | | ${vm2}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
231 | | ... | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1
232 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
233 | | And Setup scheduler policy for VPP on all DUTs
234 | | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
235 | | ... | ${binary_max} | 3-node-bridge | ${min_rate} | ${max_rate}
236 | | ... | ${threshold}
237
238 | tc06-IMIX-1t1c-eth-l2bdbasemaclrn-eth-2vhost-1vm-pdrdisc
239 | | [Documentation]
240 | | ... | [Cfg] DUT runs L2BD switching config with 1 thread, 1 phy core,\
241 | | ... | 1 receive queue per NIC port. [Ver] Find PDR for IMIX_v4_1 frame\
242 | | ... | size using binary search start at 40GE linerate, step 5kpps, LT=0.5%.
243 | | ... | IMIX_v4_1 = (28x64B; 16x570B; 4x1518B)
244 | | ...
245 | | [Tags] | 1T1C | STHREAD | PDRDISC | SKIP_PATCH
246 | | ...
247 | | ${framesize}= | Set Variable | IMIX_v4_1
248 | | ${min_rate}= | Set Variable | ${10000}
249 | | ${max_rate}= | Calculate pps | ${s_24.5G} | ${353.83333}
250 | | ${binary_min}= | Set Variable | ${min_rate}
251 | | ${binary_max}= | Set Variable | ${max_rate}
252 | | ${threshold}= | Set Variable | ${min_rate}
253 | | ${dut1_vm_refs}= | Create Dictionary
254 | | ${dut2_vm_refs}= | Create Dictionary
255 | | Given Add '1' worker threads and rxqueues '1' in 3-node single-link topo
256 | | And Add PCI devices to DUTs from 3-node single link topology
257 | | And Apply startup configuration on all VPP DUTs
258 | | When L2 bridge domains with Vhost-User initialized in a 3-node circular topology
259 | | ... | ${bd_id1} | ${bd_id2} | ${sock1} | ${sock2}
260 | | ${vm1}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
261 | | ... | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1
262 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
263 | | ${vm2}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
264 | | ... | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1
265 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
266 | | And Setup scheduler policy for VPP on all DUTs
267 | | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
268 | | ... | ${binary_max} | 3-node-bridge | ${min_rate} | ${max_rate}
269 | | ... | ${threshold} | ${perf_pdr_loss_acceptance}
270 | | ... | ${perf_pdr_loss_acceptance_type}
271
272 | tc07-64B-2t2c-eth-l2bdbasemaclrn-eth-2vhost-1vm-ndrdisc
273 | | [Documentation]
274 | | ... | [Cfg] DUT runs L2BD switching config with 2 threads, 2 phy cores,\
275 | | ... | 1 receive queue per NIC port. [Ver] Find NDR for 64 Byte frames\
276 | | ... | using binary search start at 40GE linerate, step 10kpps.
277 | | ...
278 | | [Tags] | 2T2C | MTHREAD | NDRDISC
279 | | ...
280 | | ${framesize}= | Set Variable | ${64}
281 | | ${min_rate}= | Set Variable | ${10000}
282 | | ${max_rate}= | Set Variable | ${s_18.75Mpps}
283 | | ${binary_min}= | Set Variable | ${min_rate}
284 | | ${binary_max}= | Set Variable | ${max_rate}
285 | | ${threshold}= | Set Variable | ${min_rate}
286 | | ${dut1_vm_refs}= | Create Dictionary
287 | | ${dut2_vm_refs}= | Create Dictionary
288 | | Given Add '2' worker threads and rxqueues '1' in 3-node single-link topo
289 | | And Add PCI devices to DUTs from 3-node single link topology
290 | | And Add No Multi Seg to all DUTs
291 | | And Apply startup configuration on all VPP DUTs
292 | | When L2 bridge domains with Vhost-User initialized in a 3-node circular topology
293 | | ... | ${bd_id1} | ${bd_id2} | ${sock1} | ${sock2}
294 | | ${vm1}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
295 | | ... | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1
296 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
297 | | ${vm2}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
298 | | ... | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1
299 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
300 | | And Setup scheduler policy for VPP on all DUTs
301 | | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
302 | | ... | ${binary_max} | 3-node-bridge | ${min_rate} | ${max_rate}
303 | | ... | ${threshold}
304
305 | tc08-64B-2t2c-eth-l2bdbasemaclrn-eth-2vhost-1vm-pdrdisc
306 | | [Documentation]
307 | | ... | [Cfg] DUT runs L2BD switching config with 2 threads, 2 phy cores,\
308 | | ... | 1 receive queue per NIC port. [Ver] Find PDR for 64 Byte frames\
309 | | ... | using binary search start at 40GE linerate, step 10kpps, LT=0.5%.
310 | | ...
311 | | [Tags] | 2T2C | MTHREAD | PDRDISC | SKIP_PATCH
312 | | ...
313 | | ${framesize}= | Set Variable | ${64}
314 | | ${min_rate}= | Set Variable | ${10000}
315 | | ${max_rate}= | Set Variable | ${s_18.75Mpps}
316 | | ${binary_min}= | Set Variable | ${min_rate}
317 | | ${binary_max}= | Set Variable | ${max_rate}
318 | | ${threshold}= | Set Variable | ${min_rate}
319 | | ${dut1_vm_refs}= | Create Dictionary
320 | | ${dut2_vm_refs}= | Create Dictionary
321 | | Given Add '2' worker threads and rxqueues '1' in 3-node single-link topo
322 | | And Add PCI devices to DUTs from 3-node single link topology
323 | | And Add No Multi Seg to all DUTs
324 | | And Apply startup configuration on all VPP DUTs
325 | | When L2 bridge domains with Vhost-User initialized in a 3-node circular topology
326 | | ... | ${bd_id1} | ${bd_id2} | ${sock1} | ${sock2}
327 | | ${vm1}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
328 | | ... | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1
329 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
330 | | ${vm2}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
331 | | ... | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1
332 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
333 | | And Setup scheduler policy for VPP on all DUTs
334 | | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
335 | | ... | ${binary_max} | 3-node-bridge | ${min_rate} | ${max_rate}
336 | | ... | ${threshold} | ${perf_pdr_loss_acceptance}
337 | | ... | ${perf_pdr_loss_acceptance_type}
338
339 | tc09-1518B-2t2c-eth-l2bdbasemaclrn-eth-2vhost-1vm-ndrdisc
340 | | [Documentation]
341 | | ... | [Cfg] DUT runs L2BD switching config with 2 threads, 2 phy cores,\
342 | | ... | 1 receive queue per NIC port. [Ver] Find NDR for 1518 Byte frames\
343 | | ... | using binary search start at 40GE linerate, step 10kpps.
344 | | ...
345 | | [Tags] | 2T2C | MTHREAD | NDRDISC | SKIP_PATCH
346 | | ...
347 | | ${framesize}= | Set Variable | ${1518}
348 | | ${min_rate}= | Set Variable | ${10000}
349 | | ${max_rate}= | Calculate pps | ${s_24.5G} | ${framesize}
350 | | ${binary_min}= | Set Variable | ${min_rate}
351 | | ${binary_max}= | Set Variable | ${max_rate}
352 | | ${threshold}= | Set Variable | ${min_rate}
353 | | ${dut1_vm_refs}= | Create Dictionary
354 | | ${dut2_vm_refs}= | Create Dictionary
355 | | Given Add '2' worker threads and rxqueues '1' in 3-node single-link topo
356 | | And Add PCI devices to DUTs from 3-node single link topology
357 | | And Add No Multi Seg to all DUTs
358 | | And Apply startup configuration on all VPP DUTs
359 | | When L2 bridge domains with Vhost-User initialized in a 3-node circular topology
360 | | ... | ${bd_id1} | ${bd_id2} | ${sock1} | ${sock2}
361 | | ${vm1}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
362 | | ... | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1
363 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
364 | | ${vm2}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
365 | | ... | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1
366 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
367 | | And Setup scheduler policy for VPP on all DUTs
368 | | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
369 | | ... | ${binary_max} | 3-node-bridge | ${min_rate} | ${max_rate}
370 | | ... | ${threshold}
371
372 | tc10-1518B-2t2c-eth-l2bdbasemaclrn-eth-2vhost-1vm-pdrdisc
373 | | [Documentation]
374 | | ... | [Cfg] DUT runs L2BD switching config with 2 threads, 2 phy cores,\
375 | | ... | 1 receive queue per NIC port. [Ver] Find PDR for 1518 Byte frames\
376 | | ... | using binary search start at 40GE linerate, step 10kpps, LT=0.5%.
377 | | ...
378 | | [Tags] | 2T2C | MTHREAD | PDRDISC | SKIP_PATCH
379 | | ...
380 | | ${framesize}= | Set Variable | ${1518}
381 | | ${min_rate}= | Set Variable | ${10000}
382 | | ${max_rate}= | Calculate pps | ${s_24.5G} | ${framesize}
383 | | ${binary_min}= | Set Variable | ${min_rate}
384 | | ${binary_max}= | Set Variable | ${max_rate}
385 | | ${threshold}= | Set Variable | ${min_rate}
386 | | ${dut1_vm_refs}= | Create Dictionary
387 | | ${dut2_vm_refs}= | Create Dictionary
388 | | Given Add '2' worker threads and rxqueues '1' in 3-node single-link topo
389 | | And Add PCI devices to DUTs from 3-node single link topology
390 | | And Add No Multi Seg to all DUTs
391 | | And Apply startup configuration on all VPP DUTs
392 | | When L2 bridge domains with Vhost-User initialized in a 3-node circular topology
393 | | ... | ${bd_id1} | ${bd_id2} | ${sock1} | ${sock2}
394 | | ${vm1}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
395 | | ... | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1
396 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
397 | | ${vm2}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
398 | | ... | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1
399 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
400 | | And Setup scheduler policy for VPP on all DUTs
401 | | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
402 | | ... | ${binary_max} | 3-node-bridge | ${min_rate} | ${max_rate}
403 | | ... | ${threshold} | ${perf_pdr_loss_acceptance}
404 | | ... | ${perf_pdr_loss_acceptance_type}
405
406 | tc11-IMIX-2t2c-eth-l2bdbasemaclrn-eth-2vhost-1vm-ndrdisc
407 | | [Documentation]
408 | | ... | [Cfg] DUT runs L2BD switching config with 2 threads, 2 phy cores,\
409 | | ... | 1 receive queue per NIC port. [Ver] Find NDR for IMIX_v4_1 frame\
410 | | ... | size using binary search start at 40GE linerate, step 5kpps.
411 | | ... | IMIX_v4_1 = (28x64B; 16x570B; 4x1518B)
412 | | ...
413 | | [Tags] | 2T2C | MTHREAD | NDRDISC | SKIP_PATCH
414 | | ...
415 | | ${framesize}= | Set Variable | IMIX_v4_1
416 | | ${min_rate}= | Set Variable | ${10000}
417 | | ${max_rate}= | Calculate pps | ${s_24.5G} | ${353.83333}
418 | | ${binary_min}= | Set Variable | ${min_rate}
419 | | ${binary_max}= | Set Variable | ${max_rate}
420 | | ${threshold}= | Set Variable | ${min_rate}
421 | | ${dut1_vm_refs}= | Create Dictionary
422 | | ${dut2_vm_refs}= | Create Dictionary
423 | | Given Add '2' worker threads and rxqueues '1' in 3-node single-link topo
424 | | And Add PCI devices to DUTs from 3-node single link topology
425 | | And Add No Multi Seg to all DUTs
426 | | And Apply startup configuration on all VPP DUTs
427 | | When L2 bridge domains with Vhost-User initialized in a 3-node circular topology
428 | | ... | ${bd_id1} | ${bd_id2} | ${sock1} | ${sock2}
429 | | ${vm1}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
430 | | ... | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1
431 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
432 | | ${vm2}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
433 | | ... | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1
434 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
435 | | And Setup scheduler policy for VPP on all DUTs
436 | | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
437 | | ... | ${binary_max} | 3-node-bridge | ${min_rate} | ${max_rate}
438 | | ... | ${threshold}
439
440 | tc12-IMIX-2t2c-eth-l2bdbasemaclrn-eth-2vhost-1vm-pdrdisc
441 | | [Documentation]
442 | | ... | [Cfg] DUT runs L2BD switching config with 2 threads, 2 phy cores,\
443 | | ... | 1 receive queue per NIC port. [Ver] Find PDR for IMIX_v4_1 frame\
444 | | ... | size using binary search start at 40GE linerate, step 5kpps, LT=0.5%.
445 | | ... | IMIX_v4_1 = (28x64B; 16x570B; 4x1518B)
446 | | ...
447 | | [Tags] | 2T2C | MTHREAD | PDRDISC | SKIP_PATCH
448 | | ...
449 | | ${framesize}= | Set Variable | IMIX_v4_1
450 | | ${min_rate}= | Set Variable | ${10000}
451 | | ${max_rate}= | Calculate pps | ${s_24.5G} | ${353.83333}
452 | | ${binary_min}= | Set Variable | ${min_rate}
453 | | ${binary_max}= | Set Variable | ${max_rate}
454 | | ${threshold}= | Set Variable | ${min_rate}
455 | | ${dut1_vm_refs}= | Create Dictionary
456 | | ${dut2_vm_refs}= | Create Dictionary
457 | | Given Add '2' worker threads and rxqueues '1' in 3-node single-link topo
458 | | And Add PCI devices to DUTs from 3-node single link topology
459 | | And Add No Multi Seg to all DUTs
460 | | And Apply startup configuration on all VPP DUTs
461 | | When L2 bridge domains with Vhost-User initialized in a 3-node circular topology
462 | | ... | ${bd_id1} | ${bd_id2} | ${sock1} | ${sock2}
463 | | ${vm1}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
464 | | ... | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1
465 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
466 | | ${vm2}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
467 | | ... | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1
468 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
469 | | And Setup scheduler policy for VPP on all DUTs
470 | | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
471 | | ... | ${binary_max} | 3-node-bridge | ${min_rate} | ${max_rate}
472 | | ... | ${threshold} | ${perf_pdr_loss_acceptance}
473 | | ... | ${perf_pdr_loss_acceptance_type}
474
475 | tc13-64B-4t4c-eth-l2bdbasemaclrn-eth-2vhost-1vm-ndrdisc
476 | | [Documentation]
477 | | ... | [Cfg] DUT runs L2BD switching config with 4 threads, 4 phy cores,\
478 | | ... | 2 receive queues per NIC port. [Ver] Find NDR for 64 Byte frames\
479 | | ... | using binary search start at 40GE linerate, step 10kpps.
480 | | ...
481 | | [Tags] | 4T4C | MTHREAD | NDRDISC
482 | | ...
483 | | ${framesize}= | Set Variable | ${64}
484 | | ${min_rate}= | Set Variable | ${10000}
485 | | ${max_rate}= | Set Variable | ${s_18.75Mpps}
486 | | ${binary_min}= | Set Variable | ${min_rate}
487 | | ${binary_max}= | Set Variable | ${max_rate}
488 | | ${threshold}= | Set Variable | ${min_rate}
489 | | ${dut1_vm_refs}= | Create Dictionary
490 | | ${dut2_vm_refs}= | Create Dictionary
491 | | Given Add '4' worker threads and rxqueues '2' in 3-node single-link topo
492 | | And Add PCI devices to DUTs from 3-node single link topology
493 | | And Add No Multi Seg to all DUTs
494 | | And Apply startup configuration on all VPP DUTs
495 | | When L2 bridge domains with Vhost-User initialized in a 3-node circular topology
496 | | ... | ${bd_id1} | ${bd_id2} | ${sock1} | ${sock2}
497 | | ${vm1}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
498 | | ... | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1
499 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
500 | | ${vm2}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
501 | | ... | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1
502 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
503 | | And Setup scheduler policy for VPP on all DUTs
504 | | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
505 | | ... | ${binary_max} | 3-node-bridge | ${min_rate} | ${max_rate}
506 | | ... | ${threshold}
507
508 | tc14-64B-4t4c-eth-l2bdbasemaclrn-eth-2vhost-1vm-pdrdisc
509 | | [Documentation]
510 | | ... | [Cfg] DUT runs L2BD switching config with 4 threads, 4 phy cores,\
511 | | ... | 2 receive queues per NIC port. [Ver] Find PDR for 64 Byte frames\
512 | | ... | using binary search start at 40GE linerate, step 10kpps, LT=0.5%.
513 | | ...
514 | | [Tags] | 4T4C | MTHREAD | PDRDISC | SKIP_PATCH
515 | | ...
516 | | ${framesize}= | Set Variable | ${64}
517 | | ${min_rate}= | Set Variable | ${10000}
518 | | ${max_rate}= | Set Variable | ${s_18.75Mpps}
519 | | ${binary_min}= | Set Variable | ${min_rate}
520 | | ${binary_max}= | Set Variable | ${max_rate}
521 | | ${threshold}= | Set Variable | ${min_rate}
522 | | ${dut1_vm_refs}= | Create Dictionary
523 | | ${dut2_vm_refs}= | Create Dictionary
524 | | Given Add '4' worker threads and rxqueues '2' in 3-node single-link topo
525 | | And Add PCI devices to DUTs from 3-node single link topology
526 | | And Add No Multi Seg to all DUTs
527 | | And Apply startup configuration on all VPP DUTs
528 | | When L2 bridge domains with Vhost-User initialized in a 3-node circular topology
529 | | ... | ${bd_id1} | ${bd_id2} | ${sock1} | ${sock2}
530 | | ${vm1}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
531 | | ... | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1
532 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
533 | | ${vm2}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
534 | | ... | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1
535 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
536 | | And Setup scheduler policy for VPP on all DUTs
537 | | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
538 | | ... | ${binary_max} | 3-node-bridge | ${min_rate} | ${max_rate}
539 | | ... | ${threshold} | ${perf_pdr_loss_acceptance}
540 | | ... | ${perf_pdr_loss_acceptance_type}
541
542 | tc15-1518B-4t4c-eth-l2bdbasemaclrn-eth-2vhost-1vm-ndrdisc
543 | | [Documentation]
544 | | ... | [Cfg] DUT runs L2BD switching config with 4 threads, 4 phy cores,\
545 | | ... | 2 receive queues per NIC port. [Ver] Find NDR for 1518 Byte frames\
546 | | ... | using binary search start at 40GE linerate, step 10kpps.
547 | | ...
548 | | [Tags] | 4T4C | MTHREAD | NDRDISC | SKIP_PATCH
549 | | ...
550 | | ${framesize}= | Set Variable | ${1518}
551 | | ${min_rate}= | Set Variable | ${10000}
552 | | ${max_rate}= | Calculate pps | ${s_24.5G} | ${framesize}
553 | | ${binary_min}= | Set Variable | ${min_rate}
554 | | ${binary_max}= | Set Variable | ${max_rate}
555 | | ${threshold}= | Set Variable | ${min_rate}
556 | | ${dut1_vm_refs}= | Create Dictionary
557 | | ${dut2_vm_refs}= | Create Dictionary
558 | | Given Add '4' worker threads and rxqueues '2' in 3-node single-link topo
559 | | And Add PCI devices to DUTs from 3-node single link topology
560 | | And Add No Multi Seg to all DUTs
561 | | And Apply startup configuration on all VPP DUTs
562 | | When L2 bridge domains with Vhost-User initialized in a 3-node circular topology
563 | | ... | ${bd_id1} | ${bd_id2} | ${sock1} | ${sock2}
564 | | ${vm1}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
565 | | ... | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1
566 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
567 | | ${vm2}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
568 | | ... | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1
569 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
570 | | And Setup scheduler policy for VPP on all DUTs
571 | | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
572 | | ... | ${binary_max} | 3-node-bridge | ${min_rate} | ${max_rate}
573 | | ... | ${threshold}
574
575 | tc16-1518B-4t4c-eth-l2bdbasemaclrn-eth-2vhost-1vm-pdrdisc
576 | | [Documentation]
577 | | ... | [Cfg] DUT runs L2BD switching config with 4 threads, 4 phy cores,\
578 | | ... | 2 receive queues per NIC port. [Ver] Find PDR for 1518 Byte frames\
579 | | ... | using binary search start at 40GE linerate, step 10kpps, LT=0.5%.
580 | | ...
581 | | [Tags] | 4T4C | MTHREAD | PDRDISC | SKIP_PATCH
582 | | ...
583 | | ${framesize}= | Set Variable | ${1518}
584 | | ${min_rate}= | Set Variable | ${10000}
585 | | ${max_rate}= | Calculate pps | ${s_24.5G} | ${framesize}
586 | | ${binary_min}= | Set Variable | ${min_rate}
587 | | ${binary_max}= | Set Variable | ${max_rate}
588 | | ${threshold}= | Set Variable | ${min_rate}
589 | | ${dut1_vm_refs}= | Create Dictionary
590 | | ${dut2_vm_refs}= | Create Dictionary
591 | | Given Add '4' worker threads and rxqueues '2' in 3-node single-link topo
592 | | And Add PCI devices to DUTs from 3-node single link topology
593 | | And Add No Multi Seg to all DUTs
594 | | And Apply startup configuration on all VPP DUTs
595 | | When L2 bridge domains with Vhost-User initialized in a 3-node circular topology
596 | | ... | ${bd_id1} | ${bd_id2} | ${sock1} | ${sock2}
597 | | ${vm1}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
598 | | ... | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1
599 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
600 | | ${vm2}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
601 | | ... | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1
602 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
603 | | And Setup scheduler policy for VPP on all DUTs
604 | | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
605 | | ... | ${binary_max} | 3-node-bridge | ${min_rate} | ${max_rate}
606 | | ... | ${threshold} | ${perf_pdr_loss_acceptance}
607 | | ... | ${perf_pdr_loss_acceptance_type}
608
609 | tc17-IMIX-4t4c-eth-l2bdbasemaclrn-eth-2vhost-1vm-ndrdisc
610 | | [Documentation]
611 | | ... | [Cfg] DUT runs L2BD switching config with 4 threads, 4 phy cores,\
612 | | ... | 2 receive queues per NIC port. [Ver] Find NDR for IMIX_v4_1 frame\
613 | | ... | size using binary search start at 40GE linerate, step 5kpps.
614 | | ... | IMIX_v4_1 = (28x64B; 16x570B; 4x1518B)
615 | | ...
616 | | [Tags] | 4T4C | MTHREAD | NDRDISC | SKIP_PATCH
617 | | ...
618 | | ${framesize}= | Set Variable | IMIX_v4_1
619 | | ${min_rate}= | Set Variable | ${10000}
620 | | ${max_rate}= | Calculate pps | ${s_24.5G} | ${353.83333}
621 | | ${binary_min}= | Set Variable | ${min_rate}
622 | | ${binary_max}= | Set Variable | ${max_rate}
623 | | ${threshold}= | Set Variable | ${min_rate}
624 | | ${dut1_vm_refs}= | Create Dictionary
625 | | ${dut2_vm_refs}= | Create Dictionary
626 | | Given Add '4' worker threads and rxqueues '2' in 3-node single-link topo
627 | | And Add PCI devices to DUTs from 3-node single link topology
628 | | And Add No Multi Seg to all DUTs
629 | | And Apply startup configuration on all VPP DUTs
630 | | When L2 bridge domains with Vhost-User initialized in a 3-node circular topology
631 | | ... | ${bd_id1} | ${bd_id2} | ${sock1} | ${sock2}
632 | | ${vm1}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
633 | | ... | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1
634 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
635 | | ${vm2}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
636 | | ... | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1
637 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
638 | | And Setup scheduler policy for VPP on all DUTs
639 | | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
640 | | ... | ${binary_max} | 3-node-bridge | ${min_rate} | ${max_rate}
641 | | ... | ${threshold}
642
643 | tc18-IMIX-4t4c-eth-l2bdbasemaclrn-eth-2vhost-1vm-pdrdisc
644 | | [Documentation]
645 | | ... | [Cfg] DUT runs L2BD switching config with 4 threads, 4 phy cores,\
646 | | ... | 2 receive queues per NIC port. [Ver] Find PDR for IMIX_v4_1 frame\
647 | | ... | size using binary search start at 40GE linerate, step 5kpps, LT=0.5%.
648 | | ... | IMIX_v4_1 = (28x64B; 16x570B; 4x1518B)
649 | | ...
650 | | [Tags] | 4T4C | MTHREAD | PDRDISC | SKIP_PATCH
651 | | ...
652 | | ${framesize}= | Set Variable | IMIX_v4_1
653 | | ${min_rate}= | Set Variable | ${10000}
654 | | ${max_rate}= | Calculate pps | ${s_24.5G} | ${353.83333}
655 | | ${binary_min}= | Set Variable | ${min_rate}
656 | | ${binary_max}= | Set Variable | ${max_rate}
657 | | ${threshold}= | Set Variable | ${min_rate}
658 | | ${dut1_vm_refs}= | Create Dictionary
659 | | ${dut2_vm_refs}= | Create Dictionary
660 | | Given Add '4' worker threads and rxqueues '2' in 3-node single-link topo
661 | | And Add PCI devices to DUTs from 3-node single link topology
662 | | And Add No Multi Seg to all DUTs
663 | | And Apply startup configuration on all VPP DUTs
664 | | When L2 bridge domains with Vhost-User initialized in a 3-node circular topology
665 | | ... | ${bd_id1} | ${bd_id2} | ${sock1} | ${sock2}
666 | | ${vm1}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
667 | | ... | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1
668 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
669 | | ${vm2}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
670 | | ... | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1
671 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
672 | | And Setup scheduler policy for VPP on all DUTs
673 | | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
674 | | ... | ${binary_max} | 3-node-bridge | ${min_rate} | ${max_rate}
675 | | ... | ${threshold} | ${perf_pdr_loss_acceptance}
676 | | ... | ${perf_pdr_loss_acceptance_type}