SKIP_PATCH for all PDR tests instead of NDR
[csit.git] / tests / perf / Long_Bridge_Domain_Vhost_Intel-X520-DA2.robot
1 # Copyright (c) 2016 Cisco and/or its affiliates.
2 # Licensed under the Apache License, Version 2.0 (the "License");
3 # you may not use this file except in compliance with the License.
4 # You may obtain a copy of the License at:
5 #
6 #     http://www.apache.org/licenses/LICENSE-2.0
7 #
8 # Unless required by applicable law or agreed to in writing, software
9 # distributed under the License is distributed on an "AS IS" BASIS,
10 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
11 # See the License for the specific language governing permissions and
12 # limitations under the License.
13
14 *** Settings ***
15 | Resource | resources/libraries/robot/performance.robot
16 | Library | resources.libraries.python.QemuUtils
17 | Force Tags | 3_NODE_SINGLE_LINK_TOPO | PERFTEST | HW_ENV | PERFTEST_LONG
18 | ...        | PERFTEST_VHOST | NIC_Intel-X520-DA2
19 | Suite Setup | Run Keywords | 3-node Performance Suite Setup with DUT's NIC model
20 | ... | L2 | Intel-X520-DA2
21 | ...         | AND          | Kill QEMU on all DUTs
22 | ...         | AND          | Build QEMU on all DUTs
23 | Suite Teardown | 3-node Performance Suite Teardown
24 | Test Setup | Setup all DUTs before test
25 | Test Teardown | Run Keywords | Remove startup configuration of VPP from all DUTs
26 | ...           | AND          | Guest VM with dpdk-testpmd Teardown | ${dut1}
27 | ...                          | ${dut1_vm_refs}
28 | ...           | AND          | Guest VM with dpdk-testpmd Teardown | ${dut2}
29 | ...                          | ${dut2_vm_refs}
30 | Documentation | *RFC2544: Pkt throughput L2BD test cases with vhost*
31 | ...
32 | ... | *[Top] Network Topologies:* TG-DUT1-DUT2-TG 3-node circular topology
33 | ... | with single links between nodes.
34 | ... | *[Enc] Packet Encapsulations:* Eth-IPv4 for L2 switching of IPv4.
35 | ... | *[Cfg] DUT configuration:* DUT1 and DUT2 are configured with L2 bridge-
36 | ... | domain and MAC learning enabled. Qemu Guest is connected to VPP via
37 | ... | vhost-user interfaces. Guest is running DPDK testpmd interconnecting
38 | ... | vhost-user interfaces using 3 cores pinned to cpus 5,6,7 and 2048M
39 | ... | memory. Testpmd is using socket-mem=1024M (512x2M hugepages), 3 cores
40 | ... | (1 main core and 2 cores dedicated for io), forwarding mode is set to
41 | ... | io, rxq/txq=2048, burst=64. DUT1, DUT2 are tested with 2p10GE NIC X520
42 | ... | Niantic by Intel.
43 | ... | *[Ver] TG verification:* TG finds and reports throughput NDR (Non Drop
44 | ... | Rate) with zero packet loss tolerance or throughput PDR (Partial Drop
45 | ... | Rate) with non-zero packet loss tolerance (LT) expressed in percentage
46 | ... | of packets transmitted. NDR and PDR are discovered for different
47 | ... | Ethernet L2 frame sizes using either binary search or linear search
48 | ... | algorithms with configured starting rate and final step that determines
49 | ... | throughput measurement resolution. Test packets are generated by TG on
50 | ... | links to DUTs. TG traffic profile contains two L3 flow-groups
51 | ... | (flow-group per direction, 253 flows per flow-group) with all packets
52 | ... | containing Ethernet header, IPv4 header with IP protocol=61 and static
53 | ... | payload. MAC addresses are matching MAC addresses of the TG node
54 | ... | interfaces.
55 | ... | *[Ref] Applicable standard specifications:* RFC2544.
56
57 *** Variables ***
58 | ${bd_id1}= | 1
59 | ${bd_id2}= | 2
60 | ${sock1}= | /tmp/sock-1-${bd_id1}
61 | ${sock2}= | /tmp/sock-1-${bd_id2}
62
63 *** Test Cases ***
64 | TC01: 64B NDR binary search - DUT L2BD-VHOST - 1thread 1core 1rxq
65 | | [Documentation]
66 | | ... | [Cfg] DUT runs L2BD switching config with 1 thread, 1 phy core, \
67 | | ... | 1 receive queue per NIC port. [Ver] Find NDR for 64 Byte frames
68 | | ... | using binary search start at 10GE linerate, step 10kpps.
69 | | [Tags] | 1_THREAD_NOHTT_RXQUEUES_1 | SINGLE_THREAD | NDR
70 | | ${framesize}= | Set Variable | 64
71 | | ${min_rate}= | Set Variable | 10000
72 | | ${max_rate}= | Set Variable | ${10Ge_linerate_pps_64B}
73 | | ${binary_min}= | Set Variable | ${min_rate}
74 | | ${binary_max}= | Set Variable | ${max_rate}
75 | | ${threshold}= | Set Variable | ${min_rate}
76 | | ${dut1_vm_refs}= | Create Dictionary
77 | | ${dut2_vm_refs}= | Create Dictionary
78 | | Given Add '1' worker threads and rxqueues '1' without HTT to all DUTs
79 | | And   Add PCI devices to DUTs from 3-node single link topology
80 | | And   Add No Multi Seg to all DUTs
81 | | And   Apply startup configuration on all VPP DUTs
82 | | When  L2 bridge domains with Vhost-User initialized in a 3-node circular topology
83 | | ...   | ${bd_id1} | ${bd_id2} | ${sock1} | ${sock2}
84 | | ${vm1}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
85 | | ...     | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1
86 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
87 | | ${vm2}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
88 | | ...     | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1
89 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
90 | | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
91 | | ...                                       | ${binary_max} | 3-node-bridge
92 | | ...                                       | ${min_rate} | ${max_rate}
93 | | ...                                       | ${threshold}
94
95 | TC02: 64B PDR binary search - DUT L2BD-VHOST - 1thread 1core 1rxq
96 | | [Documentation]
97 | | ... | [Cfg] DUT runs L2BD switching config with 1 thread, 1 phy core, \
98 | | ... | 1 receive queue per NIC port. [Ver] Find PDR for 64 Byte frames
99 | | ... | using binary search start at 10GE linerate, step 10kpps, LT=0.5%.
100 | | [Tags] | 1_THREAD_NOHTT_RXQUEUES_1 | SINGLE_THREAD | PDR | SKIP_PATCH
101 | | ${framesize}= | Set Variable | 64
102 | | ${min_rate}= | Set Variable | 10000
103 | | ${max_rate}= | Set Variable | ${10Ge_linerate_pps_64B}
104 | | ${binary_min}= | Set Variable | ${min_rate}
105 | | ${binary_max}= | Set Variable | ${max_rate}
106 | | ${threshold}= | Set Variable | ${min_rate}
107 | | ${dut1_vm_refs}= | Create Dictionary
108 | | ${dut2_vm_refs}= | Create Dictionary
109 | | Given Add '1' worker threads and rxqueues '1' without HTT to all DUTs
110 | | And   Add PCI devices to DUTs from 3-node single link topology
111 | | And   Add No Multi Seg to all DUTs
112 | | And   Apply startup configuration on all VPP DUTs
113 | | When  L2 bridge domains with Vhost-User initialized in a 3-node circular topology
114 | | ...   | ${bd_id1} | ${bd_id2} | ${sock1} | ${sock2}
115 | | ${vm1}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
116 | | ...     | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1
117 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
118 | | ${vm2}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
119 | | ...     | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1
120 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
121 | | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
122 | | ...                                       | ${binary_max} | 3-node-bridge
123 | | ...                                       | ${min_rate} | ${max_rate}
124 | | ...                                       | ${threshold}
125 | | ...                                       | ${glob_loss_acceptance}
126 | | ...                                       | ${glob_loss_acceptance_type}
127
128 | TC03: 1518B NDR binary search - DUT L2BD-VHOST - 1thread 1core 1rxq
129 | | [Documentation]
130 | | ... | [Cfg] DUT runs L2BD switching config with 1 thread, 1 phy core, \
131 | | ... | 1 receive queue per NIC port. [Ver] Find NDR for 1518 Byte frames
132 | | ... | using binary search start at 10GE linerate, step 10kpps.
133 | | [Tags] | 1_THREAD_NOHTT_RXQUEUES_1 | SINGLE_THREAD | NDR
134 | | ${framesize}= | Set Variable | 1518
135 | | ${min_rate}= | Set Variable | 10000
136 | | ${max_rate}= | Set Variable | ${10Ge_linerate_pps_1518B}
137 | | ${binary_min}= | Set Variable | ${min_rate}
138 | | ${binary_max}= | Set Variable | ${max_rate}
139 | | ${threshold}= | Set Variable | ${min_rate}
140 | | ${dut1_vm_refs}= | Create Dictionary
141 | | ${dut2_vm_refs}= | Create Dictionary
142 | | Given Add '1' worker threads and rxqueues '1' without HTT to all DUTs
143 | | And   Add PCI devices to DUTs from 3-node single link topology
144 | | And   Add No Multi Seg to all DUTs
145 | | And   Apply startup configuration on all VPP DUTs
146 | | When  L2 bridge domains with Vhost-User initialized in a 3-node circular topology
147 | | ...   | ${bd_id1} | ${bd_id2} | ${sock1} | ${sock2}
148 | | ${vm1}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
149 | | ...     | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1
150 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
151 | | ${vm2}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
152 | | ...     | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1
153 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
154 | | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
155 | | ...                                       | ${binary_max} | 3-node-bridge
156 | | ...                                       | ${min_rate} | ${max_rate}
157 | | ...                                       | ${threshold}
158
159 | TC04: 1518B PDR binary search - DUT L2BD-VHOST - 1thread 1core 1rxq
160 | | [Documentation]
161 | | ... | [Cfg] DUT runs L2BD switching config with 1 thread, 1 phy core, \
162 | | ... | 1 receive queue per NIC port. [Ver] Find PDR for 1518 Byte frames
163 | | ... | using binary search start at 10GE linerate, step 10kpps, LT=0.5%.
164 | | [Tags] | 1_THREAD_NOHTT_RXQUEUES_1 | SINGLE_THREAD | PDR | SKIP_PATCH
165 | | ${framesize}= | Set Variable | 1518
166 | | ${min_rate}= | Set Variable | 10000
167 | | ${max_rate}= | Set Variable | ${10Ge_linerate_pps_1518B}
168 | | ${binary_min}= | Set Variable | ${min_rate}
169 | | ${binary_max}= | Set Variable | ${max_rate}
170 | | ${threshold}= | Set Variable | ${min_rate}
171 | | ${dut1_vm_refs}= | Create Dictionary
172 | | ${dut2_vm_refs}= | Create Dictionary
173 | | Given Add '1' worker threads and rxqueues '1' without HTT to all DUTs
174 | | And   Add PCI devices to DUTs from 3-node single link topology
175 | | And   Add No Multi Seg to all DUTs
176 | | And   Apply startup configuration on all VPP DUTs
177 | | When  L2 bridge domains with Vhost-User initialized in a 3-node circular topology
178 | | ...   | ${bd_id1} | ${bd_id2} | ${sock1} | ${sock2}
179 | | ${vm1}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
180 | | ...     | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1
181 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
182 | | ${vm2}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
183 | | ...     | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1
184 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
185 | | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
186 | | ...                                       | ${binary_max} | 3-node-bridge
187 | | ...                                       | ${min_rate} | ${max_rate}
188 | | ...                                       | ${threshold}
189 | | ...                                       | ${glob_loss_acceptance}
190 | | ...                                       | ${glob_loss_acceptance_type}
191
192 | TC05: IMIX_v4_1 NDR binary search - DUT L2BD-VHOST - 1thread 1core 1rxq
193 | | [Documentation]
194 | | ... | [Cfg] DUT runs L2BD switching config with 1 thread, 1 phy core, \
195 | | ... | 1 receive queue per NIC port. [Ver] Find NDR for IMIX_v4_1 frame size
196 | | ... | using binary search start at 10GE linerate, step 5kpps.
197 | | ... | IMIX_v4_1 = (28x64B;16x570B;4x1518B)
198 | | [Tags] | 1_THREAD_NOHTT_RXQUEUES_1 | SINGLE_THREAD | NDR
199 | | ${framesize}= | Set Variable | IMIX_v4_1
200 | | ${min_rate}= | Set Variable | 5000
201 | | ${max_rate}= | Set Variable | ${10Ge_linerate_pps_IMIX_v4_1}
202 | | ${binary_min}= | Set Variable | ${min_rate}
203 | | ${binary_max}= | Set Variable | ${max_rate}
204 | | ${threshold}= | Set Variable | ${min_rate}
205 | | ${dut1_vm_refs}= | Create Dictionary
206 | | ${dut2_vm_refs}= | Create Dictionary
207 | | Given Add '1' worker threads and rxqueues '1' without HTT to all DUTs
208 | | And   Add PCI devices to DUTs from 3-node single link topology
209 | | And   Add No Multi Seg to all DUTs
210 | | And   Apply startup configuration on all VPP DUTs
211 | | When  L2 bridge domains with Vhost-User initialized in a 3-node circular topology
212 | | ...   | ${bd_id1} | ${bd_id2} | ${sock1} | ${sock2}
213 | | ${vm1}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
214 | | ...     | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1
215 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
216 | | ${vm2}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
217 | | ...     | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1
218 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
219 | | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
220 | | ...                                       | ${binary_max} | 3-node-bridge
221 | | ...                                       | ${min_rate} | ${max_rate}
222 | | ...                                       | ${threshold}
223
224 | TC06: IMIX_v4_1 PDR binary search - DUT L2BD-VHOST - 1thread 1core 1rxq
225 | | [Documentation]
226 | | ... | [Cfg] DUT runs L2BD switching config with 1 thread, 1 phy core, \
227 | | ... | 1 receive queue per NIC port. [Ver] Find PDR for IMIX_v4_1 frame size
228 | | ... | using binary search start at 10GE linerate, step 5kpps, LT=0.5%.
229 | | ... | IMIX_v4_1 = (28x64B;16x570B;4x1518B)
230 | | [Tags] | 1_THREAD_NOHTT_RXQUEUES_1 | SINGLE_THREAD | PDR | SKIP_PATCH
231 | | ${framesize}= | Set Variable | IMIX_v4_1
232 | | ${min_rate}= | Set Variable | 5000
233 | | ${max_rate}= | Set Variable | ${10Ge_linerate_pps_IMIX_v4_1}
234 | | ${binary_min}= | Set Variable | ${min_rate}
235 | | ${binary_max}= | Set Variable | ${max_rate}
236 | | ${threshold}= | Set Variable | ${min_rate}
237 | | ${dut1_vm_refs}= | Create Dictionary
238 | | ${dut2_vm_refs}= | Create Dictionary
239 | | Given Add '1' worker threads and rxqueues '1' without HTT to all DUTs
240 | | And   Add PCI devices to DUTs from 3-node single link topology
241 | | And   Apply startup configuration on all VPP DUTs
242 | | When  L2 bridge domains with Vhost-User initialized in a 3-node circular topology
243 | | ...   | ${bd_id1} | ${bd_id2} | ${sock1} | ${sock2}
244 | | ${vm1}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
245 | | ...     | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1
246 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
247 | | ${vm2}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
248 | | ...     | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1
249 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
250 | | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
251 | | ...                                       | ${binary_max} | 3-node-bridge
252 | | ...                                       | ${min_rate} | ${max_rate}
253 | | ...                                       | ${threshold}
254 | | ...                                       | ${glob_loss_acceptance}
255 | | ...                                       | ${glob_loss_acceptance_type}
256
257 | TC07: 64B NDR binary search - DUT L2BD-VHOST - 2threads 2cores 1rxq
258 | | [Documentation]
259 | | ... | [Cfg] DUT runs L2BD switching config with 2 threads, 2 phy cores, \
260 | | ... | 1 receive queue per NIC port. [Ver] Find NDR for 64 Byte frames
261 | | ... | using binary search start at 10GE linerate, step 10kpps.
262 | | [Tags] | 2_THREAD_NOHTT_RXQUEUES_1 | MULTI_THREAD | NDR
263 | | ${framesize}= | Set Variable | 64
264 | | ${min_rate}= | Set Variable | 10000
265 | | ${max_rate}= | Set Variable | ${10Ge_linerate_pps_64B}
266 | | ${binary_min}= | Set Variable | ${min_rate}
267 | | ${binary_max}= | Set Variable | ${max_rate}
268 | | ${threshold}= | Set Variable | ${min_rate}
269 | | ${dut1_vm_refs}= | Create Dictionary
270 | | ${dut2_vm_refs}= | Create Dictionary
271 | | Given Add '2' worker threads and rxqueues '1' without HTT to all DUTs
272 | | And   Add PCI devices to DUTs from 3-node single link topology
273 | | And   Add No Multi Seg to all DUTs
274 | | And   Apply startup configuration on all VPP DUTs
275 | | When  L2 bridge domains with Vhost-User initialized in a 3-node circular topology
276 | | ...   | ${bd_id1} | ${bd_id2} | ${sock1} | ${sock2}
277 | | ${vm1}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
278 | | ...     | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1
279 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
280 | | ${vm2}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
281 | | ...     | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1
282 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
283 | | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
284 | | ...                                       | ${binary_max} | 3-node-bridge
285 | | ...                                       | ${min_rate} | ${max_rate}
286 | | ...                                       | ${threshold}
287
288 | TC08: 64B PDR binary search - DUT L2BD-VHOST - 2threads 2cores 1rxq
289 | | [Documentation]
290 | | ... | [Cfg] DUT runs L2BD switching config with 2 threads, 2 phy cores, \
291 | | ... | 1 receive queue per NIC port. [Ver] Find PDR for 64 Byte frames
292 | | ... | using binary search start at 10GE linerate, step 10kpps, LT=0.5%.
293 | | [Tags] | 2_THREAD_NOHTT_RXQUEUES_1 | MULTI_THREAD | PDR | SKIP_PATCH
294 | | ${framesize}= | Set Variable | 64
295 | | ${min_rate}= | Set Variable | 10000
296 | | ${max_rate}= | Set Variable | ${10Ge_linerate_pps_64B}
297 | | ${binary_min}= | Set Variable | ${min_rate}
298 | | ${binary_max}= | Set Variable | ${max_rate}
299 | | ${threshold}= | Set Variable | ${min_rate}
300 | | ${dut1_vm_refs}= | Create Dictionary
301 | | ${dut2_vm_refs}= | Create Dictionary
302 | | Given Add '2' worker threads and rxqueues '1' without HTT to all DUTs
303 | | And   Add PCI devices to DUTs from 3-node single link topology
304 | | And   Add No Multi Seg to all DUTs
305 | | And   Apply startup configuration on all VPP DUTs
306 | | When  L2 bridge domains with Vhost-User initialized in a 3-node circular topology
307 | | ...   | ${bd_id1} | ${bd_id2} | ${sock1} | ${sock2}
308 | | ${vm1}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
309 | | ...     | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1
310 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
311 | | ${vm2}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
312 | | ...     | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1
313 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
314 | | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
315 | | ...                                       | ${binary_max} | 3-node-bridge
316 | | ...                                       | ${min_rate} | ${max_rate}
317 | | ...                                       | ${threshold}
318 | | ...                                       | ${glob_loss_acceptance}
319 | | ...                                       | ${glob_loss_acceptance_type}
320
321 | TC09: 1518B NDR binary search - DUT L2BD-VHOST - 2threads 2cores 1rxq
322 | | [Documentation]
323 | | ... | [Cfg] DUT runs L2BD switching config with 2 threads, 2 phy cores, \
324 | | ... | 1 receive queue per NIC port. [Ver] Find NDR for 1518 Byte frames
325 | | ... | using binary search start at 10GE linerate, step 10kpps.
326 | | [Tags] | 2_THREAD_NOHTT_RXQUEUES_1 | MULTI_THREAD | NDR | SKIP_PATCH
327 | | ${framesize}= | Set Variable | 1518
328 | | ${min_rate}= | Set Variable | 10000
329 | | ${max_rate}= | Set Variable | ${10Ge_linerate_pps_1518B}
330 | | ${binary_min}= | Set Variable | ${min_rate}
331 | | ${binary_max}= | Set Variable | ${max_rate}
332 | | ${threshold}= | Set Variable | ${min_rate}
333 | | ${dut1_vm_refs}= | Create Dictionary
334 | | ${dut2_vm_refs}= | Create Dictionary
335 | | Given Add '2' worker threads and rxqueues '1' without HTT to all DUTs
336 | | And   Add PCI devices to DUTs from 3-node single link topology
337 | | And   Add No Multi Seg to all DUTs
338 | | And   Apply startup configuration on all VPP DUTs
339 | | When  L2 bridge domains with Vhost-User initialized in a 3-node circular topology
340 | | ...   | ${bd_id1} | ${bd_id2} | ${sock1} | ${sock2}
341 | | ${vm1}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
342 | | ...     | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1
343 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
344 | | ${vm2}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
345 | | ...     | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1
346 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
347 | | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
348 | | ...                                       | ${binary_max} | 3-node-bridge
349 | | ...                                       | ${min_rate} | ${max_rate}
350 | | ...                                       | ${threshold}
351
352 | TC10: 1518B PDR binary search - DUT L2BD-VHOST - 2threads 2cores 1rxq
353 | | [Documentation]
354 | | ... | [Cfg] DUT runs L2BD switching config with 2 threads, 2 phy cores, \
355 | | ... | 1 receive queue per NIC port. [Ver] Find PDR for 1518 Byte frames
356 | | ... | using binary search start at 10GE linerate, step 10kpps, LT=0.5%.
357 | | [Tags] | 2_THREAD_NOHTT_RXQUEUES_1 | MULTI_THREAD | PDR | SKIP_PATCH
358 | | ${framesize}= | Set Variable | 1518
359 | | ${min_rate}= | Set Variable | 10000
360 | | ${max_rate}= | Set Variable | ${10Ge_linerate_pps_1518B}
361 | | ${binary_min}= | Set Variable | ${min_rate}
362 | | ${binary_max}= | Set Variable | ${max_rate}
363 | | ${threshold}= | Set Variable | ${min_rate}
364 | | ${dut1_vm_refs}= | Create Dictionary
365 | | ${dut2_vm_refs}= | Create Dictionary
366 | | Given Add '2' worker threads and rxqueues '1' without HTT to all DUTs
367 | | And   Add PCI devices to DUTs from 3-node single link topology
368 | | And   Add No Multi Seg to all DUTs
369 | | And   Apply startup configuration on all VPP DUTs
370 | | When  L2 bridge domains with Vhost-User initialized in a 3-node circular topology
371 | | ...   | ${bd_id1} | ${bd_id2} | ${sock1} | ${sock2}
372 | | ${vm1}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
373 | | ...     | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1
374 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
375 | | ${vm2}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
376 | | ...     | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1
377 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
378 | | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
379 | | ...                                       | ${binary_max} | 3-node-bridge
380 | | ...                                       | ${min_rate} | ${max_rate}
381 | | ...                                       | ${threshold}
382 | | ...                                       | ${glob_loss_acceptance}
383 | | ...                                       | ${glob_loss_acceptance_type}
384
385 | TC11: IMIX_v4_1 NDR binary search - DUT L2BD-VHOST - 2threads 2cores 1rxq
386 | | [Documentation]
387 | | ... | [Cfg] DUT runs L2BD switching config with 2 threads, 2 phy cores, \
388 | | ... | 1 receive queue per NIC port. [Ver] Find NDR for IMIX_v4_1 frame size
389 | | ... | using binary search start at 10GE linerate, step 5kpps.
390 | | ... | IMIX_v4_1 = (28x64B;16x570B;4x1518B)
391 | | [Tags] | 2_THREAD_NOHTT_RXQUEUES_1 | MULTI_THREAD | NDR | SKIP_PATCH
392 | | ${framesize}= | Set Variable | IMIX_v4_1
393 | | ${min_rate}= | Set Variable | 5000
394 | | ${max_rate}= | Set Variable | ${10Ge_linerate_pps_IMIX_v4_1}
395 | | ${binary_min}= | Set Variable | ${min_rate}
396 | | ${binary_max}= | Set Variable | ${max_rate}
397 | | ${threshold}= | Set Variable | ${min_rate}
398 | | ${dut1_vm_refs}= | Create Dictionary
399 | | ${dut2_vm_refs}= | Create Dictionary
400 | | Given Add '2' worker threads and rxqueues '1' without HTT to all DUTs
401 | | And   Add PCI devices to DUTs from 3-node single link topology
402 | | And   Add No Multi Seg to all DUTs
403 | | And   Apply startup configuration on all VPP DUTs
404 | | When  L2 bridge domains with Vhost-User initialized in a 3-node circular topology
405 | | ...   | ${bd_id1} | ${bd_id2} | ${sock1} | ${sock2}
406 | | ${vm1}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
407 | | ...     | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1
408 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
409 | | ${vm2}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
410 | | ...     | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1
411 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
412 | | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
413 | | ...                                       | ${binary_max} | 3-node-bridge
414 | | ...                                       | ${min_rate} | ${max_rate}
415 | | ...                                       | ${threshold}
416
417 | TC12: IMIX_v4_1 PDR binary search - DUT L2BD-VHOST - 2threads 2cores 1rxq
418 | | [Documentation]
419 | | ... | [Cfg] DUT runs L2BD switching config with 2 threads, 2 phy cores, \
420 | | ... | 1 receive queue per NIC port. [Ver] Find PDR for IMIX_v4_1 frame size
421 | | ... | using binary search start at 10GE linerate, step 5kpps, LT=0.5%.
422 | | ... | IMIX_v4_1 = (28x64B;16x570B;4x1518B)
423 | | [Tags] | 2_THREAD_NOHTT_RXQUEUES_1 | MULTI_THREAD | PDR | SKIP_PATCH
424 | | ${framesize}= | Set Variable | IMIX_v4_1
425 | | ${min_rate}= | Set Variable | 5000
426 | | ${max_rate}= | Set Variable | ${10Ge_linerate_pps_IMIX_v4_1}
427 | | ${binary_min}= | Set Variable | ${min_rate}
428 | | ${binary_max}= | Set Variable | ${max_rate}
429 | | ${threshold}= | Set Variable | ${min_rate}
430 | | ${dut1_vm_refs}= | Create Dictionary
431 | | ${dut2_vm_refs}= | Create Dictionary
432 | | Given Add '2' worker threads and rxqueues '1' without HTT to all DUTs
433 | | And   Add PCI devices to DUTs from 3-node single link topology
434 | | And   Add No Multi Seg to all DUTs
435 | | And   Apply startup configuration on all VPP DUTs
436 | | When  L2 bridge domains with Vhost-User initialized in a 3-node circular topology
437 | | ...   | ${bd_id1} | ${bd_id2} | ${sock1} | ${sock2}
438 | | ${vm1}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
439 | | ...     | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1
440 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
441 | | ${vm2}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
442 | | ...     | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1
443 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
444 | | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
445 | | ...                                       | ${binary_max} | 3-node-bridge
446 | | ...                                       | ${min_rate} | ${max_rate}
447 | | ...                                       | ${threshold}
448 | | ...                                       | ${glob_loss_acceptance}
449 | | ...                                       | ${glob_loss_acceptance_type}
450
451 | TC13: 64B NDR binary search - DUT L2BD-VHOST - 4threads 4cores 2rxq
452 | | [Documentation]
453 | | ... | [Cfg] DUT runs L2BD switching config with 4 threads, 4 phy cores, \
454 | | ... | 2 receive queues per NIC port. [Ver] Find NDR for 64 Byte frames
455 | | ... | using binary search start at 10GE linerate, step 10kpps.
456 | | [Tags] | 4_THREAD_NOHTT_RXQUEUES_2 | MULTI_THREAD | NDR
457 | | ${framesize}= | Set Variable | 64
458 | | ${min_rate}= | Set Variable | 10000
459 | | ${max_rate}= | Set Variable | ${10Ge_linerate_pps_64B}
460 | | ${binary_min}= | Set Variable | ${min_rate}
461 | | ${binary_max}= | Set Variable | ${max_rate}
462 | | ${threshold}= | Set Variable | ${min_rate}
463 | | ${dut1_vm_refs}= | Create Dictionary
464 | | ${dut2_vm_refs}= | Create Dictionary
465 | | Given Add '4' worker threads and rxqueues '2' without HTT to all DUTs
466 | | And   Add PCI devices to DUTs from 3-node single link topology
467 | | And   Add No Multi Seg to all DUTs
468 | | And   Apply startup configuration on all VPP DUTs
469 | | When  L2 bridge domains with Vhost-User initialized in a 3-node circular topology
470 | | ...   | ${bd_id1} | ${bd_id2} | ${sock1} | ${sock2}
471 | | ${vm1}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
472 | | ...     | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1
473 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
474 | | ${vm2}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
475 | | ...     | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1
476 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
477 | | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
478 | | ...                                       | ${binary_max} | 3-node-bridge
479 | | ...                                       | ${min_rate} | ${max_rate}
480 | | ...                                       | ${threshold}
481
482 | TC14: 64B PDR binary search - DUT L2BD-VHOST - 4threads 4cores 2rxq
483 | | [Documentation]
484 | | ... | [Cfg] DUT runs L2BD switching config with 4 threads, 4 phy cores, \
485 | | ... | 2 receive queues per NIC port. [Ver] Find PDR for 64 Byte frames
486 | | ... | using binary search start at 10GE linerate, step 10kpps, LT=0.5%.
487 | | [Tags] | 4_THREAD_NOHTT_RXQUEUES_2 | MULTI_THREAD | PDR | SKIP_PATCH
488 | | ${framesize}= | Set Variable | 64
489 | | ${min_rate}= | Set Variable | 10000
490 | | ${max_rate}= | Set Variable | ${10Ge_linerate_pps_64B}
491 | | ${binary_min}= | Set Variable | ${min_rate}
492 | | ${binary_max}= | Set Variable | ${max_rate}
493 | | ${threshold}= | Set Variable | ${min_rate}
494 | | ${dut1_vm_refs}= | Create Dictionary
495 | | ${dut2_vm_refs}= | Create Dictionary
496 | | Given Add '4' worker threads and rxqueues '2' without HTT to all DUTs
497 | | And   Add PCI devices to DUTs from 3-node single link topology
498 | | And   Add No Multi Seg to all DUTs
499 | | And   Apply startup configuration on all VPP DUTs
500 | | When  L2 bridge domains with Vhost-User initialized in a 3-node circular topology
501 | | ...   | ${bd_id1} | ${bd_id2} | ${sock1} | ${sock2}
502 | | ${vm1}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
503 | | ...     | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1
504 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
505 | | ${vm2}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
506 | | ...     | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1
507 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
508 | | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
509 | | ...                                       | ${binary_max} | 3-node-bridge
510 | | ...                                       | ${min_rate} | ${max_rate}
511 | | ...                                       | ${threshold}
512 | | ...                                       | ${glob_loss_acceptance}
513 | | ...                                       | ${glob_loss_acceptance_type}
514
515 | TC15: 1518B NDR binary search - DUT L2BD-VHOST - 4threads 4cores 2rxq
516 | | [Documentation]
517 | | ... | [Cfg] DUT runs L2BD switching config with 4 threads, 4 phy cores, \
518 | | ... | 2 receive queues per NIC port. [Ver] Find NDR for 1518 Byte frames
519 | | ... | using binary search start at 10GE linerate, step 10kpps.
520 | | [Tags] | 4_THREAD_NOHTT_RXQUEUES_2 | MULTI_THREAD | NDR | SKIP_PATCH
521 | | ${framesize}= | Set Variable | 1518
522 | | ${min_rate}= | Set Variable | 10000
523 | | ${max_rate}= | Set Variable | ${10Ge_linerate_pps_1518B}
524 | | ${binary_min}= | Set Variable | ${min_rate}
525 | | ${binary_max}= | Set Variable | ${max_rate}
526 | | ${threshold}= | Set Variable | ${min_rate}
527 | | ${dut1_vm_refs}= | Create Dictionary
528 | | ${dut2_vm_refs}= | Create Dictionary
529 | | Given Add '4' worker threads and rxqueues '2' without HTT to all DUTs
530 | | And   Add PCI devices to DUTs from 3-node single link topology
531 | | And   Add No Multi Seg to all DUTs
532 | | And   Apply startup configuration on all VPP DUTs
533 | | When  L2 bridge domains with Vhost-User initialized in a 3-node circular topology
534 | | ...   | ${bd_id1} | ${bd_id2} | ${sock1} | ${sock2}
535 | | ${vm1}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
536 | | ...     | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1
537 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
538 | | ${vm2}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
539 | | ...     | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1
540 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
541 | | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
542 | | ...                                       | ${binary_max} | 3-node-bridge
543 | | ...                                       | ${min_rate} | ${max_rate}
544 | | ...                                       | ${threshold}
545
546 | TC16: 1518B PDR binary search - DUT L2BD-VHOST - 4threads 4cores 2rxq
547 | | [Documentation]
548 | | ... | [Cfg] DUT runs L2BD switching config with 4 threads, 4 phy cores, \
549 | | ... | 2 receive queues per NIC port. [Ver] Find PDR for 1518 Byte frames
550 | | ... | using binary search start at 10GE linerate, step 10kpps, LT=0.5%.
551 | | [Tags] | 4_THREAD_NOHTT_RXQUEUES_2 | MULTI_THREAD | PDR | SKIP_PATCH
552 | | ${framesize}= | Set Variable | 1518
553 | | ${min_rate}= | Set Variable | 10000
554 | | ${max_rate}= | Set Variable | ${10Ge_linerate_pps_1518B}
555 | | ${binary_min}= | Set Variable | ${min_rate}
556 | | ${binary_max}= | Set Variable | ${max_rate}
557 | | ${threshold}= | Set Variable | ${min_rate}
558 | | ${dut1_vm_refs}= | Create Dictionary
559 | | ${dut2_vm_refs}= | Create Dictionary
560 | | Given Add '4' worker threads and rxqueues '2' without HTT to all DUTs
561 | | And   Add PCI devices to DUTs from 3-node single link topology
562 | | And   Add No Multi Seg to all DUTs
563 | | And   Apply startup configuration on all VPP DUTs
564 | | When  L2 bridge domains with Vhost-User initialized in a 3-node circular topology
565 | | ...   | ${bd_id1} | ${bd_id2} | ${sock1} | ${sock2}
566 | | ${vm1}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
567 | | ...     | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1
568 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
569 | | ${vm2}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
570 | | ...     | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1
571 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
572 | | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
573 | | ...                                       | ${binary_max} | 3-node-bridge
574 | | ...                                       | ${min_rate} | ${max_rate}
575 | | ...                                       | ${threshold}
576 | | ...                                       | ${glob_loss_acceptance}
577 | | ...                                       | ${glob_loss_acceptance_type}
578
579 | TC17: IMIX_v4_1 NDR binary search - DUT L2BD-VHOST - 4threads 4cores 2rxq
580 | | [Documentation]
581 | | ... | [Cfg] DUT runs L2BD switching config with 4 threads, 4 phy cores, \
582 | | ... | 2 receive queues per NIC port. [Ver] Find NDR for IMIX_v4_1 frame size
583 | | ... | using binary search start at 10GE linerate, step 5kpps.
584 | | ... | IMIX_v4_1 = (28x64B;16x570B;4x1518B)
585 | | [Tags] | 4_THREAD_NOHTT_RXQUEUES_2 | MULTI_THREAD | NDR | SKIP_PATCH
586 | | ${framesize}= | Set Variable | IMIX_v4_1
587 | | ${min_rate}= | Set Variable | 5000
588 | | ${max_rate}= | Set Variable | ${10Ge_linerate_pps_IMIX_v4_1}
589 | | ${binary_min}= | Set Variable | ${min_rate}
590 | | ${binary_max}= | Set Variable | ${max_rate}
591 | | ${threshold}= | Set Variable | ${min_rate}
592 | | ${dut1_vm_refs}= | Create Dictionary
593 | | ${dut2_vm_refs}= | Create Dictionary
594 | | Given Add '4' worker threads and rxqueues '2' without HTT to all DUTs
595 | | And   Add PCI devices to DUTs from 3-node single link topology
596 | | And   Add No Multi Seg to all DUTs
597 | | And   Apply startup configuration on all VPP DUTs
598 | | When  L2 bridge domains with Vhost-User initialized in a 3-node circular topology
599 | | ...   | ${bd_id1} | ${bd_id2} | ${sock1} | ${sock2}
600 | | ${vm1}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
601 | | ...     | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1
602 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
603 | | ${vm2}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
604 | | ...     | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1
605 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
606 | | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
607 | | ...                                       | ${binary_max} | 3-node-bridge
608 | | ...                                       | ${min_rate} | ${max_rate}
609 | | ...                                       | ${threshold}
610
611 | TC18: IMIX_v4_1 PDR binary search - DUT L2BD-VHOST - 4threads 4cores 2rxq
612 | | [Documentation]
613 | | ... | [Cfg] DUT runs L2BD switching config with 4 threads, 4 phy cores, \
614 | | ... | 2 receive queues per NIC port. [Ver] Find PDR for IMIX_v4_1 frame size
615 | | ... | using binary search start at 10GE linerate, step 5kpps, LT=0.5%.
616 | | ... | IMIX_v4_1 = (28x64B;16x570B;4x1518B)
617 | | [Tags] | 4_THREAD_NOHTT_RXQUEUES_2 | MULTI_THREAD | PDR | SKIP_PATCH
618 | | ${framesize}= | Set Variable | IMIX_v4_1
619 | | ${min_rate}= | Set Variable | 5000
620 | | ${max_rate}= | Set Variable | ${10Ge_linerate_pps_IMIX_v4_1}
621 | | ${binary_min}= | Set Variable | ${min_rate}
622 | | ${binary_max}= | Set Variable | ${max_rate}
623 | | ${threshold}= | Set Variable | ${min_rate}
624 | | ${dut1_vm_refs}= | Create Dictionary
625 | | ${dut2_vm_refs}= | Create Dictionary
626 | | Given Add '4' worker threads and rxqueues '2' without HTT to all DUTs
627 | | And   Add PCI devices to DUTs from 3-node single link topology
628 | | And   Add No Multi Seg to all DUTs
629 | | And   Apply startup configuration on all VPP DUTs
630 | | When  L2 bridge domains with Vhost-User initialized in a 3-node circular topology
631 | | ...   | ${bd_id1} | ${bd_id2} | ${sock1} | ${sock2}
632 | | ${vm1}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
633 | | ...     | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1
634 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
635 | | ${vm2}= | And Guest VM with dpdk-testpmd connected via vhost-user is setup
636 | | ...     | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1
637 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
638 | | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
639 | | ...                                       | ${binary_max} | 3-node-bridge
640 | | ...                                       | ${min_rate} | ${max_rate}
641 | | ...                                       | ${threshold}
642 | | ...                                       | ${glob_loss_acceptance}
643 | | ...                                       | ${glob_loss_acceptance_type}
644