Refactor perf test cases
[csit.git] / tests / vpp / perf / vm_vhost / 10ge2p1x520-ethip4-ip4base-eth-2vhostvr1024-1vm-ndrpdrdisc.robot
1 # Copyright (c) 2017 Cisco and/or its affiliates.
2 # Licensed under the Apache License, Version 2.0 (the "License");
3 # you may not use this file except in compliance with the License.
4 # You may obtain a copy of the License at:
5 #
6 #     http://www.apache.org/licenses/LICENSE-2.0
7 #
8 # Unless required by applicable law or agreed to in writing, software
9 # distributed under the License is distributed on an "AS IS" BASIS,
10 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
11 # See the License for the specific language governing permissions and
12 # limitations under the License.
13
14 *** Settings ***
15 | Resource | resources/libraries/robot/performance/performance_setup.robot
16 | Library | resources.libraries.python.QemuUtils
17 | ...
18 | Force Tags | 3_NODE_SINGLE_LINK_TOPO | PERFTEST | HW_ENV | NDRPDRDISC
19 | ... | NIC_Intel-X520-DA2 | ETH | IP4FWD | BASE | VHOST | VM | VHOST_1024
20 | ...
21 | Suite Setup | Set up 3-node performance topology with DUT's NIC model
22 | ... | L3 | Intel-X520-DA2
23 | Suite Teardown | Tear down 3-node performance topology
24 | ...
25 | Test Setup | Set up performance test
26 | Test Teardown | Tear down performance test with vhost and VM with dpdk-testpmd
27 | ... | ${min_rate}pps | ${framesize} | ${traffic_profile}
28 | ... | dut1_node=${dut1} | dut1_vm_refs=${dut1_vm_refs}
29 | ... | dut2_node=${dut2} | dut2_vm_refs=${dut2_vm_refs}
30 | ...
31 | Documentation | *RFC2544: Pkt throughput IPv4 test cases with vhost*
32 | ...
33 | ... | *[Top] Network Topologies:* TG-DUT1-DUT2-TG 3-node circular topology
34 | ... | with single links between nodes.
35 | ... | *[Enc] Packet Encapsulations:* Eth-IPv4 for IPv4 routing.
36 | ... | *[Cfg] DUT configuration:* DUT1 and DUT2 are configured with IPv4
37 | ... | routing and two static IPv4 /24 route entries. Qemu Guest is connected
38 | ... | to VPP via vhost-user interfaces. Guest is running DPDK testpmd
39 | ... | interconnecting vhost-user interfaces using 5 cores pinned to cpus 5-9
40 | ... | and 2048M memory. Testpmd is using socket-mem=1024M (512x2M hugepages),
41 | ... | 5 cores (1 main core and 4 cores dedicated for io), forwarding mode is
42 | ... | set to mac, rxd/txd=1024, burst=64. DUT1, DUT2 are tested with 2p10GE
43 | ... | NIC X520 Niantic by Intel.
44 | ... | *[Ver] TG verification:* TG finds and reports throughput NDR (Non Drop
45 | ... | Rate) with zero packet loss tolerance or throughput PDR (Partial Drop
46 | ... | Rate) with non-zero packet loss tolerance (LT) expressed in percentage
47 | ... | of packets transmitted. NDR and PDR are discovered for different
48 | ... | Ethernet L2 frame sizes using either binary search or linear search
49 | ... | algorithms with configured starting rate and final step that determines
50 | ... | throughput measurement resolution. Test packets are generated by TG on
51 | ... | links to DUTs. TG traffic profile contains two L3 flow-groups
52 | ... | (flow-group per direction, 253 flows per flow-group) with all packets
53 | ... | containing Ethernet header, IPv4 header with IP protocol=61 and static
54 | ... | payload. MAC addresses are matching MAC addresses of the TG node
55 | ... | interfaces.
56 | ... | *[Ref] Applicable standard specifications:* RFC2544.
57
58 *** Variables ***
59 | ${perf_qemu_qsz}= | 1024
60 # X520-DA2 bandwidth limit
61 | ${s_limit} | ${10000000000}
62 | ${sock1}= | /tmp/sock-1
63 | ${sock2}= | /tmp/sock-2
64 | ${fib_table_1}= | 100
65 | ${fib_table_2}= | 101
66 # Traffic profile:
67 | ${traffic_profile}= | trex-sl-3n-ethip4-ip4src253
68
69 *** Test Cases ***
70 | tc01-64B-1t1c-ethip4-ip4base-eth-2vhostvr1024-1vm-ndrdisc
71 | | [Documentation]
72 | | ... | [Cfg] DUT runs IPv4 routing config with 1 phy core, \
73 | | ... | 1 receive queue per NIC port. [Ver] Find NDR for 64 Byte frames \
74 | | ... | using binary search start at 10GE linerate, step 10kpps.
75 | | [Tags] | 64B | 1C | NDRDISC
76 | | ${framesize}= | Set Variable | ${64}
77 | | ${min_rate}= | Set Variable | ${10000}
78 | | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
79 | | ${binary_min}= | Set Variable | ${min_rate}
80 | | ${binary_max}= | Set Variable | ${max_rate}
81 | | ${threshold}= | Set Variable | ${min_rate}
82 | | ${dut1_vm_refs}= | Create Dictionary
83 | | ${dut2_vm_refs}= | Create Dictionary
84 | | Given Add worker threads and rxqueues to all DUTs | 1
85 | | And Add PCI devices to all DUTs
86 | | And Add no multi seg to all DUTs
87 | | And Apply startup configuration on all VPP DUTs
88 | | When Initialize IPv4 forwarding with vhost in 3-node circular topology
89 | | ... | ${sock1} | ${sock2}
90 | | ${vm1}= | And Configure guest VM with dpdk-testpmd-mac connected via vhost-user
91 | | ... | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1 | ${dut1_vif1_mac}
92 | | ... | ${dut1_vif2_mac}
93 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
94 | | ${vm2}= | And Configure guest VM with dpdk-testpmd-mac connected via vhost-user
95 | | ... | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1 | ${dut2_vif1_mac}
96 | | ... | ${dut2_vif2_mac}
97 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
98 | | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
99 | | ... | ${binary_max} | ${traffic_profile}
100 | | ... | ${min_rate} | ${max_rate} | ${threshold}
101
102 | tc02-64B-1t1c-ethip4-ip4base-eth-2vhostvr1024-1vm-pdrdisc
103 | | [Documentation]
104 | | ... | [Cfg] DUT runs IPv4 routing config with 1 phy core, \
105 | | ... | 1 receive queue per NIC port. [Ver] Find PDR for 64 Byte frames \
106 | | ... | using binary search start at 10GE linerate, step 10kpps, LT=0.5%.
107 | | [Tags] | 64B | 1C | PDRDISC | SKIP_PATCH
108 | | ${framesize}= | Set Variable | ${64}
109 | | ${min_rate}= | Set Variable | ${10000}
110 | | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
111 | | ${binary_min}= | Set Variable | ${min_rate}
112 | | ${binary_max}= | Set Variable | ${max_rate}
113 | | ${threshold}= | Set Variable | ${min_rate}
114 | | ${dut1_vm_refs}= | Create Dictionary
115 | | ${dut2_vm_refs}= | Create Dictionary
116 | | Given Add worker threads and rxqueues to all DUTs | 1
117 | | And Add PCI devices to all DUTs
118 | | And Add no multi seg to all DUTs
119 | | And Apply startup configuration on all VPP DUTs
120 | | When Initialize IPv4 forwarding with vhost in 3-node circular topology
121 | | ... | ${sock1} | ${sock2}
122 | | ${vm1}= | And Configure guest VM with dpdk-testpmd-mac connected via vhost-user
123 | | ... | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1 | ${dut1_vif1_mac}
124 | | ... | ${dut1_vif2_mac}
125 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
126 | | ${vm2}= | And Configure guest VM with dpdk-testpmd-mac connected via vhost-user
127 | | ... | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1 | ${dut2_vif1_mac}
128 | | ... | ${dut2_vif2_mac}
129 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
130 | | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
131 | | ... | ${binary_max} | ${traffic_profile}
132 | | ... | ${min_rate} | ${max_rate} | ${threshold}
133 | | ... | ${perf_pdr_loss_acceptance} | ${perf_pdr_loss_acceptance_type}
134
135 | tc03-1518B-1t1c-ethip4-ip4base-eth-2vhostvr1024-1vm-ndrdisc
136 | | [Documentation]
137 | | ... | [Cfg] DUT runs IPv4 routing config with 1 phy core, \
138 | | ... | 1 receive queue per NIC port. [Ver] Find NDR for 1518 Byte frames \
139 | | ... | using binary search start at 10GE linerate, step 10kpps.
140 | | [Tags] | 1518B | 1C | NDRDISC
141 | | ${framesize}= | Set Variable | ${1518}
142 | | ${min_rate}= | Set Variable | ${10000}
143 | | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
144 | | ${binary_min}= | Set Variable | ${min_rate}
145 | | ${binary_max}= | Set Variable | ${max_rate}
146 | | ${threshold}= | Set Variable | ${min_rate}
147 | | ${dut1_vm_refs}= | Create Dictionary
148 | | ${dut2_vm_refs}= | Create Dictionary
149 | | Given Add worker threads and rxqueues to all DUTs | 1
150 | | And Add PCI devices to all DUTs
151 | | And Add no multi seg to all DUTs
152 | | And Apply startup configuration on all VPP DUTs
153 | | When Initialize IPv4 forwarding with vhost in 3-node circular topology
154 | | ... | ${sock1} | ${sock2}
155 | | ${vm1}= | And Configure guest VM with dpdk-testpmd-mac connected via vhost-user
156 | | ... | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1 | ${dut1_vif1_mac}
157 | | ... | ${dut1_vif2_mac}
158 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
159 | | ${vm2}= | And Configure guest VM with dpdk-testpmd-mac connected via vhost-user
160 | | ... | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1 | ${dut2_vif1_mac}
161 | | ... | ${dut2_vif2_mac}
162 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
163 | | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
164 | | ... | ${binary_max} | ${traffic_profile}
165 | | ... | ${min_rate} | ${max_rate} | ${threshold}
166
167 | tc04-1518B-1t1c-ethip4-ip4base-eth-2vhostvr1024-1vm-pdrdisc
168 | | [Documentation]
169 | | ... | [Cfg] DUT runs IPv4 routing config with 1 phy core, \
170 | | ... | 1 receive queue per NIC port. [Ver] Find PDR for 1518 Byte frames \
171 | | ... | using binary search start at 10GE linerate, step 10kpps, LT=0.5%.
172 | | [Tags] | 1518B | 1C | PDRDISC | SKIP_PATCH
173 | | ${framesize}= | Set Variable | ${1518}
174 | | ${min_rate}= | Set Variable | ${10000}
175 | | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
176 | | ${binary_min}= | Set Variable | ${min_rate}
177 | | ${binary_max}= | Set Variable | ${max_rate}
178 | | ${threshold}= | Set Variable | ${min_rate}
179 | | ${dut1_vm_refs}= | Create Dictionary
180 | | ${dut2_vm_refs}= | Create Dictionary
181 | | Given Add worker threads and rxqueues to all DUTs | 1
182 | | And Add PCI devices to all DUTs
183 | | And Add no multi seg to all DUTs
184 | | And Apply startup configuration on all VPP DUTs
185 | | When Initialize IPv4 forwarding with vhost in 3-node circular topology
186 | | ... | ${sock1} | ${sock2}
187 | | ${vm1}= | And Configure guest VM with dpdk-testpmd-mac connected via vhost-user
188 | | ... | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1 | ${dut1_vif1_mac}
189 | | ... | ${dut1_vif2_mac}
190 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
191 | | ${vm2}= | And Configure guest VM with dpdk-testpmd-mac connected via vhost-user
192 | | ... | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1 | ${dut2_vif1_mac}
193 | | ... | ${dut2_vif2_mac}
194 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
195 | | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
196 | | ... | ${binary_max} | ${traffic_profile}
197 | | ... | ${min_rate} | ${max_rate} | ${threshold}
198 | | ... | ${perf_pdr_loss_acceptance} | ${perf_pdr_loss_acceptance_type}
199
200 | tc05-IMIX-1t1c-ethip4-ip4base-eth-2vhostvr1024-1vm-ndrdisc
201 | | [Documentation]
202 | | ... | [Cfg] DUT runs IPv4 routing config with 1 phy core, \
203 | | ... | 1 receive queue per NIC port. [Ver] Find NDR for IMIX_v4_1 frame \
204 | | ... | size using binary search start at 10GE linerate, step 10kpps.
205 | | ... | IMIX_v4_1 = (28x64B;16x570B;4x1518B)
206 | | [Tags] | IMIX | 1C | NDRDISC
207 | | ${framesize}= | Set Variable | IMIX_v4_1
208 | | ${min_rate}= | Set Variable | ${10000}
209 | | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
210 | | ${binary_min}= | Set Variable | ${min_rate}
211 | | ${binary_max}= | Set Variable | ${max_rate}
212 | | ${threshold}= | Set Variable | ${min_rate}
213 | | ${dut1_vm_refs}= | Create Dictionary
214 | | ${dut2_vm_refs}= | Create Dictionary
215 | | Given Add worker threads and rxqueues to all DUTs | 1
216 | | And Add PCI devices to all DUTs
217 | | And Add no multi seg to all DUTs
218 | | And Apply startup configuration on all VPP DUTs
219 | | When Initialize IPv4 forwarding with vhost in 3-node circular topology
220 | | ... | ${sock1} | ${sock2}
221 | | ${vm1}= | And Configure guest VM with dpdk-testpmd-mac connected via vhost-user
222 | | ... | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1 | ${dut1_vif1_mac}
223 | | ... | ${dut1_vif2_mac}
224 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
225 | | ${vm2}= | And Configure guest VM with dpdk-testpmd-mac connected via vhost-user
226 | | ... | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1 | ${dut2_vif1_mac}
227 | | ... | ${dut2_vif2_mac}
228 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
229 | | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
230 | | ... | ${binary_max} | ${traffic_profile}
231 | | ... | ${min_rate} | ${max_rate} | ${threshold}
232
233 | tc06-IMIX-1t1c-ethip4-ip4base-eth-2vhostvr1024-1vm-pdrdisc
234 | | [Documentation]
235 | | ... | [Cfg] DUT runs IPv4 routing config with 1 phy core, \
236 | | ... | 1 receive queue per NIC port. [Ver] Find PDR for IMIX_v4_1 frame \
237 | | ... | size using binary search start at 10GE linerate, step 10kpps, LT=0.5%.
238 | | ... | IMIX_v4_1 = (28x64B;16x570B;4x1518B)
239 | | [Tags] | IMIX | 1C | PDRDISC | SKIP_PATCH
240 | | ${framesize}= | Set Variable | IMIX_v4_1
241 | | ${min_rate}= | Set Variable | ${10000}
242 | | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
243 | | ${binary_min}= | Set Variable | ${min_rate}
244 | | ${binary_max}= | Set Variable | ${max_rate}
245 | | ${threshold}= | Set Variable | ${min_rate}
246 | | ${dut1_vm_refs}= | Create Dictionary
247 | | ${dut2_vm_refs}= | Create Dictionary
248 | | Given Add worker threads and rxqueues to all DUTs | 1
249 | | And Add PCI devices to all DUTs
250 | | And Add no multi seg to all DUTs
251 | | And Apply startup configuration on all VPP DUTs
252 | | When Initialize IPv4 forwarding with vhost in 3-node circular topology
253 | | ... | ${sock1} | ${sock2}
254 | | ${vm1}= | And Configure guest VM with dpdk-testpmd-mac connected via vhost-user
255 | | ... | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1 | ${dut1_vif1_mac}
256 | | ... | ${dut1_vif2_mac}
257 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
258 | | ${vm2}= | And Configure guest VM with dpdk-testpmd-mac connected via vhost-user
259 | | ... | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1 | ${dut2_vif1_mac}
260 | | ... | ${dut2_vif2_mac}
261 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
262 | | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
263 | | ... | ${binary_max} | ${traffic_profile}
264 | | ... | ${min_rate} | ${max_rate} | ${threshold}
265 | | ... | ${perf_pdr_loss_acceptance} | ${perf_pdr_loss_acceptance_type}
266
267 | tc07-64B-2t2c-ethip4-ip4base-eth-2vhostvr1024-1vm-ndrdisc
268 | | [Documentation]
269 | | ... | [Cfg] DUT runs IPv4 routing config with 2 phy cores, \
270 | | ... | 1 receive queue per NIC port. [Ver] Find NDR for 64 Byte frames \
271 | | ... | using binary search start at 10GE linerate, step 10kpps.
272 | | [Tags] | 64B | 2C | NDRDISC
273 | | ${framesize}= | Set Variable | ${64}
274 | | ${min_rate}= | Set Variable | ${10000}
275 | | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
276 | | ${binary_min}= | Set Variable | ${min_rate}
277 | | ${binary_max}= | Set Variable | ${max_rate}
278 | | ${threshold}= | Set Variable | ${min_rate}
279 | | ${dut1_vm_refs}= | Create Dictionary
280 | | ${dut2_vm_refs}= | Create Dictionary
281 | | Given Add worker threads and rxqueues to all DUTs | 2
282 | | And Add PCI devices to all DUTs
283 | | And Add no multi seg to all DUTs
284 | | And Apply startup configuration on all VPP DUTs
285 | | When Initialize IPv4 forwarding with vhost in 3-node circular topology
286 | | ... | ${sock1} | ${sock2}
287 | | ${vm1}= | And Configure guest VM with dpdk-testpmd-mac connected via vhost-user
288 | | ... | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1 | ${dut1_vif1_mac}
289 | | ... | ${dut1_vif2_mac}
290 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
291 | | ${vm2}= | And Configure guest VM with dpdk-testpmd-mac connected via vhost-user
292 | | ... | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1 | ${dut2_vif1_mac}
293 | | ... | ${dut2_vif2_mac}
294 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
295 | | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
296 | | ... | ${binary_max} | ${traffic_profile}
297 | | ... | ${min_rate} | ${max_rate} | ${threshold}
298
299 | tc08-64B-2t2c-ethip4-ip4base-eth-2vhostvr1024-1vm-pdrdisc
300 | | [Documentation]
301 | | ... | [Cfg] DUT runs IPv4 routing config with 2 phy cores, \
302 | | ... | 1 receive queue per NIC port. [Ver] Find PDR for 64 Byte frames \
303 | | ... | using binary search start at 10GE linerate, step 10kpps, LT=0.5%.
304 | | [Tags] | 64B | 2C | PDRDISC | SKIP_PATCH
305 | | ${framesize}= | Set Variable | ${64}
306 | | ${min_rate}= | Set Variable | ${10000}
307 | | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
308 | | ${binary_min}= | Set Variable | ${min_rate}
309 | | ${binary_max}= | Set Variable | ${max_rate}
310 | | ${threshold}= | Set Variable | ${min_rate}
311 | | ${dut1_vm_refs}= | Create Dictionary
312 | | ${dut2_vm_refs}= | Create Dictionary
313 | | Given Add worker threads and rxqueues to all DUTs | 2
314 | | And Add PCI devices to all DUTs
315 | | And Add no multi seg to all DUTs
316 | | And Apply startup configuration on all VPP DUTs
317 | | When Initialize IPv4 forwarding with vhost in 3-node circular topology
318 | | ... | ${sock1} | ${sock2}
319 | | ${vm1}= | And Configure guest VM with dpdk-testpmd-mac connected via vhost-user
320 | | ... | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1 | ${dut1_vif1_mac}
321 | | ... | ${dut1_vif2_mac}
322 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
323 | | ${vm2}= | And Configure guest VM with dpdk-testpmd-mac connected via vhost-user
324 | | ... | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1 | ${dut2_vif1_mac}
325 | | ... | ${dut2_vif2_mac}
326 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
327 | | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
328 | | ... | ${binary_max} | ${traffic_profile}
329 | | ... | ${min_rate} | ${max_rate} | ${threshold}
330 | | ... | ${perf_pdr_loss_acceptance} | ${perf_pdr_loss_acceptance_type}
331
332 | tc09-1518B-2t2c-ethip4-ip4base-eth-2vhostvr1024-1vm-ndrdisc
333 | | [Documentation]
334 | | ... | [Cfg] DUT runs IPv4 routing config with 2 phy cores, \
335 | | ... | 1 receive queue per NIC port. [Ver] Find NDR for 1518 Byte frames \
336 | | ... | using binary search start at 10GE linerate, step 10kpps.
337 | | [Tags] | 1518B | 2C | NDRDISC | SKIP_PATCH
338 | | ${framesize}= | Set Variable | ${1518}
339 | | ${min_rate}= | Set Variable | ${10000}
340 | | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
341 | | ${binary_min}= | Set Variable | ${min_rate}
342 | | ${binary_max}= | Set Variable | ${max_rate}
343 | | ${threshold}= | Set Variable | ${min_rate}
344 | | ${dut1_vm_refs}= | Create Dictionary
345 | | ${dut2_vm_refs}= | Create Dictionary
346 | | Given Add worker threads and rxqueues to all DUTs | 2
347 | | And Add PCI devices to all DUTs
348 | | And Add no multi seg to all DUTs
349 | | And Apply startup configuration on all VPP DUTs
350 | | When Initialize IPv4 forwarding with vhost in 3-node circular topology
351 | | ... | ${sock1} | ${sock2}
352 | | ${vm1}= | And Configure guest VM with dpdk-testpmd-mac connected via vhost-user
353 | | ... | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1 | ${dut1_vif1_mac}
354 | | ... | ${dut1_vif2_mac}
355 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
356 | | ${vm2}= | And Configure guest VM with dpdk-testpmd-mac connected via vhost-user
357 | | ... | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1 | ${dut2_vif1_mac}
358 | | ... | ${dut2_vif2_mac}
359 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
360 | | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
361 | | ... | ${binary_max} | ${traffic_profile}
362 | | ... | ${min_rate} | ${max_rate} | ${threshold}
363
364 | tc10-1518B-2t2c-ethip4-ip4base-eth-2vhostvr1024-1vm-pdrdisc
365 | | [Documentation]
366 | | ... | [Cfg] DUT runs IPv4 routing config with 2 phy cores, \
367 | | ... | 1 receive queue per NIC port. [Ver] Find PDR for 1518 Byte frames \
368 | | ... | using binary search start at 10GE linerate, step 10kpps, LT=0.5%.
369 | | [Tags] | 1518B | 2C | PDRDISC | SKIP_PATCH
370 | | ${framesize}= | Set Variable | ${1518}
371 | | ${min_rate}= | Set Variable | ${10000}
372 | | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
373 | | ${binary_min}= | Set Variable | ${min_rate}
374 | | ${binary_max}= | Set Variable | ${max_rate}
375 | | ${threshold}= | Set Variable | ${min_rate}
376 | | ${dut1_vm_refs}= | Create Dictionary
377 | | ${dut2_vm_refs}= | Create Dictionary
378 | | Given Add worker threads and rxqueues to all DUTs | 2
379 | | And Add PCI devices to all DUTs
380 | | And Add no multi seg to all DUTs
381 | | And Apply startup configuration on all VPP DUTs
382 | | When Initialize IPv4 forwarding with vhost in 3-node circular topology
383 | | ... | ${sock1} | ${sock2}
384 | | ${vm1}= | And Configure guest VM with dpdk-testpmd-mac connected via vhost-user
385 | | ... | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1 | ${dut1_vif1_mac}
386 | | ... | ${dut1_vif2_mac}
387 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
388 | | ${vm2}= | And Configure guest VM with dpdk-testpmd-mac connected via vhost-user
389 | | ... | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1 | ${dut2_vif1_mac}
390 | | ... | ${dut2_vif2_mac}
391 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
392 | | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
393 | | ... | ${binary_max} | ${traffic_profile}
394 | | ... | ${min_rate} | ${max_rate} | ${threshold}
395 | | ... | ${perf_pdr_loss_acceptance} | ${perf_pdr_loss_acceptance_type}
396
397 | tc11-IMIX-2t2c-ethip4-ip4base-eth-2vhostvr1024-1vm-ndrdisc
398 | | [Documentation]
399 | | ... | [Cfg] DUT runs IPv4 routing config with 2 phy cores, \
400 | | ... | 1 receive queue per NIC port. [Ver] Find NDR for IMIX_v4_1 frame \
401 | | ... | size using binary search start at 10GE linerate, step 10kpps.
402 | | ... | IMIX_v4_1 = (28x64B;16x570B;4x1518B)
403 | | [Tags] | IMIX | 2C | NDRDISC | SKIP_PATCH
404 | | ${framesize}= | Set Variable | IMIX_v4_1
405 | | ${min_rate}= | Set Variable | ${10000}
406 | | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
407 | | ${binary_min}= | Set Variable | ${min_rate}
408 | | ${binary_max}= | Set Variable | ${max_rate}
409 | | ${threshold}= | Set Variable | ${min_rate}
410 | | ${dut1_vm_refs}= | Create Dictionary
411 | | ${dut2_vm_refs}= | Create Dictionary
412 | | Given Add worker threads and rxqueues to all DUTs | 2
413 | | And Add PCI devices to all DUTs
414 | | And Add no multi seg to all DUTs
415 | | And Apply startup configuration on all VPP DUTs
416 | | When Initialize IPv4 forwarding with vhost in 3-node circular topology
417 | | ... | ${sock1} | ${sock2}
418 | | ${vm1}= | And Configure guest VM with dpdk-testpmd-mac connected via vhost-user
419 | | ... | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1 | ${dut1_vif1_mac}
420 | | ... | ${dut1_vif2_mac}
421 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
422 | | ${vm2}= | And Configure guest VM with dpdk-testpmd-mac connected via vhost-user
423 | | ... | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1 | ${dut2_vif1_mac}
424 | | ... | ${dut2_vif2_mac}
425 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
426 | | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
427 | | ... | ${binary_max} | ${traffic_profile}
428 | | ... | ${min_rate} | ${max_rate} | ${threshold}
429
430 | tc12-IMIX-2t2c-ethip4-ip4base-eth-2vhostvr1024-1vm-pdrdisc
431 | | [Documentation]
432 | | ... | [Cfg] DUT runs IPv4 routing config with 2 phy cores, \
433 | | ... | 1 receive queue per NIC port. [Ver] Find PDR for IMIX_v4_1 frame \
434 | | ... | size using binary search start at 10GE linerate, step 10kpps, LT=0.5%.
435 | | ... | IMIX_v4_1 = (28x64B;16x570B;4x1518B)
436 | | [Tags] | IMIX | 2C | PDRDISC | SKIP_PATCH
437 | | ${framesize}= | Set Variable | IMIX_v4_1
438 | | ${min_rate}= | Set Variable | ${10000}
439 | | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
440 | | ${binary_min}= | Set Variable | ${min_rate}
441 | | ${binary_max}= | Set Variable | ${max_rate}
442 | | ${threshold}= | Set Variable | ${min_rate}
443 | | ${dut1_vm_refs}= | Create Dictionary
444 | | ${dut2_vm_refs}= | Create Dictionary
445 | | Given Add worker threads and rxqueues to all DUTs | 2
446 | | And Add PCI devices to all DUTs
447 | | And Add no multi seg to all DUTs
448 | | And Apply startup configuration on all VPP DUTs
449 | | When Initialize IPv4 forwarding with vhost in 3-node circular topology
450 | | ... | ${sock1} | ${sock2}
451 | | ${vm1}= | And Configure guest VM with dpdk-testpmd-mac connected via vhost-user
452 | | ... | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1 | ${dut1_vif1_mac}
453 | | ... | ${dut1_vif2_mac}
454 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
455 | | ${vm2}= | And Configure guest VM with dpdk-testpmd-mac connected via vhost-user
456 | | ... | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1 | ${dut2_vif1_mac}
457 | | ... | ${dut2_vif2_mac}
458 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
459 | | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
460 | | ... | ${binary_max} | ${traffic_profile}
461 | | ... | ${min_rate} | ${max_rate} | ${threshold}
462 | | ... | ${perf_pdr_loss_acceptance} | ${perf_pdr_loss_acceptance_type}
463
464 | tc13-64B-4t4c-ethip4-ip4base-eth-2vhostvr1024-1vm-ndrdisc
465 | | [Documentation]
466 | | ... | [Cfg] DUT runs IPv4 routing config with 4 phy cores, \
467 | | ... | 2 receive queues per NIC port. [Ver] Find NDR for 64 Byte frames \
468 | | ... | using binary search start at 10GE linerate, step 10kpps.
469 | | [Tags] | 64B | 4C | NDRDISC
470 | | ${framesize}= | Set Variable | ${64}
471 | | ${min_rate}= | Set Variable | ${10000}
472 | | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
473 | | ${binary_min}= | Set Variable | ${min_rate}
474 | | ${binary_max}= | Set Variable | ${max_rate}
475 | | ${threshold}= | Set Variable | ${min_rate}
476 | | ${dut1_vm_refs}= | Create Dictionary
477 | | ${dut2_vm_refs}= | Create Dictionary
478 | | Given Add worker threads and rxqueues to all DUTs | 4
479 | | And Add PCI devices to all DUTs
480 | | And Add no multi seg to all DUTs
481 | | And Apply startup configuration on all VPP DUTs
482 | | When Initialize IPv4 forwarding with vhost in 3-node circular topology
483 | | ... | ${sock1} | ${sock2}
484 | | ${vm1}= | And Configure guest VM with dpdk-testpmd-mac connected via vhost-user
485 | | ... | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1 | ${dut1_vif1_mac}
486 | | ... | ${dut1_vif2_mac}
487 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
488 | | ${vm2}= | And Configure guest VM with dpdk-testpmd-mac connected via vhost-user
489 | | ... | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1 | ${dut2_vif1_mac}
490 | | ... | ${dut2_vif2_mac}
491 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
492 | | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
493 | | ... | ${binary_max} | ${traffic_profile}
494 | | ... | ${min_rate} | ${max_rate} | ${threshold}
495
496 | tc14-64B-4t4c-ethip4-ip4base-eth-2vhostvr1024-1vm-pdrdisc
497 | | [Documentation]
498 | | ... | [Cfg] DUT runs IPv4 routing config with 4 phy cores, \
499 | | ... | 2 receive queues per NIC port. [Ver] Find PDR for 64 Byte frames \
500 | | ... | using binary search start at 10GE linerate, step 10kpps, LT=0.5%.
501 | | [Tags] | 64B | 4C | PDRDISC | SKIP_PATCH
502 | | ${framesize}= | Set Variable | ${64}
503 | | ${min_rate}= | Set Variable | ${10000}
504 | | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
505 | | ${binary_min}= | Set Variable | ${min_rate}
506 | | ${binary_max}= | Set Variable | ${max_rate}
507 | | ${threshold}= | Set Variable | ${min_rate}
508 | | ${dut1_vm_refs}= | Create Dictionary
509 | | ${dut2_vm_refs}= | Create Dictionary
510 | | Given Add worker threads and rxqueues to all DUTs | 4
511 | | And Add PCI devices to all DUTs
512 | | And Add no multi seg to all DUTs
513 | | And Apply startup configuration on all VPP DUTs
514 | | When Initialize IPv4 forwarding with vhost in 3-node circular topology
515 | | ... | ${sock1} | ${sock2}
516 | | ${vm1}= | And Configure guest VM with dpdk-testpmd-mac connected via vhost-user
517 | | ... | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1 | ${dut1_vif1_mac}
518 | | ... | ${dut1_vif2_mac}
519 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
520 | | ${vm2}= | And Configure guest VM with dpdk-testpmd-mac connected via vhost-user
521 | | ... | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1 | ${dut2_vif1_mac}
522 | | ... | ${dut2_vif2_mac}
523 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
524 | | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
525 | | ... | ${binary_max} | ${traffic_profile}
526 | | ... | ${min_rate} | ${max_rate} | ${threshold}
527 | | ... | ${perf_pdr_loss_acceptance} | ${perf_pdr_loss_acceptance_type}
528
529 | tc15-1518B-4t4c-ethip4-ip4base-eth-2vhostvr1024-1vm-ndrdisc
530 | | [Documentation]
531 | | ... | [Cfg] DUT runs IPv4 routing config with 4 phy cores, \
532 | | ... | 2 receive queues per NIC port. [Ver] Find NDR for 1518 Byte frames \
533 | | ... | using binary search start at 10GE linerate, step 10kpps.
534 | | [Tags] | 1518B | 4C | NDRDISC | SKIP_PATCH
535 | | ${framesize}= | Set Variable | ${1518}
536 | | ${min_rate}= | Set Variable | ${10000}
537 | | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
538 | | ${binary_min}= | Set Variable | ${min_rate}
539 | | ${binary_max}= | Set Variable | ${max_rate}
540 | | ${threshold}= | Set Variable | ${min_rate}
541 | | ${dut1_vm_refs}= | Create Dictionary
542 | | ${dut2_vm_refs}= | Create Dictionary
543 | | Given Add worker threads and rxqueues to all DUTs | 4
544 | | And Add PCI devices to all DUTs
545 | | And Add no multi seg to all DUTs
546 | | And Apply startup configuration on all VPP DUTs
547 | | When Initialize IPv4 forwarding with vhost in 3-node circular topology
548 | | ... | ${sock1} | ${sock2}
549 | | ${vm1}= | And Configure guest VM with dpdk-testpmd-mac connected via vhost-user
550 | | ... | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1 | ${dut1_vif1_mac}
551 | | ... | ${dut1_vif2_mac}
552 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
553 | | ${vm2}= | And Configure guest VM with dpdk-testpmd-mac connected via vhost-user
554 | | ... | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1 | ${dut2_vif1_mac}
555 | | ... | ${dut2_vif2_mac}
556 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
557 | | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
558 | | ... | ${binary_max} | ${traffic_profile}
559 | | ... | ${min_rate} | ${max_rate} | ${threshold}
560
561 | tc16-1518B-4t4c-ethip4-ip4base-eth-2vhostvr1024-1vm-pdrdisc
562 | | [Documentation]
563 | | ... | [Cfg] DUT runs IPv4 routing config with 4 phy cores, \
564 | | ... | 2 receive queues per NIC port. [Ver] Find PDR for 1518 Byte frames \
565 | | ... | using binary search start at 10GE linerate, step 10kpps, LT=0.5%.
566 | | [Tags] | 1518B | 4C | PDRDISC | SKIP_PATCH
567 | | ${framesize}= | Set Variable | ${1518}
568 | | ${min_rate}= | Set Variable | ${10000}
569 | | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
570 | | ${binary_min}= | Set Variable | ${min_rate}
571 | | ${binary_max}= | Set Variable | ${max_rate}
572 | | ${threshold}= | Set Variable | ${min_rate}
573 | | ${dut1_vm_refs}= | Create Dictionary
574 | | ${dut2_vm_refs}= | Create Dictionary
575 | | Given Add worker threads and rxqueues to all DUTs | 4
576 | | And Add PCI devices to all DUTs
577 | | And Add no multi seg to all DUTs
578 | | And Apply startup configuration on all VPP DUTs
579 | | When Initialize IPv4 forwarding with vhost in 3-node circular topology
580 | | ... | ${sock1} | ${sock2}
581 | | ${vm1}= | And Configure guest VM with dpdk-testpmd-mac connected via vhost-user
582 | | ... | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1 | ${dut1_vif1_mac}
583 | | ... | ${dut1_vif2_mac}
584 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
585 | | ${vm2}= | And Configure guest VM with dpdk-testpmd-mac connected via vhost-user
586 | | ... | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1 | ${dut2_vif1_mac}
587 | | ... | ${dut2_vif2_mac}
588 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
589 | | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
590 | | ... | ${binary_max} | ${traffic_profile}
591 | | ... | ${min_rate} | ${max_rate} | ${threshold}
592 | | ... | ${perf_pdr_loss_acceptance} | ${perf_pdr_loss_acceptance_type}
593
594 | tc17-IMIX-4t4c-ethip4-ip4base-eth-2vhostvr1024-1vm-ndrdisc
595 | | [Documentation]
596 | | ... | [Cfg] DUT runs IPv4 routing config with 4 phy cores, \
597 | | ... | 2 receive queues per NIC port. [Ver] Find NDR for IMIX_v4_1 frame \
598 | | ... | size using binary search start at 10GE linerate, step 10kpps.
599 | | ... | IMIX_v4_1 = (28x64B;16x570B;4x1518B)
600 | | [Tags] | IMIX | 4C | NDRDISC | SKIP_PATCH
601 | | ${framesize}= | Set Variable | IMIX_v4_1
602 | | ${min_rate}= | Set Variable | ${10000}
603 | | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
604 | | ${binary_min}= | Set Variable | ${min_rate}
605 | | ${binary_max}= | Set Variable | ${max_rate}
606 | | ${threshold}= | Set Variable | ${min_rate}
607 | | ${dut1_vm_refs}= | Create Dictionary
608 | | ${dut2_vm_refs}= | Create Dictionary
609 | | Given Add worker threads and rxqueues to all DUTs | 4
610 | | And Add PCI devices to all DUTs
611 | | And Add no multi seg to all DUTs
612 | | And Apply startup configuration on all VPP DUTs
613 | | When Initialize IPv4 forwarding with vhost in 3-node circular topology
614 | | ... | ${sock1} | ${sock2}
615 | | ${vm1}= | And Configure guest VM with dpdk-testpmd-mac connected via vhost-user
616 | | ... | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1 | ${dut1_vif1_mac}
617 | | ... | ${dut1_vif2_mac}
618 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
619 | | ${vm2}= | And Configure guest VM with dpdk-testpmd-mac connected via vhost-user
620 | | ... | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1 | ${dut2_vif1_mac}
621 | | ... | ${dut2_vif2_mac}
622 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
623 | | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
624 | | ... | ${binary_max} | ${traffic_profile}
625 | | ... | ${min_rate} | ${max_rate} | ${threshold}
626
627 | tc18-IMIX-4t4c-ethip4-ip4base-eth-2vhostvr1024-1vm-pdrdisc
628 | | [Documentation]
629 | | ... | [Cfg] DUT runs IPv4 routing config with 4 phy cores, \
630 | | ... | 2 receive queues per NIC port. [Ver] Find PDR for IMIX_v4_1 frame \
631 | | ... | size using binary search start at 10GE linerate, step 10kpps, LT=0.5%.
632 | | ... | IMIX_v4_1 = (28x64B;16x570B;4x1518B)
633 | | [Tags] | IMIX | 4C | PDRDISC | SKIP_PATCH
634 | | ${framesize}= | Set Variable | IMIX_v4_1
635 | | ${min_rate}= | Set Variable | ${10000}
636 | | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
637 | | ${binary_min}= | Set Variable | ${min_rate}
638 | | ${binary_max}= | Set Variable | ${max_rate}
639 | | ${threshold}= | Set Variable | ${min_rate}
640 | | ${dut1_vm_refs}= | Create Dictionary
641 | | ${dut2_vm_refs}= | Create Dictionary
642 | | Given Add worker threads and rxqueues to all DUTs | 4
643 | | And Add PCI devices to all DUTs
644 | | And Add no multi seg to all DUTs
645 | | And Apply startup configuration on all VPP DUTs
646 | | When Initialize IPv4 forwarding with vhost in 3-node circular topology
647 | | ... | ${sock1} | ${sock2}
648 | | ${vm1}= | And Configure guest VM with dpdk-testpmd-mac connected via vhost-user
649 | | ... | ${dut1} | ${sock1} | ${sock2} | DUT1_VM1 | ${dut1_vif1_mac}
650 | | ... | ${dut1_vif2_mac}
651 | | Set To Dictionary | ${dut1_vm_refs} | DUT1_VM1 | ${vm1}
652 | | ${vm2}= | And Configure guest VM with dpdk-testpmd-mac connected via vhost-user
653 | | ... | ${dut2} | ${sock1} | ${sock2} | DUT2_VM1 | ${dut2_vif1_mac}
654 | | ... | ${dut2_vif2_mac}
655 | | Set To Dictionary | ${dut2_vm_refs} | DUT2_VM1 | ${vm2}
656 | | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
657 | | ... | ${binary_max} | ${traffic_profile}
658 | | ... | ${min_rate} | ${max_rate} | ${threshold}
659 | | ... | ${perf_pdr_loss_acceptance} | ${perf_pdr_loss_acceptance_type}