CSIT-387 collect HW stats if binary search fails
[csit.git] / tests / perf / Long_Xconnect_Dot1ad_Intel-X520-DA2.robot
1 # Copyright (c) 2016 Cisco and/or its affiliates.
2 # Licensed under the Apache License, Version 2.0 (the "License");
3 # you may not use this file except in compliance with the License.
4 # You may obtain a copy of the License at:
5 #
6 #     http://www.apache.org/licenses/LICENSE-2.0
7 #
8 # Unless required by applicable law or agreed to in writing, software
9 # distributed under the License is distributed on an "AS IS" BASIS,
10 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
11 # See the License for the specific language governing permissions and
12 # limitations under the License.
13
14 *** Settings ***
15 | Resource | resources/libraries/robot/performance.robot
16 | Resource | resources/libraries/robot/tagging.robot
17 | Force Tags | 3_NODE_SINGLE_LINK_TOPO | PERFTEST | HW_ENV | PERFTEST_LONG
18 | ...        | NIC_Intel-X520-DA2
19 | Suite Setup | 3-node Performance Suite Setup with DUT's NIC model
20 | ... | L2 | Intel-X520-DA2
21 | Suite Teardown | 3-node Performance Suite Teardown
22 | Test Setup | Setup all DUTs before test
23 | Test Teardown | Run Keywords
24 | ...           | Run Keyword If Test Failed
25 | ...           | Traffic should pass with no loss | 10
26 | ...           | ${min_rate}pps | ${framesize} | 3-node-xconnect
27 | ...           | fail_on_loss=${False}
28 | ...           | AND | Remove startup configuration of VPP from all DUTs
29 | ...           | AND | Show vpp trace dump on all DUTs
30 | Documentation | *RFC2544: Pkt throughput L2XC with 802.1ad test cases*
31 | ...
32 | ... | *[Top] Network Topologies:* TG-DUT1-DUT2-TG 3-node circular topology
33 | ... | with single links between nodes.
34 | ... | *[Enc] Packet Encapsulations:* Eth-IPv4 for L2 xconnect.
35 | ... | 802.1ad tagging is applied on link between DUT1 and DUT2 with inner 4B
36 | ... | vlan tag (id=100) and outer 4B vlan tag (id=200).
37 | ... | *[Cfg] DUT configuration:* DUT1 and DUT2 are configured with L2 cross-
38 | ... | connect. DUT1 and DUT2 tested with 2p10GE NIC X520 Niantic by Intel.
39 | ... | *[Ver] TG verification:* TG finds and reports throughput NDR (Non Drop
40 | ... | Rate) with zero packet loss tolerance or throughput PDR (Partial Drop
41 | ... | Rate) with non-zero packet loss tolerance (LT) expressed in percentage
42 | ... | of packets transmitted. NDR and PDR are discovered for different
43 | ... | Ethernet L2 frame sizes using either binary search or linear search
44 | ... | algorithms with configured starting rate and final step that determines
45 | ... | throughput measurement resolution. Test packets are generated by TG on
46 | ... | links to DUTs. TG traffic profile contains two L3 flow-groups
47 | ... | (flow-group per direction, 253 flows per flow-group) with all packets
48 | ... | containing Ethernet header, IPv4 header with IP protocol=61 and
49 | ... | static payload. MAC addresses are matching MAC addresses of the TG
50 | ... | node interfaces.
51 | ... | *[Ref] Applicable standard specifications:* RFC2544.
52
53 *** Variables ***
54 | ${subid}= | 10
55 | ${outer_vlan_id}= | 100
56 | ${inner_vlan_id}= | 200
57 | ${type_subif}= | two_tags
58 | ${tag_rewrite}= | pop-2
59
60 *** Test Cases ***
61 | TC01: 64B NDR binary search - DUT L2XC with 802.1ad - 1thread 1core 1rxq
62 | | [Documentation]
63 | | ... | [Cfg] DUT runs L2XC forwarding config with 1 thread, 1 phy core, \
64 | | ... | 1 receive queue per NIC port. [Ver] Find NDR for 64 Byte frames
65 | | ... | using binary search start at 10GE linerate, step 100kpps.
66 | | [Tags] | 1_THREAD_NOHTT_RXQUEUES_1 | SINGLE_THREAD | NDR
67 | | ${framesize}= | Set Variable | 64
68 | | ${min_rate}= | Set Variable | 100000
69 | | ${max_rate}= | Set Variable | ${10Ge_linerate_pps_72B}
70 | | ${binary_min}= | Set Variable | ${min_rate}
71 | | ${binary_max}= | Set Variable | ${max_rate}
72 | | ${threshold}= | Set Variable | ${min_rate}
73 | | Given Add '1' worker threads and rxqueues '1' without HTT to all DUTs
74 | | And   Add PCI devices to DUTs from 3-node single link topology
75 | | And   Add No Multi Seg to all DUTs
76 | | And   Apply startup configuration on all VPP DUTs
77 | | And   VPP interfaces in path are up in a 3-node circular topology
78 | | When VLAN subinterfaces initialized on 3-node topology
79 | | ... | ${dut1} | ${dut1_if2} | ${dut2} | ${dut2_if1} | ${subid}
80 | | ... | ${outer_vlan_id} | ${inner_vlan_id} | ${type_subif}
81 | | And L2 tag rewrite method setup on interfaces
82 | | ... | ${dut1} | ${subif_index_1} | ${dut2} | ${subif_index_2}
83 | | ... | ${tag_rewrite}
84 | | And Interfaces and VLAN sub-interfaces inter-connected using L2-xconnect
85 | | ... | ${dut1} | ${dut1_if1} | ${subif_index_1}
86 | | ... | ${dut2} | ${dut2_if2} | ${subif_index_2}
87 | | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
88 | | ...                                       | ${binary_max} | 3-node-xconnect
89 | | ...                                       | ${min_rate} | ${max_rate}
90 | | ...                                       | ${threshold}
91
92 | TC02: 64B PDR binary search - DUT L2XC with 802.1ad - 1thread 1core 1rxq
93 | | [Documentation]
94 | | ... | [Cfg] DUT runs L2XC forwarding config with 1 thread, 1 phy core, \
95 | | ... | 1 receive queue per NIC port. [Ver] Find PDR for 64 Byte frames
96 | | ... | using binary search start at 10GE linerate, step 100kpps, LT=0.5%.
97 | | [Tags] | 1_THREAD_NOHTT_RXQUEUES_1 | SINGLE_THREAD | PDR | SKIP_PATCH
98 | | ${framesize}= | Set Variable | 64
99 | | ${min_rate}= | Set Variable | 100000
100 | | ${max_rate}= | Set Variable | ${10Ge_linerate_pps_72B}
101 | | ${binary_min}= | Set Variable | ${min_rate}
102 | | ${binary_max}= | Set Variable | ${max_rate}
103 | | ${threshold}= | Set Variable | ${min_rate}
104 | | Given Add '1' worker threads and rxqueues '1' without HTT to all DUTs
105 | | And   Add PCI devices to DUTs from 3-node single link topology
106 | | And   Add No Multi Seg to all DUTs
107 | | And   Apply startup configuration on all VPP DUTs
108 | | And   VPP interfaces in path are up in a 3-node circular topology
109 | | When VLAN subinterfaces initialized on 3-node topology
110 | | ... | ${dut1} | ${dut1_if2} | ${dut2} | ${dut2_if1} | ${subid}
111 | | ... | ${outer_vlan_id} | ${inner_vlan_id} | ${type_subif}
112 | | And L2 tag rewrite method setup on interfaces
113 | | ... | ${dut1} | ${subif_index_1} | ${dut2} | ${subif_index_2}
114 | | ... | ${tag_rewrite}
115 | | And Interfaces and VLAN sub-interfaces inter-connected using L2-xconnect
116 | | ... | ${dut1} | ${dut1_if1} | ${subif_index_1}
117 | | ... | ${dut2} | ${dut2_if2} | ${subif_index_2}
118 | | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
119 | | ...                                       | ${binary_max} | 3-node-xconnect
120 | | ...                                       | ${min_rate} | ${max_rate}
121 | | ...                                       | ${threshold}
122 | | ...                                       | ${glob_loss_acceptance}
123 | | ...                                       | ${glob_loss_acceptance_type}
124
125 | TC03: 1514B NDR binary search - DUT L2XC with 802.1ad - 1thread 1core 1rxq
126 | | [Documentation]
127 | | ... | [Cfg] DUT runs L2XC forwarding config with 1 thread, 1 phy core, \
128 | | ... | 1 receive queue per NIC port. [Ver] Find NDR for 1514 Byte frames
129 | | ... | using binary search start at 10GE linerate, step 10kpps.
130 | | [Tags] | 1_THREAD_NOHTT_RXQUEUES_1 | SINGLE_THREAD | NDR
131 | | ${framesize}= | Set Variable | 1514
132 | | ${min_rate}= | Set Variable | 10000
133 | | ${max_rate}= | Set Variable | ${10Ge_linerate_pps_1522B}
134 | | ${binary_min}= | Set Variable | ${min_rate}
135 | | ${binary_max}= | Set Variable | ${max_rate}
136 | | ${threshold}= | Set Variable | ${min_rate}
137 | | Given Add '1' worker threads and rxqueues '1' without HTT to all DUTs
138 | | And   Add PCI devices to DUTs from 3-node single link topology
139 | | And   Add No Multi Seg to all DUTs
140 | | And   Apply startup configuration on all VPP DUTs
141 | | And   VPP interfaces in path are up in a 3-node circular topology
142 | | When VLAN subinterfaces initialized on 3-node topology
143 | | ... | ${dut1} | ${dut1_if2} | ${dut2} | ${dut2_if1} | ${subid}
144 | | ... | ${outer_vlan_id} | ${inner_vlan_id} | ${type_subif}
145 | | And L2 tag rewrite method setup on interfaces
146 | | ... | ${dut1} | ${subif_index_1} | ${dut2} | ${subif_index_2}
147 | | ... | ${tag_rewrite}
148 | | And Interfaces and VLAN sub-interfaces inter-connected using L2-xconnect
149 | | ... | ${dut1} | ${dut1_if1} | ${subif_index_1}
150 | | ... | ${dut2} | ${dut2_if2} | ${subif_index_2}
151 | | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
152 | | ...                                       | ${binary_max} | 3-node-xconnect
153 | | ...                                       | ${min_rate} | ${max_rate}
154 | | ...                                       | ${threshold}
155
156 | TC04: 1514B PDR binary search - DUT L2XC with 802.1ad - 1thread 1core 1rxq
157 | | [Documentation]
158 | | ... | [Cfg] DUT runs L2XC forwarding config with 1 thread, 1 phy core, \
159 | | ... | 1 receive queue per NIC port. [Ver] Find PDR for 1514 Byte frames
160 | | ... | using binary search start at 10GE linerate, step 10kpps, LT=0.5%.
161 | | [Tags] | 1_THREAD_NOHTT_RXQUEUES_1 | SINGLE_THREAD | PDR | SKIP_PATCH
162 | | ${framesize}= | Set Variable | 1514
163 | | ${min_rate}= | Set Variable | 10000
164 | | ${max_rate}= | Set Variable | ${10Ge_linerate_pps_1522B}
165 | | ${binary_min}= | Set Variable | ${min_rate}
166 | | ${binary_max}= | Set Variable | ${max_rate}
167 | | ${threshold}= | Set Variable | ${min_rate}
168 | | Given Add '1' worker threads and rxqueues '1' without HTT to all DUTs
169 | | And   Add PCI devices to DUTs from 3-node single link topology
170 | | And   Add No Multi Seg to all DUTs
171 | | And   Apply startup configuration on all VPP DUTs
172 | | And   VPP interfaces in path are up in a 3-node circular topology
173 | | When VLAN subinterfaces initialized on 3-node topology
174 | | ... | ${dut1} | ${dut1_if2} | ${dut2} | ${dut2_if1} | ${subid}
175 | | ... | ${outer_vlan_id} | ${inner_vlan_id} | ${type_subif}
176 | | And L2 tag rewrite method setup on interfaces
177 | | ... | ${dut1} | ${subif_index_1} | ${dut2} | ${subif_index_2}
178 | | ... | ${tag_rewrite}
179 | | And Interfaces and VLAN sub-interfaces inter-connected using L2-xconnect
180 | | ... | ${dut1} | ${dut1_if1} | ${subif_index_1}
181 | | ... | ${dut2} | ${dut2_if2} | ${subif_index_2}
182 | | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
183 | | ...                                       | ${binary_max} | 3-node-xconnect
184 | | ...                                       | ${min_rate} | ${max_rate}
185 | | ...                                       | ${threshold}
186 | | ...                                       | ${glob_loss_acceptance}
187 | | ...                                       | ${glob_loss_acceptance_type}
188
189 | TC05: 9000B NDR binary search - DUT L2XC with 802.1ad - 1thread 1core 1rxq
190 | | [Documentation]
191 | | ... | [Cfg] DUT runs L2XC forwarding config with 1 thread, 1 phy core, \
192 | | ... | 1 receive queue per NIC port. [Ver] Find NDR for 9000 Byte frames
193 | | ... | using binary search start at 10GE linerate, step 5kpps.
194 | | [Tags] | 1_THREAD_NOHTT_RXQUEUES_1 | SINGLE_THREAD | NDR
195 | | ${framesize}= | Set Variable | 9000
196 | | ${min_rate}= | Set Variable | 5000
197 | | ${max_rate}= | Set Variable | ${10Ge_linerate_pps_9008B}
198 | | ${binary_min}= | Set Variable | ${min_rate}
199 | | ${binary_max}= | Set Variable | ${max_rate}
200 | | ${threshold}= | Set Variable | ${min_rate}
201 | | Given Add '1' worker threads and rxqueues '1' without HTT to all DUTs
202 | | And   Add PCI devices to DUTs from 3-node single link topology
203 | | And   Apply startup configuration on all VPP DUTs
204 | | And   VPP interfaces in path are up in a 3-node circular topology
205 | | When VLAN subinterfaces initialized on 3-node topology
206 | | ... | ${dut1} | ${dut1_if2} | ${dut2} | ${dut2_if1} | ${subid}
207 | | ... | ${outer_vlan_id} | ${inner_vlan_id} | ${type_subif}
208 | | And L2 tag rewrite method setup on interfaces
209 | | ... | ${dut1} | ${subif_index_1} | ${dut2} | ${subif_index_2}
210 | | ... | ${tag_rewrite}
211 | | And Interfaces and VLAN sub-interfaces inter-connected using L2-xconnect
212 | | ... | ${dut1} | ${dut1_if1} | ${subif_index_1}
213 | | ... | ${dut2} | ${dut2_if2} | ${subif_index_2}
214 | | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
215 | | ...                                       | ${binary_max} | 3-node-xconnect
216 | | ...                                       | ${min_rate} | ${max_rate}
217 | | ...                                       | ${threshold}
218
219 | TC06: 9000B PDR binary search - DUT L2XC with 802.1ad - 1thread 1core 1rxq
220 | | [Documentation]
221 | | ... | [Cfg] DUT runs L2XC forwarding config with 1 thread, 1 phy core, \
222 | | ... | 1 receive queue per NIC port. [Ver] Find PDR for 9000 Byte frames
223 | | ... | using binary search start at 10GE linerate, step 5kpps, LT=0.5%.
224 | | [Tags] | 1_THREAD_NOHTT_RXQUEUES_1 | SINGLE_THREAD | PDR | SKIP_PATCH
225 | | ${framesize}= | Set Variable | 9000
226 | | ${min_rate}= | Set Variable | 5000
227 | | ${max_rate}= | Set Variable | ${10Ge_linerate_pps_9008B}
228 | | ${binary_min}= | Set Variable | ${min_rate}
229 | | ${binary_max}= | Set Variable | ${max_rate}
230 | | ${threshold}= | Set Variable | ${min_rate}
231 | | Given Add '1' worker threads and rxqueues '1' without HTT to all DUTs
232 | | And   Add PCI devices to DUTs from 3-node single link topology
233 | | And   Apply startup configuration on all VPP DUTs
234 | | And   VPP interfaces in path are up in a 3-node circular topology
235 | | When VLAN subinterfaces initialized on 3-node topology
236 | | ... | ${dut1} | ${dut1_if2} | ${dut2} | ${dut2_if1} | ${subid}
237 | | ... | ${outer_vlan_id} | ${inner_vlan_id} | ${type_subif}
238 | | And L2 tag rewrite method setup on interfaces
239 | | ... | ${dut1} | ${subif_index_1} | ${dut2} | ${subif_index_2}
240 | | ... | ${tag_rewrite}
241 | | And Interfaces and VLAN sub-interfaces inter-connected using L2-xconnect
242 | | ... | ${dut1} | ${dut1_if1} | ${subif_index_1}
243 | | ... | ${dut2} | ${dut2_if2} | ${subif_index_2}
244 | | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
245 | | ...                                       | ${binary_max} | 3-node-xconnect
246 | | ...                                       | ${min_rate} | ${max_rate}
247 | | ...                                       | ${threshold}
248 | | ...                                       | ${glob_loss_acceptance}
249 | | ...                                       | ${glob_loss_acceptance_type}
250
251 | TC07: 64B NDR binary search - DUT L2XC with 802.1ad - 2threads 2cores 1rxq
252 | | [Documentation]
253 | | ... | [Cfg] DUT runs L2XC forwarding config with 2 threads, 2 phy cores, \
254 | | ... | 1 receive queue per NIC port. [Ver] Find NDR for 64 Byte frames
255 | | ... | using binary search start at 10GE linerate, step 100kpps.
256 | | [Tags] | 2_THREAD_NOHTT_RXQUEUES_1 | MULTI_THREAD | NDR
257 | | ${framesize}= | Set Variable | 64
258 | | ${min_rate}= | Set Variable | 100000
259 | | ${max_rate}= | Set Variable | ${10Ge_linerate_pps_72B}
260 | | ${binary_min}= | Set Variable | ${min_rate}
261 | | ${binary_max}= | Set Variable | ${max_rate}
262 | | ${threshold}= | Set Variable | ${min_rate}
263 | | Given Add '2' worker threads and rxqueues '1' without HTT to all DUTs
264 | | And   Add PCI devices to DUTs from 3-node single link topology
265 | | And   Add No Multi Seg to all DUTs
266 | | And   Apply startup configuration on all VPP DUTs
267 | | And   VPP interfaces in path are up in a 3-node circular topology
268 | | When VLAN subinterfaces initialized on 3-node topology
269 | | ... | ${dut1} | ${dut1_if2} | ${dut2} | ${dut2_if1} | ${subid}
270 | | ... | ${outer_vlan_id} | ${inner_vlan_id} | ${type_subif}
271 | | And L2 tag rewrite method setup on interfaces
272 | | ... | ${dut1} | ${subif_index_1} | ${dut2} | ${subif_index_2}
273 | | ... | ${tag_rewrite}
274 | | And Interfaces and VLAN sub-interfaces inter-connected using L2-xconnect
275 | | ... | ${dut1} | ${dut1_if1} | ${subif_index_1}
276 | | ... | ${dut2} | ${dut2_if2} | ${subif_index_2}
277 | | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
278 | | ...                                       | ${binary_max} | 3-node-xconnect
279 | | ...                                       | ${min_rate} | ${max_rate}
280 | | ...                                       | ${threshold}
281
282 | TC08: 64B PDR binary search - DUT L2XC with 802.1ad - 2threads 2cores 1rxq
283 | | [Documentation]
284 | | ... | [Cfg] DUT runs L2XC forwarding config with 2 threads, 2 phy cores, \
285 | | ... | 1 receive queue per NIC port. [Ver] Find PDR for 64 Byte frames
286 | | ... | using binary search start at 10GE linerate, step 100kpps, LT=0.5%.
287 | | [Tags] | 2_THREAD_NOHTT_RXQUEUES_1 | MULTI_THREAD | PDR | SKIP_PATCH
288 | | ${framesize}= | Set Variable | 64
289 | | ${min_rate}= | Set Variable | 100000
290 | | ${max_rate}= | Set Variable | ${10Ge_linerate_pps_72B}
291 | | ${binary_min}= | Set Variable | ${min_rate}
292 | | ${binary_max}= | Set Variable | ${max_rate}
293 | | ${threshold}= | Set Variable | ${min_rate}
294 | | Given Add '2' worker threads and rxqueues '1' without HTT to all DUTs
295 | | And   Add PCI devices to DUTs from 3-node single link topology
296 | | And   Add No Multi Seg to all DUTs
297 | | And   Apply startup configuration on all VPP DUTs
298 | | And   VPP interfaces in path are up in a 3-node circular topology
299 | | When VLAN subinterfaces initialized on 3-node topology
300 | | ... | ${dut1} | ${dut1_if2} | ${dut2} | ${dut2_if1} | ${subid}
301 | | ... | ${outer_vlan_id} | ${inner_vlan_id} | ${type_subif}
302 | | And L2 tag rewrite method setup on interfaces
303 | | ... | ${dut1} | ${subif_index_1} | ${dut2} | ${subif_index_2}
304 | | ... | ${tag_rewrite}
305 | | And Interfaces and VLAN sub-interfaces inter-connected using L2-xconnect
306 | | ... | ${dut1} | ${dut1_if1} | ${subif_index_1}
307 | | ... | ${dut2} | ${dut2_if2} | ${subif_index_2}
308 | | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
309 | | ...                                       | ${binary_max} | 3-node-xconnect
310 | | ...                                       | ${min_rate} | ${max_rate}
311 | | ...                                       | ${threshold}
312 | | ...                                       | ${glob_loss_acceptance}
313 | | ...                                       | ${glob_loss_acceptance_type}
314
315 | TC09: 1514B NDR binary search - DUT L2XC with 802.1ad - 2threads 2cores 1rxq
316 | | [Documentation]
317 | | ... | [Cfg] DUT runs L2XC forwarding config with 2 threads, 2 phy cores, \
318 | | ... | 1 receive queue per NIC port. [Ver] Find NDR for 1514 Byte frames
319 | | ... | using binary search start at 10GE linerate, step 10kpps.
320 | | [Tags] | 2_THREAD_NOHTT_RXQUEUES_1 | MULTI_THREAD | NDR | SKIP_PATCH
321 | | ${framesize}= | Set Variable | 1514
322 | | ${min_rate}= | Set Variable | 10000
323 | | ${max_rate}= | Set Variable | ${10Ge_linerate_pps_1522B}
324 | | ${binary_min}= | Set Variable | ${min_rate}
325 | | ${binary_max}= | Set Variable | ${max_rate}
326 | | ${threshold}= | Set Variable | ${min_rate}
327 | | Given Add '2' worker threads and rxqueues '1' without HTT to all DUTs
328 | | And   Add PCI devices to DUTs from 3-node single link topology
329 | | And   Add No Multi Seg to all DUTs
330 | | And   Apply startup configuration on all VPP DUTs
331 | | And   VPP interfaces in path are up in a 3-node circular topology
332 | | When VLAN subinterfaces initialized on 3-node topology
333 | | ... | ${dut1} | ${dut1_if2} | ${dut2} | ${dut2_if1} | ${subid}
334 | | ... | ${outer_vlan_id} | ${inner_vlan_id} | ${type_subif}
335 | | And L2 tag rewrite method setup on interfaces
336 | | ... | ${dut1} | ${subif_index_1} | ${dut2} | ${subif_index_2}
337 | | ... | ${tag_rewrite}
338 | | And Interfaces and VLAN sub-interfaces inter-connected using L2-xconnect
339 | | ... | ${dut1} | ${dut1_if1} | ${subif_index_1}
340 | | ... | ${dut2} | ${dut2_if2} | ${subif_index_2}
341 | | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
342 | | ...                                       | ${binary_max} | 3-node-xconnect
343 | | ...                                       | ${min_rate} | ${max_rate}
344 | | ...                                       | ${threshold}
345
346 | TC10: 1514B PDR binary search - DUT L2XC with 802.1ad - 2threads 2cores 1rxq
347 | | [Documentation]
348 | | ... | [Cfg] DUT runs L2XC forwarding config with 2 threads, 2 phy cores, \
349 | | ... | 1 receive queue per NIC port. [Ver] Find PDR for 1514 Byte frames
350 | | ... | using binary search start at 10GE linerate, step 10kpps, LT=0.5%.
351 | | [Tags] | 2_THREAD_NOHTT_RXQUEUES_1 | MULTI_THREAD | PDR | SKIP_PATCH
352 | | ${framesize}= | Set Variable | 1514
353 | | ${min_rate}= | Set Variable | 10000
354 | | ${max_rate}= | Set Variable | ${10Ge_linerate_pps_1522B}
355 | | ${binary_min}= | Set Variable | ${min_rate}
356 | | ${binary_max}= | Set Variable | ${max_rate}
357 | | ${threshold}= | Set Variable | ${min_rate}
358 | | Given Add '2' worker threads and rxqueues '1' without HTT to all DUTs
359 | | And   Add PCI devices to DUTs from 3-node single link topology
360 | | And   Add No Multi Seg to all DUTs
361 | | And   Apply startup configuration on all VPP DUTs
362 | | And   VPP interfaces in path are up in a 3-node circular topology
363 | | When VLAN subinterfaces initialized on 3-node topology
364 | | ... | ${dut1} | ${dut1_if2} | ${dut2} | ${dut2_if1} | ${subid}
365 | | ... | ${outer_vlan_id} | ${inner_vlan_id} | ${type_subif}
366 | | And L2 tag rewrite method setup on interfaces
367 | | ... | ${dut1} | ${subif_index_1} | ${dut2} | ${subif_index_2}
368 | | ... | ${tag_rewrite}
369 | | And Interfaces and VLAN sub-interfaces inter-connected using L2-xconnect
370 | | ... | ${dut1} | ${dut1_if1} | ${subif_index_1}
371 | | ... | ${dut2} | ${dut2_if2} | ${subif_index_2}
372 | | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
373 | | ...                                       | ${binary_max} | 3-node-xconnect
374 | | ...                                       | ${min_rate} | ${max_rate}
375 | | ...                                       | ${threshold}
376 | | ...                                       | ${glob_loss_acceptance}
377 | | ...                                       | ${glob_loss_acceptance_type}
378
379 | TC11: 9000B NDR binary search - DUT L2XC with 802.1ad - 2threads 2cores 1rxq
380 | | [Documentation]
381 | | ... | [Cfg] DUT runs L2XC forwarding config with 2 threads, 2 phy cores, \
382 | | ... | 1 receive queue per NIC port. [Ver] Find NDR for 9000 Byte frames
383 | | ... | using binary search start at 10GE linerate, step 5kpps.
384 | | [Tags] | 2_THREAD_NOHTT_RXQUEUES_1 | MULTI_THREAD | NDR | SKIP_PATCH
385 | | ${framesize}= | Set Variable | 9000
386 | | ${min_rate}= | Set Variable | 5000
387 | | ${max_rate}= | Set Variable | ${10Ge_linerate_pps_9008B}
388 | | ${binary_min}= | Set Variable | ${min_rate}
389 | | ${binary_max}= | Set Variable | ${max_rate}
390 | | ${threshold}= | Set Variable | ${min_rate}
391 | | Given Add '2' worker threads and rxqueues '1' without HTT to all DUTs
392 | | And   Add PCI devices to DUTs from 3-node single link topology
393 | | And   Apply startup configuration on all VPP DUTs
394 | | And   VPP interfaces in path are up in a 3-node circular topology
395 | | When VLAN subinterfaces initialized on 3-node topology
396 | | ... | ${dut1} | ${dut1_if2} | ${dut2} | ${dut2_if1} | ${subid}
397 | | ... | ${outer_vlan_id} | ${inner_vlan_id} | ${type_subif}
398 | | And L2 tag rewrite method setup on interfaces
399 | | ... | ${dut1} | ${subif_index_1} | ${dut2} | ${subif_index_2}
400 | | ... | ${tag_rewrite}
401 | | And Interfaces and VLAN sub-interfaces inter-connected using L2-xconnect
402 | | ... | ${dut1} | ${dut1_if1} | ${subif_index_1}
403 | | ... | ${dut2} | ${dut2_if2} | ${subif_index_2}
404 | | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
405 | | ...                                       | ${binary_max} | 3-node-xconnect
406 | | ...                                       | ${min_rate} | ${max_rate}
407 | | ...                                       | ${threshold}
408
409 | TC12: 9000B PDR binary search - DUT L2XC with 802.1ad - 2threads 2cores 1rxq
410 | | [Documentation]
411 | | ... | [Cfg] DUT runs L2XC forwarding config with 2 threads, 2 phy cores, \
412 | | ... | 1 receive queue per NIC port. [Ver] Find PDR for 9000 Byte frames
413 | | ... | using binary search start at 10GE linerate, step 5kpps, LT=0.5%.
414 | | [Tags] | 2_THREAD_NOHTT_RXQUEUES_1 | MULTI_THREAD | PDR | SKIP_PATCH
415 | | ${framesize}= | Set Variable | 9000
416 | | ${min_rate}= | Set Variable | 5000
417 | | ${max_rate}= | Set Variable | ${10Ge_linerate_pps_9008B}
418 | | ${binary_min}= | Set Variable | ${min_rate}
419 | | ${binary_max}= | Set Variable | ${max_rate}
420 | | ${threshold}= | Set Variable | ${min_rate}
421 | | Given Add '2' worker threads and rxqueues '1' without HTT to all DUTs
422 | | And   Add PCI devices to DUTs from 3-node single link topology
423 | | And   Apply startup configuration on all VPP DUTs
424 | | And   VPP interfaces in path are up in a 3-node circular topology
425 | | When VLAN subinterfaces initialized on 3-node topology
426 | | ... | ${dut1} | ${dut1_if2} | ${dut2} | ${dut2_if1} | ${subid}
427 | | ... | ${outer_vlan_id} | ${inner_vlan_id} | ${type_subif}
428 | | And L2 tag rewrite method setup on interfaces
429 | | ... | ${dut1} | ${subif_index_1} | ${dut2} | ${subif_index_2}
430 | | ... | ${tag_rewrite}
431 | | And Interfaces and VLAN sub-interfaces inter-connected using L2-xconnect
432 | | ... | ${dut1} | ${dut1_if1} | ${subif_index_1}
433 | | ... | ${dut2} | ${dut2_if2} | ${subif_index_2}
434 | | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
435 | | ...                                       | ${binary_max} | 3-node-xconnect
436 | | ...                                       | ${min_rate} | ${max_rate}
437 | | ...                                       | ${threshold}
438 | | ...                                       | ${glob_loss_acceptance}
439 | | ...                                       | ${glob_loss_acceptance_type}
440
441 | TC13: 64B NDR binary search - DUT L2XC with 802.1ad - 4threads 4cores 2rxq
442 | | [Documentation]
443 | | ... | [Cfg] DUT runs L2XC forwarding config with 4 threads, 4 phy cores, \
444 | | ... | 2 receive queues per NIC port. [Ver] Find NDR for 64 Byte frames
445 | | ... | using binary search start at 10GE linerate, step 100kpps.
446 | | [Tags] | 4_THREAD_NOHTT_RXQUEUES_2 | MULTI_THREAD | NDR
447 | | ${framesize}= | Set Variable | 64
448 | | ${min_rate}= | Set Variable | 100000
449 | | ${max_rate}= | Set Variable | ${10Ge_linerate_pps_72B}
450 | | ${binary_min}= | Set Variable | ${min_rate}
451 | | ${binary_max}= | Set Variable | ${max_rate}
452 | | ${threshold}= | Set Variable | ${min_rate}
453 | | Given Add '4' worker threads and rxqueues '2' without HTT to all DUTs
454 | | And   Add PCI devices to DUTs from 3-node single link topology
455 | | And   Add No Multi Seg to all DUTs
456 | | And   Apply startup configuration on all VPP DUTs
457 | | And   VPP interfaces in path are up in a 3-node circular topology
458 | | When VLAN subinterfaces initialized on 3-node topology
459 | | ... | ${dut1} | ${dut1_if2} | ${dut2} | ${dut2_if1} | ${subid}
460 | | ... | ${outer_vlan_id} | ${inner_vlan_id} | ${type_subif}
461 | | And L2 tag rewrite method setup on interfaces
462 | | ... | ${dut1} | ${subif_index_1} | ${dut2} | ${subif_index_2}
463 | | ... | ${tag_rewrite}
464 | | And Interfaces and VLAN sub-interfaces inter-connected using L2-xconnect
465 | | ... | ${dut1} | ${dut1_if1} | ${subif_index_1}
466 | | ... | ${dut2} | ${dut2_if2} | ${subif_index_2}
467 | | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
468 | | ...                                       | ${binary_max} | 3-node-xconnect
469 | | ...                                       | ${min_rate} | ${max_rate}
470 | | ...                                       | ${threshold}
471
472 | TC14: 64B PDR binary search - DUT L2XC with 802.1ad - 4threads 4cores 2rxq
473 | | [Documentation]
474 | | ... | [Cfg] DUT runs L2XC forwarding config with 4 threads, 4 phy cores, \
475 | | ... | 2 receive queues per NIC port. [Ver] Find PDR for 64 Byte frames
476 | | ... | using binary search start at 10GE linerate, step 100kpps, LT=0.5%.
477 | | [Tags] | 4_THREAD_NOHTT_RXQUEUES_2 | MULTI_THREAD | PDR | SKIP_PATCH
478 | | ${framesize}= | Set Variable | 64
479 | | ${min_rate}= | Set Variable | 100000
480 | | ${max_rate}= | Set Variable | ${10Ge_linerate_pps_72B}
481 | | ${binary_min}= | Set Variable | ${min_rate}
482 | | ${binary_max}= | Set Variable | ${max_rate}
483 | | ${threshold}= | Set Variable | ${min_rate}
484 | | Given Add '4' worker threads and rxqueues '2' without HTT to all DUTs
485 | | And   Add PCI devices to DUTs from 3-node single link topology
486 | | And   Add No Multi Seg to all DUTs
487 | | And   Apply startup configuration on all VPP DUTs
488 | | And   VPP interfaces in path are up in a 3-node circular topology
489 | | When VLAN subinterfaces initialized on 3-node topology
490 | | ... | ${dut1} | ${dut1_if2} | ${dut2} | ${dut2_if1} | ${subid}
491 | | ... | ${outer_vlan_id} | ${inner_vlan_id} | ${type_subif}
492 | | And L2 tag rewrite method setup on interfaces
493 | | ... | ${dut1} | ${subif_index_1} | ${dut2} | ${subif_index_2}
494 | | ... | ${tag_rewrite}
495 | | And Interfaces and VLAN sub-interfaces inter-connected using L2-xconnect
496 | | ... | ${dut1} | ${dut1_if1} | ${subif_index_1}
497 | | ... | ${dut2} | ${dut2_if2} | ${subif_index_2}
498 | | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
499 | | ...                                       | ${binary_max} | 3-node-xconnect
500 | | ...                                       | ${min_rate} | ${max_rate}
501 | | ...                                       | ${threshold}
502 | | ...                                       | ${glob_loss_acceptance}
503 | | ...                                       | ${glob_loss_acceptance_type}
504
505 | TC15: 1514B NDR binary search - DUT L2XC with 802.1ad - 4threads 4cores 2rxq
506 | | [Documentation]
507 | | ... | [Cfg] DUT runs L2XC forwarding config with 4 threads, 4 phy cores, \
508 | | ... | 2 receive queues per NIC port. [Ver] Find NDR for 1514 Byte frames
509 | | ... | using binary search start at 10GE linerate, step 10kpps.
510 | | [Tags] | 4_THREAD_NOHTT_RXQUEUES_2 | MULTI_THREAD | NDR | SKIP_PATCH
511 | | ${framesize}= | Set Variable | 1514
512 | | ${min_rate}= | Set Variable | 10000
513 | | ${max_rate}= | Set Variable | ${10Ge_linerate_pps_1522B}
514 | | ${binary_min}= | Set Variable | ${min_rate}
515 | | ${binary_max}= | Set Variable | ${max_rate}
516 | | ${threshold}= | Set Variable | ${min_rate}
517 | | Given Add '4' worker threads and rxqueues '2' without HTT to all DUTs
518 | | And   Add PCI devices to DUTs from 3-node single link topology
519 | | And   Add No Multi Seg to all DUTs
520 | | And   Apply startup configuration on all VPP DUTs
521 | | And   VPP interfaces in path are up in a 3-node circular topology
522 | | When VLAN subinterfaces initialized on 3-node topology
523 | | ... | ${dut1} | ${dut1_if2} | ${dut2} | ${dut2_if1} | ${subid}
524 | | ... | ${outer_vlan_id} | ${inner_vlan_id} | ${type_subif}
525 | | And L2 tag rewrite method setup on interfaces
526 | | ... | ${dut1} | ${subif_index_1} | ${dut2} | ${subif_index_2}
527 | | ... | ${tag_rewrite}
528 | | And Interfaces and VLAN sub-interfaces inter-connected using L2-xconnect
529 | | ... | ${dut1} | ${dut1_if1} | ${subif_index_1}
530 | | ... | ${dut2} | ${dut2_if2} | ${subif_index_2}
531 | | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
532 | | ...                                       | ${binary_max} | 3-node-xconnect
533 | | ...                                       | ${min_rate} | ${max_rate}
534 | | ...                                       | ${threshold}
535
536 | TC16: 1514B PDR binary search - DUT L2XC with 802.1ad - 4threads 4cores 2rxq
537 | | [Documentation]
538 | | ... | [Cfg] DUT runs L2XC forwarding config with 4 threads, 4 phy cores, \
539 | | ... | 2 receive queues per NIC port. [Ver] Find PDR for 1514 Byte frames
540 | | ... | using binary search start at 10GE linerate, step 10kpps, LT=0.5%.
541 | | [Tags] | 4_THREAD_NOHTT_RXQUEUES_2 | MULTI_THREAD | PDR | SKIP_PATCH
542 | | ${framesize}= | Set Variable | 1514
543 | | ${min_rate}= | Set Variable | 10000
544 | | ${max_rate}= | Set Variable | ${10Ge_linerate_pps_1522B}
545 | | ${binary_min}= | Set Variable | ${min_rate}
546 | | ${binary_max}= | Set Variable | ${max_rate}
547 | | ${threshold}= | Set Variable | ${min_rate}
548 | | Given Add '4' worker threads and rxqueues '2' without HTT to all DUTs
549 | | And   Add PCI devices to DUTs from 3-node single link topology
550 | | And   Add No Multi Seg to all DUTs
551 | | And   Apply startup configuration on all VPP DUTs
552 | | And   VPP interfaces in path are up in a 3-node circular topology
553 | | When VLAN subinterfaces initialized on 3-node topology
554 | | ... | ${dut1} | ${dut1_if2} | ${dut2} | ${dut2_if1} | ${subid}
555 | | ... | ${outer_vlan_id} | ${inner_vlan_id} | ${type_subif}
556 | | And L2 tag rewrite method setup on interfaces
557 | | ... | ${dut1} | ${subif_index_1} | ${dut2} | ${subif_index_2}
558 | | ... | ${tag_rewrite}
559 | | And Interfaces and VLAN sub-interfaces inter-connected using L2-xconnect
560 | | ... | ${dut1} | ${dut1_if1} | ${subif_index_1}
561 | | ... | ${dut2} | ${dut2_if2} | ${subif_index_2}
562 | | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
563 | | ...                                       | ${binary_max} | 3-node-xconnect
564 | | ...                                       | ${min_rate} | ${max_rate}
565 | | ...                                       | ${threshold}
566 | | ...                                       | ${glob_loss_acceptance}
567 | | ...                                       | ${glob_loss_acceptance_type}
568
569 | TC17: 9000B NDR binary search - DUT L2XC with 802.1ad - 4threads 4cores 2rxq
570 | | [Documentation]
571 | | ... | [Cfg] DUT runs L2XC forwarding config with 4 threads, 4 phy cores, \
572 | | ... | 2 receive queues per NIC port. [Ver] Find NDR for 9000 Byte frames
573 | | ... | using binary search start at 10GE linerate, step 5kpps.
574 | | [Tags] | 4_THREAD_NOHTT_RXQUEUES_2 | MULTI_THREAD | NDR | SKIP_PATCH
575 | | ${framesize}= | Set Variable | 9000
576 | | ${min_rate}= | Set Variable | 5000
577 | | ${max_rate}= | Set Variable | ${10Ge_linerate_pps_9008B}
578 | | ${binary_min}= | Set Variable | ${min_rate}
579 | | ${binary_max}= | Set Variable | ${max_rate}
580 | | ${threshold}= | Set Variable | ${min_rate}
581 | | Given Add '4' worker threads and rxqueues '2' without HTT to all DUTs
582 | | And   Add PCI devices to DUTs from 3-node single link topology
583 | | And   Apply startup configuration on all VPP DUTs
584 | | And   VPP interfaces in path are up in a 3-node circular topology
585 | | When VLAN subinterfaces initialized on 3-node topology
586 | | ... | ${dut1} | ${dut1_if2} | ${dut2} | ${dut2_if1} | ${subid}
587 | | ... | ${outer_vlan_id} | ${inner_vlan_id} | ${type_subif}
588 | | And L2 tag rewrite method setup on interfaces
589 | | ... | ${dut1} | ${subif_index_1} | ${dut2} | ${subif_index_2}
590 | | ... | ${tag_rewrite}
591 | | And Interfaces and VLAN sub-interfaces inter-connected using L2-xconnect
592 | | ... | ${dut1} | ${dut1_if1} | ${subif_index_1}
593 | | ... | ${dut2} | ${dut2_if2} | ${subif_index_2}
594 | | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
595 | | ...                                       | ${binary_max} | 3-node-xconnect
596 | | ...                                       | ${min_rate} | ${max_rate}
597 | | ...                                       | ${threshold}
598
599 | TC18: 9000B PDR binary search - DUT L2XC with 802.1ad - 4threads 4cores 2rxq
600 | | [Documentation]
601 | | ... | [Cfg] DUT runs L2XC forwarding config with 4 threads, 4 phy cores, \
602 | | ... | 2 receive queues per NIC port. [Ver] Find PDR for 9000 Byte frames
603 | | ... | using binary search start at 10GE linerate, step 5kpps, LT=0.5%.
604 | | [Tags] | 4_THREAD_NOHTT_RXQUEUES_2 | MULTI_THREAD | PDR | SKIP_PATCH
605 | | ${framesize}= | Set Variable | 9000
606 | | ${min_rate}= | Set Variable | 5000
607 | | ${max_rate}= | Set Variable | ${10Ge_linerate_pps_9008B}
608 | | ${binary_min}= | Set Variable | ${min_rate}
609 | | ${binary_max}= | Set Variable | ${max_rate}
610 | | ${threshold}= | Set Variable | ${min_rate}
611 | | Given Add '4' worker threads and rxqueues '2' without HTT to all DUTs
612 | | And   Add PCI devices to DUTs from 3-node single link topology
613 | | And   Apply startup configuration on all VPP DUTs
614 | | And   VPP interfaces in path are up in a 3-node circular topology
615 | | When VLAN subinterfaces initialized on 3-node topology
616 | | ... | ${dut1} | ${dut1_if2} | ${dut2} | ${dut2_if1} | ${subid}
617 | | ... | ${outer_vlan_id} | ${inner_vlan_id} | ${type_subif}
618 | | And L2 tag rewrite method setup on interfaces
619 | | ... | ${dut1} | ${subif_index_1} | ${dut2} | ${subif_index_2}
620 | | ... | ${tag_rewrite}
621 | | And Interfaces and VLAN sub-interfaces inter-connected using L2-xconnect
622 | | ... | ${dut1} | ${dut1_if1} | ${subif_index_1}
623 | | ... | ${dut2} | ${dut2_if2} | ${subif_index_2}
624 | | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
625 | | ...                                       | ${binary_max} | 3-node-xconnect
626 | | ...                                       | ${min_rate} | ${max_rate}
627 | | ...                                       | ${threshold}
628 | | ...                                       | ${glob_loss_acceptance}
629 | | ...                                       | ${glob_loss_acceptance_type}