tests/suites/performance/Long_IPv4_Cop_Intel-X520-DA2.robot

   1 # Copyright (c) 2016 Cisco and/or its affiliates.
   2 # Licensed under the Apache License, Version 2.0 (the "License");
   3 # you may not use this file except in compliance with the License.
   4 # You may obtain a copy of the License at:
   5 #
   6 #     http://www.apache.org/licenses/LICENSE-2.0
   7 #
   8 # Unless required by applicable law or agreed to in writing, software
   9 # distributed under the License is distributed on an "AS IS" BASIS,
  10 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  11 # See the License for the specific language governing permissions and
  12 # limitations under the License.
  13
  14 *** Settings ***
  15 | Resource | resources/libraries/robot/performance.robot
  16 | Library | resources.libraries.python.Cop
  17 | Library | resources.libraries.python.IPv4Setup.Dut | ${nodes['DUT1']} | WITH NAME | dut1_v4
  18 | Library | resources.libraries.python.IPv4Setup.Dut | ${nodes['DUT2']} | WITH NAME | dut2_v4
  19 | Force Tags | 3_NODE_SINGLE_LINK_TOPO | PERFTEST | HW_ENV | PERFTEST_LONG
  20 | ...        | NIC_Intel-X520-DA2
  21 | Suite Setup | 3-node Performance Suite Setup with DUT's NIC model
  22 | ... | L3 | Intel-X520-DA2
  23 | Suite Teardown | 3-node Performance Suite Teardown
  24 | Test Setup | Setup all DUTs before test
  25 | Test Teardown | Run Keyword | Remove startup configuration of VPP from all DUTs
  26 | Documentation | *Throughput search suite (based on RFC2544).*
  27 | ...
  28 | ... | Test suite uses 3-node topology TG - DUT1 - DUT2 - TG, with one link
  29 | ... | between nodes. Traffic profile contain 2 L3 streams (1 stream per
  30 | ... | direction). Packets contain Ethernet header, IPv4 header,
  31 | ... | IP protocol=61 and random payload. Ethernet header MAC addresses are
  32 | ... | matching MAC addresses of the TG node. COP (whitelist) is applied
  33 | ... | on link between TG - DUT1 and DUT2 - TG. Additional ipv4 fib table with
  34 | ... | index 1 is created and single entry added to permit all the
  35 | ... | traffic (subnet /24).
  36
  37 *** Test Cases ***
  38 | Find NDR by using RFC2544 binary search and 64B frames through IPv4 forwarding with COP in 3-node topology
  39 | | [Documentation]
  40 | | ... | Find throughput with non drop rate for 64B frames by using
  41 | | ... | binary search with threshold 0.1Mpps.
  42 | | [Tags] | 1_THREAD_NOHTT_RSS_1 | SINGLE_THREAD | NDR
  43 | | ${framesize}= | Set Variable | 64
  44 | | ${min_rate}= | Set Variable | 100000
  45 | | ${max_rate}= | Set Variable | ${10Ge_linerate_pps_64B}
  46 | | ${binary_min}= | Set Variable | ${min_rate}
  47 | | ${binary_max}= | Set Variable | ${max_rate}
  48 | | ${threshold}= | Set Variable | ${min_rate}
  49 | | Given Add '1' worker threads and rss '1' without HTT to all DUTs
  50 | | And   Add all PCI devices to all DUTs
  51 | | And   Add No Multi Seg to all DUTs
  52 | | And   Apply startup configuration on all VPP DUTs
  53 | | When  IPv4 forwarding initialized in a 3-node circular topology
  54 | | And   Add fib table | ${dut1} | 10.10.10.0 | 24 | 1 | local
  55 | | And   Add fib table | ${dut2} | 20.20.20.0 | 24 | 1 | local
  56 | | And   COP Add whitelist Entry | ${dut1} | ${dut1_if1} | ip4 | 1
  57 | | And   COP Add whitelist Entry | ${dut2} | ${dut2_if2} | ip4 | 1
  58 | | And   COP interface enable or disable | ${dut1} | ${dut1_if1} | enable
  59 | | And   COP interface enable or disable | ${dut2} | ${dut2_if2} | enable
  60 | | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
  61 | | ...                                       | ${binary_max} | 3-node-IPv4
  62 | | ...                                       | ${min_rate} | ${max_rate}
  63 | | ...                                       | ${threshold}
  64
  65 | Find PDR by using RFC2544 binary search and 64B frames through IPv4 forwarding with COP in 3-node topology
  66 | | [Documentation]
  67 | | ... | Find throughput with partial drop rate for 64B frames by using
  68 | | ... | binary search with threshold 0.1Mpps. Loss acceptance is set to 0.5
  69 | | ... | percent of transmitted packets.
  70 | | [Tags] | 1_THREAD_NOHTT_RSS_1 | SINGLE_THREAD | PDR
  71 | | ${framesize}= | Set Variable | 64
  72 | | ${min_rate}= | Set Variable | 100000
  73 | | ${max_rate}= | Set Variable | ${10Ge_linerate_pps_64B}
  74 | | ${binary_min}= | Set Variable | ${min_rate}
  75 | | ${binary_max}= | Set Variable | ${max_rate}
  76 | | ${threshold}= | Set Variable | ${min_rate}
  77 | | Given Add '1' worker threads and rss '1' without HTT to all DUTs
  78 | | And   Add all PCI devices to all DUTs
  79 | | And   Add No Multi Seg to all DUTs
  80 | | And   Apply startup configuration on all VPP DUTs
  81 | | When  IPv4 forwarding initialized in a 3-node circular topology
  82 | | And   Add fib table | ${dut1} | 10.10.10.0 | 24 | 1 | local
  83 | | And   Add fib table | ${dut2} | 20.20.20.0 | 24 | 1 | local
  84 | | And   COP Add whitelist Entry | ${dut1} | ${dut1_if1} | ip4 | 1
  85 | | And   COP Add whitelist Entry | ${dut2} | ${dut2_if2} | ip4 | 1
  86 | | And   COP interface enable or disable | ${dut1} | ${dut1_if1} | enable
  87 | | And   COP interface enable or disable | ${dut2} | ${dut2_if2} | enable
  88 | | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
  89 | | ...                                       | ${binary_max} | 3-node-IPv4
  90 | | ...                                       | ${min_rate} | ${max_rate}
  91 | | ...                                       | ${threshold}
  92 | | ...                                       | ${glob_loss_acceptance}
  93 | | ...                                       | ${glob_loss_acceptance_type}
  94
  95 | Find NDR by using RFC2544 binary search and 1518B frames through IPv4 forwarding with COP in 3-node topology
  96 | | [Documentation]
  97 | | ... | Find throughput with non drop rate for 1518B frames by using
  98 | | ... | binary search with threshold 10,000pps.
  99 | | [Tags] | 1_THREAD_NOHTT_RSS_1 | SINGLE_THREAD | NDR
 100 | | ${framesize}= | Set Variable | 1518
 101 | | ${min_rate}= | Set Variable | 10000
 102 | | ${max_rate}= | Set Variable | ${10Ge_linerate_pps_1518B}
 103 | | ${binary_min}= | Set Variable | ${min_rate}
 104 | | ${binary_max}= | Set Variable | ${max_rate}
 105 | | ${threshold}= | Set Variable | ${min_rate}
 106 | | Given Add '1' worker threads and rss '1' without HTT to all DUTs
 107 | | And   Add all PCI devices to all DUTs
 108 | | And   Add No Multi Seg to all DUTs
 109 | | And   Apply startup configuration on all VPP DUTs
 110 | | When  IPv4 forwarding initialized in a 3-node circular topology
 111 | | And   Add fib table | ${dut1} | 10.10.10.0 | 24 | 1 | local
 112 | | And   Add fib table | ${dut2} | 20.20.20.0 | 24 | 1 | local
 113 | | And   COP Add whitelist Entry | ${dut1} | ${dut1_if1} | ip4 | 1
 114 | | And   COP Add whitelist Entry | ${dut2} | ${dut2_if2} | ip4 | 1
 115 | | And   COP interface enable or disable | ${dut1} | ${dut1_if1} | enable
 116 | | And   COP interface enable or disable | ${dut2} | ${dut2_if2} | enable
 117 | | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
 118 | | ...                                       | ${binary_max} | 3-node-IPv4
 119 | | ...                                       | ${min_rate} | ${max_rate}
 120 | | ...                                       | ${threshold}
 121
 122 | Find PDR by using RFC2544 binary search and 1518B frames through IPv4 forwarding with COP in 3-node topology
 123 | | [Documentation]
 124 | | ... | Find throughput with partial drop rate for 1518B frames by using
 125 | | ... | binary search with threshold 10,000pps. Loss acceptance is set to 0.5
 126 | | ... | percent of transmitted packets.
 127 | | [Tags] | 1_THREAD_NOHTT_RSS_1 | SINGLE_THREAD | PDR
 128 | | ${framesize}= | Set Variable | 1518
 129 | | ${min_rate}= | Set Variable | 10000
 130 | | ${max_rate}= | Set Variable | ${10Ge_linerate_pps_1518B}
 131 | | ${binary_min}= | Set Variable | ${min_rate}
 132 | | ${binary_max}= | Set Variable | ${max_rate}
 133 | | ${threshold}= | Set Variable | ${min_rate}
 134 | | Given Add '1' worker threads and rss '1' without HTT to all DUTs
 135 | | And   Add all PCI devices to all DUTs
 136 | | And   Add No Multi Seg to all DUTs
 137 | | And   Apply startup configuration on all VPP DUTs
 138 | | When  IPv4 forwarding initialized in a 3-node circular topology
 139 | | And   Add fib table | ${dut1} | 10.10.10.0 | 24 | 1 | local
 140 | | And   Add fib table | ${dut2} | 20.20.20.0 | 24 | 1 | local
 141 | | And   COP Add whitelist Entry | ${dut1} | ${dut1_if1} | ip4 | 1
 142 | | And   COP Add whitelist Entry | ${dut2} | ${dut2_if2} | ip4 | 1
 143 | | And   COP interface enable or disable | ${dut1} | ${dut1_if1} | enable
 144 | | And   COP interface enable or disable | ${dut2} | ${dut2_if2} | enable
 145 | | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
 146 | | ...                                       | ${binary_max} | 3-node-IPv4
 147 | | ...                                       | ${min_rate} | ${max_rate}
 148 | | ...                                       | ${threshold}
 149 | | ...                                       | ${glob_loss_acceptance}
 150 | | ...                                       | ${glob_loss_acceptance_type}
 151
 152 | Find NDR by using RFC2544 binary search and 9000B frames through IPv4 forwarding with COP in 3-node topology
 153 | | [Documentation]
 154 | | ... | Find throughput with non drop rate for 9000B frames by using
 155 | | ... | binary search with threshold 5,000pps.
 156 | | [Tags] | 1_THREAD_NOHTT_RSS_1 | SINGLE_THREAD | NDR
 157 | | ${framesize}= | Set Variable | 9000
 158 | | ${min_rate}= | Set Variable | 5000
 159 | | ${max_rate}= | Set Variable | ${10Ge_linerate_pps_9000B}
 160 | | ${binary_min}= | Set Variable | ${min_rate}
 161 | | ${binary_max}= | Set Variable | ${max_rate}
 162 | | ${threshold}= | Set Variable | ${min_rate}
 163 | | Given Add '1' worker threads and rss '1' without HTT to all DUTs
 164 | | And   Add all PCI devices to all DUTs
 165 | | And   Apply startup configuration on all VPP DUTs
 166 | | When  IPv4 forwarding initialized in a 3-node circular topology
 167 | | And   Add fib table | ${dut1} | 10.10.10.0 | 24 | 1 | local
 168 | | And   Add fib table | ${dut2} | 20.20.20.0 | 24 | 1 | local
 169 | | And   COP Add whitelist Entry | ${dut1} | ${dut1_if1} | ip4 | 1
 170 | | And   COP Add whitelist Entry | ${dut2} | ${dut2_if2} | ip4 | 1
 171 | | And   COP interface enable or disable | ${dut1} | ${dut1_if1} | enable
 172 | | And   COP interface enable or disable | ${dut2} | ${dut2_if2} | enable
 173 | | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
 174 | | ...                                       | ${binary_max} | 3-node-IPv4
 175 | | ...                                       | ${min_rate} | ${max_rate}
 176 | | ...                                       | ${threshold}
 177
 178 | Find PDR by using RFC2544 binary search and 9000B frames through IPv4 forwarding with COP in 3-node topology
 179 | | [Documentation]
 180 | | ... | Find throughput with partial drop rate for 9000B frames by using
 181 | | ... | binary search with threshold of 5,000pps. Loss acceptance is set to
 182 | | ... | 0.5 percent of transmitted packets.
 183 | | [Tags] | 1_THREAD_NOHTT_RSS_1 | SINGLE_THREAD | PDR
 184 | | ${framesize}= | Set Variable | 9000
 185 | | ${min_rate}= | Set Variable | 5000
 186 | | ${max_rate}= | Set Variable | ${10Ge_linerate_pps_9000B}
 187 | | ${binary_min}= | Set Variable | ${min_rate}
 188 | | ${binary_max}= | Set Variable | ${max_rate}
 189 | | ${threshold}= | Set Variable | ${min_rate}
 190 | | Given Add '1' worker threads and rss '1' without HTT to all DUTs
 191 | | And   Add all PCI devices to all DUTs
 192 | | And   Apply startup configuration on all VPP DUTs
 193 | | When  IPv4 forwarding initialized in a 3-node circular topology
 194 | | And   Add fib table | ${dut1} | 10.10.10.0 | 24 | 1 | local
 195 | | And   Add fib table | ${dut2} | 20.20.20.0 | 24 | 1 | local
 196 | | And   COP Add whitelist Entry | ${dut1} | ${dut1_if1} | ip4 | 1
 197 | | And   COP Add whitelist Entry | ${dut2} | ${dut2_if2} | ip4 | 1
 198 | | And   COP interface enable or disable | ${dut1} | ${dut1_if1} | enable
 199 | | And   COP interface enable or disable | ${dut2} | ${dut2_if2} | enable
 200 | | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
 201 | | ...                                       | ${binary_max} | 3-node-IPv4
 202 | | ...                                       | ${min_rate} | ${max_rate}
 203 | | ...                                       | ${threshold}
 204 | | ...                                       | ${glob_loss_acceptance}
 205 | | ...                                       | ${glob_loss_acceptance_type}
 206
 207 | Find NDR with 2 cores and rss 1 by using RFC2544 binary search and 64B frames through IPv4 forwarding with COP in 3-node topology
 208 | | [Documentation]
 209 | | ... | Find throughput on 2 cores with non drop rate for 64B frames by using
 210 | | ... | binary search with threshold 0.1Mpps.
 211 | | [Tags] | 2_THREAD_NOHTT_RSS_1 | MULTI_THREAD | NDR
 212 | | ${framesize}= | Set Variable | 64
 213 | | ${min_rate}= | Set Variable | 100000
 214 | | ${max_rate}= | Set Variable | ${10Ge_linerate_pps_64B}
 215 | | ${binary_min}= | Set Variable | ${min_rate}
 216 | | ${binary_max}= | Set Variable | ${max_rate}
 217 | | ${threshold}= | Set Variable | ${min_rate}
 218 | | Given Add '2' worker threads and rss '1' without HTT to all DUTs
 219 | | And   Add all PCI devices to all DUTs
 220 | | And   Add No Multi Seg to all DUTs
 221 | | And   Apply startup configuration on all VPP DUTs
 222 | | When  IPv4 forwarding initialized in a 3-node circular topology
 223 | | And   Add fib table | ${dut1} | 10.10.10.0 | 24 | 1 | local
 224 | | And   Add fib table | ${dut2} | 20.20.20.0 | 24 | 1 | local
 225 | | And   COP Add whitelist Entry | ${dut1} | ${dut1_if1} | ip4 | 1
 226 | | And   COP Add whitelist Entry | ${dut2} | ${dut2_if2} | ip4 | 1
 227 | | And   COP interface enable or disable | ${dut1} | ${dut1_if1} | enable
 228 | | And   COP interface enable or disable | ${dut2} | ${dut2_if2} | enable
 229 | | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
 230 | | ...                                       | ${binary_max} | 3-node-IPv4
 231 | | ...                                       | ${min_rate} | ${max_rate}
 232 | | ...                                       | ${threshold}
 233
 234 | Find PDR with 2 cores and rss 1 by using RFC2544 binary search and 64B frames through IPv4 forwarding with COP in 3-node topology
 235 | | [Documentation]
 236 | | ... | Find throughput on 2 cores with partial drop rate for 64B frames by
 237 | | ... | using binary search with threshold 0.1Mpps. Loss acceptance is set to
 238 | | ... | 0.5 percent of transmitted packets.
 239 | | [Tags] | 2_THREAD_NOHTT_RSS_1 | MULTI_THREAD | PDR
 240 | | ${framesize}= | Set Variable | 64
 241 | | ${min_rate}= | Set Variable | 100000
 242 | | ${max_rate}= | Set Variable | ${10Ge_linerate_pps_64B}
 243 | | ${binary_min}= | Set Variable | ${min_rate}
 244 | | ${binary_max}= | Set Variable | ${max_rate}
 245 | | ${threshold}= | Set Variable | ${min_rate}
 246 | | Given Add '2' worker threads and rss '1' without HTT to all DUTs
 247 | | And   Add all PCI devices to all DUTs
 248 | | And   Add No Multi Seg to all DUTs
 249 | | And   Apply startup configuration on all VPP DUTs
 250 | | When  IPv4 forwarding initialized in a 3-node circular topology
 251 | | And   Add fib table | ${dut1} | 10.10.10.0 | 24 | 1 | local
 252 | | And   Add fib table | ${dut2} | 20.20.20.0 | 24 | 1 | local
 253 | | And   COP Add whitelist Entry | ${dut1} | ${dut1_if1} | ip4 | 1
 254 | | And   COP Add whitelist Entry | ${dut2} | ${dut2_if2} | ip4 | 1
 255 | | And   COP interface enable or disable | ${dut1} | ${dut1_if1} | enable
 256 | | And   COP interface enable or disable | ${dut2} | ${dut2_if2} | enable
 257 | | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
 258 | | ...                                       | ${binary_max} | 3-node-IPv4
 259 | | ...                                       | ${min_rate} | ${max_rate}
 260 | | ...                                       | ${threshold}
 261 | | ...                                       | ${glob_loss_acceptance}
 262 | | ...                                       | ${glob_loss_acceptance_type}
 263
 264 | Find NDR with 2 cores and rss 1 by using RFC2544 binary search and 1518B frames through IPv4 forwarding with COP in 3-node topology
 265 | | [Documentation]
 266 | | ... | Find throughput on 2 cores with non drop rate for 1518B frames by
 267 | | ... | using binary search with threshold 10,000pps.
 268 | | [Tags] | 2_THREAD_NOHTT_RSS_1 | MULTI_THREAD | NDR
 269 | | ${framesize}= | Set Variable | 1518
 270 | | ${min_rate}= | Set Variable | 10000
 271 | | ${max_rate}= | Set Variable | ${10Ge_linerate_pps_1518B}
 272 | | ${binary_min}= | Set Variable | ${min_rate}
 273 | | ${binary_max}= | Set Variable | ${max_rate}
 274 | | ${threshold}= | Set Variable | ${min_rate}
 275 | | Given Add '2' worker threads and rss '1' without HTT to all DUTs
 276 | | And   Add all PCI devices to all DUTs
 277 | | And   Add No Multi Seg to all DUTs
 278 | | And   Apply startup configuration on all VPP DUTs
 279 | | When  IPv4 forwarding initialized in a 3-node circular topology
 280 | | And   Add fib table | ${dut1} | 10.10.10.0 | 24 | 1 | local
 281 | | And   Add fib table | ${dut2} | 20.20.20.0 | 24 | 1 | local
 282 | | And   COP Add whitelist Entry | ${dut1} | ${dut1_if1} | ip4 | 1
 283 | | And   COP Add whitelist Entry | ${dut2} | ${dut2_if2} | ip4 | 1
 284 | | And   COP interface enable or disable | ${dut1} | ${dut1_if1} | enable
 285 | | And   COP interface enable or disable | ${dut2} | ${dut2_if2} | enable
 286 | | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
 287 | | ...                                       | ${binary_max} | 3-node-IPv4
 288 | | ...                                       | ${min_rate} | ${max_rate}
 289 | | ...                                       | ${threshold}
 290
 291 | Find PDR with 2 cores and rss 1 by using RFC2544 binary search and 1518B frames through IPv4 forwarding with COP in 3-node topology
 292 | | [Documentation]
 293 | | ... | Find throughput on 2 cores with partial drop rate for 1518B frames by
 294 | | ... | using binary search with threshold 10,000pps. Loss acceptance is set
 295 | | ... | to 0.5 percent of transmitted packets.
 296 | | [Tags] | 2_THREAD_NOHTT_RSS_1 | MULTI_THREAD | PDR
 297 | | ${framesize}= | Set Variable | 1518
 298 | | ${min_rate}= | Set Variable | 10000
 299 | | ${max_rate}= | Set Variable | ${10Ge_linerate_pps_1518B}
 300 | | ${binary_min}= | Set Variable | ${min_rate}
 301 | | ${binary_max}= | Set Variable | ${max_rate}
 302 | | ${threshold}= | Set Variable | ${min_rate}
 303 | | Given Add '2' worker threads and rss '1' without HTT to all DUTs
 304 | | And   Add all PCI devices to all DUTs
 305 | | And   Add No Multi Seg to all DUTs
 306 | | And   Apply startup configuration on all VPP DUTs
 307 | | When  IPv4 forwarding initialized in a 3-node circular topology
 308 | | And   Add fib table | ${dut1} | 10.10.10.0 | 24 | 1 | local
 309 | | And   Add fib table | ${dut2} | 20.20.20.0 | 24 | 1 | local
 310 | | And   COP Add whitelist Entry | ${dut1} | ${dut1_if1} | ip4 | 1
 311 | | And   COP Add whitelist Entry | ${dut2} | ${dut2_if2} | ip4 | 1
 312 | | And   COP interface enable or disable | ${dut1} | ${dut1_if1} | enable
 313 | | And   COP interface enable or disable | ${dut2} | ${dut2_if2} | enable
 314 | | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
 315 | | ...                                       | ${binary_max} | 3-node-IPv4
 316 | | ...                                       | ${min_rate} | ${max_rate}
 317 | | ...                                       | ${threshold}
 318 | | ...                                       | ${glob_loss_acceptance}
 319 | | ...                                       | ${glob_loss_acceptance_type}
 320
 321 | Find NDR with 2 cores and rss 1 by using RFC2544 binary search and 9000B frames through IPv4 forwarding with COP in 3-node topology
 322 | | [Documentation]
 323 | | ... | Find throughput on 2 cores with non drop rate for 9000B frames by
 324 | | ... | using binary search with threshold 5,000pps.
 325 | | [Tags] | 2_THREAD_NOHTT_RSS_1 | MULTI_THREAD | NDR
 326 | | ${framesize}= | Set Variable | 9000
 327 | | ${min_rate}= | Set Variable | 5000
 328 | | ${max_rate}= | Set Variable | ${10Ge_linerate_pps_9000B}
 329 | | ${binary_min}= | Set Variable | ${min_rate}
 330 | | ${binary_max}= | Set Variable | ${max_rate}
 331 | | ${threshold}= | Set Variable | ${min_rate}
 332 | | Given Add '2' worker threads and rss '1' without HTT to all DUTs
 333 | | And   Add all PCI devices to all DUTs
 334 | | And   Apply startup configuration on all VPP DUTs
 335 | | When  IPv4 forwarding initialized in a 3-node circular topology
 336 | | And   Add fib table | ${dut1} | 10.10.10.0 | 24 | 1 | local
 337 | | And   Add fib table | ${dut2} | 20.20.20.0 | 24 | 1 | local
 338 | | And   COP Add whitelist Entry | ${dut1} | ${dut1_if1} | ip4 | 1
 339 | | And   COP Add whitelist Entry | ${dut2} | ${dut2_if2} | ip4 | 1
 340 | | And   COP interface enable or disable | ${dut1} | ${dut1_if1} | enable
 341 | | And   COP interface enable or disable | ${dut2} | ${dut2_if2} | enable
 342 | | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
 343 | | ...                                       | ${binary_max} | 3-node-IPv4
 344 | | ...                                       | ${min_rate} | ${max_rate}
 345 | | ...                                       | ${threshold}
 346
 347 | Find PDR with 2 cores and rss 1 by using RFC2544 binary search and 9000B frames through IPv4 forwarding with COP in 3-node topology
 348 | | [Documentation]
 349 | | ... | Find throughput on 2 cores with partial drop rate for 9000B frames by
 350 | | ... | using binary search with threshold 5,000pps. Loss acceptance is set
 351 | | ... | to 0.5 percent of transmitted packets.
 352 | | [Tags] | 2_THREAD_NOHTT_RSS_1 | MULTI_THREAD | PDR
 353 | | ${framesize}= | Set Variable | 9000
 354 | | ${min_rate}= | Set Variable | 5000
 355 | | ${max_rate}= | Set Variable | ${10Ge_linerate_pps_9000B}
 356 | | ${binary_min}= | Set Variable | ${min_rate}
 357 | | ${binary_max}= | Set Variable | ${max_rate}
 358 | | ${threshold}= | Set Variable | ${min_rate}
 359 | | Given Add '2' worker threads and rss '1' without HTT to all DUTs
 360 | | And   Add all PCI devices to all DUTs
 361 | | And   Apply startup configuration on all VPP DUTs
 362 | | When  IPv4 forwarding initialized in a 3-node circular topology
 363 | | And   Add fib table | ${dut1} | 10.10.10.0 | 24 | 1 | local
 364 | | And   Add fib table | ${dut2} | 20.20.20.0 | 24 | 1 | local
 365 | | And   COP Add whitelist Entry | ${dut1} | ${dut1_if1} | ip4 | 1
 366 | | And   COP Add whitelist Entry | ${dut2} | ${dut2_if2} | ip4 | 1
 367 | | And   COP interface enable or disable | ${dut1} | ${dut1_if1} | enable
 368 | | And   COP interface enable or disable | ${dut2} | ${dut2_if2} | enable
 369 | | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
 370 | | ...                                       | ${binary_max} | 3-node-IPv4
 371 | | ...                                       | ${min_rate} | ${max_rate}
 372 | | ...                                       | ${threshold}
 373 | | ...                                       | ${glob_loss_acceptance}
 374 | | ...                                       | ${glob_loss_acceptance_type}
 375
 376 | Find NDR with 4 cores and rss 2 by using RFC2544 binary search and 64B frames through IPv4 forwarding with COP in 3-node topology
 377 | | [Documentation]
 378 | | ... | Find throughput on 4 cores and rss 2 with non drop rate for 64B
 379 | | ... | frames by using binary search with threshold 0.1Mpps.
 380 | | [Tags] | 4_THREAD_NOHTT_RSS_2 | MULTI_THREAD | NDR
 381 | | ${framesize}= | Set Variable | 64
 382 | | ${min_rate}= | Set Variable | 100000
 383 | | ${max_rate}= | Set Variable | ${10Ge_linerate_pps_64B}
 384 | | ${binary_min}= | Set Variable | ${min_rate}
 385 | | ${binary_max}= | Set Variable | ${max_rate}
 386 | | ${threshold}= | Set Variable | ${min_rate}
 387 | | Given Add '4' worker threads and rss '2' without HTT to all DUTs
 388 | | And   Add all PCI devices to all DUTs
 389 | | And   Add No Multi Seg to all DUTs
 390 | | And   Apply startup configuration on all VPP DUTs
 391 | | When  IPv4 forwarding initialized in a 3-node circular topology
 392 | | And   Add fib table | ${dut1} | 10.10.10.0 | 24 | 1 | local
 393 | | And   Add fib table | ${dut2} | 20.20.20.0 | 24 | 1 | local
 394 | | And   COP Add whitelist Entry | ${dut1} | ${dut1_if1} | ip4 | 1
 395 | | And   COP Add whitelist Entry | ${dut2} | ${dut2_if2} | ip4 | 1
 396 | | And   COP interface enable or disable | ${dut1} | ${dut1_if1} | enable
 397 | | And   COP interface enable or disable | ${dut2} | ${dut2_if2} | enable
 398 | | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
 399 | | ...                                       | ${binary_max} | 3-node-IPv4
 400 | | ...                                       | ${min_rate} | ${max_rate}
 401 | | ...                                       | ${threshold}
 402
 403 | Find PDR with 4 cores and rss 2 by using RFC2544 binary search and 64B frames through IPv4 forwarding with COP in 3-node topology
 404 | | [Documentation]
 405 | | ... | Find throughput on 4 cores and rss 2 with partial drop rate for 64B
 406 | | ... | frames by using binary search with threshold 0.1Mpps. Loss acceptance
 407 | | ... | is set to 0.5 percent of transmitted packets.
 408 | | [Tags] | 4_THREAD_NOHTT_RSS_2 | MULTI_THREAD | PDR
 409 | | ${framesize}= | Set Variable | 64
 410 | | ${min_rate}= | Set Variable | 100000
 411 | | ${max_rate}= | Set Variable | ${10Ge_linerate_pps_64B}
 412 | | ${binary_min}= | Set Variable | ${min_rate}
 413 | | ${binary_max}= | Set Variable | ${max_rate}
 414 | | ${threshold}= | Set Variable | ${min_rate}
 415 | | Given Add '4' worker threads and rss '2' without HTT to all DUTs
 416 | | And   Add all PCI devices to all DUTs
 417 | | And   Add No Multi Seg to all DUTs
 418 | | And   Apply startup configuration on all VPP DUTs
 419 | | When  IPv4 forwarding initialized in a 3-node circular topology
 420 | | And   Add fib table | ${dut1} | 10.10.10.0 | 24 | 1 | local
 421 | | And   Add fib table | ${dut2} | 20.20.20.0 | 24 | 1 | local
 422 | | And   COP Add whitelist Entry | ${dut1} | ${dut1_if1} | ip4 | 1
 423 | | And   COP Add whitelist Entry | ${dut2} | ${dut2_if2} | ip4 | 1
 424 | | And   COP interface enable or disable | ${dut1} | ${dut1_if1} | enable
 425 | | And   COP interface enable or disable | ${dut2} | ${dut2_if2} | enable
 426 | | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
 427 | | ...                                       | ${binary_max} | 3-node-IPv4
 428 | | ...                                       | ${min_rate} | ${max_rate}
 429 | | ...                                       | ${threshold}
 430 | | ...                                       | ${glob_loss_acceptance}
 431 | | ...                                       | ${glob_loss_acceptance_type}
 432
 433 | Find NDR with 4 cores and rss 2 by using RFC2544 binary search and 1518B frames through IPv4 forwarding with COP in 3-node topology
 434 | | [Documentation]
 435 | | ... | Find throughput on 4 cores and rss 2 with non drop rate for 1518B
 436 | | ... | frames by using binary search with threshold 10,000pps.
 437 | | [Tags] | 4_THREAD_NOHTT_RSS_2 | MULTI_THREAD | NDR
 438 | | ${framesize}= | Set Variable | 1518
 439 | | ${min_rate}= | Set Variable | 10000
 440 | | ${max_rate}= | Set Variable | ${10Ge_linerate_pps_1518B}
 441 | | ${binary_min}= | Set Variable | ${min_rate}
 442 | | ${binary_max}= | Set Variable | ${max_rate}
 443 | | ${threshold}= | Set Variable | ${min_rate}
 444 | | Given Add '4' worker threads and rss '2' without HTT to all DUTs
 445 | | And   Add all PCI devices to all DUTs
 446 | | And   Add No Multi Seg to all DUTs
 447 | | And   Apply startup configuration on all VPP DUTs
 448 | | When  IPv4 forwarding initialized in a 3-node circular topology
 449 | | And   Add fib table | ${dut1} | 10.10.10.0 | 24 | 1 | local
 450 | | And   Add fib table | ${dut2} | 20.20.20.0 | 24 | 1 | local
 451 | | And   COP Add whitelist Entry | ${dut1} | ${dut1_if1} | ip4 | 1
 452 | | And   COP Add whitelist Entry | ${dut2} | ${dut2_if2} | ip4 | 1
 453 | | And   COP interface enable or disable | ${dut1} | ${dut1_if1} | enable
 454 | | And   COP interface enable or disable | ${dut2} | ${dut2_if2} | enable
 455 | | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
 456 | | ...                                       | ${binary_max} | 3-node-IPv4
 457 | | ...                                       | ${min_rate} | ${max_rate}
 458 | | ...                                       | ${threshold}
 459
 460 | Find PDR with 4 cores and rss 2 by using RFC2544 binary search and 1518B frames through IPv4 forwarding with COP in 3-node topology
 461 | | [Documentation]
 462 | | ... | Find throughput on 4 cores and rss 2 with partial drop rate for 1518B
 463 | | ... | frames by using binary search with threshold 10,000pps. Loss
 464 | | ... | acceptance is set to 0.5 percent of transmitted packets.
 465 | | [Tags] | 4_THREAD_NOHTT_RSS_2 | MULTI_THREAD | PDR
 466 | | ${framesize}= | Set Variable | 1518
 467 | | ${min_rate}= | Set Variable | 10000
 468 | | ${max_rate}= | Set Variable | ${10Ge_linerate_pps_1518B}
 469 | | ${binary_min}= | Set Variable | ${min_rate}
 470 | | ${binary_max}= | Set Variable | ${max_rate}
 471 | | ${threshold}= | Set Variable | ${min_rate}
 472 | | Given Add '4' worker threads and rss '2' without HTT to all DUTs
 473 | | And   Add all PCI devices to all DUTs
 474 | | And   Add No Multi Seg to all DUTs
 475 | | And   Apply startup configuration on all VPP DUTs
 476 | | When  IPv4 forwarding initialized in a 3-node circular topology
 477 | | And   Add fib table | ${dut1} | 10.10.10.0 | 24 | 1 | local
 478 | | And   Add fib table | ${dut2} | 20.20.20.0 | 24 | 1 | local
 479 | | And   COP Add whitelist Entry | ${dut1} | ${dut1_if1} | ip4 | 1
 480 | | And   COP Add whitelist Entry | ${dut2} | ${dut2_if2} | ip4 | 1
 481 | | And   COP interface enable or disable | ${dut1} | ${dut1_if1} | enable
 482 | | And   COP interface enable or disable | ${dut2} | ${dut2_if2} | enable
 483 | | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
 484 | | ...                                       | ${binary_max} | 3-node-IPv4
 485 | | ...                                       | ${min_rate} | ${max_rate}
 486 | | ...                                       | ${threshold}
 487 | | ...                                       | ${glob_loss_acceptance}
 488 | | ...                                       | ${glob_loss_acceptance_type}
 489
 490 | Find NDR with 4 cores and rss 2 by using RFC2544 linear search and 9000B frames through IPv4 forwarding with COP in 3-node topology
 491 | | [Documentation]
 492 | | ... | Find throughput on 4 cores and rss 2 with non drop rate for 9000B
 493 | | ... | frames by using binary search with threshold 5,000pps.
 494 | | [Tags] | 4_THREAD_NOHTT_RSS_2 | MULTI_THREAD | NDR
 495 | | ${framesize}= | Set Variable | 9000
 496 | | ${min_rate}= | Set Variable | 5000
 497 | | ${max_rate}= | Set Variable | ${10Ge_linerate_pps_9000B}
 498 | | ${binary_min}= | Set Variable | ${min_rate}
 499 | | ${binary_max}= | Set Variable | ${max_rate}
 500 | | ${threshold}= | Set Variable | ${min_rate}
 501 | | Given Add '4' worker threads and rss '2' without HTT to all DUTs
 502 | | And   Add all PCI devices to all DUTs
 503 | | And   Apply startup configuration on all VPP DUTs
 504 | | When  IPv4 forwarding initialized in a 3-node circular topology
 505 | | And   Add fib table | ${dut1} | 10.10.10.0 | 24 | 1 | local
 506 | | And   Add fib table | ${dut2} | 20.20.20.0 | 24 | 1 | local
 507 | | And   COP Add whitelist Entry | ${dut1} | ${dut1_if1} | ip4 | 1
 508 | | And   COP Add whitelist Entry | ${dut2} | ${dut2_if2} | ip4 | 1
 509 | | And   COP interface enable or disable | ${dut1} | ${dut1_if1} | enable
 510 | | And   COP interface enable or disable | ${dut2} | ${dut2_if2} | enable
 511 | | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
 512 | | ...                                       | ${binary_max} | 3-node-IPv4
 513 | | ...                                       | ${min_rate} | ${max_rate}
 514 | | ...                                       | ${threshold}
 515
 516 | Find PDR with 4 cores and rss 2 by using RFC2544 linear search and 9000B frames through IPv4 forwarding with COP in 3-node topology
 517 | | [Documentation]
 518 | | ... | Find throughput on 4 cores and rss 2 with partial drop rate for 9000B
 519 | | ... | frames by using binary search with threshold 5,000pps. Loss
 520 | | ... | acceptance is set to 0.5 percent of transmitted packets.
 521 | | [Tags] | 4_THREAD_NOHTT_RSS_2 | MULTI_THREAD | PDR
 522 | | ${framesize}= | Set Variable | 9000
 523 | | ${min_rate}= | Set Variable | 5000
 524 | | ${max_rate}= | Set Variable | ${10Ge_linerate_pps_9000B}
 525 | | ${binary_min}= | Set Variable | ${min_rate}
 526 | | ${binary_max}= | Set Variable | ${max_rate}
 527 | | ${threshold}= | Set Variable | ${min_rate}
 528 | | Given Add '4' worker threads and rss '2' without HTT to all DUTs
 529 | | And   Add all PCI devices to all DUTs
 530 | | And   Apply startup configuration on all VPP DUTs
 531 | | When  IPv4 forwarding initialized in a 3-node circular topology
 532 | | And   Add fib table | ${dut1} | 10.10.10.0 | 24 | 1 | local
 533 | | And   Add fib table | ${dut2} | 20.20.20.0 | 24 | 1 | local
 534 | | And   COP Add whitelist Entry | ${dut1} | ${dut1_if1} | ip4 | 1
 535 | | And   COP Add whitelist Entry | ${dut2} | ${dut2_if2} | ip4 | 1
 536 | | And   COP interface enable or disable | ${dut1} | ${dut1_if1} | enable
 537 | | And   COP interface enable or disable | ${dut2} | ${dut2_if2} | enable
 538 | | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
 539 | | ...                                       | ${binary_max} | 3-node-IPv4
 540 | | ...                                       | ${min_rate} | ${max_rate}
 541 | | ...                                       | ${threshold}
 542 | | ...                                       | ${glob_loss_acceptance}
 543 | | ...                                       | ${glob_loss_acceptance_type}
 544