resources/libraries/robot/performance/performance_setup.robot

   1 # Copyright (c) 2017 Cisco and/or its affiliates.
   2 # Licensed under the Apache License, Version 2.0 (the "License");
   3 # you may not use this file except in compliance with the License.
   4 # You may obtain a copy of the License at:
   5 #
   6 #     http://www.apache.org/licenses/LICENSE-2.0
   7 #
   8 # Unless required by applicable law or agreed to in writing, software
   9 # distributed under the License is distributed on an "AS IS" BASIS,
  10 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  11 # See the License for the specific language governing permissions and
  12 # limitations under the License.
  13
  14 *** Settings ***
  15 | Library | resources.libraries.python.DUTSetup
  16 | Library | resources.libraries.python.VhostUser
  17 | Resource | resources/libraries/robot/performance/performance_configuration.robot
  18 | Resource | resources/libraries/robot/performance/performance_utils.robot
  19 | Documentation | Performance suite keywords - Suite and test setups and
  20 | ... | teardowns.
  21
  22 *** Keywords ***
  23
  24 # Keywords used in setups and teardowns
  25
  26 | Set variables in 2-node circular topology
  27 | | [Documentation]
  28 | | ... | Compute path for testing on two given nodes in circular
  29 | | ... | topology and set corresponding suite variables.
  30 | | ...
  31 | | ... | _NOTE:_ This KW sets following suite variables:
  32 | | ... | - tg - TG node
  33 | | ... | - tg_if1 - 1st TG interface towards DUT.
  34 | | ... | - tg_if2 - 2nd TG interface towards DUT.
  35 | | ... | - dut1 - DUT1 node
  36 | | ... | - dut1_if1 - 1st DUT interface towards TG.
  37 | | ... | - dut1_if2 - 2nd DUT interface towards TG.
  38 | | ...
  39 | | Append Nodes | ${nodes['TG']} | ${nodes['DUT1']} | ${nodes['TG']}
  40 | | Compute Path | always_same_link=${FALSE}
  41 | | ${tg_if1} | ${tg}= | First Interface
  42 | | ${dut1_if1} | ${dut1}= | First Ingress Interface
  43 | | ${dut1_if2} | ${dut1}= | Last Egress Interface
  44 | | ${tg_if2} | ${tg}= | Last Interface
  45 | | Set Suite Variable | ${tg}
  46 | | Set Suite Variable | ${tg_if1}
  47 | | Set Suite Variable | ${tg_if2}
  48 | | Set Suite Variable | ${dut1}
  49 | | Set Suite Variable | ${dut1_if1}
  50 | | Set Suite Variable | ${dut1_if2}
  51
  52 | Set variables in 3-node circular topology
  53 | | [Documentation]
  54 | | ... | Compute path for testing on three given nodes in circular
  55 | | ... | topology and set corresponding suite variables.
  56 | | ...
  57 | | ... | _NOTE:_ This KW sets following suite variables:
  58 | | ... | - tg - TG node
  59 | | ... | - tg_if1 - TG interface towards DUT1.
  60 | | ... | - tg_if2 - TG interface towards DUT2.
  61 | | ... | - dut1 - DUT1 node
  62 | | ... | - dut1_if1 - DUT1 interface towards TG.
  63 | | ... | - dut1_if2 - DUT1 interface towards DUT2.
  64 | | ... | - dut2 - DUT2 node
  65 | | ... | - dut2_if1 - DUT2 interface towards DUT1.
  66 | | ... | - dut2_if2 - DUT2 interface towards TG.
  67 | | ...
  68 | | Append Nodes | ${nodes['TG']} | ${nodes['DUT1']} | ${nodes['DUT2']}
  69 | | ... | ${nodes['TG']}
  70 | | Compute Path
  71 | | ${tg_if1} | ${tg}= | Next Interface
  72 | | ${dut1_if1} | ${dut1}= | Next Interface
  73 | | ${dut1_if2} | ${dut1}= | Next Interface
  74 | | ${dut2_if1} | ${dut2}= | Next Interface
  75 | | ${dut2_if2} | ${dut2}= | Next Interface
  76 | | ${tg_if2} | ${tg}= | Next Interface
  77 | | Set Suite Variable | ${tg}
  78 | | Set Suite Variable | ${tg_if1}
  79 | | Set Suite Variable | ${tg_if2}
  80 | | Set Suite Variable | ${dut1}
  81 | | Set Suite Variable | ${dut1_if1}
  82 | | Set Suite Variable | ${dut1_if2}
  83 | | Set Suite Variable | ${dut2}
  84 | | Set Suite Variable | ${dut2_if1}
  85 | | Set Suite Variable | ${dut2_if2}
  86
  87 | Set variables in 2-node circular topology with DUT interface model
  88 | | [Documentation]
  89 | | ... | Compute path for testing on two given nodes in circular topology
  90 | | ... | based on interface model provided as an argument and set
  91 | | ... | corresponding suite variables.
  92 | | ...
  93 | | ... | *Arguments:*
  94 | | ... | - iface_model - Interface model. Type: string
  95 | | ...
  96 | | ... | _NOTE:_ This KW sets following suite variables:
  97 | | ... | - tg - TG node
  98 | | ... | - tg_if1 - 1st TG interface towards DUT.
  99 | | ... | - tg_if2 - 2nd TG interface towards DUT.
 100 | | ... | - dut1 - DUT1 node
 101 | | ... | - dut1_if1 - 1st DUT interface towards TG.
 102 | | ... | - dut1_if2 - 2nd DUT interface towards TG.
 103 | | ...
 104 | | ... | *Example:*
 105 | | ...
 106 | | ... | \| Set variables in 2-node circular topology with DUT interface model\
 107 | | ... | \| Intel-X520-DA2 \|
 108 | | ...
 109 | | [Arguments] | ${iface_model}
 110 | | ...
 111 | | ${iface_model_list}= | Create list | ${iface_model}
 112 | | Append Node | ${nodes['TG']}
 113 | | Append Node | ${nodes['DUT1']} | filter_list=${iface_model_list}
 114 | | Append Node | ${nodes['TG']}
 115 | | Compute Path | always_same_link=${FALSE}
 116 | | ${tg_if1} | ${tg}= | First Interface
 117 | | ${dut1_if1} | ${dut1}= | First Ingress Interface
 118 | | ${dut1_if2} | ${dut1}= | Last Egress Interface
 119 | | ${tg_if2} | ${tg}= | Last Interface
 120 | | Set Suite Variable | ${tg}
 121 | | Set Suite Variable | ${tg_if1}
 122 | | Set Suite Variable | ${tg_if2}
 123 | | Set Suite Variable | ${dut1}
 124 | | Set Suite Variable | ${dut1_if1}
 125 | | Set Suite Variable | ${dut1_if2}
 126
 127 | Set variables in 3-node circular topology with DUT interface model
 128 | | [Documentation]
 129 | | ... | Compute path for testing on three given nodes in circular topology
 130 | | ... | based on interface model provided as an argument and set
 131 | | ... | corresponding suite variables.
 132 | | ...
 133 | | ... | *Arguments:*
 134 | | ... | - iface_model - Interface model. Type: string
 135 | | ...
 136 | | ... | _NOTE:_ This KW sets following suite variables:
 137 | | ... | - tg - TG node
 138 | | ... | - tg_if1 - TG interface towards DUT1.
 139 | | ... | - tg_if2 - TG interface towards DUT2.
 140 | | ... | - dut1 - DUT1 node
 141 | | ... | - dut1_if1 - DUT1 interface towards TG.
 142 | | ... | - dut1_if2 - DUT1 interface towards DUT2.
 143 | | ... | - dut2 - DUT2 node
 144 | | ... | - dut2_if1 - DUT2 interface towards TG.
 145 | | ... | - dut2_if2 - DUT2 interface towards DUT1.
 146 | | ...
 147 | | ... | *Example:*
 148 | | ...
 149 | | ... | \| Set variables in 3-node circular topology with DUT interface model\
 150 | | ... | \| Intel-X520-DA2 \|
 151 | | ...
 152 | | [Arguments] | ${iface_model}
 153 | | ...
 154 | | ${iface_model_list}= | Create list | ${iface_model}
 155 | | Append Node | ${nodes['TG']}
 156 | | Append Node | ${nodes['DUT1']} | filter_list=${iface_model_list}
 157 | | Append Node | ${nodes['DUT2']} | filter_list=${iface_model_list}
 158 | | Append Node | ${nodes['TG']}
 159 | | Compute Path
 160 | | ${tg_if1} | ${tg}= | Next Interface
 161 | | ${dut1_if1} | ${dut1}= | Next Interface
 162 | | ${dut1_if2} | ${dut1}= | Next Interface
 163 | | ${dut2_if1} | ${dut2}= | Next Interface
 164 | | ${dut2_if2} | ${dut2}= | Next Interface
 165 | | ${tg_if2} | ${tg}= | Next Interface
 166 | | Set Suite Variable | ${tg}
 167 | | Set Suite Variable | ${tg_if1}
 168 | | Set Suite Variable | ${tg_if2}
 169 | | Set Suite Variable | ${dut1}
 170 | | Set Suite Variable | ${dut1_if1}
 171 | | Set Suite Variable | ${dut1_if2}
 172 | | Set Suite Variable | ${dut2}
 173 | | Set Suite Variable | ${dut2_if1}
 174 | | Set Suite Variable | ${dut2_if2}
 175
 176 | Tear down guest VM with dpdk-testpmd
 177 | | [Documentation]
 178 | | ... | Stop all qemu processes with dpdk-testpmd running on ${dut_node}.
 179 | | ... | Argument is dictionary of all qemu nodes running with its names.
 180 | | ... | Dpdk-testpmd is stopped gracefully with printing stats.
 181 | | ...
 182 | | ... | *Arguments:*
 183 | | ... | - dut_node - Node where to clean qemu. Type: dictionary
 184 | | ... | - dut_vm_refs - VM references on node. Type: dictionary
 185 | | ...
 186 | | ... | *Example:*
 187 | | ...
 188 | | ... | \| Tear down guest VM with dpdk-testpmd \| ${node['DUT1']} \
 189 | | ... | \| ${dut_vm_refs} \|
 190 | | ...
 191 | | [Arguments] | ${dut_node} | ${dut_vm_refs}
 192 | | ${vms_number}= | Get Length | ${dut_vm_refs}
 193 | | ${index}= | Set Variable | ${0}
 194 | | :FOR | ${vm_name} | IN | @{dut_vm_refs}
 195 | | | ${vm}= | Get From Dictionary | ${dut_vm_refs} | ${vm_name}
 196 | | | ${index}= | Evaluate | ${index} + 1
 197 | | | Dpdk Testpmd Stop | ${vm}
 198 | | | Run Keyword | ${vm_name}.Qemu Set Node | ${dut_node}
 199 | | | Run Keyword | ${vm_name}.Qemu Clear Socks
 200 | | | Run Keyword If | '${index}' == '${vms_number}' | ${vm_name}.Qemu Kill All
 201
 202 | Tear down guest VM
 203 | | [Documentation]
 204 | | ... | Stop all qemu processes running on ${dut_node}.
 205 | | ... | Argument is dictionary of all qemu nodes running with its names.
 206 | | ...
 207 | | ... | *Arguments:*
 208 | | ... | - dut_node - Node where to clean qemu. Type: dictionary
 209 | | ... | - dut_vm_refs - VM references on node. Type: dictionary
 210 | | ...
 211 | | ... | *Example:*
 212 | | ...
 213 | | ... | \| Tear down guest VM \| ${node['DUT1']} \
 214 | | ... | \| ${dut_vm_refs} \|
 215 | | ...
 216 | | [Arguments] | ${dut_node} | ${dut_vm_refs}
 217 | | ${vms_number}= | Get Length | ${dut_vm_refs}
 218 | | ${index}= | Set Variable | ${0}
 219 | | :FOR | ${vm_name} | IN | @{dut_vm_refs}
 220 | | | ${vm}= | Get From Dictionary | ${dut_vm_refs} | ${vm_name}
 221 | | | ${index}= | Evaluate | ${index} + 1
 222 | | | Run Keyword | ${vm_name}.Qemu Set Node | ${dut_node}
 223 | | | Run Keyword | ${vm_name}.Qemu Clear Socks
 224 | | | Run Keyword If | '${index}' == '${vms_number}' | ${vm_name}.Qemu Kill All
 225
 226 # Suite setups
 227
 228 | Set up 2-node performance topology with DUT's NIC model
 229 | | [Documentation]
 230 | | ... | Suite preparation phase that setup default startup configuration of
 231 | | ... | VPP on all DUTs. Updates interfaces on all nodes and setup global
 232 | | ... | variables used in test cases based on interface model provided as an
 233 | | ... | argument. Initializes traffic generator.
 234 | | ...
 235 | | ... | *Arguments:*
 236 | | ... | - topology_type - Topology type. Type: string
 237 | | ... | - nic_model - Interface model. Type: string
 238 | | ...
 239 | | ... | *Example:*
 240 | | ...
 241 | | ... | \| 2-node Performance Suite Setup \| L2 \| Intel-X520-DA2 \|
 242 | | ...
 243 | | [Arguments] | ${topology_type} | ${nic_model}
 244 | | ...
 245 | | Show vpp version on all DUTs | ${nodes}
 246 | | Set variables in 2-node circular topology with DUT interface model
 247 | | ... | ${nic_model}
 248 | | Initialize traffic generator | ${tg} | ${tg_if1} | ${tg_if2}
 249 | | ... | ${dut1} | ${dut1_if1} | ${dut1} | ${dut1_if2} | ${topology_type}
 250
 251 | Set up 2-node-switched performance topology with DUT's NIC model
 252 | | [Documentation]
 253 | | ... | Suite preparation phase that setup default startup configuration of
 254 | | ... | VPP on all DUTs. Updates interfaces on all nodes and setup global
 255 | | ... | variables used in test cases based on interface model provided as an
 256 | | ... | argument. Initializes traffic generator.
 257 | | ...
 258 | | ... | *Arguments:*
 259 | | ... | - topology_type - Topology type. Type: string
 260 | | ... | - nic_model - Interface model. Type: string
 261 | | ... | - tg_if1_dest_mac - Interface 1 destination MAC address. Type: string
 262 | | ... | - tg_if2_dest_mac - Interface 2 destination MAC address. Type: string
 263 | | ...
 264 | | ... | *Example:*
 265 | | ...
 266 | | ... | \| 2-node Performance Suite Setup \| L2 \| Intel-X520-DA2 \
 267 | | ... | \| 22:22:33:44:55:66 \| 22:22:33:44:55:55 \|
 268 | | ...
 269 | | [Arguments] | ${topology_type} | ${nic_model} | ${tg_if1_dest_mac}
 270 | | ... | ${tg_if2_dest_mac}
 271 | | ...
 272 | | Show vpp version on all DUTs | ${nodes}
 273 | | Set variables in 2-node circular topology with DUT interface model
 274 | | ... | ${nic_model}
 275 | | Initialize traffic generator | ${tg} | ${tg_if1} | ${tg_if2}
 276 | | ... | ${dut1} | ${dut1_if1} | ${dut1} | ${dut1_if2} | ${topology_type}
 277 | | ... | ${tg_if1_dest_mac} | ${tg_if2_dest_mac}
 278
 279 | Set up 3-node performance topology with DUT's NIC model
 280 | | [Documentation]
 281 | | ... | Suite preparation phase that setup default startup configuration of
 282 | | ... | VPP on all DUTs. Updates interfaces on all nodes and setup global
 283 | | ... | variables used in test cases based on interface model provided as an
 284 | | ... | argument. Initializes traffic generator.
 285 | | ...
 286 | | ... | *Arguments:*
 287 | | ... | - topology_type - Topology type. Type: string
 288 | | ... | - nic_model - Interface model. Type: string
 289 | | ...
 290 | | ... | *Example:*
 291 | | ...
 292 | | ... | \| Set up 3-node performance topology with DUT's NIC model \| L2 \
 293 | | ... | \| Intel-X520-DA2 \|
 294 | | ...
 295 | | [Arguments] | ${topology_type} | ${nic_model}
 296 | | ...
 297 | | Show vpp version on all DUTs | ${nodes}
 298 | | Set variables in 3-node circular topology with DUT interface model
 299 | | ... | ${nic_model}
 300 | | Initialize traffic generator | ${tg} | ${tg_if1} | ${tg_if2}
 301 | | ... | ${dut1} | ${dut1_if1} | ${dut2} | ${dut2_if2} | ${topology_type}
 302
 303 | Set up DPDK 2-node performance topology with DUT's NIC model
 304 | | [Documentation]
 305 | | ... | Updates interfaces on all nodes and setup global
 306 | | ... | variables used in test cases based on interface model provided as an
 307 | | ... | argument. Initializes traffic generator. Initializes DPDK test
 308 | | ... | environment.
 309 | | ...
 310 | | ... | *Arguments:*
 311 | | ... | - topology_type - Topology type. Type: string
 312 | | ... | - nic_model - Interface model. Type: string
 313 | | ...
 314 | | ... | *Example:*
 315 | | ...
 316 | | ... | \| Set up DPDK 2-node performance topology with DUT's NIC model \
 317 | | ... | \| L2 \| Intel-X520-DA2 \|
 318 | | ...
 319 | | [Arguments] | ${topology_type} | ${nic_model}
 320 | | ...
 321 | | Set variables in 2-node circular topology with DUT interface model
 322 | | ... | ${nic_model}
 323 | | Initialize traffic generator | ${tg} | ${tg_if1} | ${tg_if2}
 324 | | ... | ${dut1} | ${dut1_if1} | ${dut1} | ${dut1_if2} | ${topology_type}
 325 | | Initialize DPDK Environment | ${dut1} | ${dut1_if1} | ${dut1_if2}
 326
 327 | Set up DPDK 3-node performance topology with DUT's NIC model
 328 | | [Documentation]
 329 | | ... | Updates interfaces on all nodes and setup global
 330 | | ... | variables used in test cases based on interface model provided as an
 331 | | ... | argument. Initializes traffic generator. Initializes DPDK test
 332 | | ... | environment.
 333 | | ...
 334 | | ... | *Arguments:*
 335 | | ... | - topology_type - Topology type. Type: string
 336 | | ... | - nic_model - Interface model. Type: string
 337 | | ...
 338 | | ... | *Example:*
 339 | | ...
 340 | | ... | \| 3-node Performance Suite Setup \| L2 \| Intel-X520-DA2 \|
 341 | | ...
 342 | | [Arguments] | ${topology_type} | ${nic_model}
 343 | | ...
 344 | | Set variables in 3-node circular topology with DUT interface model
 345 | | ... | ${nic_model}
 346 | | Initialize traffic generator | ${tg} | ${tg_if1} | ${tg_if2}
 347 | | ... | ${dut1} | ${dut1_if1} | ${dut2} | ${dut2_if2} | ${topology_type}
 348 | | Initialize DPDK Environment | ${dut1} | ${dut1_if1} | ${dut1_if2}
 349 | | Initialize DPDK Environment | ${dut2} | ${dut2_if1} | ${dut2_if2}
 350
 351 | Set up IPSec performance test suite
 352 | | [Documentation]
 353 | | ... | Suite preparation phase that sets default startup configuration of
 354 | | ... | VPP on all DUTs. Updates interfaces on all nodes and sets global
 355 | | ... | variables used in test cases based on interface model provided as an
 356 | | ... | argument. Initializes traffic generator.
 357 | | ... | Then it configures crypto device and kernel module on all DUTs.
 358 | | ...
 359 | | ... | *Arguments:*
 360 | | ... | - topology_type - Topology type. Type: string
 361 | | ... | - nic_model - Interface model. Type: string
 362 | | ...
 363 | | ... | *Example:*
 364 | | ...
 365 | | ... | \| Set up IPSec performance test suite \| L2 \
 366 | | ... | \| Intel-X520-DA2 \|
 367 | | ...
 368 | | [Arguments] | ${topology_type} | ${nic_model}
 369 | | ...
 370 | | Set up 3-node performance topology with DUT's NIC model
 371 | | ... | ${topology_type} | ${nic_model}
 372 | | Configure crypto device on all DUTs | force_init=${True}
 373 | | Configure kernel module on all DUTs | igb_uio | force_load=${True}
 374
 375 | Set up performance topology with containers
 376 | | [Documentation]
 377 | | ... | Suite preparation phase that starts containers
 378 | | ...
 379 | | Set Suite Variable | @{container_groups} | @{EMPTY}
 380 | | Construct VNF containers on all DUTs
 381 | | Acquire all 'VNF' containers
 382 | | Create all 'VNF' containers
 383 | | Configure VPP in all 'VNF' containers
 384 | | Install VPP in all 'VNF' containers
 385
 386 # Suite teardowns
 387
 388 | Tear down 3-node performance topology
 389 | | [Documentation]
 390 | | ... | Suite teardown phase with traffic generator teardown.
 391 | | ...
 392 | | Teardown traffic generator | ${tg}
 393
 394 | Tear down 3-node performance topology with container
 395 | | [Documentation]
 396 | | ... | Suite teardown phase with traffic generator teardown and container
 397 | | ... | destroy.
 398 | | ...
 399 | | Teardown traffic generator | ${tg}
 400 | | :FOR | ${group} | IN | @{container_groups}
 401 | | | Destroy all '${group}' containers
 402
 403 | Tear down 2-node performance topology
 404 | | [Documentation]
 405 | | ... | Suite teardown phase with traffic generator teardown.
 406 | | ...
 407 | | Teardown traffic generator | ${tg}
 408
 409 | Tear down 2-node performance topology with container
 410 | | [Documentation]
 411 | | ... | Suite teardown phase with traffic generator teardown and container
 412 | | ... | destroy.
 413 | | ...
 414 | | Teardown traffic generator | ${tg}
 415 | | :FOR | ${group} | IN | @{container_groups}
 416 | | | Destroy all '${group}' containers
 417
 418 # Tests setups
 419
 420 | Set up performance test
 421 | | [Documentation] | Common test setup for performance tests.
 422 | | ...
 423 | | Reset VAT History On All DUTs | ${nodes}
 424 | | Create base startup configuration of VPP on all DUTs
 425
 426 # Tests teardowns
 427
 428 | Tear down performance discovery test
 429 | | [Documentation] | Common test teardown for ndrdisc and pdrdisc performance \
 430 | | ... | tests.
 431 | | ...
 432 | | ... | *Arguments:*
 433 | | ... | - rate - Rate for sending packets. Type: string
 434 | | ... | - framesize - L2 Frame Size [B]. Type: integer
 435 | | ... | - topology_type - Topology type. Type: string
 436 | | ...
 437 | | ... | *Example:*
 438 | | ...
 439 | | ... | \| Tear down performance discovery test \| 4.0mpps \| 64 \
 440 | | ... | \| 3-node-IPv4 \|
 441 | | ...
 442 | | [Arguments] | ${rate} | ${framesize} | ${topology_type}
 443 | | ...
 444 | | Show VAT History On All DUTs | ${nodes}
 445 | | Show statistics on all DUTs | ${nodes}
 446 | | Run Keyword If Test Failed
 447 | | ... | Traffic should pass with no loss | ${perf_trial_duration} | ${rate}
 448 | | ... | ${framesize} | ${topology_type} | fail_on_loss=${False}
 449
 450 | Tear down performance ndrchk test
 451 | | [Documentation] | Common test teardown for ndrchk performance tests.
 452 | | ...
 453 | | Show VAT History On All DUTs | ${nodes}
 454 | | Show statistics on all DUTs | ${nodes}
 455
 456 | Tear down performance pdrchk test
 457 | | [Documentation] | Common test teardown for pdrchk performance tests.
 458 | | ...
 459 | | Show VAT History On All DUTs | ${nodes}
 460 | | Show statistics on all DUTs | ${nodes}
 461
 462 | Tear down performance test with vhost and VM with dpdk-testpmd
 463 | | [Documentation] | Common test teardown for performance tests which use
 464 | | ... | vhost(s) and VM(s) with dpdk-testpmd.
 465 | | ...
 466 | | ... | *Arguments:*
 467 | | ... | - rate - Rate for sending packets. Type: string
 468 | | ... | - framesize - L2 Frame Size [B]. Type: integer
 469 | | ... | - topology_type - Topology type. Type: string
 470 | | ... | - dut1_node - Node where to clean qemu. Type: dictionary
 471 | | ... | - dut1_vm_refs - VM references on node. Type: dictionary
 472 | | ... | - dut2_node - Node where to clean qemu. Type: dictionary
 473 | | ... | - dut2_vm_refs - VM references on node. Type: dictionary
 474 | | ...
 475 | | ... | *Example:*
 476 | | ...
 477 | | ... | \| Tear down performance test with vhost and VM with dpdk-testpmd \
 478 | | ... | \| 4.0mpps \| 64 \| 3-node-IPv4 \| ${node['DUT1']} \| ${dut_vm_refs} \
 479 | | ... | \| ${node['DUT2']} \| ${dut_vm_refs} \|
 480 | | ...
 481 | | [Arguments] | ${rate} | ${framesize} | ${topology_type}
 482 | | ... | ${dut1_node}=${None} | ${dut1_vm_refs}=${None}
 483 | | ... | ${dut2_node}=${None} | ${dut2_vm_refs}=${None}
 484 | | ...
 485 | | Show VAT History On All DUTs | ${nodes}
 486 | | Show VPP vhost on all DUTs | ${nodes}
 487 | | Show statistics on all DUTs | ${nodes}
 488 | | Run Keyword If Test Failed
 489 | | ... | Traffic should pass with no loss | ${perf_trial_duration} | ${rate}
 490 | | ... | ${framesize} | ${topology_type} | fail_on_loss=${False}
 491 | | Run keyword unless | ${dut1_node}==${None}
 492 | | ... | Tear down guest VM with dpdk-testpmd | ${dut1} | ${dut1_vm_refs}
 493 | | Run keyword unless | ${dut2_node}==${None}
 494 | | ... | Tear down guest VM with dpdk-testpmd | ${dut2} | ${dut2_vm_refs}
 495
 496 | Tear down performance pdrchk test with vhost and VM with dpdk-testpmd
 497 | | [Documentation] | Common test teardown for performance pdrchk tests which \
 498 | | ... | use vhost(s) and VM(s) with dpdk-testpmd.
 499 | | ...
 500 | | ... | *Arguments:*
 501 | | ... | - rate - Rate for sending packets. Type: string
 502 | | ... | - framesize - L2 Frame Size [B]. Type: integer
 503 | | ... | - topology_type - Topology type. Type: string
 504 | | ... | - dut1_node - Node where to clean qemu. Type: dictionary
 505 | | ... | - dut1_vm_refs - VM references on node. Type: dictionary
 506 | | ... | - dut2_node - Node where to clean qemu. Type: dictionary
 507 | | ... | - dut2_vm_refs - VM references on node. Type: dictionary
 508 | | ...
 509 | | ... | *Example:*
 510 | | ...
 511 | | ... | \| Tear down performance pdrchk test with vhost and VM with \
 512 | | ... | dpdk-testpmd \| 4.0mpps \| 64 \| 3-node-IPv4 \| ${node['DUT1']} \
 513 | | ... | \| ${dut_vm_refs} \| ${node['DUT2']} \| ${dut_vm_refs} \|
 514 | | ...
 515 | | [Arguments] | ${rate} | ${framesize} | ${topology_type}
 516 | | ... | ${dut1_node}=${None} | ${dut1_vm_refs}=${None}
 517 | | ... | ${dut2_node}=${None} | ${dut2_vm_refs}=${None}
 518 | | ...
 519 | | Show VAT History On All DUTs | ${nodes}
 520 | | Show VPP vhost on all DUTs | ${nodes}
 521 | | Show statistics on all DUTs | ${nodes}
 522 | | Run keyword unless | ${dut1_node}==${None}
 523 | | ... | Tear down guest VM with dpdk-testpmd | ${dut1} | ${dut1_vm_refs}
 524 | | Run keyword unless | ${dut2_node}==${None}
 525 | | ... | Tear down guest VM with dpdk-testpmd | ${dut2} | ${dut2_vm_refs}
 526
 527 | Tear down DPDK 3-node performance topology
 528 | | [Documentation]
 529 | | ... | Suite teardown phase with traffic generator teardown.
 530 | | ... | Cleanup DPDK test environment.
 531 | | ...
 532 | | Teardown traffic generator | ${tg}
 533 | | Cleanup DPDK Environment | ${dut1} | ${dut1_if1} | ${dut1_if2}
 534 | | Cleanup DPDK Environment | ${dut2} | ${dut2_if1} | ${dut2_if2}
 535
 536 | Tear down DPDK 2-node performance topology
 537 | | [Documentation]
 538 | | ... | Suite teardown phase with traffic generator teardown.
 539 | | ... | Cleanup DPDK test environment.
 540 | | ...
 541 | | Teardown traffic generator | ${tg}
 542 | | Cleanup DPDK Environment | ${dut1} | ${dut1_if1} | ${dut1_if2}
 543
 544 | Tear down performance discovery test with NAT
 545 | | [Documentation] | Common test teardown for ndrdisc and pdrdisc performance \
 546 | | ... | tests with NAT feature used.
 547 | | ...
 548 | | ... | *Arguments:*
 549 | | ... | - rate - Rate for sending packets. Type: string
 550 | | ... | - framesize - L2 Frame Size [B]. Type: integer
 551 | | ... | - traffic_profile - Traffic profile. Type: string
 552 | | ...
 553 | | ... | *Example:*
 554 | | ...
 555 | | ... | \| Tear down performance discovery test with NAT \| 100000pps \| 64 \
 556 | | ... | \| ${traffic_profile} \|
 557 | | ...
 558 | | [Arguments] | ${rate} | ${framesize} | ${traffic_profile}
 559 | | ...
 560 | | Tear down performance discovery test | ${rate} | ${framesize}
 561 | | ... | ${traffic_profile}
 562 | | Show NAT verbose | ${dut1}
 563 | | Show NAT verbose | ${dut2}
 564
 565 | Tear down performance test with ACL
 566 | | [Documentation] | Common test teardown for ndrdisc and pdrdisc performance \
 567 | | ... | tests with ACL feature used.
 568 | | ...
 569 | | ... | *Arguments:*
 570 | | ... | - rate - Rate for sending packets. Type: string
 571 | | ... | - framesize - L2 Frame Size [B]. Type: integer
 572 | | ... | - traffic_profile - Traffic profile. Type: string
 573 | | ...
 574 | | ... | *Example:*
 575 | | ...
 576 | | ... | \| Tear down performance test with ACL \| 100000pps \| 64 \
 577 | | ... | \| ${traffic_profile} \|
 578 | | ...
 579 | | [Arguments] | ${rate} | ${framesize} | ${traffic_profile}
 580 | | ...
 581 | | Tear down performance discovery test | ${rate} | ${framesize}
 582 | | ... | ${traffic_profile}
 583 | | Vpp Log Plugin Acl Settings | ${dut1}
 584 | | Run Keyword If Test Failed | Run Keyword And Ignore Error
 585 | | ... | Vpp Log Plugin Acl Interface Assignment | ${dut1}
 586
 587 | Tear down performance test with MACIP ACL
 588 | | [Documentation] | Common test teardown for ndrdisc and pdrdisc performance \
 589 | | ... | tests with MACIP ACL feature used.
 590 | | ...
 591 | | ... | *Arguments:*
 592 | | ... | - rate - Rate for sending packets. Type: string
 593 | | ... | - framesize - L2 Frame Size [B]. Type: integer
 594 | | ... | - traffic_profile - Traffic profile. Type: string
 595 | | ...
 596 | | ... | *Example:*
 597 | | ...
 598 | | ... | \| Tear down performance test with MACIP ACL \| 100000pps \| 64 \
 599 | | ... | \| ${traffic_profile} \|
 600 | | ...
 601 | | [Arguments] | ${rate} | ${framesize} | ${traffic_profile}
 602 | | ...
 603 | | Tear down performance discovery test | ${rate} | ${framesize}
 604 | | ... | ${traffic_profile}
 605 | | Run Keyword And Ignore Error | Vpp Log Macip Acl Settings | ${dut1}
 606 | | Run Keyword And Ignore Error
 607 | | ... | Vpp Log Macip Acl Interface Assignment | ${dut1}