resources/libraries/robot/performance/performance_setup.robot

   1 # Copyright (c) 2017 Cisco and/or its affiliates.
   2 # Licensed under the Apache License, Version 2.0 (the "License");
   3 # you may not use this file except in compliance with the License.
   4 # You may obtain a copy of the License at:
   5 #
   6 #     http://www.apache.org/licenses/LICENSE-2.0
   7 #
   8 # Unless required by applicable law or agreed to in writing, software
   9 # distributed under the License is distributed on an "AS IS" BASIS,
  10 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  11 # See the License for the specific language governing permissions and
  12 # limitations under the License.
  13
  14 *** Settings ***
  15 | Library | resources.libraries.python.DUTSetup
  16 | Resource | resources/libraries/robot/performance/performance_configuration.robot
  17 | Resource | resources/libraries/robot/performance/performance_utils.robot
  18 | Documentation | Performance suite keywords - Suite and test setups and
  19 | ... | teardowns.
  20
  21 *** Keywords ***
  22
  23 # Keywords used in setups and teardowns
  24
  25 | Set variables in 2-node circular topology
  26 | | [Documentation]
  27 | | ... | Compute path for testing on two given nodes in circular
  28 | | ... | topology and set corresponding suite variables.
  29 | | ...
  30 | | ... | _NOTE:_ This KW sets following suite variables:
  31 | | ... | - tg - TG node
  32 | | ... | - tg_if1 - 1st TG interface towards DUT.
  33 | | ... | - tg_if2 - 2nd TG interface towards DUT.
  34 | | ... | - dut1 - DUT1 node
  35 | | ... | - dut1_if1 - 1st DUT interface towards TG.
  36 | | ... | - dut1_if2 - 2nd DUT interface towards TG.
  37 | | ...
  38 | | Append Nodes | ${nodes['TG']} | ${nodes['DUT1']} | ${nodes['TG']}
  39 | | Compute Path | always_same_link=${FALSE}
  40 | | ${tg_if1} | ${tg}= | First Interface
  41 | | ${dut1_if1} | ${dut1}= | First Ingress Interface
  42 | | ${dut1_if2} | ${dut1}= | Last Egress Interface
  43 | | ${tg_if2} | ${tg}= | Last Interface
  44 | | Set Suite Variable | ${tg}
  45 | | Set Suite Variable | ${tg_if1}
  46 | | Set Suite Variable | ${tg_if2}
  47 | | Set Suite Variable | ${dut1}
  48 | | Set Suite Variable | ${dut1_if1}
  49 | | Set Suite Variable | ${dut1_if2}
  50
  51 | Set variables in 3-node circular topology
  52 | | [Documentation]
  53 | | ... | Compute path for testing on three given nodes in circular
  54 | | ... | topology and set corresponding suite variables.
  55 | | ...
  56 | | ... | _NOTE:_ This KW sets following suite variables:
  57 | | ... | - tg - TG node
  58 | | ... | - tg_if1 - TG interface towards DUT1.
  59 | | ... | - tg_if2 - TG interface towards DUT2.
  60 | | ... | - dut1 - DUT1 node
  61 | | ... | - dut1_if1 - DUT1 interface towards TG.
  62 | | ... | - dut1_if2 - DUT1 interface towards DUT2.
  63 | | ... | - dut2 - DUT2 node
  64 | | ... | - dut2_if1 - DUT2 interface towards DUT1.
  65 | | ... | - dut2_if2 - DUT2 interface towards TG.
  66 | | ...
  67 | | Append Nodes | ${nodes['TG']} | ${nodes['DUT1']} | ${nodes['DUT2']}
  68 | | ... | ${nodes['TG']}
  69 | | Compute Path
  70 | | ${tg_if1} | ${tg}= | Next Interface
  71 | | ${dut1_if1} | ${dut1}= | Next Interface
  72 | | ${dut1_if2} | ${dut1}= | Next Interface
  73 | | ${dut2_if1} | ${dut2}= | Next Interface
  74 | | ${dut2_if2} | ${dut2}= | Next Interface
  75 | | ${tg_if2} | ${tg}= | Next Interface
  76 | | Set Suite Variable | ${tg}
  77 | | Set Suite Variable | ${tg_if1}
  78 | | Set Suite Variable | ${tg_if2}
  79 | | Set Suite Variable | ${dut1}
  80 | | Set Suite Variable | ${dut1_if1}
  81 | | Set Suite Variable | ${dut1_if2}
  82 | | Set Suite Variable | ${dut2}
  83 | | Set Suite Variable | ${dut2_if1}
  84 | | Set Suite Variable | ${dut2_if2}
  85
  86 | Set variables in 2-node circular topology with DUT interface model
  87 | | [Documentation]
  88 | | ... | Compute path for testing on two given nodes in circular topology
  89 | | ... | based on interface model provided as an argument and set
  90 | | ... | corresponding suite variables.
  91 | | ...
  92 | | ... | *Arguments:*
  93 | | ... | - iface_model - Interface model. Type: string
  94 | | ...
  95 | | ... | _NOTE:_ This KW sets following suite variables:
  96 | | ... | - tg - TG node
  97 | | ... | - tg_if1 - 1st TG interface towards DUT.
  98 | | ... | - tg_if2 - 2nd TG interface towards DUT.
  99 | | ... | - dut1 - DUT1 node
 100 | | ... | - dut1_if1 - 1st DUT interface towards TG.
 101 | | ... | - dut1_if2 - 2nd DUT interface towards TG.
 102 | | ...
 103 | | ... | *Example:*
 104 | | ...
 105 | | ... | \| Set variables in 2-node circular topology with DUT interface model\
 106 | | ... | \| Intel-X520-DA2 \|
 107 | | ...
 108 | | [Arguments] | ${iface_model}
 109 | | ...
 110 | | ${iface_model_list}= | Create list | ${iface_model}
 111 | | Append Node | ${nodes['TG']}
 112 | | Append Node | ${nodes['DUT1']} | filter_list=${iface_model_list}
 113 | | Append Node | ${nodes['TG']}
 114 | | Compute Path | always_same_link=${FALSE}
 115 | | ${tg_if1} | ${tg}= | First Interface
 116 | | ${dut1_if1} | ${dut1}= | First Ingress Interface
 117 | | ${dut1_if2} | ${dut1}= | Last Egress Interface
 118 | | ${tg_if2} | ${tg}= | Last Interface
 119 | | Set Suite Variable | ${tg}
 120 | | Set Suite Variable | ${tg_if1}
 121 | | Set Suite Variable | ${tg_if2}
 122 | | Set Suite Variable | ${dut1}
 123 | | Set Suite Variable | ${dut1_if1}
 124 | | Set Suite Variable | ${dut1_if2}
 125
 126 | Set variables in 3-node circular topology with DUT interface model
 127 | | [Documentation]
 128 | | ... | Compute path for testing on three given nodes in circular topology
 129 | | ... | based on interface model provided as an argument and set
 130 | | ... | corresponding suite variables.
 131 | | ...
 132 | | ... | *Arguments:*
 133 | | ... | - iface_model - Interface model. Type: string
 134 | | ...
 135 | | ... | _NOTE:_ This KW sets following suite variables:
 136 | | ... | - tg - TG node
 137 | | ... | - tg_if1 - TG interface towards DUT1.
 138 | | ... | - tg_if2 - TG interface towards DUT2.
 139 | | ... | - dut1 - DUT1 node
 140 | | ... | - dut1_if1 - DUT1 interface towards TG.
 141 | | ... | - dut1_if2 - DUT1 interface towards DUT2.
 142 | | ... | - dut2 - DUT2 node
 143 | | ... | - dut2_if1 - DUT2 interface towards TG.
 144 | | ... | - dut2_if2 - DUT2 interface towards DUT1.
 145 | | ...
 146 | | ... | *Example:*
 147 | | ...
 148 | | ... | \| Set variables in 3-node circular topology with DUT interface model\
 149 | | ... | \| Intel-X520-DA2 \|
 150 | | ...
 151 | | [Arguments] | ${iface_model}
 152 | | ...
 153 | | ${iface_model_list}= | Create list | ${iface_model}
 154 | | Append Node | ${nodes['TG']}
 155 | | Append Node | ${nodes['DUT1']} | filter_list=${iface_model_list}
 156 | | Append Node | ${nodes['DUT2']} | filter_list=${iface_model_list}
 157 | | Append Node | ${nodes['TG']}
 158 | | Compute Path
 159 | | ${tg_if1} | ${tg}= | Next Interface
 160 | | ${dut1_if1} | ${dut1}= | Next Interface
 161 | | ${dut1_if2} | ${dut1}= | Next Interface
 162 | | ${dut2_if1} | ${dut2}= | Next Interface
 163 | | ${dut2_if2} | ${dut2}= | Next Interface
 164 | | ${tg_if2} | ${tg}= | Next Interface
 165 | | Set Suite Variable | ${tg}
 166 | | Set Suite Variable | ${tg_if1}
 167 | | Set Suite Variable | ${tg_if2}
 168 | | Set Suite Variable | ${dut1}
 169 | | Set Suite Variable | ${dut1_if1}
 170 | | Set Suite Variable | ${dut1_if2}
 171 | | Set Suite Variable | ${dut2}
 172 | | Set Suite Variable | ${dut2_if1}
 173 | | Set Suite Variable | ${dut2_if2}
 174
 175 | Tear down guest VM with dpdk-testpmd
 176 | | [Documentation]
 177 | | ... | Stop all qemu processes with dpdk-testpmd running on ${dut_node}.
 178 | | ... | Argument is dictionary of all qemu nodes running with its names.
 179 | | ... | Dpdk-testpmd is stopped gracefully with printing stats.
 180 | | ...
 181 | | ... | *Arguments:*
 182 | | ... | - dut_node - Node where to clean qemu. Type: dictionary
 183 | | ... | - dut_vm_refs - VM references on node. Type: dictionary
 184 | | ...
 185 | | ... | *Example:*
 186 | | ...
 187 | | ... | \| Tear down guest VM with dpdk-testpmd \| ${node['DUT1']} \
 188 | | ... | \| ${dut_vm_refs} \|
 189 | | ...
 190 | | [Arguments] | ${dut_node} | ${dut_vm_refs}
 191 | | ${vms_number}= | Get Length | ${dut_vm_refs}
 192 | | ${index}= | Set Variable | ${0}
 193 | | :FOR | ${vm_name} | IN | @{dut_vm_refs}
 194 | | | ${vm}= | Get From Dictionary | ${dut_vm_refs} | ${vm_name}
 195 | | | ${index}= | Evaluate | ${index} + 1
 196 | | | Dpdk Testpmd Stop | ${vm}
 197 | | | Run Keyword | ${vm_name}.Qemu Set Node | ${dut_node}
 198 | | | Run Keyword | ${vm_name}.Qemu Clear Socks
 199 | | | Run Keyword If | '${index}' == '${vms_number}' | ${vm_name}.Qemu Kill All
 200
 201 | Tear down guest VM
 202 | | [Documentation]
 203 | | ... | Stop all qemu processes running on ${dut_node}.
 204 | | ... | Argument is dictionary of all qemu nodes running with its names.
 205 | | ...
 206 | | ... | *Arguments:*
 207 | | ... | - dut_node - Node where to clean qemu. Type: dictionary
 208 | | ... | - dut_vm_refs - VM references on node. Type: dictionary
 209 | | ...
 210 | | ... | *Example:*
 211 | | ...
 212 | | ... | \| Tear down guest VM \| ${node['DUT1']} \
 213 | | ... | \| ${dut_vm_refs} \|
 214 | | ...
 215 | | [Arguments] | ${dut_node} | ${dut_vm_refs}
 216 | | ${vms_number}= | Get Length | ${dut_vm_refs}
 217 | | ${index}= | Set Variable | ${0}
 218 | | :FOR | ${vm_name} | IN | @{dut_vm_refs}
 219 | | | ${vm}= | Get From Dictionary | ${dut_vm_refs} | ${vm_name}
 220 | | | ${index}= | Evaluate | ${index} + 1
 221 | | | Run Keyword | ${vm_name}.Qemu Set Node | ${dut_node}
 222 | | | Run Keyword | ${vm_name}.Qemu Clear Socks
 223 | | | Run Keyword If | '${index}' == '${vms_number}' | ${vm_name}.Qemu Kill All
 224
 225 # Suite setups
 226
 227 | Set up 2-node performance topology with DUT's NIC model
 228 | | [Documentation]
 229 | | ... | Suite preparation phase that setup default startup configuration of
 230 | | ... | VPP on all DUTs. Updates interfaces on all nodes and setup global
 231 | | ... | variables used in test cases based on interface model provided as an
 232 | | ... | argument. Initializes traffic generator.
 233 | | ...
 234 | | ... | *Arguments:*
 235 | | ... | - topology_type - Topology type. Type: string
 236 | | ... | - nic_model - Interface model. Type: string
 237 | | ...
 238 | | ... | *Example:*
 239 | | ...
 240 | | ... | \| 2-node Performance Suite Setup \| L2 \| Intel-X520-DA2 \|
 241 | | ...
 242 | | [Arguments] | ${topology_type} | ${nic_model}
 243 | | ...
 244 | | Set variables in 2-node circular topology with DUT interface model
 245 | | ... | ${nic_model}
 246 | | Initialize traffic generator | ${tg} | ${tg_if1} | ${tg_if2}
 247 | | ... | ${dut1} | ${dut1_if1} | ${dut1} | ${dut1_if2} | ${topology_type}
 248
 249 | Set up 2-node-switched performance topology with DUT's NIC model
 250 | | [Documentation]
 251 | | ... | Suite preparation phase that setup default startup configuration of
 252 | | ... | VPP on all DUTs. Updates interfaces on all nodes and setup global
 253 | | ... | variables used in test cases based on interface model provided as an
 254 | | ... | argument. Initializes traffic generator.
 255 | | ...
 256 | | ... | *Arguments:*
 257 | | ... | - topology_type - Topology type. Type: string
 258 | | ... | - nic_model - Interface model. Type: string
 259 | | ... | - tg_if1_dest_mac - Interface 1 destination MAC address. Type: string
 260 | | ... | - tg_if2_dest_mac - Interface 2 destination MAC address. Type: string
 261 | | ...
 262 | | ... | *Example:*
 263 | | ...
 264 | | ... | \| 2-node Performance Suite Setup \| L2 \| Intel-X520-DA2 \
 265 | | ... | \| 22:22:33:44:55:66 \| 22:22:33:44:55:55 \|
 266 | | ...
 267 | | [Arguments] | ${topology_type} | ${nic_model} | ${tg_if1_dest_mac}
 268 | | ... | ${tg_if2_dest_mac}
 269 | | ...
 270 | | Set variables in 2-node circular topology with DUT interface model
 271 | | ... | ${nic_model}
 272 | | Initialize traffic generator | ${tg} | ${tg_if1} | ${tg_if2}
 273 | | ... | ${dut1} | ${dut1_if1} | ${dut1} | ${dut1_if2} | ${topology_type}
 274 | | ... | ${tg_if1_dest_mac} | ${tg_if2_dest_mac}
 275
 276 | Set up 3-node performance topology with DUT's NIC model
 277 | | [Documentation]
 278 | | ... | Suite preparation phase that setup default startup configuration of
 279 | | ... | VPP on all DUTs. Updates interfaces on all nodes and setup global
 280 | | ... | variables used in test cases based on interface model provided as an
 281 | | ... | argument. Initializes traffic generator.
 282 | | ...
 283 | | ... | *Arguments:*
 284 | | ... | - topology_type - Topology type. Type: string
 285 | | ... | - nic_model - Interface model. Type: string
 286 | | ...
 287 | | ... | *Example:*
 288 | | ...
 289 | | ... | \| Set up 3-node performance topology with DUT's NIC model \| L2 \
 290 | | ... | \| Intel-X520-DA2 \|
 291 | | ...
 292 | | [Arguments] | ${topology_type} | ${nic_model}
 293 | | ...
 294 | | Set variables in 3-node circular topology with DUT interface model
 295 | | ... | ${nic_model}
 296 | | Initialize traffic generator | ${tg} | ${tg_if1} | ${tg_if2}
 297 | | ... | ${dut1} | ${dut1_if1} | ${dut2} | ${dut2_if2} | ${topology_type}
 298
 299 | Set up DPDK 2-node performance topology with DUT's NIC model
 300 | | [Documentation]
 301 | | ... | Updates interfaces on all nodes and setup global
 302 | | ... | variables used in test cases based on interface model provided as an
 303 | | ... | argument. Initializes traffic generator. Initializes DPDK test
 304 | | ... | environment.
 305 | | ...
 306 | | ... | *Arguments:*
 307 | | ... | - topology_type - Topology type. Type: string
 308 | | ... | - nic_model - Interface model. Type: string
 309 | | ...
 310 | | ... | *Example:*
 311 | | ...
 312 | | ... | \| Set up DPDK 2-node performance topology with DUT's NIC model \
 313 | | ... | \| L2 \| Intel-X520-DA2 \|
 314 | | ...
 315 | | [Arguments] | ${topology_type} | ${nic_model}
 316 | | ...
 317 | | Set variables in 2-node circular topology with DUT interface model
 318 | | ... | ${nic_model}
 319 | | Initialize traffic generator | ${tg} | ${tg_if1} | ${tg_if2}
 320 | | ... | ${dut1} | ${dut1_if1} | ${dut1} | ${dut1_if2} | ${topology_type}
 321 | | Initialize DPDK Environment | ${dut1} | ${dut1_if1} | ${dut1_if2}
 322
 323 | Set up DPDK 3-node performance topology with DUT's NIC model
 324 | | [Documentation]
 325 | | ... | Updates interfaces on all nodes and setup global
 326 | | ... | variables used in test cases based on interface model provided as an
 327 | | ... | argument. Initializes traffic generator. Initializes DPDK test
 328 | | ... | environment.
 329 | | ...
 330 | | ... | *Arguments:*
 331 | | ... | - topology_type - Topology type. Type: string
 332 | | ... | - nic_model - Interface model. Type: string
 333 | | ...
 334 | | ... | *Example:*
 335 | | ...
 336 | | ... | \| 3-node Performance Suite Setup \| L2 \| Intel-X520-DA2 \|
 337 | | ...
 338 | | [Arguments] | ${topology_type} | ${nic_model}
 339 | | ...
 340 | | Set variables in 3-node circular topology with DUT interface model
 341 | | ... | ${nic_model}
 342 | | Initialize traffic generator | ${tg} | ${tg_if1} | ${tg_if2}
 343 | | ... | ${dut1} | ${dut1_if1} | ${dut2} | ${dut2_if2} | ${topology_type}
 344 | | Initialize DPDK Environment | ${dut1} | ${dut1_if1} | ${dut1_if2}
 345 | | Initialize DPDK Environment | ${dut2} | ${dut2_if1} | ${dut2_if2}
 346
 347 | Set up IPSec performance test suite
 348 | | [Documentation]
 349 | | ... | Suite preparation phase that sets default startup configuration of
 350 | | ... | VPP on all DUTs. Updates interfaces on all nodes and sets global
 351 | | ... | variables used in test cases based on interface model provided as an
 352 | | ... | argument. Initializes traffic generator.
 353 | | ... | Then it configures crypto device and kernel module on all DUTs.
 354 | | ...
 355 | | ... | *Arguments:*
 356 | | ... | - topology_type - Topology type. Type: string
 357 | | ... | - nic_model - Interface model. Type: string
 358 | | ...
 359 | | ... | *Example:*
 360 | | ...
 361 | | ... | \| Set up IPSec performance test suite \| L2 \
 362 | | ... | \| Intel-X520-DA2 \|
 363 | | ...
 364 | | [Arguments] | ${topology_type} | ${nic_model}
 365 | | ...
 366 | | Set up 3-node performance topology with DUT's NIC model
 367 | | ... | ${topology_type} | ${nic_model}
 368 | | Configure crypto device on all DUTs | force_init=${True}
 369 | | Configure kernel module on all DUTs | igb_uio | force_load=${True}
 370
 371 | Set up performance topology with containers
 372 | | [Documentation]
 373 | | ... | Suite preparation phase that starts containers
 374 | | ...
 375 | | Set Suite Variable | @{container_groups} | @{EMPTY}
 376 | | Construct VNF containers on all DUTs
 377 | | Acquire all 'VNF' containers
 378 | | Create all 'VNF' containers
 379 | | Configure VPP in all 'VNF' containers
 380 | | Install VPP in all 'VNF' containers
 381
 382 # Suite teardowns
 383
 384 | Tear down 3-node performance topology
 385 | | [Documentation]
 386 | | ... | Suite teardown phase with traffic generator teardown.
 387 | | ...
 388 | | Teardown traffic generator | ${tg}
 389
 390 | Tear down 3-node performance topology with container
 391 | | [Documentation]
 392 | | ... | Suite teardown phase with traffic generator teardown and container
 393 | | ... | destroy.
 394 | | ...
 395 | | Teardown traffic generator | ${tg}
 396 | | :FOR | ${group} | IN | @{container_groups}
 397 | | | Destroy all '${group}' containers
 398
 399 | Tear down 2-node performance topology
 400 | | [Documentation]
 401 | | ... | Suite teardown phase with traffic generator teardown.
 402 | | ...
 403 | | Teardown traffic generator | ${tg}
 404
 405 | Tear down 2-node performance topology with container
 406 | | [Documentation]
 407 | | ... | Suite teardown phase with traffic generator teardown and container
 408 | | ... | destroy.
 409 | | ...
 410 | | Teardown traffic generator | ${tg}
 411 | | :FOR | ${group} | IN | @{container_groups}
 412 | | | Destroy all '${group}' containers
 413
 414 # Tests setups
 415
 416 | Set up performance test
 417 | | [Documentation] | Common test setup for performance tests.
 418 | | ...
 419 | | Reset VAT History On All DUTs | ${nodes}
 420 | | Create base startup configuration of VPP on all DUTs
 421
 422 # Tests teardowns
 423
 424 | Tear down performance discovery test
 425 | | [Documentation] | Common test teardown for ndrdisc and pdrdisc performance \
 426 | | ... | tests.
 427 | | ...
 428 | | ... | *Arguments:*
 429 | | ... | - rate - Rate for sending packets. Type: string
 430 | | ... | - framesize - L2 Frame Size [B]. Type: integer
 431 | | ... | - topology_type - Topology type. Type: string
 432 | | ...
 433 | | ... | *Example:*
 434 | | ...
 435 | | ... | \| Tear down performance discovery test \| 4.0mpps \| 64 \
 436 | | ... | \| 3-node-IPv4 \|
 437 | | ...
 438 | | [Arguments] | ${rate} | ${framesize} | ${topology_type}
 439 | | ...
 440 | | Show VAT History On All DUTs | ${nodes}
 441 | | Show statistics on all DUTs | ${nodes}
 442 | | Run Keyword If Test Failed
 443 | | ... | Traffic should pass with no loss | ${perf_trial_duration} | ${rate}
 444 | | ... | ${framesize} | ${topology_type} | fail_on_loss=${False}
 445
 446 | Tear down performance ndrchk test
 447 | | [Documentation] | Common test teardown for ndrchk performance tests.
 448 | | ...
 449 | | Show VAT History On All DUTs | ${nodes}
 450 | | Show statistics on all DUTs | ${nodes}
 451
 452 | Tear down performance pdrchk test
 453 | | [Documentation] | Common test teardown for pdrchk performance tests.
 454 | | ...
 455 | | Show VAT History On All DUTs | ${nodes}
 456 | | Show statistics on all DUTs | ${nodes}
 457
 458 | Tear down performance test with vhost and VM with dpdk-testpmd
 459 | | [Documentation] | Common test teardown for performance tests which use
 460 | | ... | vhost(s) and VM(s) with dpdk-testpmd.
 461 | | ...
 462 | | ... | *Arguments:*
 463 | | ... | - rate - Rate for sending packets. Type: string
 464 | | ... | - framesize - L2 Frame Size [B]. Type: integer
 465 | | ... | - topology_type - Topology type. Type: string
 466 | | ... | - dut1_node - Node where to clean qemu. Type: dictionary
 467 | | ... | - dut1_vm_refs - VM references on node. Type: dictionary
 468 | | ... | - dut2_node - Node where to clean qemu. Type: dictionary
 469 | | ... | - dut2_vm_refs - VM references on node. Type: dictionary
 470 | | ...
 471 | | ... | *Example:*
 472 | | ...
 473 | | ... | \| Tear down performance test with vhost and VM with dpdk-testpmd \
 474 | | ... | \| 4.0mpps \| 64 \| 3-node-IPv4 \| ${node['DUT1']} \| ${dut_vm_refs} \
 475 | | ... | \| ${node['DUT2']} \| ${dut_vm_refs} \|
 476 | | ...
 477 | | [Arguments] | ${rate} | ${framesize} | ${topology_type}
 478 | | ... | ${dut1_node}=${None} | ${dut1_vm_refs}=${None}
 479 | | ... | ${dut2_node}=${None} | ${dut2_vm_refs}=${None}
 480 | | ...
 481 | | Show VAT History On All DUTs | ${nodes}
 482 | | Show VPP vhost on all DUTs | ${nodes}
 483 | | Show statistics on all DUTs | ${nodes}
 484 | | Run Keyword If Test Failed
 485 | | ... | Traffic should pass with no loss | ${perf_trial_duration} | ${rate}
 486 | | ... | ${framesize} | ${topology_type} | fail_on_loss=${False}
 487 | | Run keyword unless | ${dut1_node}==${None}
 488 | | ... | Tear down guest VM with dpdk-testpmd | ${dut1} | ${dut1_vm_refs}
 489 | | Run keyword unless | ${dut2_node}==${None}
 490 | | ... | Tear down guest VM with dpdk-testpmd | ${dut2} | ${dut2_vm_refs}
 491
 492 | Tear down performance pdrchk test with vhost and VM with dpdk-testpmd
 493 | | [Documentation] | Common test teardown for performance pdrchk tests which \
 494 | | ... | use vhost(s) and VM(s) with dpdk-testpmd.
 495 | | ...
 496 | | ... | *Arguments:*
 497 | | ... | - rate - Rate for sending packets. Type: string
 498 | | ... | - framesize - L2 Frame Size [B]. Type: integer
 499 | | ... | - topology_type - Topology type. Type: string
 500 | | ... | - dut1_node - Node where to clean qemu. Type: dictionary
 501 | | ... | - dut1_vm_refs - VM references on node. Type: dictionary
 502 | | ... | - dut2_node - Node where to clean qemu. Type: dictionary
 503 | | ... | - dut2_vm_refs - VM references on node. Type: dictionary
 504 | | ...
 505 | | ... | *Example:*
 506 | | ...
 507 | | ... | \| Tear down performance pdrchk test with vhost and VM with \
 508 | | ... | dpdk-testpmd \| 4.0mpps \| 64 \| 3-node-IPv4 \| ${node['DUT1']} \
 509 | | ... | \| ${dut_vm_refs} \| ${node['DUT2']} \| ${dut_vm_refs} \|
 510 | | ...
 511 | | [Arguments] | ${rate} | ${framesize} | ${topology_type}
 512 | | ... | ${dut1_node}=${None} | ${dut1_vm_refs}=${None}
 513 | | ... | ${dut2_node}=${None} | ${dut2_vm_refs}=${None}
 514 | | ...
 515 | | Show VAT History On All DUTs | ${nodes}
 516 | | Show VPP vhost on all DUTs | ${nodes}
 517 | | Show statistics on all DUTs | ${nodes}
 518 | | Run keyword unless | ${dut1_node}==${None}
 519 | | ... | Tear down guest VM with dpdk-testpmd | ${dut1} | ${dut1_vm_refs}
 520 | | Run keyword unless | ${dut2_node}==${None}
 521 | | ... | Tear down guest VM with dpdk-testpmd | ${dut2} | ${dut2_vm_refs}
 522
 523 | Tear down DPDK 3-node performance topology
 524 | | [Documentation]
 525 | | ... | Suite teardown phase with traffic generator teardown.
 526 | | ... | Cleanup DPDK test environment.
 527 | | ...
 528 | | Teardown traffic generator | ${tg}
 529 | | Cleanup DPDK Environment | ${dut1} | ${dut1_if1} | ${dut1_if2}
 530 | | Cleanup DPDK Environment | ${dut2} | ${dut2_if1} | ${dut2_if2}
 531
 532 | Tear down DPDK 2-node performance topology
 533 | | [Documentation]
 534 | | ... | Suite teardown phase with traffic generator teardown.
 535 | | ... | Cleanup DPDK test environment.
 536 | | ...
 537 | | Teardown traffic generator | ${tg}
 538 | | Cleanup DPDK Environment | ${dut1} | ${dut1_if1} | ${dut1_if2}
 539
 540 | Tear down performance discovery test with NAT
 541 | | [Documentation] | Common test teardown for ndrdisc and pdrdisc performance \
 542 | | ... | tests with NAT feature used.
 543 | | ...
 544 | | ... | *Arguments:*
 545 | | ... | - rate - Rate for sending packets. Type: string
 546 | | ... | - framesize - L2 Frame Size [B]. Type: integer
 547 | | ... | - traffic_profile - Traffic profile. Type: string
 548 | | ...
 549 | | ... | *Example:*
 550 | | ...
 551 | | ... | \| Tear down performance discovery test with NAT \| 100000pps \| 64 \
 552 | | ... | \| ${traffic_profile} \|
 553 | | ...
 554 | | [Arguments] | ${rate} | ${framesize} | ${traffic_profile}
 555 | | ...
 556 | | Tear down performance discovery test | ${rate} | ${framesize}
 557 | | ... | ${traffic_profile}
 558 | | Show NAT verbose | ${dut1}
 559 | | Show NAT verbose | ${dut2}
 560
 561 | Tear down performance test with ACL
 562 | | [Documentation] | Common test teardown for ndrdisc and pdrdisc performance \
 563 | | ... | tests with ACL feature used.
 564 | | ...
 565 | | ... | *Arguments:*
 566 | | ... | - rate - Rate for sending packets. Type: string
 567 | | ... | - framesize - L2 Frame Size [B]. Type: integer
 568 | | ... | - traffic_profile - Traffic profile. Type: string
 569 | | ...
 570 | | ... | *Example:*
 571 | | ...
 572 | | ... | \| Tear down performance test with ACL \| 100000pps \| 64 \
 573 | | ... | \| ${traffic_profile} \|
 574 | | ...
 575 | | [Arguments] | ${rate} | ${framesize} | ${traffic_profile}
 576 | | ...
 577 | | Tear down performance discovery test | ${rate} | ${framesize}
 578 | | ... | ${traffic_profile}
 579 | | Vpp Log Plugin Acl Settings | ${dut1}
 580 | | Run Keyword If Test Failed | Run Keyword And Ignore Error
 581 | | ... | Vpp Log Plugin Acl Interface Assignment | ${dut1}
 582
 583 | Tear down performance test with MACIP ACL
 584 | | [Documentation] | Common test teardown for ndrdisc and pdrdisc performance \
 585 | | ... | tests with MACIP ACL feature used.
 586 | | ...
 587 | | ... | *Arguments:*
 588 | | ... | - rate - Rate for sending packets. Type: string
 589 | | ... | - framesize - L2 Frame Size [B]. Type: integer
 590 | | ... | - traffic_profile - Traffic profile. Type: string
 591 | | ...
 592 | | ... | *Example:*
 593 | | ...
 594 | | ... | \| Tear down performance test with MACIP ACL \| 100000pps \| 64 \
 595 | | ... | \| ${traffic_profile} \|
 596 | | ...
 597 | | [Arguments] | ${rate} | ${framesize} | ${traffic_profile}
 598 | | ...
 599 | | Tear down performance discovery test | ${rate} | ${framesize}
 600 | | ... | ${traffic_profile}
 601 | | Run Keyword If Test Failed | Run Keyword And Ignore Error
 602 | | ... | Vpp Log Macip Acl Settings | ${dut1}
 603 | | Run Keyword And Ignore Error
 604 | | ... | Vpp Log Macip Acl Interface Assignment | ${dut1}