Code Review / csit.git / blobdiff
? search:
summary | shortlog | log | commit | commitdiff | review | tree
raw | inline | side by side
FIX: Do not set sriov_numvfs of QAT card to 0 in case of SW crypto tests
[csit.git] / resources / libraries / robot / performance / performance_setup.robot
diff --git a/resources/libraries/robot/performance/performance_setup.robot b/resources/libraries/robot/performance/performance_setup.robot
index 4078196..98f6310 100644 (file)
--- a/resources/libraries/robot/performance/performance_setup.robot
+++ b/resources/libraries/robot/performance/performance_setup.robot
@@ -1,4 +1,4 @@
-# Copyright (c) 2018 Cisco and/or its affiliates.
+# Copyright (c) 2019 Cisco and/or its affiliates.
 # Licensed under the Apache License, Version 2.0 (the "License");
 # you may not use this file except in compliance with the License.
 # You may obtain a copy of the License at:
@@ -36,7 +36,9 @@
 | | ... | _NOTE:_ This KW sets following suite variables:
 | | ... | - tg - TG node
 | | ... | - tg_if1 - 1st TG interface towards DUT.
+| | ... | - tg_if1 - 1st TG interface MAC address.
 | | ... | - tg_if2 - 2nd TG interface towards DUT.
+| | ... | - tg_if2 - 2nd TG interface MAC address.
 | | ... | - dut1 - DUT1 node
 | | ... | - dut1_if1 - 1st DUT interface towards TG.
 | | ... | - dut1_if2 - 2nd DUT interface towards TG.
@@ -57,9 +59,13 @@
 | | ${dut1_if1} | ${dut1}= | First Ingress Interface
 | | ${dut1_if2} | ${dut1}= | Last Egress Interface
 | | ${tg_if2} | ${tg}= | Last Interface
+| | ${tg_if1_mac}= | Get Interface MAC | ${tg} | ${tg_if1}
+| | ${tg_if2_mac}= | Get Interface MAC | ${tg} | ${tg_if2}
 | | Set Suite Variable | ${tg}
 | | Set Suite Variable | ${tg_if1}
+| | Set Suite Variable | ${tg_if1_mac}
 | | Set Suite Variable | ${tg_if2}
+| | Set Suite Variable | ${tg_if2_mac}
 | | Set Suite Variable | ${dut1}
 | | Set Suite Variable | ${dut1_if1}
 | | Set Suite Variable | ${dut1_if2}
@@ -75,8 +81,10 @@
 | | ...
 | | ... | _NOTE:_ This KW sets following suite variables:
 | | ... | - tg - TG node
-| | ... | - tg_if1 - TG interface towards DUT1.
-| | ... | - tg_if2 - TG interface towards DUT2.
+| | ... | - tg_if1 - 1st TG interface towards DUT.
+| | ... | - tg_if1 - 1st TG interface MAC address.
+| | ... | - tg_if2 - 2nd TG interface towards DUT.
+| | ... | - tg_if2 - 2nd TG interface MAC address.
 | | ... | - dut1 - DUT1 node
 | | ... | - dut1_if1 - DUT1 interface towards TG.
 | | ... | - dut1_if2 - DUT1 interface towards DUT2.
@@ -103,9 +111,13 @@
 | | ${dut2_if1} | ${dut2}= | Next Interface
 | | ${dut2_if2} | ${dut2}= | Next Interface
 | | ${tg_if2} | ${tg}= | Next Interface
+| | ${tg_if1_mac}= | Get Interface MAC | ${tg} | ${tg_if1}
+| | ${tg_if2_mac}= | Get Interface MAC | ${tg} | ${tg_if2}
 | | Set Suite Variable | ${tg}
 | | Set Suite Variable | ${tg_if1}
+| | Set Suite Variable | ${tg_if1_mac}
 | | Set Suite Variable | ${tg_if2}
+| | Set Suite Variable | ${tg_if2_mac}
 | | Set Suite Variable | ${dut1}
 | | Set Suite Variable | ${dut1_if1}
 | | Set Suite Variable | ${dut1_if2}
@@ -124,8 +136,10 @@
 | | ...
 | | ... | _NOTE:_ This KW sets following suite variables:
 | | ... | - tg - TG node
-| | ... | - tg_if1 - TG interface towards DUT1.
-| | ... | - tg_if2 - TG interface towards DUT2.
+| | ... | - tg_if1 - 1st TG interface towards DUT.
+| | ... | - tg_if1 - 1st TG interface MAC address.
+| | ... | - tg_if2 - 2nd TG interface towards DUT.
+| | ... | - tg_if2 - 2nd TG interface MAC address.
 | | ... | - dut1 - DUT1 node
 | | ... | - dut1_if1 - DUT1 interface towards TG.
 | | ... | - dut1_if2_1 - DUT1 interface 1 towards DUT2.
@@ -168,10 +182,14 @@
 | | ${dut1_if2_2} | ${dut1}= | Last Interface
 | | ${dut2_if1_1} | ${dut2}= | First Ingress Interface
 | | ${dut2_if1_2} | ${dut2}= | Last Egress Interface
+| | ${tg_if1_mac}= | Get Interface MAC | ${tg} | ${tg_if1}
+| | ${tg_if2_mac}= | Get Interface MAC | ${tg} | ${tg_if2}
 | | # Set suite variables
 | | Set Suite Variable | ${tg}
 | | Set Suite Variable | ${tg_if1}
+| | Set Suite Variable | ${tg_if1_mac}
 | | Set Suite Variable | ${tg_if2}
+| | Set Suite Variable | ${tg_if2_mac}
 | | Set Suite Variable | ${dut1}
 | | Set Suite Variable | ${dut1_if1}
 | | Set Suite Variable | ${dut1_if2_1}
@@ -463,8 +481,9 @@
 | | ... | ${topology_type} | ${nic_model}
 | | ${numvfs}= | Set Variable If
 | | ... | '${crypto_type}' == 'HW_cryptodev' | ${32}
-| | ... | '${crypto_type}' == 'SW_cryptodev' | ${0}
-| | Configure crypto device on all DUTs | force_init=${True} | numvfs=${numvfs}
+| | Run Keyword If | '${crypto_type}' == 'HW_cryptodev'
+| | ... | Configure crypto device on all DUTs | force_init=${True}
+| | ... | numvfs=${numvfs}
 | | Run Keyword If | '${crypto_type}' == 'HW_cryptodev'
 | | ... | Configure kernel module on all DUTs | vfio_pci | force_load=${True}
 
@@ -589,13 +608,13 @@
 | Set up performance test
 | | [Documentation] | Common test setup for performance tests.
 | | ...
-| | Reset VAT History On All DUTs | ${nodes}
+| | Reset PAPI History On All DUTs | ${nodes}
 | | Create base startup configuration of VPP on all DUTs
 
 | Set up tcp performance test
 | | [Documentation] | Common test setup for TCP performance tests.
 | | ...
-| | Reset VAT History On All DUTs | ${nodes}
+| | Reset PAPI History On All DUTs | ${nodes}
 | | Create base startup configuration of VPP for TCP tests on all DUTs
 
 | Set up performance test with Ligato Kubernetes
@@ -621,31 +640,43 @@
 | | ... | *Arguments:*
 | | ... | - chains: Total number of chains. Type: integer
 | | ... | - nodeness: Total number of nodes per chain. Type: integer
+| | ... | - auto_scale - If True, use same amount of Dataplane threads for
+| | ... |   network function as DUT, otherwise use single physical core for
+| | ... |   every network function. Type: boolean
 | | ...
 | | ... | *Example:*
 | | ...
 | | ... | \| Set up performance test with containers \| 1 \| 1 \|
 | | ...
-| | [Arguments] | ${chains}=${1} | ${nodeness}=${1}
+| | [Arguments] | ${nf_chains}=${1} | ${nf_nodes}=${1} | ${auto_scale}=${True}
 | | ...
 | | Set Test Variable | @{container_groups} | @{EMPTY}
 | | Set Test Variable | ${container_group} | CNF
+| | Set Test Variable | ${nf_nodes}
 | | Import Library | resources.libraries.python.ContainerUtils.ContainerManager
 | | ... | engine=${container_engine} | WITH NAME | ${container_group}
-| | Construct chains of containers on all DUTs | ${chains} | ${nodeness}
+| | Construct chains of containers on all DUTs | ${nf_chains} | ${nf_nodes}
+| | ... | auto_scale=${auto_scale}
 | | Acquire all '${container_group}' containers
 | | Create all '${container_group}' containers
 | | Configure VPP in all '${container_group}' containers
 | | Stop VPP service on all DUTs | ${nodes}
-| | Install VPP in all '${container_group}' containers
+| | Start VPP in all '${container_group}' containers
 | | Start VPP service on all DUTs | ${nodes}
 | | Append To List | ${container_groups} | ${container_group}
 
 # Tests teardowns
 
+| Tear down performance test
+| | [Documentation] | Common test teardown for performance tests.
+| | ...
+| | Remove All Added Ports On All DUTs From Topology | ${nodes}
+| | Show PAPI History On All DUTs | ${nodes}
+| | Get Core Files on All Nodes | ${nodes}
+| | Set Test Variable | ${pkt_trace} | ${True}
+
 | Tear down performance discovery test
-| | [Documentation] | Common test teardown for ndrdisc and pdrdisc performance \
-| | ... | tests.
+| | [Documentation] | Common test teardown for ndrpdr performance tests.
 | | ...
 | | ... | *Arguments:*
 | | ... | - rate - Rate for sending packets. Type: string
@@ -659,10 +690,8 @@
 | | ...
 | | [Arguments] | ${rate} | ${framesize} | ${topology_type}
 | | ...
-| | Remove All Added Ports On All DUTs From Topology | ${nodes}
-| | Show VAT History On All DUTs | ${nodes}
-| | Run Keyword If Test Failed
-| | ... | Set Test Variable | ${pkt_trace} | ${True}
+| | Tear down performance test
+| | Show statistics on all DUTs | ${nodes}
 | | Run Keyword If Test Failed
 | | ... | Traffic should pass with no loss | ${perf_trial_duration} | ${rate}
 | | ... | ${framesize} | ${topology_type} | fail_on_loss=${False}
@@ -671,8 +700,7 @@
 | | [Documentation] | Common test teardown for max-received-rate performance
 | | ... | tests.
 | | ...
-| | Remove All Added Ports On All DUTs From Topology | ${nodes}
-| | Show VAT History On All DUTs | ${nodes}
+| | Tear down performance test
 
 | Tear down performance test with wrk
 | | [Documentation] | Common test teardown for ndrdisc and pdrdisc performance \
@@ -682,9 +710,7 @@
 | | ...
 | | ... | \| Tear down performance test with wrk \|
 | | ...
-| | Remove All Added Ports On All DUTs From Topology | ${nodes}
-| | Show VAT History On All DUTs | ${nodes}
-| | Show statistics on all DUTs | ${nodes}
+| | Tear down performance test
 
 | Tear down performance test with container
 | | [Documentation]
@@ -716,19 +742,15 @@
 | | ... | ${dut1_node}=${None} | ${dut1_vm_refs}=${None}
 | | ... | ${dut2_node}=${None} | ${dut2_vm_refs}=${None}
 | | ...
-| | Remove All Added Ports On All DUTs From Topology | ${nodes}
-| | Show VAT History On All DUTs | ${nodes}
+| | Tear down performance discovery test | ${rate} | ${framesize}
+| | ... | ${topology_type}
 | | Show VPP vhost on all DUTs | ${nodes}
-| | Show statistics on all DUTs | ${nodes}
-| | Run Keyword If Test Failed
-| | ... | Traffic should pass with no loss | ${perf_trial_duration} | ${rate}
-| | ... | ${framesize} | ${topology_type} | fail_on_loss=${False}
 | | Run keyword unless | ${dut1_node}==${None}
 | | ... | Tear down guest VM with dpdk-testpmd | ${dut1} | ${dut1_vm_refs}
 | | Run keyword unless | ${dut2_node}==${None}
 | | ... | Tear down guest VM with dpdk-testpmd | ${dut2} | ${dut2_vm_refs}
 
-| Tear down mrr test with vhost and VM with dpdk-testpmd
+| Tear down performance mrr test with vhost and VM with dpdk-testpmd
 | | [Documentation] | Common test teardown for mrr tests which use
 | | ... | vhost(s) and VM(s) with dpdk-testpmd.
 | | ...
@@ -747,10 +769,8 @@
 | | [Arguments] | ${dut1_node}=${None} | ${dut1_vm_refs}=${None}
 | | ... | ${dut2_node}=${None} | ${dut2_vm_refs}=${None}
 | | ...
-| | Remove All Added Ports On All DUTs From Topology | ${nodes}
-| | Show VAT History On All DUTs | ${nodes}
+| | Tear down performance mrr test
 | | Show VPP vhost on all DUTs | ${nodes}
-| | Show statistics on all DUTs | ${nodes}
 | | Run keyword unless | ${dut1_node}==${None}
 | | ... | Tear down guest VM with dpdk-testpmd | ${dut1} | ${dut1_vm_refs}
 | | Run keyword unless | ${dut2_node}==${None}
@@ -794,72 +814,13 @@
 | | [Arguments] | ${dut1_node}=${None} | ${dut1_vm_refs}=${None}
 | | ... | ${dut2_node}=${None} | ${dut2_vm_refs}=${None}
 | | ...
-| | Tear down mrr test with vhost and VM with dpdk-testpmd
+| | Tear down performance mrr test with vhost and VM with dpdk-testpmd
 | | ... | ${dut1_node} | ${dut1_vm_refs}
 | | ... | ${dut2_node} | ${dut2_vm_refs}
 | | Run Keyword If Test Failed | Vpp Log Plugin Acl Settings | ${dut1}
 | | Run Keyword If Test Failed | Run Keyword And Ignore Error
 | | ... | Vpp Log Plugin Acl Interface Assignment | ${dut1}
 
-| Tear down performance pdrchk test with vhost and VM with dpdk-testpmd
-| | [Documentation] | Common test teardown for performance pdrchk tests which \
-| | ... | use vhost(s) and VM(s) with dpdk-testpmd.
-| | ...
-| | ... | *Arguments:*
-| | ... | - rate - Rate for sending packets. Type: string
-| | ... | - framesize - L2 Frame Size [B]. Type: integer
-| | ... | - topology_type - Topology type. Type: string
-| | ... | - dut1_node - Node where to clean qemu. Type: dictionary
-| | ... | - dut1_vm_refs - VM references on node. Type: dictionary
-| | ... | - dut2_node - Node where to clean qemu. Type: dictionary
-| | ... | - dut2_vm_refs - VM references on node. Type: dictionary
-| | ...
-| | ... | *Example:*
-| | ...
-| | ... | \| Tear down performance pdrchk test with vhost and VM with \
-| | ... | dpdk-testpmd \| 4.0mpps \| 64 \| 3-node-IPv4 \| ${node['DUT1']} \
-| | ... | \| ${dut_vm_refs} \| ${node['DUT2']} \| ${dut_vm_refs} \|
-| | ...
-| | [Arguments] | ${rate} | ${framesize} | ${topology_type}
-| | ... | ${dut1_node}=${None} | ${dut1_vm_refs}=${None}
-| | ... | ${dut2_node}=${None} | ${dut2_vm_refs}=${None}
-| | ...
-| | Remove All Added Ports On All DUTs From Topology | ${nodes}
-| | Show VAT History On All DUTs | ${nodes}
-| | Show VPP vhost on all DUTs | ${nodes}
-| | Show statistics on all DUTs | ${nodes}
-| | Run keyword unless | ${dut1_node}==${None}
-| | ... | Tear down guest VM with dpdk-testpmd | ${dut1} | ${dut1_vm_refs}
-| | Run keyword unless | ${dut2_node}==${None}
-| | ... | Tear down guest VM with dpdk-testpmd | ${dut2} | ${dut2_vm_refs}
-
-| Tear down performance mrr test with vhost and VM with dpdk-testpmd
-| | [Documentation] | Common test teardown for performance mrr tests which \
-| | ... | use vhost(s) and VM(s) with dpdk-testpmd.
-| | ...
-| | ... | *Arguments:*
-| | ... | - dut1_node - Node where to clean qemu. Type: dictionary
-| | ... | - dut1_vm_refs - VM references on node. Type: dictionary
-| | ... | - dut2_node - Node where to clean qemu. Type: dictionary
-| | ... | - dut2_vm_refs - VM references on node. Type: dictionary
-| | ...
-| | ... | *Example:*
-| | ...
-| | ... | \| Tear down performance mrr test with vhost and VM with \
-| | ... | dpdk-testpmd \| ${node['DUT1']} \| ${dut_vm_refs} \| ${node['DUT2']} \
-| | ... | \| ${dut_vm_refs} \|
-| | ...
-| | [Arguments] | ${dut1_node}=${None} | ${dut1_vm_refs}=${None}
-| | ... | ${dut2_node}=${None} | ${dut2_vm_refs}=${None}
-| | ...
-| | Remove All Added Ports On All DUTs From Topology | ${nodes}
-| | Show VAT History On All DUTs | ${nodes}
-| | Show VPP vhost on all DUTs | ${nodes}
-| | Run keyword unless | ${dut1_node}==${None}
-| | ... | Tear down guest VM with dpdk-testpmd | ${dut1} | ${dut1_vm_refs}
-| | Run keyword unless | ${dut2_node}==${None}
-| | ... | Tear down guest VM with dpdk-testpmd | ${dut2} | ${dut2_vm_refs}
-
 | Tear down DPDK 2-node performance topology
 | | [Documentation]
 | | ... | Suite teardown phase with traffic generator teardown.
@@ -1021,8 +982,7 @@
 | | ...
 | | ... | \| Tear down mrr test with SRv6 with encapsulation \|
 | | ...
-| | Remove All Added Ports On All DUTs From Topology | ${nodes}
-| | Show VAT History On All DUTs | ${nodes}
+| | Tear down performance mrr test
 | | Run Keyword If Test Failed | Show SR Policies on all DUTs | ${nodes}
 | | Run Keyword If Test Failed
 | | ... | Show SR Steering Policies on all DUTs | ${nodes}
Integration tests