VAT-to-PAPI: VPPCounters
[csit.git] / resources / libraries / robot / shared / default.robot
index 981bfa1..262dc02 100644 (file)
 
 *** Settings ***
 | Variables | resources/libraries/python/topology.py
-| Variables | resources/libraries/python/VatHistory.py
+| Variables | resources/libraries/python/PapiHistory.py
+| Variables | resources/libraries/python/Constants.py
 | ...
 | Library | Collections
 | Library | OperatingSystem
 | Library | String
 | ...
+| Library | resources.libraries.python.CoreDumpUtil
 | Library | resources.libraries.python.CpuUtils
 | Library | resources.libraries.python.DUTSetup
 | Library | resources.libraries.python.L2Util
 | Library | resources.libraries.python.SchedUtils
 | Library | resources.libraries.python.Tap
 | Library | resources.libraries.python.TGSetup
-| Library | resources.libraries.python.VatHistory
+| Library | resources.libraries.python.PapiHistory
 | Library | resources.libraries.python.VppCounters
 | Library | resources.libraries.python.VPPUtil
 | Library | resources.libraries.python.Trace
 | Library | resources.libraries.python.topology.Topology
 | ...
 | Resource | resources/libraries/robot/shared/container.robot
-| Resource | resources/libraries/robot/vm/double_qemu_setup.robot
 | Resource | resources/libraries/robot/vm/qemu.robot
 
 *** Keywords ***
-| Configure all DUTs before test
-| | [Documentation] | Setup all DUTs in topology before test execution.
-| | ...
-| | Setup All DUTs | ${nodes}
-
 | Configure all TGs for traffic script
 | | [Documentation] | Prepare all TGs before traffic scripts execution.
 | | ...
 | | :FOR | ${dut} | IN | @{duts}
 | | | Vpp Show Errors | ${nodes['${dut}']}
 
-| Show VPP trace dump on all DUTs
-| | [Documentation] | Save API trace and dump output on all DUTs.
-| | ...
-| | ${duts}= | Get Matches | ${nodes} | DUT*
-| | :FOR | ${dut} | IN | @{duts}
-| | | Vpp api trace save | ${nodes['${dut}']}
-| | | Vpp api trace dump | ${nodes['${dut}']}
-
 | Show Bridge Domain Data On All DUTs
 | | [Documentation] | Show Bridge Domain data on all DUTs.
 | | ...
 | | ... | try to initialize/disable.
 | | ...
 | | ... | *Arguments:*
-| | ... | - force_init - Force to initialize. Type: boolean
+| | ... | - crypto_type - Crypto device type - HW_DH895xcc or HW_C3xxx.
+| | ... | Type: string, default value: HW_DH895xcc
 | | ... | - numvfs - Number of VFs to initialize, 0 - disable the VFs
-| | ... | (Optional). Type: integer, default value: ${32}
+| | ... | Type: integer, default value: ${32}
+| | ... | - force_init - Force to initialize. Type: boolean
 | | ...
 | | ... | *Example:*
 | | ...
-| | ... | \| Configure crypto device on all DUTs \| ${True} \|
+| | ... | \| Configure crypto device on all DUTs \| HW_DH895xcc \| ${32} \|
 | | ...
-| | [Arguments] | ${force_init}=${False} | ${numvfs}=${32}
+| | [Arguments] | ${crypto_type} | ${numvfs} | ${force_init}=${False}
 | | ...
 | | ${duts}= | Get Matches | ${nodes} | DUT*
 | | :FOR | ${dut} | IN | @{duts}
-| | | Crypto Device Verify | ${nodes['${dut}']} | force_init=${force_init}
-| | | ... | numvfs=${numvfs}
+| | | Crypto Device Verify | ${nodes['${dut}']} | ${crypto_type}
+| | | ... | ${numvfs} | force_init=${force_init}
 
 | Configure AVF interfaces on all DUTs
 | | [Documentation] | Configure virtual functions for AVF interfaces on PCI
 | | ... | *Arguments:*
 | | ... | - numvfs - Number of VFs to initialize, 0 - disable the VFs
 | | ... | (Optional). Type: integer, default value: ${1}
-| | ... | - topology_type - Topology type.
+| | ... | - osi_layer - OSI Layer type to initialize TG with.
 | | ... | (Optional). Type: string, default value: L2
 | | ...
 | | ... | *Example:*
 | | ...
 | | ... | \| Configure AVF device on all DUTs \| ${1} \| L2 \|
 | | ...
-| | [Arguments] | ${numvfs}=${1} | ${topology_type}=L2
+| | [Arguments] | ${numvfs}=${1} | ${osi_layer}=L2
 | | ...
 | | ${duts}= | Get Matches | ${nodes} | DUT*
 | | :FOR | ${dut} | IN | @{duts}
 | | | ${if1_avf_arr}= | Init AVF interface | ${nodes['${dut}']} | ${${dut}_if1}
-| | | ... | numvfs=${numvfs} | topology_type=${topology_type}
+| | | ... | numvfs=${numvfs} | osi_layer=${osi_layer}
 | | | ${if2_avf_arr}= | Init AVF interface | ${nodes['${dut}']} | ${${dut}_if2}
-| | | ... | numvfs=${numvfs} | topology_type=${topology_type}
+| | | ... | numvfs=${numvfs} | osi_layer=${osi_layer}
 # Currently only one AVF is supported.
 | | | Set Suite Variable | ${${dut}_if1_vf0} | ${if1_avf_arr[0]}
 | | | Set Suite Variable | ${${dut}_if2_vf0} | ${if2_avf_arr[0]}
 | | | Run keyword | ${dut}.Add Unix CLI Listen
 | | | Run keyword | ${dut}.Add Unix Nodaemon
 | | | Run keyword | ${dut}.Add Unix Coredump
-| | | Run keyword | ${dut}.Add DPDK Socketmem | 1024,1024
 | | | Run keyword | ${dut}.Add DPDK No Tx Checksum Offload
 | | | Run keyword | ${dut}.Add DPDK Log Level | debug
 | | | Run keyword | ${dut}.Add DPDK Uio Driver
 | | | Run keyword | ${dut}.Add Heapsize | 4G
 | | | Run keyword | ${dut}.Add Statseg size | 4G
+| | | Run keyword | ${dut}.Add Statseg Per Node Counters | on
 | | | Run keyword | ${dut}.Add Plugin | disable | default
 | | | Run keyword | ${dut}.Add Plugin | enable | @{plugins_to_enable}
 | | | Run keyword | ${dut}.Add IP6 Hash Buckets | 2000000
 | | ...
 | | ${cpu_count_int} | Convert to Integer | ${phy_cores}
 | | ${thr_count_int} | Convert to Integer | ${phy_cores}
-| | ${num_mbufs_int} | Convert to Integer | 16384
 | | ${duts}= | Get Matches | ${nodes} | DUT*
 | | :FOR | ${dut} | IN | @{duts}
 | | | ${if1_status} | ${value}= | Run Keyword And Ignore Error
 | | | ... | Append To List | ${if_list} | ${${dut}_if2_1} | ${${dut}_if2_2}
 | | | ${numa}= | Get interfaces numa node | ${nodes['${dut}']} | @{if_list}
 | | | ${smt_used}= | Is SMT enabled | ${nodes['${dut}']['cpuinfo']}
+| | | ${skip_cnt}= | Set variable | ${CPU_CNT_SYSTEM}
 | | | ${cpu_main}= | Cpu list per node str | ${nodes['${dut}']} | ${numa}
-| | | ... | skip_cnt=${1} | cpu_cnt=${1}
+| | | ... | skip_cnt=${skip_cnt} | cpu_cnt=${CPU_CNT_MAIN}
+| | | ${skip_cnt}= | Evaluate | ${CPU_CNT_SYSTEM} + ${CPU_CNT_MAIN}
 | | | ${cpu_wt}= | Cpu list per node str | ${nodes['${dut}']} | ${numa}
-| | | ... | skip_cnt=${2} | cpu_cnt=${cpu_count_int} | smt_used=${smt_used}
+| | | ... | skip_cnt=${skip_cnt} | cpu_cnt=${cpu_count_int}
+| | | ... | smt_used=${smt_used}
 | | | ${thr_count_int}= | Run keyword if | ${smt_used}
 | | | ... | Evaluate | int(${cpu_count_int}*2)
 | | | ... | ELSE | Set variable | ${thr_count_int}
 | | | ${rxq_count_int}= | Run keyword if | ${rxq_count_int} == 0
 | | | ... | Set variable | ${1}
 | | | ... | ELSE | Set variable | ${rxq_count_int}
-| | | ${num_mbufs_int}= | Evaluate | int(${num_mbufs_int}*${rxq_count_int})
 | | | Run keyword | ${dut}.Add CPU Main Core | ${cpu_main}
 | | | Run keyword | ${dut}.Add CPU Corelist Workers | ${cpu_wt}
 | | | Run keyword | ${dut}.Add DPDK Dev Default RXQ | ${rxq_count_int}
-# Temporarily desabling due to API changes:
-# https://gerrit.fd.io/r/#/c/16638/
-#| | | Run keyword | ${dut}.Add DPDK Num Mbufs | ${num_mbufs_int}
+# For now there is no way to easily predict the number of buffers. Statically
+# doing maximum amount of buffers allowed by DPDK.
+| | | Run keyword if | ${smt_used}
+| | | ... | Run keyword | ${dut}.Add Buffers Per Numa | ${215040} | ELSE
+| | | ... | Run keyword | ${dut}.Add Buffers Per Numa | ${107520}
 | | | Run keyword if | ${thr_count_int} > 1
 | | | ... | Set Tags | MTHREAD | ELSE | Set Tags | STHREAD
 | | | Set Tags | ${thr_count_int}T${cpu_count_int}C
 | | ...
 | | ${cpu_count_int} | Convert to Integer | ${phy_cores}
 | | ${thr_count_int} | Convert to Integer | ${phy_cores}
-| | ${num_mbufs_int} | Convert to Integer | 16384
 | | ${duts}= | Get Matches | ${nodes} | DUT*
 | | :FOR | ${dut} | IN | @{duts}
 | | | ${numa}= | Get interfaces numa node | ${nodes['${dut}']}
 | | | ${rxq_count_int}= | Run keyword if | ${rxq_count_int} == 0
 | | | ... | Set variable | ${1}
 | | | ... | ELSE | Set variable | ${rxq_count_int}
-| | | ${num_mbufs_int}= | Evaluate | int(${num_mbufs_int}*${rxq_count_int})
 | | | ${config}= | Run keyword | Create Kubernetes VSWITCH startup config
 | | | ... | node=${nodes['${dut}']} | phy_cores=${phy_cores}
 | | | ... | cpu_node=${numa} | jumbo=${jumbo} | rxq_count_int=${rxq_count_int}
-| | | ... | num_mbufs_int=${num_mbufs_int}
+| | | ... | buffers_per_numa=${215040}
 | | | ... | filename=/tmp/vswitch.conf | if1=${if1_pci} | if2=${if2_pci}
 | | | Run keyword if | ${thr_count_int} > 1
 | | | ... | Set Tags | MTHREAD | ELSE | Set Tags | STHREAD
 | | Run keyword | DUT2.Add DPDK SW Cryptodev | ${sw_pmd_type} | ${socket_id}
 | | ... | ${thr_count_int}
 
-| Apply startup configuration on all VPP DUTs
-| | [Documentation] | Write startup configuration and restart VPP on all DUTs.
-| | ...
-| | ... | *Arguments:*
-| | ... | - restart_vpp - Whether to restart VPP (Optional). Type: boolean
-| | ...
-| | ... | *Example:*
-| | ...
-| | ... | \| Apply startup configuration on all VPP DUTs \| ${False} \|
+| Write startup configuration on all VPP DUTs
+| | [Documentation] | Write VPP startup configuration on all DUTs.
 | | ...
-| | [Arguments] | ${restart_vpp}=${True}
+| | ${duts}= | Get Matches | ${nodes} | DUT*
+| | :FOR | ${dut} | IN | @{duts}
+| | | Run keyword | ${dut}.Write Config
+
+| Apply startup configuration on all VPP DUTs
+| | [Documentation] | Write VPP startup configuration and restart VPP on all
+| | ... | DUTs.
 | | ...
 | | ${duts}= | Get Matches | ${nodes} | DUT*
 | | :FOR | ${dut} | IN | @{duts}
-| | | Run keyword | ${dut}.Apply Config | restart_vpp=${restart_vpp}
+| | | Run keyword | ${dut}.Apply Config
+| | Enable Coredump Limit VPP on All DUTs | ${nodes}
 | | Update All Interface Data On All Nodes | ${nodes} | skip_tg=${True}
 
 | Save VPP PIDs
 | Set up functional test
 | | [Documentation] | Common test setup for functional tests.
 | | ...
-| | Configure all DUTs before test
+| | Restart Vpp Service On All Duts | ${nodes}
+| | Verify Vpp On All Duts | ${nodes}
+| | VPP Enable Traces On All Duts | ${nodes}
 | | Save VPP PIDs
 | | Configure all TGs for traffic script
 | | Update All Interface Data On All Nodes | ${nodes}
-| | Reset VAT History On All DUTs | ${nodes}
+| | Reset PAPI History On All DUTs | ${nodes}
 
 | Tear down functional test
 | | [Documentation] | Common test teardown for functional tests.
 | | ...
 | | Remove All Added Ports On All DUTs From Topology | ${nodes}
 | | Show Packet Trace on All DUTs | ${nodes}
-| | Show VAT History On All DUTs | ${nodes}
+| | Show PAPI History On All DUTs | ${nodes}
 | | Vpp Show Errors On All DUTs | ${nodes}
 | | Verify VPP PID in Teardown
 
 # much
 | | [Documentation] | Common test setup for vpp-device tests.
 | | ...
-| | Configure all DUTs before test
+| | Restart Vpp Service On All Duts | ${nodes}
+| | Verify Vpp On All Duts | ${nodes}
+| | VPP Enable Traces On All Duts | ${nodes}
 | | Save VPP PIDs
 | | Configure all TGs for traffic script
 | | Update All Interface Data On All Nodes | ${nodes} | skip_tg_udev=${True}
-| | Reset VAT History On All DUTs | ${nodes}
+| | Reset PAPI History On All DUTs | ${nodes}
 
 | Tear down VPP device test
 # TODO: Generalize this KW if it will not diverge from Functional derivate too
 | | ...
 | | Remove All Added Ports On All DUTs From Topology | ${nodes}
 | | Show Packet Trace on All DUTs | ${nodes}
-| | Show VAT History On All DUTs | ${nodes}
+| | Show PAPI History On All DUTs | ${nodes}
 | | Vpp Show Errors On All DUTs | ${nodes}
 | | Verify VPP PID in Teardown
 
 | | ...
 | | Remove All Added Ports On All DUTs From Topology | ${nodes}
 | | Show Packet Trace on All DUTs | ${nodes}
-| | Show VAT History On All DUTs | ${nodes}
+| | Show PAPI History On All DUTs | ${nodes}
 | | Show Vpp Settings | ${nodes['DUT1']}
 | | Show Vpp Settings | ${nodes['DUT2']}
 | | Vpp Show Errors On All DUTs | ${nodes}
 | | [Documentation] | Common test teardown for functional tests with LISP and\
 | | ... | QEMU.
 | | ...
-| | ... | *Arguments:*
-| | ... | - vm_node - VM to stop. Type: string
-| | ...
-| | ... | *Example:*
-| | ...
-| | ... | \| Tear down LISP functional test with QEMU \| ${vm_node} \|
-| | ...
-| | [Arguments] | ${vm_node}
-| | ...
 | | Remove All Added Ports On All DUTs From Topology | ${nodes}
 | | Show Packet Trace on All DUTs | ${nodes}
-| | Show VAT History On All DUTs | ${nodes}
+| | Show PAPI History On All DUTs | ${nodes}
 | | Show Vpp Settings | ${nodes['DUT1']}
 | | Show Vpp Settings | ${nodes['DUT2']}
 | | Vpp Show Errors On All DUTs | ${nodes}
-| | Stop and clear QEMU | ${nodes['DUT1']} | ${vm_node}
+| | Tear down QEMU
 | | Verify VPP PID in Teardown
 
-| Set up TAP functional test
-| | [Documentation] | Common test setup for functional tests with TAP.
-| | ...
-| | Set up functional test
-| | Clean Up Namespaces | ${nodes['DUT1']}
-
 | Set up functional test with containers
 | | [Documentation]
 | | ... | Common test setup for functional tests with containers.
 | | ... | default value: ${1}
 | | ...
 | | ... | _NOTE:_ This KW sets following test case variables:
-| | ... | - tmp_volume - Docker volume mounted as /tmp directory on DUT1.
-| | ... | - dcr_uuid - UUID string (including prefix - underscore character) of
-| | ... | DUT1 /tmp volume.
+| | ... | - dcr_uuid - Parent container UUID.
+| | ... | - dcr_root - Parent container overlay.
 | | ...
 | | ... | *Example:*
 | | ...
 | | Import Library | resources.libraries.python.ContainerUtils.ContainerManager
 | | ... | engine=${container_engine} | WITH NAME | ${container_group}
 | | ...
-| | ${tmp_volume}= | Get Environment Variable | CSIT_DUT1_VOL
-| | ${dcr_uuid}= | Remove String | ${tmp_volume} | DUT1_VOL
-| | Set Test Variable | ${tmp_volume}
+| | ${dcr_uuid}= | Get Environment Variable | CSIT_DUT1_UUID
+| | ${dcr_root}= | Run Keyword | Get Docker Mergeddir | ${nodes['DUT1']}
+| | ... | ${dcr_uuid}
 | | Set Test Variable | ${dcr_uuid}
+| | Set Test Variable | ${dcr_root}
 | | ...
 | | Construct chains of containers on all DUTs | ${chains} | ${nodeness}
-| | ... | set_nf_cpus=${False}
+| | ... | nested=${True}
 | | Acquire all '${container_group}' containers
 | | Create all '${container_group}' containers
 | | Configure VPP in all '${container_group}' containers
-| | Stop VPP service on all DUTs | ${nodes}
-| | Install VPP in all '${container_group}' containers
-| | Start VPP service on all DUTs | ${nodes}
+| | Start VPP in all '${container_group}' containers
 | | Append To List | ${container_groups} | ${container_group}
 
-| Tear down TAP functional test
-| | [Documentation] | Common test teardown for functional tests with TAP.
-| | ...
-| | Tear down functional test
-| | Clean Up Namespaces | ${nodes['DUT1']}
-
-| Tear down TAP functional test with Linux bridge
-| | [Documentation] | Common test teardown for functional tests with TAP and
-| | ... | a Linux bridge.
-| | ...
-| | ... | *Arguments:*
-| | ... | - bid_TAP - Bridge name. Type: string
-| | ...
-| | ... | *Example:*
-| | ...
-| | ... | \| Tear down TAP functional test with Linux bridge \| ${bid_TAP} \|
-| | ...
-| | [Arguments] | ${bid_TAP}
-| | ...
-| | Tear down functional test
-| | Linux Del Bridge | ${nodes['DUT1']} | ${bid_TAP}
-| | Clean Up Namespaces | ${nodes['DUT1']}
-
-| Tear down FDS functional test
-| | [Documentation] | Common test teardown for FDS functional tests.
-| | ...
-| | ... | *Arguments:*
-| | ... | - dut1_node - Node Nr.1 where to clean qemu. Type: dictionary
-| | ... | - qemu_node1 - VM Nr.1 node info dictionary. Type: string
-| | ... | - dut2_node - Node Nr.2 where to clean qemu. Type: dictionary
-| | ... | - qemu_node2 - VM Nr.2 node info dictionary. Type: string
-| | ...
-| | ... | *Example:*
-| | ...
-| | ... | \| Tear down FDS functional test \| ${dut1_node} \| ${qemu_node1}\
-| | ... | \| ${dut2_node} \| ${qemu_node2} \|
-| | ...
-| | [Arguments] | ${dut1_node} | ${qemu_node1} | ${dut2_node}
-| | ... | ${qemu_node2}
-| | ...
-| | Tear down functional test
-| | Tear down QEMU | ${dut1_node} | ${qemu_node1} | qemu_node1
-| | Tear down QEMU | ${dut2_node} | ${qemu_node2} | qemu_node2
-
 | Tear down functional test with container
 | | [Documentation]
 | | ... | Common test teardown for functional tests which uses containers.
 | | ...
 | | [Arguments] | ${node}
 | | Stop VPP Service | ${node}
-
-| Start VPP Service on DUT
-| | [Documentation] | Start the VPP service on the specified node.
-| | ...
-| | ... | *Arguments:*
-| | ... | - node - information about a DUT node. Type: dictionary
-| | ...
-| | ... | *Example:*
-| | ...
-| | ... | \| Start VPP Service on DUT \| ${nodes['DUT1']} \|
-| | ...
-| | [Arguments] | ${node}
-| | Start VPP Service | ${node}