Add 2n AVF tests
[csit.git] / resources / libraries / robot / shared / default.robot
index 137e2e8..42c4f28 100644 (file)
@@ -1,4 +1,4 @@
-# Copyright (c) 2018 Cisco and/or its affiliates.
+# Copyright (c) 2019 Cisco and/or its affiliates.
 # Licensed under the Apache License, Version 2.0 (the "License");
 # you may not use this file except in compliance with the License.
 # You may obtain a copy of the License at:
 # limitations under the License.
 
 *** Settings ***
-| Resource | resources/libraries/robot/vm/qemu.robot
-| Resource | resources/libraries/robot/vm/double_qemu_setup.robot
 | Variables | resources/libraries/python/topology.py
-| Variables | resources/libraries/python/VatHistory.py
-| Library | resources.libraries.python.topology.Topology
-| Library | resources.libraries.python.VatHistory
+| Variables | resources/libraries/python/PapiHistory.py
+| ...
+| Library | Collections
+| Library | OperatingSystem
+| Library | String
+| ...
+| Library | resources.libraries.python.CoreDumpUtil
 | Library | resources.libraries.python.CpuUtils
 | Library | resources.libraries.python.DUTSetup
-| Library | resources.libraries.python.SchedUtils
-| Library | resources.libraries.python.TGSetup
 | Library | resources.libraries.python.L2Util
+| Library | resources.libraries.python.SchedUtils
 | Library | resources.libraries.python.Tap
+| Library | resources.libraries.python.TGSetup
+| Library | resources.libraries.python.PapiHistory
 | Library | resources.libraries.python.VppCounters
 | Library | resources.libraries.python.VPPUtil
 | Library | resources.libraries.python.Trace
-| Library | Collections
+| Library | resources.libraries.python.topology.Topology
+| ...
+| Resource | resources/libraries/robot/shared/container.robot
+| Resource | resources/libraries/robot/vm/qemu.robot
 
 *** Keywords ***
 | Configure all DUTs before test
 | | ... | try to initialize/disable.
 | | ...
 | | ... | *Arguments:*
+| | ... | - crypto_type - Crypto device type - HW_DH895xcc or HW_C3xxx.
+| | ... | Type: string, default value: HW_DH895xcc
+| | ... | - numvfs - Number of VFs to initialize, 0 - disable the VFs
+| | ... | Type: integer, default value: ${32}
 | | ... | - force_init - Force to initialize. Type: boolean
+| | ...
+| | ... | *Example:*
+| | ...
+| | ... | \| Configure crypto device on all DUTs \| HW_DH895xcc \| ${32} \|
+| | ...
+| | [Arguments] | ${crypto_type} | ${numvfs} | ${force_init}=${False}
+| | ...
+| | ${duts}= | Get Matches | ${nodes} | DUT*
+| | :FOR | ${dut} | IN | @{duts}
+| | | Crypto Device Verify | ${nodes['${dut}']} | ${crypto_type}
+| | | ... | ${numvfs} | force_init=${force_init}
+
+| Configure AVF interfaces on all DUTs
+| | [Documentation] | Configure virtual functions for AVF interfaces on PCI
+| | ... | interface on all DUTs.
+| | ...
+| | ... | *Arguments:*
 | | ... | - numvfs - Number of VFs to initialize, 0 - disable the VFs
-| | ... | (Optional). Type: integer, default value: ${32}
+| | ... | (Optional). Type: integer, default value: ${1}
+| | ... | - traffic_profile - A value affecting behavior, such as spoofing.
+| | ... | (Optional). Type: string, default value: L2
+| | ... | Note: This is NOT the usual traffic profile
+| | ... | (which is python module name to initialize TG with).
 | | ...
 | | ... | *Example:*
 | | ...
-| | ... | \| Configure crypto device on all DUTs \| ${True} \|
+| | ... | \| Configure AVF device on all DUTs \| ${1} \| L2 \|
 | | ...
-| | [Arguments] | ${force_init}=${False} | ${numvfs}=${32}
+| | [Arguments] | ${numvfs}=${1} | ${traffic_profile}=L2
 | | ...
 | | ${duts}= | Get Matches | ${nodes} | DUT*
 | | :FOR | ${dut} | IN | @{duts}
-| | | Crypto Device Verify | ${nodes['${dut}']} | force_init=${force_init}
-| | | ... | numvfs=${numvfs}
+| | | ${if1_avf_arr}= | Init AVF interface | ${nodes['${dut}']} | ${${dut}_if1}
+| | | ... | numvfs=${numvfs} | traffic_type=${traffic_profile}
+| | | ${if2_avf_arr}= | Init AVF interface | ${nodes['${dut}']} | ${${dut}_if2}
+| | | ... | numvfs=${numvfs} | traffic_type=${traffic_profile}
+# Currently only one AVF is supported.
+| | | Set Suite Variable | ${${dut}_if1_vf0} | ${if1_avf_arr[0]}
+| | | Set Suite Variable | ${${dut}_if2_vf0} | ${if2_avf_arr[0]}
 
 | Configure kernel module on all DUTs
 | | [Documentation] | Verify if specific kernel module is loaded on all DUTs.
-| | ... | If parameter force_load is set to True, then try to initialize.
+| | ... | If parameter force_load is set to True, then try to load.
 | | ...
 | | ... | *Arguments:*
 | | ... | - module - Module to verify. Type: string
 | | ...
 | | [Arguments] | ${module} | ${force_load}=${False}
 | | ...
-| | ${duts}= | Get Matches | ${nodes} | DUT*
-| | :FOR | ${dut} | IN | @{duts}
-| | | Kernel Module Verify | ${nodes['${dut}']} | ${module}
-| | | ... | force_load=${force_load}
+| | Verify Kernel Module on All DUTs | ${nodes} | ${module}
+| | ... | force_load=${force_load}
 
 | Create base startup configuration of VPP on all DUTs
 | | [Documentation] | Create base startup configuration of VPP to all DUTs.
 | | | Run keyword | ${dut}.Add Unix CLI Listen
 | | | Run keyword | ${dut}.Add Unix Nodaemon
 | | | Run keyword | ${dut}.Add Unix Coredump
-| | | Run keyword | ${dut}.Add DPDK Socketmem | 1024,1024
 | | | Run keyword | ${dut}.Add DPDK No Tx Checksum Offload
 | | | Run keyword | ${dut}.Add DPDK Log Level | debug
 | | | Run keyword | ${dut}.Add DPDK Uio Driver
 | | ${num_mbufs_int} | Convert to Integer | 16384
 | | ${duts}= | Get Matches | ${nodes} | DUT*
 | | :FOR | ${dut} | IN | @{duts}
-| | | ${numa}= | Get interfaces numa node | ${nodes['${dut}']}
-| | | ... | ${${dut}_if1} | ${${dut}_if2}
+| | | ${if1_status} | ${value}= | Run Keyword And Ignore Error
+| | | ... | Variable Should Exist | ${${dut}_if1}
+| | | @{if_list}= | Run Keyword If | '${if1_status}' == 'PASS'
+| | | ... | Create List | ${${dut}_if1}
+| | | ... | ELSE | Create List | ${${dut}_if1_1} | ${${dut}_if1_2}
+| | | ${if2_status} | ${value}= | Run Keyword And Ignore Error
+| | | ... | Variable Should Exist | ${${dut}_if2}
+| | | Run Keyword If | '${if2_status}' == 'PASS'
+| | | ... | Append To List | ${if_list} | ${${dut}_if2}
+| | | ... | ELSE
+| | | ... | Append To List | ${if_list} | ${${dut}_if2_1} | ${${dut}_if2_2}
+| | | ${numa}= | Get interfaces numa node | ${nodes['${dut}']} | @{if_list}
 | | | ${smt_used}= | Is SMT enabled | ${nodes['${dut}']['cpuinfo']}
 | | | ${cpu_main}= | Cpu list per node str | ${nodes['${dut}']} | ${numa}
 | | | ... | skip_cnt=${1} | cpu_cnt=${1}
 | | | Run keyword | ${dut}.Add CPU Main Core | ${cpu_main}
 | | | Run keyword | ${dut}.Add CPU Corelist Workers | ${cpu_wt}
 | | | Run keyword | ${dut}.Add DPDK Dev Default RXQ | ${rxq_count_int}
-| | | Run keyword | ${dut}.Add DPDK Num Mbufs | ${num_mbufs_int}
+# Temporarily desabling due to API changes:
+# https://gerrit.fd.io/r/#/c/16638/
+#| | | Run keyword | ${dut}.Add DPDK Num Mbufs | ${num_mbufs_int}
 | | | Run keyword if | ${thr_count_int} > 1
 | | | ... | Set Tags | MTHREAD | ELSE | Set Tags | STHREAD
 | | | Set Tags | ${thr_count_int}T${cpu_count_int}C
 | | :FOR | ${dut} | IN | @{duts}
 | | | Run keyword | ${dut}.Add DPDK No Multi Seg
 
+| Add DPDK no PCI to all DUTs
+| | [Documentation] | Add DPDK no-pci to VPP startup configuration to all DUTs.
+| | ...
+| | ${duts}= | Get Matches | ${nodes} | DUT*
+| | :FOR | ${dut} | IN | @{duts}
+| | | Run keyword | ${dut}.Add DPDK no PCI
+
 | Add DPDK dev default RXD to all DUTs
 | | [Documentation] | Add DPDK num-rx-desc to VPP startup configuration to all
 | | ... | DUTs.
 | | ${duts}= | Get Matches | ${nodes} | DUT*
 | | :FOR | ${dut} | IN | @{duts}
 | | | Run keyword | ${dut}.Apply Config | restart_vpp=${restart_vpp}
+| | Enable Coredump Limit VPP on All DUTs | ${nodes}
 | | Update All Interface Data On All Nodes | ${nodes} | skip_tg=${True}
 
 | Save VPP PIDs
 | | Save VPP PIDs
 | | Configure all TGs for traffic script
 | | Update All Interface Data On All Nodes | ${nodes}
-| | Reset VAT History On All DUTs | ${nodes}
+| | Reset PAPI History On All DUTs | ${nodes}
 
 | Tear down functional test
 | | [Documentation] | Common test teardown for functional tests.
 | | ...
 | | Remove All Added Ports On All DUTs From Topology | ${nodes}
 | | Show Packet Trace on All DUTs | ${nodes}
-| | Show VAT History On All DUTs | ${nodes}
+| | Show PAPI History On All DUTs | ${nodes}
+| | Vpp Show Errors On All DUTs | ${nodes}
+| | Verify VPP PID in Teardown
+
+| Set up VPP device test
+# TODO: Generalize this KW if it will not diverge from Functional derivate too
+# much
+| | [Documentation] | Common test setup for vpp-device tests.
+| | ...
+| | Configure all DUTs before test
+| | Save VPP PIDs
+| | Configure all TGs for traffic script
+| | Update All Interface Data On All Nodes | ${nodes} | skip_tg_udev=${True}
+| | Reset PAPI History On All DUTs | ${nodes}
+
+| Tear down VPP device test
+# TODO: Generalize this KW if it will not diverge from Functional derivate too
+# much
+| | [Documentation] | Common test teardown for vpp-device tests.
+| | ...
+| | Remove All Added Ports On All DUTs From Topology | ${nodes}
+| | Show Packet Trace on All DUTs | ${nodes}
+| | Show PAPI History On All DUTs | ${nodes}
 | | Vpp Show Errors On All DUTs | ${nodes}
 | | Verify VPP PID in Teardown
 
 | | ...
 | | Remove All Added Ports On All DUTs From Topology | ${nodes}
 | | Show Packet Trace on All DUTs | ${nodes}
-| | Show VAT History On All DUTs | ${nodes}
+| | Show PAPI History On All DUTs | ${nodes}
 | | Show Vpp Settings | ${nodes['DUT1']}
 | | Show Vpp Settings | ${nodes['DUT2']}
 | | Vpp Show Errors On All DUTs | ${nodes}
 | | [Documentation] | Common test teardown for functional tests with LISP and\
 | | ... | QEMU.
 | | ...
-| | ... | *Arguments:*
-| | ... | - vm_node - VM to stop. Type: string
-| | ...
-| | ... | *Example:*
-| | ...
-| | ... | \| Tear down LISP functional test with QEMU \| ${vm_node} \|
-| | ...
-| | [Arguments] | ${vm_node}
-| | ...
 | | Remove All Added Ports On All DUTs From Topology | ${nodes}
 | | Show Packet Trace on All DUTs | ${nodes}
-| | Show VAT History On All DUTs | ${nodes}
+| | Show PAPI History On All DUTs | ${nodes}
 | | Show Vpp Settings | ${nodes['DUT1']}
 | | Show Vpp Settings | ${nodes['DUT2']}
 | | Vpp Show Errors On All DUTs | ${nodes}
-| | Stop and clear QEMU | ${nodes['DUT1']} | ${vm_node}
+| | Tear down QEMU
 | | Verify VPP PID in Teardown
 
 | Set up TAP functional test
 | | Set up functional test
 | | Clean Up Namespaces | ${nodes['DUT1']}
 
+| Set up functional test with containers
+| | [Documentation]
+| | ... | Common test setup for functional tests with containers.
+| | ...
+| | ... | *Arguments:*
+| | ... | - chains: Total number of chains (Optional). Type: integer, default
+| | ... | value: ${1}
+| | ... | - nodeness: Total number of nodes per chain (Optional). Type: integer,
+| | ... | default value: ${1}
+| | ...
+| | ... | _NOTE:_ This KW sets following test case variables:
+| | ... | - dcr_uuid - Parent container UUID.
+| | ... | - dcr_root - Parent container overlay.
+| | ...
+| | ... | *Example:*
+| | ...
+| | ... | \| Set up functional test with containers \| 1 \| 1 \|
+| | ...
+| | [Arguments] | ${chains}=${1} | ${nodeness}=${1}
+| | ...
+| | Set Test Variable | @{container_groups} | @{EMPTY}
+| | Set Test Variable | ${container_group} | CNF
+| | Import Library | resources.libraries.python.ContainerUtils.ContainerManager
+| | ... | engine=${container_engine} | WITH NAME | ${container_group}
+| | ...
+| | ${dcr_uuid}= | Get Environment Variable | CSIT_DUT1_UUID
+| | ${dcr_root}= | Run Keyword | Get Docker Mergeddir | ${nodes['DUT1']}
+| | ... | ${dcr_uuid}
+| | Set Test Variable | ${dcr_uuid}
+| | Set Test Variable | ${dcr_root}
+| | ...
+| | Construct chains of containers on all DUTs | ${chains} | ${nodeness}
+| | ... | nested=${True}
+| | Acquire all '${container_group}' containers
+| | Create all '${container_group}' containers
+| | Configure VPP in all '${container_group}' containers
+| | Start VPP in all '${container_group}' containers
+| | Append To List | ${container_groups} | ${container_group}
+
 | Tear down TAP functional test
 | | [Documentation] | Common test teardown for functional tests with TAP.
 | | ...
 | | Linux Del Bridge | ${nodes['DUT1']} | ${bid_TAP}
 | | Clean Up Namespaces | ${nodes['DUT1']}
 
-| Tear down FDS functional test
-| | [Documentation] | Common test teardown for FDS functional tests.
-| | ...
-| | ... | *Arguments:*
-| | ... | - dut1_node - Node Nr.1 where to clean qemu. Type: dictionary
-| | ... | - qemu_node1 - VM Nr.1 node info dictionary. Type: string
-| | ... | - dut2_node - Node Nr.2 where to clean qemu. Type: dictionary
-| | ... | - qemu_node2 - VM Nr.2 node info dictionary. Type: string
-| | ...
-| | ... | *Example:*
-| | ...
-| | ... | \| Tear down FDS functional test \| ${dut1_node} \| ${qemu_node1}\
-| | ... | \| ${dut2_node} \| ${qemu_node2} \|
+| Tear down functional test with container
+| | [Documentation]
+| | ... | Common test teardown for functional tests which uses containers.
 | | ...
-| | [Arguments] | ${dut1_node} | ${qemu_node1} | ${dut2_node}
-| | ... | ${qemu_node2}
-| | ...
-| | Tear down functional test
-| | Tear down QEMU | ${dut1_node} | ${qemu_node1} | qemu_node1
-| | Tear down QEMU | ${dut2_node} | ${qemu_node2} | qemu_node2
+| | :FOR | ${container_group} | IN | @{container_groups}
+| | | Destroy all '${container_group}' containers
 
 | Stop VPP Service on DUT
 | | [Documentation] | Stop the VPP service on the specified node.