CSIT-465: Common test setup and teardown 85/3685/10
authorTibor Frank <tifrank@cisco.com>
Thu, 27 Oct 2016 13:33:42 +0000 (15:33 +0200)
committerTibor Frank <tifrank@cisco.com>
Mon, 7 Nov 2016 16:07:12 +0000 (17:07 +0100)
This test setup and teardown is aimed to be used with all functional
tests.
It does not include functionality to manipulate VMs (qemu).

Test setup includes:
- Setup all DUTs before test
- Save VPP PIDs
- Setup all TGs before traffic script
- Update All Interface Data On All Nodes

Test teardown includes:
- Show Packet Trace on All DUTs
- Show vpp trace dump on all DUTs
- Vpp Show Errors On All DUTs
- Check VPP PID in Teardown

Change-Id: Ifee0bd58b7865442c5b510852908fd8363e3c543
Signed-off-by: Tibor Frank <tifrank@cisco.com>
59 files changed:
resources/libraries/python/DUTSetup.py
resources/libraries/python/VppCounters.py
resources/libraries/robot/default.robot
tests/func/bridge_domain/bridge_domain_untagged.robot
tests/func/cop/cop_whitelist_blacklist.robot
tests/func/cop/cop_whitelist_blacklist_IPv6.robot
tests/func/dhcp/dhcp_client.robot
tests/func/dhcp/dhcp_v4_proxy.robot
tests/func/dhcp/dhcp_v6_proxy.robot
tests/func/fds/provider_network.robot
tests/func/fds/tenant_network.robot
tests/func/gre/gre_encapsulation.robot
tests/func/iacl/ipv4_iacl_untagged.robot
tests/func/iacl/ipv6_iacl_untagged.robot
tests/func/iacl/l2_iacl_untagged.robot
tests/func/ipsec/ipsec_transport_mode_ipv4.robot
tests/func/ipsec/ipsec_transport_mode_ipv6.robot
tests/func/ipsec/ipsec_tunnel_mode_ipv4.robot
tests/func/ipsec/ipsec_tunnel_mode_ipv6.robot
tests/func/ipv4/ipv4_arp_untagged.robot
tests/func/ipv4/ipv4_multipath_routing.robot
tests/func/ipv4/ipv4_proxy_arp_untagged.robot
tests/func/ipv4/ipv4_untagged.robot
tests/func/ipv6/ipv6_multipath_routing.robot
tests/func/ipv6/ipv6_ra.robot
tests/func/ipv6/ipv6_untagged.robot
tests/func/l2_xconnect/l2_xconnect_untagged.robot
tests/func/lisp/api.robot
tests/func/lisp/dataplane_generic.robot
tests/func/lisp/ipsec_ipv4_lispgpe_ipv4.robot
tests/func/lisp/ipsec_ipv4_lispgpe_ipv6.robot
tests/func/lisp/ipsec_ipv6_lispgpe_ipv4.robot
tests/func/lisp/ipsec_ipv6_lispgpe_ipv6.robot
tests/func/lisp/ipv4_lispgpe_ipv4.robot
tests/func/lisp/ipv4_lispgpe_ipv6.robot
tests/func/lisp/ipv6_lispgpe_ipv4.robot
tests/func/lisp/ipv6_lispgpe_ipv6.robot
tests/func/lisp/l2_lisp_ipv4.robot
tests/func/lisp/l2_lisp_ipv6.robot
tests/func/policer/policer_ip4.robot
tests/func/policer/policer_ip6.robot
tests/func/rpf/ipv4_rpf_untagged.robot
tests/func/softwire/lightweight_4over6.robot
tests/func/softwire/map_e.robot
tests/func/softwire/map_t.robot
tests/func/tap/tap_interface.robot
tests/func/telemetry/ipfix_ipv4.robot
tests/func/telemetry/ipfix_ipv6.robot
tests/func/telemetry/span.robot
tests/func/vlan/qinq_l2_xconnect.robot
tests/func/vlan/vlan_tag_translate_l2_bridge_domain_ipv4.robot
tests/func/vlan/vlan_tag_translate_l2_bridge_domain_ipv6.robot
tests/func/vlan/vlan_tag_translate_l2_xconnect_ipv4.robot
tests/func/vlan/vlan_tag_translate_l2_xconnect_ipv6.robot
tests/func/vrf/vrf_tests.robot
tests/func/vrf/vrf_tests_v6.robot
tests/func/vxlan/vxlan_bd_dot1q.robot
tests/func/vxlan/vxlan_bd_untagged.robot
tests/func/vxlan/vxlan_xconnect_untagged.robot

index 78caeb7..6b2f5ed 100644 (file)
@@ -97,3 +97,48 @@ class DUTSetup(object):
                          format(node['host'], stdout + stderr))
             raise Exception('DUT test setup script failed at node {}'.
                             format(node['host']))
                          format(node['host'], stdout + stderr))
             raise Exception('DUT test setup script failed at node {}'.
                             format(node['host']))
+
+    @staticmethod
+    def get_vpp_pid(node):
+        """Get PID of running VPP process.
+
+        :param node: DUT node.
+        :type node: dict
+        :return: PID
+        :rtype: int
+        :raises RuntimeError if it is not possible to get the PID.
+        """
+
+        ssh = SSH()
+        ssh.connect(node)
+        ret_code, stdout, stderr = ssh.exec_command('pidof vpp')
+
+        logger.trace(stdout)
+        logger.trace(stderr)
+
+        if int(ret_code) != 0:
+            logger.debug('Not possible to get PID of VPP process on node: '
+                         '"{1}"'.format(node['host'], stdout + stderr))
+            raise RuntimeError('Not possible to get PID of VPP process on node:'
+                               ' {}'.format(node['host']))
+
+        if len(stdout.splitlines()) != 1:
+            raise RuntimeError("More then one VPP PID found on node {0}".
+                               format(node['host']))
+        return int(stdout)
+
+    @staticmethod
+    def get_vpp_pids(nodes):
+        """Get PID of running VPP process on all DUTs.
+
+        :param nodes: DUT nodes.
+        :type nodes: dict
+        :return: PIDs
+        :rtype: dict
+        """
+
+        pids = dict()
+        for node in nodes.values():
+            if node['type'] == NodeType.DUT:
+                pids[node['host']] = DUTSetup.get_vpp_pid(node)
+        return pids
index af3ea47..e755c75 100644 (file)
@@ -57,6 +57,23 @@ class VppCounters(object):
         vat = VatExecutor()
         vat.execute_script("show_errors_verbose.vat", node, json_out=False)
 
         vat = VatExecutor()
         vat.execute_script("show_errors_verbose.vat", node, json_out=False)
 
+    @staticmethod
+    def vpp_show_errors_on_all_duts(nodes, verbose=False):
+        """Show errors on all DUTs.
+
+        :param nodes: VPP nodes
+        :param verbose: If True show verbose output.
+        :type nodes: dict
+        :type verbose: bool
+        """
+
+        for node in nodes.values():
+            if node['type'] == NodeType.DUT:
+                if verbose:
+                    VppCounters.vpp_show_errors_verbose(node)
+                else:
+                    VppCounters.vpp_show_errors(node)
+
     @staticmethod
     def vpp_show_runtime(node):
         """Run "show runtime" CLI command.
     @staticmethod
     def vpp_show_runtime(node):
         """Run "show runtime" CLI command.
index 8602f70..dca7d53 100644 (file)
 | | :FOR | ${dut} | IN | @{duts}
 | | | Apply Config | ${nodes['${dut}']}
 | | Update All Interface Data On All Nodes | ${nodes} | skip_tg=${TRUE}
 | | :FOR | ${dut} | IN | @{duts}
 | | | Apply Config | ${nodes['${dut}']}
 | | Update All Interface Data On All Nodes | ${nodes} | skip_tg=${TRUE}
+
+| Save VPP PIDs
+| | [Documentation] | Get PIDs of VPP processes from all DUTs in topology and
+| | ... | set it as a test variable. The PIDs are stored as dictionary items
+| | ... | where the key is the host and the value is the PID.
+| | ...
+| | ${setup_vpp_pids}= | Get VPP PIDs | ${nodes}
+| | Set Test Variable | ${setup_vpp_pids}
+
+| Check VPP PID in Teardown
+| | [Documentation] | Check if the VPP PIDs on all DUTs are the same at the end
+| | ... | of test as they were at the begining. If they are not, only a message
+| | ... | is printed on console and to log. The test will not fail.
+| | ...
+| | ${teardown_vpp_pids}= | Get VPP PIDs | ${nodes}
+| | ${err_msg}= | Catenate | \nThe VPP PIDs are not equal!\nTest Setup VPP PIDs:
+| | ... | ${setup_vpp_pids}\nTest Teardown VPP PIDs: ${teardown_vpp_pids}
+| | ${rc} | ${msg}= | Run keyword and ignore error
+| | ... | Dictionaries Should Be Equal
+| | ... | ${setup_vpp_pids} | ${teardown_vpp_pids}
+| | Run Keyword And Return If | '${rc}'=='FAIL' | Log | ${err_msg}
+| | ... | console=yes | level=WARN
+
+| Func Test Setup
+| | [Documentation] | Common test setup for functional tests.
+| | ...
+| | Setup all DUTs before test
+| | Save VPP PIDs
+| | Setup all TGs before traffic script
+| | Update All Interface Data On All Nodes | ${nodes}
+
+| Func Test Teardown
+| | [Documentation] | Common test teardown for functional tests.
+| | ...
+| | Show Packet Trace on All DUTs | ${nodes}
+| | Show vpp trace dump on all DUTs
+| | Vpp Show Errors On All DUTs | ${nodes}
+| | Check VPP PID in Teardown
index 1876d90..346ce86 100644 (file)
 | Resource | resources/libraries/robot/qemu.robot
 | Library  | resources.libraries.python.Trace
 | Force Tags | HW_ENV | VM_ENV
 | Resource | resources/libraries/robot/qemu.robot
 | Library  | resources.libraries.python.Trace
 | Force Tags | HW_ENV | VM_ENV
-| Test Setup | Run Keywords | Setup all DUTs before test
-| ...        | AND          | Setup all TGs before traffic script
-| Test Teardown | Run Keywords | Show Packet Trace on All DUTs | ${nodes}
-| ...           | AND          | Show vpp trace dump on all DUTs
+| Test Setup | Func Test Setup
+| Test Teardown | Func Test Teardown
 | Documentation | *L2 bridge-domain test cases*
 | ...
 | ... | *[Top] Network Topologies:* TG=DUT1 2-node topology with two links
 | Documentation | *L2 bridge-domain test cases*
 | ...
 | ... | *[Top] Network Topologies:* TG=DUT1 2-node topology with two links
 | | Then Send and receive ICMPv4 bidirectionally | ${tg_node} | ${tg_to_dut_if1}
 | | ...                                          | ${tg_to_dut_if2}
 | | [Teardown] | Run Keywords | Show Packet Trace on All DUTs | ${nodes}
 | | Then Send and receive ICMPv4 bidirectionally | ${tg_node} | ${tg_to_dut_if1}
 | | ...                                          | ${tg_to_dut_if2}
 | | [Teardown] | Run Keywords | Show Packet Trace on All DUTs | ${nodes}
-| | ...        | AND          | Show vpp trace dump on all DUTs
-| | ...        | AND          | Stop and Clear QEMU | ${dut_node} | ${vm_node}
+| | ... | AND | Show vpp trace dump on all DUTs
+| | ... | AND | Stop and Clear QEMU | ${dut_node} | ${vm_node}
+| | ... | AND | Check VPP PID in Teardown
 
 | TC07: DUT with two L2BDs (MAC learn) switches ICMPv6 between TG and VM links
 | | [Documentation]
 
 | TC07: DUT with two L2BDs (MAC learn) switches ICMPv6 between TG and VM links
 | | [Documentation]
 | | Then Send and receive ICMPv6 bidirectionally | ${tg_node} | ${tg_to_dut_if1}
 | | ...                                          | ${tg_to_dut_if2}
 | | [Teardown] | Run Keywords | Show Packet Trace on All DUTs | ${nodes}
 | | Then Send and receive ICMPv6 bidirectionally | ${tg_node} | ${tg_to_dut_if1}
 | | ...                                          | ${tg_to_dut_if2}
 | | [Teardown] | Run Keywords | Show Packet Trace on All DUTs | ${nodes}
-| | ...        | AND          | Show vpp trace dump on all DUTs
-| | ...        | AND          | Stop and Clear QEMU | ${dut_node} | ${vm_node}
+| | ... | AND | Show vpp trace dump on all DUTs
+| | ... | AND | Stop and Clear QEMU | ${dut_node} | ${vm_node}
+| | ... | AND | Check VPP PID in Teardown
 
 | TC08: DUT with two L2BDs (static MACs) switches ICMPv4 between TG and VM links
 | | [Documentation]
 
 | TC08: DUT with two L2BDs (static MACs) switches ICMPv4 between TG and VM links
 | | [Documentation]
 | | Then Send and receive ICMPv4 bidirectionally | ${tg_node} | ${tg_to_dut_if1}
 | | ...                                          | ${tg_to_dut_if2}
 | | [Teardown] | Run Keywords | Show Packet Trace on All DUTs | ${nodes}
 | | Then Send and receive ICMPv4 bidirectionally | ${tg_node} | ${tg_to_dut_if1}
 | | ...                                          | ${tg_to_dut_if2}
 | | [Teardown] | Run Keywords | Show Packet Trace on All DUTs | ${nodes}
-| | ...        | AND          | Show vpp trace dump on all DUTs
-| | ...        | AND          | Stop and Clear QEMU | ${dut_node} | ${vm_node}
+| | ... | AND | Show vpp trace dump on all DUTs
+| | ... | AND | Stop and Clear QEMU | ${dut_node} | ${vm_node}
+| | ... | AND | Check VPP PID in Teardown
 
 | TC09: DUT with two L2BDs (static MACs) switches ICMPv6 between TG and VM links
 | | [Documentation]
 
 | TC09: DUT with two L2BDs (static MACs) switches ICMPv6 between TG and VM links
 | | [Documentation]
 | | ... | virtio i/fs. [Ver] Make TG verify ICMPv6 Echo Req pkts are
 | | ... | switched thru DUT1 and VM in both directions and are correct on
 | | ... | receive. [Ref]
 | | ... | virtio i/fs. [Ver] Make TG verify ICMPv6 Echo Req pkts are
 | | ... | switched thru DUT1 and VM in both directions and are correct on
 | | ... | receive. [Ref]
+| | ...
 | | [Tags] | 3_NODE_DOUBLE_LINK_TOPO | VPP_VM_ENV
 | | [Tags] | 3_NODE_DOUBLE_LINK_TOPO | VPP_VM_ENV
+| | ...
+| | [Teardown] | Run Keywords | Show Packet Trace on All DUTs | ${nodes}
+| | ... | AND | Show vpp trace dump on all DUTs
+| | ... | AND | Stop and Clear QEMU | ${dut_node} | ${vm_node}
+| | ... | AND | Check VPP PID in Teardown
+| | ...
 | | Given Path for 2-node testing is set
 | | ... | ${nodes['TG']} | ${nodes['DUT1']} | ${nodes['TG']}
 | | And Interfaces in 2-node path are up
 | | Given Path for 2-node testing is set
 | | ... | ${nodes['TG']} | ${nodes['DUT1']} | ${nodes['TG']}
 | | And Interfaces in 2-node path are up
 | | ...                                       | ${sock2}
 | | Then Send and receive ICMPv6 bidirectionally | ${tg_node} | ${tg_to_dut_if1}
 | | ...                                          | ${tg_to_dut_if2}
 | | ...                                       | ${sock2}
 | | Then Send and receive ICMPv6 bidirectionally | ${tg_node} | ${tg_to_dut_if1}
 | | ...                                          | ${tg_to_dut_if2}
-| | [Teardown] | Run Keywords | Show Packet Trace on All DUTs | ${nodes}
-| | ...        | AND          | Show vpp trace dump on all DUTs
-| | ...        | AND          | Stop and Clear QEMU | ${dut_node} | ${vm_node}
index c84387d..be6b476 100644 (file)
 | Resource | resources/libraries/robot/l2_xconnect.robot
 | Variables  | resources/libraries/python/IPv4NodeAddress.py | ${nodes}
 | Force Tags | HW_ENV | VM_ENV | 3_NODE_SINGLE_LINK_TOPO
 | Resource | resources/libraries/robot/l2_xconnect.robot
 | Variables  | resources/libraries/python/IPv4NodeAddress.py | ${nodes}
 | Force Tags | HW_ENV | VM_ENV | 3_NODE_SINGLE_LINK_TOPO
-| Test Setup | Run Keywords | Setup all DUTs before test
-| ...        | AND          | Setup all TGs before traffic script
-| ...        | AND          | Update All Interface Data On All Nodes | ${nodes}
-| Test Teardown | Run Keywords | Show packet trace on all DUTs | ${nodes}
-| ...           | AND          | Show vpp trace dump on all DUTs
+| Test Setup | Func Test Setup
+| Test Teardown | Func Test Teardown
 | Documentation | *COP Security IPv4 Blacklist and Whitelist Tests*
 | ...
 | ... | *[Top] Network Topologies:* TG-DUT1-DUT2-TG 3-node circular topology
 | Documentation | *COP Security IPv4 Blacklist and Whitelist Tests*
 | ...
 | ... | *[Top] Network Topologies:* TG-DUT1-DUT2-TG 3-node circular topology
index 3fb9428..140c6b0 100644 (file)
 | Resource | resources/libraries/robot/l2_xconnect.robot
 | Variables  | resources/libraries/python/IPv6NodesAddr.py | ${nodes}
 | Force Tags | HW_ENV | VM_ENV | 3_NODE_SINGLE_LINK_TOPO
 | Resource | resources/libraries/robot/l2_xconnect.robot
 | Variables  | resources/libraries/python/IPv6NodesAddr.py | ${nodes}
 | Force Tags | HW_ENV | VM_ENV | 3_NODE_SINGLE_LINK_TOPO
-| Test Setup | Run Keywords | Setup all DUTs before test
-| ...        | AND          | Setup all TGs before traffic script
-| ...        | AND          | Update All Interface Data On All Nodes | ${nodes}
-| Test Teardown | Run Keywords | Show packet trace on all DUTs | ${nodes}
-| ...           | AND          | Show vpp trace dump on all DUTs
+| Test Setup | Func Test Setup
+| Test Teardown | Func Test Teardown
 | Documentation | *COP Security IPv6 Blacklist and Whitelist Tests*
 | ...
 | ... | *[Top] Network Topologies:* TG-DUT1-DUT2-TG 3-node circular topology
 | Documentation | *COP Security IPv6 Blacklist and Whitelist Tests*
 | ...
 | ... | *[Top] Network Topologies:* TG-DUT1-DUT2-TG 3-node circular topology
index eb34544..6169b97 100644 (file)
 | Resource | resources/libraries/robot/ipv4.robot
 | Library | resources.libraries.python.Trace
 | Force Tags | HW_ENV | VM_ENV | 3_NODE_DOUBLE_LINK_TOPO
 | Resource | resources/libraries/robot/ipv4.robot
 | Library | resources.libraries.python.Trace
 | Force Tags | HW_ENV | VM_ENV | 3_NODE_DOUBLE_LINK_TOPO
-| Test Setup | Run Keywords | Setup all DUTs before test
-| ...        | AND          | Setup all TGs before traffic script
-| Test Teardown | Run Keywords | Show Packet Trace on All DUTs | ${nodes}
-| ...           | AND          | Show vpp trace dump on all DUTs
+| Test Setup | Func Test Setup
+| Test Teardown | Func Test Teardown
 | Documentation | *DHCP Client related test cases*
 
 *** Variables ***
 | Documentation | *DHCP Client related test cases*
 
 *** Variables ***
index 48afa26..a9c4d23 100644 (file)
 | Resource | resources/libraries/robot/ipv4.robot
 | Library | resources.libraries.python.Trace
 | Force Tags | HW_ENV | VM_ENV | 3_NODE_DOUBLE_LINK_TOPO
 | Resource | resources/libraries/robot/ipv4.robot
 | Library | resources.libraries.python.Trace
 | Force Tags | HW_ENV | VM_ENV | 3_NODE_DOUBLE_LINK_TOPO
-| Test Setup | Run Keywords | Setup all DUTs before test
-| ...        | AND          | Setup all TGs before traffic script
-| Test Teardown | Run Keywords | Show Packet Trace on All DUTs | ${nodes}
-| ...           | AND          | Show vpp trace dump on all DUTs
+| Test Setup | Func Test Setup
+| Test Teardown | Func Test Teardown
 | Documentation | *DHCP proxy test cases*
 | ...
 | ... | *[Top] Network Topologies:* TG = DUT
 | Documentation | *DHCP proxy test cases*
 | ...
 | ... | *[Top] Network Topologies:* TG = DUT
index 8f38bb2..850b685 100644 (file)
 | Resource | resources/libraries/robot/ipv6.robot
 | Library | resources.libraries.python.Trace
 | Force Tags | HW_ENV | VM_ENV | 3_NODE_DOUBLE_LINK_TOPO
 | Resource | resources/libraries/robot/ipv6.robot
 | Library | resources.libraries.python.Trace
 | Force Tags | HW_ENV | VM_ENV | 3_NODE_DOUBLE_LINK_TOPO
-| Test Setup | Run Keywords | Setup all DUTs before test
-| ...        | AND          | Setup all TGs before traffic script
-| Test Teardown | Run Keywords | Show Packet Trace on All DUTs | ${nodes}
-| ...           | AND          | Show vpp trace dump on all DUTs
+| Test Setup | Func Test Setup
+| Test Teardown | Func Test Teardown
 | Documentation | *DHCPv6 proxy test cases*
 | ...
 | ... | *[Top] Network Topologies:* TG = DUT
 | Documentation | *DHCPv6 proxy test cases*
 | ...
 | ... | *[Top] Network Topologies:* TG = DUT
index e1534b7..612825d 100644 (file)
@@ -21,6 +21,7 @@
 | Library  | resources.libraries.python.Trace
 | Force Tags | HW_ENV | VM_ENV | SKIP_PATCH
 | Test Setup | Run Keywords | Setup all DUTs before test
 | Library  | resources.libraries.python.Trace
 | Force Tags | HW_ENV | VM_ENV | SKIP_PATCH
 | Test Setup | Run Keywords | Setup all DUTs before test
+| ...        | AND          | Save VPP PIDs
 | ...        | AND          | Setup all TGs before traffic script
 | Test Teardown | Run Keywords | Show Packet Trace on All DUTs | ${nodes}
 | ...           | AND          | Show vpp trace dump on all DUTs
 | ...        | AND          | Setup all TGs before traffic script
 | Test Teardown | Run Keywords | Show Packet Trace on All DUTs | ${nodes}
 | ...           | AND          | Show vpp trace dump on all DUTs
@@ -28,6 +29,7 @@
 | ...                          | qemu_node1
 | ...           | AND          | Qemu Teardown | ${dut2_node} | ${qemu_node2}
 | ...                          | qemu_node2
 | ...                          | qemu_node1
 | ...           | AND          | Qemu Teardown | ${dut2_node} | ${qemu_node2}
 | ...                          | qemu_node2
+| ...           | AND          | Check VPP PID in Teardown
 | Documentation | *Provider network FDS related.*
 | ...
 | ... | Test suite uses 3-node topology TG - DUT1 - DUT2 - TG
 | Documentation | *Provider network FDS related.*
 | ...
 | ... | Test suite uses 3-node topology TG - DUT1 - DUT2 - TG
index e57b374..ba26c8b 100644 (file)
@@ -21,6 +21,7 @@
 | Library  | resources.libraries.python.Trace
 | Force Tags | HW_ENV | VM_ENV | SKIP_PATCH
 | Test Setup | Run Keywords | Setup all DUTs before test
 | Library  | resources.libraries.python.Trace
 | Force Tags | HW_ENV | VM_ENV | SKIP_PATCH
 | Test Setup | Run Keywords | Setup all DUTs before test
+| ...        | AND          | Save VPP PIDs
 | ...        | AND          | Setup all TGs before traffic script
 | Test Teardown | Run Keywords | Show Packet Trace on All DUTs | ${nodes}
 | ...           | AND          | Show vpp trace dump on all DUTs
 | ...        | AND          | Setup all TGs before traffic script
 | Test Teardown | Run Keywords | Show Packet Trace on All DUTs | ${nodes}
 | ...           | AND          | Show vpp trace dump on all DUTs
@@ -28,6 +29,7 @@
 | ...                          | qemu_node1
 | ...           | AND          | Qemu Teardown | ${dut2_node} | ${qemu_node2}
 | ...                          | qemu_node2
 | ...                          | qemu_node1
 | ...           | AND          | Qemu Teardown | ${dut2_node} | ${qemu_node2}
 | ...                          | qemu_node2
+| ...           | AND          | Check VPP PID in Teardown
 | Documentation | *Tenant network FDS related.*
 | ...
 | ... | Test suite uses 3-node topology TG - DUT1 - DUT2 - TG
 | Documentation | *Tenant network FDS related.*
 | ...
 | ... | Test suite uses 3-node topology TG - DUT1 - DUT2 - TG
index 0296ec3..7087e31 100644 (file)
 | Library  | resources.libraries.python.IPUtil
 | Library  | resources.libraries.python.Trace
 | Force Tags | VM_ENV | HW_ENV
 | Library  | resources.libraries.python.IPUtil
 | Library  | resources.libraries.python.Trace
 | Force Tags | VM_ENV | HW_ENV
-| Test Setup | Run Keywords
-| ... | Setup all DUTs before test | AND
-| ... | Setup all TGs before traffic script
-| Test Teardown | Run Keywords
-| ... | Show Packet Trace on All DUTs | ${nodes} | AND
-| ... | Show vpp trace dump on all DUTs
+| Test Setup | Func Test Setup
+| Test Teardown | Func Test Teardown
 | Documentation | *GREoIPv4 test cases*
 | ...
 | ... | *[Top] Network Topologies:* TG=DUT1 2-node topology with two links
 | Documentation | *GREoIPv4 test cases*
 | ...
 | ... | *[Top] Network Topologies:* TG=DUT1 2-node topology with two links
index d840f38..ff55d94 100644 (file)
 | Resource | resources/libraries/robot/traffic.robot
 | Library | resources.libraries.python.Classify.Classify
 | Library | resources.libraries.python.Trace
 | Resource | resources/libraries/robot/traffic.robot
 | Library | resources.libraries.python.Classify.Classify
 | Library | resources.libraries.python.Trace
-
 | Force Tags | HW_ENV | VM_ENV | 3_NODE_SINGLE_LINK_TOPO
 | Force Tags | HW_ENV | VM_ENV | 3_NODE_SINGLE_LINK_TOPO
-| Suite Setup | Run Keywords | Setup all TGs before traffic script
-| ...         | AND          | Update All Interface Data On All Nodes | ${nodes}
-| Test Setup | Setup all DUTs before test
-| Test Teardown | Run Keywords | Show packet trace on all DUTs | ${nodes}
-| ...           | AND          | Vpp Show Errors | ${nodes['DUT1']}
-| ...           | AND          | Show vpp trace dump on all DUTs
+| Test Setup | Func Test Setup
+| Test Teardown | Func Test Teardown
 | Documentation | *IPv4 routing with ingress ACL test cases*
 | ...
 | ... | Encapsulations: Eth-IPv4 on links TG-DUT1, TG-DUT2, DUT1-DUT2. IPv4
 | Documentation | *IPv4 routing with ingress ACL test cases*
 | ...
 | ... | Encapsulations: Eth-IPv4 on links TG-DUT1, TG-DUT2, DUT1-DUT2. IPv4
index db814b2..47daac0 100644 (file)
 | Resource | resources/libraries/robot/traffic.robot
 | Library | resources.libraries.python.Classify.Classify
 | Library | resources.libraries.python.Trace
 | Resource | resources/libraries/robot/traffic.robot
 | Library | resources.libraries.python.Classify.Classify
 | Library | resources.libraries.python.Trace
-
 | Force Tags | HW_ENV | VM_ENV | 3_NODE_SINGLE_LINK_TOPO
 | Force Tags | HW_ENV | VM_ENV | 3_NODE_SINGLE_LINK_TOPO
-| Suite Setup | Run Keywords | Setup all DUTs before test
-| ...         | AND          | Setup all TGs before traffic script
-| ...         | AND          | Update All Interface Data On All Nodes | ${nodes}
-| Test Setup | Setup all DUTs before test
-| Test Teardown | Run Keywords | Show packet trace on all DUTs | ${nodes}
-| ...           | AND          | Vpp Show Errors | ${nodes['DUT1']}
-| ...           | AND          | Show vpp trace dump on all DUTs
+| Test Setup | Func Test Setup
+| Test Teardown | Func Test Teardown
 | Documentation | *IPv6 routing with ingress ACL test cases*
 | ...
 | ... | Encapsulations: Eth-IPv6 on links TG-DUT1, TG-DUT2, DUT1-DUT2. IPv6
 | Documentation | *IPv6 routing with ingress ACL test cases*
 | ...
 | ... | Encapsulations: Eth-IPv6 on links TG-DUT1, TG-DUT2, DUT1-DUT2. IPv6
index 071ce1b..06ecc99 100644 (file)
 | Resource | resources/libraries/robot/l2_traffic.robot
 | Library | resources.libraries.python.Classify.Classify
 | Library | resources.libraries.python.Trace
 | Resource | resources/libraries/robot/l2_traffic.robot
 | Library | resources.libraries.python.Classify.Classify
 | Library | resources.libraries.python.Trace
-
 | Force Tags | HW_ENV | VM_ENV | 3_NODE_SINGLE_LINK_TOPO
 | ...        | 3_NODE_DOUBLE_LINK_TOPO
 | Force Tags | HW_ENV | VM_ENV | 3_NODE_SINGLE_LINK_TOPO
 | ...        | 3_NODE_DOUBLE_LINK_TOPO
-| Suite Setup | Run Keywords | Setup all TGs before traffic script
-| ...         | AND          | Update All Interface Data On All Nodes | ${nodes}
-| Test Setup | Setup all DUTs before test
-| Test Teardown | Run Keywords | Show packet trace on all DUTs | ${nodes}
-| ...           | AND          | Vpp Show Errors | ${nodes['DUT1']}
-| ...           | AND          | Show vpp trace dump on all DUTs
+| Test Setup | Func Test Setup
+| Test Teardown | Func Test Teardown
 | Documentation | *Ingress ACL test cases*
 | ...
 | ... | *[Top] Network Topologies:* TG - DUT1 - DUT2 - TG
 | Documentation | *Ingress ACL test cases*
 | ...
 | ... | *[Top] Network Topologies:* TG - DUT1 - DUT2 - TG
index 14ea198..ca7f1b3 100644 (file)
 | Library | resources.libraries.python.Trace
 | Force Tags | 3_NODE_SINGLE_LINK_TOPO | 3_NODE_DOUBLE_LINK_TOPO
 | ...        | VM_ENV | HW_ENV
 | Library | resources.libraries.python.Trace
 | Force Tags | 3_NODE_SINGLE_LINK_TOPO | 3_NODE_DOUBLE_LINK_TOPO
 | ...        | VM_ENV | HW_ENV
-| Test Setup | Run Keywords | Setup all DUTs before test
-| ...        | AND          | Setup all TGs before traffic script
+| Test Setup | Run Keywords | Func Test Setup
 | ...        | AND          | Setup Topology for IPv4 IPsec testing
 | Test Teardown | Run Keywords | VPP IPsec Show | ${dut_node}
 | ...        | AND          | Setup Topology for IPv4 IPsec testing
 | Test Teardown | Run Keywords | VPP IPsec Show | ${dut_node}
-| ...           | AND          | Show Packet Trace on All DUTs | ${nodes}
-| ...           | AND          | Show Vpp Errors on All DUTs
-| ...           | AND          | Show vpp trace dump on all DUTs
+| ...           | AND          | Func Test Teardown
 | Documentation | *IPv4 IPsec transport mode test suite.*
 | ...
 | ... | *[Top] Network topologies:* TG-DUT1 2-node topology with one link\
 | Documentation | *IPv4 IPsec transport mode test suite.*
 | ...
 | ... | *[Top] Network topologies:* TG-DUT1 2-node topology with one link\
index 1128e4e..517c01b 100644 (file)
 | Library | resources.libraries.python.Trace
 | Force Tags | 3_NODE_SINGLE_LINK_TOPO | 3_NODE_DOUBLE_LINK_TOPO
 | ...        | VM_ENV | HW_ENV
 | Library | resources.libraries.python.Trace
 | Force Tags | 3_NODE_SINGLE_LINK_TOPO | 3_NODE_DOUBLE_LINK_TOPO
 | ...        | VM_ENV | HW_ENV
-| Test Setup | Run Keywords | Setup all DUTs before test
-| ...        | AND          | Setup all TGs before traffic script
+| Test Setup | Run Keywords | Func Test Setup
 | ...        | AND          | Setup Topology for IPv6 IPsec testing
 | Test Teardown | Run Keywords | VPP IPsec Show | ${dut_node}
 | ...        | AND          | Setup Topology for IPv6 IPsec testing
 | Test Teardown | Run Keywords | VPP IPsec Show | ${dut_node}
-| ...           | AND          | Show Packet Trace on All DUTs | ${nodes}
-| ...           | AND          | Show Vpp Errors on All DUTs
-| ...           | AND          | Show vpp trace dump on all DUTs
+| ...           | AND          | Func Test Teardown
 | Documentation | *IPv6 IPsec transport mode test suite.*
 | ...
 | ... | *[Top] Network topologies:* TG-DUT1 2-node topology with one link\
 | Documentation | *IPv6 IPsec transport mode test suite.*
 | ...
 | ... | *[Top] Network topologies:* TG-DUT1 2-node topology with one link\
index d59aae6..e7c2967 100644 (file)
 | Library | resources.libraries.python.Trace
 | Force Tags | 3_NODE_SINGLE_LINK_TOPO | 3_NODE_DOUBLE_LINK_TOPO
 | ...        | VM_ENV | HW_ENV
 | Library | resources.libraries.python.Trace
 | Force Tags | 3_NODE_SINGLE_LINK_TOPO | 3_NODE_DOUBLE_LINK_TOPO
 | ...        | VM_ENV | HW_ENV
-| Test Setup | Run Keywords | Setup all DUTs before test
-| ...        | AND          | Setup all TGs before traffic script
+| Test Setup | Run Keywords | Func Test Setup
 | ...        | AND          | Setup Topology for IPv4 IPsec testing
 | Test Teardown | Run Keywords | VPP IPsec Show | ${dut_node}
 | ...        | AND          | Setup Topology for IPv4 IPsec testing
 | Test Teardown | Run Keywords | VPP IPsec Show | ${dut_node}
-| ...           | AND          | Show Packet Trace on All DUTs | ${nodes}
-| ...           | AND          | Show Vpp Errors on All DUTs
-| ...           | AND          | Show Vpp Trace Dump on All DUTs
+| ...           | AND          | Func Test Teardown
 | Documentation | *IPv4 IPsec tunnel mode test suite.*
 | ...
 | ... | *[Top] Network topologies:* TG-DUT1 2-node topology with one link\
 | Documentation | *IPv4 IPsec tunnel mode test suite.*
 | ...
 | ... | *[Top] Network topologies:* TG-DUT1 2-node topology with one link\
index c1c2791..60b71fe 100644 (file)
 | Library | resources.libraries.python.Trace
 | Force Tags | 3_NODE_SINGLE_LINK_TOPO | 3_NODE_DOUBLE_LINK_TOPO
 | ...        | VM_ENV | HW_ENV
 | Library | resources.libraries.python.Trace
 | Force Tags | 3_NODE_SINGLE_LINK_TOPO | 3_NODE_DOUBLE_LINK_TOPO
 | ...        | VM_ENV | HW_ENV
-| Test Setup | Run Keywords | Setup all DUTs before test
-| ...        | AND          | Setup all TGs before traffic script
+| Test Setup | Run Keywords | Func Test Setup
 | ...        | AND          | Setup Topology for IPv6 IPsec testing
 | Test Teardown | Run Keywords | VPP IPsec Show | ${dut_node}
 | ...        | AND          | Setup Topology for IPv6 IPsec testing
 | Test Teardown | Run Keywords | VPP IPsec Show | ${dut_node}
-| ...           | AND          | Show Packet Trace on All DUTs | ${nodes}
-| ...           | AND          | Show Vpp Errors on All DUTs
-| ...           | AND          | Show vpp trace dump on all DUTs
+| ...           | AND          | Func Test Teardown
 | Documentation | *IPv6 IPsec tunnel mode test suite.*
 | ...
 | ... | *[Top] Network topologies:* TG-DUT1 2-node topology with one link\
 | Documentation | *IPv6 IPsec tunnel mode test suite.*
 | ...
 | ... | *[Top] Network topologies:* TG-DUT1 2-node topology with one link\
index a387eed..0950610 100644 (file)
 | Resource | resources/libraries/robot/l2_xconnect.robot
 | Resource | resources/libraries/robot/traffic.robot
 | Library | resources.libraries.python.Trace
 | Resource | resources/libraries/robot/l2_xconnect.robot
 | Resource | resources/libraries/robot/traffic.robot
 | Library | resources.libraries.python.Trace
-
 | Force Tags | HW_ENV | VM_ENV | 3_NODE_SINGLE_LINK_TOPO
 | Force Tags | HW_ENV | VM_ENV | 3_NODE_SINGLE_LINK_TOPO
-| Suite Setup | Run Keywords | Setup all TGs before traffic script
-| ...         | AND          | Update All Interface Data On All Nodes | ${nodes}
-| Test Setup | Setup all DUTs before test
-| Test Teardown | Run Keyword If Test Failed | Run Keywords
-| ... | Show packet trace on all DUTs | ${nodes} | AND
-| ... | Show vpp trace dump on all DUTs
+| Test Setup | Func Test Setup
+| Test Teardown | Func Test Teardown
 | Documentation | *IPv4 ARP test cases*
 | ...
 | ... | RFC826 ARP: Eth-IPv4 and Eth-ARP on links TG-DUT1, TG-DUT2, DUT1-DUT2:
 | Documentation | *IPv4 ARP test cases*
 | ...
 | ... | RFC826 ARP: Eth-IPv4 and Eth-ARP on links TG-DUT1, TG-DUT2, DUT1-DUT2:
index 9d31bf0..f55ee64 100644 (file)
 | Resource | resources/libraries/robot/ipv4.robot
 | Resource | resources/libraries/robot/traffic.robot
 | Library | resources.libraries.python.Trace
 | Resource | resources/libraries/robot/ipv4.robot
 | Resource | resources/libraries/robot/traffic.robot
 | Library | resources.libraries.python.Trace
-
 | Force Tags | HW_ENV | VM_ENV | 3_NODE_DOUBLE_LINK_TOPO
 | Force Tags | HW_ENV | VM_ENV | 3_NODE_DOUBLE_LINK_TOPO
-| Suite Setup | Run Keywords | Setup all TGs before traffic script
-| ...         | AND          | Update All Interface Data On All Nodes | ${nodes}
-| Test Setup | Setup all DUTs before test
-| Test Teardown | Run Keywords | Show packet trace on all DUTs | ${nodes}
-| ...           | AND          | Vpp Show Errors | ${nodes['DUT1']}
-| ...           | AND          | Show vpp trace dump on all DUTs
+| Test Setup | Func Test Setup
+| Test Teardown | Func Test Teardown
 | Documentation | *Ipv4 Multipath routing test cases*
 | ...
 | ... | *[Top] Network topologies:* TG=DUT 2-node topology with two links\
 | Documentation | *Ipv4 Multipath routing test cases*
 | ...
 | ... | *[Top] Network topologies:* TG=DUT 2-node topology with two links\
index ec164d2..765a54b 100644 (file)
 | Library | resources.libraries.python.Trace
 | Library | resources.libraries.python.ProxyArp
 | Force Tags | HW_ENV | VM_ENV | 3_NODE_SINGLE_LINK_TOPO
 | Library | resources.libraries.python.Trace
 | Library | resources.libraries.python.ProxyArp
 | Force Tags | HW_ENV | VM_ENV | 3_NODE_SINGLE_LINK_TOPO
-| Suite Setup | Run Keywords | Setup all TGs before traffic script
-| ...         | AND          | Update All Interface Data On All Nodes | ${nodes}
-| Test Setup | Setup all DUTs before test
-| Test Teardown | Run Keywords
-| ... | Show packet trace on all DUTs | ${nodes} | AND
-| ... | Show vpp trace dump on all DUTs
+| Test Setup | Func Test Setup
+| Test Teardown | Func Test Teardown
 | Documentation | *RFC1027 Proxy ARP test cases*
 | ...
 | ... | *[Top] Network topologies:* TG-DUT1 2-node topology with
 | Documentation | *RFC1027 Proxy ARP test cases*
 | ...
 | ... | *[Top] Network topologies:* TG-DUT1 2-node topology with
index b7cb9d9..4755f2e 100644 (file)
 | Resource | resources/libraries/robot/interfaces.robot
 | Resource | resources/libraries/robot/ipv4.robot
 | Force Tags | HW_ENV
 | Resource | resources/libraries/robot/interfaces.robot
 | Resource | resources/libraries/robot/ipv4.robot
 | Force Tags | HW_ENV
-| Suite Setup | Run Keywords | Setup all DUTs before test
-| ...         | AND          | Setup all TGs before traffic script
-| ...         | AND          | Update All Interface Data On All Nodes | ${nodes}
-| ...         | AND          | Setup DUT nodes for IPv4 testing
-| Test Setup | Clear interface counters on all vpp nodes in topology | ${nodes}
+| Suite Setup | Run Keywords
+| ... | Setup all DUTs before test | AND
+| ... | Setup all TGs before traffic script | AND
+| ... | Update All Interface Data On All Nodes | ${nodes} | AND
+| ... | Setup DUT nodes for IPv4 testing
+| Test Setup | Run Keywords | Save VPP PIDs | AND
+| ... | Clear interface counters on all vpp nodes in topology | ${nodes}
 | Test Teardown | Run Keywords
 | ... | Show packet trace on all DUTs | ${nodes} | AND
 | Test Teardown | Run Keywords
 | ... | Show packet trace on all DUTs | ${nodes} | AND
-| ... | Show vpp trace dump on all DUTs
+| ... | Show vpp trace dump on all DUTs | AND
+| ... | Check VPP PID in Teardown
 | Documentation | *IPv4 routing test cases*
 | ...
 | ... | RFC791 IPv4, RFC826 ARP, RFC792 ICMPv4. Encapsulations: Eth-IPv4-ICMPv4
 | Documentation | *IPv4 routing test cases*
 | ...
 | ... | RFC791 IPv4, RFC826 ARP, RFC792 ICMPv4. Encapsulations: Eth-IPv4-ICMPv4
 | | ... | step of 10Bytes. Make TG verify ICMPv4 Echo Replies are correct.
 | | [Tags] | 3_NODE_SINGLE_LINK_TOPO
 | | [Setup] | Setup MTU on TG based on MTU on DUT | ${nodes['TG']} | ${nodes['DUT1']}
 | | ... | step of 10Bytes. Make TG verify ICMPv4 Echo Replies are correct.
 | | [Tags] | 3_NODE_SINGLE_LINK_TOPO
 | | [Setup] | Setup MTU on TG based on MTU on DUT | ${nodes['TG']} | ${nodes['DUT1']}
-| | [Teardown] | Set default Ethernet MTU on all interfaces on node | ${nodes['TG']}
+| | [Teardown] | Run keywords
+| | ... | Set default Ethernet MTU on all interfaces on node | ${nodes['TG']}
+| | ... | AND | Check VPP PID in Teardown
 | | Append Nodes | ${nodes['TG']} | ${nodes['DUT1']}
 | | Compute Path
 | | ${dut_port} | ${dut_node}= | Last Interface
 | | Append Nodes | ${nodes['TG']} | ${nodes['DUT1']}
 | | Compute Path
 | | ${dut_port} | ${dut_node}= | Last Interface
index 02d48a0..fddf3a9 100644 (file)
 | Resource | resources/libraries/robot/ipv6.robot
 | Resource | resources/libraries/robot/traffic.robot
 | Library | resources.libraries.python.Trace
 | Resource | resources/libraries/robot/ipv6.robot
 | Resource | resources/libraries/robot/traffic.robot
 | Library | resources.libraries.python.Trace
-
 | Force Tags | HW_ENV | VM_ENV | 3_NODE_DOUBLE_LINK_TOPO
 | Force Tags | HW_ENV | VM_ENV | 3_NODE_DOUBLE_LINK_TOPO
-| Suite Setup | Run Keywords | Setup all TGs before traffic script
-| ...         | AND          | Update All Interface Data On All Nodes | ${nodes}
-| Test Setup | Setup all DUTs before test
-| Test Teardown | Run Keywords | Show packet trace on all DUTs | ${nodes}
-| ...           | AND          | Vpp Show Errors | ${nodes['DUT1']}
-| ...           | AND          | Show vpp trace dump on all DUTs
+| Test Setup | Func Test Setup
+| Test Teardown | Func Test Teardown
 | Documentation | *Ipv6 Multipath routing test cases*
 | ...
 | ... | *[Top] Network topologies:* TG=DUT 2-node topology with two links\
 | Documentation | *Ipv6 Multipath routing test cases*
 | ...
 | ... | *[Top] Network topologies:* TG=DUT 2-node topology with two links\
index 91a1b51..e45ce73 100644 (file)
 | Resource | resources/libraries/robot/ipv6.robot
 | Resource | resources/libraries/robot/traffic.robot
 | Library | resources.libraries.python.Trace
 | Resource | resources/libraries/robot/ipv6.robot
 | Resource | resources/libraries/robot/traffic.robot
 | Library | resources.libraries.python.Trace
-
 | Force Tags | HW_ENV | VM_ENV | 3_NODE_SINGLE_LINK_TOPO
 | Force Tags | HW_ENV | VM_ENV | 3_NODE_SINGLE_LINK_TOPO
-| Suite Setup | Run Keywords | Setup All TGs Before Traffic Script
-| ...         | AND          | Update All Interface Data On All Nodes | ${nodes}
-| Test Setup | Setup All DUTs Before Test
-| Test Teardown | Run Keywords
-| ... | Show Packet Trace On All DUTs | ${nodes} | AND
-| ... | Show VPP Trace Dump On All DUTs
+| Test Setup | Func Test Setup
+| Test Teardown | Func Test Teardown
 | Documentation | *IPv6 Router Advertisement test cases*
 | ...
 | ... | RFC4861 Neighbor Discovery. Encapsulations: Eth-IPv6-RA on links
 | Documentation | *IPv6 Router Advertisement test cases*
 | ...
 | ... | RFC4861 Neighbor Discovery. Encapsulations: Eth-IPv6-RA on links
index 8814cf3..6048daa 100644 (file)
 | Resource | resources/libraries/robot/default.robot
 | Variables | resources/libraries/python/IPv6NodesAddr.py | ${nodes}
 | Force Tags | HW_ENV
 | Resource | resources/libraries/robot/default.robot
 | Variables | resources/libraries/python/IPv6NodesAddr.py | ${nodes}
 | Force Tags | HW_ENV
-| Suite Setup | Run Keywords | Setup ipv6 to all dut in topology | ${nodes} | ${nodes_ipv6_addr}
-| ...         | AND          | Vpp nodes ra suppress link layer | ${nodes}
-| ...         | AND          | Vpp nodes setup ipv6 routing | ${nodes} | ${nodes_ipv6_addr}
-| ...         | AND          | Setup all TGs before traffic script
-| Test Setup | Clear interface counters on all vpp nodes in topology | ${nodes}
+| Suite Setup | Run Keywords
+| ... | Setup ipv6 to all dut in topology | ${nodes} | ${nodes_ipv6_addr} | AND
+| ... | Vpp nodes ra suppress link layer | ${nodes} | AND
+| ... | Vpp nodes setup ipv6 routing | ${nodes} | ${nodes_ipv6_addr} | AND
+| ... | Setup all TGs before traffic script
+| Test Setup | Run Keywords | Save VPP PIDs | AND
+| ... | Clear interface counters on all vpp nodes in topology | ${nodes}
 | Test Teardown | Run Keywords
 | ... | Show packet trace on all DUTs | ${nodes} | AND
 | Test Teardown | Run Keywords
 | ... | Show packet trace on all DUTs | ${nodes} | AND
-| ... | Show vpp trace dump on all DUTs
+| ... | Show vpp trace dump on all DUTs | AND
+| ... | Check VPP PID in Teardown
 | Documentation | *IPv6 routing test cases*
 | ...
 | ... | RFC2460 IPv6, RFC4443 ICMPv6, RFC4861 Neighbor Discovery.
 | Documentation | *IPv6 routing test cases*
 | ...
 | ... | RFC2460 IPv6, RFC4443 ICMPv6, RFC4861 Neighbor Discovery.
@@ -62,7 +65,9 @@
 | | ... | step of 10Bytes. Make TG verify ICMPv6 Echo Replies are correct.
 | | [Tags] | 3_NODE_SINGLE_LINK_TOPO
 | | [Setup] | Setup MTU on TG based on MTU on DUT | ${nodes['TG']} | ${nodes['DUT1']}
 | | ... | step of 10Bytes. Make TG verify ICMPv6 Echo Replies are correct.
 | | [Tags] | 3_NODE_SINGLE_LINK_TOPO
 | | [Setup] | Setup MTU on TG based on MTU on DUT | ${nodes['TG']} | ${nodes['DUT1']}
-| | [Teardown] | Set default Ethernet MTU on all interfaces on node | ${nodes['TG']}
+| | [Teardown] | Run keywords
+| | ... | Set default Ethernet MTU on all interfaces on node | ${nodes['TG']}
+| | ... | AND | Check VPP PID in Teardown
 | | Append Nodes | ${nodes['TG']} | ${nodes['DUT1']}
 | | Compute Path
 | | ${dut_port} | ${dut_node}= | Last Interface
 | | Append Nodes | ${nodes['TG']} | ${nodes['DUT1']}
 | | Compute Path
 | | ${dut_port} | ${dut_node}= | Last Interface
index 05da053..2554007 100644 (file)
@@ -22,8 +22,8 @@
 | Library  | resources.libraries.python.Trace
 | Library | resources.libraries.python.NodePath
 | Force Tags | 3_NODE_SINGLE_LINK_TOPO | HW_ENV | VM_ENV
 | Library  | resources.libraries.python.Trace
 | Library | resources.libraries.python.NodePath
 | Force Tags | 3_NODE_SINGLE_LINK_TOPO | HW_ENV | VM_ENV
-| Test Setup | Setup all DUTs before test
-| Suite Setup | Setup all TGs before traffic script
+| Test Setup | Func Test Setup
+| Test Teardown | Func Test Teardown
 | Documentation | *L2 cross-connect test cases*
 | ...
 | ... | *[Top] Network Topologies:* TG-DUT1-DUT2-TG 3-node circular topology with
 | Documentation | *L2 cross-connect test cases*
 | ...
 | ... | *[Top] Network Topologies:* TG-DUT1-DUT2-TG 3-node circular topology with
@@ -63,7 +63,6 @@
 | | When All Vpp Interfaces Ready Wait | ${nodes}
 | | Then Send and receive ICMPv4 bidirectionally
 | | ... | ${tg_node} | ${tg_to_dut1} | ${tg_to_dut2}
 | | When All Vpp Interfaces Ready Wait | ${nodes}
 | | Then Send and receive ICMPv4 bidirectionally
 | | ... | ${tg_node} | ${tg_to_dut1} | ${tg_to_dut2}
-| | [Teardown] | Run Keyword | Show vpp trace dump on all DUTs
 
 | TC02: DUT1 and DUT2 with L2XC switch ICMPv6 between two TG links
 | | [Documentation]
 
 | TC02: DUT1 and DUT2 with L2XC switch ICMPv6 between two TG links
 | | [Documentation]
@@ -83,7 +82,6 @@
 | | When All Vpp Interfaces Ready Wait | ${nodes}
 | | Then Send and receive ICMPv6 bidirectionally
 | | ... | ${tg_node} | ${tg_to_dut1} | ${tg_to_dut2}
 | | When All Vpp Interfaces Ready Wait | ${nodes}
 | | Then Send and receive ICMPv6 bidirectionally
 | | ... | ${tg_node} | ${tg_to_dut1} | ${tg_to_dut2}
-| | [Teardown] | Run Keyword | Show vpp trace dump on all DUTs
 
 | TC03: DUT with two L2XCs switches ICMPv4 between TG and local VM links
 | | [Documentation]
 
 | TC03: DUT with two L2XCs switches ICMPv4 between TG and local VM links
 | | [Documentation]
 | | Then Send and receive ICMPv4 bidirectionally | ${tg_node} | ${tg_to_dut_if1}
 | | ...                                          | ${tg_to_dut_if2}
 | | [Teardown] | Run Keywords | Show Packet Trace on All DUTs | ${nodes}
 | | Then Send and receive ICMPv4 bidirectionally | ${tg_node} | ${tg_to_dut_if1}
 | | ...                                          | ${tg_to_dut_if2}
 | | [Teardown] | Run Keywords | Show Packet Trace on All DUTs | ${nodes}
-| | ...        | AND          | Stop and Clear QEMU | ${dut_node} | ${vm_node}
-| | ...        | AND          | Show vpp trace dump on all DUTs
+| | ... | AND | Stop and Clear QEMU | ${dut_node} | ${vm_node}
+| | ... | AND | Show vpp trace dump on all DUTs
+| | ... | AND | Check VPP PID in Teardown
 
 | TC04: DUT with two L2XCs switches ICMPv6 between TG and local VM links
 | | [Documentation]
 
 | TC04: DUT with two L2XCs switches ICMPv6 between TG and local VM links
 | | [Documentation]
 | | Then Send and receive ICMPv6 bidirectionally | ${tg_node} | ${tg_to_dut_if1}
 | | ...                                          | ${tg_to_dut_if2}
 | | [Teardown] | Run Keywords | Show Packet Trace on All DUTs | ${nodes}
 | | Then Send and receive ICMPv6 bidirectionally | ${tg_node} | ${tg_to_dut_if1}
 | | ...                                          | ${tg_to_dut_if2}
 | | [Teardown] | Run Keywords | Show Packet Trace on All DUTs | ${nodes}
-| | ...        | AND          | Stop and Clear QEMU | ${dut_node} | ${vm_node}
-| | ...        | AND          | Show vpp trace dump on all DUTs
+| | ... | AND | Stop and Clear QEMU | ${dut_node} | ${vm_node}
+| | ... | AND | Show vpp trace dump on all DUTs
+| | ... | AND | Check VPP PID in Teardown
 
 
index e464ba2..013eb72 100644 (file)
 | Variables | resources/test_data/lisp/api/lisp_api_resources.py
 | Force Tags | 3_NODE_SINGLE_LINK_TOPO | 3_NODE_DOUBLE_LINK_TOPO
 | ... | VM_ENV | HW_ENV
 | Variables | resources/test_data/lisp/api/lisp_api_resources.py
 | Force Tags | 3_NODE_SINGLE_LINK_TOPO | 3_NODE_DOUBLE_LINK_TOPO
 | ... | VM_ENV | HW_ENV
-| Test Setup | Run Keywords | Setup all DUTs before test
-| ...        | AND          | Setup all TGs before traffic script
-| ...        | AND          | Update All Interface Data On All Nodes | ${nodes}
-| Test Teardown | Run Keywords | Show Packet Trace on All DUTs | ${nodes}
-| ...           | AND          | Show vpp trace dump on all DUTs
+| Test Setup | Func Test Setup
+| Test Teardown | Func Test Teardown
 | Documentation | *API test cases*
 | ...
 | ... | *[Top] Network Topologies:* DUT1 1-node topology.
 | Documentation | *API test cases*
 | ...
 | ... | *[Top] Network Topologies:* DUT1 1-node topology.
index 94079d1..9ab69b2 100644 (file)
 | Variables | resources/test_data/lisp/static_adjacency/lisp_static_adjacency.py
 | Force Tags | 3_NODE_SINGLE_LINK_TOPO | 3_NODE_DOUBLE_LINK_TOPO
 | ... | VM_ENV | HW_ENV
 | Variables | resources/test_data/lisp/static_adjacency/lisp_static_adjacency.py
 | Force Tags | 3_NODE_SINGLE_LINK_TOPO | 3_NODE_DOUBLE_LINK_TOPO
 | ... | VM_ENV | HW_ENV
-| Test Setup | Run Keywords | Setup all DUTs before test
-| ...        | AND          | Setup all TGs before traffic script
-| ...        | AND          | Update All Interface Data On All Nodes | ${nodes}
-| Test Teardown | Run Keywords | Show Packet Trace on All DUTs | ${nodes}
-| ...           | AND          | Show vpp trace dump on all DUTs
+| Test Setup | Func Test Setup
+| Test Teardown | Func Test Teardown
 | Documentation | *IP AFI independent functional tests.*
 | ...
 | ... | *[Top] Network Topologies:* TG-DUT1-DUT2-TG 3-node circular topology\
 | Documentation | *IP AFI independent functional tests.*
 | ...
 | ... | *[Top] Network Topologies:* TG-DUT1-DUT2-TG 3-node circular topology\
index bdd41e3..18494ab 100644 (file)
 | ...
 | Force Tags | 3_NODE_SINGLE_LINK_TOPO | VM_ENV | LISP
 | ...
 | ...
 | Force Tags | 3_NODE_SINGLE_LINK_TOPO | VM_ENV | LISP
 | ...
-| Test Setup | Run Keywords | Setup all DUTs before test
-| ...        | AND          | Setup all TGs before traffic script
-| ...        | AND          | Update All Interface Data On All Nodes | ${nodes}
+| Test Setup | Func Test Setup
 | Test Teardown | Run Keywords | Show Packet Trace on All DUTs | ${nodes}
 | Test Teardown | Run Keywords | Show Packet Trace on All DUTs | ${nodes}
-| ...           | AND          | Show vpp trace dump on all DUTs
-| ...           | AND          | Show Vpp Settings | ${nodes['DUT1']}
-| ...           | AND          | Show Vpp Settings | ${nodes['DUT2']}
+| ... | AND | Show vpp trace dump on all DUTs
+| ... | AND | Show Vpp Settings | ${nodes['DUT1']}
+| ... | AND | Show Vpp Settings | ${nodes['DUT2']}
+| ... | AND | Check VPP PID in Teardown
 | ...
 | Documentation | *IPv4-ip4-ipsec-lispgpe-ip4 - main fib, vrf (gpe_vni-to-vrf)
 | ...
 | ...
 | Documentation | *IPv4-ip4-ipsec-lispgpe-ip4 - main fib, vrf (gpe_vni-to-vrf)
 | ...
 | | ... | received packets are correct.
 | | ... | [Ref] RFC6830, RFC4303.
 | | [Teardown] | Run Keywords | Show Packet Trace on All DUTs | ${nodes}
 | | ... | received packets are correct.
 | | ... | [Ref] RFC6830, RFC4303.
 | | [Teardown] | Run Keywords | Show Packet Trace on All DUTs | ${nodes}
-| | ...           | AND       | Show vpp trace dump on all DUTs
-| | ...           | AND       | Stop and Clear QEMU | ${dut1_node} | ${vm_node}
-| | ...           | AND       | Show VPP Settings | ${dut1_node}
-| | ...           | AND       | Show VPP Settings | ${dut2_node}
+| | ... | AND | Show vpp trace dump on all DUTs
+| | ... | AND | Stop and Clear QEMU | ${dut1_node} | ${vm_node}
+| | ... | AND | Show VPP Settings | ${dut1_node}
+| | ... | AND | Show VPP Settings | ${dut2_node}
+| | ... | AND | Check VPP PID in Teardown
 | | ...
 | | ${encr_alg}= | Crypto Alg AES CBC 128
 | | ${auth_alg}= | Integ Alg SHA1 96
 | | ...
 | | ${encr_alg}= | Crypto Alg AES CBC 128
 | | ${auth_alg}= | Integ Alg SHA1 96
 | | ... | received packets are correct.
 | | ... | [Ref] RFC6830, RFC4303.
 | | [Teardown] | Run Keywords | Show Packet Trace on All DUTs | ${nodes}
 | | ... | received packets are correct.
 | | ... | [Ref] RFC6830, RFC4303.
 | | [Teardown] | Run Keywords | Show Packet Trace on All DUTs | ${nodes}
-| | ...           | AND       | Show vpp trace dump on all DUTs
-| | ...           | AND       | Stop and Clear QEMU | ${dut1_node} | ${vm_node}
-| | ...           | AND       | Show VPP Settings | ${dut1_node}
-| | ...           | AND       | Show VPP Settings | ${dut2_node}
+| | ... | AND | Show vpp trace dump on all DUTs
+| | ... | AND | Stop and Clear QEMU | ${dut1_node} | ${vm_node}
+| | ... | AND | Show VPP Settings | ${dut1_node}
+| | ... | AND | Show VPP Settings | ${dut2_node}
+| | ... | AND | Check VPP PID in Teardown
 | | ...
 | | ${encr_alg}= | Crypto Alg AES CBC 128
 | | ${auth_alg}= | Integ Alg SHA1 96
 | | ...
 | | ${encr_alg}= | Crypto Alg AES CBC 128
 | | ${auth_alg}= | Integ Alg SHA1 96
index c290564..71ff7d7 100644 (file)
 | Variables | resources/test_data/lisp/ipv4_lispgpe_ipv6/ipv4_lispgpe_ipsec_ipv6.py
 | Force Tags | 3_NODE_SINGLE_LINK_TOPO | VM_ENV | LISP
 | ...
 | Variables | resources/test_data/lisp/ipv4_lispgpe_ipv6/ipv4_lispgpe_ipsec_ipv6.py
 | Force Tags | 3_NODE_SINGLE_LINK_TOPO | VM_ENV | LISP
 | ...
-| Test Setup | Run Keywords | Setup all DUTs before test
-| ...        | AND          | Setup all TGs before traffic script
-| ...        | AND          | Update All Interface Data On All Nodes | ${nodes}
-| Test Teardown | Run Keywords | Show Packet Trace on All DUTs | ${nodes}
-| ...           | AND          | Show vpp trace dump on all DUTs
-| ...           | AND          | VPP Show Errors | ${nodes['DUT1']}
-| ...           | AND          | VPP Show Errors | ${nodes['DUT2']}
+| Test Setup | Func Test Setup
+| Test Teardown | Func Test Teardown
 | ...
 | Documentation | *IPv6 - ip4-ipsec-lispgpe-ip6 - main fib, virt2lisp, phy2lisp*
 | ...
 | ...
 | Documentation | *IPv6 - ip4-ipsec-lispgpe-ip6 - main fib, virt2lisp, phy2lisp*
 | ...
 | | ... | received packets are correct.
 | | ... | [Ref] RFC6830, RFC4303.
 | | [Teardown] | Run Keywords | Show Packet Trace on All DUTs | ${nodes}
 | | ... | received packets are correct.
 | | ... | [Ref] RFC6830, RFC4303.
 | | [Teardown] | Run Keywords | Show Packet Trace on All DUTs | ${nodes}
-| | ...           | AND       | Show vpp trace dump on all DUTs
-| | ...           | AND       | VPP Show Errors | ${nodes['DUT1']}
-| | ...           | AND       | VPP Show Errors | ${nodes['DUT2']}
-| | ...           | AND       | Stop and Clear QEMU | ${dut1_node} | ${vm_node}
+| | ... | AND | Show vpp trace dump on all DUTs
+| | ... | AND | VPP Show Errors | ${nodes['DUT1']}
+| | ... | AND | VPP Show Errors | ${nodes['DUT2']}
+| | ... | AND | Stop and Clear QEMU | ${dut1_node} | ${vm_node}
+| | ... | AND | Check VPP PID in Teardown
 | | ...
 | | ${encr_alg}= | Crypto Alg AES CBC 128
 | | ${auth_alg}= | Integ Alg SHA1 96
 | | ...
 | | ${encr_alg}= | Crypto Alg AES CBC 128
 | | ${auth_alg}= | Integ Alg SHA1 96
 | | ... | received packets are correct.
 | | ... | [Ref] RFC6830, RFC4303.
 | | [Teardown] | Run Keywords | Show Packet Trace on All DUTs | ${nodes}
 | | ... | received packets are correct.
 | | ... | [Ref] RFC6830, RFC4303.
 | | [Teardown] | Run Keywords | Show Packet Trace on All DUTs | ${nodes}
-| | ...           | AND       | Show vpp trace dump on all DUTs
-| | ...           | AND       | VPP Show Errors | ${nodes['DUT1']}
-| | ...           | AND       | VPP Show Errors | ${nodes['DUT2']}
-| | ...           | AND       | Stop and Clear QEMU | ${dut1_node} | ${vm_node}
+| | ... | AND | Show vpp trace dump on all DUTs
+| | ... | AND | VPP Show Errors | ${nodes['DUT1']}
+| | ... | AND | VPP Show Errors | ${nodes['DUT2']}
+| | ... | AND | Stop and Clear QEMU | ${dut1_node} | ${vm_node}
+| | ... | AND | Check VPP PID in Teardown
 | | ...
 | | ${encr_alg}= | Crypto Alg AES CBC 128
 | | ${auth_alg}= | Integ Alg SHA1 96
 | | ...
 | | ${encr_alg}= | Crypto Alg AES CBC 128
 | | ${auth_alg}= | Integ Alg SHA1 96
index 266a445..2002d9e 100644 (file)
 | Variables | resources/test_data/lisp/ipv6_lispgpe_ipv4/ipv6_lispgpe_ipsec_ipv4.py
 | Force Tags | 3_NODE_SINGLE_LINK_TOPO | VM_ENV | LISP
 | ...
 | Variables | resources/test_data/lisp/ipv6_lispgpe_ipv4/ipv6_lispgpe_ipsec_ipv4.py
 | Force Tags | 3_NODE_SINGLE_LINK_TOPO | VM_ENV | LISP
 | ...
-| Test Setup | Run Keywords | Setup all DUTs before test
-| ...        | AND          | Setup all TGs before traffic script
-| ...        | AND          | Update All Interface Data On All Nodes | ${nodes}
+| Test Setup | Func Test Setup
 | Test Teardown | Run Keywords | Show Packet Trace on All DUTs | ${nodes}
 | Test Teardown | Run Keywords | Show Packet Trace on All DUTs | ${nodes}
-| ...           | AND          | Show vpp trace dump on all DUTs
-| ...           | AND          | Show Vpp Settings | ${nodes['DUT1']}
-| ...           | AND          | Show Vpp Settings | ${nodes['DUT2']}
+| ... | AND | Show vpp trace dump on all DUTs
+| ... | AND | Show Vpp Settings | ${nodes['DUT1']}
+| ... | AND | Show Vpp Settings | ${nodes['DUT2']}
+| ... | AND | Check VPP PID in Teardown
 | ...
 | Documentation | *IPv6 - ip4-ipsec-lispgpe-ip6 - main fib, vrf, virt2lisp,\
 | ... | phy2lisp*
 | ...
 | Documentation | *IPv6 - ip4-ipsec-lispgpe-ip6 - main fib, vrf, virt2lisp,\
 | ... | phy2lisp*
 | | ... | received packets are correct.
 | | ... | [Ref] RFC6830, RFC4303.
 | | [Teardown] | Run Keywords | Show Packet Trace on All DUTs | ${nodes}
 | | ... | received packets are correct.
 | | ... | [Ref] RFC6830, RFC4303.
 | | [Teardown] | Run Keywords | Show Packet Trace on All DUTs | ${nodes}
-| | ...           | AND       | Show vpp trace dump on all DUTs
-| | ...           | AND       | Show Vpp Settings | ${nodes['DUT1']}
-| | ...           | AND       | Show Vpp Settings | ${nodes['DUT2']}
-| | ...           | AND       | Stop and Clear QEMU | ${dut1_node} | ${vm_node}
+| | ... | AND | Show vpp trace dump on all DUTs
+| | ... | AND | Show Vpp Settings | ${nodes['DUT1']}
+| | ... | AND | Show Vpp Settings | ${nodes['DUT2']}
+| | ... | AND | Stop and Clear QEMU | ${dut1_node} | ${vm_node}
+| | ... | AND | Check VPP PID in Teardown
 | | ...
 | | ${encr_alg}= | Crypto Alg AES CBC 128
 | | ${auth_alg}= | Integ Alg SHA1 96
 | | ...
 | | ${encr_alg}= | Crypto Alg AES CBC 128
 | | ${auth_alg}= | Integ Alg SHA1 96
 | | ... | received packets are correct.
 | | ... | [Ref] RFC6830, RFC4303.
 | | [Teardown] | Run Keywords | Show Packet Trace on All DUTs | ${nodes}
 | | ... | received packets are correct.
 | | ... | [Ref] RFC6830, RFC4303.
 | | [Teardown] | Run Keywords | Show Packet Trace on All DUTs | ${nodes}
-| | ...           | AND       | Show vpp trace dump on all DUTs
-| | ...           | AND       | Show Vpp Settings | ${nodes['DUT1']}
-| | ...           | AND       | Show Vpp Settings | ${nodes['DUT2']}
-| | ...           | AND       | Stop and Clear QEMU | ${dut1_node} | ${vm_node}
+| | ... | AND | Show vpp trace dump on all DUTs
+| | ... | AND | Show Vpp Settings | ${nodes['DUT1']}
+| | ... | AND | Show Vpp Settings | ${nodes['DUT2']}
+| | ... | AND | Stop and Clear QEMU | ${dut1_node} | ${vm_node}
+| | ... | AND | Check VPP PID in Teardown
 | | ...
 | | ${encr_alg}= | Crypto Alg AES CBC 128
 | | ${auth_alg}= | Integ Alg SHA1 96
 | | ...
 | | ${encr_alg}= | Crypto Alg AES CBC 128
 | | ${auth_alg}= | Integ Alg SHA1 96
 | | ... | AND | Show vpp trace dump on all DUTs
 | | ... | AND | Show Vpp Settings | ${nodes['DUT1']}
 | | ... | AND | Show Vpp Settings | ${nodes['DUT2']}
 | | ... | AND | Show vpp trace dump on all DUTs
 | | ... | AND | Show Vpp Settings | ${nodes['DUT1']}
 | | ... | AND | Show Vpp Settings | ${nodes['DUT2']}
+| | ... | AND | Check VPP PID in Teardown
 | | ...
 | | ${encr_alg}= | Crypto Alg AES CBC 128
 | | ${auth_alg}= | Integ Alg SHA1 96
 | | ...
 | | ${encr_alg}= | Crypto Alg AES CBC 128
 | | ${auth_alg}= | Integ Alg SHA1 96
index c6707c2..16af411 100644 (file)
 | Variables | resources/test_data/lisp/ipv6_lispgpe_ipv6/ipv6_lispgpe_ipsec_ipv6.py
 | Force Tags | 3_NODE_SINGLE_LINK_TOPO | VM_ENV | LISP
 | ...
 | Variables | resources/test_data/lisp/ipv6_lispgpe_ipv6/ipv6_lispgpe_ipsec_ipv6.py
 | Force Tags | 3_NODE_SINGLE_LINK_TOPO | VM_ENV | LISP
 | ...
-| Test Setup | Run Keywords | Setup all DUTs before test
-| ...        | AND          | Setup all TGs before traffic script
-| ...        | AND          | Update All Interface Data On All Nodes | ${nodes}
+| Test Setup | Run Keywords | Func Test Setup
 | ...        | AND          | Vpp All Ra Suppress Link Layer | ${nodes}
 | ...        | AND          | Vpp All Ra Suppress Link Layer | ${nodes}
-| Test Teardown | Run Keywords | Show Packet Trace on All DUTs | ${nodes}
-| ...           | AND          | Show vpp trace dump on all DUTs
-| ...           | AND          | Show VPP Settings | ${nodes['DUT1']}
-| ...           | AND          | Show VPP Settings | ${nodes['DUT2']}
+| Test Teardown | Func Test Teardown
 | ...
 | Documentation | *IPv6 - ip6-ipsec-lispgpe-ip6 - main fib,
 | ... | vrf (gpe_vni-to-vrf), phy2lisp, virt2lisp*
 | ...
 | Documentation | *IPv6 - ip6-ipsec-lispgpe-ip6 - main fib,
 | ... | vrf (gpe_vni-to-vrf), phy2lisp, virt2lisp*
 | | ... | received packets are correct.
 | | ... | [Ref] RFC6830, RFC4303.
 | | [Teardown] | Run Keywords | Show Packet Trace on All DUTs | ${nodes}
 | | ... | received packets are correct.
 | | ... | [Ref] RFC6830, RFC4303.
 | | [Teardown] | Run Keywords | Show Packet Trace on All DUTs | ${nodes}
-| | ...           | AND       | Show vpp trace dump on all DUTs
-| | ...           | AND       | VPP Show Errors | ${nodes['DUT1']}
-| | ...           | AND       | VPP Show Errors | ${nodes['DUT2']}
-| | ...           | AND       | Stop and Clear QEMU | ${dut1_node} | ${vm_node}
-| | ...           | AND       | Show VPP Settings | ${dut1_node}
+| | ... | AND | Show vpp trace dump on all DUTs
+| | ... | AND | VPP Show Errors | ${nodes['DUT1']}
+| | ... | AND | VPP Show Errors | ${nodes['DUT2']}
+| | ... | AND | Stop and Clear QEMU | ${dut1_node} | ${vm_node}
+| | ... | AND | Show VPP Settings | ${dut1_node}
+| | ... | AND | Check VPP PID in Teardown
 | | ...
 | | ${encr_alg}= | Crypto Alg AES CBC 128
 | | ${auth_alg}= | Integ Alg SHA1 96
 | | ...
 | | ${encr_alg}= | Crypto Alg AES CBC 128
 | | ${auth_alg}= | Integ Alg SHA1 96
 | | ... | received packets are correct.
 | | ... | [Ref] RFC6830, RFC4303.
 | | [Teardown] | Run Keywords | Show Packet Trace on All DUTs | ${nodes}
 | | ... | received packets are correct.
 | | ... | [Ref] RFC6830, RFC4303.
 | | [Teardown] | Run Keywords | Show Packet Trace on All DUTs | ${nodes}
-| | ...           | AND       | Show vpp trace dump on all DUTs
-| | ...           | AND       | VPP Show Errors | ${nodes['DUT1']}
-| | ...           | AND       | VPP Show Errors | ${nodes['DUT2']}
-| | ...           | AND       | Stop and Clear QEMU | ${dut1_node} | ${vm_node}
-| | ...           | AND       | Show VPP Settings | ${dut1_node}
+| | ... | AND | Show vpp trace dump on all DUTs
+| | ... | AND | VPP Show Errors | ${nodes['DUT1']}
+| | ... | AND | VPP Show Errors | ${nodes['DUT2']}
+| | ... | AND | Stop and Clear QEMU | ${dut1_node} | ${vm_node}
+| | ... | AND | Show VPP Settings | ${dut1_node}
+| | ... | AND | Check VPP PID in Teardown
 | | ...
 | | ${encr_alg}= | Crypto Alg AES CBC 128
 | | ${auth_alg}= | Integ Alg SHA1 96
 | | ...
 | | ${encr_alg}= | Crypto Alg AES CBC 128
 | | ${auth_alg}= | Integ Alg SHA1 96
index 7810cf4..7caba04 100644 (file)
 | ...
 | Force Tags | 3_NODE_SINGLE_LINK_TOPO | VM_ENV | LISP
 | ...
 | ...
 | Force Tags | 3_NODE_SINGLE_LINK_TOPO | VM_ENV | LISP
 | ...
-| Test Setup | Run Keywords | Setup all DUTs before test
-| ...        | AND          | Setup all TGs before traffic script
-| ...        | AND          | Update All Interface Data On All Nodes | ${nodes}
+| Test Setup | Func Test Setup
 | Test Teardown | Run Keywords | Show Packet Trace on All DUTs | ${nodes}
 | Test Teardown | Run Keywords | Show Packet Trace on All DUTs | ${nodes}
-| ...           | AND          | Show vpp trace dump on all DUTs
-| ...           | AND          | Show Vpp Settings | ${nodes['DUT1']}
-| ...           | AND          | Show Vpp Settings | ${nodes['DUT2']}
+| ... | AND | Show vpp trace dump on all DUTs
+| ... | AND | Show Vpp Settings | ${nodes['DUT1']}
+| ... | AND | Show Vpp Settings | ${nodes['DUT2']}
+| ... | AND | Check VPP PID in Teardown
 | ...
 | Documentation | *ip4-lispgpe-ip4 encapsulation test cases*
 | ...
 | ...
 | Documentation | *ip4-lispgpe-ip4 encapsulation test cases*
 | ...
 | | ... | received packets are correct.
 | | ... | [Ref] RFC6830.
 | | ...
 | | ... | received packets are correct.
 | | ... | [Ref] RFC6830.
 | | ...
-| | [Teardown] | Run Keywords | Show Packet Trace on All DUTs | ${nodes}
-| | ... | AND | Show vpp trace dump on all DUTs
-| | ... | AND | Show Vpp Settings | ${nodes['DUT1']}
-| | ... | AND | Show Vpp Settings | ${nodes['DUT2']}
-| | ...
 | | Given Path for 3-node testing is set
 | | ... | ${nodes['TG']} | ${nodes['DUT1']} | ${nodes['DUT2']} | ${nodes['TG']}
 | | And Interfaces in 3-node path are up
 | | Given Path for 3-node testing is set
 | | ... | ${nodes['TG']} | ${nodes['DUT1']} | ${nodes['DUT2']} | ${nodes['TG']}
 | | And Interfaces in 3-node path are up
 | | ... | AND | Show Vpp Settings | ${nodes['DUT1']}
 | | ... | AND | Show Vpp Settings | ${nodes['DUT2']}
 | | ... | AND | Stop and Clear QEMU | ${dut1_node} | ${vm_node}
 | | ... | AND | Show Vpp Settings | ${nodes['DUT1']}
 | | ... | AND | Show Vpp Settings | ${nodes['DUT2']}
 | | ... | AND | Stop and Clear QEMU | ${dut1_node} | ${vm_node}
+| | ... | AND | Check VPP PID in Teardown
 | | ...
 | | Given Path for 3-node testing is set
 | | ... | ${nodes['TG']} | ${nodes['DUT1']} | ${nodes['DUT2']} | ${nodes['TG']}
 | | ...
 | | Given Path for 3-node testing is set
 | | ... | ${nodes['TG']} | ${nodes['DUT1']} | ${nodes['DUT2']} | ${nodes['TG']}
 | | ... | AND | Show Vpp Settings | ${nodes['DUT1']}
 | | ... | AND | Show Vpp Settings | ${nodes['DUT2']}
 | | ... | AND | Stop and Clear QEMU | ${dut1_node} | ${vm_node}
 | | ... | AND | Show Vpp Settings | ${nodes['DUT1']}
 | | ... | AND | Show Vpp Settings | ${nodes['DUT2']}
 | | ... | AND | Stop and Clear QEMU | ${dut1_node} | ${vm_node}
+| | ... | AND | Check VPP PID in Teardown
 | | ...
 | | Given Path for 3-node testing is set
 | | ... | ${nodes['TG']} | ${nodes['DUT1']} | ${nodes['DUT2']} | ${nodes['TG']}
 | | ...
 | | Given Path for 3-node testing is set
 | | ... | ${nodes['TG']} | ${nodes['DUT1']} | ${nodes['DUT2']} | ${nodes['TG']}
index f6596ba..fe92ee0 100644 (file)
 | Variables | resources/test_data/lisp/static_adjacency/lisp_static_adjacency.py
 | Force Tags | 3_NODE_SINGLE_LINK_TOPO | 3_NODE_DOUBLE_LINK_TOPO
 | ... | VM_ENV | HW_ENV
 | Variables | resources/test_data/lisp/static_adjacency/lisp_static_adjacency.py
 | Force Tags | 3_NODE_SINGLE_LINK_TOPO | 3_NODE_DOUBLE_LINK_TOPO
 | ... | VM_ENV | HW_ENV
-| Test Setup | Run Keywords | Setup all DUTs before test
-| ...        | AND          | Setup all TGs before traffic script
-| ...        | AND          | Update All Interface Data On All Nodes | ${nodes}
-| Test Teardown | Run Keywords | Show Packet Trace on All DUTs | ${nodes}
-| ...           | AND          | Show vpp trace dump on all DUTs
+| Test Setup | Func Test Setup
+| Test Teardown | Func Test Teardown
 | Documentation | *LISP static adjacency test cases*
 | ...
 | ... | *[Top] Network Topologies:* TG-DUT1-DUT2-TG 3-node circular topology\
 | Documentation | *LISP static adjacency test cases*
 | ...
 | ... | *[Top] Network Topologies:* TG-DUT1-DUT2-TG 3-node circular topology\
 | | ... | AND | Show vpp trace dump on all DUTs
 | | ... | AND | Show Vpp Settings | ${nodes['DUT1']}
 | | ... | AND | Show Vpp Settings | ${nodes['DUT2']}
 | | ... | AND | Show vpp trace dump on all DUTs
 | | ... | AND | Show Vpp Settings | ${nodes['DUT1']}
 | | ... | AND | Show Vpp Settings | ${nodes['DUT2']}
+| | ... | AND | Check VPP PID in Teardown
 | | ...
 | | Given Path for 3-node testing is set
 | | ... | ${nodes['TG']} | ${nodes['DUT1']} | ${nodes['DUT2']} | ${nodes['TG']}
 | | ...
 | | Given Path for 3-node testing is set
 | | ... | ${nodes['TG']} | ${nodes['DUT1']} | ${nodes['DUT2']} | ${nodes['TG']}
 | | ... | AND | Show Vpp Settings | ${nodes['DUT1']}
 | | ... | AND | Show Vpp Settings | ${nodes['DUT2']}
 | | ... | AND | Stop and Clear QEMU | ${dut1_node} | ${vm_node}
 | | ... | AND | Show Vpp Settings | ${nodes['DUT1']}
 | | ... | AND | Show Vpp Settings | ${nodes['DUT2']}
 | | ... | AND | Stop and Clear QEMU | ${dut1_node} | ${vm_node}
+| | ... | AND | Check VPP PID in Teardown
 | | ...
 | | Given Path for 3-node testing is set
 | | ... | ${nodes['TG']} | ${nodes['DUT1']} | ${nodes['DUT2']} | ${nodes['TG']}
 | | ...
 | | Given Path for 3-node testing is set
 | | ... | ${nodes['TG']} | ${nodes['DUT1']} | ${nodes['DUT2']} | ${nodes['TG']}
index a4ff3a6..5a99278 100644 (file)
 | Variables | resources/test_data/lisp/static_adjacency/lisp_static_adjacency.py
 | Force Tags | 3_NODE_SINGLE_LINK_TOPO | 3_NODE_DOUBLE_LINK_TOPO
 | ... | VM_ENV | HW_ENV
 | Variables | resources/test_data/lisp/static_adjacency/lisp_static_adjacency.py
 | Force Tags | 3_NODE_SINGLE_LINK_TOPO | 3_NODE_DOUBLE_LINK_TOPO
 | ... | VM_ENV | HW_ENV
-| Test Setup | Run Keywords | Setup all DUTs before test
-| ...        | AND          | Setup all TGs before traffic script
-| ...        | AND          | Update All Interface Data On All Nodes | ${nodes}
-| Test Teardown | Run Keywords | Show Packet Trace on All DUTs | ${nodes}
-| ...           | AND          | Show vpp trace dump on all DUTs
+| Test Setup | Func Test Setup
+| Test Teardown | Func Test Teardown
 | Documentation | *LISP static adjacency test cases*
 | ...
 | ... | *[Top] Network Topologies:* TG-DUT1-DUT2-TG 3-node circular topology\
 | Documentation | *LISP static adjacency test cases*
 | ...
 | ... | *[Top] Network Topologies:* TG-DUT1-DUT2-TG 3-node circular topology\
index da78cb4..8b00eda 100644 (file)
 | ...
 | Force Tags | 3_NODE_SINGLE_LINK_TOPO | VM_ENV | LISP
 | ...
 | ...
 | Force Tags | 3_NODE_SINGLE_LINK_TOPO | VM_ENV | LISP
 | ...
-| Test Setup | Run Keywords | Setup all DUTs before test
-| ...        | AND          | Setup all TGs before traffic script
-| ...        | AND          | Update All Interface Data On All Nodes | ${nodes}
-| ...        | AND          | Vpp All Ra Suppress Link Layer | ${nodes}
+| Test Setup | Run Keywords | Func Test Setup
+| ... | AND | Vpp All Ra Suppress Link Layer | ${nodes}
 | Test Teardown | Run Keywords | Show Packet Trace on All DUTs | ${nodes}
 | Test Teardown | Run Keywords | Show Packet Trace on All DUTs | ${nodes}
-| ...           | AND          | Show vpp trace dump on all DUTs
-| ...           | AND          | Show Vpp Settings | ${nodes['DUT1']}
-| ...           | AND          | Show Vpp Settings | ${nodes['DUT2']}
+| ... | AND | Show vpp trace dump on all DUTs
+| ... | AND | Show Vpp Settings | ${nodes['DUT1']}
+| ... | AND | Show Vpp Settings | ${nodes['DUT2']}
+| ... | AND | Check VPP PID in Teardown
 | ...
 | Documentation | *ip6-lispgpe-ip6 encapsulation test cases*
 | ...
 | ...
 | Documentation | *ip6-lispgpe-ip6 encapsulation test cases*
 | ...
 | | ... | AND | Show Vpp Settings | ${nodes['DUT1']}
 | | ... | AND | Show Vpp Settings | ${nodes['DUT2']}
 | | ... | AND | Stop and Clear QEMU | ${dut1_node} | ${vm_node}
 | | ... | AND | Show Vpp Settings | ${nodes['DUT1']}
 | | ... | AND | Show Vpp Settings | ${nodes['DUT2']}
 | | ... | AND | Stop and Clear QEMU | ${dut1_node} | ${vm_node}
+| | ... | AND | Check VPP PID in Teardown
 | | ...
 | | Given Path for 3-node testing is set
 | | ... | ${nodes['TG']} | ${nodes['DUT1']} | ${nodes['DUT2']} | ${nodes['TG']}
 | | ...
 | | Given Path for 3-node testing is set
 | | ... | ${nodes['TG']} | ${nodes['DUT1']} | ${nodes['DUT2']} | ${nodes['TG']}
 | | ... | AND | Show Vpp Settings | ${nodes['DUT1']}
 | | ... | AND | Show Vpp Settings | ${nodes['DUT2']}
 | | ... | AND | Stop and Clear QEMU | ${dut1_node} | ${vm_node}
 | | ... | AND | Show Vpp Settings | ${nodes['DUT1']}
 | | ... | AND | Show Vpp Settings | ${nodes['DUT2']}
 | | ... | AND | Stop and Clear QEMU | ${dut1_node} | ${vm_node}
+| | ... | AND | Check VPP PID in Teardown
 | | ...
 | | Given Path for 3-node testing is set
 | | ... | ${nodes['TG']} | ${nodes['DUT1']} | ${nodes['DUT2']} | ${nodes['TG']}
 | | ...
 | | Given Path for 3-node testing is set
 | | ... | ${nodes['TG']} | ${nodes['DUT1']} | ${nodes['DUT2']} | ${nodes['TG']}
index 01cf78f..c0a411c 100644 (file)
 | ...
 | Force Tags | 3_NODE_SINGLE_LINK_TOPO | VM_ENV | LISP
 | ...
 | ...
 | Force Tags | 3_NODE_SINGLE_LINK_TOPO | VM_ENV | LISP
 | ...
-| Test Setup | Run Keywords | Setup all DUTs before test
-| ...        | AND          | Setup all TGs before traffic script
-| ...        | AND          | Update All Interface Data On All Nodes | ${nodes}
-| Test Teardown | Run Keywords | Show Packet Trace on All DUTs | ${nodes}
-| ...           | AND          | Show vpp trace dump on all DUTs
-| ...           | AND          | VPP Show Errors | ${nodes['DUT1']}
-| ...           | AND          | VPP Show Errors | ${nodes['DUT2']}
+| Test Setup | Func Test Setup
+| Test Teardown | Func Test Teardown
 | ...
 | Documentation | *ip4-lispgpe-ip4 encapsulation test cases*
 | ...
 | ...
 | Documentation | *ip4-lispgpe-ip4 encapsulation test cases*
 | ...
index 4070a65..8f42197 100644 (file)
 | ...
 | Force Tags | 3_NODE_SINGLE_LINK_TOPO | VM_ENV | LISP
 | ...
 | ...
 | Force Tags | 3_NODE_SINGLE_LINK_TOPO | VM_ENV | LISP
 | ...
-| Test Setup | Run Keywords | Setup all DUTs before test
-| ...        | AND          | Setup all TGs before traffic script
-| ...        | AND          | Update All Interface Data On All Nodes | ${nodes}
-| Test Teardown | Run Keywords | Show Packet Trace on All DUTs | ${nodes}
-| ...           | AND          | Show vpp trace dump on all DUTs
-| ...           | AND          | VPP Show Errors | ${nodes['DUT1']}
-| ...           | AND          | VPP Show Errors | ${nodes['DUT2']}
+| Test Setup | Func Test Setup
+| Test Teardown | Func Test Teardown
 | ...
 | Documentation | *l2-lispgpe-ip6 encapsulation test cases*
 | ...
 | ...
 | Documentation | *l2-lispgpe-ip6 encapsulation test cases*
 | ...
index 5c9e0bb..4cb3686 100644 (file)
 | Force Tags | 3_NODE_DOUBLE_LINK_TOPO | VM_ENV | HW_ENV
 | Resource | resources/libraries/robot/policer.robot
 | Library | resources.libraries.python.Trace
 | Force Tags | 3_NODE_DOUBLE_LINK_TOPO | VM_ENV | HW_ENV
 | Resource | resources/libraries/robot/policer.robot
 | Library | resources.libraries.python.Trace
-| Test Setup | Run Keywords | Setup all DUTs before test
-| ...        | AND          | Setup all TGs before traffic script
+| Test Setup | Run Keywords | Func Test Setup
 | ...        | AND          | Setup Topology for IPv4 policer testing
 | ...        | AND          | Setup Topology for IPv4 policer testing
-| Test Teardown | Run Keywords | Show Packet Trace on All DUTs | ${nodes}
-| ...           | AND          | Show vpp trace dump on all DUTs
+| Test Teardown | Func Test Teardown
 | Documentation | *IPv4 policer test cases*
 | ...
 | ... | *[Top] Network topologies:* TG=DUT1 2-node topology with two links\
 | Documentation | *IPv4 policer test cases*
 | ...
 | ... | *[Top] Network topologies:* TG=DUT1 2-node topology with two links\
index a5721a2..6a7ae1a 100644 (file)
 | Force Tags | 3_NODE_DOUBLE_LINK_TOPO | VM_ENV | HW_ENV
 | Resource | resources/libraries/robot/policer.robot
 | Library | resources.libraries.python.Trace
 | Force Tags | 3_NODE_DOUBLE_LINK_TOPO | VM_ENV | HW_ENV
 | Resource | resources/libraries/robot/policer.robot
 | Library | resources.libraries.python.Trace
-| Test Setup | Run Keywords | Setup all DUTs before test
-| ...        | AND          | Setup all TGs before traffic script
+| Test Setup | Run Keywords | Func Test Setup
 | ...        | AND          | Setup Topology for IPv6 policer testing
 | ...        | AND          | Setup Topology for IPv6 policer testing
-| Test Teardown | Run Keywords | Show Packet Trace on All DUTs | ${nodes}
-| ...           | AND          | Show vpp trace dump on all DUTs
+| Test Teardown | Func Test Teardown
 | Documentation | *IPv6 policer test cases*
 | ...
 | ... | *[Top] Network topologies:* TG=DUT1 2-node topology with two links\
 | Documentation | *IPv6 policer test cases*
 | ...
 | ... | *[Top] Network topologies:* TG=DUT1 2-node topology with two links\
index c91436a..708477a 100644 (file)
 | Resource | resources/libraries/robot/l2_xconnect.robot
 | Resource | resources/libraries/robot/traffic.robot
 | Library | resources.libraries.python.Trace
 | Resource | resources/libraries/robot/l2_xconnect.robot
 | Resource | resources/libraries/robot/traffic.robot
 | Library | resources.libraries.python.Trace
-
 | Force Tags | HW_ENV | VM_ENV | 3_NODE_SINGLE_LINK_TOPO
 | Force Tags | HW_ENV | VM_ENV | 3_NODE_SINGLE_LINK_TOPO
-| Suite Setup | Run Keywords | Setup all TGs before traffic script
-| ...         | AND          | Update All Interface Data On All Nodes | ${nodes}
-| Test Setup | Setup all DUTs before test
-| Test Teardown | Run Keywords | Show packet trace on all DUTs | ${nodes}
-| ...           | AND          | Vpp Show Errors | ${nodes['DUT1']}
-| ...           | AND          | Show vpp trace dump on all DUTs
+| Test Setup | Func Test Setup
+| Test Teardown | Func Test Teardown
 | Documentation | *Source RPF check on IPv4 test cases*
 | ...
 | ... | *[Top] Network Topologies:* TG - DUT1 - DUT2 - TG
 | Documentation | *Source RPF check on IPv4 test cases*
 | ...
 | ... | *[Top] Network Topologies:* TG - DUT1 - DUT2 - TG
index 06f7c6e..f96ee19 100644 (file)
@@ -19,9 +19,8 @@
 | Resource | resources/libraries/robot/map.robot
 | Library  | resources.libraries.python.Trace
 | Force Tags | HW_ENV | VM_ENV | 3_NODE_DOUBLE_LINK_TOPO
 | Resource | resources/libraries/robot/map.robot
 | Library  | resources.libraries.python.Trace
 | Force Tags | HW_ENV | VM_ENV | 3_NODE_DOUBLE_LINK_TOPO
-| Test Setup | Run Keywords | Setup all DUTs before test
-| ...        | AND          | Setup all TGs before traffic script
-| Test Teardown | Show Packet Trace on All DUTs | ${nodes}
+| Test Setup | Func Test Setup
+| Test Teardown | Func Test Teardown
 | Documentation | *Lightweight 4 over 6 test cases*
 | ...
 | ... | LW4o6 is a subset of MAP-E, with per-subscriber rules. It uses the
 | Documentation | *Lightweight 4 over 6 test cases*
 | ...
 | ... | LW4o6 is a subset of MAP-E, with per-subscriber rules. It uses the
index c8b7f15..78246b5 100644 (file)
 | Resource | resources/libraries/robot/map.robot
 | Library  | resources.libraries.python.IPUtil
 | Library  | resources.libraries.python.Trace
 | Resource | resources/libraries/robot/map.robot
 | Library  | resources.libraries.python.IPUtil
 | Library  | resources.libraries.python.Trace
-| Force Tags | HW_ENV | VM_ENV | 3_NODE_DOUBLE_LINK_TOPO
 | Variables | resources/test_data/softwire/map_e_domains.py | ${5}
 | Variables | resources/test_data/softwire/map_e_domains.py | ${5}
-| Suite Setup | Run Keywords
-| ... | Setup All DUTs Before Test | AND
-| ... | Setup All TGs Before Traffic Script
-| Test Setup | Run Keywords
-| ... | Setup All DUTs Before Test | AND
-| ... | Setup All TGs Before Traffic Script
-| Test Teardown | Run Keywords
-| ... | Show Packet Trace On All DUTs | ${nodes} | AND
-| ... | Show Vpp Trace Dump On All DUTs
+| Force Tags | HW_ENV | VM_ENV | 3_NODE_DOUBLE_LINK_TOPO
+| Test Setup | Func Test Setup
+| Test Teardown | Func Test Teardown
 | Documentation | *Test for Basic mapping rule for MAP-E*\
 | ... | *[Top] Network Topologies:* TG - DUT1 - TG with two links between the
 | ... | nodes.
 | Documentation | *Test for Basic mapping rule for MAP-E*\
 | ... | *[Top] Network Topologies:* TG - DUT1 - TG with two links between the
 | ... | nodes.
@@ -66,8 +59,7 @@
 # TODO: replace setup when VPP-312 fixed
 #| | [Setup] | Set Interfaces IP Addresses And Routes
 | | [Setup] | Run Keywords
 # TODO: replace setup when VPP-312 fixed
 #| | [Setup] | Set Interfaces IP Addresses And Routes
 | | [Setup] | Run Keywords
-| | ... | Setup All DUTs Before Test | AND
-| | ... | Setup All TGs Before Traffic Script | AND
+| | ... | Func Test Setup | AND
 | | ... | Set Interfaces IP Addresses And Routes
 | | [Template] | Check MAP Configuration With Traffic Script
 # |=================|===============|================|============|=============|==========|================|==========|==================================|
 | | ... | Set Interfaces IP Addresses And Routes
 | | [Template] | Check MAP Configuration With Traffic Script
 # |=================|===============|================|============|=============|==========|================|==========|==================================|
@@ -92,8 +84,7 @@
 # TODO: replace setup when VPP-312 fixed
 #| | [Setup] | Set Interfaces IP Addresses And Routes
 | | [Setup] | Run Keywords
 # TODO: replace setup when VPP-312 fixed
 #| | [Setup] | Set Interfaces IP Addresses And Routes
 | | [Setup] | Run Keywords
-| | ... | Setup All DUTs Before Test | AND
-| | ... | Setup All TGs Before Traffic Script | AND
+| | ... | Func Test Setup | AND
 | | ... | Set Interfaces IP Addresses And Routes
 | | [Template] | Check MAP Configuration With Traffic Script
 # |===================|===============|================|============|=============|==========|================|==========|==================================|
 | | ... | Set Interfaces IP Addresses And Routes
 | | [Template] | Check MAP Configuration With Traffic Script
 # |===================|===============|================|============|=============|==========|================|==========|==================================|
 # TODO: replace setup when VPP-312 fixed
 #| | [Setup] | Set Interfaces IP Addresses And Routes
 | | [Setup] | Run Keywords
 # TODO: replace setup when VPP-312 fixed
 #| | [Setup] | Set Interfaces IP Addresses And Routes
 | | [Setup] | Run Keywords
-| | ... | Setup All DUTs Before Test | AND
-| | ... | Setup All TGs Before Traffic Script | AND
+| | ... | Func Test Setup | AND
 | | ... | Set Interfaces IP Addresses And Routes
 | | [Template] | Check MAP Configuration With Traffic Script
 # |===================|===============|================|============|=============|==========|================|==========|===================================|
 | | ... | Set Interfaces IP Addresses And Routes
 | | [Template] | Check MAP Configuration With Traffic Script
 # |===================|===============|================|============|=============|==========|================|==========|===================================|
 # TODO: replace setup when VPP-312 fixed
 #| | [Setup] | Set Interfaces IP Addresses And Routes
 | | [Setup] | Run Keywords
 # TODO: replace setup when VPP-312 fixed
 #| | [Setup] | Set Interfaces IP Addresses And Routes
 | | [Setup] | Run Keywords
-| | ... | Setup All DUTs Before Test | AND
-| | ... | Setup All TGs Before Traffic Script | AND
+| | ... | Func Test Setup | AND
 | | ... | Set Interfaces IP Addresses And Routes
 | | [Template] | Check MAP Configuration With Traffic Script
 # |===================|=========================|================|============|=============|==========|================|==========|
 | | ... | Set Interfaces IP Addresses And Routes
 | | [Template] | Check MAP Configuration With Traffic Script
 # |===================|=========================|================|============|=============|==========|================|==========|
 # TODO: replace setup when VPP-312 fixed
 #| | [Setup] | Set Interfaces IP Addresses And Routes
 | | [Setup] | Run Keywords
 # TODO: replace setup when VPP-312 fixed
 #| | [Setup] | Set Interfaces IP Addresses And Routes
 | | [Setup] | Run Keywords
-| | ... | Setup All DUTs Before Test | AND
-| | ... | Setup All TGs Before Traffic Script | AND
+| | ... | Func Test Setup | AND
 | | ... | Set Interfaces IP Addresses And Routes
 | | [Template] | Check MAP Configuration With Traffic Script
 # |===================|=========================|================|============|=============|==========|================|==========|
 | | ... | Set Interfaces IP Addresses And Routes
 | | [Template] | Check MAP Configuration With Traffic Script
 # |===================|=========================|================|============|=============|==========|================|==========|
 | | [Teardown] | Run Keywords
 | | ... | Map Del Domain | ${dut_node} | ${domain_index} | AND
 | | ... | Show Packet Trace On All DUTs | ${nodes} | AND
 | | [Teardown] | Run Keywords
 | | ... | Map Del Domain | ${dut_node} | ${domain_index} | AND
 | | ... | Show Packet Trace On All DUTs | ${nodes} | AND
-| | ... | Clear Packet Trace On All DUTs | ${nodes}
+| | ... | Clear Packet Trace On All DUTs | ${nodes} | AND
+| | ... | Check VPP PID in Teardown
 
 | Check Encapsulation With Traffic Script
 | | [Arguments] | ${ipv4_dst} | ${dst_port} | ${ipv6_dst}
 
 | Check Encapsulation With Traffic Script
 | | [Arguments] | ${ipv4_dst} | ${dst_port} | ${ipv6_dst}
index 5629f50..4167ca2 100644 (file)
 | Library  | resources.libraries.python.IPUtil
 | Library  | resources.libraries.python.Trace
 | Force Tags | HW_ENV | VM_ENV | 3_NODE_DOUBLE_LINK_TOPO
 | Library  | resources.libraries.python.IPUtil
 | Library  | resources.libraries.python.Trace
 | Force Tags | HW_ENV | VM_ENV | 3_NODE_DOUBLE_LINK_TOPO
-| Suite Setup | Run Keywords
-| ... | Setup all DUTs before test | AND
-| ... | Setup all TGs before traffic script
-| Test Teardown | Run Keywords
-| ... | Show packet trace on all DUTs | ${nodes} | AND
-| ... | Show vpp trace dump on all DUTs
+| Test Setup | Run Keywords | Func Test Setup
+| ... | AND | Set interfaces IP addresses and routes
+| Test Teardown | Func Test Teardown
 | Documentation | *Test for Basic mapping rule for MAP-T*\
 | ... | *[Top] Network Topologies:* TG - DUT1 - TG with two links between the
 | ... | nodes.
 | Documentation | *Test for Basic mapping rule for MAP-T*\
 | ... | *[Top] Network Topologies:* TG - DUT1 - TG with two links between the
 | ... | nodes.
@@ -55,7 +52,6 @@
 | TC01: MAP-T test
 | | [Documentation] |
 | | ... | Test to check map-t address translation.
 | TC01: MAP-T test
 | | [Documentation] |
 | | ... | Test to check map-t address translation.
-| | [Setup] | Set interfaces IP addresses and routes
 | | [Template] | Check MAP-T configuration with traffic script
 # |===================|===============|================|============|=============|==========|===========|================|==========|
 # | ipv4_pfx          | ipv6_dst_pfx  | ipv6_src_pfx   | ea_bit_len | psid_offset | psid_len | ipv4_src  | ipv4_dst       | dst_port |
 | | [Template] | Check MAP-T configuration with traffic script
 # |===================|===============|================|============|=============|==========|===========|================|==========|
 # | ipv4_pfx          | ipv6_dst_pfx  | ipv6_src_pfx   | ea_bit_len | psid_offset | psid_len | ipv4_src  | ipv4_dst       | dst_port |
 | | [Teardown] | Run Keywords
 | | ... | Map Del Domain | ${dut_node} | ${domain_index} | AND
 | | ... | Show packet trace on all DUTs | ${nodes} | AND
 | | [Teardown] | Run Keywords
 | | ... | Map Del Domain | ${dut_node} | ${domain_index} | AND
 | | ... | Show packet trace on all DUTs | ${nodes} | AND
-| | ... | Clear packet trace on all DUTs | ${nodes}
+| | ... | Clear packet trace on all DUTs | ${nodes} | AND
+| | ... | Check VPP PID in Teardown
index 13a8e61..2acdad8 100644 (file)
 | Library  | resources.libraries.python.Namespaces
 | Library  | resources.libraries.python.IPUtil
 | Force Tags | HW_ENV | VM_ENV | 3_NODE_DOUBLE_LINK_TOPO
 | Library  | resources.libraries.python.Namespaces
 | Library  | resources.libraries.python.IPUtil
 | Force Tags | HW_ENV | VM_ENV | 3_NODE_DOUBLE_LINK_TOPO
-| Test Setup | Run Keywords | Setup all DUTs before test
-| ...        | AND          | Setup all TGs before traffic script
-| ...        | AND          | Clean Up Namespaces | ${nodes['DUT1']}
-| Test Teardown | Run Keywords | Show Packet Trace on All DUTs | ${nodes}
+| Test Setup | Run Keywords | Func Test Setup
 | ...        | AND          | Clean Up Namespaces | ${nodes['DUT1']}
 | ...        | AND          | Clean Up Namespaces | ${nodes['DUT1']}
+| Test Teardown | Run Keywords | Func Test Teardown
+| ...           | AND          | Clean Up Namespaces | ${nodes['DUT1']}
 | Documentation | *Tap Interface Traffic Tests*
 | ... | *[Top] Network Topologies:* TG=DUT1 2-node topology with two links
 | ... | between nodes.
 | Documentation | *Tap Interface Traffic Tests*
 | ... | *[Top] Network Topologies:* TG=DUT1 2-node topology with two links
 | ... | between nodes.
@@ -91,7 +90,8 @@
 | | [Teardown] | Run Keywords
 | | ... | Linux Del Bridge | ${dut_node} | ${bid_TAP} | AND
 | | ... | Show Packet Trace on All DUTs | ${nodes} | AND
 | | [Teardown] | Run Keywords
 | | ... | Linux Del Bridge | ${dut_node} | ${bid_TAP} | AND
 | | ... | Show Packet Trace on All DUTs | ${nodes} | AND
-| | ... | Clean Up Namespaces | ${nodes['DUT1']}
+| | ... | Clean Up Namespaces | ${nodes['DUT1']} | AND
+| | ... | Check VPP PID in Teardown
 | | ...
 | | Given Path for 2-node testing is set | ${nodes['TG']} | ${nodes['DUT1']}
 | | ... | ${nodes['TG']}
 | | ...
 | | Given Path for 2-node testing is set | ${nodes['TG']} | ${nodes['DUT1']}
 | | ... | ${nodes['TG']}
index 6037085..1c85d1f 100644 (file)
 
 | Force Tags | HW_ENV | VM_ENV | 3_NODE_SINGLE_LINK_TOPO | EXPECTED_FAILING
 # TODO: Remove EXPECTED_FAILING tag once functionality is implemented (VPP-204)
 
 | Force Tags | HW_ENV | VM_ENV | 3_NODE_SINGLE_LINK_TOPO | EXPECTED_FAILING
 # TODO: Remove EXPECTED_FAILING tag once functionality is implemented (VPP-204)
-| Suite Setup | Run Keywords | Setup all TGs before traffic script
-| ...         | AND          | Update All Interface Data On All Nodes | ${nodes}
-| Test Setup | Setup all DUTs before test
-| Test Teardown | Run Keywords | Show packet trace on all DUTs | ${nodes}
-| ...           | AND          | Vpp Show Errors | ${nodes['DUT1']}
-| ...           | AND          | Show vpp trace dump on all DUTs
+| Test Setup | Func Test Setup
+| Test Teardown | Func Test Teardown
 | Documentation | *IPFIX ipv4 test cases*
 | ...
 | ... | IPFIX tests use 3-node topology TG - DUT1 - DUT2 - TG with
 | Documentation | *IPFIX ipv4 test cases*
 | ...
 | ... | IPFIX tests use 3-node topology TG - DUT1 - DUT2 - TG with
index 46d2773..b8310b2 100644 (file)
 
 | Force Tags | HW_ENV | VM_ENV | 3_NODE_SINGLE_LINK_TOPO | EXPECTED_FAILING
 # TODO: Remove EXPECTED_FAILING tag once functionality is implemented (VPP-204)
 
 | Force Tags | HW_ENV | VM_ENV | 3_NODE_SINGLE_LINK_TOPO | EXPECTED_FAILING
 # TODO: Remove EXPECTED_FAILING tag once functionality is implemented (VPP-204)
-| Suite Setup | Run Keywords | Setup all TGs before traffic script
-| ...         | AND          | Update All Interface Data On All Nodes | ${nodes}
-| Test Setup | Setup all DUTs before test
-| Test Teardown | Run Keywords | Show packet trace on all DUTs | ${nodes}
-| ...           | AND          | Vpp Show Errors | ${nodes['DUT1']}
-| ...           | AND          | Show vpp trace dump on all DUTs
+| Test Setup | Func Test Setup
+| Test Teardown | Func Test Teardown
 | Documentation | *IPFIX ipv6 test cases*
 | ...
 | ... | IPFIX tests use 3-node topology TG - DUT1 - DUT2 - TG with
 | Documentation | *IPFIX ipv6 test cases*
 | ...
 | ... | IPFIX tests use 3-node topology TG - DUT1 - DUT2 - TG with
index 3872401..8a7af5f 100644 (file)
 | Library  | resources.libraries.python.telemetry.SPAN
 | Force Tags | HW_ENV | VM_ENV | 3_NODE_DOUBLE_LINK_TOPO | EXPECTED_FAILING
 # TODO: Remove EXPECTED_FAILING tag once functionality is implemented (VPP-185)
 | Library  | resources.libraries.python.telemetry.SPAN
 | Force Tags | HW_ENV | VM_ENV | 3_NODE_DOUBLE_LINK_TOPO | EXPECTED_FAILING
 # TODO: Remove EXPECTED_FAILING tag once functionality is implemented (VPP-185)
-| Test Setup | Run Keywords | Setup all DUTs before test
-| ...        | AND          | Setup all TGs before traffic script
-| Test Teardown | Run Keyword If Test Failed | Run Keywords
-| ... | Show packet trace on all DUTs | ${nodes} | AND
-| ... | Show vpp trace dump on all DUTs
+| Test Setup | Func Test Setup
+| Test Teardown | Func Test Teardown
 | Documentation | *SPAN test suite*
 | ... | *[Top] Network Topologies:* TG=DUT1 2-node topology with two
 | ... | links between nodes.
 | Documentation | *SPAN test suite*
 | ... | *[Top] Network Topologies:* TG=DUT1 2-node topology with two
 | ... | links between nodes.
index 35fdcde..6174476 100644 (file)
 | Resource | resources/libraries/robot/l2_traffic.robot
 | Library  | resources.libraries.python.Trace
 | Force Tags | 3_NODE_SINGLE_LINK_TOPO | HW_ENV | VM_ENV
 | Resource | resources/libraries/robot/l2_traffic.robot
 | Library  | resources.libraries.python.Trace
 | Force Tags | 3_NODE_SINGLE_LINK_TOPO | HW_ENV | VM_ENV
-| Test Setup | Setup all DUTs before test
-| Suite Setup | Setup all TGs before traffic script
-| Test Teardown | Run Keywords | Show Packet Trace on All DUTs | ${nodes}
-| ...           | AND          | Show vpp trace dump on all DUTs
+| Test Setup | Func Test Setup
+| Test Teardown | Func Test Teardown
 | Documentation | *L2 cross-connect with QinQ test cases*
 | ...
 | ... | *[Top] Network Topologies:* TG-DUT1-DUT2-TG 3-node circular topology with
 | Documentation | *L2 cross-connect with QinQ test cases*
 | ...
 | ... | *[Top] Network Topologies:* TG-DUT1-DUT2-TG 3-node circular topology with
index 0ff10cd..ebde7bf 100644 (file)
 | Resource | resources/libraries/robot/l2_traffic.robot
 | Library  | resources.libraries.python.Trace
 | Force Tags | 3_NODE_SINGLE_LINK_TOPO | HW_ENV | VM_ENV
 | Resource | resources/libraries/robot/l2_traffic.robot
 | Library  | resources.libraries.python.Trace
 | Force Tags | 3_NODE_SINGLE_LINK_TOPO | HW_ENV | VM_ENV
-| Test Setup | Setup all DUTs before test
-| Suite Setup | Setup all TGs before traffic script
-| Test Teardown | Run Keywords | Show Packet Trace on All DUTs | ${nodes}
-| ...           | AND          | Show vpp trace dump on all DUTs
+| Test Setup | Func Test Setup
+| Test Teardown | Func Test Teardown
 | Documentation | *L2 bridge domain with VLAN tag rewrite test cases - IPv4*
 | ...
 | ... | *[Top] Network Topologies:* TG-DUT1-DUT2-TG 3-node circular topology
 | Documentation | *L2 bridge domain with VLAN tag rewrite test cases - IPv4*
 | ...
 | ... | *[Top] Network Topologies:* TG-DUT1-DUT2-TG 3-node circular topology
index e3d2d39..6e3c76c 100644 (file)
 | Resource | resources/libraries/robot/l2_traffic.robot
 | Library  | resources.libraries.python.Trace
 | Force Tags | 3_NODE_SINGLE_LINK_TOPO | HW_ENV | VM_ENV
 | Resource | resources/libraries/robot/l2_traffic.robot
 | Library  | resources.libraries.python.Trace
 | Force Tags | 3_NODE_SINGLE_LINK_TOPO | HW_ENV | VM_ENV
-| Test Setup | Setup all DUTs before test
-| Suite Setup | Setup all TGs before traffic script
-| Test Teardown | Run Keywords | Show Packet Trace on All DUTs | ${nodes}
-| ...           | AND          | Show vpp trace dump on all DUTs
+| Test Setup | Func Test Setup
+| Test Teardown | Func Test Teardown
 | Documentation | *L2 bridge domain with VLAN tag rewrite test cases - IPv6*
 | ...
 | ... | *[Top] Network Topologies:* TG-DUT1-DUT2-TG 3-node circular topology
 | Documentation | *L2 bridge domain with VLAN tag rewrite test cases - IPv6*
 | ...
 | ... | *[Top] Network Topologies:* TG-DUT1-DUT2-TG 3-node circular topology
index d509318..bfca6d8 100644 (file)
 | Resource | resources/libraries/robot/l2_traffic.robot
 | Library  | resources.libraries.python.Trace
 | Force Tags | 3_NODE_SINGLE_LINK_TOPO | HW_ENV | VM_ENV
 | Resource | resources/libraries/robot/l2_traffic.robot
 | Library  | resources.libraries.python.Trace
 | Force Tags | 3_NODE_SINGLE_LINK_TOPO | HW_ENV | VM_ENV
-| Test Setup | Setup all DUTs before test
-| Suite Setup | Setup all TGs before traffic script
-| Test Teardown | Run Keywords | Show Packet Trace on All DUTs | ${nodes}
-| ...           | AND          | Show vpp trace dump on all DUTs
+| Test Setup | Func Test Setup
+| Test Teardown | Func Test Teardown
 | Documentation | *L2 cross-connect with VLAN tag rewrite test cases - IPv4*
 | ...
 | ... | *[Top] Network Topologies:* TG-DUT1-DUT2-TG 3-node circular topology
 | Documentation | *L2 cross-connect with VLAN tag rewrite test cases - IPv4*
 | ...
 | ... | *[Top] Network Topologies:* TG-DUT1-DUT2-TG 3-node circular topology
index 9557fb9..7f61443 100644 (file)
 | Resource | resources/libraries/robot/l2_traffic.robot
 | Library  | resources.libraries.python.Trace
 | Force Tags | 3_NODE_SINGLE_LINK_TOPO | HW_ENV | VM_ENV
 | Resource | resources/libraries/robot/l2_traffic.robot
 | Library  | resources.libraries.python.Trace
 | Force Tags | 3_NODE_SINGLE_LINK_TOPO | HW_ENV | VM_ENV
-| Test Setup | Setup all DUTs before test
-| Suite Setup | Setup all TGs before traffic script
-| Test Teardown | Run Keywords | Show Packet Trace on All DUTs | ${nodes}
-| ...           | AND          | Show vpp trace dump on all DUTs
+| Test Setup | Func Test Setup
+| Test Teardown | Func Test Teardown
 | Documentation | *L2 cross-connect with VLAN tag rewrite test cases - IPv6*
 | ...
 | ... | *[Top] Network Topologies:* TG-DUT1-DUT2-TG 3-node circular topology
 | Documentation | *L2 cross-connect with VLAN tag rewrite test cases - IPv6*
 | ...
 | ... | *[Top] Network Topologies:* TG-DUT1-DUT2-TG 3-node circular topology
index 7469613..0339573 100644 (file)
@@ -22,9 +22,8 @@
 | Library  | resources.libraries.python.Trace
 | Library  | resources.libraries.python.IPUtil
 | Force Tags | HW_ENV | VM_ENV | 3_NODE_DOUBLE_LINK_TOPO
 | Library  | resources.libraries.python.Trace
 | Library  | resources.libraries.python.IPUtil
 | Force Tags | HW_ENV | VM_ENV | 3_NODE_DOUBLE_LINK_TOPO
-| Test Setup | Run Keywords | Setup all DUTs before test
-| ...        | AND          | Setup all TGs before traffic script
-| Test Teardown | Show Packet Trace on All DUTs | ${nodes}
+| Test Setup | Func Test Setup
+| Test Teardown | Func Test Teardown
 | Documentation | *Vpn routed forwarding - baseline IPv4*
 | ... | *[Top] Network Topologies:* TG=DUT1=DUT2=TG 3-node topology with two
 | ... | links in between nodes.
 | Documentation | *Vpn routed forwarding - baseline IPv4*
 | ... | *[Top] Network Topologies:* TG=DUT1=DUT2=TG 3-node topology with two
 | ... | links in between nodes.
index 6756c34..b88b6fd 100644 (file)
 | Library  | resources.libraries.python.Trace
 | Library  | resources.libraries.python.IPUtil
 | Force Tags | HW_ENV | VM_ENV | 3_NODE_DOUBLE_LINK_TOPO
 | Library  | resources.libraries.python.Trace
 | Library  | resources.libraries.python.IPUtil
 | Force Tags | HW_ENV | VM_ENV | 3_NODE_DOUBLE_LINK_TOPO
-| Test Setup | Run Keywords | Setup all DUTs before test
-| ...        | AND          | Setup all TGs before traffic script
-| Test Teardown | Run Keywords | Show Packet Trace on All DUTs | ${nodes}
-| ...           | AND          | Show vpp trace dump on all DUTs
+| Test Setup | Func Test Setup
+| Test Teardown | Func Test Teardown
 | Documentation | *Vpn routed forwarding - baseline IPv6*
 | ... | *[Top] Network Topologies:* TG=DUT1=DUT2=TG 3-node topology with two
 | ... | links in between nodes.
 | Documentation | *Vpn routed forwarding - baseline IPv6*
 | ... | *[Top] Network Topologies:* TG=DUT1=DUT2=TG 3-node topology with two
 | ... | links in between nodes.
index 425017e..9da1e3c 100644 (file)
 | Resource | resources/libraries/robot/l2_traffic.robot
 | Library  | resources.libraries.python.Trace
 | Force Tags | 3_NODE_SINGLE_LINK_TOPO | VM_ENV | HW_ENV
 | Resource | resources/libraries/robot/l2_traffic.robot
 | Library  | resources.libraries.python.Trace
 | Force Tags | 3_NODE_SINGLE_LINK_TOPO | VM_ENV | HW_ENV
-| Test Setup | Run Keywords | Setup all DUTs before test
-| ...        | AND          | Setup all TGs before traffic script
-| Test Teardown | Run Keywords | Show Packet Trace on All DUTs | ${nodes}
-| ...           | AND          | Show vpp trace dump on all DUTs
+| Test Setup | Func Test Setup
+| Test Teardown | Func Test Teardown
 | Documentation | *RFC7348 VXLAN: Bridge-domain with VXLAN over VLAN test cases*
 | ...
 | ... | *[Top] Network topologies:* TG-DUT1-DUT2-TG 3-node circular topology with
 | Documentation | *RFC7348 VXLAN: Bridge-domain with VXLAN over VLAN test cases*
 | ...
 | ... | *[Top] Network topologies:* TG-DUT1-DUT2-TG 3-node circular topology with
index f579f11..0bbe30c 100644 (file)
 | Resource | resources/libraries/robot/l2_traffic.robot
 | Library  | resources.libraries.python.Trace
 | Force Tags | 3_NODE_SINGLE_LINK_TOPO | VM_ENV | HW_ENV
 | Resource | resources/libraries/robot/l2_traffic.robot
 | Library  | resources.libraries.python.Trace
 | Force Tags | 3_NODE_SINGLE_LINK_TOPO | VM_ENV | HW_ENV
-| Test Setup | Run Keywords | Setup all DUTs before test
-| ...        | AND          | Setup all TGs before traffic script
-| Test Teardown | Run Keywords | Show Packet Trace on All DUTs | ${nodes}
-| ...           | AND          | Show vpp trace dump on all DUTs
+| Test Setup | Func Test Setup
+| Test Teardown | Func Test Teardown
 | Documentation | *RFC7348 VXLAN: Bridge-domain with VXLAN test cases*
 | ...
 | ... | *[Top] Network topologies:* TG-DUT1-DUT2-TG 3-node circular topology
 | Documentation | *RFC7348 VXLAN: Bridge-domain with VXLAN test cases*
 | ...
 | ... | *[Top] Network topologies:* TG-DUT1-DUT2-TG 3-node circular topology
index 32e8c9f..de38c56 100644 (file)
 | Resource | resources/libraries/robot/l2_traffic.robot
 | Library  | resources.libraries.python.Trace
 | Force Tags | 3_NODE_SINGLE_LINK_TOPO | VM_ENV | HW_ENV
 | Resource | resources/libraries/robot/l2_traffic.robot
 | Library  | resources.libraries.python.Trace
 | Force Tags | 3_NODE_SINGLE_LINK_TOPO | VM_ENV | HW_ENV
-| Test Setup | Run Keywords | Setup all DUTs before test
-| ...        | AND          | Setup all TGs before traffic script
-| Test Teardown | Run Keywords | Show Packet Trace on All DUTs | ${nodes}
-| ...           | AND          | Show vpp trace dump on all DUTs
+| Test Setup | Func Test Setup
+| Test Teardown | Func Test Teardown
 | Documentation | *RFC7348 VXLAN: L2 cross-connect with VXLAN test cases*
 | ...
 | ... | *[Top] Network topologies:* TG-DUT1-DUT2-TG 3-node circular topology
 | Documentation | *RFC7348 VXLAN: L2 cross-connect with VXLAN test cases*
 | ...
 | ... | *[Top] Network topologies:* TG-DUT1-DUT2-TG 3-node circular topology