VTS: Unify the tests 42/23942/7
authorPeter Mikus <pmikus@cisco.com>
Wed, 11 Dec 2019 14:22:14 +0000 (14:22 +0000)
committerPeter Mikus <pmikus@cisco.com>
Fri, 20 Dec 2019 19:56:14 +0000 (19:56 +0000)
- Converting to 2n as they were always 2n (with l2xc on 3rd node)
- Removing KW and converting to layered approach

Signed-off-by: Peter Mikus <pmikus@cisco.com>
Change-Id: Ie349c50f72eb362815e7c5ede076d421ab386e76

resources/libraries/robot/l2/l2_bridge_domain.robot
tests/vpp/perf/vts/2n1l-10ge2p1x710-ethip4vxlan-l2bdbasemaclrn-eth-iacldstbase-aclpermit-2vhostvr1024-1vm-ndrpdr.robot [moved from tests/vpp/perf/vts/10ge2p1x710-ethip4vxlan-l2bdbasemaclrn-eth-iacldstbase-aclpermit-2vhostvr1024-1vm-ndrpdr.robot with 84% similarity]
tests/vpp/perf/vts/2n1l-10ge2p1x710-ethip4vxlan-l2bdbasemaclrn-eth-iacldstbase-aclpermitreflect-2vhostvr1024-1vm-ndrpdr.robot [moved from tests/vpp/perf/vts/10ge2p1x710-ethip4vxlan-l2bdbasemaclrn-eth-iacldstbase-aclpermitreflect-2vhostvr1024-1vm-ndrpdr.robot with 84% similarity]
tests/vpp/perf/vts/2n1l-10ge2p1x710-ethip4vxlan-l2bdbasemaclrn-eth-iacldstbase-noacl-2vhostvr1024-1vm-ndrpdr.robot [moved from tests/vpp/perf/vts/10ge2p1x710-ethip4vxlan-l2bdbasemaclrn-eth-iacldstbase-noacl-2vhostvr1024-1vm-ndrpdr.robot with 84% similarity]

index a85cb70..0c13b6f 100644 (file)
 | | Add interface to bridge domain | ${dut2} | ${vhost_if2} | ${bd_id2}
 | | Add interface to bridge domain | ${dut2} | ${dut2_if2} | ${bd_id2}
 
-| Init L2 bridge domains with single DUT with Vhost-User and VXLANoIPv4 in 3-node circular topology
-| | [Documentation]
-| | ... | Create two Vhost-User interfaces on one VPP node. Add each
-| | ... | Vhost-User interface into L2 bridge domains with learning enabled
-| | ... | one connected to physical interface, the other to VXLAN.
-| | ... | Setup VXLANoIPv4 between DUTs and TG by connecting physical and vxlan
-| | ... | interfaces on the DUT. All interfaces are brought up.
-| | ... | IPv4 addresses with prefix /24 are configured on interfaces between
-| | ... | DUT and TG.
-| |
-| | ... | *Arguments:*
-| | ... | - dut1_address - Address of physical interface on DUT1. Type: string
-| | ... | - dut1_address_subnet - Subnet of the address of physical interface on
-| | ... | DUT1. Type: string
-| | ... | - dut2_address - Address of physical interface on DUT2. Type: string
-| | ... | - dut2_address_subnet - Subnet of the address of physical interface on
-| | ... | DUT2. Type: string
-| | ... | - dut1_gw - Address of the _gateway_ to which the traffic will be
-| | ... | forwarded on DUT1. Type: string
-| | ... | - dut2_gw - Address of the _gateway_ to which the traffic will be
-| | ... | forwarded on DUT2. Type: string
-| | ... | - dut1_vxlans - List of VXLAN params to be configured on DUT1.
-| | ... | Type: list of dicts, dict params vni, vtep
-| | ... | - dut2_vxlans - List of VXLAN params to be configured on DUT2.
-| | ... | Type: list of dicts, dict params vni, vtep
-| | ... | - dut1_route_subnet - Subnet address to forward to _gateway_ on DUT1.
-| | ... | Type: string
-| | ... | - dut1_route_mask - Subnet address mask to forward to _gateway_
-| | ... | on DUT1. Type: string
-| | ... | - dut2_route_subnet - Subnet address to forward to _gateway_ on DUT2.
-| | ... | Type: string
-| | ... | - dut2_route_mask - Subnet address mask to forward to _gateway_
-| | ... | on DUT2. Type: string
-| |
-| | ... | *Example:*
-| |
-| | [Arguments] | ${dut1_address} | ${dut1_address_subnet} |
-| | ... | ${dut2_address} | ${dut2_address_subnet} | ${dut1_gw} | ${dut2_gw} |
-| | ... | ${dut1_vxlans} | ${dut2_vxlans} | ${dut1_route_subnet} |
-| | ... | ${dut1_route_mask} | ${dut2_route_subnet} | ${dut2_route_mask}
-| |
-| | Configure vhost interfaces | ${dut1}
-| | ... | /var/run/vpp/sock-1-${dut1_bd_id1}
-| | ... | /var/run/vpp/sock-1-${dut1_bd_id2}
-| | VPP Interface Set IP Address | ${dut1} | ${dut1_if1} |
-| | ... | ${dut1_address} | ${dut1_address_subnet}
-| | VPP Interface Set IP Address | ${dut2} | ${dut2_if2} |
-| | ... | ${dut2_address} | ${dut2_address_subnet}
-| | ${dut1_bd_id1}= | Set Variable | 1
-| | ${dut1_bd_id2}= | Set Variable | 2
-| | ${dut2_bd_id1}= | Set Variable | 1
-| | FOR | ${vxlan} | IN | @{dut1_vxlans}
-| | | ${dut1s_vxlan}= | Create VXLAN interface | ${dut1} | ${vxlan.vni}
-| | | ... | ${dut1_address} | ${vxlan.vtep}
-| | | Add interface to bridge domain | ${dut1} | ${dut1s_vxlan} | ${dut1_bd_id1}
-| | END
-| | FOR | ${vxlan} | IN | @{dut2_vxlans}
-| | | ${dut2s_vxlan}= | Create VXLAN interface | ${dut2} | ${vxlan.vni}
-| | | ... | ${dut2_address} | ${vxlan.vtep}
-| | | Add interface to bridge domain | ${dut2} | ${dut2s_vxlan} | ${dut2_bd_id1}
-| | END
-| | VPP Add IP Neighbor | ${dut1} | ${dut1_if1} | ${dut1_gw} | ${tg_if1_mac}
-| | VPP Add IP Neighbor | ${dut2} | ${dut2_if2} | ${dut2_gw} | ${tg_if2_mac}
-| | Vpp Route Add | ${dut1} | ${dut1_route_subnet} | ${dut1_route_mask}
-| | ... | gateway=${dut1_gw} | interface=${dut1_if1}
-| | Vpp Route Add | ${dut2} | ${dut2_route_subnet} | ${dut2_route_mask}
-| | ... | gateway=${dut2_gw} | interface=${dut2_if2}
-| | Add interface to bridge domain | ${dut1} | ${dut1_if2} | ${dut1_bd_id2}
-| | Add interface to bridge domain | ${dut2} | ${dut2_if1} | ${dut2_bd_id1}
-| | Add interface to bridge domain | ${dut1} | ${vhost_if1} | ${dut1_bd_id1}
-| | Add interface to bridge domain | ${dut1} | ${vhost_if2} | ${dut1_bd_id2}
-
 | Initialize L2 bridge domains with VLAN dot1q sub-interfaces in circular topology
 | | [Documentation]
 | | ... | Setup L2 bridge domain topology with learning enabled with VLAN by
@@ -14,7 +14,7 @@
 *** Settings ***
 | Resource | resources/libraries/robot/shared/default.robot
 |
-| Force Tags | 3_NODE_SINGLE_LINK_TOPO | PERFTEST | HW_ENV | NDRPDR
+| Force Tags | 2_NODE_SINGLE_LINK_TOPO | PERFTEST | HW_ENV | NDRPDR
 | ... | NIC_Intel-X710 | L2BDMACLRN | ENCAP | VXLAN | L2OVRLAY | IP4UNRLAY
 | ... | VHOST | VM | VHOST_1024 | VTS | ACL_PERMIT | DRV_VFIO_PCI
 |
 | Documentation | *RFC2544: Packet throughput L2BD test cases with VXLANoIPv4
 | ... | and vhost*
 |
-| ... | *[Top] Network Topologies:* TG-DUT1-DUT2-TG 3-node circular topology
+| ... | *[Top] Network Topologies:* TG-DUT1-TG 2-node circular topology
 | ... | with single links between nodes.
 | ... | *[Enc] Packet Encapsulations:* Eth-IPv4 for L2 switching of IPv4.
-| ... | Eth-IPv4-VXLAN-Eth-IPv4 is applied on link between DUT1 and DUT2.
-| ... | *[Cfg] DUT configuration:* DUT1 and DUT2 are configured with L2 bridge-
+| ... | Eth-IPv4-VXLAN-Eth-IPv4 is applied on link from/to TG.
+| ... | *[Cfg] DUT configuration:* DUTs are configured with L2 bridge-
 | ... | domain and MAC learning enabled. Qemu VNFs are connected \
 | ... | to VPP via vhost-user interfaces. Guest is running VPP l2xc \
-| ... | interconnecting vhost-user interfaces, rxd/txd=1024. DUT1/DUT2 is \
+| ... | interconnecting vhost-user interfaces, rxd/txd=1024. DUTs are \
 | ... | tested with ${nic_name}.
 | ... | *[Ver] TG verification:* TG finds and reports throughput NDR (Non Drop\
 | ... | Rate) with zero packet loss tolerance and throughput PDR (Partial Drop\
@@ -61,9 +61,6 @@
 | ${nf_dtc}= | ${1}
 | ${nf_chains}= | ${1}
 | ${nf_nodes}= | ${1}
-| ${dut1_bd_id1}= | 1
-| ${dut1_bd_id2}= | 2
-| ${dut2_bd_id1}= | 1
 # Traffic profile:
 | ${traffic_profile}=
 | ... | trex-sl-ethip4vxlan-ip4src${nf_chains}udpsrcrnd
 | | And Apply startup configuration on all VPP DUTs
 | | When Initialize layer driver | ${nic_driver}
 | | And Initialize layer interface
-| | &{vxlan1} = | Create Dictionary | vni=0 | vtep=172.17.0.2
-| | &{vxlan2} = | Create Dictionary | vni=0 | vtep=172.27.0.2
-| | @{dut1_vxlans} = | Create List | ${vxlan1}
-| | @{dut2_vxlans} = | Create List | ${vxlan2}
-| | When Init L2 bridge domains with single DUT with Vhost-User and VXLANoIPv4 in 3-node circular topology
-| | ... | 172.16.0.1 | 16 | 172.26.0.1 | 16 | 172.16.0.2 | 172.26.0.2
-| | ... | ${dut1_vxlans} | ${dut2_vxlans} | 172.17.0.0 | 16 | 172.27.0.0 | 16
+| | And Initialize layer ip4vxlan
+| | ... | count=${nf_chains}
+| | And Initialize L2 bridge domains for multiple chains with Vhost-User
+| | ... | nf_chains=${nf_chains} | nf_nodes=${nf_nodes}
 | | @{permit_list} = | Create List | 10.0.0.1/32 | 10.0.0.2/32
 | | Run Keyword If | '${acl_type}' != '${EMPTY}'
 | | ... | Configure ACLs on a single interface | ${dut1} | ${dut1_if2} | input
 | | ... | ${acl_type} | @{permit_list}
-| | And Configure chains of NFs connected via vhost-user on single node
-| | ... | node=DUT1 | nf_chains=${nf_chains} | nf_nodes=${nf_nodes}
-| | ... | jumbo=${jumbo} | use_tuned_cfs=${False} | auto_scale=${True}
-| | ... | vnf=vpp_chain_l2xc
+| | And Configure chains of NFs connected via vhost-user
+| | ... | nf_chains=${nf_chains} | nf_nodes=${nf_nodes} | jumbo=${jumbo}
+| | ... | use_tuned_cfs=${False} | auto_scale=${True} | vnf=vpp_chain_l2xc
 | | Then Find NDR and PDR intervals using optimized search
 
 *** Test Cases ***
@@ -14,7 +14,7 @@
 *** Settings ***
 | Resource | resources/libraries/robot/shared/default.robot
 |
-| Force Tags | 3_NODE_SINGLE_LINK_TOPO | PERFTEST | HW_ENV | NDRPDR
+| Force Tags | 2_NODE_SINGLE_LINK_TOPO | PERFTEST | HW_ENV | NDRPDR
 | ... | NIC_Intel-X710 | L2BDMACLRN | ENCAP | VXLAN | L2OVRLAY | IP4UNRLAY
 | ... | VHOST | VM | VHOST_1024 | VTS | ACL_PERMIT_REFLECT | DRV_VFIO_PCI
 |
 | Documentation | *RFC2544: Packet throughput L2BD test cases with VXLANoIPv4
 | ... | and vhost*
 |
-| ... | *[Top] Network Topologies:* TG-DUT1-DUT2-TG 3-node circular topology
+| ... | *[Top] Network Topologies:* TG-DUT1-TG 2-node circular topology
 | ... | with single links between nodes.
 | ... | *[Enc] Packet Encapsulations:* Eth-IPv4 for L2 switching of IPv4.
-| ... | Eth-IPv4-VXLAN-Eth-IPv4 is applied on link between DUT1 and DUT2.
-| ... | *[Cfg] DUT configuration:* DUT1 and DUT2 are configured with L2 bridge-
+| ... | Eth-IPv4-VXLAN-Eth-IPv4 is applied on link from/to TG.
+| ... | *[Cfg] DUT configuration:* DUTs are configured with L2 bridge-
 | ... | domain and MAC learning enabled. Qemu VNFs are connected \
 | ... | to VPP via vhost-user interfaces. Guest is running VPP l2xc \
-| ... | interconnecting vhost-user interfaces, rxd/txd=1024. DUT1/DUT2 is \
+| ... | interconnecting vhost-user interfaces, rxd/txd=1024. DUTs are \
 | ... | tested with ${nic_name}.
 | ... | *[Ver] TG verification:* TG finds and reports throughput NDR (Non Drop\
 | ... | Rate) with zero packet loss tolerance and throughput PDR (Partial Drop\
@@ -61,9 +61,6 @@
 | ${nf_dtc}= | ${1}
 | ${nf_chains}= | ${1}
 | ${nf_nodes}= | ${1}
-| ${dut1_bd_id1}= | 1
-| ${dut1_bd_id2}= | 2
-| ${dut2_bd_id1}= | 1
 # Traffic profile:
 | ${traffic_profile}=
 | ... | trex-sl-ethip4vxlan-ip4src${nf_chains}udpsrcrnd
@@ -80,7 +77,6 @@
 | | ... | - frame_size - L2 Frame Size [B]. Type: integer
 | | ... | - phy_cores - Number of worker threads to be used. Type: integer
 | | ... | - rxq - Number of Rx queues to be used. Type: integer
-| | ... | - acl_type - FIXME.
 | |
 | | [Arguments] | ${frame_size} | ${phy_cores} | ${rxq}=${None}
 | |
 | | And Apply startup configuration on all VPP DUTs
 | | When Initialize layer driver | ${nic_driver}
 | | And Initialize layer interface
-| | &{vxlan1} = | Create Dictionary | vni=0 | vtep=172.17.0.2
-| | &{vxlan2} = | Create Dictionary | vni=0 | vtep=172.27.0.2
-| | @{dut1_vxlans} = | Create List | ${vxlan1}
-| | @{dut2_vxlans} = | Create List | ${vxlan2}
-| | When Init L2 bridge domains with single DUT with Vhost-User and VXLANoIPv4 in 3-node circular topology
-| | ... | 172.16.0.1 | 16 | 172.26.0.1 | 16 | 172.16.0.2 | 172.26.0.2
-| | ... | ${dut1_vxlans} | ${dut2_vxlans} | 172.17.0.0 | 16 | 172.27.0.0 | 16
+| | And Initialize layer ip4vxlan
+| | ... | count=${nf_chains}
+| | And Initialize L2 bridge domains for multiple chains with Vhost-User
+| | ... | nf_chains=${nf_chains} | nf_nodes=${nf_nodes}
 | | @{permit_list} = | Create List | 10.0.0.1/32 | 10.0.0.2/32
 | | Run Keyword If | '${acl_type}' != '${EMPTY}'
 | | ... | Configure ACLs on a single interface | ${dut1} | ${dut1_if2} | input
 | | ... | ${acl_type} | @{permit_list}
-| | And Configure chains of NFs connected via vhost-user on single node
-| | ... | node=DUT1 | nf_chains=${nf_chains} | nf_nodes=${nf_nodes}
-| | ... | jumbo=${jumbo} | use_tuned_cfs=${False} | auto_scale=${True}
-| | ... | vnf=vpp_chain_l2xc
+| | And Configure chains of NFs connected via vhost-user
+| | ... | nf_chains=${nf_chains} | nf_nodes=${nf_nodes} | jumbo=${jumbo}
+| | ... | use_tuned_cfs=${False} | auto_scale=${True} | vnf=vpp_chain_l2xc
 | | Then Find NDR and PDR intervals using optimized search
 
 *** Test Cases ***
@@ -14,7 +14,7 @@
 *** Settings ***
 | Resource | resources/libraries/robot/shared/default.robot
 |
-| Force Tags | 3_NODE_SINGLE_LINK_TOPO | PERFTEST | HW_ENV | NDRPDR
+| Force Tags | 2_NODE_SINGLE_LINK_TOPO | PERFTEST | HW_ENV | NDRPDR
 | ... | NIC_Intel-X710 | L2BDMACLRN | ENCAP | VXLAN | L2OVRLAY | IP4UNRLAY
 | ... | VHOST | VM | VHOST_1024 | VTS | DRV_VFIO_PCI
 |
 | Documentation | *RFC2544: Packet throughput L2BD test cases with VXLANoIPv4
 | ... | and vhost*
 |
-| ... | *[Top] Network Topologies:* TG-DUT1-DUT2-TG 3-node circular topology
+| ... | *[Top] Network Topologies:* TG-DUT1-TG 2-node circular topology
 | ... | with single links between nodes.
 | ... | *[Enc] Packet Encapsulations:* Eth-IPv4 for L2 switching of IPv4.
-| ... | Eth-IPv4-VXLAN-Eth-IPv4 is applied on link between DUT1 and DUT2.
-| ... | *[Cfg] DUT configuration:* DUT1 and DUT2 are configured with L2 bridge-
+| ... | Eth-IPv4-VXLAN-Eth-IPv4 is applied on link from/to TG.
+| ... | *[Cfg] DUT configuration:* DUTs are configured with L2 bridge-
 | ... | domain and MAC learning enabled. Qemu VNFs are connected \
 | ... | to VPP via vhost-user interfaces. Guest is running VPP l2xc \
-| ... | interconnecting vhost-user interfaces, rxd/txd=1024. DUT1/DUT2 is \
+| ... | interconnecting vhost-user interfaces, rxd/txd=1024. DUTs are \
 | ... | tested with ${nic_name}.
 | ... | *[Ver] TG verification:* TG finds and reports throughput NDR (Non Drop\
 | ... | Rate) with zero packet loss tolerance and throughput PDR (Partial Drop\
@@ -61,9 +61,6 @@
 | ${nf_dtc}= | ${1}
 | ${nf_chains}= | ${1}
 | ${nf_nodes}= | ${1}
-| ${dut1_bd_id1}= | 1
-| ${dut1_bd_id2}= | 2
-| ${dut2_bd_id1}= | 1
 # Traffic profile:
 | ${traffic_profile}=
 | ... | trex-sl-ethip4vxlan-ip4src${nf_chains}udpsrcrnd
 | | And Apply startup configuration on all VPP DUTs
 | | When Initialize layer driver | ${nic_driver}
 | | And Initialize layer interface
-| | &{vxlan1} = | Create Dictionary | vni=0 | vtep=172.17.0.2
-| | &{vxlan2} = | Create Dictionary | vni=0 | vtep=172.27.0.2
-| | @{dut1_vxlans} = | Create List | ${vxlan1}
-| | @{dut2_vxlans} = | Create List | ${vxlan2}
-| | When Init L2 bridge domains with single DUT with Vhost-User and VXLANoIPv4 in 3-node circular topology
-| | ... | 172.16.0.1 | 16 | 172.26.0.1 | 16 | 172.16.0.2 | 172.26.0.2
-| | ... | ${dut1_vxlans} | ${dut2_vxlans} | 172.17.0.0 | 16 | 172.27.0.0 | 16
+| | And Initialize layer ip4vxlan
+| | ... | count=${nf_chains}
+| | And Initialize L2 bridge domains for multiple chains with Vhost-User
+| | ... | nf_chains=${nf_chains} | nf_nodes=${nf_nodes}
 | | @{permit_list} = | Create List | 10.0.0.1/32 | 10.0.0.2/32
 | | Run Keyword If | '${acl_type}' != '${EMPTY}'
 | | ... | Configure ACLs on a single interface | ${dut1} | ${dut1_if2} | input
 | | ... | ${acl_type} | @{permit_list}
-| | And Configure chains of NFs connected via vhost-user on single node
-| | ... | node=DUT1 | nf_chains=${nf_chains} | nf_nodes=${nf_nodes}
-| | ... | jumbo=${jumbo} | use_tuned_cfs=${False} | auto_scale=${True}
-| | ... | vnf=vpp_chain_l2xc
+| | And Configure chains of NFs connected via vhost-user
+| | ... | nf_chains=${nf_chains} | nf_nodes=${nf_nodes} | jumbo=${jumbo}
+| | ... | use_tuned_cfs=${False} | auto_scale=${True} | vnf=vpp_chain_l2xc
 | | Then Find NDR and PDR intervals using optimized search
 
 *** Test Cases ***