Add unified latency output for PDRDISC and NDRDISC
[csit.git] / resources / libraries / robot / performance.robot
index e19b8cf..66cc8f7 100644 (file)
 | | Append Node | ${nodes['TG']}
 | | Append Node | ${nodes['DUT1']} | filter_list=${iface_model_list}
 | | Append Node | ${nodes['TG']}
-| | Compute Path
+| | Compute Path | always_same_link=${FALSE}
 | | ${tg_if1} | ${tg}= | Next Interface
 | | ${dut1_if1} | ${dut1}= | Next Interface
 | | ${dut1_if2} | ${dut1}= | Next Interface
 | | Interface is added to bridge domain | ${dut2} | ${vhost_if2} | ${bd_id2}
 | | All Vpp Interfaces Ready Wait | ${nodes}
 
+| L2 bridge domain with VXLANoIPv4 initialized in a 3-node circular topology
+| | [Documentation]
+| | ... | Setup L2 bridge domain topology with VXLANoIPv4 by connecting
+| | ... | physical and vxlan interfaces on each DUT. All interfaces are brought
+| | ... | up. IPv4 addresses with prefix /24 are configured on interfaces
+| | ... | between DUTs. VXLAN sub-interfaces has same IPv4 address as
+| | ... | interfaces.
+| | ...
+| | VPP interfaces in path are up in a 3-node circular topology
+| | IP addresses are set on interfaces | ${dut1} | ${dut1_if2} | 172.16.0.1 | 24
+| | IP addresses are set on interfaces | ${dut2} | ${dut2_if1} | 172.16.0.2 | 24
+| | ${dut1_if2_mac}= | Get Interface MAC | ${dut1} | ${dut1_if2}
+| | ${dut2_if1_mac}= | Get Interface MAC | ${dut2} | ${dut2_if1}
+| | Add arp on dut | ${dut1} | ${dut1_if2} | 172.16.0.2 | ${dut2_if1_mac}
+| | Add arp on dut | ${dut2} | ${dut2_if1} | 172.16.0.1 | ${dut1_if2_mac}
+| | ${dut1s_vxlan}= | Create VXLAN interface | ${dut1} | 24
+| | ... | 172.16.0.1 | 172.16.0.2
+| | ${dut2s_vxlan}= | Create VXLAN interface | ${dut2} | 24
+| | ... | 172.16.0.2 | 172.16.0.1
+| | Vpp l2bd forwarding setup | ${dut1} | ${dut1_if1} | ${dut1s_vxlan}
+| | Vpp l2bd forwarding setup | ${dut2} | ${dut2_if2} | ${dut2s_vxlan}
+| | All Vpp Interfaces Ready Wait | ${nodes}
+
+| L2 bridge domains with Vhost-User and VXLANoIPv4 initialized in a 3-node circular topology
+| | [Documentation]
+| | ... | Create two Vhost-User interfaces on all defined VPP nodes. Add each
+| | ... | Vhost-User interface into L2 bridge domains with learning enabled
+| | ... | with physical inteface.
+| | ... | Setup VXLANoIPv4 between DUTs by connecting physical and vxlan
+| | ... | interfaces on each DUT. All interfaces are brought up.
+| | ... | IPv4 addresses with prefix /24 are configured on interfaces between
+| | ... | DUTs. VXLAN sub-interfaces has same IPv4 address as interfaces.
+| | ...
+| | ... | *Arguments:*
+| | ... | - bd_id1 - Bridge domain ID. Type: integer
+| | ... | - bd_id2 - Bridge domain ID. Type: integer
+| | ... | - sock1 - Sock path for first Vhost-User interface. Type: string
+| | ... | - sock2 - Sock path for second Vhost-User interface. Type: string
+| | ...
+| | ... | *Example:*
+| | ...
+| | ... | \| L2 bridge domains with Vhost-User initialized in a 3-node \
+| | ... | circular topology \| 1 \| 2 \| /tmp/sock1 \| /tmp/sock2 \|
+| | ...
+| | [Arguments] | ${bd_id1} | ${bd_id2} | ${sock1} | ${sock2}
+| | ...
+| | VPP interfaces in path are up in a 3-node circular topology
+| | IP addresses are set on interfaces | ${dut1} | ${dut1_if2} | 172.16.0.1 | 24
+| | IP addresses are set on interfaces | ${dut2} | ${dut2_if1} | 172.16.0.2 | 24
+| | ${dut1s_vxlan}= | Create VXLAN interface | ${dut1} | 24
+| | ... | 172.16.0.1 | 172.16.0.2
+| | ${dut2s_vxlan}= | Create VXLAN interface | ${dut2} | 24
+| | ... | 172.16.0.2 | 172.16.0.1
+| | VPP Vhost interfaces for L2BD forwarding are setup | ${dut1}
+| | ... | ${sock1} | ${sock2}
+| | Interface is added to bridge domain | ${dut1} | ${dut1_if1} | ${bd_id1}
+| | Interface is added to bridge domain | ${dut1} | ${vhost_if1} | ${bd_id1}
+| | Interface is added to bridge domain | ${dut1} | ${vhost_if2} | ${bd_id2}
+| | Interface is added to bridge domain | ${dut1} | ${dut1s_vxlan} | ${bd_id2}
+| | VPP Vhost interfaces for L2BD forwarding are setup | ${dut2}
+| | ... | ${sock1} | ${sock2}
+| | Interface is added to bridge domain | ${dut2} | ${dut2s_vxlan} | ${bd_id1}
+| | Interface is added to bridge domain | ${dut2} | ${vhost_if1} | ${bd_id1}
+| | Interface is added to bridge domain | ${dut2} | ${vhost_if2} | ${bd_id2}
+| | Interface is added to bridge domain | ${dut2} | ${dut2_if2} | ${bd_id2}
+| | All Vpp Interfaces Ready Wait | ${nodes}
+
 2-node Performance Suite Setup with DUT's NIC model
 | | [Documentation]
 | | ... | Suite preparation phase that setup default startup configuration of
 | | ...            | Set Loss Acceptance Type Percentage
 | | Set Binary Convergence Threshold | ${threshold}
 | | Binary Search | ${binary_min} | ${binary_max} | ${topology_type}
-| | ${rate_per_stream} | ${latency}= | Verify Search Result
+| | ${rate_per_stream} | ${lat}= | Verify Search Result
+| | ${tmp}= | Create List | 100%NDR | ${lat}
+| | ${latency}= | Create List | ${tmp}
 | | Display result of PDR search | ${rate_per_stream} | ${framesize} | 2
 | | ...                          | ${loss_acceptance} | ${loss_acceptance_type}
 | | ...                          | ${latency}
 | | ... | *Example:*
 | | ...
 | | ... | \| Display result of PDR search \| 4400000 \| 64 \| 2 \| 0.5 \
-| | ... | \| percentage \| (0, 10/10/10) \|
+| | ... | \| percentage \| [100%NDR, [10/10/10, 1/2/3]] \|
 | | [Arguments] | ${rate_per_stream} | ${framesize} | ${nr_streams}
 | | ...         | ${loss_acceptance} | ${loss_acceptance_type} | ${latency}
 | | ${framesize}= | Get Frame Size | ${framesize}
 | | ...              | append=yes
 | | Set Test Message | ${\n}FINAL_BANDWIDTH: ${bandwidth_total} Gbps (untagged)
 | | ...              | append=yes
-| | :FOR | ${idx} | ${lat} | IN ENUMERATE | @{latency}
-| | | Set Test Message | ${\n}LATENCY_STREAM_${idx}: ${lat} usec (min/avg/max)
-| | ...                | append=yes
+| | Set Test Message | ${\n}LATENCY usec [min/avg/max] | append=yes
+| | :FOR | ${lat} | IN | @{latency}
+| | | Set Test Message | ${\n}LAT_${lat[0]}: ${lat[1]} | append=yes
 | | Set Test Message | ${\n}LOSS_ACCEPTANCE: ${loss_acceptance} ${loss_acceptance_type}
 | | ...              | append=yes
 
 | | ... | \| Measure latency \| 10 \| 4.0 \| 64 \| 3-node-IPv4
 | | [Arguments] | ${duration} | ${rate} | ${framesize} | ${topology_type}
 | | Return From Keyword If | ${rate} <= 10000 | ${-1}
-| | Clear all counters on all DUTs
+| | ${ret}= | For DPDK Performance Test
+| | Run Keyword If | ${ret}==${FALSE} | Clear all counters on all DUTs
 | | Send traffic on tg | ${duration} | ${rate}pps | ${framesize}
 | | ...                | ${topology_type} | warmup_time=0
-| | Show statistics on all DUTs
+| | Run Keyword If | ${ret}==${FALSE} | Show statistics on all DUTs
 | | Run keyword and return | Get latency
 
 | Traffic should pass with no loss
 | | ...         | ${fail_on_loss}=${True}
 | | Clear and show runtime counters with running traffic | ${duration}
 | | ...  | ${rate} | ${framesize} | ${topology_type}
-| | Clear all counters on all DUTs
+| | ${ret}= | For DPDK Performance Test
+| | Run Keyword If | ${ret}==${FALSE} | Clear all counters on all DUTs
 | | Send traffic on tg | ${duration} | ${rate} | ${framesize}
 | | ...                | ${topology_type} | warmup_time=0
-| | Show statistics on all DUTs
+| | Run Keyword If | ${ret}==${FALSE} | Show statistics on all DUTs
 | | Run Keyword If | ${fail_on_loss} | No traffic loss occurred
 
 | Traffic should pass with partial loss
 | | ...         | ${fail_on_loss}=${True}
 | | Clear and show runtime counters with running traffic | ${duration}
 | | ...  | ${rate} | ${framesize} | ${topology_type}
-| | Clear all counters on all DUTs
+| | ${ret}= | For DPDK Performance Test
+| | Run Keyword If | ${ret}==${FALSE} | Clear all counters on all DUTs
 | | Send traffic on tg | ${duration} | ${rate} | ${framesize}
 | | ...                | ${topology_type} | warmup_time=0
-| | Show statistics on all DUTs
+| | Run Keyword If | ${ret}==${FALSE} | Show statistics on all DUTs
 | | Run Keyword If | ${fail_on_loss} | Partial traffic loss accepted
 | | ...            | ${loss_acceptance} | ${loss_acceptance_type}
 
 | | Send traffic on tg | -1 | ${rate} | ${framesize}
 | | ...                | ${topology_type} | warmup_time=0 | async_call=${True}
 | | ...                | latency=${False}
-| | Clear runtime counters on all DUTs
+| | ${ret}= | For DPDK Performance Test
+| | Run Keyword If | ${ret}==${FALSE} | Clear runtime counters on all DUTs
 | | Sleep | ${duration}
-| | Show runtime counters on all DUTs
+| | Run Keyword If | ${ret}==${FALSE} | Show runtime counters on all DUTs
 | | Stop traffic on tg
 
 | Add PCI devices to DUTs from 3-node single link topology
 | | dut1_v4.set_arp | ${dut1_if2} | ${dut2_dut1_ip4_address} | ${dut2_if1_mac}
 | | dut2_v4.set_arp | ${dut2_if1} | ${dut1_dut2_ip4_address} | ${dut1_if2_mac}
 
+DPDK 2-node Performance Suite Setup with DUT's NIC model
+| | [Documentation]
+| | ... | Updates interfaces on all nodes and setup global
+| | ... | variables used in test cases based on interface model provided as an
+| | ... | argument. Initializes traffic generator. Initializes DPDK test
+| | ... | environment.
+| | ...
+| | ... | *Arguments:*
+| | ... | - topology_type - Topology type. Type: string
+| | ... | - nic_model - Interface model. Type: string
+| | ...
+| | ... | *Example:*
+| | ...
+| | ... | \| DPDK 2-node Performance Suite Setup with DUT's NIC model \
+| | ... | \| L2 \| Intel-X520-DA2 \|
+| | [Arguments] | ${topology_type} | ${nic_model}
+| | Setup performance global Variables
+| | 2-node circular Topology Variables Setup with DUT interface model
+| | ... | ${nic_model}
+| | Initialize traffic generator | ${tg} | ${tg_if1} | ${tg_if2}
+| | ...                          | ${dut1} | ${dut1_if1}
+| | ...                          | ${dut1} | ${dut1_if2}
+| | ...                          | ${topology_type}
+| | Initialize DPDK Environment | ${dut1} | ${dut1_if1} | ${dut1_if2}
+
+DPDK 3-node Performance Suite Setup with DUT's NIC model
+| | [Documentation]
+| | ... | Updates interfaces on all nodes and setup global
+| | ... | variables used in test cases based on interface model provided as an
+| | ... | argument. Initializes traffic generator. Initializes DPDK test
+| | ... | environment.
+| | ...
+| | ... | *Arguments:*
+| | ... | - topology_type - Topology type. Type: string
+| | ... | - nic_model - Interface model. Type: string
+| | ...
+| | ... | *Example:*
+| | ...
+| | ... | \| 3-node Performance Suite Setup \| L2 \| Intel-X520-DA2 \|
+| | [Arguments] | ${topology_type} | ${nic_model}
+| | Setup performance global Variables
+| | 3-node circular Topology Variables Setup with DUT interface model
+| | ... | ${nic_model}
+| | Initialize traffic generator | ${tg} | ${tg_if1} | ${tg_if2}
+| | ...                          | ${dut1} | ${dut1_if1}
+| | ...                          | ${dut2} | ${dut2_if2}
+| | ...                          | ${topology_type}
+| | Initialize DPDK Environment | ${dut1} | ${dut1_if1} | ${dut1_if2}
+| | Initialize DPDK Environment | ${dut2} | ${dut2_if1} | ${dut2_if2}
+
+DPDK 3-node Performance Suite Teardown
+| | [Documentation]
+| | ... | Suite teardown phase with traffic generator teardown.
+| | ... | Cleanup DPDK test environment.
+| | ...
+| | Teardown traffic generator | ${tg}
+| | Cleanup DPDK Environment | ${dut1} | ${dut1_if1} | ${dut1_if2}
+| | Cleanup DPDK Environment | ${dut2} | ${dut2_if1} | ${dut2_if2}
+
+DPDK 2-node Performance Suite Teardown
+| | [Documentation]
+| | ... | Suite teardown phase with traffic generator teardown.
+| | ... | Cleanup DPDK test environment.
+| | ...
+| | Teardown traffic generator | ${tg}
+| | Cleanup DPDK Environment | ${dut1} | ${dut1_if1} | ${dut1_if2}
+
+For DPDK Performance Test
+| | [Documentation]
+| | ... | Return TRUE if variable DPDK_TEST exist, otherwise FALSE.
+| | ${ret} | ${tmp}=  | Run Keyword And Ignore Error
+| | ... | Variable Should Exist | ${DPDK_TEST}
+| | Return From Keyword If | "${ret}" == "PASS" | ${TRUE}
+| | Return From Keyword | ${FALSE}
+