Code Review / csit.git / blobdiff
? search:
summary | shortlog | log | commit | commitdiff | review | tree
raw | inline | side by side
CSIT-408 sub-NDR latency measurements
[csit.git] / resources / libraries / robot / performance.robot
diff --git a/resources/libraries/robot/performance.robot b/resources/libraries/robot/performance.robot
index e9ec948..ce4433c 100644 (file)
--- a/resources/libraries/robot/performance.robot
+++ b/resources/libraries/robot/performance.robot
@@ -208,6 +208,7 @@
 | | ...
 | | ... | \| Calculate pps \| 10000000000 | 64
 | | [Arguments] | ${bps} | ${framesize}
+| | ${framesize}= | Get Frame Size | ${framesize}
 | | ${ret}= | Evaluate | (${bps}/((${framesize}+20)*8)).__trunc__()
 | | Return From Keyword | ${ret}
 
@@ -605,6 +606,36 @@
 | | Vpp Route Add | ${dut2} | 10.10.10.0 | 24 | 5.5.5.2 | ${dut2_vif2}
 | | ... | vrf=${fib_table_2}
 
+| IPv4 policer 2r3c-${t} initialized in a 3-node circular topology
+| | [Documentation]
+| | ... | Setup of 2r3c color-aware or color-blind policer with dst ip match
+| | ... | on all DUT nodes in 3-node circular topology. Policer is applied on
+| | ... | links TG - DUT1 and DUT2 - TG.
+| | ...
+| | ${dscp}= | DSCP AF22
+| | Policer Set Name | policer1
+| | Policer Set CIR | ${cir}
+| | Policer Set EIR | ${eir}
+| | Policer Set CB | ${cb}
+| | Policer Set EB | ${eb}
+| | Policer Set Rate Type pps
+| | Policer Set Round Type Closest
+| | Policer Set Type 2R3C 2698
+| | Policer Set Conform Action Transmit
+| | Policer Set Exceed Action Mark and Transmit | ${dscp}
+| | Policer Set Violate Action Transmit
+| | Policer Enable Color Aware
+| | Run Keyword If | ${t} == 'ca' | Policer Enable Color Aware
+| | Policer Classify Set Precolor Exceed
+| | Policer Set Node | ${dut1}
+| | Policer Classify Set Interface | ${dut1_if1}
+| | Policer Classify Set Match IP | 20.20.20.2 | ${False}
+| | Policer Set Configuration
+| | Policer Set Node | ${dut2}
+| | Policer Classify Set Interface | ${dut2_if2}
+| | Policer Classify Set Match IP | 10.10.10.2 | ${False}
+| | Policer Set Configuration
+
 | IPv6 forwarding initialized in a 3-node circular topology
 | | [Documentation]
 | | ... | Set UP state on VPP interfaces in path on nodes in 3-node circular
@@ -878,7 +909,19 @@
 | | Set Search Frame Size | ${framesize}
 | | Set Search Rate Type pps
 | | Linear Search | ${start_rate} | ${topology_type}
-| | ${rate_per_stream} | ${latency}= | Verify Search Result
+| | ${rate_per_stream} | ${lat}= | Verify Search Result
+| | ${tmp}= | Create List | 100%NDR | ${lat}
+| | ${latency}= | Create List | ${tmp}
+| | ${rate_50p}= | Evaluate | int(${rate_per_stream}*0.5)
+| | ${lat_50p}= | Measure latency | ${duration} | ${rate_50p}pps
+| | ...                           | ${framesize} | ${topology_type}
+| | ${tmp}= | Create List | 50%NDR | ${lat_50p}
+| | Append To List | ${latency} | ${tmp}
+| | ${rate_10p}= | Evaluate | int(${rate_per_stream}*0.1)
+| | ${lat_10p}= | Measure latency | ${duration} | ${rate_10p}pps
+| | ...                           | ${framesize} | ${topology_type}
+| | ${tmp}= | Create List | 10%NDR | ${lat_10p}
+| | Append To List | ${latency} | ${tmp}
 | | Display result of NDR search | ${rate_per_stream} | ${framesize} | 2
 | | ...                          | ${latency}
 | | Traffic should pass with no loss | ${duration} | ${rate_per_stream}pps
@@ -953,7 +996,19 @@
 | | Set Search Rate Type pps
 | | Set Binary Convergence Threshold | ${threshold}
 | | Binary Search | ${binary_min} | ${binary_max} | ${topology_type}
-| | ${rate_per_stream} | ${latency}= | Verify Search Result
+| | ${rate_per_stream} | ${lat}= | Verify Search Result
+| | ${tmp}= | Create List | 100%NDR | ${lat}
+| | ${latency}= | Create List | ${tmp}
+| | ${rate_50p}= | Evaluate | int(${rate_per_stream}*0.5)
+| | ${lat_50p}= | Measure latency | ${duration} | ${rate_50p}pps
+| | ...                           | ${framesize} | ${topology_type}
+| | ${tmp}= | Create List | 50%NDR | ${lat_50p}
+| | Append To List | ${latency} | ${tmp}
+| | ${rate_10p}= | Evaluate | int(${rate_per_stream}*0.1)
+| | ${lat_10p}= | Measure latency | ${duration} | ${rate_10p}pps
+| | ...                           | ${framesize} | ${topology_type}
+| | ${tmp}= | Create List | 10%NDR | ${lat_10p}
+| | Append To List | ${latency} | ${tmp}
 | | Display result of NDR search | ${rate_per_stream} | ${framesize} | 2
 | | ...                          | ${latency}
 | | Traffic should pass with no loss | ${duration} | ${rate_per_stream}pps
@@ -1032,7 +1087,19 @@
 | | Set Search Rate Type pps
 | | Set Binary Convergence Threshold | ${threshold}
 | | Combined Search | ${start_rate} | ${topology_type}
-| | ${rate_per_stream} | ${latency}= | Verify Search Result
+| | ${rate_per_stream} | ${lat}= | Verify Search Result
+| | ${tmp}= | Create List | 100%NDR | ${lat}
+| | ${latency}= | Create List | ${tmp}
+| | ${rate_50p}= | Evaluate | int(${rate_per_stream}*0.5)
+| | ${lat_50p}= | Measure latency | ${duration} | ${rate_50p}pps
+| | ...                           | ${framesize} | ${topology_type}
+| | ${tmp}= | Create List | 50%NDR | ${lat_50p}
+| | Append To List | ${latency} | ${tmp}
+| | ${rate_10p}= | Evaluate | int(${rate_per_stream}*0.1)
+| | ${lat_10p}= | Measure latency | ${duration} | ${rate_10p}pps
+| | ...                           | ${framesize} | ${topology_type}
+| | ${tmp}= | Create List | 10%NDR | ${lat_10p}
+| | Append To List | ${latency} | ${tmp}
 | | Display result of NDR search | ${rate_per_stream} | ${framesize} | 2
 | | ...                          | ${latency}
 | | Traffic should pass with no loss | ${duration} | ${rate_per_stream}pps
@@ -1102,7 +1169,7 @@
 | | ... | *Example:*
 | | ...
 | | ... | \| Display result of NDR search \| 4400000 \| 64 \| 2 \
-| | ... | \| (0, 10/10/10) \|
+| | ... | \| [100%NDR, [10/10/10, 1/2/3]] \|
 | | [Arguments] | ${rate_per_stream} | ${framesize} | ${nr_streams}
 | | ...         | ${latency}
 | | ${framesize}= | Get Frame Size | ${framesize}
@@ -1113,9 +1180,9 @@
 | | ...              | append=yes
 | | Set Test Message | ${\n}FINAL_BANDWIDTH: ${bandwidth_total} Gbps (untagged)
 | | ...              | append=yes
-| | :FOR | ${idx} | ${lat} | IN ENUMERATE | @{latency}
-| | | Set Test Message | ${\n}LATENCY_STREAM_${idx}: ${lat} usec (min/avg/max)
-| | ...                | append=yes
+| | Set Test Message | ${\n}LATENCY usec [min/avg/max] | append=yes
+| | :FOR | ${lat} | IN | @{latency}
+| | | Set Test Message | ${\n}LAT_${lat[0]}: ${lat[1]} | append=yes
 
 | Display result of PDR search
 | | [Documentation]
@@ -1154,6 +1221,26 @@
 | | Set Test Message | ${\n}LOSS_ACCEPTANCE: ${loss_acceptance} ${loss_acceptance_type}
 | | ...              | append=yes
 
+| Measure latency
+| | [Documentation]
+| | ... | Send traffic at specified rate. Measure min/avg/max latency
+| | ...
+| | ... | *Arguments:*
+| | ... | - duration - Duration of traffic run [s]. Type: integer
+| | ... | - rate - Rate for sending packets. Type: string
+| | ... | - framesize - L2 Frame Size [B]. Type: integer
+| | ... | - topology_type - Topology type. Type: string
+| | ...
+| | ... | *Example:*
+| | ...
+| | ... | \| Measure latency \| 10 \| 4.0mpps \| 64 \| 3-node-IPv4
+| | [Arguments] | ${duration} | ${rate} | ${framesize} | ${topology_type}
+| | Clear all counters on all DUTs
+| | Send traffic on tg | ${duration} | ${rate} | ${framesize}
+| | ...                | ${topology_type} | warmup_time=0
+| | Show statistics on all DUTs
+| | Run keyword and return | Get latency
+
 | Traffic should pass with no loss
 | | [Documentation]
 | | ... | Send traffic at specified rate. No packet loss is accepted at loss
@@ -1246,9 +1333,9 @@
 | | ... | Start QEMU guest with two vhost-user interfaces and interconnecting
 | | ... | DPDK testpmd. Qemu Guest is using 3 cores pinned to physical cores 5,
 | | ... | 6, 7 and 2048M. Testpmd is using 3 cores (1 main core and 2 cores
-| | ... | dedicated to io) socket-mem=1024, mem-channel=4, txq/rxq=2048,
-| | ... | burst=64, disable-hw-vlan, total-num-mbufs, driver
-| | ... | usr/lib/librte_pmd_virtio.so.
+| | ... | dedicated to io) mem-channel=4, txq/rxq=256, burst=64,
+| | ... | disable-hw-vlan, disable-rss, driver usr/lib/librte_pmd_virtio.so
+| | ... | and fwd mode is io.
 | | ...
 | | ... | *Arguments:*
 | | ... | - dut_node - DUT node to start guest VM on. Type: dictionary
@@ -1274,9 +1361,9 @@
 | | Run keyword | ${vm_name}.Qemu Set Affinity | 5 | 6 | 7
 | | Dpdk Testpmd Start | ${vm} | eal_coremask=0x7
 | | ...                | eal_mem_channels=4
-| | ...                | eal_socket_mem=1024
 | | ...                | pmd_fwd_mode=io
 | | ...                | pmd_disable_hw_vlan=${True}
+| | ...                | pmd_disable_rss=${True}
 | | Return From Keyword | ${vm}
 
 | Guest VM with dpdk-testpmd-mac connected via vhost-user is setup
@@ -1284,9 +1371,9 @@
 | | ... | Start QEMU guest with two vhost-user interfaces and interconnecting
 | | ... | DPDK testpmd. Qemu Guest is using 3 cores pinned to physical cores 5,
 | | ... | 6, 7 and 2048M. Testpmd is using 3 cores (1 main core and 2 cores
-| | ... | dedicated to io) socket-mem=1024, mem-channel=4, txq/rxq=2048,
-| | ... | burst=64, disable-hw-vlan, total-num-mbufs=65K, driver
-| | ... | usr/lib/librte_pmd_virtio.so and fwd mode is mac rewrite.
+| | ... | dedicated to io) mem-channel=4, txq/rxq=256, burst=64,
+| | ... | disable-hw-vlan, disable-rss, driver usr/lib/librte_pmd_virtio.so
+| | ... | and fwd mode is mac rewrite.
 | | ...
 | | ... | *Arguments:*
 | | ... | - dut_node - DUT node to start guest VM on. Type: dictionary
@@ -1317,11 +1404,11 @@
 | | Run keyword | ${vm_name}.Qemu Set Affinity | 5 | 6 | 7
 | | Dpdk Testpmd Start | ${vm} | eal_coremask=0x7
 | | ...                | eal_mem_channels=4
-| | ...                | eal_socket_mem=1024
 | | ...                | pmd_fwd_mode=mac
 | | ...                | pmd_eth_peer_0=0,${eth0_mac}
 | | ...                | pmd_eth_peer_1=1,${eth1_mac}
 | | ...                | pmd_disable_hw_vlan=${True}
+| | ...                | pmd_disable_rss=${True}
 | | Return From Keyword | ${vm}
 
 | Guest VM with Linux Bridge connected via vhost-user is setup
Integration tests