Code Review / csit.git / blobdiff
? search:
summary | shortlog | log | commit | commitdiff | review | tree
raw | inline | side by side
T-Rex: Add advanced stateful mode
[csit.git] / resources / libraries / robot / performance / performance_utils.robot
diff --git a/resources/libraries/robot/performance/performance_utils.robot b/resources/libraries/robot/performance/performance_utils.robot
index e0b68f1..f14d7bd 100644 (file)
--- a/resources/libraries/robot/performance/performance_utils.robot
+++ b/resources/libraries/robot/performance/performance_utils.robot
@@ -15,6 +15,7 @@
 | Library | Collections
 | Library | resources.libraries.python.topology.Topology
 | Library | resources.libraries.python.NodePath
+| Library | resources.libraries.python.PerfUtil
 | Library | resources.libraries.python.InterfaceUtil
 | Library | resources.libraries.python.TrafficGenerator
 | Library | resources.libraries.python.TrafficGenerator.OptimizedSearch
@@ -28,6 +29,7 @@
 *** Variables ***
 | ${trial_duration}= | ${PERF_TRIAL_DURATION}
 | ${trial_multiplicity}= | ${PERF_TRIAL_MULTIPLICITY}
+| ${extended_debug}= | ${EXTENDED_DEBUG}
 
 *** Keywords ***
 | Find NDR and PDR intervals using optimized search
@@ -110,10 +112,10 @@
 | | # Finally, trials with runtime and other stats.
 | | # We expect NDR and PDR to have different-looking stats.
 | | Send traffic at specified rate
-| | ... | ${1.0} | ${pdr_per_stream}pps | ${framesize} | ${traffic_profile}
+| | ... | ${1.0} | ${pdr_per_stream} | ${framesize} | ${traffic_profile}
 | | ... | traffic_directions=${traffic_directions}
 | | Send traffic at specified rate
-| | ... | ${1.0} | ${ndr_per_stream}pps | ${framesize} | ${traffic_profile}
+| | ... | ${1.0} | ${ndr_per_stream} | ${framesize} | ${traffic_profile}
 | | ... | traffic_directions=${traffic_directions}
 
 | Find Throughput Using MLRsearch
@@ -245,7 +247,7 @@
 | |
 | | ... | *Arguments:*
 | | ... | - result - Result of bidirectional measurtement.
-| | ... |   Type: ReceiveRateMeasurement
+| | ... | Type: ReceiveRateMeasurement
 | |
 | | ... | *Example:*
 | |
@@ -387,11 +389,12 @@
 | | ... | ${fail_no_traffic}=${True}
 | | ... | ${trial_multiplicity}=${trial_multiplicity}
 | | ... | ${traffic_directions}=${2} | ${tx_port}=${0} | ${rx_port}=${1}
+| | ... | ${latency}=${True}
 | |
 | | ${results}= | Send traffic at specified rate
-| | ... | ${trial_duration} | ${max_rate}pps | ${frame_size}
+| | ... | ${trial_duration} | ${max_rate} | ${frame_size}
 | | ... | ${traffic_profile} | ${trial_multiplicity}
-| | ... | ${traffic_directions} | ${tx_port} | ${rx_port}
+| | ... | ${traffic_directions} | ${tx_port} | ${rx_port} | latency=${latency}
 | | Set Test Message | ${\n}Maximum Receive Rate trial results
 | | Set Test Message | in packets per second: ${results}
 | | ... | append=yes
@@ -403,15 +406,12 @@
 | | ... | Then send traffic at specified rate, possibly multiple trials.
 | | ... | Show various DUT stats, optionally also packet trace.
 | | ... | Return list of measured receive rates.
-| | ... | The rate argument should be TRex friendly, so it should include "pps".
 | |
 | | ... | *Arguments:*
-| | ... | - trial_duration - Duration of single trial [s].
-| | ... | Type: float
-| | ... | - rate - Rate for sending packets.
-| | ... | Type: string
-| | ... | - frame_size - L2 Frame Size [B].
-| | ... | Type: integer/string
+| | ... | - trial_duration - Duration of single trial [s]. Type: float
+| | ... | - rate - Target aggregate transmit rate [pps] / Connections per second
+| | ... | (CPS) for UDP/TCP flows. Type: float
+| | ... | - frame_size - L2 Frame Size [B]. Type: integer/string
 | | ... | - traffic_profile - Name of module defining traffc for measurements.
 | | ... | Type: string
 | | ... | - trial_multiplicity - How many trials in this measurement.
@@ -422,28 +422,27 @@
 | | ... | Type: integer
 | | ... | - rx_port - RX port of TG, default 1.
 | | ... | Type: integer
-| | ... | - pkt_trace - True to enable packet trace.
+| | ... | - extended_debug- True to enable extended debug.
 | | ... | Type: boolean
 | |
 | | ... | *Example:*
 | |
-| | ... | \| Send traffic at specified rate \| \${1.0} \| 4.0mpps \| \${64} \
-| | ... | \| 3-node-IPv4 \| \${10} \| \${2} \| \${0} \| \${1} \| \${False} \|
+| | ... | \| Send traffic at specified rate \| \${1.0} \| ${4000000.0} \
+| | ... | \| \${64} \| 3-node-IPv4 \| \${10} \| \${2} \| \${0} \| \${1} \
+| | ... | \${False} \|
 | |
 | | [Arguments] | ${trial_duration} | ${rate} | ${frame_size}
 | | ... | ${traffic_profile} | ${trial_multiplicity}=${trial_multiplicity}
 | | ... | ${traffic_directions}=${2} | ${tx_port}=${0} | ${rx_port}=${1}
-| | ... | ${pkt_trace}=${False}
+| | ... | ${extended_debug}=${extended_debug} | ${latency}=${True}
 | |
+| | Set Test Variable | ${extended_debug}
 | | Clear and show runtime counters with running traffic | ${trial_duration}
 | | ... | ${rate} | ${frame_size} | ${traffic_profile}
 | | ... | ${traffic_directions} | ${tx_port} | ${rx_port}
-| | Run Keyword If | ${dut_stats}==${True}
-| | ... | Clear statistics on all DUTs | ${nodes}
-| | Run Keyword If | ${dut_stats}==${True} and ${pkt_trace}==${True}
-| | ... | VPP Enable Traces On All DUTs | ${nodes} | fail_on_error=${False}
-| | Run Keyword If | ${dut_stats}==${True}
-| | ... | VPP enable elog traces on all DUTs | ${nodes}
+| | FOR | ${action} | IN | @{pre_stats}
+| | | Run Keyword | Additional Statistics Action For ${action}
+| | END
 | | ${results} = | Create List
 | | FOR | ${i} | IN RANGE | ${trial_multiplicity}
 | | | # The following line is skipping some default arguments,
@@ -451,17 +450,14 @@
 | | | Send traffic on tg | ${trial_duration} | ${rate} | ${frame_size}
 | | | ... | ${traffic_profile} | warmup_time=${0}
 | | | ... | traffic_directions=${traffic_directions} | tx_port=${tx_port}
-| | | ... | rx_port=${rx_port}
+| | | ... | rx_port=${rx_port} | latency=${latency}
 | | | ${rx} = | Get Received
 | | | ${rr} = | Evaluate | ${rx} / ${trial_duration}
 | | | Append To List | ${results} | ${rr}
 | | END
-| | Run Keyword If | ${dut_stats}==${True} | Show event logger on all DUTs
-| | ... | ${nodes}
-| | Run Keyword If | ${dut_stats}==${True} | Show statistics on all DUTs
-| | ... | ${nodes}
-| | Run Keyword If | ${dut_stats}==${True} and ${pkt_trace}==${True}
-| | ... | Show Packet Trace On All Duts | ${nodes} | maximum=${100}
+| | FOR | ${action} | IN | @{post_stats}
+| | | Run Keyword | Additional Statistics Action For ${action}
+| | END
 | | Return From Keyword | ${results}
 
 | Measure and show latency at specified rate
@@ -474,7 +470,9 @@
 | | ... | *Arguments:*
 | | ... | - message_prefix - Preface to test message addition. Type: string
 | | ... | - trial_duration - Duration of single trial [s]. Type: float
-| | ... | - rate - Rate for sending packets, in pps. Type: int
+| | ... | - rate - Rate [pps] for sending packets in case of T-Rex stateless
+| | ... | mode or multiplier of profile CPS in case of T-Rex astf mode.
+| | ... | Type: float
 | | ... | - frame_size - L2 Frame Size [B]. Type: integer/string
 | | ... | - traffic_profile - Name of module defining traffic for measurements.
 | | ... | Type: string
@@ -498,7 +496,7 @@
 | | ${real_rate} = | Evaluate | max(${rate}, ${safe_rate})
 | | # The following line is skipping some default arguments,
 | | # that is why subsequent arguments have to be named.
-| | Send traffic on tg | ${trial_duration} | ${real_rate}pps | ${frame_size}
+| | Send traffic on tg | ${trial_duration} | ${real_rate} | ${frame_size}
 | | ... | ${traffic_profile} | warmup_time=${0}
 | | ... | traffic_directions=${traffic_directions} | tx_port=${tx_port}
 | | ... | rx_port=${rx_port}
@@ -513,7 +511,9 @@
 | |
 | | ... | *Arguments:*
 | | ... | - duration - Duration of traffic run [s]. Type: integer
-| | ... | - rate - Unidirectional rate for sending packets. Type: string
+| | ... | - rate - Rate [pps] for sending packets in case of T-Rex stateless
+| | ... | mode or multiplier of profile CPS in case of T-Rex astf mode.
+| | ... | Type: float
 | | ... | - frame_size - L2 Frame Size [B] or IMIX_v4_1. Type: integer/string
 | | ... | - traffic_profile - Name of module defining traffc for measurements.
 | | ... | Type: string
@@ -525,7 +525,7 @@
 | | ... | *Example:*
 | |
 | | ... | \| Clear and show runtime counters with running traffic \| \${10} \
-| | ... | \| 4.0mpps \| \${64} \| 3-node-IPv4 \| \${2} \| \${0} \| \${1} \|
+| | ... | \| ${4000000.0} \| \${64} \| 3-node-IPv4 \| \${2} \| \${0} \| \${1} \|
 | |
 | | [Arguments] | ${duration} | ${rate} | ${frame_size} | ${traffic_profile}
 | | ... | ${traffic_directions}=${2} | ${tx_port}=${0} | ${rx_port}=${1}
@@ -535,11 +535,13 @@
 | | ... | warmup_time=${0} | async_call=${True} | latency=${False}
 | | ... | traffic_directions=${traffic_directions} | tx_port=${tx_port}
 | | ... | rx_port=${rx_port}
-| | Run Keyword If | ${dut_stats}==${True}
-| | ... | VPP clear runtime on all DUTs | ${nodes}
+| | FOR | ${action} | IN | @{pre_run_stats}
+| | | Run Keyword | Additional Statistics Action For ${action}
+| | END
 | | Sleep | ${duration}
-| | Run Keyword If | ${dut_stats}==${True}
-| | ... | VPP show runtime on all DUTs | ${nodes}
+| | FOR | ${action} | IN | @{post_run_stats}
+| | | Run Keyword | Additional Statistics Action For ${action}
+| | END
 | | Stop traffic on tg
 
 | Start Traffic on Background
@@ -553,7 +555,9 @@
 | | ... | Type: string
 | | ... | - frame_size - L2 Frame Size [B] or IMIX string. Type: int or str
 | | ... | *Arguments:*
-| | ... | - rate - Unidirectional rate for sending packets. Type: string
+| | ... | - rate - Rate [pps] for sending packets in case of T-Rex stateless
+| | ... | mode or multiplier of profile CPS in case of T-Rex astf mode.
+| | ... | Type: float
 | | ... | - traffic_directions - Bi- (2) or uni- (1) directional traffic.
 | | ... | Type: int
 | | ... | - tx_port - TX port of TG, default 0. Type: integer
@@ -561,7 +565,7 @@
 | |
 | | ... | *Example:*
 | |
-| | ... | \| Start Traffic on Background \| 4.0mpps \| \${2} \| \${0} \
+| | ... | \| Start Traffic on Background \| ${4000000.0} \| \${2} \| \${0} \
 | | ... | \| \${1} \|
 | |
 | | [Arguments] | ${rate} | ${traffic_directions}=${2} | ${tx_port}=${0}
@@ -587,3 +591,60 @@
 | |
 | | ${result}= | Stop traffic on tg
 | | Return From Keyword | ${result}
+
+| Additional Statistics Action For vpp-clear-stats
+| | [Documentation]
+| | ... | Additional Statistics Action for clear VPP statistics.
+| |
+| | Clear Statistics On All DUTs | ${nodes}
+
+| Additional Statistics Action For vpp-show-stats
+| | [Documentation]
+| | ... | Additional Statistics Action for show VPP statistics.
+| |
+| | Show Statistics On All DUTs | ${nodes}
+
+| Additional Statistics Action For vpp-clear-runtime
+| | [Documentation]
+| | ... | Additional Statistics Action for clear VPP runtime.
+| |
+| | VPP Clear Runtime On All DUTs | ${nodes}
+
+| Additional Statistics Action For vpp-show-runtime
+| | [Documentation]
+| | ... | Additional Statistics Action for show VPP runtime.
+| |
+| | VPP Show Runtime On All DUTs | ${nodes}
+
+| Additional Statistics Action For vpp-enable-packettrace
+| | [Documentation]
+| | ... | Additional Statistics Action for enable VPP packet trace.
+| |
+| | Run Keyword If | ${extended_debug}==${True}
+| | ... | VPP Enable Traces On All DUTs | ${nodes} | fail_on_error=${False}
+
+| Additional Statistics Action For vpp-show-packettrace
+| | [Documentation]
+| | ... | Additional Statistics Action for show VPP packet trace.
+| |
+| | Run Keyword If | ${extended_debug}==${True}
+| | ... | Show Packet Trace On All Duts | ${nodes} | maximum=${100}
+
+| Additional Statistics Action For vpp-enable-elog
+| | [Documentation]
+| | ... | Additional Statistics Action for enable VPP elog trace.
+| |
+| | VPP Enable Elog Traces On All DUTs | ${nodes}
+
+| Additional Statistics Action For vpp-show-elog
+| | [Documentation]
+| | ... | Additional Statistics Action for show VPP elog trace.
+| |
+| | Show Event Logger On All DUTs | ${nodes}
+
+| Additional Statistics Action For bash-perf-stat
+| | [Documentation]
+| | ... | Additional Statistics Action for bash command "perf stat".
+| |
+| | Run Keyword If | ${extended_debug}==${True}
+| | ... | Perf Stat On All DUTs | ${nodes}
\ No newline at end of file
Integration tests