Refactor DPDK testcases to new structure 63/13463/10
authorPeter Mikus <pmikus@cisco.com>
Fri, 13 Jul 2018 11:44:29 +0000 (11:44 +0000)
committerPeter Mikus <pmikus@cisco.com>
Tue, 17 Jul 2018 08:15:44 +0000 (08:15 +0000)
+ RXQ refactor

Change-Id: Ic03a2e208b9fe5d324a5ed75a603af4cff1854a9
Signed-off-by: Peter Mikus <pmikus@cisco.com>
29 files changed:
bootstrap-verify-perf-DPDK.sh
bootstrap-verify-perf.sh
resources/libraries/python/DPDK/L2fwdTest.py
resources/libraries/python/DPDK/L3fwdTest.py
resources/libraries/robot/dpdk/default.robot
tests/dpdk/dpdk_scripts/patch_l3fwd.sh [new file with mode: 0755]
tests/dpdk/dpdk_scripts/patch_l3fwd_flip_routes [new file with mode: 0755]
tests/dpdk/perf/10ge2p1x520-eth-l2xcbase-testpmd-mrr.robot
tests/dpdk/perf/10ge2p1x520-eth-l2xcbase-testpmd-ndrpdr.robot [new file with mode: 0644]
tests/dpdk/perf/10ge2p1x520-eth-l2xcbase-testpmd-ndrpdrdisc.robot [deleted file]
tests/dpdk/perf/10ge2p1x520-ethip4-ip4base-l3fwd-mrr.robot
tests/dpdk/perf/10ge2p1x520-ethip4-ip4base-l3fwd-ndrpdr.robot [new file with mode: 0644]
tests/dpdk/perf/10ge2p1x520-ethip4-ip4base-l3fwd-ndrpdrdisc.robot [deleted file]
tests/dpdk/perf/10ge2p1x710-eth-l2xcbase-testpmd-mrr.robot
tests/dpdk/perf/10ge2p1x710-eth-l2xcbase-testpmd-ndrpdr.robot [new file with mode: 0644]
tests/dpdk/perf/10ge2p1x710-eth-l2xcbase-testpmd-ndrpdrdisc.robot [deleted file]
tests/dpdk/perf/10ge2p1x710-ethip4-ip4base-l3fwd-mrr.robot [new file with mode: 0644]
tests/dpdk/perf/10ge2p1x710-ethip4-ip4base-l3fwd-ndrpdr.robot [new file with mode: 0644]
tests/dpdk/perf/25ge2p1xxv710-eth-l2xcbase-testpmd-mrr.robot [new file with mode: 0644]
tests/dpdk/perf/25ge2p1xxv710-eth-l2xcbase-testpmd-ndrpdr.robot [new file with mode: 0644]
tests/dpdk/perf/25ge2p1xxv710-ethip4-ip4base-l3fwd-mrr.robot [new file with mode: 0644]
tests/dpdk/perf/25ge2p1xxv710-ethip4-ip4base-l3fwd-ndrpdr.robot [new file with mode: 0644]
tests/dpdk/perf/40ge2p1xl710-eth-l2xcbase-testpmd-mrr.robot
tests/dpdk/perf/40ge2p1xl710-eth-l2xcbase-testpmd-ndrpdr.robot [new file with mode: 0644]
tests/dpdk/perf/40ge2p1xl710-eth-l2xcbase-testpmd-ndrpdrdisc.robot [deleted file]
tests/dpdk/perf/40ge2p1xl710-ethip4-ip4base-l3fwd-mrr.robot [new file with mode: 0644]
tests/dpdk/perf/40ge2p1xl710-ethip4-ip4base-l3fwd-ndrpdr.robot [new file with mode: 0644]
tests/dpdk/perf/__init__.robot
topologies/available/lf_3n_skx_testbed32.yaml

index 566f5bc..3b6d02e 100755 (executable)
@@ -23,8 +23,8 @@ TOPOLOGIES_2N_SKX="topologies/available/lf_2n_skx_testbed21.yaml \
                    topologies/available/lf_2n_skx_testbed22.yaml \
                    topologies/available/lf_2n_skx_testbed23.yaml \
                    topologies/available/lf_2n_skx_testbed24.yaml"
-TOPOLOGIES_3N_SKX="topologies/available/lf_2n_skx_testbed31.yaml \
-                   topologies/available/lf_2n_skx_testbed32.yaml"
+TOPOLOGIES_3N_SKX="topologies/available/lf_3n_skx_testbed31.yaml \
+                   topologies/available/lf_3n_skx_testbed32.yaml"
 
 # SYSTEM
 SCRIPT_DIR="$( cd "$( dirname "${BASH_SOURCE[0]}" )" && pwd )"
@@ -151,9 +151,7 @@ case "$TEST_TAG" in
             # If nothing is specified, we will run pre-selected tests by
             # following tags. Items of array will be concatenated by OR in Robot
             # Framework.
-            TEST_TAG_ARRAY=('mrrANDnic_intel-x710AND1cAND64bANDip4base'
-                            'mrrANDnic_intel-x710AND1cAND78bANDip6base'
-                            'mrrANDnic_intel-x710AND1cAND64bANDl2bdbase')
+            TEST_TAG_ARRAY=('mrrANDnic_intel-x710AND1cAND64b')
         else
             # If trigger contains tags, split them into array.
             TEST_TAG_ARRAY=(${TEST_TAG_STRING//:/ })
index 8481406..bd2b1ff 100755 (executable)
@@ -23,8 +23,8 @@ TOPOLOGIES_2N_SKX="topologies/available/lf_2n_skx_testbed21.yaml \
                    topologies/available/lf_2n_skx_testbed22.yaml \
                    topologies/available/lf_2n_skx_testbed23.yaml \
                    topologies/available/lf_2n_skx_testbed24.yaml"
-TOPOLOGIES_3N_SKX="topologies/available/lf_2n_skx_testbed31.yaml \
-                   topologies/available/lf_2n_skx_testbed32.yaml"
+TOPOLOGIES_3N_SKX="topologies/available/lf_3n_skx_testbed31.yaml \
+                   topologies/available/lf_3n_skx_testbed32.yaml"
 
 # SYSTEM
 SCRIPT_DIR="$( cd "$( dirname "${BASH_SOURCE[0]}" )" && pwd )"
index 65ad6a5..aaa4435 100644 (file)
@@ -33,12 +33,13 @@ class L2fwdTest(object):
         :param cpu_cores: The DPDK run cores.
         :param nb_cores: The cores number for the forwarding.
         :param queue_nums: The queues number for the NIC.
-        :param jumbo_frames: Are jumbo frames used or not.
+        :param jumbo_frames: Indication if the jumbo frames are used (True) or
+                             not (False).
         :type dut_node: dict
         :type cpu_cores: str
         :type nb_cores: str
         :type queue_nums: str
-        :type jumbo_frames: str
+        :type jumbo_frames: bool
         :raises RuntimeError: If the script "run_l2fwd.sh" fails.
         """
         if dut_node['type'] == NodeType.DUT:
@@ -46,11 +47,12 @@ class L2fwdTest(object):
             ssh.connect(dut_node)
 
             arch = Topology.get_node_arch(dut_node)
+            jumbo = 'yes' if jumbo_frames else 'no'
             cmd = '{fwdir}/tests/dpdk/dpdk_scripts/run_l2fwd.sh {cpu_cores} ' \
                   '{nb_cores} {queues} {jumbo} {arch}'.\
                   format(fwdir=Constants.REMOTE_FW_DIR, cpu_cores=cpu_cores,
                          nb_cores=nb_cores, queues=queue_nums,
-                         jumbo=jumbo_frames, arch=arch)
+                         jumbo=jumbo, arch=arch)
 
             ret_code, _, _ = ssh.exec_command_sudo(cmd, timeout=600)
             if ret_code != 0:
index 15e656a..8c25964 100644 (file)
@@ -35,7 +35,8 @@ class L3fwdTest(object):
         :param nb_cores: The cores number for the forwarding
         :param lcores_list: The lcore list string for the l3fwd routing
         :param queue_nums: The queues number for the NIC
-        :param jumbo_frames: Is jumbo frames or not. Accepted: yes / no
+        :param jumbo_frames: Indication if the jumbo frames are used (True) or
+                             not (False).
         :type nodes_info: dict
         :type dut_node: dict
         :type dut_if1: str
@@ -43,7 +44,7 @@ class L3fwdTest(object):
         :type nb_cores: str
         :type lcores_list: str
         :type queue_nums: str
-        :type jumbo_frames: str
+        :type jumbo_frames: bool
         """
         if dut_node['type'] == NodeType.DUT:
             adj_mac0, adj_mac1 = L3fwdTest.get_adj_mac(nodes_info, dut_node,
@@ -72,11 +73,12 @@ class L3fwdTest(object):
             ssh = SSH()
             ssh.connect(dut_node)
 
+            jumbo = 'yes' if jumbo_frames else 'no'
             cmd = '{fwdir}/tests/dpdk/dpdk_scripts/run_l3fwd.sh ' \
                   '"{lcores}" "{ports}" {mac1} {mac2} {jumbo}'.\
                   format(fwdir=Constants.REMOTE_FW_DIR, lcores=lcores_list,
                          ports=port_config.rstrip(','), mac1=adj_mac0,
-                         mac2=adj_mac1, jumbo=jumbo_frames)
+                         mac2=adj_mac1, jumbo=jumbo)
 
             ret_code, _, _ = ssh.exec_command_sudo(cmd, timeout=600)
             if ret_code != 0:
@@ -107,6 +109,7 @@ class L3fwdTest(object):
         # detect which is the port 0
         if min(if_pci0, if_pci1) != if_pci0:
             if_key0, if_key1 = if_key1, if_key0
+            L3fwdTest.patch_l3fwd(dut_node, 'patch_l3fwd_flip_routes')
 
         adj_node0, adj_if_key0 = Topology.get_adjacent_node_and_interface( \
                                  nodes_info, dut_node, if_key0)
@@ -117,3 +120,28 @@ class L3fwdTest(object):
         adj_mac1 = Topology.get_interface_mac(adj_node1, adj_if_key1)
 
         return adj_mac0, adj_mac1
+
+    @staticmethod
+    def patch_l3fwd(node, patch):
+        """
+        Patch l3fwd application and recompile.
+
+        :param node: Dictionary created from topology.
+        :param patch: Patch to apply.
+        :type node: dict
+        :type patch: str
+        :raises RuntimeError: Patching of l3fwd failed.
+        """
+        arch = Topology.get_node_arch(node)
+
+        ssh = SSH()
+        ssh.connect(node)
+
+        ret_code, _, _ = ssh.exec_command(
+            '{fwdir}/tests/dpdk/dpdk_scripts/patch_l3fwd.sh {arch} '
+            '{fwdir}/tests/dpdk/dpdk_scripts/{patch}'.
+            format(fwdir=Constants.REMOTE_FW_DIR, arch=arch, patch=patch),
+                   timeout=600)
+
+        if ret_code != 0:
+            raise RuntimeError('Patch of l3fwd failed.')
\ No newline at end of file
index b890db7..32ddcce 100644 (file)
 | | [Documentation] | Start the l2fwd with M worker threads and rxqueues N and
 | | ... | jumbo support frames on/off on all DUTs.
 | | ...
-| | [Arguments] | ${cpu_cnt} | ${rx_queues} | ${jumbo_frames}
+| | ... | *Arguments:*
+| | ... | - phy_cores - Number of physical cores to use. Type: integer
+| | ... | - rx_queues - Number of RX queues. Type: integer
+| | ... | - jumbo_frames - Jumbo frames on/off: boolean
 | | ...
-| | ${cpu_count_int} | Convert to Integer | ${cpu_cnt}
-| | ${thr_count_int} | Convert to Integer | ${cpu_cnt}
+| | ... | *Example:*
+| | ...
+| | ... | \| Start L2FWD on all DUTs \| ${1} \| ${1} \| ${False} \|
+| | ...
+| | [Arguments] | ${phy_cores} | ${rx_queues}=${None} | ${jumbo_frames}=${False}
+| | ...
+| | ${cpu_count_int} | Convert to Integer | ${phy_cores}
+| | ${thr_count_int} | Convert to Integer | ${phy_cores}
 | | ${dp_cores}= | Evaluate | ${cpu_count_int}+1
-| | ${nb_cores}= | Set Variable | ${cpu_count_int}
 | | ${duts}= | Get Matches | ${nodes} | DUT*
 | | :FOR | ${dut} | IN | @{duts}
 | | | ${numa}= | Get interfaces numa node | ${nodes['${dut}']}
 | | | ${smt_used}= | Is SMT enabled | ${nodes['${dut}']['cpuinfo']}
 | | | ${cpus}= | Cpu Range Per Node Str | ${nodes['${dut}']} | ${numa}
 | | | ... | skip_cnt=${1} | cpu_cnt=${dp_cores} | smt_used=${smt_used}
-| | | Start the l2fwd test | ${nodes['${dut}']} | ${cpus} | ${nb_cores}
-| | | ... | ${rxqueues} | ${jumbo_frames}
 | | | ${thr_count_int}= | Run keyword if | ${smt_used} |
 | | | ... | Evaluate | int(${cpu_count_int}*2) | ELSE | Set variable
 | | | ... | ${thr_count_int}
+| | | ${rxq_count_int}= | Run keyword if | ${rx_queues}
+| | | ... | Set variable | ${rx_queues}
+| | | ... | ELSE | Evaluate | int(${thr_count_int}/2)
+| | | ${rxq_count_int}= | Run keyword if | ${rxq_count_int} == 0
+| | | ... | Set variable | ${1}
+| | | ... | ELSE | Set variable | ${rxq_count_int}
+| | | Start the l2fwd test | ${nodes['${dut}']} | ${cpus} | ${thr_count_int}
+| | | ... | ${rxq_count_int} | ${jumbo_frames}
 | | | Run keyword if | ${thr_count_int} > 1
 | | | ... | Set Tags | MTHREAD | ELSE | Set Tags | STHREAD
 | | | Set Tags | ${thr_count_int}T${cpu_count_int}C
 | | [Documentation] | Start the l3fwd with M worker threads and rxqueues N and
 | | ... | jumbo support frames on/off on all DUTs.
 | | ...
-| | [Arguments] | ${cpu_cnt} | ${rx_queues} | ${jumbo_frames}
+| | ... | *Arguments:*
+| | ... | - phy_cores - Number of physical cores to use. Type: integer
+| | ... | - rx_queues - Number of RX queues. Type: integer
+| | ... | - jumbo_frames - Jumbo frames on/off: boolean
+| | ...
+| | ... | *Example:*
+| | ...
+| | ... | \| Start L3FWD on all DUTs \| ${1} \| ${1} \| ${False} \|
+| | ...
+| | [Arguments] | ${phy_cores} | ${rx_queues}=${None} | ${jumbo_frames}=${False}
 | | ...
-| | ${cpu_count_int} | Convert to Integer | ${cpu_cnt}
-| | ${thr_count_int} | Convert to Integer | ${cpu_cnt}
+| | ${cpu_count_int} | Convert to Integer | ${phy_cores}
+| | ${thr_count_int} | Convert to Integer | ${phy_cores}
 | | ${dp_cores}= | Evaluate | ${cpu_count_int}+1
-| | ${nb_cores}= | Set Variable | ${cpu_count_int}
 | | ${duts}= | Get Matches | ${nodes} | DUT*
 | | :FOR | ${dut} | IN | @{duts}
 | | | ${numa}= | Get interfaces numa node | ${nodes['${dut}']}
 | | | ... | ${${dut}_if1} | ${${dut}_if2}
 | | | ${smt_used}= | Is SMT enabled | ${nodes['${dut}']['cpuinfo']}
 | | | ${cpus}= | Cpu List Per Node Str | ${nodes['${dut}']} | ${numa}
-| | | ... | skip_cnt=${1} | cpu_cnt=${nb_cores} | smt_used=${smt_used}
-| | | Start the l3fwd test | ${nodes} | ${nodes['${dut}']} | ${${dut}_if1}
-| | | ... | ${${dut}_if2} | ${nb_cores} | ${cpus} | ${rxqueues}
-| | | ... | ${jumbo_frames}
+| | | ... | skip_cnt=${1} | cpu_cnt=${cpu_count_int} | smt_used=${smt_used}
 | | | ${thr_count_int}= | Run keyword if | ${smt_used} |
 | | | ... | Evaluate | int(${cpu_count_int}*2) | ELSE | Set variable
 | | | ... | ${thr_count_int}
+| | | ${rxq_count_int}= | Run keyword if | ${rx_queues}
+| | | ... | Set variable | ${rx_queues}
+| | | ... | ELSE | Evaluate | int(${thr_count_int}/2)
+| | | ${rxq_count_int}= | Run keyword if | ${rxq_count_int} == 0
+| | | ... | Set variable | ${1}
+| | | ... | ELSE | Set variable | ${rxq_count_int}
+| | | Start the l3fwd test | ${nodes} | ${nodes['${dut}']} | ${${dut}_if1}
+| | | ... | ${${dut}_if2} | ${thr_count_int} | ${cpus} | ${rxq_count_int}
+| | | ... | ${jumbo_frames}
 | | | Run keyword if | ${thr_count_int} > 1
 | | | ... | Set Tags | MTHREAD | ELSE | Set Tags | STHREAD
-| | | Set Tags | ${thr_count_int}T${cpu_count_int}C
\ No newline at end of file
+| | | Set Tags | ${thr_count_int}T${cpu_count_int}C
diff --git a/tests/dpdk/dpdk_scripts/patch_l3fwd.sh b/tests/dpdk/dpdk_scripts/patch_l3fwd.sh
new file mode 100755 (executable)
index 0000000..54ae7ea
--- /dev/null
@@ -0,0 +1,35 @@
+#!/bin/bash
+
+set -x
+
+# Setting variables
+# set arch, default to x86_64 if none given
+ARCH=${1:-"x86_64"}
+PATCH=$2
+
+# dpdk prefers "arm64" to "aarch64" and does not allow arm64 native target
+if [ $ARCH == "aarch64" ]; then
+    ARCH="arm64"
+    MACHINE="armv8a"
+else
+    MACHINE="native"
+fi
+
+DPDK_DIR=dpdk
+ROOTDIR=/tmp/openvpp-testing
+PWDDIR=$(pwd)
+
+# Compile the l3fwd
+export RTE_SDK=${ROOTDIR}/${DPDK_DIR}/
+export RTE_TARGET=${ARCH}-${MACHINE}-linuxapp-gcc
+cd ${RTE_SDK}/examples/l3fwd
+sudo sed -i 's/^#define RTE_TEST_RX_DESC_DEFAULT 128/#define RTE_TEST_RX_DESC_DEFAULT 2048/g' ./main.c
+sudo sed -i 's/^#define RTE_TEST_TX_DESC_DEFAULT 512/#define RTE_TEST_TX_DESC_DEFAULT 2048/g' ./main.c
+
+chmod +x ${PATCH} && source ${PATCH}
+
+make clean
+make -j || \
+    { echo "Failed to compile l3fwd"; exit 1; }
+cd ${PWDDIR}
+
diff --git a/tests/dpdk/dpdk_scripts/patch_l3fwd_flip_routes b/tests/dpdk/dpdk_scripts/patch_l3fwd_flip_routes
new file mode 100755 (executable)
index 0000000..e0b204e
--- /dev/null
@@ -0,0 +1,10 @@
+#!/bin/sh
+
+patch --ignore-whitespace l3fwd_lpm.c <<"_EOF"
+44,45c44,45
+<       {IPv4(1, 1, 1, 0), 24, 0},
+<       {IPv4(2, 1, 1, 0), 24, 1},
+---
+>       {IPv4(1, 1, 1, 0), 24, 1},
+>       {IPv4(2, 1, 1, 0), 24, 0},
+_EOF
index ca4faac..73ffddd 100644 (file)
@@ -26,6 +26,8 @@
 | ... | L2 | Intel-X520-DA2
 | Suite Teardown | Tear down DPDK 3-node performance topology
 | ...
+| Test template | Local template
+| ...
 | Documentation | *Raw results L2 routing test cases*
 | ... | *[Top] Network Topologies:* TG-DUT1-DUT2-TG 3-node circular topology\
 | ... | with single links between nodes.
@@ -37,7 +39,7 @@
 | ... | at line rate and reports total received/sent packets over trial period.\
 | ... | Test packets are generated by TG on\
 | ... | links to DUTs. TG traffic profile contains two L3 flow-groups\
-| ... | (flow-group per direction, 253 flows per flow-group) with all packets\
+| ... | (flow-group per direction, 254 flows per flow-group) with all packets\
 | ... | containing Ethernet header, IPv4 header with IP protocol=61 and static\
 | ... | payload. MAC addresses are matching MAC addresses of the TG node\
 | ... | interfaces.
 | ${traffic_profile}= | trex-sl-3n-ethip4-ip4src254
 
 *** Keywords ***
-| Check RR for eth-l2xcbase-testpmd
+| Local template
 | | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with ${wt} phy core(s),\
-| | ... | ${rxq} receive queue(s) per NIC port.
+| | ... | [Cfg] DUT runs L2 frame forwarding config.\
+| | ... | Each DUT uses ${phy_cores} physical core(s) for worker threads.
 | | ... | [Ver] Measure MaxReceivedRate for ${framesize} frames using single\
 | | ... | trial throughput test.
 | | ...
-| | [Arguments] | ${framesize} | ${wt} | ${rxq}
+| | [Arguments] | ${framesize} | ${phy_cores} | ${rxq}=${None}
 | | ...
-| | # Test Variables required for test teardown
 | | Set Test Variable | ${framesize}
 | | ${get_framesize}= | Get Frame Size | ${framesize}
 | | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
 | | ${jumbo_frames}= | Set Variable If
-| | ... | ${get_framesize} < ${1522} | no | yes
+| | ... | ${get_framesize} < ${1522} | ${False} | ${True}
 | | ...
-| | Given Start L2FWD on all DUTs | ${wt} | ${rxq} | ${jumbo_frames}
+| | Given Start L2FWD on all DUTs | ${phy_cores} | ${rxq} | ${jumbo_frames}
 | | Then Traffic should pass with maximum rate
 | | ... | ${max_rate}pps | ${framesize} | ${traffic_profile}
 
 *** Test Cases ***
 | tc01-64B-1t1c-eth-l2xcbase-testpmd-mrr
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with 1 phy core,\
-| | ... | 1 receive queue per NIC port.
-| | ... | [Ver] Measure MaxReceivedRate for 64B frames using single\
-| | ... | trial throughput test.
-| | ...
 | | [Tags] | 64B | 1C
-| | ...
-| | [Template] | Check RR for eth-l2xcbase-testpmd
-| | framesize=${64} | wt=1 | rxq=1
+| | framesize=${64} | phy_cores=${1}
 
 | tc02-1518B-1t1c-eth-l2xcbase-testpmd-mrr
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with 1 phy core,\
-| | ... | 1 receive queue per NIC port.
-| | ... | [Ver] Measure MaxReceivedRate for 1518B frames using single\
-| | ... | trial throughput test.
-| | ...
 | | [Tags] | 1518B | 1C
-| | ...
-| | [Template] | Check RR for eth-l2xcbase-testpmd
-| | framesize=${1518} | wt=1 | rxq=1
+| | framesize=${1518} | phy_cores=${1}
 
 | tc03-9000B-1t1c-eth-l2xcbase-testpmd-mrr
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with 1 phy core,\
-| | ... | 1 receive queue per NIC port.
-| | ... | [Ver] Measure MaxReceivedRate for 9000B frames using single\
-| | ... | trial throughput test.
-| | ...
 | | [Tags] | 9000B | 1C
-| | ...
-| | [Template] | Check RR for eth-l2xcbase-testpmd
-| | framesize=${9000} | wt=1 | rxq=1
+| | framesize=${9000} | phy_cores=${1}
 
 | tc04-IMIX-1t1c-eth-l2xcbase-testpmd-mrr
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with 1 phy core,\
-| | ... | 1 receive queue per NIC port.
-| | ... | [Ver] Measure MaxReceivedRate for IMIX_v4_1 frames using single\
-| | ... | trial throughput test.
-| | ... | IMIX_v4_1 = (28x64B; 16x570B; 4x1518B)
-| | ...
 | | [Tags] | IMIX | 1C
-| | ...
-| | [Template] | Check RR for eth-l2xcbase-testpmd
-| | framesize=IMIX_v4_1 | wt=1 | rxq=1
+| | framesize=IMIX_v4_1 | phy_cores=${1}
 
 | tc05-64B-2t2c-eth-l2xcbase-testpmd-mrr
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with \
-| | ... | 2 phy cores, 1 receive queue per NIC port.
-| | ... | [Ver] Measure MaxReceivedRate for 64B frames using single\
-| | ... | trial throughput test.
-| | ...
 | | [Tags] | 64B | 2C
-| | ...
-| | [Template] | Check RR for eth-l2xcbase-testpmd
-| | framesize=${64} | wt=2 | rxq=1
+| | framesize=${64} | phy_cores=${2}
 
 | tc06-1518B-2t2c-eth-l2xcbase-testpmd-mrr
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with \
-| | ... | 2 phy cores, 1 receive queue per NIC port.
-| | ... | [Ver] Measure MaxReceivedRate for 1518B frames using single\
-| | ... | trial throughput test.
-| | ...
 | | [Tags] | 1518B | 2C
-| | ...
-| | [Template] | Check RR for eth-l2xcbase-testpmd
-| | framesize=${1518} | wt=2 | rxq=1
+| | framesize=${1518} | phy_cores=${2}
 
 | tc07-9000B-2t2c-eth-l2xcbase-testpmd-mrr
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with \
-| | ... | 2 phy cores, 1 receive queue per NIC port.
-| | ... | [Ver] Measure MaxReceivedRate for 9000B frames using single\
-| | ... | trial throughput test.
-| | ...
 | | [Tags] | 9000B | 2C
-| | ...
-| | [Template] | Check RR for eth-l2xcbase-testpmd
-| | framesize=${9000} | wt=2 | rxq=1
+| | framesize=${9000} | phy_cores=${2}
 
 | tc08-IMIX-2t2c-eth-l2xcbase-testpmd-mrr
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with \
-| | ... | 2 phy cores, 1 receive queue per NIC port.
-| | ... | [Ver] Measure MaxReceivedRate for IMIX_v4_1 frames using single\
-| | ... | trial throughput test.
-| | ... | IMIX_v4_1 = (28x64B; 16x570B; 4x1518B)
-| | ...
 | | [Tags] | IMIX | 2C
-| | ...
-| | [Template] | Check RR for eth-l2xcbase-testpmd
-| | framesize=IMIX_v4_1 | wt=2 | rxq=1
+| | framesize=IMIX_v4_1 | phy_cores=${2}
 
 | tc09-64B-4t4c-eth-l2xcbase-testpmd-mrr
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with \
-| | ... | 4 phy cores, 2 receive queue per NIC port.
-| | ... | [Ver] Measure MaxReceivedRate for 64B frames using single\
-| | ... | trial throughput test.
-| | ...
 | | [Tags] | 64B | 4C
-| | ...
-| | [Template] | Check RR for eth-l2xcbase-testpmd
-| | framesize=${64} | wt=4 | rxq=2
+| | framesize=${64} | phy_cores=${4}
 
 | tc10-1518B-4t4c-eth-l2xcbase-testpmd-mrr
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with \
-| | ... | 4 phy cores, 2 receive queue per NIC port.
-| | ... | [Ver] Measure MaxReceivedRate for 1518B frames using single\
-| | ... | trial throughput test.
-| | ...
 | | [Tags] | 1518B | 4C
-| | ...
-| | [Template] | Check RR for eth-l2xcbase-testpmd
-| | framesize=${1518} | wt=4 | rxq=2
+| | framesize=${1518} | phy_cores=${4}
 
 | tc11-9000B-4t4c-eth-l2xcbase-testpmd-mrr
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with \
-| | ... | 4 phy cores, 2 receive queue per NIC port.
-| | ... | [Ver] Measure MaxReceivedRate for 9000B frames using single\
-| | ... | trial throughput test.
-| | ...
 | | [Tags] | 9000B | 4C
-| | ...
-| | [Template] | Check RR for eth-l2xcbase-testpmd
-| | framesize=${9000} | wt=4 | rxq=2
+| | framesize=${9000} | phy_cores=${4}
 
 | tc12-IMIX-4t4c-eth-l2xcbase-testpmd-mrr
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with \
-| | ... | 4 phy cores, 2 receive queue per NIC port.
-| | ... | [Ver] Measure MaxReceivedRate for IMIX_v4_1 frames using single\
-| | ... | trial throughput test.
-| | ... | IMIX_v4_1 = (28x64B; 16x570B; 4x1518B)
-| | ...
 | | [Tags] | IMIX | 4C
-| | ...
-| | [Template] | Check RR for eth-l2xcbase-testpmd
-| | framesize=IMIX_v4_1 | wt=4 | rxq=2
+| | framesize=IMIX_v4_1 | phy_cores=${4}
diff --git a/tests/dpdk/perf/10ge2p1x520-eth-l2xcbase-testpmd-ndrpdr.robot b/tests/dpdk/perf/10ge2p1x520-eth-l2xcbase-testpmd-ndrpdr.robot
new file mode 100644 (file)
index 0000000..fcc09f4
--- /dev/null
@@ -0,0 +1,122 @@
+# Copyright (c) 2018 Cisco and/or its affiliates.
+# Licensed under the Apache License, Version 2.0 (the "License");
+# you may not use this file except in compliance with the License.
+# You may obtain a copy of the License at:
+#
+#     http://www.apache.org/licenses/LICENSE-2.0
+#
+# Unless required by applicable law or agreed to in writing, software
+# distributed under the License is distributed on an "AS IS" BASIS,
+# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
+# See the License for the specific language governing permissions and
+# limitations under the License.
+
+*** Settings ***
+| Resource | resources/libraries/robot/performance/performance_setup.robot
+| Resource | resources/libraries/robot/dpdk/default.robot
+| Library | resources.libraries.python.topology.Topology
+| Library | resources.libraries.python.NodePath
+| Library | resources.libraries.python.InterfaceUtil
+| Library | resources.libraries.python.DPDK.DPDKTools
+| ...
+| Force Tags | 3_NODE_SINGLE_LINK_TOPO | HW_ENV | PERFTEST | NDRPDR | 1NUMA
+| ... | NIC_Intel-X520-DA2 | DPDK | ETH | L2XCFWD | BASE
+| ...
+| Suite Setup | Set up DPDK 3-node performance topology with DUT's NIC model
+| ... | L2 | Intel-X520-DA2
+| Suite Teardown | Tear down DPDK 3-node performance topology
+| ...
+| Test template | Local template
+| ...
+| Documentation | *Raw results L2 routing test cases*
+| ... | *[Top] Network Topologies:* TG-DUT1-DUT2-TG 3-node circular topology\
+| ... | with single links between nodes.
+| ... | *[Enc] Packet Encapsulations:* Eth-IPv4 for L2 frame forwarding.
+| ... | *[Cfg] DUT configuration:* DUT1 and DUT2 run the DPDK testpmd\
+| ... | application and use the io forwarding mode. DUT1 and DUT2 tested with\
+| ... | 2p10GE NIC X520 Niantic by Intel.
+| ... | *[Ver] TG verification:* TG finds and reports throughput NDR (Non Drop\
+| ... | Rate) with zero packet loss tolerance or throughput PDR (Partial Drop\
+| ... | Rate) with non-zero packet loss tolerance (LT) expressed in percentage\
+| ... | of packets transmitted. NDR and PDR are discovered for different\
+| ... | Ethernet L2 frame sizes using MLRsearch library\
+| ... | Test packets are generated by TG on\
+| ... | links to DUTs. TG traffic profile contains two L3 flow-groups\
+| ... | (flow-group per direction, 254 flows per flow-group) with\
+| ... | all packets containing Ethernet header,IPv4 header with static payload.\
+| ... | MAC addresses are matching MAC addresses of the TG node interfaces.
+
+*** Variables ***
+# X520-DA2 bandwidth limit
+| ${s_limit}= | ${10000000000}
+# Traffic profile:
+| ${traffic_profile}= | trex-sl-3n-ethip4-ip4src254
+
+*** Keywords ***
+| Local template
+| | [Documentation]
+| | ... | [Cfg] DUT runs L2 frame forwarding config.\
+| | ... | Each DUT uses ${phy_cores} physical core(s) for worker threads.
+| | ... | [Ver] Measure NDR and PDR values using MLRsearch algorithm.
+| | ...
+| | [Arguments] | ${framesize} | ${phy_cores} | ${rxq}=${None}
+| | ...
+| | Set Test Variable | ${framesize}
+| | Set Test Variable | ${min_rate} | ${20000}
+| | ${get_framesize}= | Get Frame Size | ${framesize}
+| | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
+| | ${jumbo_frames}= | Set Variable If
+| | ... | ${get_framesize} < ${1522} | ${False} | ${True}
+| | ...
+| | Given Start L2FWD on all DUTs | ${phy_cores} | ${rxq} | ${jumbo_frames}
+| | Then Find NDR and PDR intervals using optimized search
+| | ... | ${framesize} | ${traffic_profile} | ${min_rate} | ${max_rate}
+
+*** Test Cases ***
+| tc01-64B-1t1c-eth-l2xcbase-testpmd-ndrpdr
+| | [Tags] | 64B | 1C
+| | framesize=${64} | phy_cores=${1}
+
+| tc02-1518B-1t1c-eth-l2xcbase-testpmd-ndrpdr
+| | [Tags] | 1518B | 1C
+| | framesize=${1518} | phy_cores=${1}
+
+| tc03-9000B-1t1c-eth-l2xcbase-testpmd-ndrpdr
+| | [Tags] | 9000B | 1C
+| | framesize=${9000} | phy_cores=${1}
+
+| tc04-IMIX-1t1c-eth-l2xcbase-testpmd-ndrpdr
+| | [Tags] | IMIX | 1C
+| | framesize=IMIX_v4_1 | phy_cores=${1}
+
+| tc05-64B-2t2c-eth-l2xcbase-testpmd-ndrpdr
+| | [Tags] | 64B | 2C
+| | framesize=${64} | phy_cores=${2}
+
+| tc06-1518B-2t2c-eth-l2xcbase-testpmd-ndrpdr
+| | [Tags] | 1518B | 2C
+| | framesize=${1518} | phy_cores=${2}
+
+| tc07-9000B-2t2c-eth-l2xcbase-testpmd-ndrpdr
+| | [Tags] | 9000B | 2C
+| | framesize=${9000} | phy_cores=${2}
+
+| tc08-IMIX-2t2c-eth-l2xcbase-testpmd-ndrpdr
+| | [Tags] | IMIX | 2C
+| | framesize=IMIX_v4_1 | phy_cores=${2}
+
+| tc09-64B-4t4c-eth-l2xcbase-testpmd-ndrpdr
+| | [Tags] | 64B | 4C
+| | framesize=${64} | phy_cores=${4}
+
+| tc10-1518B-4t4c-eth-l2xcbase-testpmd-ndrpdr
+| | [Tags] | 1518B | 4C
+| | framesize=${1518} | phy_cores=${4}
+
+| tc11-9000B-4t4c-eth-l2xcbase-testpmd-ndrpdr
+| | [Tags] | 9000B | 4C
+| | framesize=${9000} | phy_cores=${4}
+
+| tc12-IMIX-4t4c-eth-l2xcbase-testpmd-ndrpdr
+| | [Tags] | IMIX | 4C
+| | framesize=IMIX_v4_1 | phy_cores=${4}
diff --git a/tests/dpdk/perf/10ge2p1x520-eth-l2xcbase-testpmd-ndrpdrdisc.robot b/tests/dpdk/perf/10ge2p1x520-eth-l2xcbase-testpmd-ndrpdrdisc.robot
deleted file mode 100644 (file)
index 8236573..0000000
+++ /dev/null
@@ -1,410 +0,0 @@
-# Copyright (c) 2018 Cisco and/or its affiliates.
-# Licensed under the Apache License, Version 2.0 (the "License");
-# you may not use this file except in compliance with the License.
-# You may obtain a copy of the License at:
-#
-#     http://www.apache.org/licenses/LICENSE-2.0
-#
-# Unless required by applicable law or agreed to in writing, software
-# distributed under the License is distributed on an "AS IS" BASIS,
-# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
-# See the License for the specific language governing permissions and
-# limitations under the License.
-
-*** Settings ***
-| Resource | resources/libraries/robot/performance/performance_setup.robot
-| Resource | resources/libraries/robot/dpdk/default.robot
-| Library | resources.libraries.python.topology.Topology
-| Library | resources.libraries.python.NodePath
-| Library | resources.libraries.python.InterfaceUtil
-| Library | resources.libraries.python.DPDK.DPDKTools
-| Force Tags | 3_NODE_SINGLE_LINK_TOPO | HW_ENV | PERFTEST | NDRPDRDISC | 1NUMA
-| ... | NIC_Intel-X520-DA2 | DPDK | ETH | L2XCFWD | BASE
-| Suite Setup | Set up DPDK 3-node performance topology with DUT's NIC model
-| ... | L2 | Intel-X520-DA2
-| Suite Teardown | Tear down DPDK 3-node performance topology
-| Documentation | *RFC2544: Pkt throughput IPv4 routing test cases*
-| ...
-| ... | *[Top] Network Topologies:* TG-DUT1-DUT2-TG 3-node circular topology\
-| ... | with single links between nodes.
-| ... | *[Enc] Packet Encapsulations:* Eth-IPv4 for L2 frame forwarding.
-| ... | *[Cfg] DUT configuration:* DUT1 and DUT2 run the DPDK testpmd\
-| ... | application and use the io forwarding mode. DUT1 and DUT2 tested with\
-| ... | 2p10GE NIC X520 Niantic by Intel.
-| ... | *[Ver] TG verification:* TG finds and reports throughput NDR (Non Drop\
-| ... | Rate) with zero packet loss tolerance or throughput PDR (Partial Drop\
-| ... | Rate) with non-zero packet loss tolerance (LT) expressed in percentage\
-| ... | of packets transmitted. NDR and PDR are discovered for different\
-| ... | Ethernet L2 frame sizes using either binary search or linear search\
-| ... | algorithms with configured starting rate and final step that determines\
-| ... | throughput measurement resolution. Test packets are generated by TG on\
-| ... | links to DUTs. TG traffic profile contains two L3 flow-groups\
-| ... | (flow-group per direction, 253 flows per flow-group) with all packets\
-| ... | containing Ethernet header, IPv4 header with IP protocol=61 and static\
-| ... | payload. MAC addresses are matching MAC addresses of the TG node\
-| ... | interfaces.
-| ... | *[Ref] Applicable standard specifications:* RFC2544.
-
-*** Variables ***
-# X520-DA2 bandwidth limit
-| ${s_limit} | ${10000000000}
-# Traffic profile:
-| ${traffic_profile} | trex-sl-3n-ethip4-ip4src254
-
-*** Test Cases ***
-| tc01-64B-1t1c-eth-l2xcbase-testpmd-ndrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with 1 phy core,\
-| | ... | 1 receive queue per NIC port. [Ver] Find NDR for 64 Byte frames\
-| | ... | using binary search start at 10GE linerate, step 100kpps.
-| | ...
-| | [Tags] | 64B | 1C | NDRDISC
-| | ...
-| | ${framesize}= | Set Variable | ${64}
-| | ${min_rate}= | Set Variable | ${100000}
-| | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L2FWD on all DUTs | 1 | 1 | no
-| | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile}
-| | ... | ${min_rate} | ${max_rate} | ${threshold}
-
-| tc02-64B-1t1c-eth-l2xcbase-testpmd-pdrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with 1 phy core,\
-| | ... | 1 receive queue per NIC port. [Ver] Find PDR for 64 Byte frames\
-| | ... | using binary search start at 10GE linerate, step 100kpps, LT=0.5%.
-| | ...
-| | [Tags] | 64B | 1C | PDRDISC | SKIP_PATCH
-| | ...
-| | ${framesize}= | Set Variable | ${64}
-| | ${min_rate}= | Set Variable | ${100000}
-| | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L2FWD on all DUTs | 1 | 1 | no
-| | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile}
-| | ... | ${min_rate} | ${max_rate} | ${threshold} | ${perf_pdr_loss_acceptance}
-| | ... | ${perf_pdr_loss_acceptance_type}
-
-| tc03-1518B-1t1c-eth-l2xcbase-testpmd-ndrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with 1 phy core,\
-| | ... | 1 receive queue per NIC port. [Ver] Find NDR for 1518 Byte frames\
-| | ... | using binary search start at 10GE linerate, step 10kpps.
-| | ...
-| | [Tags] | 1518B | 1C | NDRDISC
-| | ...
-| | ${framesize}= | Set Variable | ${1518}
-| | ${min_rate}= | Set Variable | ${10000}
-| | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L2FWD on all DUTs | 1 | 1 | no
-| | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile}
-| | ... | ${min_rate} | ${max_rate} | ${threshold}
-
-| tc04-1518B-1t1c-eth-l2xcbase-testpmd-pdrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with 1 phy core,\
-| | ... | 1 receive queue per NIC port. [Ver] Find PDR for 1518 Byte frames\
-| | ... | using binary search start at 10GE linerate, step 10kpps, LT=0.5%.
-| | ...
-| | [Tags] | 1518B | 1C | PDRDISC | SKIP_PATCH
-| | ...
-| | ${framesize}= | Set Variable | ${1518}
-| | ${min_rate}= | Set Variable | ${10000}
-| | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L2FWD on all DUTs | 1 | 1 | no
-| | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile}
-| | ... | ${min_rate} | ${max_rate} | ${threshold} | ${perf_pdr_loss_acceptance}
-| | ... | ${perf_pdr_loss_acceptance_type}
-
-| tc05-9000B-1t1c-eth-l2xcbase-testpmd-ndrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with 1 phy core,\
-| | ... | 1 receive queue per NIC port. [Ver] Find NDR for 9000 Byte frames\
-| | ... | using binary search start at 10GE linerate, step 10kpps.
-| | ...
-| | [Tags] | 9000B | 1C | NDRDISC
-| | ...
-| | ${framesize}= | Set Variable | ${9000}
-| | ${min_rate}= | Set Variable | ${10000}
-| | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L2FWD on all DUTs | 1 | 1 | yes
-| | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile}
-| | ... | ${min_rate} | ${max_rate} | ${threshold}
-
-| tc06-9000B-1t1c-eth-l2xcbase-testpmd-pdrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with 1 phy core,\
-| | ... | 1 receive queue per NIC port. [Ver] Find PDR for 9000 Byte frames\
-| | ... | using binary search start at 10GE linerate, step 10kpps, LT=0.5%.
-| | ...
-| | [Tags] | 9000B | 1C | PDRDISC | SKIP_PATCH
-| | ...
-| | ${framesize}= | Set Variable | ${9000}
-| | ${min_rate}= | Set Variable | ${10000}
-| | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L2FWD on all DUTs | 1 | 1 | yes
-| | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile}
-| | ... | ${min_rate} | ${max_rate} | ${threshold} | ${perf_pdr_loss_acceptance}
-| | ... | ${perf_pdr_loss_acceptance_type}
-
-| tc07-64B-2t2c-eth-l2xcbase-testpmd-ndrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with 2 phy\
-| | ... | cores, 1 receive queue per NIC port. [Ver] Find NDR for 64 Byte\
-| | ... | frames using binary search start at 10GE linerate, step 100kpps.
-| | ...
-| | [Tags] | 64B | 2C | NDRDISC
-| | ...
-| | ${framesize}= | Set Variable | ${64}
-| | ${min_rate}= | Set Variable | ${100000}
-| | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L2FWD on all DUTs | 2 | 1 | no
-| | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile}
-| | ... | ${min_rate} | ${max_rate} | ${threshold}
-
-| tc08-64B-2t2c-eth-l2xcbase-testpmd-pdrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with 2 phy\
-| | ... | cores, 1 receive queue per NIC port. [Ver] Find PDR for 64 Byte\
-| | ... | frames using binary search start at 10GE linerate, step 100kpps,\
-| | ... | LT=0.5%.
-| | ...
-| | [Tags] | 64B | 2C | PDRDISC | SKIP_PATCH
-| | ...
-| | ${framesize}= | Set Variable | ${64}
-| | ${min_rate}= | Set Variable | ${100000}
-| | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L2FWD on all DUTs | 2 | 1 | no
-| | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile}
-| | ... | ${min_rate} | ${max_rate} | ${threshold} | ${perf_pdr_loss_acceptance}
-| | ... | ${perf_pdr_loss_acceptance_type}
-
-| tc09-1518B-2t2c-eth-l2xcbase-testpmd-ndrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with 2 phy\
-| | ... | cores, 1 receive queue per NIC port. [Ver] Find NDR for 1518 Byte\
-| | ... | frames using binary search start at 10GE linerate, step 10kpps.
-| | ...
-| | [Tags] | 1518B | 2C | NDRDISC | SKIP_PATCH
-| | ...
-| | ${framesize}= | Set Variable | ${1518}
-| | ${min_rate}= | Set Variable | ${10000}
-| | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L2FWD on all DUTs | 2 | 1 | no
-| | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile}
-| | ... | ${min_rate} | ${max_rate} | ${threshold}
-
-| tc10-1518B-2t2c-eth-l2xcbase-testpmd-pdrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with 2 phy\
-| | ... | cores, 1 receive queue per NIC port. [Ver] Find PDR for 1518 Byte\
-| | ... | frames using binary search start at 10GE linerate, step 10kpps,\
-| | ... | LT=0.5%.
-| | ...
-| | [Tags] | 1518B | 2C | PDRDISC | SKIP_PATCH
-| | ...
-| | ${framesize}= | Set Variable | ${1518}
-| | ${min_rate}= | Set Variable | ${10000}
-| | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L2FWD on all DUTs | 2 | 1 | no
-| | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile}
-| | ... | ${min_rate} | ${max_rate} | ${threshold} | ${perf_pdr_loss_acceptance}
-| | ... | ${perf_pdr_loss_acceptance_type}
-
-| tc11-9000B-2t2c-eth-l2xcbase-testpmd-ndrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with 2 phy\
-| | ... | cores, 1 receive queue per NIC port. [Ver] Find NDR for 9000 Byte\
-| | ... | frames using binary search start at 10GE linerate, step 10kpps.
-| | ...
-| | [Tags] | 9000B | 2C | NDRDISC | SKIP_PATCH
-| | ...
-| | ${framesize}= | Set Variable | ${9000}
-| | ${min_rate}= | Set Variable | ${10000}
-| | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L2FWD on all DUTs | 2 | 1 | yes
-| | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile}
-| | ... | ${min_rate} | ${max_rate} | ${threshold}
-
-| tc12-9000B-2t2c-eth-l2xcbase-testpmd-pdrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with 2 phy\
-| | ... | cores, 1 receive queue per NIC port. [Ver] Find PDR for 9000 Byte\
-| | ... | frames using binary search start at 10GE linerate, step 10kpps,\
-| | ... | LT=0.5%.
-| | ...
-| | [Tags] | 9000B | 2C | PDRDISC | SKIP_PATCH
-| | ...
-| | ${framesize}= | Set Variable | ${9000}
-| | ${min_rate}= | Set Variable | ${10000}
-| | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L2FWD on all DUTs | 2 | 1 | yes
-| | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile}
-| | ... | ${min_rate} | ${max_rate} | ${threshold} | ${perf_pdr_loss_acceptance}
-| | ... | ${perf_pdr_loss_acceptance_type}
-
-| tc13-64B-4t4c-eth-l2xcbase-testpmd-ndrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with 4 phy\
-| | ... | cores, 2 receive queues per NIC port. [Ver] Find NDR for 64 Byte\
-| | ... | frames using binary search start at 10GE linerate, step 100kpps.
-| | ...
-| | [Tags] | 64B | 4C | NDRDISC
-| | ...
-| | ${framesize}= | Set Variable | ${64}
-| | ${min_rate}= | Set Variable | ${100000}
-| | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L2FWD on all DUTs | 4 | 2 | no
-| | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile}
-| | ... | ${min_rate} | ${max_rate} | ${threshold}
-
-| tc14-64B-4t4c-eth-l2xcbase-testpmd-pdrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with 4 phy\
-| | ... | cores, 2 receive queues per NIC port. [Ver] Find PDR for 64 Byte\
-| | ... | frames using binary search start at 10GE linerate, step 100kpps,\
-| | ... | LT=0.5%.
-| | ...
-| | [Tags] | 64B | 4C | PDRDISC | SKIP_PATCH
-| | ...
-| | ${framesize}= | Set Variable | ${64}
-| | ${min_rate}= | Set Variable | ${100000}
-| | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L2FWD on all DUTs | 4 | 2 | no
-| | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile}
-| | ... | ${min_rate} | ${max_rate} | ${threshold} | ${perf_pdr_loss_acceptance}
-| | ... | ${perf_pdr_loss_acceptance_type}
-
-| tc15-1518B-4t4c-eth-l2xcbase-testpmd-ndrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with 4 phy\
-| | ... | cores, 2 receive queues per NIC port. [Ver] Find NDR for 1518 Byte\
-| | ... | frames using binary search start at 10GE linerate, step 10kpps.
-| | ...
-| | [Tags] | 1518B | 4C | NDRDISC | SKIP_PATCH
-| | ...
-| | ${framesize}= | Set Variable | ${1518}
-| | ${min_rate}= | Set Variable | ${10000}
-| | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L2FWD on all DUTs | 4 | 2 | no
-| | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile}
-| | ... | ${min_rate} | ${max_rate} | ${threshold}
-
-| tc16-1518B-4t4c-eth-l2xcbase-testpmd-pdrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with 4 phy\
-| | ... | cores, 2 receive queues per NIC port. [Ver] Find PDR for 1518 Byte\
-| | ... | frames using binary search start at 10GE linerate, step 10kpps,\
-| | ... | LT=0.5%.
-| | ...
-| | [Tags] | 1518B | 4C | PDRDISC | SKIP_PATCH
-| | ...
-| | ${framesize}= | Set Variable | ${1518}
-| | ${min_rate}= | Set Variable | ${10000}
-| | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L2FWD on all DUTs | 4 | 2 | no
-| | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile}
-| | ... | ${min_rate} | ${max_rate} | ${threshold} | ${perf_pdr_loss_acceptance}
-| | ... | ${perf_pdr_loss_acceptance_type}
-
-| tc17-9000B-4t4c-eth-l2xcbase-testpmd-ndrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with 4 phy\
-| | ... | cores, 2 receive queues per NIC port. [Ver] Find NDR for 9000 Byte\
-| | ... | frames using binary search start at 10GE linerate, step 10kpps.
-| | ...
-| | [Tags] | 9000B | 4C | NDRDISC | SKIP_PATCH
-| | ...
-| | ${framesize}= | Set Variable | ${9000}
-| | ${min_rate}= | Set Variable | ${10000}
-| | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L2FWD on all DUTs | 4 | 2 | yes
-| | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile}
-| | ... | ${min_rate} | ${max_rate} | ${threshold}
-
-| tc18-9000B-4t4c-eth-l2xcbase-testpmd-pdrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with 4 phy\
-| | ... | cores, 2 receive queues per NIC port. [Ver] Find PDR for 9000 Byte
-| | ... | frames using binary search start at 10GE linerate, step 5kpps,\
-| | ... | LT=0.5%.
-| | ...
-| | [Tags] | 9000B | 4C | PDRDISC | SKIP_PATCH
-| | ...
-| | ${framesize}= | Set Variable | ${9000}
-| | ${min_rate}= | Set Variable | ${10000}
-| | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L2FWD on all DUTs | 4 | 2 | yes
-| | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile}
-| | ... | ${min_rate} | ${max_rate} | ${threshold} | ${perf_pdr_loss_acceptance}
-| | ... | ${perf_pdr_loss_acceptance_type}
index 1c16d9c..66757f0 100644 (file)
@@ -26,6 +26,8 @@
 | ... | L3 | Intel-X520-DA2
 | Suite Teardown | Tear down DPDK 3-node performance topology
 | ...
+| Test template | Local template
+| ...
 | Documentation | *Raw results IPv4 routing test cases*
 | ... | *[Top] Network Topologies:* TG-DUT1-DUT2-TG 3-node circular topology\
 | ... | with single links between nodes.
 | ${traffic_profile}= | trex-sl-3n-ethip4-ip4dst253_l3fwd
 
 *** Keywords ***
-| Check RR for ethip4-ip4base-l3fwd
+| Local template
 | | [Documentation]
-| | ... | [Cfg] DUT runs L3 IPv4 routing config with ${wt} phy core(s),\
-| | ... | ${rxq} receive queue(s) per NIC port.
+| | ... | [Cfg] DUT runs L3 IPv4 routing config.\
+| | ... | Each DUT uses ${phy_cores} physical core(s) for worker threads.
 | | ... | [Ver] Measure MaxReceivedRate for ${framesize} frames using single\
 | | ... | trial throughput test.
 | | ...
-| | [Arguments] | ${framesize} | ${wt} | ${rxq}
+| | [Arguments] | ${framesize} | ${phy_cores} | ${rxq}=${None}
 | | ...
-| | # Test Variables required for test teardown
 | | Set Test Variable | ${framesize}
 | | ${get_framesize}= | Get Frame Size | ${framesize}
 | | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
 | | ${jumbo_frames}= | Set Variable If
-| | ... | ${get_framesize} < ${1522} | no | yes
+| | ... | ${get_framesize} < ${1522} | ${False} | ${True}
 | | ...
-| | Given Start L3FWD on all DUTs | ${wt} | ${rxq} | ${jumbo_frames}
+| | Given Start L3FWD on all DUTs | ${phy_cores} | ${rxq} | ${jumbo_frames}
 | | Then Traffic should pass with maximum rate
 | | ... | ${max_rate}pps | ${framesize} | ${traffic_profile}
 
 *** Test Cases ***
 | tc01-64B-1t1c-ethip4-ip4base-l3fwd-mrr
-| | [Documentation]
-| | ... | [Cfg] DUT runs L3 IPv4 routing config with 1 phy core,\
-| | ... | 1 receive queue per NIC port.
-| | ... | [Ver] Measure MaxReceivedRate for 64B frames using single\
-| | ... | trial throughput test.
-| | ...
 | | [Tags] | 64B | 1C
-| | ...
-| | [Template] | Check RR for ethip4-ip4base-l3fwd
-| | framesize=${64} | wt=1 | rxq=1
+| | framesize=${64} | phy_cores=${1}
 
 | tc02-1518B-1t1c-ethip4-ip4base-l3fwd-mrr
-| | [Documentation]
-| | ... | [Cfg] DUT runs L3 IPv4 routing config with 1 phy core,\
-| | ... | 1 receive queue per NIC port.
-| | ... | [Ver] Measure MaxReceivedRate for 1518B frames using single\
-| | ... | trial throughput test.
-| | ...
 | | [Tags] | 1518B | 1C
-| | ...
-| | [Template] | Check RR for ethip4-ip4base-l3fwd
-| | framesize=${1518} | wt=1 | rxq=1
+| | framesize=${1518} | phy_cores=${1}
 
 | tc03-9000B-1t1c-ethip4-ip4base-l3fwd-mrr
-| | [Documentation]
-| | ... | [Cfg] DUT runs L3 IPv4 routing config with 1 phy core,\
-| | ... | 1 receive queue per NIC port.
-| | ... | [Ver] Measure MaxReceivedRate for 9000B frames using single\
-| | ... | trial throughput test.
-| | ...
 | | [Tags] | 9000B | 1C
-| | ...
-| | [Template] | Check RR for ethip4-ip4base-l3fwd
-| | framesize=${9000} | wt=1 | rxq=1
+| | framesize=${9000} | phy_cores=${1}
 
 | tc04-IMIX-1t1c-ethip4-ip4base-l3fwd-mrr
-| | [Documentation]
-| | ... | [Cfg] DUT runs L3 IPv4 routing config with 1 phy core,\
-| | ... | 1 receive queue per NIC port.
-| | ... | [Ver] Measure MaxReceivedRate for IMIX_v4_1 frames using single\
-| | ... | trial throughput test.
-| | ... | IMIX_v4_1 = (28x64B; 16x570B; 4x1518B)
-| | ...
 | | [Tags] | IMIX | 1C
-| | ...
-| | [Template] | Check RR for ethip4-ip4base-l3fwd
-| | framesize=IMIX_v4_1 | wt=1 | rxq=1
+| | framesize=IMIX_v4_1 | phy_cores=${1}
 
 | tc05-64B-2t2c-ethip4-ip4base-l3fwd-mrr
-| | [Documentation]
-| | ... | [Cfg] DUT runs L3 IPv4 routing config with \
-| | ... | 2 phy cores, 1 receive queue per NIC port.
-| | ... | [Ver] Measure MaxReceivedRate for 64B frames using single\
-| | ... | trial throughput test.
-| | ...
 | | [Tags] | 64B | 2C
-| | ...
-| | [Template] | Check RR for ethip4-ip4base-l3fwd
-| | framesize=${64} | wt=2 | rxq=1
+| | framesize=${64} | phy_cores=${2}
 
 | tc06-1518B-2t2c-ethip4-ip4base-l3fwd-mrr
-| | [Documentation]
-| | ... | [Cfg] DUT runs L3 IPv4 routing config with \
-| | ... | 2 phy cores, 1 receive queue per NIC port.
-| | ... | [Ver] Measure MaxReceivedRate for 1518B frames using single\
-| | ... | trial throughput test.
-| | ...
 | | [Tags] | 1518B | 2C
-| | ...
-| | [Template] | Check RR for ethip4-ip4base-l3fwd
-| | framesize=${1518} | wt=2 | rxq=1
+| | framesize=${1518} | phy_cores=${2}
 
 | tc07-9000B-2t2c-ethip4-ip4base-l3fwd-mrr
-| | [Documentation]
-| | ... | [Cfg] DUT runs L3 IPv4 routing config with \
-| | ... | 2 phy cores, 1 receive queue per NIC port.
-| | ... | [Ver] Measure MaxReceivedRate for 9000B frames using single\
-| | ... | trial throughput test.
-| | ...
 | | [Tags] | 9000B | 2C
-| | ...
-| | [Template] | Check RR for ethip4-ip4base-l3fwd
-| | framesize=${9000} | wt=2 | rxq=1
+| | framesize=${9000} | phy_cores=${2}
 
 | tc08-IMIX-2t2c-ethip4-ip4base-l3fwd-mrr
-| | [Documentation]
-| | ... | [Cfg] DUT runs L3 IPv4 routing config with \
-| | ... | 2 phy cores, 1 receive queue per NIC port.
-| | ... | [Ver] Measure MaxReceivedRate for IMIX_v4_1 frames using single\
-| | ... | trial throughput test.
-| | ... | IMIX_v4_1 = (28x64B; 16x570B; 4x1518B)
-| | ...
 | | [Tags] | IMIX | 2C
-| | ...
-| | [Template] | Check RR for ethip4-ip4base-l3fwd
-| | framesize=IMIX_v4_1 | wt=2 | rxq=1
+| | framesize=IMIX_v4_1 | phy_cores=${2}
 
 | tc09-64B-4t4c-ethip4-ip4base-l3fwd-mrr
-| | [Documentation]
-| | ... | [Cfg] DUT runs L3 IPv4 routing config with \
-| | ... | 4 phy cores, 2 receive queue per NIC port.
-| | ... | [Ver] Measure MaxReceivedRate for 64B frames using single\
-| | ... | trial throughput test.
-| | ...
 | | [Tags] | 64B | 4C
-| | ...
-| | [Template] | Check RR for ethip4-ip4base-l3fwd
-| | framesize=${64} | wt=4 | rxq=2
+| | framesize=${64} | phy_cores=${4}
 
 | tc10-1518B-4t4c-ethip4-ip4base-l3fwd-mrr
-| | [Documentation]
-| | ... | [Cfg] DUT runs L3 IPv4 routing config with \
-| | ... | 4 phy cores, 2 receive queue per NIC port.
-| | ... | [Ver] Measure MaxReceivedRate for 1518B frames using single\
-| | ... | trial throughput test.
-| | ...
 | | [Tags] | 1518B | 4C
-| | ...
-| | [Template] | Check RR for ethip4-ip4base-l3fwd
-| | framesize=${1518} | wt=4 | rxq=2
+| | framesize=${1518} | phy_cores=${4}
 
 | tc11-9000B-4t4c-ethip4-ip4base-l3fwd-mrr
-| | [Documentation]
-| | ... | [Cfg] DUT runs L3 IPv4 routing config with \
-| | ... | 4 phy cores, 2 receive queue per NIC port.
-| | ... | [Ver] Measure MaxReceivedRate for 9000B frames using single\
-| | ... | trial throughput test.
-| | ...
 | | [Tags] | 9000B | 4C
-| | ...
-| | [Template] | Check RR for ethip4-ip4base-l3fwd
-| | framesize=${9000} | wt=4 | rxq=2
+| | framesize=${9000} | phy_cores=${4}
 
 | tc12-IMIX-4t4c-ethip4-ip4base-l3fwd-mrr
-| | [Documentation]
-| | ... | [Cfg] DUT runs L3 IPv4 routing config with \
-| | ... | 4 phy cores, 2 receive queue per NIC port.
-| | ... | [Ver] Measure MaxReceivedRate for IMIX_v4_1 frames using single\
-| | ... | trial throughput test.
-| | ... | IMIX_v4_1 = (28x64B; 16x570B; 4x1518B)
-| | ...
 | | [Tags] | IMIX | 4C
-| | ...
-| | [Template] | Check RR for ethip4-ip4base-l3fwd
-| | framesize=IMIX_v4_1 | wt=4 | rxq=2
+| | framesize=IMIX_v4_1 | phy_cores=${4}
diff --git a/tests/dpdk/perf/10ge2p1x520-ethip4-ip4base-l3fwd-ndrpdr.robot b/tests/dpdk/perf/10ge2p1x520-ethip4-ip4base-l3fwd-ndrpdr.robot
new file mode 100644 (file)
index 0000000..23a33f1
--- /dev/null
@@ -0,0 +1,121 @@
+# Copyright (c) 2018 Cisco and/or its affiliates.
+# Licensed under the Apache License, Version 2.0 (the "License");
+# you may not use this file except in compliance with the License.
+# You may obtain a copy of the License at:
+#
+#     http://www.apache.org/licenses/LICENSE-2.0
+#
+# Unless required by applicable law or agreed to in writing, software
+# distributed under the License is distributed on an "AS IS" BASIS,
+# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
+# See the License for the specific language governing permissions and
+# limitations under the License.
+
+*** Settings ***
+| Resource | resources/libraries/robot/performance/performance_setup.robot
+| Resource | resources/libraries/robot/dpdk/default.robot
+| Library | resources.libraries.python.topology.Topology
+| Library | resources.libraries.python.NodePath
+| Library | resources.libraries.python.InterfaceUtil
+| Library | resources.libraries.python.DPDK.DPDKTools
+| ...
+| Force Tags | 3_NODE_SINGLE_LINK_TOPO | PERFTEST | HW_ENV | NDRPDR | 1NUMA
+| ... | NIC_Intel-X520-DA2 | DPDK | IP4FWD | BASE | ETH
+| ...
+| Suite Setup | Set up DPDK 3-node performance topology with DUT's NIC model
+| ... | L3 | Intel-X520-DA2
+| Suite Teardown | Tear down DPDK 3-node performance topology
+| ...
+| Test template | Local template
+| ...
+| Documentation | *Raw results IPv4 routing test cases*
+| ... | *[Top] Network Topologies:* TG-DUT1-DUT2-TG 3-node circular topology\
+| ... | with single links between nodes.
+| ... | *[Enc] Packet Encapsulations:* Eth-IPv4 for L3 IPv4 routing.
+| ... | *[Cfg] DUT configuration:* DUT1 and DUT2 run the DPDK l3fwd application\
+| ... | DUT1 and DUT2 tested with 2p10GE NIC X520 Niantic by Intel.
+| ... | *[Ver] TG verification:* TG finds and reports throughput NDR (Non Drop\
+| ... | Rate) with zero packet loss tolerance or throughput PDR (Partial Drop\
+| ... | Rate) with non-zero packet loss tolerance (LT) expressed in percentage\
+| ... | of packets transmitted. NDR and PDR are discovered for different\
+| ... | Ethernet L2 frame sizes using MLRsearch library\
+| ... | Test packets are generated by TG on\
+| ... | links to DUTs. TG traffic profile contains two L3 flow-groups\
+| ... | (flow-group per direction, 253 flows per flow-group) with\
+| ... | all packets containing Ethernet header,IPv4 header with static payload.\
+| ... | MAC addresses are matching MAC addresses of the TG node interfaces.
+
+*** Variables ***
+# X520-DA2 bandwidth limit
+| ${s_limit}= | ${10000000000}
+# Traffic profile:
+| ${traffic_profile}= | trex-sl-3n-ethip4-ip4dst253_l3fwd
+
+*** Keywords ***
+| Local template
+| | [Documentation]
+| | ... | [Cfg] DUT runs L3 IPv4 routing config.\
+| | ... | Each DUT uses ${phy_cores} physical core(s) for worker threads.
+| | ... | [Ver] Measure NDR and PDR values using MLRsearch algorithm.
+| | ...
+| | [Arguments] | ${framesize} | ${phy_cores} | ${rxq}=${None}
+| | ...
+| | Set Test Variable | ${framesize}
+| | Set Test Variable | ${min_rate} | ${20000}
+| | ${get_framesize}= | Get Frame Size | ${framesize}
+| | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
+| | ${jumbo_frames}= | Set Variable If
+| | ... | ${get_framesize} < ${1522} | ${False} | ${True}
+| | ...
+| | Given Start L3FWD on all DUTs | ${phy_cores} | ${rxq} | ${jumbo_frames}
+| | Then Find NDR and PDR intervals using optimized search
+| | ... | ${framesize} | ${traffic_profile} | ${min_rate} | ${max_rate}
+
+*** Test Cases ***
+| tc01-64B-1t1c-ethip4-ip4base-l3fwd-ndrpdr
+| | [Tags] | 64B | 1C
+| | framesize=${64} | phy_cores=${1}
+
+| tc02-1518B-1t1c-ethip4-ip4base-l3fwd-ndrpdr
+| | [Tags] | 1518B | 1C
+| | framesize=${1518} | phy_cores=${1}
+
+| tc03-9000B-1t1c-ethip4-ip4base-l3fwd-ndrpdr
+| | [Tags] | 9000B | 1C
+| | framesize=${9000} | phy_cores=${1}
+
+| tc04-IMIX-1t1c-ethip4-ip4base-l3fwd-ndrpdr
+| | [Tags] | IMIX | 1C
+| | framesize=IMIX_v4_1 | phy_cores=${1}
+
+| tc05-64B-2t2c-ethip4-ip4base-l3fwd-ndrpdr
+| | [Tags] | 64B | 2C
+| | framesize=${64} | phy_cores=${2}
+
+| tc06-1518B-2t2c-ethip4-ip4base-l3fwd-ndrpdr
+| | [Tags] | 1518B | 2C
+| | framesize=${1518} | phy_cores=${2}
+
+| tc07-9000B-2t2c-ethip4-ip4base-l3fwd-ndrpdr
+| | [Tags] | 9000B | 2C
+| | framesize=${9000} | phy_cores=${2}
+
+| tc08-IMIX-2t2c-ethip4-ip4base-l3fwd-ndrpdr
+| | [Tags] | IMIX | 2C
+| | framesize=IMIX_v4_1 | phy_cores=${2}
+
+| tc09-64B-4t4c-ethip4-ip4base-l3fwd-ndrpdr
+| | [Tags] | 64B | 4C
+| | framesize=${64} | phy_cores=${4}
+
+| tc10-1518B-4t4c-ethip4-ip4base-l3fwd-ndrpdr
+| | [Tags] | 1518B | 4C
+| | framesize=${1518} | phy_cores=${4}
+
+| tc11-9000B-4t4c-ethip4-ip4base-l3fwd-ndrpdr
+| | [Tags] | 9000B | 4C
+| | framesize=${9000} | phy_cores=${4}
+
+| tc12-IMIX-4t4c-ethip4-ip4base-l3fwd-ndrpdr
+| | [Tags] | IMIX | 4C
+| | framesize=IMIX_v4_1 | phy_cores=${4}
diff --git a/tests/dpdk/perf/10ge2p1x520-ethip4-ip4base-l3fwd-ndrpdrdisc.robot b/tests/dpdk/perf/10ge2p1x520-ethip4-ip4base-l3fwd-ndrpdrdisc.robot
deleted file mode 100644 (file)
index fe6b5b2..0000000
+++ /dev/null
@@ -1,421 +0,0 @@
-# Copyright (c) 2018 Cisco and/or its affiliates.
-# Licensed under the Apache License, Version 2.0 (the "License");
-# you may not use this file except in compliance with the License.
-# You may obtain a copy of the License at:
-#
-#     http://www.apache.org/licenses/LICENSE-2.0
-#
-# Unless required by applicable law or agreed to in writing, software
-# distributed under the License is distributed on an "AS IS" BASIS,
-# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
-# See the License for the specific language governing permissions and
-# limitations under the License.
-
-*** Settings ***
-| Resource | resources/libraries/robot/performance/performance_setup.robot
-| Resource | resources/libraries/robot/dpdk/default.robot
-| Library | resources.libraries.python.topology.Topology
-| Library | resources.libraries.python.NodePath
-| Library | resources.libraries.python.InterfaceUtil
-| Library | resources.libraries.python.DPDK.DPDKTools
-| Force Tags | 3_NODE_SINGLE_LINK_TOPO | PERFTEST | HW_ENV | NDRPDRDISC | 1NUMA
-| ... | NIC_Intel-X520-DA2 | DPDK | IP4FWD | BASE | ETH
-| Suite Setup | Set up DPDK 3-node performance topology with DUT's NIC model
-| ... | L3 | Intel-X520-DA2
-| Suite Teardown | Tear down DPDK 3-node performance topology
-| Documentation | *RFC2544: Pkt throughput IPv4 routing test cases*
-| ...
-| ... | *[Top] Network Topologies:* TG-DUT1-DUT2-TG 3-node circular topology
-| ... | with single links between nodes.
-| ... | *[Enc] Packet Encapsulations:* Eth-IPv4 for L3 IPv4 routing.
-| ... | *[Cfg] DUT configuration:* DUT1 and DUT2 run the DPDK l3fwd application
-| ... | DUT1 and DUT2 tested with 2p10GE NIC X520 Niantic by Intel.
-| ... | *[Ver] TG verification:* TG finds and reports throughput NDR (Non Drop
-| ... | Rate) with zero packet loss tolerance or throughput PDR (Partial Drop
-| ... | Rate) with non-zero packet loss tolerance (LT) expressed in percentage
-| ... | of packets transmitted. NDR and PDR are discovered for different
-| ... | Ethernet L2 frame sizes using either binary search or linear search
-| ... | algorithms with configured starting rate and final step that determines
-| ... | throughput measurement resolution. Test packets are generated by TG on
-| ... | links to DUTs. TG traffic profile contains two L3 flow-groups
-| ... | (flow-group per direction, 253 flows per flow-group) with all packets
-| ... | containing Ethernet header, IPv4 header with IP protocol=61 and static
-| ... | payload. MAC addresses are matching MAC addresses of the TG node
-| ... | interfaces.
-| ... | *[Ref] Applicable standard specifications:* RFC2544.
-
-*** Variables ***
-# X520-DA2 bandwidth limit
-| ${s_limit} | ${10000000000}
-# Traffic profile:
-| ${traffic_profile} | trex-sl-3n-ethip4-ip4dst253_l3fwd
-
-*** Test Cases ***
-| tc01-64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L3 IPv4 routing config with 1 phy core,\
-| | ... | 1 receive queue per NIC port.
-| | ... | [Ver] Find NDR for 64 Byte frames using binary search start\
-| | ... | at 10GE linerate, step 100kpps.
-| | ...
-| | [Tags] | 64B | 1C | NDRDISC
-| | ...
-| | ${framesize}= | Set Variable | ${64}
-| | ${min_rate}= | Set Variable | ${100000}
-| | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L3FWD on all DUTs | 1 | 1 | no
-| | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile} | ${min_rate} | ${max_rate}
-| | ... | ${threshold}
-
-| tc02-64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L3 IPv4 routing config with 1 phy core,\
-| | ... | 1 receive queue per NIC port.
-| | ... | [Ver] Find PDR for 64 Byte frames using binary search start\
-| | ... | at 10GE linerate, step 100kpps, LT=0.5%.
-| | ...
-| | [Tags] | 64B | 1C | PDRDISC | SKIP_PATCH
-| | ...
-| | ${framesize}= | Set Variable | ${64}
-| | ${min_rate}= | Set Variable | ${100000}
-| | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L3FWD on all DUTs | 1 | 1 | no
-| | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile} | ${min_rate} | ${max_rate}
-| | ... | ${threshold} | ${perf_pdr_loss_acceptance}
-| | ... | ${perf_pdr_loss_acceptance_type}
-
-| tc03-1518B-1t1c-ethip4-ip4base-l3fwd-ndrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L3 IPv4 routing config with 1 phy core,\
-| | ... | 1 receive queue per NIC port.
-| | ... | [Ver] Find NDR for 1518 Byte frames using binary search start\
-| | ... | at 10GE linerate, step 10kpps.
-| | ...
-| | [Tags] | 1518B | 1C | NDRDISC
-| | ...
-| | ${framesize}= | Set Variable | ${1518}
-| | ${min_rate}= | Set Variable | ${10000}
-| | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L3FWD on all DUTs | 1 | 1 | no
-| | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile} | ${min_rate} | ${max_rate}
-| | ... | ${threshold}
-
-| tc04-1518B-1t1c-ethip4-ip4base-l3fwd-pdrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L3 IPv4 routing config with 1 phy core,\
-| | ... | 1 receive queue per NIC port.
-| | ... | [Ver] Find PDR for 1518 Byte frames using binary search start\
-| | ... | at 10GE linerate, step 10kpps, LT=0.5%.
-| | ...
-| | [Tags] | 1518B | 1C | PDRDISC | SKIP_PATCH
-| | ...
-| | ${framesize}= | Set Variable | ${1518}
-| | ${min_rate}= | Set Variable | ${10000}
-| | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L3FWD on all DUTs | 1 | 1 | no
-| | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile} | ${min_rate} | ${max_rate}
-| | ... | ${threshold} | ${perf_pdr_loss_acceptance}
-| | ... | ${perf_pdr_loss_acceptance_type}
-
-| tc05-9000B-1t1c-ethip4-ip4base-l3fwd-ndrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L3 IPv4 routing config with 1 phy core,\
-| | ... | 1 receive queue per NIC port.
-| | ... | [Ver] Find NDR for 9000 Byte frames using binary search start\
-| | ... | at 10GE linerate, step 5kpps.
-| | ...
-| | [Tags] | 9000B | 1C | NDRDISC
-| | ...
-| | ${framesize}= | Set Variable | ${9000}
-| | ${min_rate}= | Set Variable | ${10000}
-| | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L3FWD on all DUTs | 1 | 1 | yes
-| | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile} | ${min_rate} | ${max_rate}
-| | ... | ${threshold}
-
-| tc06-9000B-1t1c-ethip4-ip4base-l3fwd-pdrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L3 IPv4 routing config with 1 phy core,\
-| | ... | 1 receive queue per NIC port.
-| | ... | [Ver] Find PDR for 9000 Byte frames using binary search start\
-| | ... | at 10GE linerate, step 5kpps, LT=0.5%.
-| | ...
-| | [Tags] | 9000B | 1C | PDRDISC | SKIP_PATCH
-| | ...
-| | ${framesize}= | Set Variable | ${9000}
-| | ${min_rate}= | Set Variable | ${10000}
-| | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L3FWD on all DUTs | 1 | 1 | yes
-| | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile} | ${min_rate} | ${max_rate}
-| | ... | ${threshold} | ${perf_pdr_loss_acceptance}
-| | ... | ${perf_pdr_loss_acceptance_type}
-
-| tc07-64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L3 IPv4 routing config with 2 phy cores,\
-| | ... | 1 receive queue per NIC port.
-| | ... | [Ver] Find NDR for 64 Byte frames using binary search start\
-| | ... | at 10GE linerate, step 100kpps.
-| | ...
-| | [Tags] | 64B | 2C | NDRDISC
-| | ...
-| | ${framesize}= | Set Variable | ${64}
-| | ${min_rate}= | Set Variable | ${100000}
-| | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L3FWD on all DUTs | 2 | 1 | no
-| | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile} | ${min_rate} | ${max_rate}
-| | ... | ${threshold}
-
-| tc08-64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L3 IPv4 routing config with 2 phy cores,\
-| | ... | 1 receive queue per NIC port.
-| | ... | [Ver] Find PDR for 64 Byte frames using binary search start\
-| | ... | at 10GE linerate, step 100kpps, LT=0.5%.
-| | ...
-| | [Tags] | 64B | 2C | PDRDISC | SKIP_PATCH
-| | ...
-| | ${framesize}= | Set Variable | ${64}
-| | ${min_rate}= | Set Variable | ${100000}
-| | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L3FWD on all DUTs | 2 | 1 | no
-| | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile} | ${min_rate} | ${max_rate}
-| | ... | ${threshold} | ${perf_pdr_loss_acceptance}
-| | ... | ${perf_pdr_loss_acceptance_type}
-
-| tc09-1518B-2t2c-ethip4-ip4base-l3fwd-ndrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L3 IPv4 routing config with 2 phy cores,\
-| | ... | 1 receive queue per NIC port.
-| | ... | [Ver] Find NDR for 1518 Byte frames using binary search start\
-| | ... | at 10GE linerate, step 10kpps.
-| | ...
-| | [Tags] | 1518B | 2C | NDRDISC
-| | ...
-| | ${framesize}= | Set Variable | ${1518}
-| | ${min_rate}= | Set Variable | ${10000}
-| | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L3FWD on all DUTs | 2 | 1 | no
-| | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile} | ${min_rate} | ${max_rate}
-| | ... | ${threshold}
-
-| tc10-1518B-2t2c-ethip4-ip4base-l3fwd-pdrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L3 IPv4 routing config with 2 phy cores,\
-| | ... | 1 receive queue per NIC port.
-| | ... | [Ver] Find PDR for 1518 Byte frames using binary search start\
-| | ... | at 10GE linerate, step 10kpps, LT=0.5%.
-| | ...
-| | [Tags] | 1518B | 2C | PDRDISC | SKIP_PATCH
-| | ...
-| | ${framesize}= | Set Variable | ${1518}
-| | ${min_rate}= | Set Variable | ${10000}
-| | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L3FWD on all DUTs | 2 | 1 | no
-| | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile} | ${min_rate} | ${max_rate}
-| | ... | ${threshold} | ${perf_pdr_loss_acceptance}
-| | ... | ${perf_pdr_loss_acceptance_type}
-
-| tc11-9000B-2t2c-ethip4-ip4base-l3fwd-ndrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L3 IPv4 routing config with 2 phy cores,\
-| | ... | 1 receive queue per NIC port.
-| | ... | [Ver] Find NDR for 9000 Byte frames using binary search start\
-| | ... | at 10GE linerate, step 5kpps.
-| | ...
-| | [Tags] | 9000B | 2C | NDRDISC
-| | ...
-| | ${framesize}= | Set Variable | ${9000}
-| | ${min_rate}= | Set Variable | ${10000}
-| | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L3FWD on all DUTs | 2 | 1 | yes
-| | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile} | ${min_rate} | ${max_rate}
-| | ... | ${threshold}
-
-| tc12-9000B-2t2c-ethip4-ip4base-l3fwd-pdrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L3 IPv4 routing config with 2 phy cores,\
-| | ... | 1 receive queue per NIC port.
-| | ... | [Ver] Find PDR for 9000 Byte frames using binary search start\
-| | ... | at 10GE linerate, step 5kpps, LT=0.5%.
-| | ...
-| | [Tags] | 9000B | 2C | PDRDISC | SKIP_PATCH
-| | ...
-| | ${framesize}= | Set Variable | ${9000}
-| | ${min_rate}= | Set Variable | ${10000}
-| | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L3FWD on all DUTs | 2 | 1 | yes
-| | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile} | ${min_rate} | ${max_rate}
-| | ... | ${threshold} | ${perf_pdr_loss_acceptance}
-| | ... | ${perf_pdr_loss_acceptance_type}
-
-| tc13-64B-4t4c-ethip4-ip4base-l3fwd-ndrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L3 IPv4 routing config with 4 phy cores,\
-| | ... | 2 receive queues per NIC port.
-| | ... | [Ver] Find NDR for 64 Byte frames using binary search start\
-| | ... | at 10GE linerate, step 100kpps.
-| | ...
-| | [Tags] | 64B | 4C | NDRDISC
-| | ...
-| | ${framesize}= | Set Variable | ${64}
-| | ${min_rate}= | Set Variable | ${100000}
-| | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L3FWD on all DUTs | 4 | 2 | no
-| | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile} | ${min_rate} | ${max_rate}
-| | ... | ${threshold}
-
-| tc14-64B-4t4c-ethip4-ip4base-l3fwd-pdrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L3 IPv4 routing config with 4 phy cores,\
-| | ... | 2 receive queues per NIC port.
-| | ... | [Ver] Find PDR for 64 Byte frames using binary search start\
-| | ... | at 10GE linerate, step 100kpps, LT=0.5%.
-| | ...
-| | [Tags] | 64B | 4C | PDRDISC | SKIP_PATCH
-| | ...
-| | ${framesize}= | Set Variable | ${64}
-| | ${min_rate}= | Set Variable | ${100000}
-| | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L3FWD on all DUTs | 4 | 2 | no
-| | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile} | ${min_rate} | ${max_rate}
-| | ... | ${threshold} | ${perf_pdr_loss_acceptance}
-| | ... | ${perf_pdr_loss_acceptance_type}
-
-| tc15-1518B-4t4c-ethip4-ip4base-l3fwd-ndrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L3 IPv4 routing config with 4 phy cores,\
-| | ... | 2 receive queues per NIC port.
-| | ... | [Ver] Find NDR for 1518 Byte frames using binary search start\
-| | ... | at 10GE linerate, step 10kpps.
-| | ...
-| | [Tags] | 1518B | 4C | NDRDISC | SKIP_PATCH
-| | ...
-| | ${framesize}= | Set Variable | ${1518}
-| | ${min_rate}= | Set Variable | ${10000}
-| | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L3FWD on all DUTs | 4 | 2 | no
-| | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile} | ${min_rate} | ${max_rate}
-| | ... | ${threshold}
-
-| tc16-1518B-4t4c-ethip4-ip4base-l3fwd-pdrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L3 IPv4 routing config with 4 phy cores,\
-| | ... | 2 receive queues per NIC port.
-| | ... | [Ver] Find PDR for 1518 Byte frames using binary search start\
-| | ... | at 10GE linerate, step 10kpps, LT=0.5%.
-| | ...
-| | [Tags] | 1518B | 4C | PDRDISC | SKIP_PATCH
-| | ...
-| | ${framesize}= | Set Variable | ${1518}
-| | ${min_rate}= | Set Variable | ${10000}
-| | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L3FWD on all DUTs | 4 | 2 | no
-| | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile} | ${min_rate} | ${max_rate}
-| | ... | ${threshold} | ${perf_pdr_loss_acceptance}
-| | ... | ${perf_pdr_loss_acceptance_type}
-
-| tc17-9000B-4t4c-ethip4-ip4base-l3fwd-ndrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L3 IPv4 routing config with 4 phy cores,\
-| | ... | 2 receive queues per NIC port.
-| | ... | [Ver] Find NDR for 9000 Byte frames using binary search start\
-| | ... | at 10GE linerate, step 5kpps.
-| | ...
-| | [Tags] | 9000B | 4C | NDRDISC | SKIP_PATCH
-| | ...
-| | ${framesize}= | Set Variable | ${9000}
-| | ${min_rate}= | Set Variable | ${10000}
-| | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L3FWD on all DUTs | 4 | 2 | yes
-| | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile} | ${min_rate} | ${max_rate}
-| | ... | ${threshold}
-
-| tc18-9000B-4t4c-ethip4-ip4base-l3fwd-pdrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L3 IPv4 routing config with 4 phy cores,\
-| | ... | 2 receive queues per NIC port.
-| | ... | [Ver] Find PDR for 9000 Byte frames using binary search start\
-| | ... | at 10GE linerate, step 5kpps, LT=0.5%.
-| | ...
-| | [Tags] | 9000B | 4C | PDRDISC | SKIP_PATCH
-| | ...
-| | ${framesize}= | Set Variable | ${9000}
-| | ${min_rate}= | Set Variable | ${10000}
-| | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L3FWD on all DUTs | 4 | 2 | yes
-| | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile} | ${min_rate} | ${max_rate}
-| | ... | ${threshold} | ${perf_pdr_loss_acceptance}
-| | ... | ${perf_pdr_loss_acceptance_type}
index 180c15c..daaa46d 100644 (file)
@@ -26,6 +26,8 @@
 | ... | L2 | Intel-X710
 | Suite Teardown | Tear down DPDK 3-node performance topology
 | ...
+| Test template | Local template
+| ...
 | Documentation | *Raw results L2 routing test cases*
 | ... | *[Top] Network Topologies:* TG-DUT1-DUT2-TG 3-node circular topology\
 | ... | with single links between nodes.
@@ -37,7 +39,7 @@
 | ... | at line rate and reports total received/sent packets over trial period.\
 | ... | Test packets are generated by TG on\
 | ... | links to DUTs. TG traffic profile contains two L3 flow-groups\
-| ... | (flow-group per direction, 253 flows per flow-group) with all packets\
+| ... | (flow-group per direction, 254 flows per flow-group) with all packets\
 | ... | containing Ethernet header, IPv4 header with IP protocol=61 and static\
 | ... | payload. MAC addresses are matching MAC addresses of the TG node\
 | ... | interfaces.
 | ${traffic_profile}= | trex-sl-3n-ethip4-ip4src254
 
 *** Keywords ***
-| Check RR for eth-l2xcbase-testpmd
+| Local template
 | | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with ${wt} phy core(s),\
-| | ... | ${rxq} receive queue(s) per NIC port.
+| | ... | [Cfg] DUT runs L2 frame forwarding config.\
+| | ... | Each DUT uses ${phy_cores} physical core(s) for worker threads.
 | | ... | [Ver] Measure MaxReceivedRate for ${framesize} frames using single\
 | | ... | trial throughput test.
 | | ...
-| | [Arguments] | ${framesize} | ${wt} | ${rxq}
+| | [Arguments] | ${framesize} | ${phy_cores} | ${rxq}=${None}
 | | ...
-| | # Test Variables required for test teardown
 | | Set Test Variable | ${framesize}
 | | ${get_framesize}= | Get Frame Size | ${framesize}
 | | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
 | | ${jumbo_frames}= | Set Variable If
-| | ... | ${get_framesize} < ${1522} | no | yes
+| | ... | ${get_framesize} < ${1522} | ${False} | ${True}
 | | ...
-| | Given Start L2FWD on all DUTs | ${wt} | ${rxq} | ${jumbo_frames}
+| | Given Start L2FWD on all DUTs | ${phy_cores} | ${rxq} | ${jumbo_frames}
 | | Then Traffic should pass with maximum rate
 | | ... | ${max_rate}pps | ${framesize} | ${traffic_profile}
 
 *** Test Cases ***
 | tc01-64B-1t1c-eth-l2xcbase-testpmd-mrr
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with 1 phy core,\
-| | ... | 1 receive queue per NIC port.
-| | ... | [Ver] Measure MaxReceivedRate for 64B frames using single\
-| | ... | trial throughput test.
-| | ...
 | | [Tags] | 64B | 1C
-| | ...
-| | [Template] | Check RR for eth-l2xcbase-testpmd
-| | framesize=${64} | wt=1 | rxq=1
+| | framesize=${64} | phy_cores=${1}
 
 | tc02-1518B-1t1c-eth-l2xcbase-testpmd-mrr
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with 1 phy core,\
-| | ... | 1 receive queue per NIC port.
-| | ... | [Ver] Measure MaxReceivedRate for 1518B frames using single\
-| | ... | trial throughput test.
-| | ...
 | | [Tags] | 1518B | 1C
-| | ...
-| | [Template] | Check RR for eth-l2xcbase-testpmd
-| | framesize=${1518} | wt=1 | rxq=1
+| | framesize=${1518} | phy_cores=${1}
 
 | tc03-9000B-1t1c-eth-l2xcbase-testpmd-mrr
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with 1 phy core,\
-| | ... | 1 receive queue per NIC port.
-| | ... | [Ver] Measure MaxReceivedRate for 9000B frames using single\
-| | ... | trial throughput test.
-| | ...
 | | [Tags] | 9000B | 1C
-| | ...
-| | [Template] | Check RR for eth-l2xcbase-testpmd
-| | framesize=${9000} | wt=1 | rxq=1
+| | framesize=${9000} | phy_cores=${1}
 
 | tc04-IMIX-1t1c-eth-l2xcbase-testpmd-mrr
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with 1 phy core,\
-| | ... | 1 receive queue per NIC port.
-| | ... | [Ver] Measure MaxReceivedRate for IMIX_v4_1 frames using single\
-| | ... | trial throughput test.
-| | ... | IMIX_v4_1 = (28x64B; 16x570B; 4x1518B)
-| | ...
 | | [Tags] | IMIX | 1C
-| | ...
-| | [Template] | Check RR for eth-l2xcbase-testpmd
-| | framesize=IMIX_v4_1 | wt=1 | rxq=1
+| | framesize=IMIX_v4_1 | phy_cores=${1}
 
 | tc05-64B-2t2c-eth-l2xcbase-testpmd-mrr
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with \
-| | ... | 2 phy cores, 1 receive queue per NIC port.
-| | ... | [Ver] Measure MaxReceivedRate for 64B frames using single\
-| | ... | trial throughput test.
-| | ...
 | | [Tags] | 64B | 2C
-| | ...
-| | [Template] | Check RR for eth-l2xcbase-testpmd
-| | framesize=${64} | wt=2 | rxq=1
+| | framesize=${64} | phy_cores=${2}
 
 | tc06-1518B-2t2c-eth-l2xcbase-testpmd-mrr
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with \
-| | ... | 2 phy cores, 1 receive queue per NIC port.
-| | ... | [Ver] Measure MaxReceivedRate for 1518B frames using single\
-| | ... | trial throughput test.
-| | ...
 | | [Tags] | 1518B | 2C
-| | ...
-| | [Template] | Check RR for eth-l2xcbase-testpmd
-| | framesize=${1518} | wt=2 | rxq=1
+| | framesize=${1518} | phy_cores=${2}
 
 | tc07-9000B-2t2c-eth-l2xcbase-testpmd-mrr
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with \
-| | ... | 2 phy cores, 1 receive queue per NIC port.
-| | ... | [Ver] Measure MaxReceivedRate for 9000B frames using single\
-| | ... | trial throughput test.
-| | ...
 | | [Tags] | 9000B | 2C
-| | ...
-| | [Template] | Check RR for eth-l2xcbase-testpmd
-| | framesize=${9000} | wt=2 | rxq=1
+| | framesize=${9000} | phy_cores=${2}
 
 | tc08-IMIX-2t2c-eth-l2xcbase-testpmd-mrr
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with \
-| | ... | 2 phy cores, 1 receive queue per NIC port.
-| | ... | [Ver] Measure MaxReceivedRate for IMIX_v4_1 frames using single\
-| | ... | trial throughput test.
-| | ... | IMIX_v4_1 = (28x64B; 16x570B; 4x1518B)
-| | ...
 | | [Tags] | IMIX | 2C
-| | ...
-| | [Template] | Check RR for eth-l2xcbase-testpmd
-| | framesize=IMIX_v4_1 | wt=2 | rxq=1
+| | framesize=IMIX_v4_1 | phy_cores=${2}
 
 | tc09-64B-4t4c-eth-l2xcbase-testpmd-mrr
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with \
-| | ... | 4 phy cores, 2 receive queue per NIC port.
-| | ... | [Ver] Measure MaxReceivedRate for 64B frames using single\
-| | ... | trial throughput test.
-| | ...
 | | [Tags] | 64B | 4C
-| | ...
-| | [Template] | Check RR for eth-l2xcbase-testpmd
-| | framesize=${64} | wt=4 | rxq=2
+| | framesize=${64} | phy_cores=${4}
 
 | tc10-1518B-4t4c-eth-l2xcbase-testpmd-mrr
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with \
-| | ... | 4 phy cores, 2 receive queue per NIC port.
-| | ... | [Ver] Measure MaxReceivedRate for 1518B frames using single\
-| | ... | trial throughput test.
-| | ...
 | | [Tags] | 1518B | 4C
-| | ...
-| | [Template] | Check RR for eth-l2xcbase-testpmd
-| | framesize=${1518} | wt=4 | rxq=2
+| | framesize=${1518} | phy_cores=${4}
 
 | tc11-9000B-4t4c-eth-l2xcbase-testpmd-mrr
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with \
-| | ... | 4 phy cores, 2 receive queue per NIC port.
-| | ... | [Ver] Measure MaxReceivedRate for 9000B frames using single\
-| | ... | trial throughput test.
-| | ...
 | | [Tags] | 9000B | 4C
-| | ...
-| | [Template] | Check RR for eth-l2xcbase-testpmd
-| | framesize=${9000} | wt=4 | rxq=2
+| | framesize=${9000} | phy_cores=${4}
 
 | tc12-IMIX-4t4c-eth-l2xcbase-testpmd-mrr
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with \
-| | ... | 4 phy cores, 2 receive queue per NIC port.
-| | ... | [Ver] Measure MaxReceivedRate for IMIX_v4_1 frames using single\
-| | ... | trial throughput test.
-| | ... | IMIX_v4_1 = (28x64B; 16x570B; 4x1518B)
-| | ...
 | | [Tags] | IMIX | 4C
-| | ...
-| | [Template] | Check RR for eth-l2xcbase-testpmd
-| | framesize=IMIX_v4_1 | wt=4 | rxq=2
+| | framesize=IMIX_v4_1 | phy_cores=${4}
diff --git a/tests/dpdk/perf/10ge2p1x710-eth-l2xcbase-testpmd-ndrpdr.robot b/tests/dpdk/perf/10ge2p1x710-eth-l2xcbase-testpmd-ndrpdr.robot
new file mode 100644 (file)
index 0000000..ecbe0a3
--- /dev/null
@@ -0,0 +1,122 @@
+# Copyright (c) 2018 Cisco and/or its affiliates.
+# Licensed under the Apache License, Version 2.0 (the "License");
+# you may not use this file except in compliance with the License.
+# You may obtain a copy of the License at:
+#
+#     http://www.apache.org/licenses/LICENSE-2.0
+#
+# Unless required by applicable law or agreed to in writing, software
+# distributed under the License is distributed on an "AS IS" BASIS,
+# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
+# See the License for the specific language governing permissions and
+# limitations under the License.
+
+*** Settings ***
+| Resource | resources/libraries/robot/performance/performance_setup.robot
+| Resource | resources/libraries/robot/dpdk/default.robot
+| Library | resources.libraries.python.topology.Topology
+| Library | resources.libraries.python.NodePath
+| Library | resources.libraries.python.InterfaceUtil
+| Library | resources.libraries.python.DPDK.DPDKTools
+| ...
+| Force Tags | 3_NODE_SINGLE_LINK_TOPO | HW_ENV | PERFTEST | NDRPDR | 1NUMA
+| ... | NIC_Intel-X710 | DPDK | ETH | L2XCFWD | BASE
+| ...
+| Suite Setup | Set up DPDK 3-node performance topology with DUT's NIC model
+| ... | L2 | Intel-X710
+| Suite Teardown | Tear down DPDK 3-node performance topology
+| ...
+| Test template | Local template
+| ...
+| Documentation | *Raw results L2 routing test cases*
+| ... | *[Top] Network Topologies:* TG-DUT1-DUT2-TG 3-node circular topology\
+| ... | with single links between nodes.
+| ... | *[Enc] Packet Encapsulations:* Eth-IPv4 for L2 frame forwarding.
+| ... | *[Cfg] DUT configuration:* DUT1 and DUT2 run the DPDK testpmd\
+| ... | application and use the io forwarding mode. DUT1 and DUT2 tested with\
+| ... | 2p10GE NIC X710 by Intel.
+| ... | *[Ver] TG verification:* TG finds and reports throughput NDR (Non Drop\
+| ... | Rate) with zero packet loss tolerance or throughput PDR (Partial Drop\
+| ... | Rate) with non-zero packet loss tolerance (LT) expressed in percentage\
+| ... | of packets transmitted. NDR and PDR are discovered for different\
+| ... | Ethernet L2 frame sizes using MLRsearch library\
+| ... | Test packets are generated by TG on\
+| ... | links to DUTs. TG traffic profile contains two L3 flow-groups\
+| ... | (flow-group per direction, 254 flows per flow-group) with\
+| ... | all packets containing Ethernet header,IPv4 header with static payload.\
+| ... | MAC addresses are matching MAC addresses of the TG node interfaces.
+
+*** Variables ***
+# X710 bandwidth limit
+| ${s_limit}= | ${10000000000}
+# Traffic profile:
+| ${traffic_profile}= | trex-sl-3n-ethip4-ip4src254
+
+*** Keywords ***
+| Local template
+| | [Documentation]
+| | ... | [Cfg] DUT runs L2 frame forwarding config.\
+| | ... | Each DUT uses ${phy_cores} physical core(s) for worker threads.
+| | ... | [Ver] Measure NDR and PDR values using MLRsearch algorithm.
+| | ...
+| | [Arguments] | ${framesize} | ${phy_cores} | ${rxq}=${None}
+| | ...
+| | Set Test Variable | ${framesize}
+| | Set Test Variable | ${min_rate} | ${20000}
+| | ${get_framesize}= | Get Frame Size | ${framesize}
+| | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
+| | ${jumbo_frames}= | Set Variable If
+| | ... | ${get_framesize} < ${1522} | ${False} | ${True}
+| | ...
+| | Given Start L2FWD on all DUTs | ${phy_cores} | ${rxq} | ${jumbo_frames}
+| | Then Find NDR and PDR intervals using optimized search
+| | ... | ${framesize} | ${traffic_profile} | ${min_rate} | ${max_rate}
+
+*** Test Cases ***
+| tc01-64B-1t1c-eth-l2xcbase-testpmd-ndrpdr
+| | [Tags] | 64B | 1C
+| | framesize=${64} | phy_cores=${1}
+
+| tc02-1518B-1t1c-eth-l2xcbase-testpmd-ndrpdr
+| | [Tags] | 1518B | 1C
+| | framesize=${1518} | phy_cores=${1}
+
+| tc03-9000B-1t1c-eth-l2xcbase-testpmd-ndrpdr
+| | [Tags] | 9000B | 1C
+| | framesize=${9000} | phy_cores=${1}
+
+| tc04-IMIX-1t1c-eth-l2xcbase-testpmd-ndrpdr
+| | [Tags] | IMIX | 1C
+| | framesize=IMIX_v4_1 | phy_cores=${1}
+
+| tc05-64B-2t2c-eth-l2xcbase-testpmd-ndrpdr
+| | [Tags] | 64B | 2C
+| | framesize=${64} | phy_cores=${2}
+
+| tc06-1518B-2t2c-eth-l2xcbase-testpmd-ndrpdr
+| | [Tags] | 1518B | 2C
+| | framesize=${1518} | phy_cores=${2}
+
+| tc07-9000B-2t2c-eth-l2xcbase-testpmd-ndrpdr
+| | [Tags] | 9000B | 2C
+| | framesize=${9000} | phy_cores=${2}
+
+| tc08-IMIX-2t2c-eth-l2xcbase-testpmd-ndrpdr
+| | [Tags] | IMIX | 2C
+| | framesize=IMIX_v4_1 | phy_cores=${2}
+
+| tc09-64B-4t4c-eth-l2xcbase-testpmd-ndrpdr
+| | [Tags] | 64B | 4C
+| | framesize=${64} | phy_cores=${4}
+
+| tc10-1518B-4t4c-eth-l2xcbase-testpmd-ndrpdr
+| | [Tags] | 1518B | 4C
+| | framesize=${1518} | phy_cores=${4}
+
+| tc11-9000B-4t4c-eth-l2xcbase-testpmd-ndrpdr
+| | [Tags] | 9000B | 4C
+| | framesize=${9000} | phy_cores=${4}
+
+| tc12-IMIX-4t4c-eth-l2xcbase-testpmd-ndrpdr
+| | [Tags] | IMIX | 4C
+| | framesize=IMIX_v4_1 | phy_cores=${4}
diff --git a/tests/dpdk/perf/10ge2p1x710-eth-l2xcbase-testpmd-ndrpdrdisc.robot b/tests/dpdk/perf/10ge2p1x710-eth-l2xcbase-testpmd-ndrpdrdisc.robot
deleted file mode 100644 (file)
index fb42ee5..0000000
+++ /dev/null
@@ -1,422 +0,0 @@
-# Copyright (c) 2018 Cisco and/or its affiliates.
-# Licensed under the Apache License, Version 2.0 (the "License");
-# you may not use this file except in compliance with the License.
-# You may obtain a copy of the License at:
-#
-#     http://www.apache.org/licenses/LICENSE-2.0
-#
-# Unless required by applicable law or agreed to in writing, software
-# distributed under the License is distributed on an "AS IS" BASIS,
-# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
-# See the License for the specific language governing permissions and
-# limitations under the License.
-
-*** Settings ***
-| Resource | resources/libraries/robot/performance/performance_setup.robot
-| Resource | resources/libraries/robot/dpdk/default.robot
-| Library | resources.libraries.python.topology.Topology
-| Library | resources.libraries.python.NodePath
-| Library | resources.libraries.python.InterfaceUtil
-| Library | resources.libraries.python.DPDK.DPDKTools
-| Force Tags | 3_NODE_SINGLE_LINK_TOPO | HW_ENV | PERFTEST | NDRPDRDISC | 1NUMA
-| ... | NIC_Intel-X710 | DPDK | ETH | L2XCFWD | BASE
-| Suite Setup | Set up DPDK 3-node performance topology with DUT's NIC model
-| ... | L2 | Intel-X710
-| Suite Teardown | Tear down DPDK 3-node performance topology
-| Documentation | *RFC2544: Pkt throughput IPv4 routing test cases*
-| ...
-| ... | *[Top] Network Topologies:* TG-DUT1-DUT2-TG 3-node circular topology\
-| ... | with single links between nodes.
-| ... | *[Enc] Packet Encapsulations:* Eth-IPv4 for L2 frame forwarding.
-| ... | *[Cfg] DUT configuration:* DUT1 and DUT2 run the DPDK testpmd\
-| ... | application and use the io forwarding mode. DUT1 and DUT2 tested with\
-| ... | 2p10GE NIC X710 by Intel.
-| ... | *[Ver] TG verification:* TG finds and reports throughput NDR (Non Drop\
-| ... | Rate) with zero packet loss tolerance or throughput PDR (Partial Drop\
-| ... | Rate) with non-zero packet loss tolerance (LT) expressed in percentage\
-| ... | of packets transmitted. NDR and PDR are discovered for different\
-| ... | Ethernet L2 frame sizes using either binary search or linear search\
-| ... | algorithms with configured starting rate and final step that determines\
-| ... | throughput measurement resolution. Test packets are generated by TG on\
-| ... | links to DUTs. TG traffic profile contains two L3 flow-groups\
-| ... | (flow-group per direction, 253 flows per flow-group) with all packets\
-| ... | containing Ethernet header, IPv4 header with IP protocol=61 and static\
-| ... | payload. MAC addresses are matching MAC addresses of the TG node\
-| ... | interfaces.
-| ... | *[Ref] Applicable standard specifications:* RFC2544.
-
-*** Variables ***
-# X520-DA2 bandwidth limit
-| ${s_limit} | ${10000000000}
-# Traffic profile:
-| ${traffic_profile} | trex-sl-3n-ethip4-ip4src254
-
-*** Test Cases ***
-| tc01-64B-1t1c-eth-l2xcbase-testpmd-ndrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with 1 phy core,\
-| | ... | 1 receive queue per NIC port.
-| | ... | [Ver] Find NDR for 64 Byte frames using binary search start at 10GE\
-| | ... | linerate, step 100kpps.
-| | ...
-| | [Tags] | 64B | 1C | NDRDISC
-| | ...
-| | ${framesize}= | Set Variable | ${64}
-| | ${min_rate}= | Set Variable | ${100000}
-| | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L2FWD on all DUTs | 1 | 1 | no
-| | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile}
-| | ... | ${min_rate} | ${max_rate} | ${threshold}
-
-| tc02-64B-1t1c-eth-l2xcbase-testpmd-pdrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with 1 phy core,\
-| | ... | 1 receive queue per NIC port.
-| | ... | [Ver] Find PDR for 64 Byte frames using binary search start at 10GE\
-| | ... | linerate, step 100kpps, LT=0.5%.
-| | ...
-| | [Tags] | 64B | 1C | PDRDISC | SKIP_PATCH
-| | ...
-| | ${framesize}= | Set Variable | ${64}
-| | ${min_rate}= | Set Variable | ${100000}
-| | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L2FWD on all DUTs | 1 | 1 | no
-| | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile}
-| | ... | ${min_rate} | ${max_rate} | ${threshold} | ${perf_pdr_loss_acceptance}
-| | ... | ${perf_pdr_loss_acceptance_type}
-
-| tc03-1518B-1t1c-eth-l2xcbase-testpmd-ndrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with 1 phy core,\
-| | ... | 1 receive queue per NIC port.
-| | ... | [Ver] Find NDR for 1518 Byte frames using binary search start at 10GE\
-| | ... | linerate, step 10kpps.
-| | ...
-| | [Tags] | 1518B | 1C | NDRDISC
-| | ...
-| | ${framesize}= | Set Variable | ${1518}
-| | ${min_rate}= | Set Variable | ${10000}
-| | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L2FWD on all DUTs | 1 | 1 | no
-| | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile}
-| | ... | ${min_rate} | ${max_rate} | ${threshold}
-
-| tc04-1518B-1t1c-eth-l2xcbase-testpmd-pdrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with 1 phy core,\
-| | ... | 1 receive queue per NIC port.
-| | ... | [Ver] Find PDR for 1518 Byte frames using binary search start at 10GE\
-| | ... | linerate, step 10kpps, LT=0.5%.
-| | ...
-| | [Tags] | 1518B | 1C | PDRDISC | SKIP_PATCH
-| | ...
-| | ${framesize}= | Set Variable | ${1518}
-| | ${min_rate}= | Set Variable | ${10000}
-| | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L2FWD on all DUTs | 1 | 1 | no
-| | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile}
-| | ... | ${min_rate} | ${max_rate} | ${threshold} | ${perf_pdr_loss_acceptance}
-| | ... | ${perf_pdr_loss_acceptance_type}
-
-| tc05-9000B-1t1c-eth-l2xcbase-testpmd-ndrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with 1 phy core,\
-| | ... | 1 receive queue per NIC port.
-| | ... | [Ver] Find NDR for 9000 Byte frames using binary search start at 10GE\
-| | ... | linerate, step 10kpps.
-| | ...
-| | [Tags] | 9000B | 1C | NDRDISC
-| | ...
-| | ${framesize}= | Set Variable | ${9000}
-| | ${min_rate}= | Set Variable | ${10000}
-| | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L2FWD on all DUTs | 1 | 1 | yes
-| | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile}
-| | ... | ${min_rate} | ${max_rate} | ${threshold}
-
-| tc06-9000B-1t1c-eth-l2xcbase-testpmd-pdrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with 1 phy core,\
-| | ... | 1 receive queue per NIC port.
-| | ... | [Ver] Find PDR for 9000 Byte frames using binary search start at 10GE\
-| | ... | linerate, step 10kpps, LT=0.5%.
-| | ...
-| | [Tags] | 9000B | 1C | PDRDISC | SKIP_PATCH
-| | ...
-| | ${framesize}= | Set Variable | ${9000}
-| | ${min_rate}= | Set Variable | ${10000}
-| | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L2FWD on all DUTs | 1 | 1 | yes
-| | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile}
-| | ... | ${min_rate} | ${max_rate} | ${threshold} | ${perf_pdr_loss_acceptance}
-| | ... | ${perf_pdr_loss_acceptance_type}
-
-| tc07-64B-2t2c-eth-l2xcbase-testpmd-ndrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with 2 phy\
-| | ... | cores, 1 receive queue per NIC port.
-| | ... | [Ver] Find NDR for 64 Byte frames using binary search start at 10GE\
-| | ... | linerate, step 100kpps.
-| | ...
-| | [Tags] | 64B | 2C | NDRDISC
-| | ...
-| | ${framesize}= | Set Variable | ${64}
-| | ${min_rate}= | Set Variable | ${100000}
-| | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L2FWD on all DUTs | 2 | 1 | no
-| | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile}
-| | ... | ${min_rate} | ${max_rate} | ${threshold}
-
-| tc08-64B-2t2c-eth-l2xcbase-testpmd-pdrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with 2 phy\
-| | ... | cores, 1 receive queue per NIC port.
-| | ... | [Ver] Find PDR for 64 Byte frames using binary search start at 10GE\
-| | ... | linerate, step 100kpps, LT=0.5%.
-| | ...
-| | [Tags] | 64B | 2C | PDRDISC | SKIP_PATCH
-| | ...
-| | ${framesize}= | Set Variable | ${64}
-| | ${min_rate}= | Set Variable | ${100000}
-| | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L2FWD on all DUTs | 2 | 1 | no
-| | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile}
-| | ... | ${min_rate} | ${max_rate} | ${threshold} | ${perf_pdr_loss_acceptance}
-| | ... | ${perf_pdr_loss_acceptance_type}
-
-| tc09-1518B-2t2c-eth-l2xcbase-testpmd-ndrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with 2 phy\
-| | ... | cores, 1 receive queue per NIC port.
-| | ... | [Ver] Find NDR for 1518 Byte frames using binary search start at 10GE\
-| | ... | linerate, step 10kpps.
-| | ...
-| | [Tags] | 1518B | 2C | NDRDISC | SKIP_PATCH
-| | ...
-| | ${framesize}= | Set Variable | ${1518}
-| | ${min_rate}= | Set Variable | ${10000}
-| | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L2FWD on all DUTs | 2 | 1 | no
-| | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile}
-| | ... | ${min_rate} | ${max_rate} | ${threshold}
-
-| tc10-1518B-2t2c-eth-l2xcbase-testpmd-pdrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with 2 phy\
-| | ... | cores, 1 receive queue per NIC port.
-| | ... | [Ver] Find PDR for 1518 Byte frames using binary search start at 10GE\
-| | ... | linerate, step 10kpps, LT=0.5%.
-| | ...
-| | [Tags] | 1518B | 2C | PDRDISC | SKIP_PATCH
-| | ...
-| | ${framesize}= | Set Variable | ${1518}
-| | ${min_rate}= | Set Variable | ${10000}
-| | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L2FWD on all DUTs | 2 | 1 | no
-| | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile}
-| | ... | ${min_rate} | ${max_rate} | ${threshold} | ${perf_pdr_loss_acceptance}
-| | ... | ${perf_pdr_loss_acceptance_type}
-
-| tc11-9000B-2t2c-eth-l2xcbase-testpmd-ndrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with 2 phy\
-| | ... | cores, 1 receive queue per NIC port.
-| | ... | [Ver] Find NDR for 9000 Byte frames using binary search start at 10GE\
-| | ... | linerate, step 10kpps.
-| | ...
-| | [Tags] | 9000B | 2C | NDRDISC | SKIP_PATCH
-| | ...
-| | ${framesize}= | Set Variable | ${9000}
-| | ${min_rate}= | Set Variable | ${10000}
-| | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L2FWD on all DUTs | 2 | 1 | yes
-| | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile}
-| | ... | ${min_rate} | ${max_rate} | ${threshold}
-
-| tc12-9000B-2t2c-eth-l2xcbase-testpmd-pdrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with 2 phy\
-| | ... | cores, 1 receive queue per NIC port.
-| | ... | [Ver] Find PDR for 9000 Byte frames using binary search start at 10GE\
-| | ... | linerate, step 10kpps, LT=0.5%.
-| | ...
-| | [Tags] | 9000B | 2C | PDRDISC | SKIP_PATCH
-| | ...
-| | ${framesize}= | Set Variable | ${9000}
-| | ${min_rate}= | Set Variable | ${10000}
-| | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L2FWD on all DUTs | 2 | 1 | yes
-| | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile}
-| | ... | ${min_rate} | ${max_rate} | ${threshold} | ${perf_pdr_loss_acceptance}
-| | ... | ${perf_pdr_loss_acceptance_type}
-
-| tc13-64B-4t4c-eth-l2xcbase-testpmd-ndrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with 4 phy\
-| | ... | cores, 2 receive queues per NIC port.
-| | ... | [Ver] Find NDR for 64 Byte frames using binary search start at 10GE\
-| | ... | linerate, step 100kpps.
-| | ...
-| | [Tags] | 64B | 4C | NDRDISC
-| | ...
-| | ${framesize}= | Set Variable | ${64}
-| | ${min_rate}= | Set Variable | ${100000}
-| | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L2FWD on all DUTs | 4 | 2 | no
-| | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile}
-| | ... | ${min_rate} | ${max_rate} | ${threshold}
-
-| tc14-64B-4t4c-eth-l2xcbase-testpmd-pdrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with 4 phy\
-| | ... | cores, 2 receive queues per NIC port.
-| | ... | [Ver] Find PDR for 64 Byte frames using binary search start at 10GE\
-| | ... | linerate, step 100kpps, LT=0.5%.
-| | ...
-| | [Tags] | 64B | 4C | PDRDISC | SKIP_PATCH
-| | ...
-| | ${framesize}= | Set Variable | ${64}
-| | ${min_rate}= | Set Variable | ${100000}
-| | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L2FWD on all DUTs | 4 | 2 | no
-| | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile}
-| | ... | ${min_rate} | ${max_rate} | ${threshold} | ${perf_pdr_loss_acceptance}
-| | ... | ${perf_pdr_loss_acceptance_type}
-
-| tc15-1518B-4t4c-eth-l2xcbase-testpmd-ndrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with 4 phy\
-| | ... | cores, 2 receive queues per NIC port.
-| | ... | [Ver] Find NDR for 1518 Byte frames using binary search start at 10GE\
-| | ... | linerate, step 10kpps.
-| | ...
-| | [Tags] | 1518B | 4C | NDRDISC | SKIP_PATCH
-| | ...
-| | ${framesize}= | Set Variable | ${1518}
-| | ${min_rate}= | Set Variable | ${10000}
-| | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L2FWD on all DUTs | 4 | 2 | no
-| | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile}
-| | ... | ${min_rate} | ${max_rate} | ${threshold}
-
-| tc16-1518B-4t4c-eth-l2xcbase-testpmd-pdrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with 4 phy\
-| | ... | cores, 2 receive queues per NIC port.
-| | ... | [Ver] Find PDR for 1518 Byte frames using binary search start at 10GE\
-| | ... | linerate, step 10kpps, LT=0.5%.
-| | ...
-| | [Tags] | 1518B | 4C | PDRDISC | SKIP_PATCH
-| | ...
-| | ${framesize}= | Set Variable | ${1518}
-| | ${min_rate}= | Set Variable | ${10000}
-| | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L2FWD on all DUTs | 4 | 2 | no
-| | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile}
-| | ... | ${min_rate} | ${max_rate} | ${threshold} | ${perf_pdr_loss_acceptance}
-| | ... | ${perf_pdr_loss_acceptance_type}
-
-| tc17-9000B-4t4c-eth-l2xcbase-testpmd-ndrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with 4 phy\
-| | ... | cores, 2 receive queues per NIC port.
-| | ... | [Ver] Find NDR for 9000 Byte frames using binary search start at 10GE\
-| | ... | linerate, step 10kpps.
-| | ...
-| | [Tags] | 9000B | 4C | NDRDISC | SKIP_PATCH
-| | ...
-| | ${framesize}= | Set Variable | ${9000}
-| | ${min_rate}= | Set Variable | ${10000}
-| | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L2FWD on all DUTs | 4 | 2 | yes
-| | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile}
-| | ... | ${min_rate} | ${max_rate} | ${threshold}
-
-| tc18-9000B-4t4c-eth-l2xcbase-testpmd-pdrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with 4 phy\
-| | ... | cores, 2 receive queues per NIC port.
-| | ... | [Ver] Find PDR for 9000 Byte frames using binary search start at 10GE\
-| | ... | linerate, step 5kpps, LT=0.5%.
-| | ...
-| | [Tags] | 9000B | 4C | PDRDISC | SKIP_PATCH
-| | ...
-| | ${framesize}= | Set Variable | ${9000}
-| | ${min_rate}= | Set Variable | ${10000}
-| | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L2FWD on all DUTs | 4 | 2 | yes
-| | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile}
-| | ... | ${min_rate} | ${max_rate} | ${threshold} | ${perf_pdr_loss_acceptance}
-| | ... | ${perf_pdr_loss_acceptance_type}
diff --git a/tests/dpdk/perf/10ge2p1x710-ethip4-ip4base-l3fwd-mrr.robot b/tests/dpdk/perf/10ge2p1x710-ethip4-ip4base-l3fwd-mrr.robot
new file mode 100644 (file)
index 0000000..1835e00
--- /dev/null
@@ -0,0 +1,119 @@
+# Copyright (c) 2018 Cisco and/or its affiliates.
+# Licensed under the Apache License, Version 2.0 (the "License");
+# you may not use this file except in compliance with the License.
+# You may obtain a copy of the License at:
+#
+#     http://www.apache.org/licenses/LICENSE-2.0
+#
+# Unless required by applicable law or agreed to in writing, software
+# distributed under the License is distributed on an "AS IS" BASIS,
+# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
+# See the License for the specific language governing permissions and
+# limitations under the License.
+
+*** Settings ***
+| Resource | resources/libraries/robot/performance/performance_setup.robot
+| Resource | resources/libraries/robot/dpdk/default.robot
+| Library | resources.libraries.python.topology.Topology
+| Library | resources.libraries.python.NodePath
+| Library | resources.libraries.python.InterfaceUtil
+| Library | resources.libraries.python.DPDK.DPDKTools
+| ...
+| Force Tags | 3_NODE_SINGLE_LINK_TOPO | PERFTEST | HW_ENV | MRR | 1NUMA
+| ... | NIC_Intel-X710 | DPDK | IP4FWD | BASE | ETH
+| ...
+| Suite Setup | Set up DPDK 3-node performance topology with DUT's NIC model
+| ... | L3 | Intel-X710
+| Suite Teardown | Tear down DPDK 3-node performance topology
+| ...
+| Test template | Local template
+| ...
+| Documentation | *Raw results IPv4 routing test cases*
+| ... | *[Top] Network Topologies:* TG-DUT1-DUT2-TG 3-node circular topology\
+| ... | with single links between nodes.
+| ... | *[Enc] Packet Encapsulations:* Eth-IPv4 for L3 IPv4 routing.
+| ... | *[Cfg] DUT configuration:* DUT1 and DUT2 run the DPDK l3fwd application\
+| ... | DUT1 and DUT2 tested with 2p10GE NIC X710 Niantic by Intel.
+| ... | *[Ver] TG verification:* In MaxReceivedRate test TG sends traffic\
+| ... | at line rate and reports total received/sent packets over trial period.\
+| ... | Test packets are generated by TG on\
+| ... | links to DUTs. TG traffic profile contains two L3 flow-groups\
+| ... | (flow-group per direction, 253 flows per flow-group) with all packets\
+| ... | containing Ethernet header, IPv4 header with IP protocol=61 and static\
+| ... | payload. MAC addresses are matching MAC addresses of the TG node\
+| ... | interfaces.
+
+*** Variables ***
+# X710-DA2 bandwidth limit
+| ${s_limit}= | ${10000000000}
+# Traffic profile:
+| ${traffic_profile}= | trex-sl-3n-ethip4-ip4dst253_l3fwd
+
+*** Keywords ***
+| Local template
+| | [Documentation]
+| | ... | [Cfg] DUT runs L3 IPv4 routing config.\
+| | ... | Each DUT uses ${phy_cores} physical core(s) for worker threads.
+| | ... | [Ver] Measure MaxReceivedRate for ${framesize} frames using single\
+| | ... | trial throughput test.
+| | ...
+| | [Arguments] | ${framesize} | ${phy_cores} | ${rxq}=${None}
+| | ...
+| | Set Test Variable | ${framesize}
+| | ${get_framesize}= | Get Frame Size | ${framesize}
+| | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
+| | ${jumbo_frames}= | Set Variable If
+| | ... | ${get_framesize} < ${1522} | ${False} | ${True}
+| | ...
+| | Given Start L3FWD on all DUTs | ${phy_cores} | ${rxq} | ${jumbo_frames}
+| | Then Traffic should pass with maximum rate
+| | ... | ${max_rate}pps | ${framesize} | ${traffic_profile}
+
+*** Test Cases ***
+| tc01-64B-1t1c-ethip4-ip4base-l3fwd-mrr
+| | [Tags] | 64B | 1C
+| | framesize=${64} | phy_cores=${1}
+
+| tc02-1518B-1t1c-ethip4-ip4base-l3fwd-mrr
+| | [Tags] | 1518B | 1C
+| | framesize=${1518} | phy_cores=${1}
+
+| tc03-9000B-1t1c-ethip4-ip4base-l3fwd-mrr
+| | [Tags] | 9000B | 1C
+| | framesize=${9000} | phy_cores=${1}
+
+| tc04-IMIX-1t1c-ethip4-ip4base-l3fwd-mrr
+| | [Tags] | IMIX | 1C
+| | framesize=IMIX_v4_1 | phy_cores=${1}
+
+| tc05-64B-2t2c-ethip4-ip4base-l3fwd-mrr
+| | [Tags] | 64B | 2C
+| | framesize=${64} | phy_cores=${2}
+
+| tc06-1518B-2t2c-ethip4-ip4base-l3fwd-mrr
+| | [Tags] | 1518B | 2C
+| | framesize=${1518} | phy_cores=${2}
+
+| tc07-9000B-2t2c-ethip4-ip4base-l3fwd-mrr
+| | [Tags] | 9000B | 2C
+| | framesize=${9000} | phy_cores=${2}
+
+| tc08-IMIX-2t2c-ethip4-ip4base-l3fwd-mrr
+| | [Tags] | IMIX | 2C
+| | framesize=IMIX_v4_1 | phy_cores=${2}
+
+| tc09-64B-4t4c-ethip4-ip4base-l3fwd-mrr
+| | [Tags] | 64B | 4C
+| | framesize=${64} | phy_cores=${4}
+
+| tc10-1518B-4t4c-ethip4-ip4base-l3fwd-mrr
+| | [Tags] | 1518B | 4C
+| | framesize=${1518} | phy_cores=${4}
+
+| tc11-9000B-4t4c-ethip4-ip4base-l3fwd-mrr
+| | [Tags] | 9000B | 4C
+| | framesize=${9000} | phy_cores=${4}
+
+| tc12-IMIX-4t4c-ethip4-ip4base-l3fwd-mrr
+| | [Tags] | IMIX | 4C
+| | framesize=IMIX_v4_1 | phy_cores=${4}
diff --git a/tests/dpdk/perf/10ge2p1x710-ethip4-ip4base-l3fwd-ndrpdr.robot b/tests/dpdk/perf/10ge2p1x710-ethip4-ip4base-l3fwd-ndrpdr.robot
new file mode 100644 (file)
index 0000000..09ec4ee
--- /dev/null
@@ -0,0 +1,119 @@
+# Copyright (c) 2018 Cisco and/or its affiliates.
+# Licensed under the Apache License, Version 2.0 (the "License");
+# you may not use this file except in compliance with the License.
+# You may obtain a copy of the License at:
+#
+#     http://www.apache.org/licenses/LICENSE-2.0
+#
+# Unless required by applicable law or agreed to in writing, software
+# distributed under the License is distributed on an "AS IS" BASIS,
+# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
+# See the License for the specific language governing permissions and
+# limitations under the License.
+
+*** Settings ***
+| Resource | resources/libraries/robot/performance/performance_setup.robot
+| Resource | resources/libraries/robot/dpdk/default.robot
+| Library | resources.libraries.python.topology.Topology
+| Library | resources.libraries.python.NodePath
+| Library | resources.libraries.python.InterfaceUtil
+| Library | resources.libraries.python.DPDK.DPDKTools
+| ...
+| Force Tags | 3_NODE_SINGLE_LINK_TOPO | PERFTEST | HW_ENV | NDRPDR | 1NUMA
+| ... | NIC_Intel-X710 | DPDK | IP4FWD | BASE | ETH
+| ...
+| Suite Setup | Set up DPDK 3-node performance topology with DUT's NIC model
+| ... | L3 | Intel-X710
+| Suite Teardown | Tear down DPDK 3-node performance topology
+| ...
+| Test template | Local template
+| ...
+| Documentation | *Raw results IPv4 routing test cases*
+| ... | *[Top] Network Topologies:* TG-DUT1-DUT2-TG 3-node circular topology\
+| ... | with single links between nodes.
+| ... | *[Enc] Packet Encapsulations:* Eth-IPv4 for L3 IPv4 routing.
+| ... | *[Cfg] DUT configuration:* DUT1 and DUT2 run the DPDK l3fwd application\
+| ... | DUT1 and DUT2 tested with 2p10GE NIC X710 Niantic by Intel.
+| ... | *[Ver] TG verification:* In MaxReceivedRate test TG sends traffic\
+| ... | at line rate and reports total received/sent packets over trial period.\
+| ... | Test packets are generated by TG on\
+| ... | links to DUTs. TG traffic profile contains two L3 flow-groups\
+| ... | (flow-group per direction, 253 flows per flow-group) with all packets\
+| ... | containing Ethernet header, IPv4 header with IP protocol=61 and static\
+| ... | payload. MAC addresses are matching MAC addresses of the TG node\
+| ... | interfaces.
+
+*** Variables ***
+# X710-DA2 bandwidth limit
+| ${s_limit}= | ${10000000000}
+# Traffic profile:
+| ${traffic_profile}= | trex-sl-3n-ethip4-ip4dst253_l3fwd
+
+*** Keywords ***
+| Local template
+| | [Documentation]
+| | ... | [Cfg] DUT runs L3 IPv4 routing config.\
+| | ... | Each DUT uses ${phy_cores} physical core(s) for worker threads.
+| | ... | [Ver] Measure NDR and PDR values using MLRsearch algorithm.
+| | ...
+| | [Arguments] | ${framesize} | ${phy_cores} | ${rxq}=${None}
+| | ...
+| | Set Test Variable | ${framesize}
+| | Set Test Variable | ${min_rate} | ${20000}
+| | ${get_framesize}= | Get Frame Size | ${framesize}
+| | ${max_rate}= | Calculate pps | ${s_limit} | ${framesize}
+| | ${jumbo_frames}= | Set Variable If
+| | ... | ${get_framesize} < ${1522} | ${False} | ${True}
+| | ...
+| | Given Start L3FWD on all DUTs | ${phy_cores} | ${rxq} | ${jumbo_frames}
+| | Then Find NDR and PDR intervals using optimized search
+| | ... | ${framesize} | ${traffic_profile} | ${min_rate} | ${max_rate}
+
+*** Test Cases ***
+| tc01-64B-1t1c-ethip4-ip4base-l3fwd-ndrpdr
+| | [Tags] | 64B | 1C
+| | framesize=${64} | phy_cores=${1}
+
+| tc02-1518B-1t1c-ethip4-ip4base-l3fwd-ndrpdr
+| | [Tags] | 1518B | 1C
+| | framesize=${1518} | phy_cores=${1}
+
+| tc03-9000B-1t1c-ethip4-ip4base-l3fwd-ndrpdr
+| | [Tags] | 9000B | 1C
+| | framesize=${9000} | phy_cores=${1}
+
+| tc04-IMIX-1t1c-ethip4-ip4base-l3fwd-ndrpdr
+| | [Tags] | IMIX | 1C
+| | framesize=IMIX_v4_1 | phy_cores=${1}
+
+| tc05-64B-2t2c-ethip4-ip4base-l3fwd-ndrpdr
+| | [Tags] | 64B | 2C
+| | framesize=${64} | phy_cores=${2}
+
+| tc06-1518B-2t2c-ethip4-ip4base-l3fwd-ndrpdr
+| | [Tags] | 1518B | 2C
+| | framesize=${1518} | phy_cores=${2}
+
+| tc07-9000B-2t2c-ethip4-ip4base-l3fwd-ndrpdr
+| | [Tags] | 9000B | 2C
+| | framesize=${9000} | phy_cores=${2}
+
+| tc08-IMIX-2t2c-ethip4-ip4base-l3fwd-ndrpdr
+| | [Tags] | IMIX | 2C
+| | framesize=IMIX_v4_1 | phy_cores=${2}
+
+| tc09-64B-4t4c-ethip4-ip4base-l3fwd-ndrpdr
+| | [Tags] | 64B | 4C
+| | framesize=${64} | phy_cores=${4}
+
+| tc10-1518B-4t4c-ethip4-ip4base-l3fwd-ndrpdr
+| | [Tags] | 1518B | 4C
+| | framesize=${1518} | phy_cores=${4}
+
+| tc11-9000B-4t4c-ethip4-ip4base-l3fwd-ndrpdr
+| | [Tags] | 9000B | 4C
+| | framesize=${9000} | phy_cores=${4}
+
+| tc12-IMIX-4t4c-ethip4-ip4base-l3fwd-ndrpdr
+| | [Tags] | IMIX | 4C
+| | framesize=IMIX_v4_1 | phy_cores=${4}
diff --git a/tests/dpdk/perf/25ge2p1xxv710-eth-l2xcbase-testpmd-mrr.robot b/tests/dpdk/perf/25ge2p1xxv710-eth-l2xcbase-testpmd-mrr.robot
new file mode 100644 (file)
index 0000000..c06f140
--- /dev/null
@@ -0,0 +1,124 @@
+# Copyright (c) 2018 Cisco and/or its affiliates.
+# Licensed under the Apache License, Version 2.0 (the "License");
+# you may not use this file except in compliance with the License.
+# You may obtain a copy of the License at:
+#
+#     http://www.apache.org/licenses/LICENSE-2.0
+#
+# Unless required by applicable law or agreed to in writing, software
+# distributed under the License is distributed on an "AS IS" BASIS,
+# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
+# See the License for the specific language governing permissions and
+# limitations under the License.
+
+*** Settings ***
+| Resource | resources/libraries/robot/performance/performance_setup.robot
+| Resource | resources/libraries/robot/dpdk/default.robot
+| Library | resources.libraries.python.topology.Topology
+| Library | resources.libraries.python.NodePath
+| Library | resources.libraries.python.InterfaceUtil
+| Library | resources.libraries.python.DPDK.DPDKTools
+| ...
+| Force Tags | 3_NODE_SINGLE_LINK_TOPO | HW_ENV | PERFTEST | MRR | 1NUMA
+| ... | NIC_Intel-XXV710 | DPDK | ETH | L2XCFWD | BASE
+| ...
+| Suite Setup | Set up DPDK 3-node performance topology with DUT's NIC model
+| ... | L2 | Intel-XXV710
+| Suite Teardown | Tear down DPDK 3-node performance topology
+| ...
+| Test template | Local template
+| ...
+| Documentation | *Raw results L2 routing test cases*
+| ... | *[Top] Network Topologies:* TG-DUT1-DUT2-TG 3-node circular topology\
+| ... | with single links between nodes.
+| ... | *[Enc] Packet Encapsulations:* Eth-IPv4 for L2 frame forwarding.
+| ... | *[Cfg] DUT configuration:* DUT1 and DUT2 run the DPDK testpmd\
+| ... | application and use the io forwarding mode. DUT1 and DUT2 tested with\
+| ... | 2p25GE NIC XXV710 by Intel.
+| ... | *[Ver] TG verification:* In MaxReceivedRate test TG sends traffic\
+| ... | at line rate and reports total received/sent packets over trial period.\
+| ... | Test packets are generated by TG on\
+| ... | links to DUTs. TG traffic profile contains two L3 flow-groups\
+| ... | (flow-group per direction, 254 flows per flow-group) with all packets\
+| ... | containing Ethernet header, IPv4 header with IP protocol=61 and static\
+| ... | payload. MAC addresses are matching MAC addresses of the TG node\
+| ... | interfaces.
+
+*** Variables ***
+# XXV10-DA2 bandwidth limit ~49Gbps/2=24.5Gbps
+| ${s_24.5G}= | ${24500000000}
+# XXV710-DA2 Mpps limit 37.5Mpps/2=18.75Mpps
+| ${s_18.75Mpps}= | ${18750000}
+# Traffic profile:
+| ${traffic_profile}= | trex-sl-3n-ethip4-ip4src254
+
+*** Keywords ***
+| Local template
+| | [Documentation]
+| | ... | [Cfg] DUT runs L2 frame forwarding config.\
+| | ... | Each DUT uses ${phy_cores} physical core(s) for worker threads.
+| | ... | [Ver] Measure MaxReceivedRate for ${framesize} frames using single\
+| | ... | trial throughput test.
+| | ...
+| | [Arguments] | ${framesize} | ${phy_cores} | ${rxq}=${None}
+| | ...
+| | Set Test Variable | ${framesize}
+| | ${get_framesize}= | Get Frame Size | ${framesize}
+| | ${max_rate}= | Calculate pps | ${s_24.5G} | ${get_framesize}
+| | ${max_rate}= | Set Variable If
+| | ... | ${max_rate} > ${s_18.75Mpps} | ${s_18.75Mpps} | ${max_rate}
+| | ${jumbo_frames}= | Set Variable If
+| | ... | ${get_framesize} < ${1522} | ${False} | ${True}
+| | ...
+| | Given Start L2FWD on all DUTs | ${phy_cores} | ${rxq} | ${jumbo_frames}
+| | Then Traffic should pass with maximum rate
+| | ... | ${max_rate}pps | ${framesize} | ${traffic_profile}
+
+*** Test Cases ***
+| tc01-64B-1t1c-eth-l2xcbase-testpmd-mrr
+| | [Tags] | 64B | 1C
+| | framesize=${64} | phy_cores=${1}
+
+| tc02-1518B-1t1c-eth-l2xcbase-testpmd-mrr
+| | [Tags] | 1518B | 1C
+| | framesize=${1518} | phy_cores=${1}
+
+| tc03-9000B-1t1c-eth-l2xcbase-testpmd-mrr
+| | [Tags] | 9000B | 1C
+| | framesize=${9000} | phy_cores=${1}
+
+| tc04-IMIX-1t1c-eth-l2xcbase-testpmd-mrr
+| | [Tags] | IMIX | 1C
+| | framesize=IMIX_v4_1 | phy_cores=${1}
+
+| tc05-64B-2t2c-eth-l2xcbase-testpmd-mrr
+| | [Tags] | 64B | 2C
+| | framesize=${64} | phy_cores=${2}
+
+| tc06-1518B-2t2c-eth-l2xcbase-testpmd-mrr
+| | [Tags] | 1518B | 2C
+| | framesize=${1518} | phy_cores=${2}
+
+| tc07-9000B-2t2c-eth-l2xcbase-testpmd-mrr
+| | [Tags] | 9000B | 2C
+| | framesize=${9000} | phy_cores=${2}
+
+| tc08-IMIX-2t2c-eth-l2xcbase-testpmd-mrr
+| | [Tags] | IMIX | 2C
+| | framesize=IMIX_v4_1 | phy_cores=${2}
+
+| tc09-64B-4t4c-eth-l2xcbase-testpmd-mrr
+| | [Tags] | 64B | 4C
+| | framesize=${64} | phy_cores=${4}
+
+| tc10-1518B-4t4c-eth-l2xcbase-testpmd-mrr
+| | [Tags] | 1518B | 4C
+| | framesize=${1518} | phy_cores=${4}
+
+| tc11-9000B-4t4c-eth-l2xcbase-testpmd-mrr
+| | [Tags] | 9000B | 4C
+| | framesize=${9000} | phy_cores=${4}
+
+| tc12-IMIX-4t4c-eth-l2xcbase-testpmd-mrr
+| | [Tags] | IMIX | 4C
+| | framesize=IMIX_v4_1 | phy_cores=${4}
diff --git a/tests/dpdk/perf/25ge2p1xxv710-eth-l2xcbase-testpmd-ndrpdr.robot b/tests/dpdk/perf/25ge2p1xxv710-eth-l2xcbase-testpmd-ndrpdr.robot
new file mode 100644 (file)
index 0000000..8656a7a
--- /dev/null
@@ -0,0 +1,126 @@
+# Copyright (c) 2018 Cisco and/or its affiliates.
+# Licensed under the Apache License, Version 2.0 (the "License");
+# you may not use this file except in compliance with the License.
+# You may obtain a copy of the License at:
+#
+#     http://www.apache.org/licenses/LICENSE-2.0
+#
+# Unless required by applicable law or agreed to in writing, software
+# distributed under the License is distributed on an "AS IS" BASIS,
+# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
+# See the License for the specific language governing permissions and
+# limitations under the License.
+
+*** Settings ***
+| Resource | resources/libraries/robot/performance/performance_setup.robot
+| Resource | resources/libraries/robot/dpdk/default.robot
+| Library | resources.libraries.python.topology.Topology
+| Library | resources.libraries.python.NodePath
+| Library | resources.libraries.python.InterfaceUtil
+| Library | resources.libraries.python.DPDK.DPDKTools
+| ...
+| Force Tags | 3_NODE_SINGLE_LINK_TOPO | HW_ENV | PERFTEST | NDRPDR | 1NUMA
+| ... | NIC_Intel-XXV710 | DPDK | ETH | L2XCFWD | BASE
+| ...
+| Suite Setup | Set up DPDK 3-node performance topology with DUT's NIC model
+| ... | L2 | Intel-XXV710
+| Suite Teardown | Tear down DPDK 3-node performance topology
+| ...
+| Test template | Local template
+| ...
+| Documentation | *Raw results L2 routing test cases*
+| ... | *[Top] Network Topologies:* TG-DUT1-DUT2-TG 3-node circular topology\
+| ... | with single links between nodes.
+| ... | *[Enc] Packet Encapsulations:* Eth-IPv4 for L2 frame forwarding.
+| ... | *[Cfg] DUT configuration:* DUT1 and DUT2 run the DPDK testpmd\
+| ... | application and use the io forwarding mode. DUT1 and DUT2 tested with\
+| ... | 2p25GE NIC XXV710 by Intel.
+| ... | *[Ver] TG verification:* TG finds and reports throughput NDR (Non Drop\
+| ... | Rate) with zero packet loss tolerance or throughput PDR (Partial Drop\
+| ... | Rate) with non-zero packet loss tolerance (LT) expressed in percentage\
+| ... | of packets transmitted. NDR and PDR are discovered for different\
+| ... | Ethernet L2 frame sizes using MLRsearch library\
+| ... | Test packets are generated by TG on\
+| ... | links to DUTs. TG traffic profile contains two L3 flow-groups\
+| ... | (flow-group per direction, 254 flows per flow-group) with\
+| ... | all packets containing Ethernet header,IPv4 header with static payload.\
+| ... | MAC addresses are matching MAC addresses of the TG node interfaces.
+
+*** Variables ***
+# XXV10-DA2 bandwidth limit ~49Gbps/2=24.5Gbps
+| ${s_24.5G}= | ${24500000000}
+# XXV710-DA2 Mpps limit 37.5Mpps/2=18.75Mpps
+| ${s_18.75Mpps}= | ${18750000}
+# Traffic profile:
+| ${traffic_profile}= | trex-sl-3n-ethip4-ip4src254
+
+*** Keywords ***
+| Local template
+| | [Documentation]
+| | ... | [Cfg] DUT runs L2 frame forwarding config.\
+| | ... | Each DUT uses ${phy_cores} physical core(s) for worker threads.
+| | ... | [Ver] Measure NDR and PDR values using MLRsearch algorithm.
+| | ...
+| | [Arguments] | ${framesize} | ${phy_cores} | ${rxq}=${None}
+| | ...
+| | Set Test Variable | ${framesize}
+| | Set Test Variable | ${min_rate} | ${20000}
+| | ${get_framesize}= | Get Frame Size | ${framesize}
+| | ${max_rate}= | Calculate pps | ${s_24.5G} | ${get_framesize}
+| | ${max_rate}= | Set Variable If
+| | ... | ${max_rate} > ${s_18.75Mpps} | ${s_18.75Mpps} | ${max_rate}
+| | ${jumbo_frames}= | Set Variable If
+| | ... | ${get_framesize} < ${1522} | ${False} | ${True}
+| | ...
+| | Given Start L2FWD on all DUTs | ${phy_cores} | ${rxq} | ${jumbo_frames}
+| | Then Find NDR and PDR intervals using optimized search
+| | ... | ${framesize} | ${traffic_profile} | ${min_rate} | ${max_rate}
+
+*** Test Cases ***
+| tc01-64B-1t1c-eth-l2xcbase-testpmd-ndrpdr
+| | [Tags] | 64B | 1C
+| | framesize=${64} | phy_cores=${1}
+
+| tc02-1518B-1t1c-eth-l2xcbase-testpmd-ndrpdr
+| | [Tags] | 1518B | 1C
+| | framesize=${1518} | phy_cores=${1}
+
+| tc03-9000B-1t1c-eth-l2xcbase-testpmd-ndrpdr
+| | [Tags] | 9000B | 1C
+| | framesize=${9000} | phy_cores=${1}
+
+| tc04-IMIX-1t1c-eth-l2xcbase-testpmd-ndrpdr
+| | [Tags] | IMIX | 1C
+| | framesize=IMIX_v4_1 | phy_cores=${1}
+
+| tc05-64B-2t2c-eth-l2xcbase-testpmd-ndrpdr
+| | [Tags] | 64B | 2C
+| | framesize=${64} | phy_cores=${2}
+
+| tc06-1518B-2t2c-eth-l2xcbase-testpmd-ndrpdr
+| | [Tags] | 1518B | 2C
+| | framesize=${1518} | phy_cores=${2}
+
+| tc07-9000B-2t2c-eth-l2xcbase-testpmd-ndrpdr
+| | [Tags] | 9000B | 2C
+| | framesize=${9000} | phy_cores=${2}
+
+| tc08-IMIX-2t2c-eth-l2xcbase-testpmd-ndrpdr
+| | [Tags] | IMIX | 2C
+| | framesize=IMIX_v4_1 | phy_cores=${2}
+
+| tc09-64B-4t4c-eth-l2xcbase-testpmd-ndrpdr
+| | [Tags] | 64B | 4C
+| | framesize=${64} | phy_cores=${4}
+
+| tc10-1518B-4t4c-eth-l2xcbase-testpmd-ndrpdr
+| | [Tags] | 1518B | 4C
+| | framesize=${1518} | phy_cores=${4}
+
+| tc11-9000B-4t4c-eth-l2xcbase-testpmd-ndrpdr
+| | [Tags] | 9000B | 4C
+| | framesize=${9000} | phy_cores=${4}
+
+| tc12-IMIX-4t4c-eth-l2xcbase-testpmd-ndrpdr
+| | [Tags] | IMIX | 4C
+| | framesize=IMIX_v4_1 | phy_cores=${4}
diff --git a/tests/dpdk/perf/25ge2p1xxv710-ethip4-ip4base-l3fwd-mrr.robot b/tests/dpdk/perf/25ge2p1xxv710-ethip4-ip4base-l3fwd-mrr.robot
new file mode 100644 (file)
index 0000000..2869776
--- /dev/null
@@ -0,0 +1,123 @@
+# Copyright (c) 2018 Cisco and/or its affiliates.
+# Licensed under the Apache License, Version 2.0 (the "License");
+# you may not use this file except in compliance with the License.
+# You may obtain a copy of the License at:
+#
+#     http://www.apache.org/licenses/LICENSE-2.0
+#
+# Unless required by applicable law or agreed to in writing, software
+# distributed under the License is distributed on an "AS IS" BASIS,
+# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
+# See the License for the specific language governing permissions and
+# limitations under the License.
+
+*** Settings ***
+| Resource | resources/libraries/robot/performance/performance_setup.robot
+| Resource | resources/libraries/robot/dpdk/default.robot
+| Library | resources.libraries.python.topology.Topology
+| Library | resources.libraries.python.NodePath
+| Library | resources.libraries.python.InterfaceUtil
+| Library | resources.libraries.python.DPDK.DPDKTools
+| ...
+| Force Tags | 3_NODE_SINGLE_LINK_TOPO | PERFTEST | HW_ENV | MRR | 1NUMA
+| ... | NIC_Intel-XXV710 | DPDK | IP4FWD | BASE | ETH
+| ...
+| Suite Setup | Set up DPDK 3-node performance topology with DUT's NIC model
+| ... | L3 | Intel-XXV710
+| Suite Teardown | Tear down DPDK 3-node performance topology
+| ...
+| Test template | Local template
+| ...
+| Documentation | *Raw results IPv4 routing test cases*
+| ... | *[Top] Network Topologies:* TG-DUT1-DUT2-TG 3-node circular topology\
+| ... | with single links between nodes.
+| ... | *[Enc] Packet Encapsulations:* Eth-IPv4 for L3 IPv4 routing.
+| ... | *[Cfg] DUT configuration:* DUT1 and DUT2 run the DPDK l3fwd application\
+| ... | DUT1 and DUT2 tested with 2p25GE NIC XXV710 by Intel.
+| ... | *[Ver] TG verification:* In MaxReceivedRate test TG sends traffic\
+| ... | at line rate and reports total received/sent packets over trial period.\
+| ... | Test packets are generated by TG on\
+| ... | links to DUTs. TG traffic profile contains two L3 flow-groups\
+| ... | (flow-group per direction, 253 flows per flow-group) with all packets\
+| ... | containing Ethernet header, IPv4 header with IP protocol=61 and static\
+| ... | payload. MAC addresses are matching MAC addresses of the TG node\
+| ... | interfaces.
+
+*** Variables ***
+# XXV710-DA2 bandwidth limit ~49Gbps/2=24.5Gbps
+| ${s_24.5G}= | ${24500000000}
+# XXV710-DA2 Mpps limit 37.5Mpps/2=18.75Mpps
+| ${s_18.75Mpps}= | ${18750000}
+# Traffic profile:
+| ${traffic_profile}= | trex-sl-3n-ethip4-ip4dst253_l3fwd
+
+*** Keywords ***
+| Local template
+| | [Documentation]
+| | ... | [Cfg] DUT runs L3 IPv4 routing config.\
+| | ... | Each DUT uses ${phy_cores} physical core(s) for worker threads.
+| | ... | [Ver] Measure MaxReceivedRate for ${framesize} frames using single\
+| | ... | trial throughput test.
+| | ...
+| | [Arguments] | ${framesize} | ${phy_cores} | ${rxq}=${None}
+| | ...
+| | Set Test Variable | ${framesize}
+| | ${get_framesize}= | Get Frame Size | ${framesize}
+| | ${max_rate}= | Calculate pps | ${s_24.5G} | ${get_framesize}
+| | ${max_rate}= | Set Variable If
+| | ... | ${max_rate} > ${s_18.75Mpps} | ${s_18.75Mpps} | ${max_rate}
+| | ${jumbo_frames}= | Set Variable If
+| | ... | ${get_framesize} < ${1522} | ${False} | ${True}
+| | ...
+| | Given Start L3FWD on all DUTs | ${phy_cores} | ${rxq} | ${jumbo_frames}
+| | Then Traffic should pass with maximum rate
+| | ... | ${max_rate}pps | ${framesize} | ${traffic_profile}
+
+*** Test Cases ***
+| tc01-64B-1t1c-ethip4-ip4base-l3fwd-mrr
+| | [Tags] | 64B | 1C
+| | framesize=${64} | phy_cores=${1}
+
+| tc02-1518B-1t1c-ethip4-ip4base-l3fwd-mrr
+| | [Tags] | 1518B | 1C
+| | framesize=${1518} | phy_cores=${1}
+
+| tc03-9000B-1t1c-ethip4-ip4base-l3fwd-mrr
+| | [Tags] | 9000B | 1C
+| | framesize=${9000} | phy_cores=${1}
+
+| tc04-IMIX-1t1c-ethip4-ip4base-l3fwd-mrr
+| | [Tags] | IMIX | 1C
+| | framesize=IMIX_v4_1 | phy_cores=${1}
+
+| tc05-64B-2t2c-ethip4-ip4base-l3fwd-mrr
+| | [Tags] | 64B | 2C
+| | framesize=${64} | phy_cores=${2}
+
+| tc06-1518B-2t2c-ethip4-ip4base-l3fwd-mrr
+| | [Tags] | 1518B | 2C
+| | framesize=${1518} | phy_cores=${2}
+
+| tc07-9000B-2t2c-ethip4-ip4base-l3fwd-mrr
+| | [Tags] | 9000B | 2C
+| | framesize=${9000} | phy_cores=${2}
+
+| tc08-IMIX-2t2c-ethip4-ip4base-l3fwd-mrr
+| | [Tags] | IMIX | 2C
+| | framesize=IMIX_v4_1 | phy_cores=${2}
+
+| tc09-64B-4t4c-ethip4-ip4base-l3fwd-mrr
+| | [Tags] | 64B | 4C
+| | framesize=${64} | phy_cores=${4}
+
+| tc10-1518B-4t4c-ethip4-ip4base-l3fwd-mrr
+| | [Tags] | 1518B | 4C
+| | framesize=${1518} | phy_cores=${4}
+
+| tc11-9000B-4t4c-ethip4-ip4base-l3fwd-mrr
+| | [Tags] | 9000B | 4C
+| | framesize=${9000} | phy_cores=${4}
+
+| tc12-IMIX-4t4c-ethip4-ip4base-l3fwd-mrr
+| | [Tags] | IMIX | 4C
+| | framesize=IMIX_v4_1 | phy_cores=${4}
diff --git a/tests/dpdk/perf/25ge2p1xxv710-ethip4-ip4base-l3fwd-ndrpdr.robot b/tests/dpdk/perf/25ge2p1xxv710-ethip4-ip4base-l3fwd-ndrpdr.robot
new file mode 100644 (file)
index 0000000..39334a1
--- /dev/null
@@ -0,0 +1,125 @@
+# Copyright (c) 2018 Cisco and/or its affiliates.
+# Licensed under the Apache License, Version 2.0 (the "License");
+# you may not use this file except in compliance with the License.
+# You may obtain a copy of the License at:
+#
+#     http://www.apache.org/licenses/LICENSE-2.0
+#
+# Unless required by applicable law or agreed to in writing, software
+# distributed under the License is distributed on an "AS IS" BASIS,
+# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
+# See the License for the specific language governing permissions and
+# limitations under the License.
+
+*** Settings ***
+| Resource | resources/libraries/robot/performance/performance_setup.robot
+| Resource | resources/libraries/robot/dpdk/default.robot
+| Library | resources.libraries.python.topology.Topology
+| Library | resources.libraries.python.NodePath
+| Library | resources.libraries.python.InterfaceUtil
+| Library | resources.libraries.python.DPDK.DPDKTools
+| ...
+| Force Tags | 3_NODE_SINGLE_LINK_TOPO | PERFTEST | HW_ENV | NDRPDR | 1NUMA
+| ... | NIC_Intel-XXV710 | DPDK | IP4FWD | BASE | ETH
+| ...
+| Suite Setup | Set up DPDK 3-node performance topology with DUT's NIC model
+| ... | L3 | Intel-XXV710
+| Suite Teardown | Tear down DPDK 3-node performance topology
+| ...
+| Test template | Local template
+| ...
+| Documentation | *Raw results IPv4 routing test cases*
+| ... | *[Top] Network Topologies:* TG-DUT1-DUT2-TG 3-node circular topology\
+| ... | with single links between nodes.
+| ... | *[Enc] Packet Encapsulations:* Eth-IPv4 for L3 IPv4 routing.
+| ... | *[Cfg] DUT configuration:* DUT1 and DUT2 run the DPDK l3fwd application\
+| ... | DUT1 and DUT2 tested with 2p25GE NIC XXV710 by Intel.
+| ... | *[Ver] TG verification:* TG finds and reports throughput NDR (Non Drop\
+| ... | Rate) with zero packet loss tolerance or throughput PDR (Partial Drop\
+| ... | Rate) with non-zero packet loss tolerance (LT) expressed in percentage\
+| ... | of packets transmitted. NDR and PDR are discovered for different\
+| ... | Ethernet L2 frame sizes using MLRsearch library\
+| ... | Test packets are generated by TG on\
+| ... | links to DUTs. TG traffic profile contains two L3 flow-groups\
+| ... | (flow-group per direction, 253 flows per flow-group) with\
+| ... | all packets containing Ethernet header,IPv4 header with static payload.\
+| ... | MAC addresses are matching MAC addresses of the TG node interfaces.
+
+*** Variables ***
+# XXV710-DA2 bandwidth limit ~49Gbps/2=24.5Gbps
+| ${s_24.5G}= | ${24500000000}
+# XXV710-DA2 Mpps limit 37.5Mpps/2=18.75Mpps
+| ${s_18.75Mpps}= | ${18750000}
+# Traffic profile:
+| ${traffic_profile}= | trex-sl-3n-ethip4-ip4dst253_l3fwd
+
+*** Keywords ***
+| Local template
+| | [Documentation]
+| | ... | [Cfg] DUT runs L3 IPv4 routing config.\
+| | ... | Each DUT uses ${phy_cores} physical core(s) for worker threads.
+| | ... | [Ver] Measure NDR and PDR values using MLRsearch algorithm.
+| | ...
+| | [Arguments] | ${framesize} | ${phy_cores} | ${rxq}=${None}
+| | ...
+| | Set Test Variable | ${framesize}
+| | Set Test Variable | ${min_rate} | ${20000}
+| | ${get_framesize}= | Get Frame Size | ${framesize}
+| | ${max_rate}= | Calculate pps | ${s_24.5G} | ${get_framesize}
+| | ${max_rate}= | Set Variable If
+| | ... | ${max_rate} > ${s_18.75Mpps} | ${s_18.75Mpps} | ${max_rate}
+| | ${jumbo_frames}= | Set Variable If
+| | ... | ${get_framesize} < ${1522} | ${False} | ${True}
+| | ...
+| | Given Start L3FWD on all DUTs | ${phy_cores} | ${rxq} | ${jumbo_frames}
+| | Then Find NDR and PDR intervals using optimized search
+| | ... | ${framesize} | ${traffic_profile} | ${min_rate} | ${max_rate}
+
+*** Test Cases ***
+| tc01-64B-1t1c-ethip4-ip4base-l3fwd-ndrpdr
+| | [Tags] | 64B | 1C
+| | framesize=${64} | phy_cores=${1}
+
+| tc02-1518B-1t1c-ethip4-ip4base-l3fwd-ndrpdr
+| | [Tags] | 1518B | 1C
+| | framesize=${1518} | phy_cores=${1}
+
+| tc03-9000B-1t1c-ethip4-ip4base-l3fwd-ndrpdr
+| | [Tags] | 9000B | 1C
+| | framesize=${9000} | phy_cores=${1}
+
+| tc04-IMIX-1t1c-ethip4-ip4base-l3fwd-ndrpdr
+| | [Tags] | IMIX | 1C
+| | framesize=IMIX_v4_1 | phy_cores=${1}
+
+| tc05-64B-2t2c-ethip4-ip4base-l3fwd-ndrpdr
+| | [Tags] | 64B | 2C
+| | framesize=${64} | phy_cores=${2}
+
+| tc06-1518B-2t2c-ethip4-ip4base-l3fwd-ndrpdr
+| | [Tags] | 1518B | 2C
+| | framesize=${1518} | phy_cores=${2}
+
+| tc07-9000B-2t2c-ethip4-ip4base-l3fwd-ndrpdr
+| | [Tags] | 9000B | 2C
+| | framesize=${9000} | phy_cores=${2}
+
+| tc08-IMIX-2t2c-ethip4-ip4base-l3fwd-ndrpdr
+| | [Tags] | IMIX | 2C
+| | framesize=IMIX_v4_1 | phy_cores=${2}
+
+| tc09-64B-4t4c-ethip4-ip4base-l3fwd-ndrpdr
+| | [Tags] | 64B | 4C
+| | framesize=${64} | phy_cores=${4}
+
+| tc10-1518B-4t4c-ethip4-ip4base-l3fwd-ndrpdr
+| | [Tags] | 1518B | 4C
+| | framesize=${1518} | phy_cores=${4}
+
+| tc11-9000B-4t4c-ethip4-ip4base-l3fwd-ndrpdr
+| | [Tags] | 9000B | 4C
+| | framesize=${9000} | phy_cores=${4}
+
+| tc12-IMIX-4t4c-ethip4-ip4base-l3fwd-ndrpdr
+| | [Tags] | IMIX | 4C
+| | framesize=IMIX_v4_1 | phy_cores=${4}
index 65e901b..da61f73 100644 (file)
@@ -26,6 +26,8 @@
 | ... | L2 | Intel-XL710
 | Suite Teardown | Tear down DPDK 3-node performance topology
 | ...
+| Test template | Local template
+| ...
 | Documentation | *Raw results L2 routing test cases*
 | ... | *[Top] Network Topologies:* TG-DUT1-DUT2-TG 3-node circular topology\
 | ... | with single links between nodes.
@@ -37,7 +39,7 @@
 | ... | at line rate and reports total received/sent packets over trial period.\
 | ... | Test packets are generated by TG on\
 | ... | links to DUTs. TG traffic profile contains two L3 flow-groups\
-| ... | (flow-group per direction, 253 flows per flow-group) with all packets\
+| ... | (flow-group per direction, 254 flows per flow-group) with all packets\
 | ... | containing Ethernet header, IPv4 header with IP protocol=61 and static\
 | ... | payload. MAC addresses are matching MAC addresses of the TG node\
 | ... | interfaces.
 | ${traffic_profile}= | trex-sl-3n-ethip4-ip4src254
 
 *** Keywords ***
-| Check RR for eth-l2xcbase-testpmd
+| Local template
 | | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with ${wt} phy core(s),\
-| | ... | ${rxq} receive queue(s) per NIC port.
+| | ... | [Cfg] DUT runs L2 frame forwarding config.\
+| | ... | Each DUT uses ${phy_cores} physical core(s) for worker threads.
 | | ... | [Ver] Measure MaxReceivedRate for ${framesize} frames using single\
 | | ... | trial throughput test.
 | | ...
-| | [Arguments] | ${framesize} | ${wt} | ${rxq}
+| | [Arguments] | ${framesize} | ${phy_cores} | ${rxq}=${None}
 | | ...
-| | # Test Variables required for test teardown
 | | Set Test Variable | ${framesize}
 | | ${get_framesize}= | Get Frame Size | ${framesize}
 | | ${max_rate}= | Calculate pps | ${s_24.5G} | ${get_framesize}
 | | ${max_rate}= | Set Variable If
 | | ... | ${max_rate} > ${s_18.75Mpps} | ${s_18.75Mpps} | ${max_rate}
 | | ${jumbo_frames}= | Set Variable If
-| | ... | ${get_framesize} < ${1522} | no | yes
+| | ... | ${get_framesize} < ${1522} | ${False} | ${True}
 | | ...
-| | Given Start L2FWD on all DUTs | ${wt} | ${rxq} | ${jumbo_frames}
+| | Given Start L2FWD on all DUTs | ${phy_cores} | ${rxq} | ${jumbo_frames}
 | | Then Traffic should pass with maximum rate
 | | ... | ${max_rate}pps | ${framesize} | ${traffic_profile}
 
 *** Test Cases ***
 | tc01-64B-1t1c-eth-l2xcbase-testpmd-mrr
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with 1 phy core,\
-| | ... | 1 receive queue per NIC port.
-| | ... | [Ver] Measure MaxReceivedRate for 64B frames using single\
-| | ... | trial throughput test.
-| | ...
 | | [Tags] | 64B | 1C
-| | ...
-| | [Template] | Check RR for eth-l2xcbase-testpmd
-| | framesize=${64} | wt=1 | rxq=1
+| | framesize=${64} | phy_cores=${1}
 
 | tc02-1518B-1t1c-eth-l2xcbase-testpmd-mrr
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with 1 phy core,\
-| | ... | 1 receive queue per NIC port.
-| | ... | [Ver] Measure MaxReceivedRate for 1518B frames using single\
-| | ... | trial throughput test.
-| | ...
 | | [Tags] | 1518B | 1C
-| | ...
-| | [Template] | Check RR for eth-l2xcbase-testpmd
-| | framesize=${1518} | wt=1 | rxq=1
+| | framesize=${1518} | phy_cores=${1}
 
 | tc03-9000B-1t1c-eth-l2xcbase-testpmd-mrr
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with 1 phy core,\
-| | ... | 1 receive queue per NIC port.
-| | ... | [Ver] Measure MaxReceivedRate for 9000B frames using single\
-| | ... | trial throughput test.
-| | ...
 | | [Tags] | 9000B | 1C
-| | ...
-| | [Template] | Check RR for eth-l2xcbase-testpmd
-| | framesize=${9000} | wt=1 | rxq=1
+| | framesize=${9000} | phy_cores=${1}
 
 | tc04-IMIX-1t1c-eth-l2xcbase-testpmd-mrr
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with 1 phy core,\
-| | ... | 1 receive queue per NIC port.
-| | ... | [Ver] Measure MaxReceivedRate for IMIX_v4_1 frames using single\
-| | ... | trial throughput test.
-| | ... | IMIX_v4_1 = (28x64B; 16x570B; 4x1518B)
-| | ...
 | | [Tags] | IMIX | 1C
-| | ...
-| | [Template] | Check RR for eth-l2xcbase-testpmd
-| | framesize=IMIX_v4_1 | wt=1 | rxq=1
+| | framesize=IMIX_v4_1 | phy_cores=${1}
 
 | tc05-64B-2t2c-eth-l2xcbase-testpmd-mrr
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with \
-| | ... | 2 phy cores, 1 receive queue per NIC port.
-| | ... | [Ver] Measure MaxReceivedRate for 64B frames using single\
-| | ... | trial throughput test.
-| | ...
 | | [Tags] | 64B | 2C
-| | ...
-| | [Template] | Check RR for eth-l2xcbase-testpmd
-| | framesize=${64} | wt=2 | rxq=1
+| | framesize=${64} | phy_cores=${2}
 
 | tc06-1518B-2t2c-eth-l2xcbase-testpmd-mrr
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with \
-| | ... | 2 phy cores, 1 receive queue per NIC port.
-| | ... | [Ver] Measure MaxReceivedRate for 1518B frames using single\
-| | ... | trial throughput test.
-| | ...
 | | [Tags] | 1518B | 2C
-| | ...
-| | [Template] | Check RR for eth-l2xcbase-testpmd
-| | framesize=${1518} | wt=2 | rxq=1
+| | framesize=${1518} | phy_cores=${2}
 
 | tc07-9000B-2t2c-eth-l2xcbase-testpmd-mrr
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with \
-| | ... | 2 phy cores, 1 receive queue per NIC port.
-| | ... | [Ver] Measure MaxReceivedRate for 9000B frames using single\
-| | ... | trial throughput test.
-| | ...
 | | [Tags] | 9000B | 2C
-| | ...
-| | [Template] | Check RR for eth-l2xcbase-testpmd
-| | framesize=${9000} | wt=2 | rxq=1
+| | framesize=${9000} | phy_cores=${2}
 
 | tc08-IMIX-2t2c-eth-l2xcbase-testpmd-mrr
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with \
-| | ... | 2 phy cores, 1 receive queue per NIC port.
-| | ... | [Ver] Measure MaxReceivedRate for IMIX_v4_1 frames using single\
-| | ... | trial throughput test.
-| | ... | IMIX_v4_1 = (28x64B; 16x570B; 4x1518B)
-| | ...
 | | [Tags] | IMIX | 2C
-| | ...
-| | [Template] | Check RR for eth-l2xcbase-testpmd
-| | framesize=IMIX_v4_1 | wt=2 | rxq=1
+| | framesize=IMIX_v4_1 | phy_cores=${2}
 
 | tc09-64B-4t4c-eth-l2xcbase-testpmd-mrr
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with \
-| | ... | 4 phy cores, 2 receive queue per NIC port.
-| | ... | [Ver] Measure MaxReceivedRate for 64B frames using single\
-| | ... | trial throughput test.
-| | ...
 | | [Tags] | 64B | 4C
-| | ...
-| | [Template] | Check RR for eth-l2xcbase-testpmd
-| | framesize=${64} | wt=4 | rxq=2
+| | framesize=${64} | phy_cores=${4}
 
 | tc10-1518B-4t4c-eth-l2xcbase-testpmd-mrr
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with \
-| | ... | 4 phy cores, 2 receive queue per NIC port.
-| | ... | [Ver] Measure MaxReceivedRate for 1518B frames using single\
-| | ... | trial throughput test.
-| | ...
 | | [Tags] | 1518B | 4C
-| | ...
-| | [Template] | Check RR for eth-l2xcbase-testpmd
-| | framesize=${1518} | wt=4 | rxq=2
+| | framesize=${1518} | phy_cores=${4}
 
 | tc11-9000B-4t4c-eth-l2xcbase-testpmd-mrr
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with \
-| | ... | 4 phy cores, 2 receive queue per NIC port.
-| | ... | [Ver] Measure MaxReceivedRate for 9000B frames using single\
-| | ... | trial throughput test.
-| | ...
 | | [Tags] | 9000B | 4C
-| | ...
-| | [Template] | Check RR for eth-l2xcbase-testpmd
-| | framesize=${9000} | wt=4 | rxq=2
+| | framesize=${9000} | phy_cores=${4}
 
 | tc12-IMIX-4t4c-eth-l2xcbase-testpmd-mrr
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with \
-| | ... | 4 phy cores, 2 receive queue per NIC port.
-| | ... | [Ver] Measure MaxReceivedRate for IMIX_v4_1 frames using single\
-| | ... | trial throughput test.
-| | ... | IMIX_v4_1 = (28x64B; 16x570B; 4x1518B)
-| | ...
 | | [Tags] | IMIX | 4C
-| | ...
-| | [Template] | Check RR for eth-l2xcbase-testpmd
-| | framesize=IMIX_v4_1 | wt=4 | rxq=2
+| | framesize=IMIX_v4_1 | phy_cores=${4}
diff --git a/tests/dpdk/perf/40ge2p1xl710-eth-l2xcbase-testpmd-ndrpdr.robot b/tests/dpdk/perf/40ge2p1xl710-eth-l2xcbase-testpmd-ndrpdr.robot
new file mode 100644 (file)
index 0000000..41119c0
--- /dev/null
@@ -0,0 +1,125 @@
+# Copyright (c) 2018 Cisco and/or its affiliates.
+# Licensed under the Apache License, Version 2.0 (the "License");
+# you may not use this file except in compliance with the License.
+# You may obtain a copy of the License at:
+#
+#     http://www.apache.org/licenses/LICENSE-2.0
+#
+# Unless required by applicable law or agreed to in writing, software
+# distributed under the License is distributed on an "AS IS" BASIS,
+# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
+# See the License for the specific language governing permissions and
+# limitations under the License.
+
+*** Settings ***
+| Resource | resources/libraries/robot/performance/performance_setup.robot
+| Resource | resources/libraries/robot/dpdk/default.robot
+| Library | resources.libraries.python.topology.Topology
+| Library | resources.libraries.python.NodePath
+| Library | resources.libraries.python.InterfaceUtil
+| Library | resources.libraries.python.DPDK.DPDKTools
+| ...
+| Force Tags | 3_NODE_SINGLE_LINK_TOPO | HW_ENV | PERFTEST | NDRPDR | 1NUMA
+| ... | NIC_Intel-XL710 | DPDK | ETH | L2XCFWD | BASE
+| ...
+| Suite Setup | Set up DPDK 3-node performance topology with DUT's NIC model
+| ... | L2 | Intel-XL710
+| Suite Teardown | Tear down DPDK 3-node performance topology
+| ...
+| Test template | Local template
+| ...
+| Documentation | *Raw results L2 routing test cases*
+| ... | *[Top] Network Topologies:* TG-DUT1-DUT2-TG 3-node circular topology\
+| ... | with single links between nodes.
+| ... | *[Enc] Packet Encapsulations:* Eth-IPv4 for L2 frame forwarding.
+| ... | *[Cfg] DUT configuration:* DUT1 and DUT2 run the DPDK testpmd\
+| ... | application and use the io forwarding mode. DUT1 and DUT2 tested with\
+| ... | 2p40GE NIC XL710 by Intel.
+| ... | *[Ver] TG verification:* TG finds and reports throughput NDR (Non Drop\
+| ... | Rate) with zero packet loss tolerance or throughput PDR (Partial Drop\
+| ... | Rate) with non-zero packet loss tolerance (LT) expressed in percentage\
+| ... | of packets transmitted. NDR and PDR are discovered for different\
+| ... | Ethernet L2 frame sizes using MLRsearch library\
+| ... | Test packets are generated by TG on\
+| ... | links to DUTs. TG traffic profile contains two L3 flow-groups\
+| ... | (flow-group per direction, 253 flows per flow-group) with\
+| ... | all packets containing Ethernet header,IPv4 header with static payload.\
+| ... | MAC addresses are matching MAC addresses of the TG node interfaces.
+
+*** Variables ***
+# XL710-DA2 bandwidth limit ~49Gbps/2=24.5Gbps
+| ${s_24.5G}= | ${24500000000}
+# XL710-DA2 Mpps limit 37.5Mpps/2=18.75Mpps
+| ${s_18.75Mpps}= | ${18750000}
+# Traffic profile:
+| ${traffic_profile}= | trex-sl-3n-ethip4-ip4src254
+
+*** Keywords ***
+| Local template
+| | [Documentation]
+| | ... | [Cfg] DUT runs L2 frame forwarding config.\
+| | ... | Each DUT uses ${phy_cores} physical core(s) for worker threads.
+| | ... | [Ver] Measure NDR and PDR values using MLRsearch algorithm.
+| | ...
+| | [Arguments] | ${framesize} | ${phy_cores} | ${rxq}=${None}
+| | ...
+| | Set Test Variable | ${framesize}
+| | Set Test Variable | ${min_rate} | ${20000}
+| | ${max_rate}= | Calculate pps | ${s_24.5G} | ${get_framesize}
+| | ${max_rate}= | Set Variable If
+| | ... | ${max_rate} > ${s_18.75Mpps} | ${s_18.75Mpps} | ${max_rate}
+| | ${jumbo_frames}= | Set Variable If
+| | ... | ${get_framesize} < ${1522} | ${False} | ${True}
+| | ...
+| | Given Start L2FWD on all DUTs | ${phy_cores} | ${rxq} | ${jumbo_frames}
+| | Then Find NDR and PDR intervals using optimized search
+| | ... | ${framesize} | ${traffic_profile} | ${min_rate} | ${max_rate}
+
+*** Test Cases ***
+| tc01-64B-1t1c-eth-l2xcbase-testpmd-ndrpdr
+| | [Tags] | 64B | 1C
+| | framesize=${64} | phy_cores=${1}
+
+| tc02-1518B-1t1c-eth-l2xcbase-testpmd-ndrpdr
+| | [Tags] | 1518B | 1C
+| | framesize=${1518} | phy_cores=${1}
+
+| tc03-9000B-1t1c-eth-l2xcbase-testpmd-ndrpdr
+| | [Tags] | 9000B | 1C
+| | framesize=${9000} | phy_cores=${1}
+
+| tc04-IMIX-1t1c-eth-l2xcbase-testpmd-ndrpdr
+| | [Tags] | IMIX | 1C
+| | framesize=IMIX_v4_1 | phy_cores=${1}
+
+| tc05-64B-2t2c-eth-l2xcbase-testpmd-ndrpdr
+| | [Tags] | 64B | 2C
+| | framesize=${64} | phy_cores=${2}
+
+| tc06-1518B-2t2c-eth-l2xcbase-testpmd-ndrpdr
+| | [Tags] | 1518B | 2C
+| | framesize=${1518} | phy_cores=${2}
+
+| tc07-9000B-2t2c-eth-l2xcbase-testpmd-ndrpdr
+| | [Tags] | 9000B | 2C
+| | framesize=${9000} | phy_cores=${2}
+
+| tc08-IMIX-2t2c-eth-l2xcbase-testpmd-ndrpdr
+| | [Tags] | IMIX | 2C
+| | framesize=IMIX_v4_1 | phy_cores=${2}
+
+| tc09-64B-4t4c-eth-l2xcbase-testpmd-ndrpdr
+| | [Tags] | 64B | 4C
+| | framesize=${64} | phy_cores=${4}
+
+| tc10-1518B-4t4c-eth-l2xcbase-testpmd-ndrpdr
+| | [Tags] | 1518B | 4C
+| | framesize=${1518} | phy_cores=${4}
+
+| tc11-9000B-4t4c-eth-l2xcbase-testpmd-ndrpdr
+| | [Tags] | 9000B | 4C
+| | framesize=${9000} | phy_cores=${4}
+
+| tc12-IMIX-4t4c-eth-l2xcbase-testpmd-ndrpdr
+| | [Tags] | IMIX | 4C
+| | framesize=IMIX_v4_1 | phy_cores=${4}
diff --git a/tests/dpdk/perf/40ge2p1xl710-eth-l2xcbase-testpmd-ndrpdrdisc.robot b/tests/dpdk/perf/40ge2p1xl710-eth-l2xcbase-testpmd-ndrpdrdisc.robot
deleted file mode 100644 (file)
index 0916d7d..0000000
+++ /dev/null
@@ -1,424 +0,0 @@
-# Copyright (c) 2018 Cisco and/or its affiliates.
-# Licensed under the Apache License, Version 2.0 (the "License");
-# you may not use this file except in compliance with the License.
-# You may obtain a copy of the License at:
-#
-#     http://www.apache.org/licenses/LICENSE-2.0
-#
-# Unless required by applicable law or agreed to in writing, software
-# distributed under the License is distributed on an "AS IS" BASIS,
-# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
-# See the License for the specific language governing permissions and
-# limitations under the License.
-
-*** Settings ***
-| Resource | resources/libraries/robot/performance/performance_setup.robot
-| Resource | resources/libraries/robot/dpdk/default.robot
-| Library | resources.libraries.python.topology.Topology
-| Library | resources.libraries.python.NodePath
-| Library | resources.libraries.python.InterfaceUtil
-| Library | resources.libraries.python.DPDK.DPDKTools
-| Force Tags | 3_NODE_SINGLE_LINK_TOPO | HW_ENV | PERFTEST | NDRPDRDISC | 1NUMA
-| ... | NIC_Intel-XL710 | DPDK | ETH | L2XCFWD | BASE
-| Suite Setup | Set up DPDK 3-node performance topology with DUT's NIC model
-| ... | L2 | Intel-XL710
-| Suite Teardown | Tear down DPDK 3-node performance topology
-| Documentation | *RFC2544: Pkt throughput IPv4 routing test cases*
-| ...
-| ... | *[Top] Network Topologies:* TG-DUT1-DUT2-TG 3-node circular topology\
-| ... | with single links between nodes.
-| ... | *[Enc] Packet Encapsulations:* Eth-IPv4 for L2 frame forwarding.
-| ... | *[Cfg] DUT configuration:* DUT1 and DUT2 run the DPDK testpmd\
-| ... | application and use the io forwarding mode. DUT1 and DUT2 tested with\
-| ... | 2p40GE NIC XL710 by Intel.
-| ... | *[Ver] TG verification:* TG finds and reports throughput NDR (Non Drop\
-| ... | Rate) with zero packet loss tolerance or throughput PDR (Partial Drop\
-| ... | Rate) with non-zero packet loss tolerance (LT) expressed in percentage\
-| ... | of packets transmitted. NDR and PDR are discovered for different\
-| ... | Ethernet L2 frame sizes using either binary search or linear search\
-| ... | algorithms with configured starting rate and final step that determines\
-| ... | throughput measurement resolution. Test packets are generated by TG on\
-| ... | links to DUTs. TG traffic profile contains two L3 flow-groups\
-| ... | (flow-group per direction, 253 flows per flow-group) with all packets\
-| ... | containing Ethernet header, IPv4 header with IP protocol=61 and static\
-| ... | payload. MAC addresses are matching MAC addresses of the TG node\
-| ... | interfaces.
-| ... | *[Ref] Applicable standard specifications:* RFC2544.
-
-*** Variables ***
-# XL710-DA2 bandwidth limit ~49Gbps/2=24.5Gbps
-| ${s_24.5G} | ${24500000000}
-# XL710-DA2 Mpps limit 37.5Mpps/2=18.75Mpps
-| ${s_18.75Mpps} | ${18750000}
-# Traffic profile:
-| ${traffic_profile} | trex-sl-3n-ethip4-ip4src254
-
-*** Test Cases ***
-| tc01-64B-1t1c-eth-l2xcbase-testpmd-ndrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with 1 phy core,\
-| | ... | 1 receive queue per NIC port.
-| | ... | [Ver] Find NDR for 64 Byte frames using binary search start at 40GE\
-| | ... | linerate, step 100kpps.
-| | ...
-| | [Tags] | 64B | 1C | NDRDISC
-| | ...
-| | ${framesize}= | Set Variable | ${64}
-| | ${min_rate}= | Set Variable | ${100000}
-| | ${max_rate}= | Set Variable | ${s_18.75Mpps}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L2FWD on all DUTs | 1 | 1 | no
-| | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile}
-| | ... | ${min_rate} | ${max_rate} | ${threshold}
-
-| tc02-64B-1t1c-eth-l2xcbase-testpmd-pdrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with 1 phy core,\
-| | ... | 1 receive queue per NIC port.
-| | ... | [Ver] Find PDR for 64 Byte frames using binary search start at 40GE\
-| | ... | linerate, step 100kpps, LT=0.5%.
-| | ...
-| | [Tags] | 64B | 1C | PDRDISC | SKIP_PATCH
-| | ...
-| | ${framesize}= | Set Variable | ${64}
-| | ${min_rate}= | Set Variable | ${100000}
-| | ${max_rate}= | Set Variable | ${s_18.75Mpps}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L2FWD on all DUTs | 1 | 1 | no
-| | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile}
-| | ... | ${min_rate} | ${max_rate} | ${threshold} | ${perf_pdr_loss_acceptance}
-| | ... | ${perf_pdr_loss_acceptance_type}
-
-| tc03-1518B-1t1c-eth-l2xcbase-testpmd-ndrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with 1 phy core,\
-| | ... | 1 receive queue per NIC port.
-| | ... | [Ver] Find NDR for 1518 Byte frames using binary search start at 40GE\
-| | ... | linerate, step 10kpps.
-| | ...
-| | [Tags] | 1518B | 1C | NDRDISC
-| | ...
-| | ${framesize}= | Set Variable | ${1518}
-| | ${min_rate}= | Set Variable | ${10000}
-| | ${max_rate}= | Calculate pps | ${s_24.5G} | ${framesize}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L2FWD on all DUTs | 1 | 1 | no
-| | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile}
-| | ... | ${min_rate} | ${max_rate} | ${threshold}
-
-| tc04-1518B-1t1c-eth-l2xcbase-testpmd-pdrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with 1 phy core,\
-| | ... | 1 receive queue per NIC port.
-| | ... | [Ver] Find PDR for 1518 Byte frames using binary search start at 40GE\
-| | ... | linerate, step 10kpps, LT=0.5%.
-| | ...
-| | [Tags] | 1518B | 1C | PDRDISC | SKIP_PATCH
-| | ...
-| | ${framesize}= | Set Variable | ${1518}
-| | ${min_rate}= | Set Variable | ${10000}
-| | ${max_rate}= | Calculate pps | ${s_24.5G} | ${framesize}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L2FWD on all DUTs | 1 | 1 | no
-| | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile}
-| | ... | ${min_rate} | ${max_rate} | ${threshold} | ${perf_pdr_loss_acceptance}
-| | ... | ${perf_pdr_loss_acceptance_type}
-
-| tc05-9000B-1t1c-eth-l2xcbase-testpmd-ndrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with 1 phy core,\
-| | ... | 1 receive queue per NIC port.
-| | ... | [Ver] Find NDR for 9000 Byte frames using binary search start at 40GE\
-| | ... | linerate, step 10kpps.
-| | ...
-| | [Tags] | 9000B | 1C | NDRDISC
-| | ...
-| | ${framesize}= | Set Variable | ${9000}
-| | ${min_rate}= | Set Variable | ${10000}
-| | ${max_rate}= | Calculate pps | ${s_24.5G} | ${framesize}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L2FWD on all DUTs | 1 | 1 | yes
-| | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile}
-| | ... | ${min_rate} | ${max_rate} | ${threshold}
-
-| tc06-9000B-1t1c-eth-l2xcbase-testpmd-pdrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with 1 phy core,\
-| | ... | 1 receive queue per NIC port.
-| | ... | [Ver] Find PDR for 9000 Byte frames using binary search start at 40GE\
-| | ... | linerate, step 10kpps, LT=0.5%.
-| | ...
-| | [Tags] | 9000B | 1C | PDRDISC | SKIP_PATCH
-| | ...
-| | ${framesize}= | Set Variable | ${9000}
-| | ${min_rate}= | Set Variable | ${10000}
-| | ${max_rate}= | Calculate pps | ${s_24.5G} | ${framesize}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L2FWD on all DUTs | 1 | 1 | yes
-| | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile}
-| | ... | ${min_rate} | ${max_rate} | ${threshold} | ${perf_pdr_loss_acceptance}
-| | ... | ${perf_pdr_loss_acceptance_type}
-
-| tc07-64B-2t2c-eth-l2xcbase-testpmd-ndrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with 2 phy\
-| | ... | cores, 1 receive queue per NIC port.
-| | ... | [Ver] Find NDR for 64 Byte frames using binary search start at 40GE\
-| | ... | linerate, step 100kpps.
-| | ...
-| | [Tags] | 64B | 2C | NDRDISC
-| | ...
-| | ${framesize}= | Set Variable | ${64}
-| | ${min_rate}= | Set Variable | ${100000}
-| | ${max_rate}= | Set Variable | ${s_18.75Mpps}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L2FWD on all DUTs | 2 | 1 | no
-| | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile}
-| | ... | ${min_rate} | ${max_rate} | ${threshold}
-
-| tc08-64B-2t2c-eth-l2xcbase-testpmd-pdrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with 2 phy\
-| | ... | cores, 1 receive queue per NIC port.
-| | ... | [Ver] Find PDR for 64 Byte frames using binary search start at 40GE\
-| | ... | linerate, step 100kpps, LT=0.5%.
-| | ...
-| | [Tags] | 64B | 2C | PDRDISC | SKIP_PATCH
-| | ...
-| | ${framesize}= | Set Variable | ${64}
-| | ${min_rate}= | Set Variable | ${100000}
-| | ${max_rate}= | Set Variable | ${s_18.75Mpps}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L2FWD on all DUTs | 2 | 1 | no
-| | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile}
-| | ... | ${min_rate} | ${max_rate} | ${threshold} | ${perf_pdr_loss_acceptance}
-| | ... | ${perf_pdr_loss_acceptance_type}
-
-| tc09-1518B-2t2c-eth-l2xcbase-testpmd-ndrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with 2 phy\
-| | ... | cores, 1 receive queue per NIC port.
-| | ... | [Ver] Find NDR for 1518 Byte frames using binary search start at 40GE\
-| | ... | linerate, step 10kpps.
-| | ...
-| | [Tags] | 1518B | 2C | NDRDISC | SKIP_PATCH
-| | ...
-| | ${framesize}= | Set Variable | ${1518}
-| | ${min_rate}= | Set Variable | ${10000}
-| | ${max_rate}= | Calculate pps | ${s_24.5G} | ${framesize}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L2FWD on all DUTs | 2 | 1 | no
-| | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile}
-| | ... | ${min_rate} | ${max_rate} | ${threshold}
-
-| tc10-1518B-2t2c-eth-l2xcbase-testpmd-pdrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with 2 phy\
-| | ... | cores, 1 receive queue per NIC port.
-| | ... | [Ver] Find PDR for 1518 Byte frames using binary search start at 40GE\
-| | ... | linerate, step 10kpps, LT=0.5%.
-| | ...
-| | [Tags] | 1518B | 2C | PDRDISC | SKIP_PATCH
-| | ...
-| | ${framesize}= | Set Variable | ${1518}
-| | ${min_rate}= | Set Variable | ${10000}
-| | ${max_rate}= | Calculate pps | ${s_24.5G} | ${framesize}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L2FWD on all DUTs | 2 | 1 | no
-| | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile}
-| | ... | ${min_rate} | ${max_rate} | ${threshold} | ${perf_pdr_loss_acceptance}
-| | ... | ${perf_pdr_loss_acceptance_type}
-
-| tc11-9000B-2t2c-eth-l2xcbase-testpmd-ndrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with 2 phy\
-| | ... | cores, 1 receive queue per NIC port.
-| | ... | [Ver] Find NDR for 9000 Byte frames using binary search start at 40GE\
-| | ... | linerate, step 10kpps.
-| | ...
-| | [Tags] | 9000B | 2C | NDRDISC | SKIP_PATCH
-| | ...
-| | ${framesize}= | Set Variable | ${9000}
-| | ${min_rate}= | Set Variable | ${10000}
-| | ${max_rate}= | Calculate pps | ${s_24.5G} | ${framesize}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L2FWD on all DUTs | 2 | 1 | yes
-| | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile}
-| | ... | ${min_rate} | ${max_rate} | ${threshold}
-
-| tc12-9000B-2t2c-eth-l2xcbase-testpmd-pdrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with 2 phy\
-| | ... | cores, 1 receive queue per NIC port.
-| | ... | [Ver] Find PDR for 9000 Byte frames using binary search start at 40GE\
-| | ... | linerate, step 10kpps, LT=0.5%.
-| | ...
-| | [Tags] | 9000B | 2C | PDRDISC | SKIP_PATCH
-| | ...
-| | ${framesize}= | Set Variable | ${9000}
-| | ${min_rate}= | Set Variable | ${10000}
-| | ${max_rate}= | Calculate pps | ${s_24.5G} | ${framesize}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L2FWD on all DUTs | 2 | 1 | yes
-| | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile}
-| | ... | ${min_rate} | ${max_rate} | ${threshold} | ${perf_pdr_loss_acceptance}
-| | ... | ${perf_pdr_loss_acceptance_type}
-
-| tc13-64B-4t4c-eth-l2xcbase-testpmd-ndrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with 4 phy\
-| | ... | cores, 2 receive queues per NIC port.
-| | ... | [Ver] Find NDR for 64 Byte frames using binary search start at 40GE\
-| | ... | linerate, step 100kpps.
-| | ...
-| | [Tags] | 64B | 4C | NDRDISC
-| | ...
-| | ${framesize}= | Set Variable | ${64}
-| | ${min_rate}= | Set Variable | ${100000}
-| | ${max_rate}= | Set Variable | ${s_18.75Mpps}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L2FWD on all DUTs | 4 | 2 | no
-| | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile}
-| | ... | ${min_rate} | ${max_rate} | ${threshold}
-
-| tc14-64B-4t4c-eth-l2xcbase-testpmd-pdrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with 4 phy\
-| | ... | cores, 2 receive queues per NIC port.
-| | ... | [Ver] Find PDR for 64 Byte frames using binary search start at 40GE\
-| | ... | linerate, step 100kpps, LT=0.5%.
-| | ...
-| | [Tags] | 64B | 4C | PDRDISC | SKIP_PATCH
-| | ...
-| | ${framesize}= | Set Variable | ${64}
-| | ${min_rate}= | Set Variable | ${100000}
-| | ${max_rate}= | Set Variable | ${s_18.75Mpps}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L2FWD on all DUTs | 4 | 2 | no
-| | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile}
-| | ... | ${min_rate} | ${max_rate} | ${threshold} | ${perf_pdr_loss_acceptance}
-| | ... | ${perf_pdr_loss_acceptance_type}
-
-| tc15-1518B-4t4c-eth-l2xcbase-testpmd-ndrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with 4 phy\
-| | ... | cores, 2 receive queues per NIC port.
-| | ... | [Ver] Find NDR for 1518 Byte frames using binary search start at 40GE\
-| | ... | linerate, step 10kpps.
-| | ...
-| | [Tags] | 1518B | 4C | NDRDISC | SKIP_PATCH
-| | ...
-| | ${framesize}= | Set Variable | ${1518}
-| | ${min_rate}= | Set Variable | ${10000}
-| | ${max_rate}= | Calculate pps | ${s_24.5G} | ${framesize}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L2FWD on all DUTs | 4 | 2 | no
-| | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile}
-| | ... | ${min_rate} | ${max_rate} | ${threshold}
-
-| tc16-1518B-4t4c-eth-l2xcbase-testpmd-pdrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with 4 phy\
-| | ... | cores, 2 receive queues per NIC port.
-| | ... | [Ver] Find PDR for 1518 Byte frames using binary search start at 40GE\
-| | ... | linerate, step 10kpps, LT=0.5%.
-| | ...
-| | [Tags] | 1518B | 4C | PDRDISC | SKIP_PATCH
-| | ...
-| | ${framesize}= | Set Variable | ${1518}
-| | ${min_rate}= | Set Variable | ${10000}
-| | ${max_rate}= | Calculate pps | ${s_24.5G} | ${framesize}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L2FWD on all DUTs | 4 | 2 | no
-| | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile}
-| | ... | ${min_rate} | ${max_rate} | ${threshold} | ${perf_pdr_loss_acceptance}
-| | ... | ${perf_pdr_loss_acceptance_type}
-
-| tc17-9000B-4t4c-eth-l2xcbase-testpmd-ndrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with 4 phy\
-| | ... | cores, 2 receive queues per NIC port.
-| | ... | [Ver] Find NDR for 9000 Byte frames using binary search start at 40GE\
-| | ... | linerate, step 10kpps.
-| | ...
-| | [Tags] | 9000B | 4C | NDRDISC | SKIP_PATCH
-| | ...
-| | ${framesize}= | Set Variable | ${9000}
-| | ${min_rate}= | Set Variable | ${10000}
-| | ${max_rate}= | Calculate pps | ${s_24.5G} | ${framesize}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L2FWD on all DUTs | 4 | 2 | yes
-| | Then Find NDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile}
-| | ... | ${min_rate} | ${max_rate} | ${threshold}
-
-| tc18-9000B-4t4c-eth-l2xcbase-testpmd-pdrdisc
-| | [Documentation]
-| | ... | [Cfg] DUT runs L2 frame forwarding config with 4 phy\
-| | ... | cores, 2 receive queues per NIC port.
-| | ... | [Ver] Find PDR for 9000 Byte frames using binary search start at 40GE\
-| | ... | linerate, step 5kpps, LT=0.5%.
-| | ...
-| | [Tags] | 9000B | 4C | PDRDISC | SKIP_PATCH
-| | ...
-| | ${framesize}= | Set Variable | ${9000}
-| | ${min_rate}= | Set Variable | ${10000}
-| | ${max_rate}= | Calculate pps | ${s_24.5G} | ${framesize}
-| | ${binary_min}= | Set Variable | ${min_rate}
-| | ${binary_max}= | Set Variable | ${max_rate}
-| | ${threshold}= | Set Variable | ${min_rate}
-| | Given Start L2FWD on all DUTs | 4 | 2 | yes
-| | Then Find PDR using binary search and pps | ${framesize} | ${binary_min}
-| | ... | ${binary_max} | ${traffic_profile}
-| | ... | ${min_rate} | ${max_rate} | ${threshold} | ${perf_pdr_loss_acceptance}
-| | ... | ${perf_pdr_loss_acceptance_type}
diff --git a/tests/dpdk/perf/40ge2p1xl710-ethip4-ip4base-l3fwd-mrr.robot b/tests/dpdk/perf/40ge2p1xl710-ethip4-ip4base-l3fwd-mrr.robot
new file mode 100644 (file)
index 0000000..a04a443
--- /dev/null
@@ -0,0 +1,123 @@
+# Copyright (c) 2018 Cisco and/or its affiliates.
+# Licensed under the Apache License, Version 2.0 (the "License");
+# you may not use this file except in compliance with the License.
+# You may obtain a copy of the License at:
+#
+#     http://www.apache.org/licenses/LICENSE-2.0
+#
+# Unless required by applicable law or agreed to in writing, software
+# distributed under the License is distributed on an "AS IS" BASIS,
+# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
+# See the License for the specific language governing permissions and
+# limitations under the License.
+
+*** Settings ***
+| Resource | resources/libraries/robot/performance/performance_setup.robot
+| Resource | resources/libraries/robot/dpdk/default.robot
+| Library | resources.libraries.python.topology.Topology
+| Library | resources.libraries.python.NodePath
+| Library | resources.libraries.python.InterfaceUtil
+| Library | resources.libraries.python.DPDK.DPDKTools
+| ...
+| Force Tags | 3_NODE_SINGLE_LINK_TOPO | PERFTEST | HW_ENV | MRR | 1NUMA
+| ... | NIC_Intel-XL710 | DPDK | IP4FWD | BASE | ETH
+| ...
+| Suite Setup | Set up DPDK 3-node performance topology with DUT's NIC model
+| ... | L3 | Intel-XL710
+| Suite Teardown | Tear down DPDK 3-node performance topology
+| ...
+| Test template | Local template
+| ...
+| Documentation | *Raw results IPv4 routing test cases*
+| ... | *[Top] Network Topologies:* TG-DUT1-DUT2-TG 3-node circular topology\
+| ... | with single links between nodes.
+| ... | *[Enc] Packet Encapsulations:* Eth-IPv4 for L3 IPv4 routing.
+| ... | *[Cfg] DUT configuration:* DUT1 and DUT2 run the DPDK l3fwd application\
+| ... | DUT1 and DUT2 tested with 2p40GE NIC XL710 by Intel.
+| ... | *[Ver] TG verification:* In MaxReceivedRate test TG sends traffic\
+| ... | at line rate and reports total received/sent packets over trial period.\
+| ... | Test packets are generated by TG on\
+| ... | links to DUTs. TG traffic profile contains two L3 flow-groups\
+| ... | (flow-group per direction, 253 flows per flow-group) with all packets\
+| ... | containing Ethernet header, IPv4 header with IP protocol=61 and static\
+| ... | payload. MAC addresses are matching MAC addresses of the TG node\
+| ... | interfaces.
+
+*** Variables ***
+# XL710-DA2 bandwidth limit ~49Gbps/2=24.5Gbps
+| ${s_24.5G}= | ${24500000000}
+# XL710-DA2 Mpps limit 37.5Mpps/2=18.75Mpps
+| ${s_18.75Mpps}= | ${18750000}
+# Traffic profile:
+| ${traffic_profile}= | trex-sl-3n-ethip4-ip4dst253_l3fwd
+
+*** Keywords ***
+| Local template
+| | [Documentation]
+| | ... | [Cfg] DUT runs L3 IPv4 routing config.\
+| | ... | Each DUT uses ${phy_cores} physical core(s) for worker threads.
+| | ... | [Ver] Measure MaxReceivedRate for ${framesize} frames using single\
+| | ... | trial throughput test.
+| | ...
+| | [Arguments] | ${framesize} | ${phy_cores} | ${rxq}=${None}
+| | ...
+| | Set Test Variable | ${framesize}
+| | ${get_framesize}= | Get Frame Size | ${framesize}
+| | ${max_rate}= | Calculate pps | ${s_24.5G} | ${get_framesize}
+| | ${max_rate}= | Set Variable If
+| | ... | ${max_rate} > ${s_18.75Mpps} | ${s_18.75Mpps} | ${max_rate}
+| | ${jumbo_frames}= | Set Variable If
+| | ... | ${get_framesize} < ${1522} | ${False} | ${True}
+| | ...
+| | Given Start L3FWD on all DUTs | ${phy_cores} | ${rxq} | ${jumbo_frames}
+| | Then Traffic should pass with maximum rate
+| | ... | ${max_rate}pps | ${framesize} | ${traffic_profile}
+
+*** Test Cases ***
+| tc01-64B-1t1c-ethip4-ip4base-l3fwd-mrr
+| | [Tags] | 64B | 1C
+| | framesize=${64} | phy_cores=${1}
+
+| tc02-1518B-1t1c-ethip4-ip4base-l3fwd-mrr
+| | [Tags] | 1518B | 1C
+| | framesize=${1518} | phy_cores=${1}
+
+| tc03-9000B-1t1c-ethip4-ip4base-l3fwd-mrr
+| | [Tags] | 9000B | 1C
+| | framesize=${9000} | phy_cores=${1}
+
+| tc04-IMIX-1t1c-ethip4-ip4base-l3fwd-mrr
+| | [Tags] | IMIX | 1C
+| | framesize=IMIX_v4_1 | phy_cores=${1}
+
+| tc05-64B-2t2c-ethip4-ip4base-l3fwd-mrr
+| | [Tags] | 64B | 2C
+| | framesize=${64} | phy_cores=${2}
+
+| tc06-1518B-2t2c-ethip4-ip4base-l3fwd-mrr
+| | [Tags] | 1518B | 2C
+| | framesize=${1518} | phy_cores=${2}
+
+| tc07-9000B-2t2c-ethip4-ip4base-l3fwd-mrr
+| | [Tags] | 9000B | 2C
+| | framesize=${9000} | phy_cores=${2}
+
+| tc08-IMIX-2t2c-ethip4-ip4base-l3fwd-mrr
+| | [Tags] | IMIX | 2C
+| | framesize=IMIX_v4_1 | phy_cores=${2}
+
+| tc09-64B-4t4c-ethip4-ip4base-l3fwd-mrr
+| | [Tags] | 64B | 4C
+| | framesize=${64} | phy_cores=${4}
+
+| tc10-1518B-4t4c-ethip4-ip4base-l3fwd-mrr
+| | [Tags] | 1518B | 4C
+| | framesize=${1518} | phy_cores=${4}
+
+| tc11-9000B-4t4c-ethip4-ip4base-l3fwd-mrr
+| | [Tags] | 9000B | 4C
+| | framesize=${9000} | phy_cores=${4}
+
+| tc12-IMIX-4t4c-ethip4-ip4base-l3fwd-mrr
+| | [Tags] | IMIX | 4C
+| | framesize=IMIX_v4_1 | phy_cores=${4}
diff --git a/tests/dpdk/perf/40ge2p1xl710-ethip4-ip4base-l3fwd-ndrpdr.robot b/tests/dpdk/perf/40ge2p1xl710-ethip4-ip4base-l3fwd-ndrpdr.robot
new file mode 100644 (file)
index 0000000..dfb6f62
--- /dev/null
@@ -0,0 +1,125 @@
+# Copyright (c) 2018 Cisco and/or its affiliates.
+# Licensed under the Apache License, Version 2.0 (the "License");
+# you may not use this file except in compliance with the License.
+# You may obtain a copy of the License at:
+#
+#     http://www.apache.org/licenses/LICENSE-2.0
+#
+# Unless required by applicable law or agreed to in writing, software
+# distributed under the License is distributed on an "AS IS" BASIS,
+# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
+# See the License for the specific language governing permissions and
+# limitations under the License.
+
+*** Settings ***
+| Resource | resources/libraries/robot/performance/performance_setup.robot
+| Resource | resources/libraries/robot/dpdk/default.robot
+| Library | resources.libraries.python.topology.Topology
+| Library | resources.libraries.python.NodePath
+| Library | resources.libraries.python.InterfaceUtil
+| Library | resources.libraries.python.DPDK.DPDKTools
+| ...
+| Force Tags | 3_NODE_SINGLE_LINK_TOPO | PERFTEST | HW_ENV | NDRPDR | 1NUMA
+| ... | NIC_Intel-XL710 | DPDK | IP4FWD | BASE | ETH
+| ...
+| Suite Setup | Set up DPDK 3-node performance topology with DUT's NIC model
+| ... | L3 | Intel-XL710
+| Suite Teardown | Tear down DPDK 3-node performance topology
+| ...
+| Test template | Local template
+| ...
+| Documentation | *Raw results IPv4 routing test cases*
+| ... | *[Top] Network Topologies:* TG-DUT1-DUT2-TG 3-node circular topology\
+| ... | with single links between nodes.
+| ... | *[Enc] Packet Encapsulations:* Eth-IPv4 for L3 IPv4 routing.
+| ... | *[Cfg] DUT configuration:* DUT1 and DUT2 run the DPDK l3fwd application\
+| ... | DUT1 and DUT2 tested with 2p40GE NIC XL710 by Intel.
+| ... | *[Ver] TG verification:* TG finds and reports throughput NDR (Non Drop\
+| ... | Rate) with zero packet loss tolerance or throughput PDR (Partial Drop\
+| ... | Rate) with non-zero packet loss tolerance (LT) expressed in percentage\
+| ... | of packets transmitted. NDR and PDR are discovered for different\
+| ... | Ethernet L2 frame sizes using MLRsearch library\
+| ... | Test packets are generated by TG on\
+| ... | links to DUTs. TG traffic profile contains two L3 flow-groups\
+| ... | (flow-group per direction, 253 flows per flow-group) with\
+| ... | all packets containing Ethernet header,IPv4 header with static payload.\
+| ... | MAC addresses are matching MAC addresses of the TG node interfaces.
+
+*** Variables ***
+# XL710-DA2 bandwidth limit ~49Gbps/2=24.5Gbps
+| ${s_24.5G}= | ${24500000000}
+# XL710-DA2 Mpps limit 37.5Mpps/2=18.75Mpps
+| ${s_18.75Mpps}= | ${18750000}
+# Traffic profile:
+| ${traffic_profile}= | trex-sl-3n-ethip4-ip4dst253_l3fwd
+
+*** Keywords ***
+| Local template
+| | [Documentation]
+| | ... | [Cfg] DUT runs L3 IPv4 routing config.\
+| | ... | Each DUT uses ${phy_cores} physical core(s) for worker threads.
+| | ... | [Ver] Measure NDR and PDR values using MLRsearch algorithm.
+| | ...
+| | [Arguments] | ${framesize} | ${phy_cores} | ${rxq}=${None}
+| | ...
+| | Set Test Variable | ${framesize}
+| | Set Test Variable | ${min_rate} | ${20000}
+| | ${get_framesize}= | Get Frame Size | ${framesize}
+| | ${max_rate}= | Calculate pps | ${s_24.5G} | ${get_framesize}
+| | ${max_rate}= | Set Variable If
+| | ... | ${max_rate} > ${s_18.75Mpps} | ${s_18.75Mpps} | ${max_rate}
+| | ${jumbo_frames}= | Set Variable If
+| | ... | ${get_framesize} < ${1522} | ${False} | ${True}
+| | ...
+| | Given Start L3FWD on all DUTs | ${phy_cores} | ${rxq} | ${jumbo_frames}
+| | Then Find NDR and PDR intervals using optimized search
+| | ... | ${framesize} | ${traffic_profile} | ${min_rate} | ${max_rate}
+
+*** Test Cases ***
+| tc01-64B-1t1c-ethip4-ip4base-l3fwd-ndrpdr
+| | [Tags] | 64B | 1C
+| | framesize=${64} | phy_cores=${1}
+
+| tc02-1518B-1t1c-ethip4-ip4base-l3fwd-ndrpdr
+| | [Tags] | 1518B | 1C
+| | framesize=${1518} | phy_cores=${1}
+
+| tc03-9000B-1t1c-ethip4-ip4base-l3fwd-ndrpdr
+| | [Tags] | 9000B | 1C
+| | framesize=${9000} | phy_cores=${1}
+
+| tc04-IMIX-1t1c-ethip4-ip4base-l3fwd-ndrpdr
+| | [Tags] | IMIX | 1C
+| | framesize=IMIX_v4_1 | phy_cores=${1}
+
+| tc05-64B-2t2c-ethip4-ip4base-l3fwd-ndrpdr
+| | [Tags] | 64B | 2C
+| | framesize=${64} | phy_cores=${2}
+
+| tc06-1518B-2t2c-ethip4-ip4base-l3fwd-ndrpdr
+| | [Tags] | 1518B | 2C
+| | framesize=${1518} | phy_cores=${2}
+
+| tc07-9000B-2t2c-ethip4-ip4base-l3fwd-ndrpdr
+| | [Tags] | 9000B | 2C
+| | framesize=${9000} | phy_cores=${2}
+
+| tc08-IMIX-2t2c-ethip4-ip4base-l3fwd-ndrpdr
+| | [Tags] | IMIX | 2C
+| | framesize=IMIX_v4_1 | phy_cores=${2}
+
+| tc09-64B-4t4c-ethip4-ip4base-l3fwd-ndrpdr
+| | [Tags] | 64B | 4C
+| | framesize=${64} | phy_cores=${4}
+
+| tc10-1518B-4t4c-ethip4-ip4base-l3fwd-ndrpdr
+| | [Tags] | 1518B | 4C
+| | framesize=${1518} | phy_cores=${4}
+
+| tc11-9000B-4t4c-ethip4-ip4base-l3fwd-ndrpdr
+| | [Tags] | 9000B | 4C
+| | framesize=${9000} | phy_cores=${4}
+
+| tc12-IMIX-4t4c-ethip4-ip4base-l3fwd-ndrpdr
+| | [Tags] | IMIX | 4C
+| | framesize=IMIX_v4_1 | phy_cores=${4}
index d818f94..36a5871 100644 (file)
 | | ... | _NOTE:_ This KW sets following suite variables:
 | | ... | - perf_pdr_loss_acceptance - Loss acceptance treshold
 | | ... | - perf_pdr_loss_acceptance_type - Loss acceptance treshold type
-| | ... | - perf_vm_image - Guest VM disk image
 | | ... | - pkt_trace - Switch to enable packet trace for test
 | | ... | - dut_stats - Switch to enable DUT statistics
 | | ...
 | | Set Global Variable | ${perf_pdr_loss_acceptance} | 0.5
 | | Set Global Variable | ${perf_pdr_loss_acceptance_type} | percentage
-| | Set Global Variable | ${perf_vm_image} | /var/lib/vm/csit-nested-1.7.img
 | | Set Global Variable | ${pkt_trace} | ${False}
 | | Set Global Variable | ${dut_stats} | ${False}
index cd67d8b..807a084 100644 (file)
@@ -120,7 +120,7 @@ nodes:
         model: Intel-XL710
       port2:
         # s14-t32-sut1-c2/p2 - 10GE port1 on Intel NIC x710 4p10GE.
-          mac_address: "3c:fd:fe:a8:ae:61"
+        mac_address: "3c:fd:fe:a8:ae:61"
         pci_address: "0000:18:00.1"
         ip4_address: "172.16.120.1"
         driver: i40e