resources/libraries/python/DPDK/L3fwdTest.py

   1 # Copyright (c) 2022 Cisco and/or its affiliates.
   2 # Licensed under the Apache License, Version 2.0 (the "License");
   3 # you may not use this file except in compliance with the License.
   4 # You may obtain a copy of the License at:
   5 #
   6 #     http://www.apache.org/licenses/LICENSE-2.0
   7 #
   8 # Unless required by applicable law or agreed to in writing, software
   9 # distributed under the License is distributed on an "AS IS" BASIS,
  10 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  11 # See the License for the specific language governing permissions and
  12 # limitations under the License.
  13
  14 """
  15 This module exists to start l3fwd on topology nodes.
  16 """
  17
  18 from robot.libraries.BuiltIn import BuiltIn
  19 from resources.libraries.python.Constants import Constants
  20 from resources.libraries.python.CpuUtils import CpuUtils
  21 from resources.libraries.python.DpdkUtil import DpdkUtil
  22 from resources.libraries.python.ssh import exec_cmd_no_error, exec_cmd
  23 from resources.libraries.python.topology import NodeType, Topology
  24
  25 NB_PORTS = 2
  26
  27
  28 class L3fwdTest:
  29     """This class start l3fwd on topology nodes and check if properly started.
  30     """
  31
  32     @staticmethod
  33     def start_l3fwd_on_all_duts(
  34             nodes, topology_info, phy_cores, rx_queues=None, jumbo_frames=False,
  35             rxd=None, txd=None):
  36         """
  37         Execute the l3fwd on all dut nodes.
  38
  39         :param nodes: All the nodes info from the topology file.
  40         :param topology_info: All the info from the topology file.
  41         :param phy_cores: Number of physical cores to use.
  42         :param rx_queues: Number of RX queues.
  43         :param jumbo_frames: Jumbo frames on/off.
  44         :param rxd: Number of RX descriptors.
  45         :param txd: Number of TX descriptors.
  46
  47         :type nodes: dict
  48         :type topology_info: dict
  49         :type phy_cores: int
  50         :type rx_queues: int
  51         :type jumbo_frames: bool
  52         :type rxd: int
  53         :type txd: int
  54         :raises RuntimeError: If bash return code is not 0.
  55         """
  56         cpu_count_int = dp_count_int = int(phy_cores)
  57         dp_cores = cpu_count_int+1
  58         for node in nodes:
  59             if u"DUT" in node:
  60                 compute_resource_info = CpuUtils.get_affinity_vswitch(
  61                     nodes, node, phy_cores, rx_queues=rx_queues,
  62                     rxd=rxd, txd=txd
  63                 )
  64                 if dp_count_int > 1:
  65                     BuiltIn().set_tags('MTHREAD')
  66                 else:
  67                     BuiltIn().set_tags('STHREAD')
  68                 BuiltIn().set_tags(
  69                     f"{dp_count_int}T{cpu_count_int}C"
  70                 )
  71
  72                 cpu_dp = compute_resource_info[u"cpu_dp"]
  73                 rxq_count_int = compute_resource_info[u"rxq_count_int"]
  74                 if1 = topology_info[f"{node}_pf1"][0]
  75                 if2 = topology_info[f"{node}_pf2"][0]
  76                 L3fwdTest.start_l3fwd(
  77                     nodes, nodes[node], if1=if1, if2=if2, lcores_list=cpu_dp,
  78                     nb_cores=dp_count_int, queue_nums=rxq_count_int,
  79                     jumbo_frames=jumbo_frames
  80                 )
  81         for node in nodes:
  82             if u"DUT" in node:
  83                 for i in range(3):
  84                     try:
  85                         L3fwdTest.check_l3fwd(nodes[node])
  86                         break
  87                     except RuntimeError:
  88                         L3fwdTest.start_l3fwd(
  89                             nodes, nodes[node], if1=if1, if2=if2,
  90                             lcores_list=cpu_dp, nb_cores=dp_count_int,
  91                             queue_nums=rxq_count_int, jumbo_frames=jumbo_frames
  92                         )
  93                 else:
  94                     message = f"Failed to start l3fwd at node {node}"
  95                     raise RuntimeError(message)
  96
  97     @staticmethod
  98     def start_l3fwd(
  99             nodes, node, if1, if2, lcores_list, nb_cores, queue_nums,
 100             jumbo_frames):
 101         """
 102         Execute the l3fwd on the dut_node.
 103
 104         :param nodes: All the nodes info in the topology file.
 105         :param node: DUT node.
 106         :param if1: The test link interface 1.
 107         :param if2: The test link interface 2.
 108         :param lcores_list: The lcore list string for the l3fwd routing
 109         :param nb_cores: The cores number for the forwarding
 110         :param queue_nums: The queues number for the NIC
 111         :param jumbo_frames: Indication if the jumbo frames are used (True) or
 112                              not (False).
 113         :type nodes: dict
 114         :type node: dict
 115         :type if1: str
 116         :type if2: str
 117         :type lcores_list: str
 118         :type nb_cores: str
 119         :type queue_nums: str
 120         :type jumbo_frames: bool
 121         """
 122         if node[u"type"] == NodeType.DUT:
 123             adj_mac0, adj_mac1, if_pci0, if_pci1 = L3fwdTest.get_adj_mac(
 124                 nodes, node, if1, if2
 125             )
 126
 127             lcores = [int(item) for item in lcores_list.split(u",")]
 128
 129             # prepare the port config param
 130             nb_cores = int(nb_cores)
 131             index = 0
 132             port_config = ''
 133             for port in range(0, NB_PORTS):
 134                 for queue in range(0, int(queue_nums)):
 135                     index = 0 if nb_cores == 1 else index
 136                     port_config += \
 137                         f"({port}, {queue}, {lcores[index % NB_PORTS]}),"
 138                     index += 1
 139
 140             if jumbo_frames:
 141                 l3fwd_args = DpdkUtil.get_l3fwd_args(
 142                     eal_corelist=f"1,{lcores_list}",
 143                     eal_driver=False,
 144                     eal_pci_whitelist0=if_pci0,
 145                     eal_pci_whitelist1=if_pci1,
 146                     eal_in_memory=True,
 147                     pmd_config=f"\\\"{port_config.rstrip(u',')}\\\"",
 148                     pmd_eth_dest_0=f"\\\"0,{adj_mac0}\\\"",
 149                     pmd_eth_dest_1=f"\\\"1,{adj_mac1}\\\"",
 150                     pmd_parse_ptype=True,
 151                     pmd_max_pkt_len=jumbo_frames
 152                 )
 153             else:
 154                 l3fwd_args = DpdkUtil.get_l3fwd_args(
 155                     eal_corelist=f"1,{lcores_list}",
 156                     eal_driver=False,
 157                     eal_pci_whitelist0=if_pci0,
 158                     eal_pci_whitelist1=if_pci1,
 159                     eal_in_memory=True,
 160                     pmd_config=f"\\\"{port_config.rstrip(u',')}\\\"",
 161                     pmd_eth_dest_0=f"\\\"0,{adj_mac0}\\\"",
 162                     pmd_eth_dest_1=f"\\\"1,{adj_mac1}\\\"",
 163                     pmd_parse_ptype=True
 164                 )
 165
 166             command = f"{Constants.REMOTE_FW_DIR}/{Constants.RESOURCES_LIB_SH}"\
 167                 f"/entry/run_l3fwd.sh \"{l3fwd_args} -P -L -p 0x3\""
 168             message = f"Failed to execute l3fwd test at node {node['host']}"
 169             exec_cmd_no_error(node, command, timeout=1800, message=message)
 170
 171     @staticmethod
 172     def check_l3fwd(node):
 173         """
 174         Execute the l3fwd check on the DUT node.
 175
 176         :param node: DUT node.
 177         :type node: dict
 178         :raises RuntimeError: If the script "check_l3fwd.sh" fails.
 179         """
 180         if node[u"type"] == NodeType.DUT:
 181             command = f"{Constants.REMOTE_FW_DIR}/{Constants.RESOURCES_LIB_SH}"\
 182                 f"/entry/check_l3fwd.sh"
 183             message = "L3fwd not started properly"
 184             exec_cmd_no_error(node, command, timeout=1800, message=message)
 185
 186     @staticmethod
 187     def get_adj_mac(nodes, node, if1, if2):
 188         """
 189         Get adjacency MAC addresses of the DUT node.
 190
 191         :param nodes: All the nodes info in the topology file.
 192         :param node: DUT node.
 193         :param if1: The test link interface 1.
 194         :param if2: The test link interface 2.
 195         :type nodes: dict
 196         :type node: dict
 197         :type if1: str
 198         :type if2: str
 199         :returns: Returns MAC addresses of adjacency DUT nodes and PCI
 200             addresses.
 201         :rtype: str
 202         """
 203         if_key0 = if1
 204         if_key1 = if2
 205         if_pci0 = Topology.get_interface_pci_addr(node, if_key0)
 206         if_pci1 = Topology.get_interface_pci_addr(node, if_key1)
 207
 208         # Detect which is the port 0.
 209         if min(if_pci0, if_pci1) != if_pci0:
 210             if_key0, if_key1 = if_key1, if_key0
 211             L3fwdTest.patch_l3fwd(node, u"patch_l3fwd_flip_routes")
 212
 213         adj_node0, adj_if_key0 = Topology.get_adjacent_node_and_interface(
 214             nodes, node, if_key0
 215         )
 216         adj_node1, adj_if_key1 = Topology.get_adjacent_node_and_interface(
 217             nodes, node, if_key1
 218         )
 219         if_pci0 = Topology.get_interface_pci_addr(node, if_key0)
 220         if_pci1 = Topology.get_interface_pci_addr(node, if_key1)
 221         adj_mac0 = Topology.get_interface_mac(adj_node0, adj_if_key0)
 222         adj_mac1 = Topology.get_interface_mac(adj_node1, adj_if_key1)
 223
 224         return adj_mac0, adj_mac1, if_pci0, if_pci1
 225
 226     @staticmethod
 227     def patch_l3fwd(node, patch):
 228         """
 229         Patch l3fwd application and recompile.
 230
 231         :param node: DUT node.
 232         :param patch: Patch to apply.
 233         :type node: dict
 234         :type patch: str
 235         :raises RuntimeError: Patching of l3fwd failed.
 236         """
 237         command = f"{Constants.REMOTE_FW_DIR}/{Constants.RESOURCES_LIB_SH}"\
 238             f"/entry/patch_l3fwd.sh " \
 239             f"{Constants.REMOTE_FW_DIR}/{Constants.RESOURCES_LIB_SH}"\
 240             f"/entry/{patch}"
 241         message = f"Failed to patch l3fwd at node {node['host']}"
 242         ret_code, stdout, _ = exec_cmd(node, command, timeout=1800)
 243         if ret_code != 0 and u"Skipping patch." not in stdout:
 244             raise RuntimeError(message)