Final changes for AWS.
[csit.git] / resources / libraries / python / InterfaceUtil.py
1 # Copyright (c) 2020 Cisco and/or its affiliates.
2 # Licensed under the Apache License, Version 2.0 (the "License");
3 # you may not use this file except in compliance with the License.
4 # You may obtain a copy of the License at:
5 #
6 #     http://www.apache.org/licenses/LICENSE-2.0
7 #
8 # Unless required by applicable law or agreed to in writing, software
9 # distributed under the License is distributed on an "AS IS" BASIS,
10 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
11 # See the License for the specific language governing permissions and
12 # limitations under the License.
13
14 """Interface util library."""
15
16 from time import sleep
17 from enum import IntEnum
18
19 from ipaddress import ip_address
20 from robot.api import logger
21
22 from resources.libraries.python.Constants import Constants
23 from resources.libraries.python.CpuUtils import CpuUtils
24 from resources.libraries.python.DUTSetup import DUTSetup
25 from resources.libraries.python.L2Util import L2Util
26 from resources.libraries.python.PapiExecutor import PapiSocketExecutor
27 from resources.libraries.python.parsers.JsonParser import JsonParser
28 from resources.libraries.python.ssh import SSH, exec_cmd_no_error
29 from resources.libraries.python.topology import NodeType, Topology
30 from resources.libraries.python.VPPUtil import VPPUtil
31
32
33 class InterfaceStatusFlags(IntEnum):
34     """Interface status flags."""
35     IF_STATUS_API_FLAG_ADMIN_UP = 1
36     IF_STATUS_API_FLAG_LINK_UP = 2
37
38
39 class MtuProto(IntEnum):
40     """MTU protocol."""
41     MTU_PROTO_API_L3 = 0
42     MTU_PROTO_API_IP4 = 1
43     MTU_PROTO_API_IP6 = 2
44     MTU_PROTO_API_MPLS = 3
45     MTU_PROTO_API_N = 4
46
47
48 class LinkDuplex(IntEnum):
49     """Link duplex"""
50     LINK_DUPLEX_API_UNKNOWN = 0
51     LINK_DUPLEX_API_HALF = 1
52     LINK_DUPLEX_API_FULL = 2
53
54
55 class SubInterfaceFlags(IntEnum):
56     """Sub-interface flags."""
57     SUB_IF_API_FLAG_NO_TAGS = 1
58     SUB_IF_API_FLAG_ONE_TAG = 2
59     SUB_IF_API_FLAG_TWO_TAGS = 4
60     SUB_IF_API_FLAG_DOT1AD = 8
61     SUB_IF_API_FLAG_EXACT_MATCH = 16
62     SUB_IF_API_FLAG_DEFAULT = 32
63     SUB_IF_API_FLAG_OUTER_VLAN_ID_ANY = 64
64     SUB_IF_API_FLAG_INNER_VLAN_ID_ANY = 128
65     SUB_IF_API_FLAG_DOT1AH = 256
66
67
68 class RxMode(IntEnum):
69     """RX mode"""
70     RX_MODE_API_UNKNOWN = 0
71     RX_MODE_API_POLLING = 1
72     RX_MODE_API_INTERRUPT = 2
73     RX_MODE_API_ADAPTIVE = 3
74     RX_MODE_API_DEFAULT = 4
75
76
77 class IfType(IntEnum):
78     """Interface type"""
79     # A hw interface
80     IF_API_TYPE_HARDWARE = 0
81     # A sub-interface
82     IF_API_TYPE_SUB = 1
83     IF_API_TYPE_P2P = 2
84     IF_API_TYPE_PIPE = 3
85
86
87 class LinkBondLoadBalanceAlgo(IntEnum):
88     """Link bonding load balance algorithm."""
89     BOND_API_LB_ALGO_L2 = 0
90     BOND_API_LB_ALGO_L34 = 1
91     BOND_API_LB_ALGO_L23 = 2
92     BOND_API_LB_ALGO_RR = 3
93     BOND_API_LB_ALGO_BC = 4
94     BOND_API_LB_ALGO_AB = 5
95
96
97 class LinkBondMode(IntEnum):
98     """Link bonding mode."""
99     BOND_API_MODE_ROUND_ROBIN = 1
100     BOND_API_MODE_ACTIVE_BACKUP = 2
101     BOND_API_MODE_XOR = 3
102     BOND_API_MODE_BROADCAST = 4
103     BOND_API_MODE_LACP = 5
104
105
106 class RdmaMode(IntEnum):
107     """RDMA interface mode."""
108     RDMA_API_MODE_AUTO = 0
109     RDMA_API_MODE_IBV = 1
110     RDMA_API_MODE_DV = 2
111
112
113 class InterfaceUtil:
114     """General utilities for managing interfaces"""
115
116     @staticmethod
117     def pci_to_int(pci_str):
118         """Convert PCI address from string format (0000:18:0a.0) to
119         integer representation (169345024).
120
121         :param pci_str: PCI address in string representation.
122         :type pci_str: str
123         :returns: Integer representation of PCI address.
124         :rtype: int
125         """
126         pci = list(pci_str.split(u":")[0:2])
127         pci.extend(pci_str.split(u":")[2].split(u"."))
128
129         return (int(pci[0], 16) | int(pci[1], 16) << 16 |
130                 int(pci[2], 16) << 24 | int(pci[3], 16) << 29)
131
132     @staticmethod
133     def pci_to_eth(node, pci_str):
134         """Convert PCI address on DUT to Linux ethernet name.
135
136         :param node: DUT node
137         :param pci_str: PCI address.
138         :type node: dict
139         :type pci_str: str
140         :returns: Ethernet name.
141         :rtype: str
142         """
143         cmd = f"basename /sys/bus/pci/devices/{pci_str}/net/*"
144         try:
145             stdout, _ = exec_cmd_no_error(node, cmd)
146         except RuntimeError:
147             raise RuntimeError(f"Cannot convert {pci_str} to ethernet name!")
148
149         return stdout.strip()
150
151     @staticmethod
152     def get_interface_index(node, interface):
153         """Get interface sw_if_index from topology file.
154
155         :param node: Node where the interface is.
156         :param interface: Numeric index or name string of a specific interface.
157         :type node: dict
158         :type interface: str or int
159         :returns: SW interface index.
160         :rtype: int
161         """
162         try:
163             sw_if_index = int(interface)
164         except ValueError:
165             sw_if_index = Topology.get_interface_sw_index(node, interface)
166             if sw_if_index is None:
167                 sw_if_index = \
168                     Topology.get_interface_sw_index_by_name(node, interface)
169         except TypeError as err:
170             raise TypeError(f"Wrong interface format {interface}") from err
171
172         return sw_if_index
173
174     @staticmethod
175     def set_interface_state(node, interface, state, if_type=u"key"):
176         """Set interface state on a node.
177
178         Function can be used for DUTs as well as for TGs.
179
180         :param node: Node where the interface is.
181         :param interface: Interface key or sw_if_index or name.
182         :param state: One of 'up' or 'down'.
183         :param if_type: Interface type
184         :type node: dict
185         :type interface: str or int
186         :type state: str
187         :type if_type: str
188         :returns: Nothing.
189         :raises ValueError: If the interface type is unknown.
190         :raises ValueError: If the state of interface is unexpected.
191         :raises ValueError: If the node has an unknown node type.
192         """
193         if if_type == u"key":
194             if isinstance(interface, str):
195                 sw_if_index = Topology.get_interface_sw_index(node, interface)
196                 iface_name = Topology.get_interface_name(node, interface)
197             else:
198                 sw_if_index = interface
199         elif if_type == u"name":
200             iface_key = Topology.get_interface_by_name(node, interface)
201             if iface_key is not None:
202                 sw_if_index = Topology.get_interface_sw_index(node, iface_key)
203             iface_name = interface
204         else:
205             raise ValueError(f"Unknown if_type: {if_type}")
206
207         if node[u"type"] == NodeType.DUT:
208             if state == u"up":
209                 flags = InterfaceStatusFlags.IF_STATUS_API_FLAG_ADMIN_UP.value
210             elif state == u"down":
211                 flags = 0
212             else:
213                 raise ValueError(f"Unexpected interface state: {state}")
214             cmd = u"sw_interface_set_flags"
215             err_msg = f"Failed to set interface state on host {node[u'host']}"
216             args = dict(
217                 sw_if_index=int(sw_if_index),
218                 flags=flags
219             )
220             with PapiSocketExecutor(node) as papi_exec:
221                 papi_exec.add(cmd, **args).get_reply(err_msg)
222         elif node[u"type"] == NodeType.TG or node[u"type"] == NodeType.VM:
223             cmd = f"ip link set {iface_name} {state}"
224             exec_cmd_no_error(node, cmd, sudo=True)
225         else:
226             raise ValueError(
227                 f"Node {node[u'host']} has unknown NodeType: {node[u'type']}"
228             )
229
230     @staticmethod
231     def set_interface_ethernet_mtu(node, iface_key, mtu):
232         """Set Ethernet MTU for specified interface.
233
234         Function can be used only for TGs.
235
236         :param node: Node where the interface is.
237         :param iface_key: Interface key from topology file.
238         :param mtu: MTU to set.
239         :type node: dict
240         :type iface_key: str
241         :type mtu: int
242         :returns: Nothing.
243         :raises ValueError: If the node type is "DUT".
244         :raises ValueError: If the node has an unknown node type.
245         """
246         if node[u"type"] == NodeType.DUT:
247             msg = f"Node {node[u'host']}: Setting Ethernet MTU for interface " \
248                 f"on DUT nodes not supported"
249         elif node[u"type"] != NodeType.TG:
250             msg = f"Node {node[u'host']} has unknown NodeType: {node[u'type']}"
251         else:
252             iface_name = Topology.get_interface_name(node, iface_key)
253             cmd = f"ip link set {iface_name} mtu {mtu}"
254             exec_cmd_no_error(node, cmd, sudo=True)
255             return
256         raise ValueError(msg)
257
258     @staticmethod
259     def set_default_ethernet_mtu_on_all_interfaces_on_node(node):
260         """Set default Ethernet MTU on all interfaces on node.
261
262         Function can be used only for TGs.
263
264         :param node: Node where to set default MTU.
265         :type node: dict
266         :returns: Nothing.
267         """
268         for ifc in node[u"interfaces"]:
269             InterfaceUtil.set_interface_ethernet_mtu(node, ifc, 1500)
270
271     @staticmethod
272     def vpp_set_interface_mtu(node, interface, mtu=9200):
273         """Set Ethernet MTU on interface.
274
275         :param node: VPP node.
276         :param interface: Interface to setup MTU. Default: 9200.
277         :param mtu: Ethernet MTU size in Bytes.
278         :type node: dict
279         :type interface: str or int
280         :type mtu: int
281         """
282         if isinstance(interface, str):
283             sw_if_index = Topology.get_interface_sw_index(node, interface)
284         else:
285             sw_if_index = interface
286
287         cmd = u"hw_interface_set_mtu"
288         err_msg = f"Failed to set interface MTU on host {node[u'host']}"
289         args = dict(
290             sw_if_index=sw_if_index,
291             mtu=int(mtu)
292         )
293         try:
294             with PapiSocketExecutor(node) as papi_exec:
295                 papi_exec.add(cmd, **args).get_reply(err_msg)
296         except AssertionError as err:
297             # TODO: Make failure tolerance optional.
298             logger.debug(f"Setting MTU failed. Expected?\n{err}")
299
300     @staticmethod
301     def vpp_set_interfaces_mtu_on_node(node, mtu=9200):
302         """Set Ethernet MTU on all interfaces.
303
304         :param node: VPP node.
305         :param mtu: Ethernet MTU size in Bytes. Default: 9200.
306         :type node: dict
307         :type mtu: int
308         """
309         for interface in node[u"interfaces"]:
310             InterfaceUtil.vpp_set_interface_mtu(node, interface, mtu)
311
312     @staticmethod
313     def vpp_set_interfaces_mtu_on_all_duts(nodes, mtu=9200):
314         """Set Ethernet MTU on all interfaces on all DUTs.
315
316         :param nodes: VPP nodes.
317         :param mtu: Ethernet MTU size in Bytes. Default: 9200.
318         :type nodes: dict
319         :type mtu: int
320         """
321         for node in nodes.values():
322             if node[u"type"] == NodeType.DUT:
323                 InterfaceUtil.vpp_set_interfaces_mtu_on_node(node, mtu)
324
325     @staticmethod
326     def vpp_node_interfaces_ready_wait(node, retries=15):
327         """Wait until all interfaces with admin-up are in link-up state.
328
329         :param node: Node to wait on.
330         :param retries: Number of retries to check interface status (optional,
331             default 15).
332         :type node: dict
333         :type retries: int
334         :returns: Nothing.
335         :raises RuntimeError: If any interface is not in link-up state after
336             defined number of retries.
337         """
338         for _ in range(0, retries):
339             not_ready = list()
340             out = InterfaceUtil.vpp_get_interface_data(node)
341             for interface in out:
342                 if interface.get(u"flags") == 1:
343                     not_ready.append(interface.get(u"interface_name"))
344             if not_ready:
345                 logger.debug(
346                     f"Interfaces still not in link-up state:\n{not_ready}"
347                 )
348                 sleep(1)
349             else:
350                 break
351         else:
352             err = f"Timeout, interfaces not up:\n{not_ready}" \
353                 if u"not_ready" in locals() else u"No check executed!"
354             raise RuntimeError(err)
355
356     @staticmethod
357     def all_vpp_interfaces_ready_wait(nodes, retries=15):
358         """Wait until all interfaces with admin-up are in link-up state for all
359         nodes in the topology.
360
361         :param nodes: Nodes in the topology.
362         :param retries: Number of retries to check interface status (optional,
363             default 15).
364         :type nodes: dict
365         :type retries: int
366         :returns: Nothing.
367         """
368         for node in nodes.values():
369             if node[u"type"] == NodeType.DUT:
370                 InterfaceUtil.vpp_node_interfaces_ready_wait(node, retries)
371
372     @staticmethod
373     def vpp_get_interface_data(node, interface=None):
374         """Get all interface data from a VPP node. If a name or
375         sw_interface_index is provided, return only data for the matching
376         interface(s).
377
378         :param node: VPP node to get interface data from.
379         :param interface: Numeric index or name string of a specific interface.
380         :type node: dict
381         :type interface: int or str
382         :returns: List of dictionaries containing data for each interface, or a
383             single dictionary for the specified interface.
384         :rtype: list or dict
385         :raises TypeError: if the data type of interface is neither basestring
386             nor int.
387         """
388         def process_if_dump(if_dump):
389             """Process interface dump.
390
391             :param if_dump: Interface dump.
392             :type if_dump: dict
393             :returns: Processed interface dump.
394             :rtype: dict
395             """
396             if_dump[u"l2_address"] = str(if_dump[u"l2_address"])
397             if_dump[u"b_dmac"] = str(if_dump[u"b_dmac"])
398             if_dump[u"b_smac"] = str(if_dump[u"b_smac"])
399             if_dump[u"flags"] = if_dump[u"flags"].value
400             if_dump[u"type"] = if_dump[u"type"].value
401             if_dump[u"link_duplex"] = if_dump[u"link_duplex"].value
402             if_dump[u"sub_if_flags"] = if_dump[u"sub_if_flags"].value \
403                 if hasattr(if_dump[u"sub_if_flags"], u"value") \
404                 else int(if_dump[u"sub_if_flags"])
405
406             return if_dump
407
408         if interface is not None:
409             if isinstance(interface, str):
410                 param = u"interface_name"
411             elif isinstance(interface, int):
412                 param = u"sw_if_index"
413             else:
414                 raise TypeError(f"Wrong interface format {interface}")
415         else:
416             param = u""
417
418         cmd = u"sw_interface_dump"
419         args = dict(
420             name_filter_valid=False,
421             name_filter=u""
422         )
423         err_msg = f"Failed to get interface dump on host {node[u'host']}"
424
425         with PapiSocketExecutor(node) as papi_exec:
426             details = papi_exec.add(cmd, **args).get_details(err_msg)
427         logger.debug(f"Received data:\n{details!r}")
428
429         data = list() if interface is None else dict()
430         for dump in details:
431             if interface is None:
432                 data.append(process_if_dump(dump))
433             elif str(dump.get(param)).rstrip(u"\x00") == str(interface):
434                 data = process_if_dump(dump)
435                 break
436
437         logger.debug(f"Interface data:\n{data}")
438         return data
439
440     @staticmethod
441     def vpp_get_interface_name(node, sw_if_index):
442         """Get interface name for the given SW interface index from actual
443         interface dump.
444
445         :param node: VPP node to get interface data from.
446         :param sw_if_index: SW interface index of the specific interface.
447         :type node: dict
448         :type sw_if_index: int
449         :returns: Name of the given interface.
450         :rtype: str
451         """
452         if_data = InterfaceUtil.vpp_get_interface_data(node, sw_if_index)
453         if if_data[u"sup_sw_if_index"] != if_data[u"sw_if_index"]:
454             if_data = InterfaceUtil.vpp_get_interface_data(
455                 node, if_data[u"sup_sw_if_index"]
456             )
457
458         return if_data.get(u"interface_name")
459
460     @staticmethod
461     def vpp_get_interface_sw_index(node, interface_name):
462         """Get interface name for the given SW interface index from actual
463         interface dump.
464
465         :param node: VPP node to get interface data from.
466         :param interface_name: Interface name.
467         :type node: dict
468         :type interface_name: str
469         :returns: Name of the given interface.
470         :rtype: str
471         """
472         if_data = InterfaceUtil.vpp_get_interface_data(node, interface_name)
473
474         return if_data.get(u"sw_if_index")
475
476     @staticmethod
477     def vpp_get_interface_mac(node, interface):
478         """Get MAC address for the given interface from actual interface dump.
479
480         :param node: VPP node to get interface data from.
481         :param interface: Numeric index or name string of a specific interface.
482         :type node: dict
483         :type interface: int or str
484         :returns: MAC address.
485         :rtype: str
486         """
487         if_data = InterfaceUtil.vpp_get_interface_data(node, interface)
488         if if_data[u"sup_sw_if_index"] != if_data[u"sw_if_index"]:
489             if_data = InterfaceUtil.vpp_get_interface_data(
490                 node, if_data[u"sup_sw_if_index"])
491
492         return if_data.get(u"l2_address")
493
494     @staticmethod
495     def vpp_set_interface_mac(node, interface, mac):
496         """Set MAC address for the given interface.
497
498         :param node: VPP node to set interface MAC.
499         :param interface: Numeric index or name string of a specific interface.
500         :param mac: Required MAC address.
501         :type node: dict
502         :type interface: int or str
503         :type mac: str
504         """
505         cmd = u"sw_interface_set_mac_address"
506         args = dict(
507             sw_if_index=InterfaceUtil.get_interface_index(node, interface),
508             mac_address=L2Util.mac_to_bin(mac)
509         )
510         err_msg = f"Failed to set MAC address of interface {interface}" \
511             f"on host {node[u'host']}"
512         with PapiSocketExecutor(node) as papi_exec:
513             papi_exec.add(cmd, **args).get_reply(err_msg)
514
515     @staticmethod
516     def tg_set_interface_driver(node, pci_addr, driver):
517         """Set interface driver on the TG node.
518
519         :param node: Node to set interface driver on (must be TG node).
520         :param pci_addr: PCI address of the interface.
521         :param driver: Driver name.
522         :type node: dict
523         :type pci_addr: str
524         :type driver: str
525         :raises RuntimeError: If unbinding from the current driver fails.
526         :raises RuntimeError: If binding to the new driver fails.
527         """
528         old_driver = InterfaceUtil.tg_get_interface_driver(node, pci_addr)
529         if old_driver == driver:
530             return
531
532         ssh = SSH()
533         ssh.connect(node)
534
535         # Unbind from current driver
536         if old_driver is not None:
537             cmd = f"sh -c \"echo {pci_addr} > " \
538                 f"/sys/bus/pci/drivers/{old_driver}/unbind\""
539             ret_code, _, _ = ssh.exec_command_sudo(cmd)
540             if int(ret_code) != 0:
541                 raise RuntimeError(f"'{cmd}' failed on '{node[u'host']}'")
542
543         # Bind to the new driver
544         cmd = f"sh -c \"echo {pci_addr} > /sys/bus/pci/drivers/{driver}/bind\""
545         ret_code, _, _ = ssh.exec_command_sudo(cmd)
546         if int(ret_code) != 0:
547             raise RuntimeError(f"'{cmd}' failed on '{node[u'host']}'")
548
549     @staticmethod
550     def tg_get_interface_driver(node, pci_addr):
551         """Get interface driver from the TG node.
552
553         :param node: Node to get interface driver on (must be TG node).
554         :param pci_addr: PCI address of the interface.
555         :type node: dict
556         :type pci_addr: str
557         :returns: Interface driver or None if not found.
558         :rtype: str
559         :raises RuntimeError: If PCI rescan or lspci command execution failed.
560         """
561         return DUTSetup.get_pci_dev_driver(node, pci_addr)
562
563     @staticmethod
564     def tg_set_interfaces_default_driver(node):
565         """Set interfaces default driver specified in topology yaml file.
566
567         :param node: Node to setup interfaces driver on (must be TG node).
568         :type node: dict
569         """
570         for interface in node[u"interfaces"].values():
571             InterfaceUtil.tg_set_interface_driver(
572                 node, interface[u"pci_address"], interface[u"driver"]
573             )
574
575     @staticmethod
576     def update_vpp_interface_data_on_node(node):
577         """Update vpp generated interface data for a given node in DICT__nodes.
578
579         Updates interface names, software if index numbers and any other details
580         generated specifically by vpp that are unknown before testcase run.
581         It does this by dumping interface list from all devices using python
582         api, and pairing known information from topology (mac address) to state
583         from VPP.
584
585         :param node: Node selected from DICT__nodes.
586         :type node: dict
587         """
588         interface_list = InterfaceUtil.vpp_get_interface_data(node)
589         interface_dict = dict()
590         for ifc in interface_list:
591             interface_dict[ifc[u"l2_address"]] = ifc
592
593         for if_name, if_data in node[u"interfaces"].items():
594             ifc_dict = interface_dict.get(if_data[u"mac_address"])
595             if ifc_dict is not None:
596                 if_data[u"name"] = ifc_dict[u"interface_name"]
597                 if_data[u"vpp_sw_index"] = ifc_dict[u"sw_if_index"]
598                 if_data[u"mtu"] = ifc_dict[u"mtu"][0]
599                 logger.trace(
600                     f"Interface {if_name} found by MAC "
601                     f"{if_data[u'mac_address']}"
602                 )
603             else:
604                 logger.trace(
605                     f"Interface {if_name} not found by MAC "
606                     f"{if_data[u'mac_address']}"
607                 )
608                 if_data[u"vpp_sw_index"] = None
609
610     @staticmethod
611     def update_nic_interface_names(node):
612         """Update interface names based on nic type and PCI address.
613
614         This method updates interface names in the same format as VPP does.
615
616         :param node: Node dictionary.
617         :type node: dict
618         """
619         for ifc in node[u"interfaces"].values():
620             if_pci = ifc[u"pci_address"].replace(u".", u":").split(u":")
621             loc = f"{int(if_pci[1], 16):x}/{int(if_pci[2], 16):x}/" \
622                 f"{int(if_pci[3], 16):x}"
623             if ifc[u"model"] == u"Intel-XL710":
624                 ifc[u"name"] = f"FortyGigabitEthernet{loc}"
625             elif ifc[u"model"] == u"Intel-X710":
626                 ifc[u"name"] = f"TenGigabitEthernet{loc}"
627             elif ifc[u"model"] == u"Intel-X520-DA2":
628                 ifc[u"name"] = f"TenGigabitEthernet{loc}"
629             elif ifc[u"model"] == u"Cisco-VIC-1385":
630                 ifc[u"name"] = f"FortyGigabitEthernet{loc}"
631             elif ifc[u"model"] == u"Cisco-VIC-1227":
632                 ifc[u"name"] = f"TenGigabitEthernet{loc}"
633             else:
634                 ifc[u"name"] = f"UnknownEthernet{loc}"
635
636     @staticmethod
637     def update_nic_interface_names_on_all_duts(nodes):
638         """Update interface names based on nic type and PCI address on all DUTs.
639
640         This method updates interface names in the same format as VPP does.
641
642         :param nodes: Topology nodes.
643         :type nodes: dict
644         """
645         for node in nodes.values():
646             if node[u"type"] == NodeType.DUT:
647                 InterfaceUtil.update_nic_interface_names(node)
648
649     @staticmethod
650     def update_tg_interface_data_on_node(node):
651         """Update interface name for TG/linux node in DICT__nodes.
652
653         .. note::
654             # for dev in `ls /sys/class/net/`;
655             > do echo "\"`cat /sys/class/net/$dev/address`\": \"$dev\""; done
656             "52:54:00:9f:82:63": "eth0"
657             "52:54:00:77:ae:a9": "eth1"
658             "52:54:00:e1:8a:0f": "eth2"
659             "00:00:00:00:00:00": "lo"
660
661         :param node: Node selected from DICT__nodes.
662         :type node: dict
663         :raises RuntimeError: If getting of interface name and MAC fails.
664         """
665         # First setup interface driver specified in yaml file
666         InterfaceUtil.tg_set_interfaces_default_driver(node)
667
668         # Get interface names
669         ssh = SSH()
670         ssh.connect(node)
671
672         cmd = u'for dev in `ls /sys/class/net/`; do echo "\\"`cat ' \
673               u'/sys/class/net/$dev/address`\\": \\"$dev\\""; done;'
674
675         ret_code, stdout, _ = ssh.exec_command(cmd)
676         if int(ret_code) != 0:
677             raise RuntimeError(u"Get interface name and MAC failed")
678         tmp = u"{" + stdout.rstrip().replace(u"\n", u",") + u"}"
679
680         interfaces = JsonParser().parse_data(tmp)
681         for interface in node[u"interfaces"].values():
682             name = interfaces.get(interface[u"mac_address"])
683             if name is None:
684                 continue
685             interface[u"name"] = name
686
687     @staticmethod
688     def iface_update_numa_node(node):
689         """For all interfaces from topology file update numa node based on
690            information from the node.
691
692         :param node: Node from topology.
693         :type node: dict
694         :returns: Nothing.
695         :raises ValueError: If numa node ia less than 0.
696         :raises RuntimeError: If update of numa node failed.
697         """
698         ssh = SSH()
699         for if_key in Topology.get_node_interfaces(node):
700             if_pci = Topology.get_interface_pci_addr(node, if_key)
701             ssh.connect(node)
702             cmd = f"cat /sys/bus/pci/devices/{if_pci}/numa_node"
703             for _ in range(3):
704                 ret, out, _ = ssh.exec_command(cmd)
705                 if ret == 0:
706                     try:
707                         numa_node = 0 if int(out) < 0 else int(out)
708                     except ValueError:
709                         logger.trace(
710                             f"Reading numa location failed for: {if_pci}"
711                         )
712                     else:
713                         Topology.set_interface_numa_node(
714                             node, if_key, numa_node
715                         )
716                         break
717             else:
718                 raise RuntimeError(f"Update numa node failed for: {if_pci}")
719
720     @staticmethod
721     def update_all_interface_data_on_all_nodes(
722             nodes, skip_tg=False, skip_vpp=False):
723         """Update interface names on all nodes in DICT__nodes.
724
725         This method updates the topology dictionary by querying interface lists
726         of all nodes mentioned in the topology dictionary.
727
728         :param nodes: Nodes in the topology.
729         :param skip_tg: Skip TG node.
730         :param skip_vpp: Skip VPP node.
731         :type nodes: dict
732         :type skip_tg: bool
733         :type skip_vpp: bool
734         """
735         for node in nodes.values():
736             if node[u"type"] == NodeType.DUT and not skip_vpp:
737                 InterfaceUtil.update_vpp_interface_data_on_node(node)
738             elif node[u"type"] == NodeType.TG and not skip_tg:
739                 InterfaceUtil.update_tg_interface_data_on_node(node)
740             InterfaceUtil.iface_update_numa_node(node)
741
742     @staticmethod
743     def create_vlan_subinterface(node, interface, vlan):
744         """Create VLAN sub-interface on node.
745
746         :param node: Node to add VLAN subinterface on.
747         :param interface: Interface name or index on which create VLAN
748             subinterface.
749         :param vlan: VLAN ID of the subinterface to be created.
750         :type node: dict
751         :type interface: str on int
752         :type vlan: int
753         :returns: Name and index of created subinterface.
754         :rtype: tuple
755         :raises RuntimeError: if it is unable to create VLAN subinterface on the
756             node or interface cannot be converted.
757         """
758         sw_if_index = InterfaceUtil.get_interface_index(node, interface)
759
760         cmd = u"create_vlan_subif"
761         args = dict(
762             sw_if_index=sw_if_index,
763             vlan_id=int(vlan)
764         )
765         err_msg = f"Failed to create VLAN sub-interface on host {node[u'host']}"
766
767         with PapiSocketExecutor(node) as papi_exec:
768             sw_if_index = papi_exec.add(cmd, **args).get_sw_if_index(err_msg)
769
770         if_key = Topology.add_new_port(node, u"vlan_subif")
771         Topology.update_interface_sw_if_index(node, if_key, sw_if_index)
772         ifc_name = InterfaceUtil.vpp_get_interface_name(node, sw_if_index)
773         Topology.update_interface_name(node, if_key, ifc_name)
774
775         return f"{interface}.{vlan}", sw_if_index
776
777     @staticmethod
778     def create_vxlan_interface(node, vni, source_ip, destination_ip):
779         """Create VXLAN interface and return sw if index of created interface.
780
781         :param node: Node where to create VXLAN interface.
782         :param vni: VXLAN Network Identifier.
783         :param source_ip: Source IP of a VXLAN Tunnel End Point.
784         :param destination_ip: Destination IP of a VXLAN Tunnel End Point.
785         :type node: dict
786         :type vni: int
787         :type source_ip: str
788         :type destination_ip: str
789         :returns: SW IF INDEX of created interface.
790         :rtype: int
791         :raises RuntimeError: if it is unable to create VxLAN interface on the
792             node.
793         """
794         src_address = ip_address(source_ip)
795         dst_address = ip_address(destination_ip)
796
797         cmd = u"vxlan_add_del_tunnel"
798         args = dict(
799             is_add=1,
800             is_ipv6=1 if src_address.version == 6 else 0,
801             instance=Constants.BITWISE_NON_ZERO,
802             src_address=src_address.packed,
803             dst_address=dst_address.packed,
804             mcast_sw_if_index=Constants.BITWISE_NON_ZERO,
805             encap_vrf_id=0,
806             decap_next_index=Constants.BITWISE_NON_ZERO,
807             vni=int(vni)
808         )
809         err_msg = f"Failed to create VXLAN tunnel interface " \
810             f"on host {node[u'host']}"
811         with PapiSocketExecutor(node) as papi_exec:
812             sw_if_index = papi_exec.add(cmd, **args).get_sw_if_index(err_msg)
813
814         if_key = Topology.add_new_port(node, u"vxlan_tunnel")
815         Topology.update_interface_sw_if_index(node, if_key, sw_if_index)
816         ifc_name = InterfaceUtil.vpp_get_interface_name(node, sw_if_index)
817         Topology.update_interface_name(node, if_key, ifc_name)
818
819         return sw_if_index
820
821     @staticmethod
822     def set_vxlan_bypass(node, interface=None):
823         """Add the 'ip4-vxlan-bypass' graph node for a given interface.
824
825         By adding the IPv4 vxlan-bypass graph node to an interface, the node
826         checks for and validate input vxlan packet and bypass ip4-lookup,
827         ip4-local, ip4-udp-lookup nodes to speedup vxlan packet forwarding.
828         This node will cause extra overhead to for non-vxlan packets which is
829         kept at a minimum.
830
831         :param node: Node where to set VXLAN bypass.
832         :param interface: Numeric index or name string of a specific interface.
833         :type node: dict
834         :type interface: int or str
835         :raises RuntimeError: if it failed to set VXLAN bypass on interface.
836         """
837         sw_if_index = InterfaceUtil.get_interface_index(node, interface)
838
839         cmd = u"sw_interface_set_vxlan_bypass"
840         args = dict(
841             is_ipv6=0,
842             sw_if_index=sw_if_index,
843             enable=1
844         )
845         err_msg = f"Failed to set VXLAN bypass on interface " \
846             f"on host {node[u'host']}"
847         with PapiSocketExecutor(node) as papi_exec:
848             papi_exec.add(cmd, **args).get_replies(err_msg)
849
850     @staticmethod
851     def vxlan_dump(node, interface=None):
852         """Get VxLAN data for the given interface.
853
854         :param node: VPP node to get interface data from.
855         :param interface: Numeric index or name string of a specific interface.
856             If None, information about all VxLAN interfaces is returned.
857         :type node: dict
858         :type interface: int or str
859         :returns: Dictionary containing data for the given VxLAN interface or if
860             interface=None, the list of dictionaries with all VxLAN interfaces.
861         :rtype: dict or list
862         :raises TypeError: if the data type of interface is neither basestring
863             nor int.
864         """
865         def process_vxlan_dump(vxlan_dump):
866             """Process vxlan dump.
867
868             :param vxlan_dump: Vxlan interface dump.
869             :type vxlan_dump: dict
870             :returns: Processed vxlan interface dump.
871             :rtype: dict
872             """
873             if vxlan_dump[u"is_ipv6"]:
874                 vxlan_dump[u"src_address"] = \
875                     ip_address(vxlan_dump[u"src_address"])
876                 vxlan_dump[u"dst_address"] =  \
877                     ip_address(vxlan_dump[u"dst_address"])
878             else:
879                 vxlan_dump[u"src_address"] = \
880                     ip_address(vxlan_dump[u"src_address"][0:4])
881                 vxlan_dump[u"dst_address"] = \
882                     ip_address(vxlan_dump[u"dst_address"][0:4])
883             return vxlan_dump
884
885         if interface is not None:
886             sw_if_index = InterfaceUtil.get_interface_index(node, interface)
887         else:
888             sw_if_index = int(Constants.BITWISE_NON_ZERO)
889
890         cmd = u"vxlan_tunnel_dump"
891         args = dict(
892             sw_if_index=sw_if_index
893         )
894         err_msg = f"Failed to get VXLAN dump on host {node[u'host']}"
895
896         with PapiSocketExecutor(node) as papi_exec:
897             details = papi_exec.add(cmd, **args).get_details(err_msg)
898
899         data = list() if interface is None else dict()
900         for dump in details:
901             if interface is None:
902                 data.append(process_vxlan_dump(dump))
903             elif dump[u"sw_if_index"] == sw_if_index:
904                 data = process_vxlan_dump(dump)
905                 break
906
907         logger.debug(f"VXLAN data:\n{data}")
908         return data
909
910     @staticmethod
911     def create_subinterface(
912             node, interface, sub_id, outer_vlan_id=None, inner_vlan_id=None,
913             type_subif=None):
914         """Create sub-interface on node. It is possible to set required
915         sub-interface type and VLAN tag(s).
916
917         :param node: Node to add sub-interface.
918         :param interface: Interface name on which create sub-interface.
919         :param sub_id: ID of the sub-interface to be created.
920         :param outer_vlan_id: Optional outer VLAN ID.
921         :param inner_vlan_id: Optional inner VLAN ID.
922         :param type_subif: Optional type of sub-interface. Values supported by
923             VPP: [no_tags] [one_tag] [two_tags] [dot1ad] [exact_match]
924             [default_sub]
925         :type node: dict
926         :type interface: str or int
927         :type sub_id: int
928         :type outer_vlan_id: int
929         :type inner_vlan_id: int
930         :type type_subif: str
931         :returns: Name and index of created sub-interface.
932         :rtype: tuple
933         :raises RuntimeError: If it is not possible to create sub-interface.
934         """
935         subif_types = type_subif.split()
936
937         flags = 0
938         if u"no_tags" in subif_types:
939             flags = flags | SubInterfaceFlags.SUB_IF_API_FLAG_NO_TAGS
940         if u"one_tag" in subif_types:
941             flags = flags | SubInterfaceFlags.SUB_IF_API_FLAG_ONE_TAG
942         if u"two_tags" in subif_types:
943             flags = flags | SubInterfaceFlags.SUB_IF_API_FLAG_TWO_TAGS
944         if u"dot1ad" in subif_types:
945             flags = flags | SubInterfaceFlags.SUB_IF_API_FLAG_DOT1AD
946         if u"exact_match" in subif_types:
947             flags = flags | SubInterfaceFlags.SUB_IF_API_FLAG_EXACT_MATCH
948         if u"default_sub" in subif_types:
949             flags = flags | SubInterfaceFlags.SUB_IF_API_FLAG_DEFAULT
950         if type_subif == u"default_sub":
951             flags = flags | SubInterfaceFlags.SUB_IF_API_FLAG_INNER_VLAN_ID_ANY\
952                     | SubInterfaceFlags.SUB_IF_API_FLAG_OUTER_VLAN_ID_ANY
953
954         cmd = u"create_subif"
955         args = dict(
956             sw_if_index=InterfaceUtil.get_interface_index(node, interface),
957             sub_id=int(sub_id),
958             sub_if_flags=flags.value if hasattr(flags, u"value")
959             else int(flags),
960             outer_vlan_id=int(outer_vlan_id) if outer_vlan_id else 0,
961             inner_vlan_id=int(inner_vlan_id) if inner_vlan_id else 0
962         )
963         err_msg = f"Failed to create sub-interface on host {node[u'host']}"
964         with PapiSocketExecutor(node) as papi_exec:
965             sw_if_index = papi_exec.add(cmd, **args).get_sw_if_index(err_msg)
966
967         if_key = Topology.add_new_port(node, u"subinterface")
968         Topology.update_interface_sw_if_index(node, if_key, sw_if_index)
969         ifc_name = InterfaceUtil.vpp_get_interface_name(node, sw_if_index)
970         Topology.update_interface_name(node, if_key, ifc_name)
971
972         return f"{interface}.{sub_id}", sw_if_index
973
974     @staticmethod
975     def create_gre_tunnel_interface(node, source_ip, destination_ip):
976         """Create GRE tunnel interface on node.
977
978         :param node: VPP node to add tunnel interface.
979         :param source_ip: Source of the GRE tunnel.
980         :param destination_ip: Destination of the GRE tunnel.
981         :type node: dict
982         :type source_ip: str
983         :type destination_ip: str
984         :returns: Name and index of created GRE tunnel interface.
985         :rtype: tuple
986         :raises RuntimeError: If unable to create GRE tunnel interface.
987         """
988         cmd = u"gre_tunnel_add_del"
989         tunnel = dict(
990             type=0,
991             instance=Constants.BITWISE_NON_ZERO,
992             src=str(source_ip),
993             dst=str(destination_ip),
994             outer_fib_id=0,
995             session_id=0
996         )
997         args = dict(
998             is_add=1,
999             tunnel=tunnel
1000         )
1001         err_msg = f"Failed to create GRE tunnel interface " \
1002             f"on host {node[u'host']}"
1003         with PapiSocketExecutor(node) as papi_exec:
1004             sw_if_index = papi_exec.add(cmd, **args).get_sw_if_index(err_msg)
1005
1006         if_key = Topology.add_new_port(node, u"gre_tunnel")
1007         Topology.update_interface_sw_if_index(node, if_key, sw_if_index)
1008         ifc_name = InterfaceUtil.vpp_get_interface_name(node, sw_if_index)
1009         Topology.update_interface_name(node, if_key, ifc_name)
1010
1011         return ifc_name, sw_if_index
1012
1013     @staticmethod
1014     def vpp_create_loopback(node, mac=None):
1015         """Create loopback interface on VPP node.
1016
1017         :param node: Node to create loopback interface on.
1018         :param mac: Optional MAC address for loopback interface.
1019         :type node: dict
1020         :type mac: str
1021         :returns: SW interface index.
1022         :rtype: int
1023         :raises RuntimeError: If it is not possible to create loopback on the
1024             node.
1025         """
1026         cmd = u"create_loopback"
1027         args = dict(
1028             mac_address=L2Util.mac_to_bin(mac) if mac else 0
1029         )
1030         err_msg = f"Failed to create loopback interface on host {node[u'host']}"
1031         with PapiSocketExecutor(node) as papi_exec:
1032             sw_if_index = papi_exec.add(cmd, **args).get_sw_if_index(err_msg)
1033
1034         if_key = Topology.add_new_port(node, u"loopback")
1035         Topology.update_interface_sw_if_index(node, if_key, sw_if_index)
1036         ifc_name = InterfaceUtil.vpp_get_interface_name(node, sw_if_index)
1037         Topology.update_interface_name(node, if_key, ifc_name)
1038         if mac:
1039             mac = InterfaceUtil.vpp_get_interface_mac(node, ifc_name)
1040             Topology.update_interface_mac_address(node, if_key, mac)
1041
1042         return sw_if_index
1043
1044     @staticmethod
1045     def vpp_create_bond_interface(node, mode, load_balance=None, mac=None):
1046         """Create bond interface on VPP node.
1047
1048         :param node: DUT node from topology.
1049         :param mode: Link bonding mode.
1050         :param load_balance: Load balance (optional, valid for xor and lacp
1051             modes, otherwise ignored).
1052         :param mac: MAC address to assign to the bond interface (optional).
1053         :type node: dict
1054         :type mode: str
1055         :type load_balance: str
1056         :type mac: str
1057         :returns: Interface key (name) in topology.
1058         :rtype: str
1059         :raises RuntimeError: If it is not possible to create bond interface on
1060             the node.
1061         """
1062         cmd = u"bond_create"
1063         args = dict(
1064             id=int(Constants.BITWISE_NON_ZERO),
1065             use_custom_mac=bool(mac is not None),
1066             mac_address=L2Util.mac_to_bin(mac) if mac else None,
1067             mode=getattr(
1068                 LinkBondMode,
1069                 f"BOND_API_MODE_{mode.replace(u'-', u'_').upper()}"
1070             ).value,
1071             lb=0 if load_balance is None else getattr(
1072                 LinkBondLoadBalanceAlgo,
1073                 f"BOND_API_LB_ALGO_{load_balance.upper()}"
1074             ).value,
1075             numa_only=False
1076         )
1077         err_msg = f"Failed to create bond interface on host {node[u'host']}"
1078         with PapiSocketExecutor(node) as papi_exec:
1079             sw_if_index = papi_exec.add(cmd, **args).get_sw_if_index(err_msg)
1080
1081         InterfaceUtil.add_eth_interface(
1082             node, sw_if_index=sw_if_index, ifc_pfx=u"eth_bond"
1083         )
1084         if_key = Topology.get_interface_by_sw_index(node, sw_if_index)
1085
1086         return if_key
1087
1088     @staticmethod
1089     def add_eth_interface(
1090             node, ifc_name=None, sw_if_index=None, ifc_pfx=None,
1091             host_if_key=None):
1092         """Add ethernet interface to current topology.
1093
1094         :param node: DUT node from topology.
1095         :param ifc_name: Name of the interface.
1096         :param sw_if_index: SW interface index.
1097         :param ifc_pfx: Interface key prefix.
1098         :param host_if_key: Host interface key from topology file.
1099         :type node: dict
1100         :type ifc_name: str
1101         :type sw_if_index: int
1102         :type ifc_pfx: str
1103         :type host_if_key: str
1104         """
1105         if_key = Topology.add_new_port(node, ifc_pfx)
1106
1107         if ifc_name and sw_if_index is None:
1108             sw_if_index = InterfaceUtil.vpp_get_interface_sw_index(
1109                 node, ifc_name)
1110         Topology.update_interface_sw_if_index(node, if_key, sw_if_index)
1111         if sw_if_index and ifc_name is None:
1112             ifc_name = InterfaceUtil.vpp_get_interface_name(node, sw_if_index)
1113         Topology.update_interface_name(node, if_key, ifc_name)
1114         ifc_mac = InterfaceUtil.vpp_get_interface_mac(node, sw_if_index)
1115         Topology.update_interface_mac_address(node, if_key, ifc_mac)
1116         if host_if_key is not None:
1117             Topology.set_interface_numa_node(
1118                 node, if_key, Topology.get_interface_numa_node(
1119                     node, host_if_key
1120                 )
1121             )
1122             Topology.update_interface_pci_address(
1123                 node, if_key, Topology.get_interface_pci_addr(node, host_if_key)
1124             )
1125
1126     @staticmethod
1127     def vpp_create_avf_interface(
1128             node, if_key, num_rx_queues=None, rxq_size=0, txq_size=0):
1129         """Create AVF interface on VPP node.
1130
1131         :param node: DUT node from topology.
1132         :param if_key: Interface key from topology file of interface
1133             to be bound to i40evf driver.
1134         :param num_rx_queues: Number of RX queues.
1135         :param rxq_size: Size of RXQ (0 = Default API; 512 = Default VPP).
1136         :param txq_size: Size of TXQ (0 = Default API; 512 = Default VPP).
1137         :type node: dict
1138         :type if_key: str
1139         :type num_rx_queues: int
1140         :type rxq_size: int
1141         :type txq_size: int
1142         :returns: AVF interface key (name) in topology.
1143         :rtype: str
1144         :raises RuntimeError: If it is not possible to create AVF interface on
1145             the node.
1146         """
1147         PapiSocketExecutor.run_cli_cmd(
1148             node, u"set logging class avf level debug"
1149         )
1150
1151         cmd = u"avf_create"
1152         vf_pci_addr = Topology.get_interface_pci_addr(node, if_key)
1153         args = dict(
1154             pci_addr=InterfaceUtil.pci_to_int(vf_pci_addr),
1155             enable_elog=0,
1156             rxq_num=int(num_rx_queues) if num_rx_queues else 0,
1157             rxq_size=rxq_size,
1158             txq_size=txq_size
1159         )
1160         err_msg = f"Failed to create AVF interface on host {node[u'host']}"
1161         with PapiSocketExecutor(node) as papi_exec:
1162             sw_if_index = papi_exec.add(cmd, **args).get_sw_if_index(err_msg)
1163
1164         InterfaceUtil.add_eth_interface(
1165             node, sw_if_index=sw_if_index, ifc_pfx=u"eth_avf",
1166             host_if_key=if_key
1167         )
1168
1169         return Topology.get_interface_by_sw_index(node, sw_if_index)
1170
1171     @staticmethod
1172     def vpp_create_rdma_interface(
1173             node, if_key, num_rx_queues=None, rxq_size=0, txq_size=0,
1174             mode=u"auto"):
1175         """Create RDMA interface on VPP node.
1176
1177         :param node: DUT node from topology.
1178         :param if_key: Physical interface key from topology file of interface
1179             to be bound to rdma-core driver.
1180         :param num_rx_queues: Number of RX queues.
1181         :param rxq_size: Size of RXQ (0 = Default API; 512 = Default VPP).
1182         :param txq_size: Size of TXQ (0 = Default API; 512 = Default VPP).
1183         :param mode: RDMA interface mode - auto/ibv/dv.
1184         :type node: dict
1185         :type if_key: str
1186         :type num_rx_queues: int
1187         :type rxq_size: int
1188         :type txq_size: int
1189         :type mode: str
1190         :returns: Interface key (name) in topology file.
1191         :rtype: str
1192         :raises RuntimeError: If it is not possible to create RDMA interface on
1193             the node.
1194         """
1195         cmd = u"rdma_create"
1196         pci_addr = Topology.get_interface_pci_addr(node, if_key)
1197         args = dict(
1198             name=InterfaceUtil.pci_to_eth(node, pci_addr),
1199             host_if=InterfaceUtil.pci_to_eth(node, pci_addr),
1200             rxq_num=int(num_rx_queues) if num_rx_queues else 0,
1201             rxq_size=rxq_size,
1202             txq_size=txq_size,
1203             mode=getattr(RdmaMode,f"RDMA_API_MODE_{mode.upper()}").value,
1204         )
1205         err_msg = f"Failed to create RDMA interface on host {node[u'host']}"
1206         with PapiSocketExecutor(node) as papi_exec:
1207             sw_if_index = papi_exec.add(cmd, **args).get_sw_if_index(err_msg)
1208
1209         InterfaceUtil.vpp_set_interface_mac(
1210             node, sw_if_index, Topology.get_interface_mac(node, if_key)
1211         )
1212         InterfaceUtil.add_eth_interface(
1213             node, sw_if_index=sw_if_index, ifc_pfx=u"eth_rdma",
1214             host_if_key=if_key
1215         )
1216
1217         return Topology.get_interface_by_sw_index(node, sw_if_index)
1218
1219     @staticmethod
1220     def vpp_enslave_physical_interface(node, interface, bond_if):
1221         """Enslave physical interface to bond interface on VPP node.
1222
1223         :param node: DUT node from topology.
1224         :param interface: Physical interface key from topology file.
1225         :param bond_if: Load balance
1226         :type node: dict
1227         :type interface: str
1228         :type bond_if: str
1229         :raises RuntimeError: If it is not possible to enslave physical
1230             interface to bond interface on the node.
1231         """
1232         cmd = u"bond_enslave"
1233         args = dict(
1234             sw_if_index=Topology.get_interface_sw_index(node, interface),
1235             bond_sw_if_index=Topology.get_interface_sw_index(node, bond_if),
1236             is_passive=False,
1237             is_long_timeout=False
1238         )
1239         err_msg = f"Failed to enslave physical interface {interface} to bond " \
1240             f"interface {bond_if} on host {node[u'host']}"
1241         with PapiSocketExecutor(node) as papi_exec:
1242             papi_exec.add(cmd, **args).get_reply(err_msg)
1243
1244     @staticmethod
1245     def vpp_show_bond_data_on_node(node, verbose=False):
1246         """Show (detailed) bond information on VPP node.
1247
1248         :param node: DUT node from topology.
1249         :param verbose: If detailed information is required or not.
1250         :type node: dict
1251         :type verbose: bool
1252         """
1253         cmd = u"sw_interface_bond_dump"
1254         err_msg = f"Failed to get bond interface dump on host {node[u'host']}"
1255
1256         data = f"Bond data on node {node[u'host']}:\n"
1257         with PapiSocketExecutor(node) as papi_exec:
1258             details = papi_exec.add(cmd).get_details(err_msg)
1259
1260         for bond in details:
1261             data += f"{bond[u'interface_name']}\n"
1262             data += u"  mode: {m}\n".format(
1263                 m=bond[u"mode"].name.replace(u"BOND_API_MODE_", u"").lower()
1264             )
1265             data += u"  load balance: {lb}\n".format(
1266                 lb=bond[u"lb"].name.replace(u"BOND_API_LB_ALGO_", u"").lower()
1267             )
1268             data += f"  number of active slaves: {bond[u'active_slaves']}\n"
1269             if verbose:
1270                 slave_data = InterfaceUtil.vpp_bond_slave_dump(
1271                     node, Topology.get_interface_by_sw_index(
1272                         node, bond[u"sw_if_index"]
1273                     )
1274                 )
1275                 for slave in slave_data:
1276                     if not slave[u"is_passive"]:
1277                         data += f"    {slave[u'interface_name']}\n"
1278             data += f"  number of slaves: {bond[u'slaves']}\n"
1279             if verbose:
1280                 for slave in slave_data:
1281                     data += f"    {slave[u'interface_name']}\n"
1282             data += f"  interface id: {bond[u'id']}\n"
1283             data += f"  sw_if_index: {bond[u'sw_if_index']}\n"
1284         logger.info(data)
1285
1286     @staticmethod
1287     def vpp_bond_slave_dump(node, interface):
1288         """Get bond interface slave(s) data on VPP node.
1289
1290         :param node: DUT node from topology.
1291         :param interface: Physical interface key from topology file.
1292         :type node: dict
1293         :type interface: str
1294         :returns: Bond slave interface data.
1295         :rtype: dict
1296         """
1297         cmd = u"sw_interface_slave_dump"
1298         args = dict(
1299             sw_if_index=Topology.get_interface_sw_index(node, interface)
1300         )
1301         err_msg = f"Failed to get slave dump on host {node[u'host']}"
1302
1303         with PapiSocketExecutor(node) as papi_exec:
1304             details = papi_exec.add(cmd, **args).get_details(err_msg)
1305
1306         logger.debug(f"Slave data:\n{details}")
1307         return details
1308
1309     @staticmethod
1310     def vpp_show_bond_data_on_all_nodes(nodes, verbose=False):
1311         """Show (detailed) bond information on all VPP nodes in DICT__nodes.
1312
1313         :param nodes: Nodes in the topology.
1314         :param verbose: If detailed information is required or not.
1315         :type nodes: dict
1316         :type verbose: bool
1317         """
1318         for node_data in nodes.values():
1319             if node_data[u"type"] == NodeType.DUT:
1320                 InterfaceUtil.vpp_show_bond_data_on_node(node_data, verbose)
1321
1322     @staticmethod
1323     def vpp_enable_input_acl_interface(
1324             node, interface, ip_version, table_index):
1325         """Enable input acl on interface.
1326
1327         :param node: VPP node to setup interface for input acl.
1328         :param interface: Interface to setup input acl.
1329         :param ip_version: Version of IP protocol.
1330         :param table_index: Classify table index.
1331         :type node: dict
1332         :type interface: str or int
1333         :type ip_version: str
1334         :type table_index: int
1335         """
1336         cmd = u"input_acl_set_interface"
1337         args = dict(
1338             sw_if_index=InterfaceUtil.get_interface_index(node, interface),
1339             ip4_table_index=table_index if ip_version == u"ip4"
1340             else Constants.BITWISE_NON_ZERO,
1341             ip6_table_index=table_index if ip_version == u"ip6"
1342             else Constants.BITWISE_NON_ZERO,
1343             l2_table_index=table_index if ip_version == u"l2"
1344             else Constants.BITWISE_NON_ZERO,
1345             is_add=1)
1346         err_msg = f"Failed to enable input acl on interface {interface}"
1347         with PapiSocketExecutor(node) as papi_exec:
1348             papi_exec.add(cmd, **args).get_reply(err_msg)
1349
1350     @staticmethod
1351     def get_interface_classify_table(node, interface):
1352         """Get name of classify table for the given interface.
1353
1354         TODO: Move to Classify.py.
1355
1356         :param node: VPP node to get data from.
1357         :param interface: Name or sw_if_index of a specific interface.
1358         :type node: dict
1359         :type interface: str or int
1360         :returns: Classify table name.
1361         :rtype: str
1362         """
1363         if isinstance(interface, str):
1364             sw_if_index = InterfaceUtil.get_sw_if_index(node, interface)
1365         else:
1366             sw_if_index = interface
1367
1368         cmd = u"classify_table_by_interface"
1369         args = dict(
1370             sw_if_index=sw_if_index
1371         )
1372         err_msg = f"Failed to get classify table name by interface {interface}"
1373         with PapiSocketExecutor(node) as papi_exec:
1374             reply = papi_exec.add(cmd, **args).get_reply(err_msg)
1375
1376         return reply
1377
1378     @staticmethod
1379     def get_sw_if_index(node, interface_name):
1380         """Get sw_if_index for the given interface from actual interface dump.
1381
1382         FIXME: Delete and redirect callers to vpp_get_interface_sw_index.
1383
1384         :param node: VPP node to get interface data from.
1385         :param interface_name: Name of the specific interface.
1386         :type node: dict
1387         :type interface_name: str
1388         :returns: sw_if_index of the given interface.
1389         :rtype: str
1390         """
1391         interface_data = InterfaceUtil.vpp_get_interface_data(
1392             node, interface=interface_name
1393         )
1394         return interface_data.get(u"sw_if_index")
1395
1396     @staticmethod
1397     def vxlan_gpe_dump(node, interface_name=None):
1398         """Get VxLAN GPE data for the given interface.
1399
1400         :param node: VPP node to get interface data from.
1401         :param interface_name: Name of the specific interface. If None,
1402             information about all VxLAN GPE interfaces is returned.
1403         :type node: dict
1404         :type interface_name: str
1405         :returns: Dictionary containing data for the given VxLAN GPE interface
1406             or if interface=None, the list of dictionaries with all VxLAN GPE
1407             interfaces.
1408         :rtype: dict or list
1409         """
1410         def process_vxlan_gpe_dump(vxlan_dump):
1411             """Process vxlan_gpe dump.
1412
1413             :param vxlan_dump: Vxlan_gpe nterface dump.
1414             :type vxlan_dump: dict
1415             :returns: Processed vxlan_gpe interface dump.
1416             :rtype: dict
1417             """
1418             if vxlan_dump[u"is_ipv6"]:
1419                 vxlan_dump[u"local"] = ip_address(vxlan_dump[u"local"])
1420                 vxlan_dump[u"remote"] = ip_address(vxlan_dump[u"remote"])
1421             else:
1422                 vxlan_dump[u"local"] = ip_address(vxlan_dump[u"local"][0:4])
1423                 vxlan_dump[u"remote"] = ip_address(vxlan_dump[u"remote"][0:4])
1424             return vxlan_dump
1425
1426         if interface_name is not None:
1427             sw_if_index = InterfaceUtil.get_interface_index(
1428                 node, interface_name
1429             )
1430         else:
1431             sw_if_index = int(Constants.BITWISE_NON_ZERO)
1432
1433         cmd = u"vxlan_gpe_tunnel_dump"
1434         args = dict(
1435             sw_if_index=sw_if_index
1436         )
1437         err_msg = f"Failed to get VXLAN-GPE dump on host {node[u'host']}"
1438         with PapiSocketExecutor(node) as papi_exec:
1439             details = papi_exec.add(cmd, **args).get_details(err_msg)
1440
1441         data = list() if interface_name is None else dict()
1442         for dump in details:
1443             if interface_name is None:
1444                 data.append(process_vxlan_gpe_dump(dump))
1445             elif dump[u"sw_if_index"] == sw_if_index:
1446                 data = process_vxlan_gpe_dump(dump)
1447                 break
1448
1449         logger.debug(f"VXLAN-GPE data:\n{data}")
1450         return data
1451
1452     @staticmethod
1453     def assign_interface_to_fib_table(node, interface, table_id, ipv6=False):
1454         """Assign VPP interface to specific VRF/FIB table.
1455
1456         :param node: VPP node where the FIB and interface are located.
1457         :param interface: Interface to be assigned to FIB.
1458         :param table_id: VRF table ID.
1459         :param ipv6: Assign to IPv6 table. Default False.
1460         :type node: dict
1461         :type interface: str or int
1462         :type table_id: int
1463         :type ipv6: bool
1464         """
1465         cmd = u"sw_interface_set_table"
1466         args = dict(
1467             sw_if_index=InterfaceUtil.get_interface_index(node, interface),
1468             is_ipv6=ipv6,
1469             vrf_id=int(table_id)
1470         )
1471         err_msg = f"Failed to assign interface {interface} to FIB table"
1472         with PapiSocketExecutor(node) as papi_exec:
1473             papi_exec.add(cmd, **args).get_reply(err_msg)
1474
1475     @staticmethod
1476     def set_linux_interface_mac(
1477             node, interface, mac, namespace=None, vf_id=None):
1478         """Set MAC address for interface in linux.
1479
1480         :param node: Node where to execute command.
1481         :param interface: Interface in namespace.
1482         :param mac: MAC to be assigned to interface.
1483         :param namespace: Execute command in namespace. Optional
1484         :param vf_id: Virtual Function id. Optional
1485         :type node: dict
1486         :type interface: str
1487         :type mac: str
1488         :type namespace: str
1489         :type vf_id: int
1490         """
1491         mac_str = f"vf {vf_id} mac {mac}" if vf_id is not None \
1492             else f"address {mac}"
1493         ns_str = f"ip netns exec {namespace}" if namespace else u""
1494
1495         cmd = f"{ns_str} ip link set {interface} {mac_str}"
1496         exec_cmd_no_error(node, cmd, sudo=True)
1497
1498     @staticmethod
1499     def set_linux_interface_trust_on(
1500             node, interface, namespace=None, vf_id=None):
1501         """Set trust on (promisc) for interface in linux.
1502
1503         :param node: Node where to execute command.
1504         :param interface: Interface in namespace.
1505         :param namespace: Execute command in namespace. Optional
1506         :param vf_id: Virtual Function id. Optional
1507         :type node: dict
1508         :type interface: str
1509         :type namespace: str
1510         :type vf_id: int
1511         """
1512         trust_str = f"vf {vf_id} trust on" if vf_id is not None else u"trust on"
1513         ns_str = f"ip netns exec {namespace}" if namespace else u""
1514
1515         cmd = f"{ns_str} ip link set dev {interface} {trust_str}"
1516         exec_cmd_no_error(node, cmd, sudo=True)
1517
1518     @staticmethod
1519     def set_linux_interface_spoof_off(
1520             node, interface, namespace=None, vf_id=None):
1521         """Set spoof off for interface in linux.
1522
1523         :param node: Node where to execute command.
1524         :param interface: Interface in namespace.
1525         :param namespace: Execute command in namespace. Optional
1526         :param vf_id: Virtual Function id. Optional
1527         :type node: dict
1528         :type interface: str
1529         :type namespace: str
1530         :type vf_id: int
1531         """
1532         spoof_str = f"vf {vf_id} spoof off" if vf_id is not None \
1533             else u"spoof off"
1534         ns_str = f"ip netns exec {namespace}" if namespace else u""
1535
1536         cmd = f"{ns_str} ip link set dev {interface} {spoof_str}"
1537         exec_cmd_no_error(node, cmd, sudo=True)
1538
1539     @staticmethod
1540     def init_avf_interface(node, ifc_key, numvfs=1, osi_layer=u"L2"):
1541         """Init PCI device by creating VIFs and bind them to vfio-pci for AVF
1542         driver testing on DUT.
1543
1544         :param node: DUT node.
1545         :param ifc_key: Interface key from topology file.
1546         :param numvfs: Number of VIFs to initialize, 0 - disable the VIFs.
1547         :param osi_layer: OSI Layer type to initialize TG with.
1548             Default value "L2" sets linux interface spoof off.
1549         :type node: dict
1550         :type ifc_key: str
1551         :type numvfs: int
1552         :type osi_layer: str
1553         :returns: Virtual Function topology interface keys.
1554         :rtype: list
1555         :raises RuntimeError: If a reason preventing initialization is found.
1556         """
1557         # Read PCI address and driver.
1558         pf_pci_addr = Topology.get_interface_pci_addr(node, ifc_key)
1559         pf_mac_addr = Topology.get_interface_mac(node, ifc_key).split(":")
1560         uio_driver = Topology.get_uio_driver(node)
1561         kernel_driver = Topology.get_interface_driver(node, ifc_key)
1562         if kernel_driver not in (u"i40e", u"i40evf"):
1563             raise RuntimeError(
1564                 f"AVF needs i40e-compatible driver, not {kernel_driver} "
1565                 f"at node {node[u'host']} ifc {ifc_key}"
1566             )
1567         current_driver = DUTSetup.get_pci_dev_driver(
1568             node, pf_pci_addr.replace(u":", r"\:"))
1569
1570         VPPUtil.stop_vpp_service(node)
1571         if current_driver != kernel_driver:
1572             # PCI device must be re-bound to kernel driver before creating VFs.
1573             DUTSetup.verify_kernel_module(node, kernel_driver, force_load=True)
1574             # Stop VPP to prevent deadlock.
1575             # Unbind from current driver.
1576             DUTSetup.pci_driver_unbind(node, pf_pci_addr)
1577             # Bind to kernel driver.
1578             DUTSetup.pci_driver_bind(node, pf_pci_addr, kernel_driver)
1579
1580         # Initialize PCI VFs.
1581         DUTSetup.set_sriov_numvfs(node, pf_pci_addr, numvfs)
1582
1583         vf_ifc_keys = []
1584         # Set MAC address and bind each virtual function to uio driver.
1585         for vf_id in range(numvfs):
1586             vf_mac_addr = u":".join(
1587                 [pf_mac_addr[0], pf_mac_addr[2], pf_mac_addr[3], pf_mac_addr[4],
1588                  pf_mac_addr[5], f"{vf_id:02x}"
1589                  ]
1590             )
1591
1592             pf_dev = f"`basename /sys/bus/pci/devices/{pf_pci_addr}/net/*`"
1593             InterfaceUtil.set_linux_interface_trust_on(
1594                 node, pf_dev, vf_id=vf_id
1595             )
1596             if osi_layer == u"L2":
1597                 InterfaceUtil.set_linux_interface_spoof_off(
1598                     node, pf_dev, vf_id=vf_id
1599                 )
1600             InterfaceUtil.set_linux_interface_mac(
1601                 node, pf_dev, vf_mac_addr, vf_id=vf_id
1602             )
1603
1604             DUTSetup.pci_vf_driver_unbind(node, pf_pci_addr, vf_id)
1605             DUTSetup.pci_vf_driver_bind(node, pf_pci_addr, vf_id, uio_driver)
1606
1607             # Add newly created ports into topology file
1608             vf_ifc_name = f"{ifc_key}_vif"
1609             vf_pci_addr = DUTSetup.get_virtfn_pci_addr(node, pf_pci_addr, vf_id)
1610             vf_ifc_key = Topology.add_new_port(node, vf_ifc_name)
1611             Topology.update_interface_name(
1612                 node, vf_ifc_key, vf_ifc_name+str(vf_id+1)
1613             )
1614             Topology.update_interface_mac_address(node, vf_ifc_key, vf_mac_addr)
1615             Topology.update_interface_pci_address(node, vf_ifc_key, vf_pci_addr)
1616             Topology.set_interface_numa_node(
1617                 node, vf_ifc_key, Topology.get_interface_numa_node(
1618                     node, ifc_key
1619                 )
1620             )
1621             vf_ifc_keys.append(vf_ifc_key)
1622
1623         return vf_ifc_keys
1624
1625     @staticmethod
1626     def vpp_sw_interface_rx_placement_dump(node):
1627         """Dump VPP interface RX placement on node.
1628
1629         :param node: Node to run command on.
1630         :type node: dict
1631         :returns: Thread mapping information as a list of dictionaries.
1632         :rtype: list
1633         """
1634         cmd = u"sw_interface_rx_placement_dump"
1635         err_msg = f"Failed to run '{cmd}' PAPI command on host {node[u'host']}!"
1636         with PapiSocketExecutor(node) as papi_exec:
1637             for ifc in node[u"interfaces"].values():
1638                 if ifc[u"vpp_sw_index"] is not None:
1639                     papi_exec.add(cmd, sw_if_index=ifc[u"vpp_sw_index"])
1640             details = papi_exec.get_details(err_msg)
1641         return sorted(details, key=lambda k: k[u"sw_if_index"])
1642
1643     @staticmethod
1644     def vpp_sw_interface_set_rx_placement(
1645             node, sw_if_index, queue_id, worker_id):
1646         """Set interface RX placement to worker on node.
1647
1648         :param node: Node to run command on.
1649         :param sw_if_index: VPP SW interface index.
1650         :param queue_id: VPP interface queue ID.
1651         :param worker_id: VPP worker ID (indexing from 0).
1652         :type node: dict
1653         :type sw_if_index: int
1654         :type queue_id: int
1655         :type worker_id: int
1656         :raises RuntimeError: If failed to run command on host or if no API
1657             reply received.
1658         """
1659         cmd = u"sw_interface_set_rx_placement"
1660         err_msg = f"Failed to set interface RX placement to worker " \
1661             f"on host {node[u'host']}!"
1662         args = dict(
1663             sw_if_index=sw_if_index,
1664             queue_id=queue_id,
1665             worker_id=worker_id,
1666             is_main=False
1667         )
1668         with PapiSocketExecutor(node) as papi_exec:
1669             papi_exec.add(cmd, **args).get_reply(err_msg)
1670
1671     @staticmethod
1672     def vpp_round_robin_rx_placement(node, prefix):
1673         """Set Round Robin interface RX placement on all worker threads
1674         on node.
1675
1676         :param node: Topology nodes.
1677         :param prefix: Interface name prefix.
1678         :type node: dict
1679         :type prefix: str
1680         """
1681         worker_id = 0
1682         worker_cnt = len(VPPUtil.vpp_show_threads(node)) - 1
1683         if not worker_cnt:
1684             return
1685         for placement in InterfaceUtil.vpp_sw_interface_rx_placement_dump(node):
1686             for interface in node[u"interfaces"].values():
1687                 if placement[u"sw_if_index"] == interface[u"vpp_sw_index"] \
1688                     and prefix in interface[u"name"]:
1689                     InterfaceUtil.vpp_sw_interface_set_rx_placement(
1690                         node, placement[u"sw_if_index"], placement[u"queue_id"],
1691                         worker_id % worker_cnt
1692                     )
1693                     worker_id += 1
1694
1695     @staticmethod
1696     def vpp_round_robin_rx_placement_on_all_duts(nodes, prefix):
1697         """Set Round Robin interface RX placement on all worker threads
1698         on all DUTs.
1699
1700         :param nodes: Topology nodes.
1701         :param prefix: Interface name prefix.
1702         :type nodes: dict
1703         :type prefix: str
1704         """
1705         for node in nodes.values():
1706             if node[u"type"] == NodeType.DUT:
1707                 InterfaceUtil.vpp_round_robin_rx_placement(node, prefix)