0c4356bb6447c9039bce35ac52f4d761c5bb6417
[csit.git] / resources / libraries / python / IPUtil.py
1 # Copyright (c) 2019 Cisco and/or its affiliates.
2 # Licensed under the Apache License, Version 2.0 (the "License");
3 # you may not use this file except in compliance with the License.
4 # You may obtain a copy of the License at:
5 #
6 #     http://www.apache.org/licenses/LICENSE-2.0
7 #
8 # Unless required by applicable law or agreed to in writing, software
9 # distributed under the License is distributed on an "AS IS" BASIS,
10 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
11 # See the License for the specific language governing permissions and
12 # limitations under the License.
13
14 """Common IP utilities library."""
15
16 import re
17
18 from enum import IntEnum
19 from ipaddress import ip_address, IPv4Network, IPv6Network
20
21 from resources.libraries.python.Constants import Constants
22 from resources.libraries.python.InterfaceUtil import InterfaceUtil
23 from resources.libraries.python.PapiExecutor import PapiExecutor
24 from resources.libraries.python.ssh import exec_cmd_no_error, exec_cmd
25 from resources.libraries.python.topology import Topology
26 from resources.libraries.python.VatExecutor import VatTerminal
27
28
29 # from vpp/src/vnet/vnet/mpls/mpls_types.h
30 MPLS_IETF_MAX_LABEL = 0xfffff
31 MPLS_LABEL_INVALID = MPLS_IETF_MAX_LABEL + 1
32
33
34 class AddressFamily(IntEnum):
35     """IP address family."""
36     ADDRESS_IP4 = 0
37     ADDRESS_IP6 = 1
38
39
40 class FibPathType(IntEnum):
41     """FIB path types."""
42     FIB_PATH_TYPE_NORMAL = 0
43     FIB_PATH_TYPE_LOCAL = 1
44     FIB_PATH_TYPE_DROP = 2
45     FIB_PATH_TYPE_UDP_ENCAP = 3
46     FIB_PATH_TYPE_BIER_IMP = 4
47     FIB_PATH_TYPE_ICMP_UNREACH = 5
48     FIB_PATH_TYPE_ICMP_PROHIBIT = 6
49     FIB_PATH_TYPE_SOURCE_LOOKUP = 7
50     FIB_PATH_TYPE_DVR = 8
51     FIB_PATH_TYPE_INTERFACE_RX = 9
52     FIB_PATH_TYPE_CLASSIFY = 10
53
54
55 class FibPathFlags(IntEnum):
56     """FIB path flags."""
57     FIB_PATH_FLAG_NONE = 0
58     FIB_PATH_FLAG_RESOLVE_VIA_ATTACHED = 1
59     FIB_PATH_FLAG_RESOLVE_VIA_HOST = 2
60
61
62 class FibPathNhProto(IntEnum):
63     """FIB path next-hop protocol."""
64     FIB_PATH_NH_PROTO_IP4 = 0
65     FIB_PATH_NH_PROTO_IP6 = 1
66     FIB_PATH_NH_PROTO_MPLS = 2
67     FIB_PATH_NH_PROTO_ETHERNET = 3
68     FIB_PATH_NH_PROTO_BIER = 4
69
70
71 class IPUtil(object):
72     """Common IP utilities"""
73
74     @staticmethod
75     def ip_to_int(ip_str):
76         """Convert IP address from string format (e.g. 10.0.0.1) to integer
77         representation (167772161).
78
79         :param ip_str: IP address in string representation.
80         :type ip_str: str
81         :returns: Integer representation of IP address.
82         :rtype: int
83         """
84         return int(ip_address(unicode(ip_str)))
85
86     @staticmethod
87     def int_to_ip(ip_int):
88         """Convert IP address from integer representation (e.g. 167772161) to
89         string format (10.0.0.1).
90
91         :param ip_int: IP address in integer representation.
92         :type ip_int: int
93         :returns: String representation of IP address.
94         :rtype: str
95         """
96         return str(ip_address(ip_int))
97
98     @staticmethod
99     def vpp_get_interface_ip_addresses(node, interface, ip_version):
100         """Get list of IP addresses from an interface on a VPP node.
101
102         :param node: VPP node.
103         :param interface: Name of an interface on the VPP node.
104         :param ip_version: IP protocol version (ipv4 or ipv6).
105         :type node: dict
106         :type interface: str
107         :type ip_version: str
108         :returns: List of dictionaries, each containing IP address, subnet
109             prefix length and also the subnet mask for ipv4 addresses.
110             Note: A single interface may have multiple IP addresses assigned.
111         :rtype: list
112         """
113         sw_if_index = InterfaceUtil.get_interface_index(node, interface)
114
115         data = list()
116         if sw_if_index:
117             is_ipv6 = 1 if ip_version == 'ipv6' else 0
118
119             cmd = 'ip_address_dump'
120             cmd_reply = 'ip_address_details'
121             args = dict(sw_if_index=sw_if_index,
122                         is_ipv6=is_ipv6)
123             err_msg = 'Failed to get L2FIB dump on host {host}'.format(
124                 host=node['host'])
125
126             with PapiExecutor(node) as papi_exec:
127                 papi_resp = papi_exec.add(cmd, **args).get_dump(err_msg)
128
129             for item in papi_resp.reply[0]['api_reply']:
130                 item[cmd_reply]['ip'] = item[cmd_reply]['prefix'].split('/')[0]
131                 item[cmd_reply]['prefix_length'] = int(
132                     item[cmd_reply]['prefix'].split('/')[1])
133                 item[cmd_reply]['is_ipv6'] = is_ipv6
134                 item[cmd_reply]['netmask'] = \
135                     str(IPv6Network(unicode('::/{pl}'.format(
136                         pl=item[cmd_reply]['prefix_length']))).netmask) \
137                     if is_ipv6 \
138                     else str(IPv4Network(unicode('0.0.0.0/{pl}'.format(
139                         pl=item[cmd_reply]['prefix_length']))).netmask)
140                 data.append(item[cmd_reply])
141
142         return data
143
144     @staticmethod
145     def vpp_get_ip_tables(node):
146         """Get dump of all IP FIB tables on a VPP node.
147
148         :param node: VPP node.
149         :type node: dict
150         """
151
152         PapiExecutor.run_cli_cmd(node, 'show ip fib')
153         PapiExecutor.run_cli_cmd(node, 'show ip fib summary')
154         PapiExecutor.run_cli_cmd(node, 'show ip6 fib')
155         PapiExecutor.run_cli_cmd(node, 'show ip6 fib summary')
156
157     @staticmethod
158     def get_interface_vrf_table(node, interface, ip_version='ipv4'):
159         """Get vrf ID for the given interface.
160
161         :param node: VPP node.
162         :param interface: Name or sw_if_index of a specific interface.
163         :type node: dict
164         :param ip_version: IP protocol version (ipv4 or ipv6).
165         :type interface: str or int
166         :type ip_version: str
167         :returns: vrf ID of the specified interface.
168         :rtype: int
169         """
170         sw_if_index = InterfaceUtil.get_interface_index(node, interface)
171
172         is_ipv6 = 1 if ip_version == 'ipv6' else 0
173
174         cmd = 'sw_interface_get_table'
175         args = dict(sw_if_index=sw_if_index,
176                     is_ipv6=is_ipv6)
177         err_msg = 'Failed to get VRF id assigned to interface {ifc}'.format(
178             ifc=interface)
179
180         with PapiExecutor(node) as papi_exec:
181             papi_resp = papi_exec.add(cmd, **args).get_replies(err_msg). \
182                 verify_reply(err_msg=err_msg)
183
184         return papi_resp['vrf_id']
185
186     @staticmethod
187     def vpp_ip_source_check_setup(node, if_name):
188         """Setup Reverse Path Forwarding source check on interface.
189
190         :param node: VPP node.
191         :param if_name: Interface name to setup RPF source check.
192         :type node: dict
193         :type if_name: str
194         """
195         cmd = 'ip_source_check_interface_add_del'
196         args = dict(
197             sw_if_index=InterfaceUtil.get_interface_index(node, if_name),
198             is_add=1,
199             loose=0)
200         err_msg = 'Failed to enable source check on interface {ifc}'.format(
201             ifc=if_name)
202         with PapiExecutor(node) as papi_exec:
203             papi_exec.add(cmd, **args).get_replies(err_msg). \
204                 verify_reply(err_msg=err_msg)
205
206     @staticmethod
207     def vpp_ip_probe(node, interface, addr):
208         """Run ip probe on VPP node.
209
210         :param node: VPP node.
211         :param interface: Interface key or name.
212         :param addr: IPv4/IPv6 address.
213         :type node: dict
214         :type interface: str
215         :type addr: str
216         """
217         cmd = 'ip_probe_neighbor'
218         cmd_reply = 'proxy_arp_intfc_enable_disable_reply'
219         args = dict(
220             sw_if_index=InterfaceUtil.get_interface_index(node, interface),
221             dst=str(addr))
222         err_msg = 'VPP ip probe {dev} {ip} failed on {h}'.format(
223             dev=interface, ip=addr, h=node['host'])
224
225         with PapiExecutor(node) as papi_exec:
226             papi_exec.add(cmd, **args).get_replies(err_msg). \
227                 verify_reply(cmd_reply=cmd_reply, err_msg=err_msg)
228
229     @staticmethod
230     def ip_addresses_should_be_equal(ip1, ip2):
231         """Fails if the given IP addresses are unequal.
232
233         :param ip1: IPv4 or IPv6 address.
234         :param ip2: IPv4 or IPv6 address.
235         :type ip1: str
236         :type ip2: str
237         """
238         addr1 = ip_address(unicode(ip1))
239         addr2 = ip_address(unicode(ip2))
240
241         if addr1 != addr2:
242             raise AssertionError('IP addresses are not equal: {0} != {1}'.
243                                  format(ip1, ip2))
244
245     @staticmethod
246     def setup_network_namespace(node, namespace_name, interface_name,
247                                 ip_addr, prefix):
248         """Setup namespace on given node and attach interface and IP to
249         this namespace. Applicable also on TG node.
250
251         :param node: VPP node.
252         :param namespace_name: Namespace name.
253         :param interface_name: Interface name.
254         :param ip_addr: IP address of namespace's interface.
255         :param prefix: IP address prefix length.
256         :type node: dict
257         :type namespace_name: str
258         :type interface_name: str
259         :type ip_addr: str
260         :type prefix: int
261         """
262         cmd = ('ip netns add {0}'.format(namespace_name))
263         exec_cmd_no_error(node, cmd, sudo=True)
264
265         cmd = ('ip link set dev {0} up netns {1}'.format(interface_name,
266                                                          namespace_name))
267         exec_cmd_no_error(node, cmd, sudo=True)
268
269         cmd = ('ip netns exec {0} ip addr add {1}/{2} dev {3}'.format(
270             namespace_name, ip_addr, prefix, interface_name))
271         exec_cmd_no_error(node, cmd, sudo=True)
272
273     @staticmethod
274     def linux_enable_forwarding(node, ip_ver='ipv4'):
275         """Enable forwarding on a Linux node, e.g. VM.
276
277         :param node: VPP node.
278         :param ip_ver: IP version, 'ipv4' or 'ipv6'.
279         :type node: dict
280         :type ip_ver: str
281         """
282         cmd = 'sysctl -w net.{0}.ip_forward=1'.format(ip_ver)
283         exec_cmd_no_error(node, cmd, sudo=True)
284
285     @staticmethod
286     def get_linux_interface_name(node, pci_addr):
287         """Get the interface name.
288
289         :param node: VPP/TG node.
290         :param pci_addr: PCI address
291         :type node: dict
292         :type pci_addr: str
293         :returns: Interface name
294         :rtype: str
295         :raises RuntimeError: If cannot get the information about interfaces.
296         """
297         regex_intf_info = r"pci@" \
298                           r"([0-9a-f]{4}:[0-9a-f]{2}:[0-9a-f]{2}.[0-9a-f])\s*" \
299                           r"([a-zA-Z0-9]*)\s*network"
300
301         cmd = "lshw -class network -businfo"
302         ret_code, stdout, stderr = exec_cmd(node, cmd, timeout=30, sudo=True)
303         if ret_code != 0:
304             raise RuntimeError('Could not get information about interfaces:\n'
305                                '{err}'.format(err=stderr))
306
307         for line in stdout.splitlines()[2:]:
308             try:
309                 if re.search(regex_intf_info, line).group(1) == pci_addr:
310                     return re.search(regex_intf_info, line).group(2)
311             except AttributeError:
312                 continue
313         return None
314
315     @staticmethod
316     def set_linux_interface_up(node, interface):
317         """Set the specified interface up.
318
319         :param node: VPP/TG node.
320         :param interface: Interface in namespace.
321         :type node: dict
322         :type interface: str
323         :raises RuntimeError: If the interface could not be set up.
324         """
325         cmd = "ip link set {0} up".format(interface)
326         exec_cmd_no_error(node, cmd, timeout=30, sudo=True)
327
328     @staticmethod
329     def set_linux_interface_ip(node, interface, ip_addr, prefix,
330                                namespace=None):
331         """Set IP address to interface in linux.
332
333         :param node: VPP/TG node.
334         :param interface: Interface in namespace.
335         :param ip_addr: IP to be set on interface.
336         :param prefix: IP prefix.
337         :param namespace: Execute command in namespace. Optional
338         :type node: dict
339         :type interface: str
340         :type ip_addr: str
341         :type prefix: int
342         :type namespace: str
343         :raises RuntimeError: IP could not be set.
344         """
345         if namespace is not None:
346             cmd = 'ip netns exec {ns} ip addr add {ip}/{p} dev {dev}'.format(
347                 ns=namespace, ip=ip_addr, p=prefix, dev=interface)
348         else:
349             cmd = 'ip addr add {ip}/{p} dev {dev}'.format(
350                 ip=ip_addr, p=prefix, dev=interface)
351
352         exec_cmd_no_error(node, cmd, timeout=5, sudo=True)
353
354     @staticmethod
355     def add_linux_route(node, ip_addr, prefix, gateway, namespace=None):
356         """Add linux route in namespace.
357
358         :param node: Node where to execute command.
359         :param ip_addr: Route destination IP address.
360         :param prefix: IP prefix.
361         :param namespace: Execute command in namespace. Optional.
362         :param gateway: Gateway address.
363         :type node: dict
364         :type ip_addr: str
365         :type prefix: int
366         :type gateway: str
367         :type namespace: str
368         """
369         if namespace is not None:
370             cmd = 'ip netns exec {} ip route add {}/{} via {}'.format(
371                 namespace, ip_addr, prefix, gateway)
372         else:
373             cmd = 'ip route add {}/{} via {}'.format(ip_addr, prefix, gateway)
374         exec_cmd_no_error(node, cmd, sudo=True)
375
376     @staticmethod
377     def vpp_interface_set_ip_address(node, interface, address,
378                                      prefix_length=None):
379         """Set IP address to VPP interface.
380
381         :param node: VPP node.
382         :param interface: Interface name.
383         :param address: IP address.
384         :param prefix_length: Prefix length.
385         :type node: dict
386         :type interface: str
387         :type address: str
388         :type prefix_length: int
389         """
390         ip_addr = ip_address(unicode(address))
391
392         cmd = 'sw_interface_add_del_address'
393         args = dict(
394             sw_if_index=InterfaceUtil.get_interface_index(node, interface),
395             is_add=1,
396             is_ipv6=1 if ip_addr.version == 6 else 0,
397             del_all=0,
398             address_length=int(prefix_length) if prefix_length else 128
399             if ip_addr.version == 6 else 32,
400             address=ip_addr.packed)
401         err_msg = 'Failed to add IP address on interface {ifc}'.format(
402             ifc=interface)
403         with PapiExecutor(node) as papi_exec:
404             papi_exec.add(cmd, **args).get_replies(err_msg). \
405                 verify_reply(err_msg=err_msg)
406
407     @staticmethod
408     def vpp_add_ip_neighbor(node, iface_key, ip_addr, mac_address):
409         """Add IP neighbor on DUT node.
410
411         :param node: VPP node.
412         :param iface_key: Interface key.
413         :param ip_addr: IP address of the interface.
414         :param mac_address: MAC address of the interface.
415         :type node: dict
416         :type iface_key: str
417         :type ip_addr: str
418         :type mac_address: str
419         """
420         dst_ip = ip_address(unicode(ip_addr))
421
422         neighbor = dict(
423             sw_if_index=Topology.get_interface_sw_index(node, iface_key),
424             flags=0,
425             mac_address=str(mac_address),
426             ip_address=str(dst_ip))
427         cmd = 'ip_neighbor_add_del'
428         args = dict(
429             is_add=1,
430             neighbor=neighbor)
431         err_msg = 'Failed to add IP neighbor on interface {ifc}'.format(
432             ifc=iface_key)
433         with PapiExecutor(node) as papi_exec:
434             papi_exec.add(cmd, **args).get_replies(err_msg). \
435                 verify_reply(err_msg=err_msg)
436
437     @staticmethod
438     def union_addr(ip_addr):
439         """Creates union IP address.
440
441         :param ip_addr: IPv4 or IPv6 address.
442         :type ip_addr: IPv4Address or IPv6Address
443         :returns: Union IP address.
444         :rtype: dict
445         """
446         return dict(ip6=ip_addr.packed) if ip_addr.version == 6 \
447             else dict(ip4=ip_addr.packed)
448
449     @staticmethod
450     def compose_vpp_route_structure(node, network, prefix_len, **kwargs):
451         """Create route object for ip_route_add_del api call.
452
453         :param node: VPP node.
454         :param network: Route destination network address.
455         :param prefix_len: Route destination network prefix length.
456         :param kwargs: Optional key-value arguments:
457
458             gateway: Route gateway address. (str)
459             interface: Route interface. (str)
460             vrf: VRF table ID. (int)
461             count: number of IP addresses to add starting from network IP (int)
462             local: The route is local with same prefix (increment is 1).
463                 If None, then is not used. (bool)
464             lookup_vrf: VRF table ID for lookup. (int)
465             multipath: Enable multipath routing. (bool)
466             weight: Weight value for unequal cost multipath routing. (int)
467
468         :type node: dict
469         :type network: str
470         :type prefix_len: int
471         :type kwargs: dict
472         :returns: route parameter basic structure
473         :rtype: dict
474         """
475         interface = kwargs.get('interface', '')
476         gateway = kwargs.get('gateway', '')
477
478         net_addr = ip_address(unicode(network))
479
480         addr = dict(
481             af=getattr(
482                 AddressFamily, 'ADDRESS_IP6' if net_addr.version == 6
483                 else 'ADDRESS_IP4').value,
484             un=None)
485         prefix = dict(
486             len=int(prefix_len),
487             address=addr)
488
489         paths = list()
490         n_hop = dict(
491             address=IPUtil.union_addr(ip_address(unicode(gateway))) if gateway
492             else 0,
493             via_label=MPLS_LABEL_INVALID,
494             obj_id=Constants.BITWISE_NON_ZERO)
495         path = dict(
496             sw_if_index=InterfaceUtil.get_interface_index(node, interface)
497             if interface else Constants.BITWISE_NON_ZERO,
498             table_id=int(kwargs.get('lookup_vrf', 0)),
499             rpf_id=Constants.BITWISE_NON_ZERO,
500             weight=int(kwargs.get('weight', 1)),
501             preference=1,
502             type=getattr(
503                 FibPathType, 'FIB_PATH_TYPE_LOCAL'
504                 if kwargs.get('local', False)
505                 else 'FIB_PATH_TYPE_NORMAL').value,
506             flags=getattr(FibPathFlags, 'FIB_PATH_FLAG_NONE').value,
507             proto=getattr(
508                 FibPathNhProto, 'FIB_PATH_NH_PROTO_IP6'
509                 if net_addr.version == 6
510                 else 'FIB_PATH_NH_PROTO_IP4').value,
511             nh=n_hop,
512             n_labels=0,
513             label_stack=list(0 for _ in range(16)))
514         paths.append(path)
515
516         route = dict(
517             table_id=int(kwargs.get('vrf', 0)),
518             prefix=prefix,
519             n_paths=len(paths),
520             paths=paths)
521
522         return route
523
524     @staticmethod
525     def vpp_route_add(node, network, prefix_len, **kwargs):
526         """Add route to the VPP node.
527
528         :param node: VPP node.
529         :param network: Route destination network address.
530         :param prefix_len: Route destination network prefix length.
531         :param kwargs: Optional key-value arguments:
532
533             gateway: Route gateway address. (str)
534             interface: Route interface. (str)
535             vrf: VRF table ID. (int)
536             count: number of IP addresses to add starting from network IP (int)
537             local: The route is local with same prefix (increment is 1).
538                 If None, then is not used. (bool)
539             lookup_vrf: VRF table ID for lookup. (int)
540             multipath: Enable multipath routing. (bool)
541             weight: Weight value for unequal cost multipath routing. (int)
542
543         :type node: dict
544         :type network: str
545         :type prefix_len: int
546         :type kwargs: dict
547         """
548         count = kwargs.get("count", 1)
549
550         if count > 100:
551             gateway = kwargs.get("gateway", '')
552
553             vrf = kwargs.get("vrf", None)
554             multipath = kwargs.get("multipath", False)
555
556             with VatTerminal(node, json_param=False) as vat:
557                 vat.vat_terminal_exec_cmd_from_template(
558                     'vpp_route_add.vat',
559                     network=network,
560                     prefix_length=prefix_len,
561                     via='via {}'.format(gateway) if gateway else '',
562                     vrf='vrf {}'.format(vrf) if vrf else '',
563                     count='count {}'.format(count) if count else '',
564                     multipath='multipath' if multipath else '')
565             return
566
567         net_addr = ip_address(unicode(network))
568         cmd = 'ip_route_add_del'
569         route = IPUtil.compose_vpp_route_structure(
570             node, network, prefix_len, **kwargs)
571         args = dict(
572             is_add=1,
573             is_multipath=int(kwargs.get('multipath', False)),
574             route=route)
575
576         err_msg = 'Failed to add route(s) on host {host}'.format(
577             host=node['host'])
578         with PapiExecutor(node) as papi_exec:
579             for i in xrange(kwargs.get('count', 1)):
580                 args['route']['prefix']['address']['un'] = \
581                     IPUtil.union_addr(net_addr + i)
582                 history = False if 1 < i < kwargs.get('count', 1) else True
583                 papi_exec.add(cmd, history=history, **args)
584                 if i > 0 and i % Constants.PAPI_MAX_API_BULK == 0:
585                     papi_exec.get_replies(err_msg).verify_replies(
586                         err_msg=err_msg)
587             papi_exec.get_replies(err_msg).verify_replies(err_msg=err_msg)
588
589     @staticmethod
590     def flush_ip_addresses(node, interface):
591         """Flush all IP addresses from specified interface.
592
593         :param node: VPP node.
594         :param interface: Interface name.
595         :type node: dict
596         :type interface: str
597         """
598         cmd = 'sw_interface_add_del_address'
599         args = dict(
600             sw_if_index=InterfaceUtil.get_interface_index(node, interface),
601             del_all=1)
602         err_msg = 'Failed to flush IP address on interface {ifc}'.format(
603             ifc=interface)
604         with PapiExecutor(node) as papi_exec:
605             papi_exec.add(cmd, **args).get_replies(err_msg). \
606                 verify_reply(err_msg=err_msg)
607
608     @staticmethod
609     def add_fib_table(node, table_id, ipv6=False):
610         """Create new FIB table according to ID.
611
612         :param node: Node to add FIB on.
613         :param table_id: FIB table ID.
614         :param ipv6: Is this an IPv6 table
615         :type node: dict
616         :type table_id: int
617         :type ipv6: bool
618         """
619         cmd = 'ip_table_add_del'
620         table = dict(
621             table_id=int(table_id),
622             is_ip6=int(ipv6))
623         args = dict(
624             table=table,
625             is_add=1)
626         err_msg = 'Failed to add FIB table on host {host}'.format(
627             host=node['host'])
628         with PapiExecutor(node) as papi_exec:
629             papi_exec.add(cmd, **args).get_replies(err_msg). \
630                 verify_reply(err_msg=err_msg)