Add output.xml with only INFO logging leve
[csit.git] / resources / libraries / python / ssh.py
index 4bcfe65..60f6256 100644 (file)
@@ -1,4 +1,4 @@
-# Copyright (c) 2018 Cisco and/or its affiliates.
+# Copyright (c) 2019 Cisco and/or its affiliates.
 # Licensed under the Apache License, Version 2.0 (the "License");
 # you may not use this file except in compliance with the License.
 # You may obtain a copy of the License at:
 
 """Library for SSH connection management."""
 
+
+import socket
 import StringIO
+
 from time import time, sleep
 
-import socket
-import paramiko
-from paramiko import RSAKey
-from paramiko.ssh_exception import SSHException
-from scp import SCPClient
+from paramiko import RSAKey, SSHClient, AutoAddPolicy
+from paramiko.ssh_exception import SSHException, NoValidConnectionsError
 from robot.api import logger
+from scp import SCPClient, SCPException
+
 
 __all__ = ["exec_cmd", "exec_cmd_no_error"]
 
@@ -86,8 +88,8 @@ class SSH(object):
                     pkey = RSAKey.from_private_key(
                         StringIO.StringIO(node['priv_key']))
 
-                self._ssh = paramiko.SSHClient()
-                self._ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())
+                self._ssh = SSHClient()
+                self._ssh.set_missing_host_key_policy(AutoAddPolicy())
 
                 self._ssh.connect(node['host'], username=node['username'],
                                   password=node.get('password'), pkey=pkey,
@@ -104,6 +106,10 @@ class SSH(object):
             except SSHException:
                 raise IOError('Cannot connect to {host}'.
                               format(host=node['host']))
+            except NoValidConnectionsError as err:
+                logger.error(repr(err))
+                raise IOError('Unable to connect to port {port} on {host}'.
+                              format(port=node['port'], host=node['host']))
 
     def disconnect(self, node):
         """Close SSH connection to the node.
@@ -320,11 +326,12 @@ class SSH(object):
     def interactive_terminal_close(chan):
         """Close interactive terminal SSH channel.
 
-        :param: chan: SSH channel to be closed.
+        :param chan: SSH channel to be closed.
         """
         chan.close()
 
-    def scp(self, local_path, remote_path, get=False, timeout=30):
+    def scp(self, local_path, remote_path, get=False, timeout=30,
+            wildcard=False):
         """Copy files from local_path to remote_path or vice versa.
 
         connect() method has to be called first!
@@ -335,10 +342,12 @@ class SSH(object):
         path to remote file which should be downloaded.
         :param get: scp operation to perform. Default is put.
         :param timeout: Timeout value in seconds.
+        :param wildcard: If path has wildcard characters. Default is false.
         :type local_path: str
         :type remote_path: str
         :type get: bool
         :type timeout: int
+        :type wildcard: bool
         """
         if not get:
             logger.trace('SCP {0} to {1}:{2}'.format(
@@ -349,7 +358,11 @@ class SSH(object):
                 self._ssh.get_transport().getpeername(), remote_path,
                 local_path))
         # SCPCLient takes a paramiko transport as its only argument
-        scp = SCPClient(self._ssh.get_transport(), socket_timeout=timeout)
+        if not wildcard:
+            scp = SCPClient(self._ssh.get_transport(), socket_timeout=timeout)
+        else:
+            scp = SCPClient(self._ssh.get_transport(), sanitize=lambda x: x,
+                            socket_timeout=timeout)
         start = time()
         if not get:
             scp.put(local_path, remote_path)
@@ -364,6 +377,17 @@ def exec_cmd(node, cmd, timeout=600, sudo=False):
     """Convenience function to ssh/exec/return rc, out & err.
 
     Returns (rc, stdout, stderr).
+
+    :param node: The node to execute command on.
+    :param cmd: Command to execute.
+    :param timeout: Timeout value in seconds. Default: 600.
+    :param sudo: Sudo privilege execution flag. Default: False.
+    :type node: dict
+    :type cmd: str
+    :type timeout: int
+    :type sudo: bool
+    :returns: RC, Stdout, Stderr.
+    :rtype: tuple(int, str, str)
     """
     if node is None:
         raise TypeError('Node parameter is None')
@@ -373,10 +397,35 @@ def exec_cmd(node, cmd, timeout=600, sudo=False):
         raise ValueError('Empty command parameter')
 
     ssh = SSH()
+
+    if node.get('host_port') is not None:
+        ssh_node = dict()
+        ssh_node['host'] = '127.0.0.1'
+        ssh_node['port'] = node['port']
+        ssh_node['username'] = node['username']
+        ssh_node['password'] = node['password']
+        import pexpect
+        options = '-o StrictHostKeyChecking=no -o UserKnownHostsFile=/dev/null'
+        tnl = '-L {port}:127.0.0.1:{port}'.format(port=node['port'])
+        ssh_cmd = 'ssh {tnl} {op} {user}@{host} -p {host_port}'.\
+            format(tnl=tnl, op=options, user=node['host_username'],
+                   host=node['host'], host_port=node['host_port'])
+        logger.trace('Initializing local port forwarding:\n{ssh_cmd}'.
+                     format(ssh_cmd=ssh_cmd))
+        child = pexpect.spawn(ssh_cmd)
+        child.expect('.* password: ')
+        logger.trace(child.after)
+        child.sendline(node['host_password'])
+        child.expect('Welcome .*')
+        logger.trace(child.after)
+        logger.trace('Local port forwarding finished.')
+    else:
+        ssh_node = node
+
     try:
-        ssh.connect(node)
+        ssh.connect(ssh_node)
     except SSHException as err:
-        logger.error("Failed to connect to node" + str(err))
+        logger.error("Failed to connect to node" + repr(err))
         return None, None, None
 
     try:
@@ -386,7 +435,7 @@ def exec_cmd(node, cmd, timeout=600, sudo=False):
             (ret_code, stdout, stderr) = ssh.exec_command_sudo(cmd,
                                                                timeout=timeout)
     except SSHException as err:
-        logger.error(err)
+        logger.error(repr(err))
         return None, None, None
 
     return ret_code, stdout, stderr
@@ -409,7 +458,7 @@ def exec_cmd_no_error(node, cmd, timeout=600, sudo=False, message=None):
     :type message: str
     :returns: Stdout, Stderr.
     :rtype: tuple(str, str)
-    :raise RuntimeError: If bash return code is not 0.
+    :raises RuntimeError: If bash return code is not 0.
     """
     ret_code, stdout, stderr = exec_cmd(node, cmd, timeout=timeout, sudo=sudo)
     msg = ('Command execution failed: "{cmd}"\n{stderr}'.
@@ -418,3 +467,33 @@ def exec_cmd_no_error(node, cmd, timeout=600, sudo=False, message=None):
         raise RuntimeError(msg)
 
     return stdout, stderr
+
+def scp_node(node, local_path, remote_path, get=False, timeout=30):
+    """Copy files from local_path to remote_path or vice versa.
+
+    :param node: SUT node.
+    :param local_path: Path to local file that should be uploaded; or
+        path where to save remote file.
+    :param remote_path: Remote path where to place uploaded file; or
+        path to remote file which should be downloaded.
+    :param get: scp operation to perform. Default is put.
+    :param timeout: Timeout value in seconds.
+    :type node: dict
+    :type local_path: str
+    :type remote_path: str
+    :type get: bool
+    :type timeout: int
+    :raises RuntimeError: If SSH connection failed or SCP transfer failed.
+    """
+    ssh = SSH()
+
+    try:
+        ssh.connect(node)
+    except SSHException:
+        raise RuntimeError('Failed to connect to {host}!'
+                           .format(host=node['host']))
+    try:
+        ssh.scp(local_path, remote_path, get, timeout)
+    except SCPException:
+        raise RuntimeError('SCP execution failed on {host}!'
+                           .format(host=node['host']))