Add VXLAN scale perf tests
[csit.git] / resources / libraries / python / ssh.py
index 0009bde..4bcfe65 100644 (file)
@@ -1,4 +1,4 @@
-# Copyright (c) 2016 Cisco and/or its affiliates.
+# Copyright (c) 2018 Cisco and/or its affiliates.
 # Licensed under the Apache License, Version 2.0 (the "License");
 # you may not use this file except in compliance with the License.
 # You may obtain a copy of the License at:
@@ -22,7 +22,6 @@ from paramiko import RSAKey
 from paramiko.ssh_exception import SSHException
 from scp import SCPClient
 from robot.api import logger
-from robot.utils.asserts import assert_equal
 
 __all__ = ["exec_cmd", "exec_cmd_no_error"]
 
@@ -50,7 +49,7 @@ class SSH(object):
 
         :param node: Node in topology.
         :type node: dict
-        :return: IP address and port for the specified node.
+        :returns: IP address and port for the specified node.
         :rtype: int
         """
 
@@ -60,14 +59,27 @@ class SSH(object):
         """Connect to node prior to running exec_command or scp.
 
         If there already is a connection to the node, this method reuses it.
+
+        :param node: Node in topology.
+        :param attempts: Number of reconnect attempts.
+        :type node: dict
+        :type attempts: int
+        :raises IOError: If cannot connect to host.
         """
-        try:
-            self._node = node
-            node_hash = self._node_hash(node)
-            if node_hash in SSH.__existing_connections:
-                self._ssh = SSH.__existing_connections[node_hash]
-                logger.debug('reusing ssh: {0}'.format(self._ssh))
+        self._node = node
+        node_hash = self._node_hash(node)
+        if node_hash in SSH.__existing_connections:
+            self._ssh = SSH.__existing_connections[node_hash]
+            if self._ssh.get_transport().is_active():
+                logger.debug('Reusing SSH: {ssh}'.format(ssh=self._ssh))
             else:
+                if attempts > 0:
+                    self._reconnect(attempts-1)
+                else:
+                    raise IOError('Cannot connect to {host}'.
+                                  format(host=node['host']))
+        else:
+            try:
                 start = time()
                 pkey = None
                 if 'priv_key' in node:
@@ -84,18 +96,14 @@ class SSH(object):
                 self._ssh.get_transport().set_keepalive(10)
 
                 SSH.__existing_connections[node_hash] = self._ssh
-
-                logger.trace('connect took {} seconds'.format(time() - start))
-                logger.debug('new ssh: {0}'.format(self._ssh))
-
-            logger.debug('Connect peer: {0}'.
-                         format(self._ssh.get_transport().getpeername()))
-            logger.debug('Connections: {0}'.format(str(SSH.__existing_connections)))
-        except:
-            if attempts > 0:
-                self._reconnect(attempts-1)
-            else:
-                raise
+                logger.debug('New SSH to {peer} took {total} seconds: {ssh}'.
+                             format(
+                                 peer=self._ssh.get_transport().getpeername(),
+                                 total=(time() - start),
+                                 ssh=self._ssh))
+            except SSHException:
+                raise IOError('Cannot connect to {host}'.
+                              format(host=node['host']))
 
     def disconnect(self, node):
         """Close SSH connection to the node.
@@ -105,19 +113,22 @@ class SSH(object):
         """
         node_hash = self._node_hash(node)
         if node_hash in SSH.__existing_connections:
-            logger.debug('Disconnecting peer: {}, {}'.
-                         format(node['host'], node['port']))
+            logger.debug('Disconnecting peer: {host}, {port}'.
+                         format(host=node['host'], port=node['port']))
             ssh = SSH.__existing_connections.pop(node_hash)
             ssh.close()
 
     def _reconnect(self, attempts=0):
-        """Close the SSH connection and open it again."""
+        """Close the SSH connection and open it again.
 
+        :param attempts: Number of reconnect attempts.
+        :type attempts: int
+        """
         node = self._node
         self.disconnect(node)
         self.connect(node, attempts)
-        logger.debug('Reconnecting peer done: {}'.
-                     format(self._ssh.get_transport().getpeername()))
+        logger.debug('Reconnecting peer done: {host}, {port}'.
+                     format(host=node['host'], port=node['port']))
 
     def exec_command(self, cmd, timeout=10):
         """Execute SSH command on a new channel on the connected Node.
@@ -131,21 +142,25 @@ class SSH(object):
         :rtype: tuple(int, str, str)
         :raise SSHTimeout: If command is not finished in timeout time.
         """
-        start = time()
         stdout = StringIO.StringIO()
         stderr = StringIO.StringIO()
         try:
             chan = self._ssh.get_transport().open_session(timeout=5)
+            peer = self._ssh.get_transport().getpeername()
         except AttributeError:
             self._reconnect()
             chan = self._ssh.get_transport().open_session(timeout=5)
+            peer = self._ssh.get_transport().getpeername()
         except SSHException:
             self._reconnect()
             chan = self._ssh.get_transport().open_session(timeout=5)
+            peer = self._ssh.get_transport().getpeername()
         chan.settimeout(timeout)
-        logger.trace('exec_command on {0}: {1}'
-                     .format(self._ssh.get_transport().getpeername(), cmd))
 
+        logger.trace('exec_command on {peer} with timeout {timeout}: {cmd}'
+                     .format(peer=peer, timeout=timeout, cmd=cmd))
+
+        start = time()
         chan.exec_command(cmd)
         while not chan.exit_status_ready() and timeout is not None:
             if chan.recv_ready():
@@ -156,10 +171,11 @@ class SSH(object):
 
             if time() - start > timeout:
                 raise SSHTimeout(
-                    'Timeout exception.\n'
-                    'Current contents of stdout buffer: {0}\n'
-                    'Current contents of stderr buffer: {1}\n'
-                    .format(stdout.getvalue(), stderr.getvalue())
+                    'Timeout exception during execution of command: {cmd}\n'
+                    'Current contents of stdout buffer: {stdout}\n'
+                    'Current contents of stderr buffer: {stderr}\n'
+                    .format(cmd=cmd, stdout=stdout.getvalue(),
+                            stderr=stderr.getvalue())
                 )
 
             sleep(0.1)
@@ -172,14 +188,12 @@ class SSH(object):
             stderr.write(chan.recv_stderr(self.__MAX_RECV_BUF))
 
         end = time()
-        logger.trace('exec_command on {0} took {1} seconds'.format(
-            self._ssh.get_transport().getpeername(), end-start))
+        logger.trace('exec_command on {peer} took {total} seconds'.
+                     format(peer=peer, total=end-start))
 
-        logger.trace('chan_recv/_stderr took {} seconds'.format(time()-end))
-
-        logger.trace('return RC {}'.format(return_code))
-        logger.trace('return STDOUT {}'.format(stdout.getvalue()))
-        logger.trace('return STDERR {}'.format(stderr.getvalue()))
+        logger.trace('return RC {rc}'.format(rc=return_code))
+        logger.trace('return STDOUT {stdout}'.format(stdout=stdout.getvalue()))
+        logger.trace('return STDERR {stderr}'.format(stderr=stderr.getvalue()))
         return return_code, stdout.getvalue(), stderr.getvalue()
 
     def exec_command_sudo(self, cmd, cmd_input=None, timeout=30):
@@ -188,7 +202,7 @@ class SSH(object):
         :param cmd: Command to be executed.
         :param cmd_input: Input redirected to the command.
         :param timeout: Timeout.
-        :return: return_code, stdout, stderr
+        :returns: return_code, stdout, stderr
 
         :Example:
 
@@ -206,11 +220,34 @@ class SSH(object):
             command = 'sudo -S {c} <<< "{i}"'.format(c=cmd, i=cmd_input)
         return self.exec_command(command, timeout)
 
-    def interactive_terminal_open(self, time_out=30):
+    def exec_command_lxc(self, lxc_cmd, lxc_name, lxc_params='', sudo=True,
+                         timeout=30):
+        """Execute command in LXC on a new SSH channel on the connected Node.
+
+        :param lxc_cmd: Command to be executed.
+        :param lxc_name: LXC name.
+        :param lxc_params: Additional parameters for LXC attach.
+        :param sudo: Run in privileged LXC mode. Default: privileged
+        :param timeout: Timeout.
+        :type lxc_cmd: str
+        :type lxc_name: str
+        :type lxc_params: str
+        :type sudo: bool
+        :type timeout: int
+        :returns: return_code, stdout, stderr
+        """
+        command = "lxc-attach {p} --name {n} -- /bin/sh -c '{c}'"\
+            .format(p=lxc_params, n=lxc_name, c=lxc_cmd)
+
+        if sudo:
+            command = 'sudo -S {c}'.format(c=command)
+        return self.exec_command(command, timeout)
+
+    def interactive_terminal_open(self, time_out=45):
         """Open interactive terminal on a new channel on the connected Node.
 
         :param time_out: Timeout in seconds.
-        :return: SSH channel with opened terminal.
+        :returns: SSH channel with opened terminal.
 
         .. warning:: Interruptingcow is used here, and it uses
            signal(SIGALRM) to let the operating system interrupt program
@@ -226,7 +263,7 @@ class SSH(object):
         chan.set_combine_stderr(True)
 
         buf = ''
-        while not buf.endswith((":~$ ", "~]$ ")):
+        while not buf.endswith((":~# ", ":~$ ", "~]$ ", "~]# ")):
             try:
                 chunk = chan.recv(self.__MAX_RECV_BUF)
                 if not chunk:
@@ -236,6 +273,7 @@ class SSH(object):
                     logger.error('Channel exit status ready')
                     break
             except socket.timeout:
+                logger.error('Socket timeout: {0}'.format(buf))
                 raise Exception('Socket timeout: {0}'.format(buf))
         return chan
 
@@ -248,7 +286,7 @@ class SSH(object):
         :param cmd: Command to be executed.
         :param prompt: Command prompt, sequence of characters used to
         indicate readiness to accept commands.
-        :return: Command output.
+        :returns: Command output.
 
         .. warning:: Interruptingcow is used here, and it uses
            signal(SIGALRM) to let the operating system interrupt program
@@ -269,10 +307,13 @@ class SSH(object):
                     logger.error('Channel exit status ready')
                     break
             except socket.timeout:
-                raise Exception('Socket timeout: {0}'.format(buf))
+                logger.error('Socket timeout during execution of command: '
+                             '{0}\nBuffer content:\n{1}'.format(cmd, buf))
+                raise Exception('Socket timeout during execution of command: '
+                                '{0}\nBuffer content:\n{1}'.format(cmd, buf))
         tmp = buf.replace(cmd.replace('\n', ''), '')
-        for p in prompt:
-            tmp.replace(p, '')
+        for item in prompt:
+            tmp.replace(item, '')
         return tmp
 
     @staticmethod
@@ -283,17 +324,37 @@ class SSH(object):
         """
         chan.close()
 
-    def scp(self, local_path, remote_path):
-        """Copy files from local_path to remote_path.
+    def scp(self, local_path, remote_path, get=False, timeout=30):
+        """Copy files from local_path to remote_path or vice versa.
 
         connect() method has to be called first!
+
+        :param local_path: Path to local file that should be uploaded; or
+        path where to save remote file.
+        :param remote_path: Remote path where to place uploaded file; or
+        path to remote file which should be downloaded.
+        :param get: scp operation to perform. Default is put.
+        :param timeout: Timeout value in seconds.
+        :type local_path: str
+        :type remote_path: str
+        :type get: bool
+        :type timeout: int
         """
-        logger.trace('SCP {0} to {1}:{2}'.format(
-            local_path, self._ssh.get_transport().getpeername(), remote_path))
+        if not get:
+            logger.trace('SCP {0} to {1}:{2}'.format(
+                local_path, self._ssh.get_transport().getpeername(),
+                remote_path))
+        else:
+            logger.trace('SCP {0}:{1} to {2}'.format(
+                self._ssh.get_transport().getpeername(), remote_path,
+                local_path))
         # SCPCLient takes a paramiko transport as its only argument
-        scp = SCPClient(self._ssh.get_transport(), socket_timeout=10)
+        scp = SCPClient(self._ssh.get_transport(), socket_timeout=timeout)
         start = time()
-        scp.put(local_path, remote_path)
+        if not get:
+            scp.put(local_path, remote_path)
+        else:
+            scp.get(remote_path, local_path)
         scp.close()
         end = time()
         logger.trace('SCP took {0} seconds'.format(end-start))
@@ -308,7 +369,7 @@ def exec_cmd(node, cmd, timeout=600, sudo=False):
         raise TypeError('Node parameter is None')
     if cmd is None:
         raise TypeError('Command parameter is None')
-    if len(cmd) == 0:
+    if not cmd:
         raise ValueError('Empty command parameter')
 
     ssh = SSH()
@@ -331,14 +392,29 @@ def exec_cmd(node, cmd, timeout=600, sudo=False):
     return ret_code, stdout, stderr
 
 
-def exec_cmd_no_error(node, cmd, timeout=600, sudo=False):
+def exec_cmd_no_error(node, cmd, timeout=600, sudo=False, message=None):
     """Convenience function to ssh/exec/return out & err.
 
     Verifies that return code is zero.
 
-    Returns (stdout, stderr).
+    :param node: DUT node.
+    :param cmd: Command to be executed.
+    :param timeout: Timeout value in seconds. Default: 600.
+    :param sudo: Sudo privilege execution flag. Default: False.
+    :param message: Error message in case of failure. Default: None.
+    :type node: dict
+    :type cmd: str
+    :type timeout: int
+    :type sudo: bool
+    :type message: str
+    :returns: Stdout, Stderr.
+    :rtype: tuple(str, str)
+    :raise RuntimeError: If bash return code is not 0.
     """
-    (ret_code, stdout, stderr) = exec_cmd(node, cmd, timeout=timeout, sudo=sudo)
-    assert_equal(ret_code, 0, 'Command execution failed: "{}"\n{}'.
-                 format(cmd, stderr))
+    ret_code, stdout, stderr = exec_cmd(node, cmd, timeout=timeout, sudo=sudo)
+    msg = ('Command execution failed: "{cmd}"\n{stderr}'.
+           format(cmd=cmd, stderr=stderr) if message is None else message)
+    if ret_code != 0:
+        raise RuntimeError(msg)
+
     return stdout, stderr