VAT-to-PAPI: VPPCounters
[csit.git] / resources / libraries / python / VatExecutor.py
index c50fdba..c13e990 100644 (file)
@@ -1,4 +1,4 @@
-# Copyright (c) 2016 Cisco and/or its affiliates.
+# Copyright (c) 2018 Cisco and/or its affiliates.
 # Licensed under the Apache License, Version 2.0 (the "License");
 # you may not use this file except in compliance with the License.
 # You may obtain a copy of the License at:
 """VAT executor library."""
 
 import json
+from os import remove
 
 from paramiko.ssh_exception import SSHException
 from robot.api import logger
 
 from resources.libraries.python.ssh import SSH, SSHTimeout
-from resources.libraries.python.constants import Constants
-from resources.libraries.python.VatHistory import VatHistory
+from resources.libraries.python.Constants import Constants
+from resources.libraries.python.PapiHistory import PapiHistory
 
 __all__ = ['VatExecutor']
 
@@ -56,7 +57,7 @@ def get_vpp_pid(node):
     :param node: DUT node.
     :type node: dict
     :returns: PID of VPP process / List of PIDs if more VPP processes are
-    running on the DUT node.
+        running on the DUT node.
     :rtype: int or list
     """
     import resources.libraries.python.DUTSetup as PidLib
@@ -70,93 +71,60 @@ class VatExecutor(object):
         self._stdout = None
         self._stderr = None
         self._ret_code = None
+        self._script_name = None
 
-    def execute_script(self, vat_name, node, timeout=15, json_out=True):
-        """Copy local_path script to node, execute it and return result.
+    def execute_script(self, vat_name, node, timeout=120, json_out=True,
+                       copy_on_execute=False):
+        """Execute VAT script on remote node, and store the result. There is an
+        option to copy script from local host to remote host before execution.
+        Path is defined automatically.
 
         :param vat_name: Name of the vat script file. Only the file name of
-        the script is required, the resources path is prepended automatically.
+            the script is required, the resources path is prepended
+            automatically.
         :param node: Node to execute the VAT script on.
         :param timeout: Seconds to allow the script to run.
         :param json_out: Require JSON output.
+        :param copy_on_execute: If true, copy the file from local host to remote
+            before executing.
         :type vat_name: str
         :type node: dict
         :type timeout: int
         :type json_out: bool
-        :returns: Status code, stdout and stderr of executed VAT script.
-        :rtype: tuple
-        :raises RuntimeError: If VAT script execution failed.
+        :type copy_on_execute: bool
+        :raises SSHException: If cannot open connection for VAT.
+        :raises SSHTimeout: If VAT execution is timed out.
+        :raises RuntimeError: If VAT script execution fails.
         """
-
-        ssh = SSH()
-        try:
-            ssh.connect(node)
-        except:
-            raise SSHException("Cannot open SSH connection to execute VAT "
-                               "command(s) from template {0}".format(vat_name))
-
-        remote_file_path = '{0}/{1}/{2}'.format(Constants.REMOTE_FW_DIR,
-                                                Constants.RESOURCES_TPL_VAT,
-                                                vat_name)
-        # TODO this overwrites the output if the vat script has been used twice
-        # remote_file_out = remote_file_path + ".out"
-
-        cmd = "sudo -S {vat} {json} in {input} script".format(
-            vat=Constants.VAT_BIN_NAME,
-            json="json" if json_out is True else "",
-            input=remote_file_path)
-
-        try:
-            (ret_code, stdout, stderr) = ssh.exec_command(cmd, timeout)
-        except SSHTimeout:
-            logger.error("VAT script execution timeout: {0}".format(cmd))
-            raise
-        except:
-            raise RuntimeError("VAT script execution failed: {0}".format(cmd))
-
-        self._ret_code = ret_code
-        self._stdout = stdout
-        self._stderr = stderr
-
-        # TODO: download vpp_api_test output file
-        # self._delete_files(node, remote_file_path, remote_file_out)
-
-    def scp_and_execute_script(self, vat_name, node, timeout=15, json_out=True):
-        """Copy vat_name script to node, execute it and return result.
-
-        :param vat_name: Name of the vat script file.
-        Full path and name of the script is required.
-        :param node: Node to execute the VAT script on.
-        :param timeout: Seconds to allow the script to run.
-        :param json_out: Require JSON output.
-        :type vat_name: str
-        :type node: dict
-        :type timeout: int
-        :type json_out: bool
-        :returns: Status code, stdout and stderr of executed VAT script.
-        :rtype: tuple
-        :raises RuntimeError: If VAT script execution failed.
-        """
-
         ssh = SSH()
         try:
             ssh.connect(node)
         except:
             raise SSHException("Cannot open SSH connection to execute VAT "
-                               "command(s) from template {0}".format(vat_name))
-
-        ssh.scp(vat_name, vat_name)
+                               "command(s) from vat script {name}"
+                               .format(name=vat_name))
+
+        if copy_on_execute:
+            ssh.scp(vat_name, vat_name)
+            remote_file_path = vat_name
+            with open(vat_name, 'r') as vat_file:
+                for line in vat_file:
+                    PapiHistory.add_to_papi_history(node,
+                                                    line.replace('\n', ''),
+                                                    papi=False)
+        else:
+            remote_file_path = '{0}/{1}/{2}'.format(Constants.REMOTE_FW_DIR,
+                                                    Constants.RESOURCES_TPL_VAT,
+                                                    vat_name)
 
-        cmd = "sudo -S {vat} {json} in {input} script".format(
+        cmd = "{vat_bin} {json} in {vat_path} script".format(
+            vat_bin=Constants.VAT_BIN_NAME,
             json="json" if json_out is True else "",
-            vat=Constants.VAT_BIN_NAME,
-            input=vat_name)
-
-        with open(vat_name, 'r') as tmp_f:
-            VatHistory.add_to_vat_history(node, tmp_f.read())
+            vat_path=remote_file_path)
 
         try:
-            (ret_code, stdout, stderr) = ssh.exec_command(cmd, timeout)
+            ret_code, stdout, stderr = ssh.exec_command_sudo(cmd=cmd,
+                                                             timeout=timeout)
         except SSHTimeout:
             logger.error("VAT script execution timeout: {0}".format(cmd))
             raise
@@ -166,67 +134,37 @@ class VatExecutor(object):
         self._ret_code = ret_code
         self._stdout = stdout
         self._stderr = stderr
+        self._script_name = vat_name
 
-        self._delete_files(node, vat_name)
+    def write_and_execute_script(self, node, tmp_fn, commands, timeout=300,
+                                 json_out=False):
+        """Write VAT commands to the script, copy it to node and execute it.
 
-    def scp_and_execute_cli_script(self, fname, node, timeout=15,
-                                   json_out=True):
-        """Copy vat_name script to node, execute it and return result.
-
-        :param fname: Name of the VPP script file.
-        Full path and name of the script is required.
-        :param node: Node to execute the VPP script on.
+        :param node: VPP node.
+        :param tmp_fn: Path to temporary file script.
+        :param commands: VAT command list.
         :param timeout: Seconds to allow the script to run.
         :param json_out: Require JSON output.
-        :type fname: str
         :type node: dict
+        :type tmp_fn: str
+        :type commands: list
         :type timeout: int
         :type json_out: bool
-        :returns: Status code, stdout and stderr of executed CLI script.
-        :rtype: tuple
-        :raises RuntimeError: If CLI script execution failed.
         """
+        with open(tmp_fn, 'w') as tmp_f:
+            tmp_f.writelines(commands)
 
-        ssh = SSH()
-        try:
-            ssh.connect(node)
-        except:
-            raise SSHException("Cannot open SSH connection to execute CLI "
-                               "command(s) from template {0}".format(fname))
-
-        ssh.scp(fname, fname)
-
-        cmd = "{vat} {json}".format(json="json" if json_out is True else "",
-                                    vat=Constants.VAT_BIN_NAME)
-        cmd_input = "exec exec {0}".format(fname)
-
-        VatHistory.add_to_vat_history(node, cmd_input)
-        with open(fname, 'r') as tmp_f:
-            VatHistory.add_to_vat_history(node, tmp_f.read())
-
-        try:
-            (ret_code, stdout, stderr) = ssh.exec_command_sudo(cmd, cmd_input,
-                                                               timeout)
-        except SSHTimeout:
-            logger.error("CLI script execution timeout: {0}{1}".
-                         format(cmd, "<<< " + cmd_input if cmd_input else ""))
-            raise
-        except:
-            raise RuntimeError("CLI script execution failed: {0}{1}".format(
-                cmd, "<<< " + cmd_input if cmd_input else ""))
-
-        self._ret_code = ret_code
-        self._stdout = stdout
-        self._stderr = stderr
-
-        self._delete_files(node, fname)
+        self.execute_script(tmp_fn, node, timeout=timeout, json_out=json_out,
+                            copy_on_execute=True)
+        remove(tmp_fn)
 
-    def execute_script_json_out(self, vat_name, node, timeout=15):
+    def execute_script_json_out(self, vat_name, node, timeout=120):
         """Pass all arguments to 'execute_script' method, then cleanup returned
         json output.
 
-         :param vat_name: Name of the vat script file. Only the file name of
-        the script is required, the resources path is prepended automatically.
+        :param vat_name: Name of the vat script file. Only the file name of
+            the script is required, the resources path is prepended
+            automatically.
         :param node: Node to execute the VAT script on.
         :param timeout: Seconds to allow the script to run.
         :type vat_name: str
@@ -236,21 +174,6 @@ class VatExecutor(object):
         self.execute_script(vat_name, node, timeout, json_out=True)
         self._stdout = cleanup_vat_json_output(self._stdout, vat_name=vat_name)
 
-    @staticmethod
-    def _delete_files(node, *files):
-        """Use SSH to delete the specified files on node.
-
-        :param node: Node in topology.
-        :param files: Files to delete.
-        :type node: dict
-        :type files: iterable
-        """
-
-        ssh = SSH()
-        ssh.connect(node)
-        files = " ".join([str(x) for x in files])
-        ssh.exec_command("rm {0}".format(files))
-
     def script_should_have_failed(self):
         """Read return code from last executed script and raise exception if the
         script didn't fail."""
@@ -258,7 +181,8 @@ class VatExecutor(object):
             raise Exception("First execute the script!")
         if self._ret_code == 0:
             raise AssertionError(
-                "Script execution passed, but failure was expected")
+                "VAT Script execution passed, but failure was expected: {cmd}"
+                .format(cmd=self._script_name))
 
     def script_should_have_passed(self):
         """Read return code from last executed script and raise exception if the
@@ -267,7 +191,8 @@ class VatExecutor(object):
             raise Exception("First execute the script!")
         if self._ret_code != 0:
             raise AssertionError(
-                "Script execution failed, but success was expected")
+                "VAT Script execution failed, but success was expected: {cmd}"
+                .format(cmd=self._script_name))
 
     def get_script_stdout(self):
         """Returns value of stdout from last executed script."""
@@ -278,16 +203,16 @@ class VatExecutor(object):
         return self._stderr
 
     @staticmethod
-    def cmd_from_template(node, vat_template_file, **vat_args):
+    def cmd_from_template(node, vat_template_file, json_param=True, **vat_args):
         """Execute VAT script on specified node. This method supports
         script templates with parameters.
 
         :param node: Node in topology on witch the script is executed.
         :param vat_template_file: Template file of VAT script.
         :param vat_args: Arguments to the template file.
-        :return: List of JSON objects returned by VAT.
+        :returns: List of JSON objects returned by VAT.
         """
-        with VatTerminal(node) as vat:
+        with VatTerminal(node, json_param=json_param) as vat:
             return vat.vat_terminal_exec_cmd_from_template(vat_template_file,
                                                            **vat_args)
 
@@ -297,14 +222,14 @@ class VatTerminal(object):
 
     :param node: Node to open VAT terminal on.
     :param json_param: Defines if outputs from VAT are in JSON format.
-    Default is True.
+        Default is True.
     :type node: dict
     :type json_param: bool
 
     """
 
     __VAT_PROMPT = ("vat# ", )
-    __LINUX_PROMPT = (":~$ ", "~]$ ", "~]# ")
+    __LINUX_PROMPT = (":~# ", ":~$ ", "~]$ ", "~]# ")
 
     def __init__(self, node, json_param=True):
         json_text = ' json' if json_param else ''
@@ -357,10 +282,10 @@ class VatTerminal(object):
 
         :param cmd: Command to be executed.
 
-        :return: Command output in python representation of JSON format or
-        None if not in JSON mode.
+        :returns: Command output in python representation of JSON format or
+            None if not in JSON mode.
         """
-        VatHistory.add_to_vat_history(self._node, cmd)
+        PapiHistory.add_to_papi_history(self._node, cmd, papi=False)
         logger.debug("Executing command in VAT terminal: {0}".format(cmd))
         try:
             out = self._ssh.interactive_terminal_exec_command(self._tty, cmd,
@@ -438,7 +363,7 @@ class VatTerminal(object):
 
         :param vat_template_file: Template file name of a VAT script.
         :param args: Dictionary of parameters for VAT script.
-        :return: List of JSON objects returned by VAT.
+        :returns: List of JSON objects returned by VAT.
         """
         file_path = '{}/{}'.format(Constants.RESOURCES_TPL_VAT,
                                    vat_template_file)