f29e278e672e568ba4fcda8863ff1d54faab8b4f
[csit.git] / resources / libraries / python / VatExecutor.py
1 # Copyright (c) 2018 Cisco and/or its affiliates.
2 # Licensed under the Apache License, Version 2.0 (the "License");
3 # you may not use this file except in compliance with the License.
4 # You may obtain a copy of the License at:
5 #
6 #     http://www.apache.org/licenses/LICENSE-2.0
7 #
8 # Unless required by applicable law or agreed to in writing, software
9 # distributed under the License is distributed on an "AS IS" BASIS,
10 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
11 # See the License for the specific language governing permissions and
12 # limitations under the License.
13
14 """VAT executor library."""
15
16 import json
17
18 from paramiko.ssh_exception import SSHException
19 from robot.api import logger
20
21 from resources.libraries.python.ssh import SSH, SSHTimeout
22 from resources.libraries.python.constants import Constants
23 from resources.libraries.python.VatHistory import VatHistory
24
25 __all__ = ['VatExecutor']
26
27
28 def cleanup_vat_json_output(json_output, vat_name=None):
29     """Return VAT JSON output cleaned from VAT clutter.
30
31     Clean up VAT JSON output from clutter like vat# prompts and such.
32
33     :param json_output: Cluttered JSON output.
34     :param vat_name: Name of the VAT script.
35     :type json_output: JSON
36     :type vat_name: str
37     :returns: Cleaned up output JSON string.
38     :rtype: JSON
39     """
40
41     retval = json_output
42     clutter = ['vat#', 'dump_interface_table error: Misc']
43     if vat_name:
44         remote_file_path = '{0}/{1}/{2}'.format(Constants.REMOTE_FW_DIR,
45                                                 Constants.RESOURCES_TPL_VAT,
46                                                 vat_name)
47         clutter.append("{0}(2):".format(remote_file_path))
48     for garbage in clutter:
49         retval = retval.replace(garbage, '')
50     return retval
51
52
53 def get_vpp_pid(node):
54     """Get PID of running VPP process.
55
56     :param node: DUT node.
57     :type node: dict
58     :returns: PID of VPP process / List of PIDs if more VPP processes are
59     running on the DUT node.
60     :rtype: int or list
61     """
62     import resources.libraries.python.DUTSetup as PidLib
63     pid = PidLib.DUTSetup.get_vpp_pid(node)
64     return pid
65
66
67 class VatExecutor(object):
68     """Contains methods for executing VAT commands on DUTs."""
69     def __init__(self):
70         self._stdout = None
71         self._stderr = None
72         self._ret_code = None
73         self._script_name = None
74
75     def execute_script(self, vat_name, node, timeout=120, json_out=True):
76         """Execute local_path script on node, and store result.
77
78         :param vat_name: Name of the vat script file. Only the file name of
79         the script is required, the resources path is prepended automatically.
80         :param node: Node to execute the VAT script on.
81         :param timeout: Seconds to allow the script to run.
82         :param json_out: Require JSON output.
83         :type vat_name: str
84         :type node: dict
85         :type timeout: int
86         :type json_out: bool
87         :raises RuntimeError: If VAT script execution failed.
88         """
89         ssh = SSH()
90         try:
91             ssh.connect(node)
92         except:
93             raise SSHException("Cannot open SSH connection to execute VAT "
94                                "command(s) from vat script {name}"
95                                .format(name=vat_name))
96
97         remote_file_path = '{0}/{1}/{2}'.format(Constants.REMOTE_FW_DIR,
98                                                 Constants.RESOURCES_TPL_VAT,
99                                                 vat_name)
100
101         cmd = "{vat_bin} {json} in {vat_path} script".format(
102             vat_bin=Constants.VAT_BIN_NAME,
103             json="json" if json_out is True else "",
104             vat_path=remote_file_path)
105
106         try:
107             ret_code, stdout, stderr = ssh.exec_command_sudo(cmd=cmd,
108                                                              timeout=timeout)
109         except SSHTimeout:
110             logger.error("VAT script execution timeout: {0}".format(cmd))
111             raise
112         except:
113             raise RuntimeError("VAT script execution failed: {0}".format(cmd))
114
115         self._ret_code = ret_code
116         self._stdout = stdout
117         self._stderr = stderr
118         self._script_name = vat_name
119
120     def scp_and_execute_script(self, vat_name, node, timeout=120,
121                                json_out=True):
122         """Copy vat_name script to node, execute it and return result.
123         Store the content of vat script in VAT history.
124
125         :param vat_name: Name of the vat script file.
126         Full path and name of the script is required.
127         :param node: Node to execute the VAT script on.
128         :param timeout: Seconds to allow the script to run.
129         :param json_out: Require JSON output.
130         :type vat_name: str
131         :type node: dict
132         :type timeout: int
133         :type json_out: bool
134         :raises RuntimeError: If VAT script execution failed.
135         """
136         ssh = SSH()
137         try:
138             ssh.connect(node)
139         except:
140             raise SSHException("Cannot open SSH connection to execute VAT "
141                                "command(s) from vat script {name}"
142                                .format(name=vat_name))
143
144         ssh.scp(vat_name, vat_name)
145
146         cmd = "{vat_bin} {json} in {vat_path} script".format(
147             vat_bin=Constants.VAT_BIN_NAME,
148             json="json" if json_out is True else "",
149             vat_path=vat_name)
150
151         with open(vat_name, 'r') as tmp_f:
152             VatHistory.add_to_vat_history(node, tmp_f.read())
153
154         try:
155             ret_code, stdout, stderr = ssh.exec_command_sudo(cmd=cmd,
156                                                              timeout=timeout)
157         except SSHTimeout:
158             logger.error("VAT script execution timeout: {cmd}".format(cmd=cmd))
159             raise
160         except:
161             raise RuntimeError("VAT script execution failed: {cmd}"
162                                .format(cmd=cmd))
163
164         self._ret_code = ret_code
165         self._stdout = stdout
166         self._stderr = stderr
167         self._script_name = vat_name
168
169         self._delete_files(node, vat_name)
170
171     def scp_and_execute_cli_script(self, vat_name, node, timeout=120,
172                                    json_out=True):
173         """Copy vat_name script to node, execute it and return result.
174         Store the content of vat script in VAT history.
175
176         :param vat_name: Name of the VPP script file.
177         Full path and name of the script is required.
178         :param node: Node to execute the VPP script on.
179         :param timeout: Seconds to allow the script to run.
180         :param json_out: Require JSON output.
181         :type vat_name: str
182         :type node: dict
183         :type timeout: int
184         :type json_out: bool
185         :raises RuntimeError: If CLI script execution failed.
186         """
187         ssh = SSH()
188         try:
189             ssh.connect(node)
190         except:
191             raise SSHException("Cannot open SSH connection to execute VAT "
192                                "command(s) from vat script {name}"
193                                .format(name=vat_name))
194
195         ssh.scp(vat_name, vat_name)
196
197         cmd = "{vat_bin} {json}".format(vat_bin=Constants.VAT_BIN_NAME,
198                                         json="json" if json_out is True else "")
199         cmd_input = "exec exec {vat_path}".format(vat_path=vat_name)
200
201         VatHistory.add_to_vat_history(node, cmd_input)
202         with open(vat_name, 'r') as tmp_f:
203             VatHistory.add_to_vat_history(node, tmp_f.read())
204
205         try:
206             ret_code, stdout, stderr = ssh.exec_command_sudo(cmd, cmd_input,
207                                                              timeout)
208         except SSHTimeout:
209             logger.error("CLI script execution timeout: {0}{1}".
210                          format(cmd, "<<< " + cmd_input if cmd_input else ""))
211             raise
212         except:
213             raise RuntimeError("CLI script execution failed: {0}{1}".format(
214                 cmd, "<<< " + cmd_input if cmd_input else ""))
215
216         self._ret_code = ret_code
217         self._stdout = stdout
218         self._stderr = stderr
219         self._script_name = cmd_input
220
221         self._delete_files(node, vat_name)
222
223     def execute_script_json_out(self, vat_name, node, timeout=120):
224         """Pass all arguments to 'execute_script' method, then cleanup returned
225         json output.
226
227          :param vat_name: Name of the vat script file. Only the file name of
228         the script is required, the resources path is prepended automatically.
229         :param node: Node to execute the VAT script on.
230         :param timeout: Seconds to allow the script to run.
231         :type vat_name: str
232         :type node: dict
233         :type timeout: int
234         """
235         self.execute_script(vat_name, node, timeout, json_out=True)
236         self._stdout = cleanup_vat_json_output(self._stdout, vat_name=vat_name)
237
238     @staticmethod
239     def _delete_files(node, *files):
240         """Use SSH to delete the specified files on node.
241
242         :param node: Node in topology.
243         :param files: Files to delete.
244         :type node: dict
245         :type files: iterable
246         """
247
248         ssh = SSH()
249         ssh.connect(node)
250         files = " ".join([str(x) for x in files])
251         ssh.exec_command("rm {files}".format(files=files))
252
253     def script_should_have_failed(self):
254         """Read return code from last executed script and raise exception if the
255         script didn't fail."""
256         if self._ret_code is None:
257             raise Exception("First execute the script!")
258         if self._ret_code == 0:
259             raise AssertionError(
260                 "VAT Script execution passed, but failure was expected: {cmd}"
261                 .format(cmd=self._script_name))
262
263     def script_should_have_passed(self):
264         """Read return code from last executed script and raise exception if the
265         script failed."""
266         if self._ret_code is None:
267             raise Exception("First execute the script!")
268         if self._ret_code != 0:
269             raise AssertionError(
270                 "VAT Script execution failed, but success was expected: {cmd}"
271                 .format(cmd=self._script_name))
272
273     def get_script_stdout(self):
274         """Returns value of stdout from last executed script."""
275         return self._stdout
276
277     def get_script_stderr(self):
278         """Returns value of stderr from last executed script."""
279         return self._stderr
280
281     @staticmethod
282     def cmd_from_template(node, vat_template_file, **vat_args):
283         """Execute VAT script on specified node. This method supports
284         script templates with parameters.
285
286         :param node: Node in topology on witch the script is executed.
287         :param vat_template_file: Template file of VAT script.
288         :param vat_args: Arguments to the template file.
289         :return: List of JSON objects returned by VAT.
290         """
291         with VatTerminal(node) as vat:
292             return vat.vat_terminal_exec_cmd_from_template(vat_template_file,
293                                                            **vat_args)
294
295
296 class VatTerminal(object):
297     """VAT interactive terminal.
298
299     :param node: Node to open VAT terminal on.
300     :param json_param: Defines if outputs from VAT are in JSON format.
301     Default is True.
302     :type node: dict
303     :type json_param: bool
304
305     """
306
307     __VAT_PROMPT = ("vat# ", )
308     __LINUX_PROMPT = (":~$ ", "~]$ ", "~]# ")
309
310     def __init__(self, node, json_param=True):
311         json_text = ' json' if json_param else ''
312         self.json = json_param
313         self._node = node
314         self._ssh = SSH()
315         self._ssh.connect(self._node)
316         try:
317             self._tty = self._ssh.interactive_terminal_open()
318         except Exception:
319             raise RuntimeError("Cannot open interactive terminal on node {0}".
320                                format(self._node))
321
322         for _ in range(3):
323             try:
324                 self._ssh.interactive_terminal_exec_command(
325                     self._tty,
326                     'sudo -S {0}{1}'.format(Constants.VAT_BIN_NAME, json_text),
327                     self.__VAT_PROMPT)
328             except Exception:
329                 continue
330             else:
331                 break
332         else:
333             vpp_pid = get_vpp_pid(self._node)
334             if vpp_pid:
335                 if isinstance(vpp_pid, int):
336                     logger.trace("VPP running on node {0}".
337                                  format(self._node['host']))
338                 else:
339                     logger.error("More instances of VPP running on node {0}.".
340                                  format(self._node['host']))
341             else:
342                 logger.error("VPP not running on node {0}.".
343                              format(self._node['host']))
344             raise RuntimeError("Failed to open VAT console on node {0}".
345                                format(self._node['host']))
346
347         self._exec_failure = False
348         self.vat_stdout = None
349
350     def __enter__(self):
351         return self
352
353     def __exit__(self, exc_type, exc_val, exc_tb):
354         self.vat_terminal_close()
355
356     def vat_terminal_exec_cmd(self, cmd):
357         """Execute command on the opened VAT terminal.
358
359         :param cmd: Command to be executed.
360
361         :return: Command output in python representation of JSON format or
362         None if not in JSON mode.
363         """
364         VatHistory.add_to_vat_history(self._node, cmd)
365         logger.debug("Executing command in VAT terminal: {0}".format(cmd))
366         try:
367             out = self._ssh.interactive_terminal_exec_command(self._tty, cmd,
368                                                               self.__VAT_PROMPT)
369             self.vat_stdout = out
370         except Exception:
371             self._exec_failure = True
372             vpp_pid = get_vpp_pid(self._node)
373             if vpp_pid:
374                 if isinstance(vpp_pid, int):
375                     raise RuntimeError("VPP running on node {0} but VAT command"
376                                        " {1} execution failed.".
377                                        format(self._node['host'], cmd))
378                 else:
379                     raise RuntimeError("More instances of VPP running on node "
380                                        "{0}. VAT command {1} execution failed.".
381                                        format(self._node['host'], cmd))
382             else:
383                 raise RuntimeError("VPP not running on node {0}. VAT command "
384                                    "{1} execution failed.".
385                                    format(self._node['host'], cmd))
386
387         logger.debug("VAT output: {0}".format(out))
388         if self.json:
389             obj_start = out.find('{')
390             obj_end = out.rfind('}')
391             array_start = out.find('[')
392             array_end = out.rfind(']')
393
394             if obj_start == -1 and array_start == -1:
395                 raise RuntimeError("VAT command {0}: no JSON data.".format(cmd))
396
397             if obj_start < array_start or array_start == -1:
398                 start = obj_start
399                 end = obj_end + 1
400             else:
401                 start = array_start
402                 end = array_end + 1
403             out = out[start:end]
404             json_out = json.loads(out)
405             return json_out
406         else:
407             return None
408
409     def vat_terminal_close(self):
410         """Close VAT terminal."""
411         # interactive terminal is dead, we only need to close session
412         if not self._exec_failure:
413             try:
414                 self._ssh.interactive_terminal_exec_command(self._tty,
415                                                             'quit',
416                                                             self.__LINUX_PROMPT)
417             except Exception:
418                 vpp_pid = get_vpp_pid(self._node)
419                 if vpp_pid:
420                     if isinstance(vpp_pid, int):
421                         logger.trace("VPP running on node {0}.".
422                                      format(self._node['host']))
423                     else:
424                         logger.error("More instances of VPP running on node "
425                                      "{0}.".format(self._node['host']))
426                 else:
427                     logger.error("VPP not running on node {0}.".
428                                  format(self._node['host']))
429                 raise RuntimeError("Failed to close VAT console on node {0}".
430                                    format(self._node['host']))
431         try:
432             self._ssh.interactive_terminal_close(self._tty)
433         except:
434             raise RuntimeError("Cannot close interactive terminal on node {0}".
435                                format(self._node['host']))
436
437     def vat_terminal_exec_cmd_from_template(self, vat_template_file, **args):
438         """Execute VAT script from a file.
439
440         :param vat_template_file: Template file name of a VAT script.
441         :param args: Dictionary of parameters for VAT script.
442         :return: List of JSON objects returned by VAT.
443         """
444         file_path = '{}/{}'.format(Constants.RESOURCES_TPL_VAT,
445                                    vat_template_file)
446         with open(file_path, 'r') as template_file:
447             cmd_template = template_file.readlines()
448         ret = []
449         for line_tmpl in cmd_template:
450             vat_cmd = line_tmpl.format(**args)
451             ret.append(self.vat_terminal_exec_cmd(vat_cmd.replace('\n', '')))
452         return ret

©2016 FD.io a Linux Foundation Collaborative Project. All Rights Reserved.
Linux Foundation is a registered trademark of The Linux Foundation. Linux is a registered trademark of Linus Torvalds.
Please see our privacy policy and terms of use.