Continue reservation when cleanup fails
[csit.git] / resources / libraries / bash / entry / per_patch_perf.sh
1 #!/usr/bin/env bash
2
3 # Copyright (c) 2018 Cisco and/or its affiliates.
4 # Licensed under the Apache License, Version 2.0 (the "License");
5 # you may not use this file except in compliance with the License.
6 # You may obtain a copy of the License at:
7 #
8 #     http://www.apache.org/licenses/LICENSE-2.0
9 #
10 # Unless required by applicable law or agreed to in writing, software
11 # distributed under the License is distributed on an "AS IS" BASIS,
12 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
13 # See the License for the specific language governing permissions and
14 # limitations under the License.
15
16 set -exuo pipefail
17
18 # This entry script does not change CSIT branch,
19 # use "with_oper_for_vpp.sh" wrapper for that.
20 #
21 # Assumptions:
22 # + There is a directory holding VPP repo with patch under test checked out.
23 # + It contains csit subdirectory with CSIT code to use (this script is there).
24 # + Everything needed to build VPP is already installed locally.
25 # Consequences:
26 # + At the end, VPP repo has parent commit checked out and built.
27 # + Directories build_root, build and csit are reset during the run.
28 # + The following directories (relative to VPP repo) are (re)created:
29 # ++ csit_new, csit_parent, build_new, build_parent,
30 # ++ archive, csit/archive, csit_download_dir.
31
32 # TODO: Implement some kind of VPP build caching.
33
34 # "set -eu" handles failures from the following two lines.
35 BASH_ENTRY_DIR="$(dirname $(readlink -e "${BASH_SOURCE[0]}"))"
36 BASH_FUNCTION_DIR="$(readlink -e "${BASH_ENTRY_DIR}/../function")"
37 source "${BASH_FUNCTION_DIR}/common.sh" || {
38     echo "Source failed." >&2
39     exit 1
40 }
41 source "${BASH_FUNCTION_DIR}/per_patch.sh" || die "Source failed."
42 common_dirs || die
43 set_perpatch_vpp_dir || die
44 build_vpp_ubuntu_amd64 "CURRENT" || die
45 set_aside_commit_build_artifacts || die
46 build_vpp_ubuntu_amd64 "PARENT" || die
47 set_aside_parent_build_artifacts || die
48 ## Replace previous 4 lines with this to speed up testing.
49 #download_builds "REPLACE_WITH_URL" || die
50 initialize_csit_dirs || die
51 get_test_code "${1-}" || die
52 get_test_tag_string || die
53 set_perpatch_dut || die
54 select_topology || die
55 select_os || die
56 activate_virtualenv "${VPP_DIR}" || die
57 generate_tests || die
58 archive_tests || die
59 reserve_and_cleanup_testbed || die
60 select_tags || die
61 compose_pybot_arguments || die
62 # Support for interleaved measurements is kept for future.
63 iterations=1 # 8
64 for ((iter=0; iter<iterations; iter++)); do
65     if ((iter)); then
66         # Function reserve_and_cleanup_testbed has already cleaned it once,
67         # but we need to clean it explicitly on subsequent iterations.
68         cleanup_topo
69     fi
70     select_build "build_parent" || die
71     check_download_dir || die
72     run_pybot || die
73     copy_archives || die
74     archive_parse_test_results "csit_parent/${iter}" || die
75     die_on_pybot_error || die
76     # TODO: Use less heavy way to avoid apt remove failures.
77     cleanup_topo
78     select_build "build_current" || die
79     check_download_dir || die
80     run_pybot || die
81     copy_archives || die
82     archive_parse_test_results "csit_current/${iter}" || die
83     die_on_pybot_error || die
84 done
85 untrap_and_unreserve_testbed || die
86 compare_test_results  # The error code becomes this script's error code.

©2016 FD.io a Linux Foundation Collaborative Project. All Rights Reserved.
Linux Foundation is a registered trademark of The Linux Foundation. Linux is a registered trademark of Linus Torvalds.
Please see our privacy policy and terms of use.