0bef2923a05a8ce61e1a3453e420b8ddb77cf21e
[csit.git] / resources / libraries / bash / function / gather.sh
1 # Copyright (c) 2019 Cisco and/or its affiliates.
2 # Copyright (c) 2019 PANTHEON.tech and/or its affiliates.
3 # Licensed under the Apache License, Version 2.0 (the "License");
4 # you may not use this file except in compliance with the License.
5 # You may obtain a copy of the License at:
6 #
7 #     http://www.apache.org/licenses/LICENSE-2.0
8 #
9 # Unless required by applicable law or agreed to in writing, software
10 # distributed under the License is distributed on an "AS IS" BASIS,
11 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
12 # See the License for the specific language governing permissions and
13 # limitations under the License.
14
15 set -exuo pipefail
16
17 # This library defines functions used mainly by "bootstrap" entry scripts.
18 # Generally, the functions assume "common.sh" library has been sourced already.
19
20 # Keep functions ordered alphabetically, please.
21
22 # TODO: Add a link to bash style guide.
23
24
25 function gather_build () {
26
27     # Variables read:
28     # - TEST_CODE - String affecting test selection, usually jenkins job name.
29     # - DOWNLOAD_DIR - Path to directory pybot takes the build to test from.
30     # Variables set:
31     # - DUT - CSIT test/ subdirectory containing suites to execute.
32     # Directories updated:
33     # - ${DOWNLOAD_DIR} - Files needed by tests are gathered here.
34     # Functions called:
35     # - die - Print to stderr and exit, defined in common.sh
36     # - gather_os - Parse os parameter for OS/distro name.
37     # - gather_dpdk, gather_vpp - See their definitions.
38     # Multiple other side effects are possible,
39     # see functions called from here for their current description.
40
41     # TODO: Separate DUT-from-TEST_CODE from gather-for-DUT,
42     #   when the first one becomes relevant for per_patch.
43
44     set -exuo pipefail
45
46     pushd "${DOWNLOAD_DIR}" || die "Pushd failed."
47     case "${TEST_CODE}" in
48         *"hc2vpp"*)
49             DUT="hc2vpp"
50             # FIXME: Avoid failing on empty ${DOWNLOAD_DIR}.
51             ;;
52         *"vpp"*)
53             DUT="vpp"
54             gather_vpp || die "The function should have died on error."
55             ;;
56         *"dpdk"*)
57             DUT="dpdk"
58             gather_dpdk || die "The function should have died on error."
59             ;;
60         *)
61             die "Unable to identify DUT type from: ${TEST_CODE}"
62             ;;
63     esac
64     popd || die "Popd failed."
65 }
66
67
68 function gather_dpdk () {
69
70     # Ensure latest DPDK archive is downloaded.
71     #
72     # Variables read:
73     # - TEST_CODE - The test selection string from environment or argument.
74     # Hardcoded:
75     # - dpdk archive name to download if TEST_CODE is not time based.
76     # Directories updated:
77     # - ./ - Assumed ${DOWNLOAD_DIR}, dpdk-*.tar.xz is downloaded if not there.
78     # Functions called:
79     # - die - Print to stderr and exit, defined in common.sh
80
81     set -exuo pipefail
82
83     dpdk_repo="https://fast.dpdk.org/rel"
84     # Use downloaded packages with specific version
85     if [[ "${TEST_CODE}" == *"daily"* ]] || \
86        [[ "${TEST_CODE}" == *"weekly"* ]] || \
87        [[ "${TEST_CODE}" == *"timed"* ]];
88     then
89         echo "Downloading latest DPDK packages from repo..."
90         # URL is not in quotes, calling command from variable keeps them.
91         wget_command=("wget" "--no-check-certificate" "-nv" "-O" "-")
92         wget_command+=("${dpdk_repo}")
93         dpdk_stable_ver="$("${wget_command[@]}" | grep -v "2015"\
94             | grep -Eo 'dpdk-[^\"]+xz' | tail -1)" || {
95             die "Composite piped command failed."
96         }
97     else
98         echo "Downloading DPDK package of specific version from repo ..."
99         # Downloading DPDK version based on what VPP is using. Currently
100         # it is not easy way to detect from VPP version automatically.
101         dpdk_stable_ver="$(< "${CSIT_DIR}/DPDK_VPP_VER")".tar.xz || {
102             die "Failed to read DPDK VPP version!"
103         }
104     fi
105     # TODO: Use "wget -N" instead checking for file presence?
106     if [[ ! -f "${dpdk_stable_ver}" ]]; then
107         wget -nv --no-check-certificate "${dpdk_repo}/${dpdk_stable_ver}" || {
108             die "Failed to get DPDK package from: ${dpdk_repo}"
109         }
110     fi
111 }
112
113
114 function gather_vpp () {
115
116     # Variables read:
117     # - BASH_FUNCTION_DIR - Bash directory with functions.
118     # - TEST_CODE - The test selection string from environment or argument.
119     # - DOWNLOAD_DIR - Path to directory pybot takes the build to test from.
120     # - CSIT_DIR - Path to existing root of local CSIT git repository.
121     # Variables set:
122     # - VPP_VERSION - VPP stable version under test.
123     # Files read:
124     # - ${CSIT_DIR}/DPDK_STABLE_VER - DPDK version to use
125     #   by csit-vpp not-timed jobs.
126     # - ${CSIT_DIR}/VPP_STABLE_VER_UBUNTU - Ubuntu VPP version to usee.
127     # - ../*vpp*.deb|rpm - Relative to ${DOWNLOAD_DIR}, copied for vpp-csit jobs.
128     # Directories updated:
129     # - ${DOWNLOAD_DIR}, vpp-*.deb files are copied here for vpp-csit jobs.
130     # - ./ - Assumed ${DOWNLOAD_DIR}, *vpp*.deb|rpm files
131     #   are downloaded here for csit-vpp.
132     # Functions called:
133     # - die - Print to stderr and exit, defined in common_functions.sh
134     # Bash scripts executed:
135     # - ${CSIT_DIR}/resources/tools/scripts/download_install_vpp_pkgs.sh
136     #   - Should download and extract requested files to ./.
137
138     set -exuo pipefail
139
140     case "${TEST_CODE}" in
141         "csit-"*)
142             # Use downloaded packages with specific version.
143             if [[ "${TEST_CODE}" == *"daily"* ]] || \
144                ([[ "${TEST_CODE}" == *"weekly"* ]] && \
145                 [[ "${TEST_CODE}" != *"device"* ]]) || \
146                [[ "${TEST_CODE}" == *"semiweekly"* ]];
147             then
148                 warn "Downloading latest VPP packages from Packagecloud."
149             else
150                 warn "Downloading stable VPP packages from Packagecloud."
151                 VPP_VERSION="$(<"${CSIT_DIR}/${VPP_VER_FILE}")" || {
152                     die "Read VPP stable version failed."
153                 }
154             fi
155             source "${BASH_FUNCTION_DIR}/artifacts.sh" || die "Source failed."
156             download_artifacts || die
157             ;;
158         "vpp-csit-"*)
159             # Use locally built packages.
160             mv "${DOWNLOAD_DIR}"/../*vpp*."${PKG_SUFFIX}" "${DOWNLOAD_DIR}"/ || {
161                 die "Move command failed."
162             }
163             ;;
164         *)
165             die "Unable to identify job type from: ${TEST_CODE}"
166             ;;
167     esac
168 }

©2016 FD.io a Linux Foundation Collaborative Project. All Rights Reserved.
Linux Foundation is a registered trademark of The Linux Foundation. Linux is a registered trademark of Linus Torvalds.
Please see our privacy policy and terms of use.