CSIT-1264: Add oper branch wrapper entry script 35/14635/6
authorVratko Polak <vrpolak@cisco.com>
Thu, 6 Sep 2018 10:17:11 +0000 (12:17 +0200)
committerVratko Polak <vrpolak@cisco.com>
Thu, 6 Sep 2018 10:17:11 +0000 (12:17 +0200)
Change-Id: I569b089b711f89fecca8dd31d6906ef311982877
Signed-off-by: Vratko Polak <vrpolak@cisco.com>
resources/libraries/bash/entry/per_patch_perf.sh
resources/libraries/bash/entry/with_oper_for_vpp.sh [new file with mode: 0644]
resources/libraries/bash/function/branch.sh [new file with mode: 0644]

index 5f438a9..9fb266d 100644 (file)
@@ -15,6 +15,9 @@
 
 set -exuo pipefail
 
+# This entry script does not change CSIT branch,
+# use "with_oper_for_vpp.sh" wrapper for that.
+#
 # Assumptions:
 # + There is a directory holding VPP repo with patch under test checked out.
 # + It contains csit subdirectory with CSIT code to use (this script is there).
@@ -25,7 +28,6 @@ set -exuo pipefail
 # + The following directories (relative to VPP repo) are (re)created:
 # ++ csit_new, csit_parent, build_new, build_parent,
 # ++ archive, csit/archive, csit_download_dir.
-# This entry script currently does not need any environment variable set.
 
 # TODO: Implement some kind of VPP build caching.
 
diff --git a/resources/libraries/bash/entry/with_oper_for_vpp.sh b/resources/libraries/bash/entry/with_oper_for_vpp.sh
new file mode 100644 (file)
index 0000000..23c0d8a
--- /dev/null
@@ -0,0 +1,47 @@
+#!/usr/bin/env bash
+
+# Copyright (c) 2018 Cisco and/or its affiliates.
+# Licensed under the Apache License, Version 2.0 (the "License");
+# you may not use this file except in compliance with the License.
+# You may obtain a copy of the License at:
+#
+#     http://www.apache.org/licenses/LICENSE-2.0
+#
+# Unless required by applicable law or agreed to in writing, software
+# distributed under the License is distributed on an "AS IS" BASIS,
+# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
+# See the License for the specific language governing permissions and
+# limitations under the License.
+
+set -exuo pipefail
+
+# Typical usage:
+# $ source "./with_oper_for_vpp.sh" "per_patch_perf.sh"
+#
+# This wrapper is mostly useful for Jenkins invocation,
+# because in manual testing people usually already have checked out
+# the branches they want to test (which might not yet be available in Gerrit).
+#
+# Assumptions:
+# + There is a directory holding initial CSIT code to use, this script is there.
+# + First argument is filename of next entry script to execute.
+#   TODO: Support relative paths? Relative to BASH_ENTRY_DIR?
+# Consequences:
+# + A csit branch name is computed.
+# + Possibly overriden, based on CSIT_REF value.
+# + The computed or overriden CSIT refspec is checked out.
+# + The argument entry script is sourced, with arguments shifted.
+
+# "set -eu" handles failures from the following two lines.
+BASH_ENTRY_DIR="$(dirname $(readlink -e "${BASH_SOURCE[0]}"))"
+BASH_FUNCTION_DIR="$(readlink -e "${BASH_ENTRY_DIR}/../function")"
+source "${BASH_FUNCTION_DIR}/common.sh" || {
+    echo "Source failed." >&2
+    exit 1
+}
+common_dirs || die
+source "${BASH_FUNCTION_DIR}/branch.sh" || die "Source failed."
+checkout_csit_for_vpp "${GERRIT_BRANCH}" || die
+cmd="${1}"
+shift
+source "${BASH_ENTRY_DIR}/${cmd}" "$@"
diff --git a/resources/libraries/bash/function/branch.sh b/resources/libraries/bash/function/branch.sh
new file mode 100644 (file)
index 0000000..e340a0c
--- /dev/null
@@ -0,0 +1,83 @@
+# Copyright (c) 2018 Cisco and/or its affiliates.
+# Licensed under the Apache License, Version 2.0 (the "License");
+# you may not use this file except in compliance with the License.
+# You may obtain a copy of the License at:
+#
+#     http://www.apache.org/licenses/LICENSE-2.0
+#
+# Unless required by applicable law or agreed to in writing, software
+# distributed under the License is distributed on an "AS IS" BASIS,
+# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
+# See the License for the specific language governing permissions and
+# limitations under the License.
+
+set -exuo pipefail
+
+# This library defines functions related to handling VPP and CSIT git branches.
+# Keep functions ordered alphabetically, please.
+
+# TODO: Add a link to bash style guide.
+
+
+function checkout_csit_for_vpp () {
+
+    set -exuo pipefail
+
+    # This should be useful mainly for vpp-csit jobs (and timed csit-vpp jobs),
+    # which want to use csit oper branches (especially for vpp stable branches).
+    # This allows the Jenkins job to checkout CSIT master branch,
+    # and use this function to compute and checkout the final CSIT branch.
+    # When the refspec is overriden, the computation is still performed,
+    # in order to show (on Sandbox) the computation is correct.
+    #
+    # On failure, working directory could remain changed to ${CSIT_DIR}.
+    # TODO: It could be possible to use ERR trap to force popd,
+    #   but with "set -x" the noise is not worth it,
+    #   especially if several levels of pushd are to be supported.
+    #
+    # Arguments:
+    # - ${1} - Git branch of VPP code, e.g. GERRIT_BRANCH set by Jenkins.
+    #   This is not read from GERRIT_BRANCH directly,
+    #   because in csit-vpp jobs that refers to CSIT branch instead.
+    #   Required.
+    # Variables read:
+    # - CSIT_REF - If set and non-empty, override the computed refspec.
+    # - CSIT_DIR - Path to existing root of local CSIT git repository.
+    #   The repository could be cloned with "--depth 1",
+    #   but it is required to be cloned with "--no-single-branch",
+    #   as otherwise the "git checkout" this function performs probably fails.
+    # Directoried updated:
+    # - ${CSIT_DIR} - Probably "git checkout"ed into new refspec.
+    # Functions called:
+    # - die - Print to stderr and exit, defined in "common" library.
+
+    case "${1}" in
+        "stable/"*)
+            branch_id="origin/${1/stable\//oper-rls}"
+            ;;
+        *)  # This includes "master".
+            branch_id="origin/oper"
+    esac
+    # Get the latest verified version of the required branch.
+    pushd "${CSIT_DIR}" || die
+    csit_branches="$(git branch -r | grep -E "${branch_id}-[0-9]+")" || {
+        # We might be in time when VPP has cut their new branch,
+        # but CSIT not, yet. Use master oper branch in this case.
+        csit_branches="$(git branch -r | grep -E "origin/oper-[0-9]+")" || die
+    }
+    # The xargs is there just to remove leading (or trailing) spaces.
+    csit_branch="$(echo "${csit_branches}" | tail -n 1 | xargs)" || die
+    if [[ -z "${csit_branch}" ]]; then
+        die "No verified CSIT branch found - exiting."
+    fi
+    # Remove 'origin/' from the branch name.
+    csit_branch="${csit_branch#origin/}" || die
+    override_ref="${CSIT_REF-}"
+    if [[ -n "${override_ref}" ]]; then
+        git fetch --depth=1 https://gerrit.fd.io/r/csit "${override_ref}"
+        git checkout FETCH_HEAD
+    else
+        git checkout "${csit_branch}"
+    fi
+    popd
+}