resources/libraries/bash/entry/per_patch_perf.sh

   1 #!/usr/bin/env bash
   2
   3 # Copyright (c) 2023 Cisco and/or its affiliates.
   4 # Licensed under the Apache License, Version 2.0 (the "License");
   5 # you may not use this file except in compliance with the License.
   6 # You may obtain a copy of the License at:
   7 #
   8 #     http://www.apache.org/licenses/LICENSE-2.0
   9 #
  10 # Unless required by applicable law or agreed to in writing, software
  11 # distributed under the License is distributed on an "AS IS" BASIS,
  12 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  13 # See the License for the specific language governing permissions and
  14 # limitations under the License.
  15
  16 set -exuo pipefail
  17
  18 # This entry script does not change CSIT branch,
  19 # use "with_oper_for_vpp.sh" wrapper for that.
  20 #
  21 # Assumptions:
  22 # + There is a directory holding VPP repo with patch under test checked out.
  23 # + It contains csit subdirectory with CSIT code to use (this script is there).
  24 # + Everything needed to build VPP is already installed locally.
  25 # Consequences:
  26 # + At the end, VPP repo has parent commit checked out and built.
  27 # + Directories build_root, build and csit are reset during the run.
  28 # + The following directories (relative to VPP repo) are (re)created:
  29 # ++ csit_new, csit_parent, build_new, build_parent,
  30 # ++ archives, csit/archives, csit_download_dir.
  31
  32 # TODO: Implement some kind of VPP build caching.
  33
  34 # "set -eu" handles failures from the following two lines.
  35 BASH_ENTRY_DIR="$(dirname $(readlink -e "${BASH_SOURCE[0]}"))"
  36 BASH_FUNCTION_DIR="$(readlink -e "${BASH_ENTRY_DIR}/../function")"
  37 source "${BASH_FUNCTION_DIR}/common.sh" || {
  38     echo "Source failed." >&2
  39     exit 1
  40 }
  41 source "${BASH_FUNCTION_DIR}/per_patch.sh" || die "Source failed."
  42 # Cleanup needs ansible.
  43 source "${BASH_FUNCTION_DIR}/ansible.sh" || die "Source failed."
  44 common_dirs || die
  45 check_prerequisites || die
  46 set_perpatch_vpp_dir || die
  47 git status || die
  48 git describe || die
  49 build_vpp_ubuntu "CURRENT" || die
  50 set_aside_build_artifacts "current" || die
  51 git checkout "HEAD~" || die "Failed to checkout parent commit."
  52 git status || die
  53 git describe || die
  54 build_vpp_ubuntu "PARENT" || die
  55 set_aside_build_artifacts "parent" || die
  56 initialize_csit_dirs "parent" "current" || die
  57 get_test_code "${1-}" || die
  58 get_test_tag_string || die
  59 set_perpatch_dut || die
  60 select_topology || die
  61 select_arch_os || die
  62 activate_virtualenv "${VPP_DIR}" || die
  63 generate_tests || die
  64 archive_tests || die
  65 reserve_and_cleanup_testbed || die
  66 # Support for interleaved measurements is kept for future.
  67 iterations=1 # 8
  68 for ((iter=0; iter<iterations; iter++)); do
  69     if ((iter)); then
  70         # Function reserve_and_cleanup_testbed has already cleaned it once,
  71         # but we need to clean it explicitly on subsequent iterations.
  72         ansible_playbook "cleanup" || die
  73     fi
  74     # Testing current first. Good for early failures or for API changes.
  75     select_build "build_current" || die
  76     check_download_dir || die
  77     run_robot || die
  78     move_test_results "csit_current/${iter}" || die
  79     # TODO: Use less heavy way to avoid apt remove failures.
  80     ansible_playbook "cleanup" || die
  81     select_build "build_parent" || die
  82     check_download_dir || die
  83     run_robot || die
  84     move_test_results "csit_parent/${iter}" || die
  85 done
  86 untrap_and_unreserve_testbed || die
  87 compare_test_results  # The error code becomes this script's error code.