ec335f171f8145a67e4bfe3859616ee2a75fc32a
[csit.git] / resources / libraries / bash / function / common.sh
1 # Copyright (c) 2020 Cisco and/or its affiliates.
2 # Copyright (c) 2020 PANTHEON.tech and/or its affiliates.
3 # Licensed under the Apache License, Version 2.0 (the "License");
4 # you may not use this file except in compliance with the License.
5 # You may obtain a copy of the License at:
6 #
7 #     http://www.apache.org/licenses/LICENSE-2.0
8 #
9 # Unless required by applicable law or agreed to in writing, software
10 # distributed under the License is distributed on an "AS IS" BASIS,
11 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
12 # See the License for the specific language governing permissions and
13 # limitations under the License.
14
15 set -exuo pipefail
16
17 # This library defines functions used by multiple entry scripts.
18 # Keep functions ordered alphabetically, please.
19
20 # TODO: Add a link to bash style guide.
21 # TODO: Consider putting every die into a {} block,
22 #   the code might become more readable (but longer).
23
24
25 function activate_docker_topology () {
26
27     # Create virtual vpp-device topology. Output of the function is topology
28     # file describing created environment saved to a file.
29     #
30     # Variables read:
31     # - BASH_FUNCTION_DIR - Path to existing directory this file is located in.
32     # - TOPOLOGIES - Available topologies.
33     # - NODENESS - Node multiplicity of desired testbed.
34     # - FLAVOR - Node flavor string, usually describing the processor.
35     # - IMAGE_VER_FILE - Name of file that contains the image version.
36     # - CSIT_DIR - Directory where ${IMAGE_VER_FILE} is located.
37     # Variables set:
38     # - WORKING_TOPOLOGY - Path to topology file.
39
40     set -exuo pipefail
41
42     source "${BASH_FUNCTION_DIR}/device.sh" || {
43         die "Source failed!"
44     }
45
46     device_image="$(< ${CSIT_DIR}/${IMAGE_VER_FILE})"
47     case_text="${NODENESS}_${FLAVOR}"
48     case "${case_text}" in
49         "1n_skx" | "1n_tx2")
50             # We execute reservation over csit-shim-dcr (ssh) which runs sourced
51             # script's functions. Env variables are read from ssh output
52             # back to localhost for further processing.
53             hostname=$(grep search /etc/resolv.conf | cut -d' ' -f3) || die
54             ssh="ssh root@${hostname} -p 6022"
55             run="activate_wrapper ${NODENESS} ${FLAVOR} ${device_image}"
56             # The "declare -f" output is long and boring.
57             set +x
58             # backtics to avoid https://midnight-commander.org/ticket/2142
59             env_vars=`${ssh} "$(declare -f); ${run}"` || {
60                 die "Topology reservation via shim-dcr failed!"
61             }
62             set -x
63             set -a
64             source <(echo "$env_vars" | grep -v /usr/bin/docker) || {
65                 die "Source failed!"
66             }
67             set +a
68             ;;
69         "1n_vbox")
70             # We execute reservation on localhost. Sourced script automatially
71             # sets environment variables for further processing.
72             activate_wrapper "${NODENESS}" "${FLAVOR}" "${device_image}" || die
73             ;;
74         *)
75             die "Unknown specification: ${case_text}!"
76     esac
77
78     trap 'deactivate_docker_topology' EXIT || {
79          die "Trap attempt failed, please cleanup manually. Aborting!"
80     }
81
82     # Replace all variables in template with those in environment.
83     source <(echo 'cat <<EOF >topo.yml'; cat ${TOPOLOGIES[0]}; echo EOF;) || {
84         die "Topology file create failed!"
85     }
86
87     WORKING_TOPOLOGY="/tmp/topology.yaml"
88     mv topo.yml "${WORKING_TOPOLOGY}" || {
89         die "Topology move failed!"
90     }
91     cat ${WORKING_TOPOLOGY} | grep -v password || {
92         die "Topology read failed!"
93     }
94 }
95
96
97 function activate_virtualenv () {
98
99     # Update virtualenv pip package, delete and create virtualenv directory,
100     # activate the virtualenv, install requirements, set PYTHONPATH.
101
102     # Arguments:
103     # - ${1} - Path to existing directory for creating virtualenv in.
104     #          If missing or empty, ${CSIT_DIR} is used.
105     # - ${2} - Path to requirements file, ${CSIT_DIR}/requirements.txt if empty.
106     # Variables read:
107     # - CSIT_DIR - Path to existing root of local CSIT git repository.
108     # Variables exported:
109     # - PYTHONPATH - CSIT_DIR, as CSIT Python scripts usually need this.
110     # Functions called:
111     # - die - Print to stderr and exit.
112
113     set -exuo pipefail
114
115     root_path="${1-$CSIT_DIR}"
116     env_dir="${root_path}/env"
117     req_path=${2-$CSIT_DIR/requirements.txt}
118     rm -rf "${env_dir}" || die "Failed to clean previous virtualenv."
119     pip3 install virtualenv==20.0.20 || {
120         die "Virtualenv package install failed."
121     }
122     virtualenv --no-download --python=$(which python3) "${env_dir}" || {
123         die "Virtualenv creation for $(which python3) failed."
124     }
125     set +u
126     source "${env_dir}/bin/activate" || die "Virtualenv activation failed."
127     set -u
128     pip3 install -r "${req_path}" || {
129         die "Requirements installation failed."
130     }
131     # Most CSIT Python scripts assume PYTHONPATH is set and exported.
132     export PYTHONPATH="${CSIT_DIR}" || die "Export failed."
133 }
134
135
136 function archive_tests () {
137
138     # Create .tar.xz of generated/tests for archiving.
139     # To be run after generate_tests, kept separate to offer more flexibility.
140
141     # Directory read:
142     # - ${GENERATED_DIR}/tests - Tree of executed suites to archive.
143     # File rewriten:
144     # - ${ARCHIVE_DIR}/tests.tar.xz - Archive of generated tests.
145
146     set -exuo pipefail
147
148     tar c "${GENERATED_DIR}/tests" | xz -9e > "${ARCHIVE_DIR}/tests.tar.xz" || {
149         die "Error creating archive of generated tests."
150     }
151 }
152
153
154 function check_download_dir () {
155
156     # Fail if there are no files visible in ${DOWNLOAD_DIR}.
157     #
158     # Variables read:
159     # - DOWNLOAD_DIR - Path to directory pybot takes the build to test from.
160     # Directories read:
161     # - ${DOWNLOAD_DIR} - Has to be non-empty to proceed.
162     # Functions called:
163     # - die - Print to stderr and exit.
164
165     set -exuo pipefail
166
167     if [[ ! "$(ls -A "${DOWNLOAD_DIR}")" ]]; then
168         die "No artifacts downloaded!"
169     fi
170 }
171
172
173 function check_prerequisites () {
174
175     # Fail if prerequisites are not met.
176     #
177     # Functions called:
178     # - installed - Check if application is installed/present in system.
179     # - die - Print to stderr and exit.
180
181     set -exuo pipefail
182
183     if ! installed sshpass; then
184         die "Please install sshpass before continue!"
185     fi
186 }
187
188
189 function common_dirs () {
190
191     # Set global variables, create some directories (without touching content).
192
193     # Variables set:
194     # - BASH_FUNCTION_DIR - Path to existing directory this file is located in.
195     # - CSIT_DIR - Path to existing root of local CSIT git repository.
196     # - TOPOLOGIES_DIR - Path to existing directory with available topologies.
197     # - JOB_SPECS_DIR - Path to existing directory with job test specifications.
198     # - RESOURCES_DIR - Path to existing CSIT subdirectory "resources".
199     # - TOOLS_DIR - Path to existing resources subdirectory "tools".
200     # - PYTHON_SCRIPTS_DIR - Path to existing tools subdirectory "scripts".
201     # - ARCHIVE_DIR - Path to created CSIT subdirectory "archive".
202     # - DOWNLOAD_DIR - Path to created CSIT subdirectory "download_dir".
203     # - GENERATED_DIR - Path to created CSIT subdirectory "generated".
204     # Directories created if not present:
205     # ARCHIVE_DIR, DOWNLOAD_DIR, GENERATED_DIR.
206     # Functions called:
207     # - die - Print to stderr and exit.
208
209     set -exuo pipefail
210
211     this_file=$(readlink -e "${BASH_SOURCE[0]}") || {
212         die "Some error during locating of this source file."
213     }
214     BASH_FUNCTION_DIR=$(dirname "${this_file}") || {
215         die "Some error during dirname call."
216     }
217     # Current working directory could be in a different repo, e.g. VPP.
218     pushd "${BASH_FUNCTION_DIR}" || die "Pushd failed"
219     relative_csit_dir=$(git rev-parse --show-toplevel) || {
220         die "Git rev-parse failed."
221     }
222     CSIT_DIR=$(readlink -e "${relative_csit_dir}") || die "Readlink failed."
223     popd || die "Popd failed."
224     TOPOLOGIES_DIR=$(readlink -e "${CSIT_DIR}/topologies/available") || {
225         die "Readlink failed."
226     }
227     JOB_SPECS_DIR=$(readlink -e "${CSIT_DIR}/docs/job_specs") || {
228         die "Readlink failed."
229     }
230     RESOURCES_DIR=$(readlink -e "${CSIT_DIR}/resources") || {
231         die "Readlink failed."
232     }
233     TOOLS_DIR=$(readlink -e "${RESOURCES_DIR}/tools") || {
234         die "Readlink failed."
235     }
236     DOC_GEN_DIR=$(readlink -e "${TOOLS_DIR}/doc_gen") || {
237         die "Readlink failed."
238     }
239     PYTHON_SCRIPTS_DIR=$(readlink -e "${TOOLS_DIR}/scripts") || {
240         die "Readlink failed."
241     }
242
243     ARCHIVE_DIR=$(readlink -f "${CSIT_DIR}/archive") || {
244         die "Readlink failed."
245     }
246     mkdir -p "${ARCHIVE_DIR}" || die "Mkdir failed."
247     DOWNLOAD_DIR=$(readlink -f "${CSIT_DIR}/download_dir") || {
248         die "Readlink failed."
249     }
250     mkdir -p "${DOWNLOAD_DIR}" || die "Mkdir failed."
251     GENERATED_DIR=$(readlink -f "${CSIT_DIR}/generated") || {
252         die "Readlink failed."
253     }
254     mkdir -p "${GENERATED_DIR}" || die "Mkdir failed."
255 }
256
257
258 function compose_pybot_arguments () {
259
260     # Variables read:
261     # - WORKING_TOPOLOGY - Path to topology yaml file of the reserved testbed.
262     # - DUT - CSIT test/ subdirectory, set while processing tags.
263     # - TAGS - Array variable holding selected tag boolean expressions.
264     # - TOPOLOGIES_TAGS - Tag boolean expression filtering tests for topology.
265     # - TEST_CODE - The test selection string from environment or argument.
266     # Variables set:
267     # - PYBOT_ARGS - String holding part of all arguments for pybot.
268     # - EXPANDED_TAGS - Array of strings pybot arguments compiled from tags.
269
270     set -exuo pipefail
271
272     # No explicit check needed with "set -u".
273     PYBOT_ARGS=("--loglevel" "TRACE")
274     PYBOT_ARGS+=("--variable" "TOPOLOGY_PATH:${WORKING_TOPOLOGY}")
275
276     case "${TEST_CODE}" in
277         *"device"*)
278             PYBOT_ARGS+=("--suite" "tests.${DUT}.device")
279             ;;
280         *"perf"*)
281             PYBOT_ARGS+=("--suite" "tests.${DUT}.perf")
282             ;;
283         *)
284             die "Unknown specification: ${TEST_CODE}"
285     esac
286
287     EXPANDED_TAGS=()
288     for tag in "${TAGS[@]}"; do
289         if [[ ${tag} == "!"* ]]; then
290             EXPANDED_TAGS+=("--exclude" "${tag#$"!"}")
291         else
292             EXPANDED_TAGS+=("--include" "${TOPOLOGIES_TAGS}AND${tag}")
293         fi
294     done
295 }
296
297
298 function copy_archives () {
299
300     # Create additional archive if workspace variable is set.
301     # This way if script is running in jenkins all will be
302     # automatically archived to logs.fd.io.
303     #
304     # Variables read:
305     # - WORKSPACE - Jenkins workspace, copy only if the value is not empty.
306     #   Can be unset, then it speeds up manual testing.
307     # - ARCHIVE_DIR - Path to directory with content to be copied.
308     # Directories updated:
309     # - ${WORKSPACE}/archives/ - Created if does not exist.
310     #   Content of ${ARCHIVE_DIR}/ is copied here.
311     # Functions called:
312     # - die - Print to stderr and exit.
313
314     set -exuo pipefail
315
316     if [[ -n "${WORKSPACE-}" ]]; then
317         mkdir -p "${WORKSPACE}/archives/" || die "Archives dir create failed."
318         cp -rf "${ARCHIVE_DIR}"/* "${WORKSPACE}/archives" || die "Copy failed."
319     fi
320 }
321
322
323 function deactivate_docker_topology () {
324
325     # Deactivate virtual vpp-device topology by removing containers.
326     #
327     # Variables read:
328     # - NODENESS - Node multiplicity of desired testbed.
329     # - FLAVOR - Node flavor string, usually describing the processor.
330
331     set -exuo pipefail
332
333     case_text="${NODENESS}_${FLAVOR}"
334     case "${case_text}" in
335         "1n_skx" | "1n_tx2")
336             hostname=$(grep search /etc/resolv.conf | cut -d' ' -f3) || die
337             ssh="ssh root@${hostname} -p 6022"
338             env_vars=$(env | grep CSIT_ | tr '\n' ' ' ) || die
339             # The "declare -f" output is long and boring.
340             set +x
341             ${ssh} "$(declare -f); deactivate_wrapper ${env_vars}" || {
342                 die "Topology cleanup via shim-dcr failed!"
343             }
344             set -x
345             ;;
346         "1n_vbox")
347             enter_mutex || die
348             clean_environment || {
349                 die "Topology cleanup locally failed!"
350             }
351             exit_mutex || die
352             ;;
353         *)
354             die "Unknown specification: ${case_text}!"
355     esac
356 }
357
358
359 function die () {
360
361     # Print the message to standard error end exit with error code specified
362     # by the second argument.
363     #
364     # Hardcoded values:
365     # - The default error message.
366     # Arguments:
367     # - ${1} - The whole error message, be sure to quote. Optional
368     # - ${2} - the code to exit with, default: 1.
369
370     set -x
371     set +eu
372     warn "${1:-Unspecified run-time error occurred!}"
373     exit "${2:-1}"
374 }
375
376
377 function die_on_pybot_error () {
378
379     # Source this fragment if you want to abort on any failed test case.
380     #
381     # Variables read:
382     # - PYBOT_EXIT_STATUS - Set by a pybot running fragment.
383     # Functions called:
384     # - die - Print to stderr and exit.
385
386     set -exuo pipefail
387
388     if [[ "${PYBOT_EXIT_STATUS}" != "0" ]]; then
389         die "Test failures are present!" "${PYBOT_EXIT_STATUS}"
390     fi
391 }
392
393
394 function generate_tests () {
395
396     # Populate ${GENERATED_DIR}/tests based on ${CSIT_DIR}/tests/.
397     # Any previously existing content of ${GENERATED_DIR}/tests is wiped before.
398     # The generation is done by executing any *.py executable
399     # within any subdirectory after copying.
400
401     # This is a separate function, because this code is called
402     # both by autogen checker and entries calling run_pybot.
403
404     # Directories read:
405     # - ${CSIT_DIR}/tests - Used as templates for the generated tests.
406     # Directories replaced:
407     # - ${GENERATED_DIR}/tests - Overwritten by the generated tests.
408
409     set -exuo pipefail
410
411     rm -rf "${GENERATED_DIR}/tests" || die
412     cp -r "${CSIT_DIR}/tests" "${GENERATED_DIR}/tests" || die
413     cmd_line=("find" "${GENERATED_DIR}/tests" "-type" "f")
414     cmd_line+=("-executable" "-name" "*.py")
415     # We sort the directories, so log output can be compared between runs.
416     file_list=$("${cmd_line[@]}" | sort) || die
417
418     for gen in ${file_list}; do
419         directory="$(dirname "${gen}")" || die
420         filename="$(basename "${gen}")" || die
421         pushd "${directory}" || die
422         ./"${filename}" || die
423         popd || die
424     done
425 }
426
427
428 function get_test_code () {
429
430     # Arguments:
431     # - ${1} - Optional, argument of entry script (or empty as unset).
432     #   Test code value to override job name from environment.
433     # Variables read:
434     # - JOB_NAME - String affecting test selection, default if not argument.
435     # Variables set:
436     # - TEST_CODE - The test selection string from environment or argument.
437     # - NODENESS - Node multiplicity of desired testbed.
438     # - FLAVOR - Node flavor string, usually describing the processor.
439
440     set -exuo pipefail
441
442     TEST_CODE="${1-}" || die "Reading optional argument failed, somehow."
443     if [[ -z "${TEST_CODE}" ]]; then
444         TEST_CODE="${JOB_NAME-}" || die "Reading job name failed, somehow."
445     fi
446
447     case "${TEST_CODE}" in
448         *"1n-vbox"*)
449             NODENESS="1n"
450             FLAVOR="vbox"
451             ;;
452         *"1n-skx"*)
453             NODENESS="1n"
454             FLAVOR="skx"
455             ;;
456        *"1n-tx2"*)
457             NODENESS="1n"
458             FLAVOR="tx2"
459             ;;
460         *"2n-skx"*)
461             NODENESS="2n"
462             FLAVOR="skx"
463             ;;
464         *"3n-skx"*)
465             NODENESS="3n"
466             FLAVOR="skx"
467             ;;
468         *"2n-clx"*)
469             NODENESS="2n"
470             FLAVOR="clx"
471             ;;
472         *"2n-dnv"*)
473             NODENESS="2n"
474             FLAVOR="dnv"
475             ;;
476         *"3n-dnv"*)
477             NODENESS="3n"
478             FLAVOR="dnv"
479             ;;
480         *"3n-tsh"*)
481             NODENESS="3n"
482             FLAVOR="tsh"
483             ;;
484         *)
485             # Fallback to 3-node Haswell by default (backward compatibility)
486             NODENESS="3n"
487             FLAVOR="hsw"
488             ;;
489     esac
490 }
491
492
493 function get_test_tag_string () {
494
495     # Variables read:
496     # - GERRIT_EVENT_TYPE - Event type set by gerrit, can be unset.
497     # - GERRIT_EVENT_COMMENT_TEXT - Comment text, read for "comment-added" type.
498     # - TEST_CODE - The test selection string from environment or argument.
499     # Variables set:
500     # - TEST_TAG_STRING - The string following trigger word in gerrit comment.
501     #   May be empty, or even not set on event types not adding comment.
502
503     # TODO: ci-management scripts no longer need to perform this.
504
505     set -exuo pipefail
506
507     if [[ "${GERRIT_EVENT_TYPE-}" == "comment-added" ]]; then
508         case "${TEST_CODE}" in
509             *"device"*)
510                 trigger="devicetest"
511                 ;;
512             *"perf"*)
513                 trigger="perftest"
514                 ;;
515             *)
516                 die "Unknown specification: ${TEST_CODE}"
517         esac
518         # Ignore lines not containing the trigger word.
519         comment=$(fgrep "${trigger}" <<< "${GERRIT_EVENT_COMMENT_TEXT}") || true
520         # The vpp-csit triggers trail stuff we are not interested in.
521         # Removing them and trigger word: https://unix.stackexchange.com/a/13472
522         # (except relying on \s whitespace, \S non-whitespace and . both).
523         # The last string is concatenated, only the middle part is expanded.
524         cmd=("grep" "-oP" '\S*'"${trigger}"'\S*\s\K.+$') || die "Unset trigger?"
525         # On parsing error, TEST_TAG_STRING probably stays empty.
526         TEST_TAG_STRING=$("${cmd[@]}" <<< "${comment}") || true
527     fi
528 }
529
530
531 function installed () {
532
533     # Check if the given utility is installed. Fail if not installed.
534     #
535     # Duplicate of common.sh function, as this file is also used standalone.
536     #
537     # Arguments:
538     # - ${1} - Utility to check.
539     # Returns:
540     # - 0 - If command is installed.
541     # - 1 - If command is not installed.
542
543     set -exuo pipefail
544
545     command -v "${1}"
546 }
547
548
549 function reserve_and_cleanup_testbed () {
550
551     # Reserve physical testbed, perform cleanup, register trap to unreserve.
552     # When cleanup fails, remove from topologies and keep retrying
553     # until all topologies are removed.
554     #
555     # Variables read:
556     # - TOPOLOGIES - Array of paths to topology yaml to attempt reservation on.
557     # - PYTHON_SCRIPTS_DIR - Path to directory holding the reservation script.
558     # - BUILD_TAG - Any string suitable as filename, identifying
559     #   test run executing this function. May be unset.
560     # Variables set:
561     # - TOPOLOGIES - Array of paths to topologies, with failed cleanups removed.
562     # - WORKING_TOPOLOGY - Path to topology yaml file of the reserved testbed.
563     # Functions called:
564     # - die - Print to stderr and exit.
565     # - ansible_playbook - Perform an action using ansible, see ansible.sh
566     # Traps registered:
567     # - EXIT - Calls cancel_all for ${WORKING_TOPOLOGY}.
568
569     set -exuo pipefail
570
571     while true; do
572         for topo in "${TOPOLOGIES[@]}"; do
573             set +e
574             scrpt="${PYTHON_SCRIPTS_DIR}/topo_reservation.py"
575             opts=("-t" "${topo}" "-r" "${BUILD_TAG:-Unknown}")
576             python3 "${scrpt}" "${opts[@]}"
577             result="$?"
578             set -e
579             if [[ "${result}" == "0" ]]; then
580                 # Trap unreservation before cleanup check,
581                 # so multiple jobs showing failed cleanup improve chances
582                 # of humans to notice and fix.
583                 WORKING_TOPOLOGY="${topo}"
584                 echo "Reserved: ${WORKING_TOPOLOGY}"
585                 trap "untrap_and_unreserve_testbed" EXIT || {
586                     message="TRAP ATTEMPT AND UNRESERVE FAILED, FIX MANUALLY."
587                     untrap_and_unreserve_testbed "${message}" || {
588                         die "Teardown should have died, not failed."
589                     }
590                     die "Trap attempt failed, unreserve succeeded. Aborting."
591                 }
592                 # Cleanup + calibration checks.
593                 set +e
594                 ansible_playbook "cleanup, calibration"
595                 result="$?"
596                 set -e
597                 if [[ "${result}" == "0" ]]; then
598                     break
599                 fi
600                 warn "Testbed cleanup failed: ${topo}"
601                 untrap_and_unreserve_testbed "Fail of unreserve after cleanup."
602             fi
603             # Else testbed is accessible but currently reserved, moving on.
604         done
605
606         if [[ -n "${WORKING_TOPOLOGY-}" ]]; then
607             # Exit the infinite while loop if we made a reservation.
608             warn "Reservation and cleanup successful."
609             break
610         fi
611
612         if [[ "${#TOPOLOGIES[@]}" == "0" ]]; then
613             die "Run out of operational testbeds!"
614         fi
615
616         # Wait ~3minutes before next try.
617         sleep_time="$[ ( ${RANDOM} % 20 ) + 180 ]s" || {
618             die "Sleep time calculation failed."
619         }
620         echo "Sleeping ${sleep_time}"
621         sleep "${sleep_time}" || die "Sleep failed."
622     done
623 }
624
625
626 function run_pybot () {
627
628     # Run pybot with options based on input variables. Create output_info.xml
629     #
630     # Variables read:
631     # - CSIT_DIR - Path to existing root of local CSIT git repository.
632     # - ARCHIVE_DIR - Path to store robot result files in.
633     # - PYBOT_ARGS, EXPANDED_TAGS - See compose_pybot_arguments.sh
634     # - GENERATED_DIR - Tests are assumed to be generated under there.
635     # Variables set:
636     # - PYBOT_EXIT_STATUS - Exit status of most recent pybot invocation.
637     # Functions called:
638     # - die - Print to stderr and exit.
639
640     set -exuo pipefail
641
642     all_options=("--outputdir" "${ARCHIVE_DIR}" "${PYBOT_ARGS[@]}")
643     all_options+=("--noncritical" "EXPECTED_FAILING")
644     all_options+=("${EXPANDED_TAGS[@]}")
645
646     pushd "${CSIT_DIR}" || die "Change directory operation failed."
647     set +e
648     robot "${all_options[@]}" "${GENERATED_DIR}/tests/"
649     PYBOT_EXIT_STATUS="$?"
650     set -e
651
652     # Generate INFO level output_info.xml for post-processing.
653     all_options=("--loglevel" "INFO")
654     all_options+=("--log" "none")
655     all_options+=("--report" "none")
656     all_options+=("--output" "${ARCHIVE_DIR}/output_info.xml")
657     all_options+=("${ARCHIVE_DIR}/output.xml")
658     rebot "${all_options[@]}" || true
659     popd || die "Change directory operation failed."
660 }
661
662
663 function select_arch_os () {
664
665     # Set variables affected by local CPU architecture and operating system.
666     #
667     # Variables set:
668     # - VPP_VER_FILE - Name of file in CSIT dir containing vpp stable version.
669     # - IMAGE_VER_FILE - Name of file in CSIT dir containing the image name.
670     # - PKG_SUFFIX - Suffix of OS package file name, "rpm" or "deb."
671
672     set -exuo pipefail
673
674     os_id=$(grep '^ID=' /etc/os-release | cut -f2- -d= | sed -e 's/\"//g') || {
675         die "Get OS release failed."
676     }
677
678     case "${os_id}" in
679         "ubuntu"*)
680             IMAGE_VER_FILE="VPP_DEVICE_IMAGE_UBUNTU"
681             VPP_VER_FILE="VPP_STABLE_VER_UBUNTU_BIONIC"
682             PKG_SUFFIX="deb"
683             ;;
684         "centos"*)
685             IMAGE_VER_FILE="VPP_DEVICE_IMAGE_CENTOS"
686             VPP_VER_FILE="VPP_STABLE_VER_CENTOS"
687             PKG_SUFFIX="rpm"
688             ;;
689         *)
690             die "Unable to identify distro or os from ${os_id}"
691             ;;
692     esac
693
694     arch=$(uname -m) || {
695         die "Get CPU architecture failed."
696     }
697
698     case "${arch}" in
699         "aarch64")
700             IMAGE_VER_FILE="${IMAGE_VER_FILE}_ARM"
701             ;;
702         *)
703             ;;
704     esac
705 }
706
707
708 function select_tags () {
709
710     # Variables read:
711     # - WORKING_TOPOLOGY - Path to topology yaml file of the reserved testbed.
712     # - TEST_CODE - String affecting test selection, usually jenkins job name.
713     # - DUT - CSIT test/ subdirectory, set while processing tags.
714     # - TEST_TAG_STRING - String selecting tags, from gerrit comment.
715     #   Can be unset.
716     # - TOPOLOGIES_DIR - Path to existing directory with available tpologies.
717     # - BASH_FUNCTION_DIR - Directory with input files to process.
718     # Variables set:
719     # - TAGS - Array of processed tag boolean expressions.
720
721     set -exuo pipefail
722
723     # NIC SELECTION
724     start_pattern='^  TG:'
725     end_pattern='^ \? \?[A-Za-z0-9]\+:'
726     # Remove the TG section from topology file
727     sed_command="/${start_pattern}/,/${end_pattern}/d"
728     # All topologies DUT NICs
729     available=$(sed "${sed_command}" "${TOPOLOGIES_DIR}"/* \
730                 | grep -hoP "model: \K.*" | sort -u)
731     # Selected topology DUT NICs
732     reserved=$(sed "${sed_command}" "${WORKING_TOPOLOGY}" \
733                | grep -hoP "model: \K.*" | sort -u)
734     # All topologies DUT NICs - Selected topology DUT NICs
735     exclude_nics=($(comm -13 <(echo "${reserved}") <(echo "${available}"))) || {
736         die "Computation of excluded NICs failed."
737     }
738
739     # Select default NIC tag.
740     case "${TEST_CODE}" in
741         *"3n-dnv"* | *"2n-dnv"*)
742             default_nic="nic_intel-x553"
743             ;;
744         *"3n-tsh"*)
745             default_nic="nic_intel-x520-da2"
746             ;;
747         *"3n-skx"* | *"2n-skx"* | *"2n-clx"*)
748             default_nic="nic_intel-xxv710"
749             ;;
750         *"3n-hsw"* | *"mrr-daily-master")
751             default_nic="nic_intel-xl710"
752             ;;
753         *)
754             default_nic="nic_intel-x710"
755             ;;
756     esac
757
758     sed_nic_sub_cmd="sed s/\${default_nic}/${default_nic}/"
759     sed_nics_sub_cmd="sed -e s/ANDxxv710/ANDnic_intel-xxv710/"
760     sed_nics_sub_cmd+=" | sed -e s/ANDx710/ANDnic_intel-x710/"
761     sed_nics_sub_cmd+=" | sed -e s/ANDxl710/ANDnic_intel-xl710/"
762     sed_nics_sub_cmd+=" | sed -e s/ANDx520-da2/ANDnic_intel-x520-da2/"
763     sed_nics_sub_cmd+=" | sed -e s/ANDx553/ANDnic_intel-x553/"
764     sed_nics_sub_cmd+=" | sed -e s/ANDcx556a/ANDnic_mellanox-cx556a/"
765     sed_nics_sub_cmd+=" | sed -e s/ANDvic1227/ANDnic_cisco-vic-1227/"
766     sed_nics_sub_cmd+=" | sed -e s/ANDvic1385/ANDnic_cisco-vic-1385/"
767     # Tag file directory shorthand.
768     tfd="${JOB_SPECS_DIR}"
769     case "${TEST_CODE}" in
770         # Select specific performance tests based on jenkins job type variable.
771         *"ndrpdr-weekly"* )
772             readarray -t test_tag_array <<< $(sed 's/ //g' \
773                 ${tfd}/mlr_weekly/${DUT}-${NODENESS}-${FLAVOR}.md |
774                 eval ${sed_nics_sub_cmd}) || die
775             ;;
776         *"mrr-daily"* )
777             readarray -t test_tag_array <<< $(sed 's/ //g' \
778                 ${tfd}/mrr_daily/${DUT}-${NODENESS}-${FLAVOR}.md |
779                 eval ${sed_nics_sub_cmd}) || die
780             ;;
781         *"mrr-weekly"* )
782             readarray -t test_tag_array <<< $(sed 's/ //g' \
783                 ${tfd}/mrr_weekly/${DUT}-${NODENESS}-${FLAVOR}.md |
784                 eval ${sed_nics_sub_cmd}) || die
785             ;;
786         *"report-iterative"* )
787             test_sets=(${TEST_TAG_STRING//:/ })
788             # Run only one test set per run
789             report_file=${test_sets[0]}.md
790             readarray -t test_tag_array <<< $(sed 's/ //g' \
791                 ${tfd}/report_iterative/${NODENESS}-${FLAVOR}/${report_file} |
792                 eval ${sed_nics_sub_cmd}) || die
793             ;;
794         *"report-coverage"* )
795             test_sets=(${TEST_TAG_STRING//:/ })
796             # Run only one test set per run
797             report_file=${test_sets[0]}.md
798             readarray -t test_tag_array <<< $(sed 's/ //g' \
799                 ${tfd}/report_coverage/${NODENESS}-${FLAVOR}/${report_file} |
800                 eval ${sed_nics_sub_cmd}) || die
801             ;;
802         * )
803             if [[ -z "${TEST_TAG_STRING-}" ]]; then
804                 # If nothing is specified, we will run pre-selected tests by
805                 # following tags.
806                 test_tag_array=("mrrAND${default_nic}AND1cAND64bANDip4base"
807                                 "mrrAND${default_nic}AND1cAND78bANDip6base"
808                                 "mrrAND${default_nic}AND1cAND64bANDl2bdbase"
809                                 "mrrAND${default_nic}AND1cAND64bANDl2xcbase"
810                                 "!dot1q" "!drv_avf")
811             else
812                 # If trigger contains tags, split them into array.
813                 test_tag_array=(${TEST_TAG_STRING//:/ })
814             fi
815             ;;
816     esac
817
818     # Blacklisting certain tags per topology.
819     #
820     # Reasons for blacklisting:
821     # - ipsechw - Blacklisted on testbeds without crypto hardware accelerator.
822     # TODO: Add missing reasons here (if general) or where used (if specific).
823     case "${TEST_CODE}" in
824         *"2n-skx"*)
825             test_tag_array+=("!ipsechw")
826             ;;
827         *"3n-skx"*)
828             test_tag_array+=("!ipsechw")
829             # Not enough nic_intel-xxv710 to support double link tests.
830             test_tag_array+=("!3_node_double_link_topoANDnic_intel-xxv710")
831             ;;
832         *"2n-clx"*)
833             test_tag_array+=("!ipsechw")
834             ;;
835         *"2n-dnv"*)
836             test_tag_array+=("!ipsechw")
837             test_tag_array+=("!memif")
838             test_tag_array+=("!srv6_proxy")
839             test_tag_array+=("!vhost")
840             test_tag_array+=("!vts")
841             test_tag_array+=("!drv_avf")
842             ;;
843         *"3n-dnv"*)
844             test_tag_array+=("!memif")
845             test_tag_array+=("!srv6_proxy")
846             test_tag_array+=("!vhost")
847             test_tag_array+=("!vts")
848             test_tag_array+=("!drv_avf")
849             ;;
850         *"3n-tsh"*)
851             # 3n-tsh only has x520 NICs which don't work with AVF
852             test_tag_array+=("!drv_avf")
853             test_tag_array+=("!ipsechw")
854             ;;
855         *"3n-hsw"*)
856             # TODO: Introduce NOIOMMU version of AVF tests.
857             # TODO: Make (both) AVF tests work on Haswell,
858             # or document why (some of) it is not possible.
859             # https://github.com/FDio/vpp/blob/master/src/plugins/avf/README.md
860             test_tag_array+=("!drv_avf")
861             # All cards have access to QAT. But only one card (xl710)
862             # resides in same NUMA as QAT. Other cards must go over QPI
863             # which we do not want to even run.
864             test_tag_array+=("!ipsechwNOTnic_intel-xl710")
865             ;;
866         *)
867             # Default to 3n-hsw due to compatibility.
868             test_tag_array+=("!drv_avf")
869             test_tag_array+=("!ipsechwNOTnic_intel-xl710")
870             ;;
871     esac
872
873     # We will add excluded NICs.
874     test_tag_array+=("${exclude_nics[@]/#/!NIC_}")
875
876     TAGS=()
877
878     # We will prefix with perftest to prevent running other tests
879     # (e.g. Functional).
880     prefix="perftestAND"
881     set +x
882     if [[ "${TEST_CODE}" == "vpp-"* ]]; then
883         # Automatic prefixing for VPP jobs to limit the NIC used and
884         # traffic evaluation to MRR.
885         if [[ "${TEST_TAG_STRING-}" == *"nic_"* ]]; then
886             prefix="${prefix}mrrAND"
887         else
888             prefix="${prefix}mrrAND${default_nic}AND"
889         fi
890     fi
891     for tag in "${test_tag_array[@]}"; do
892         if [[ "${tag}" == "!"* ]]; then
893             # Exclude tags are not prefixed.
894             TAGS+=("${tag}")
895         elif [[ "${tag}" == " "* || "${tag}" == *"perftest"* ]]; then
896             # Badly formed tag expressions can trigger way too much tests.
897             set -x
898             warn "The following tag expression hints at bad trigger: ${tag}"
899             warn "Possible cause: Multiple triggers in a single comment."
900             die "Aborting to avoid triggering too many tests."
901         elif [[ "${tag}" != "" && "${tag}" != "#"* ]]; then
902             # Empty and comment lines are skipped.
903             # Other lines are normal tags, they are to be prefixed.
904             TAGS+=("${prefix}${tag}")
905         fi
906     done
907     set -x
908 }
909
910
911 function select_topology () {
912
913     # Variables read:
914     # - NODENESS - Node multiplicity of testbed, either "2n" or "3n".
915     # - FLAVOR - Node flavor string, currently either "hsw" or "skx".
916     # - CSIT_DIR - Path to existing root of local CSIT git repository.
917     # - TOPOLOGIES_DIR - Path to existing directory with available topologies.
918     # Variables set:
919     # - TOPOLOGIES - Array of paths to suitable topology yaml files.
920     # - TOPOLOGIES_TAGS - Tag expression selecting tests for the topology.
921     # Functions called:
922     # - die - Print to stderr and exit.
923
924     set -exuo pipefail
925
926     case_text="${NODENESS}_${FLAVOR}"
927     case "${case_text}" in
928         # TODO: Move tags to "# Blacklisting certain tags per topology" section.
929         # TODO: Double link availability depends on NIC used.
930         "1n_vbox")
931             TOPOLOGIES=( "${TOPOLOGIES_DIR}"/*vpp_device*.template )
932             TOPOLOGIES_TAGS="2_node_single_link_topo"
933             ;;
934         "1n_skx" | "1n_tx2")
935             TOPOLOGIES=( "${TOPOLOGIES_DIR}"/*vpp_device*.template )
936             TOPOLOGIES_TAGS="2_node_single_link_topo"
937             ;;
938         "2n_skx")
939             TOPOLOGIES=( "${TOPOLOGIES_DIR}"/*2n_skx*.yaml )
940             TOPOLOGIES_TAGS="2_node_*_link_topo"
941             ;;
942         "3n_skx")
943             TOPOLOGIES=( "${TOPOLOGIES_DIR}"/*3n_skx*.yaml )
944             TOPOLOGIES_TAGS="3_node_*_link_topo"
945             ;;
946         "2n_clx")
947             TOPOLOGIES=( "${TOPOLOGIES_DIR}"/*2n_clx*.yaml )
948             TOPOLOGIES_TAGS="2_node_*_link_topo"
949             ;;
950         "2n_dnv")
951             TOPOLOGIES=( "${TOPOLOGIES_DIR}"/*2n_dnv*.yaml )
952             TOPOLOGIES_TAGS="2_node_single_link_topo"
953             ;;
954         "3n_dnv")
955             TOPOLOGIES=( "${TOPOLOGIES_DIR}"/*3n_dnv*.yaml )
956             TOPOLOGIES_TAGS="3_node_single_link_topo"
957             ;;
958         "3n_hsw")
959             TOPOLOGIES=( "${TOPOLOGIES_DIR}"/*3n_hsw*.yaml )
960             TOPOLOGIES_TAGS="3_node_single_link_topo"
961             ;;
962         "3n_tsh")
963             TOPOLOGIES=( "${TOPOLOGIES_DIR}"/*3n_tsh*.yaml )
964             TOPOLOGIES_TAGS="3_node_single_link_topo"
965             ;;
966         *)
967             # No falling back to 3n_hsw default, that should have been done
968             # by the function which has set NODENESS and FLAVOR.
969             die "Unknown specification: ${case_text}"
970     esac
971
972     if [[ -z "${TOPOLOGIES-}" ]]; then
973         die "No applicable topology found!"
974     fi
975 }
976
977
978 function select_vpp_device_tags () {
979
980     # Variables read:
981     # - TEST_CODE - String affecting test selection, usually jenkins job name.
982     # - TEST_TAG_STRING - String selecting tags, from gerrit comment.
983     #   Can be unset.
984     # Variables set:
985     # - TAGS - Array of processed tag boolean expressions.
986
987     set -exuo pipefail
988
989     case "${TEST_CODE}" in
990         # Select specific device tests based on jenkins job type variable.
991         * )
992             if [[ -z "${TEST_TAG_STRING-}" ]]; then
993                 # If nothing is specified, we will run pre-selected tests by
994                 # following tags. Items of array will be concatenated by OR
995                 # in Robot Framework.
996                 test_tag_array=()
997             else
998                 # If trigger contains tags, split them into array.
999                 test_tag_array=(${TEST_TAG_STRING//:/ })
1000             fi
1001             ;;
1002     esac
1003
1004     # Blacklisting certain tags per topology.
1005     #
1006     # Reasons for blacklisting:
1007     # - avf - AVF is not possible to run on enic driver of VirtualBox.
1008     # - vhost - VirtualBox does not support nesting virtualization on Intel CPU.
1009     case "${TEST_CODE}" in
1010         *"1n-vbox"*)
1011             test_tag_array+=("!avf")
1012             test_tag_array+=("!vhost")
1013             ;;
1014         *)
1015             ;;
1016     esac
1017
1018     TAGS=()
1019
1020     # We will prefix with devicetest to prevent running other tests
1021     # (e.g. Functional).
1022     prefix="devicetestAND"
1023     if [[ "${TEST_CODE}" == "vpp-"* ]]; then
1024         # Automatic prefixing for VPP jobs to limit testing.
1025         prefix="${prefix}"
1026     fi
1027     for tag in "${test_tag_array[@]}"; do
1028         if [[ ${tag} == "!"* ]]; then
1029             # Exclude tags are not prefixed.
1030             TAGS+=("${tag}")
1031         else
1032             TAGS+=("${prefix}${tag}")
1033         fi
1034     done
1035 }
1036
1037 function untrap_and_unreserve_testbed () {
1038
1039     # Use this as a trap function to ensure testbed does not remain reserved.
1040     # Perhaps call directly before script exit, to free testbed for other jobs.
1041     # This function is smart enough to avoid multiple unreservations (so safe).
1042     # Topo cleanup is executed (call it best practice), ignoring failures.
1043     #
1044     # Hardcoded values:
1045     # - default message to die with if testbed might remain reserved.
1046     # Arguments:
1047     # - ${1} - Message to die with if unreservation fails. Default hardcoded.
1048     # Variables read (by inner function):
1049     # - WORKING_TOPOLOGY - Path to topology yaml file of the reserved testbed.
1050     # - PYTHON_SCRIPTS_DIR - Path to directory holding Python scripts.
1051     # Variables written:
1052     # - WORKING_TOPOLOGY - Set to empty string on successful unreservation.
1053     # Trap unregistered:
1054     # - EXIT - Failure to untrap is reported, but ignored otherwise.
1055     # Functions called:
1056     # - die - Print to stderr and exit.
1057     # - ansible_playbook - Perform an action using ansible, see ansible.sh
1058
1059     set -xo pipefail
1060     set +eu  # We do not want to exit early in a "teardown" function.
1061     trap - EXIT || echo "Trap deactivation failed, continuing anyway."
1062     wt="${WORKING_TOPOLOGY}"  # Just to avoid too long lines.
1063     if [[ -z "${wt-}" ]]; then
1064         set -eu
1065         warn "Testbed looks unreserved already. Trap removal failed before?"
1066     else
1067         ansible_playbook "cleanup" || true
1068         python3 "${PYTHON_SCRIPTS_DIR}/topo_reservation.py" -c -t "${wt}" || {
1069             die "${1:-FAILED TO UNRESERVE, FIX MANUALLY.}" 2
1070         }
1071         WORKING_TOPOLOGY=""
1072         set -eu
1073     fi
1074 }
1075
1076
1077 function warn () {
1078
1079     # Print the message to standard error.
1080     #
1081     # Arguments:
1082     # - ${@} - The text of the message.
1083
1084     set -exuo pipefail
1085
1086     echo "$@" >&2
1087 }