resources/libraries/bash/function/device.sh

   1 # Copyright (c) 2019 Cisco and/or its affiliates.
   2 # Licensed under the Apache License, Version 2.0 (the "License");
   3 # you may not use this file except in compliance with the License.
   4 # You may obtain a copy of the License at:
   5 #
   6 #     http://www.apache.org/licenses/LICENSE-2.0
   7 #
   8 # Unless required by applicable law or agreed to in writing, software
   9 # distributed under the License is distributed on an "AS IS" BASIS,
  10 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  11 # See the License for the specific language governing permissions and
  12 # limitations under the License.
  13
  14 set -exuo pipefail
  15
  16 # This library defines functions used by multiple entry scripts.
  17 # Deliberately not depending on common.sh to allow standalone usage.
  18 # Keep functions ordered alphabetically, please.
  19
  20 function activate_wrapper () {
  21
  22     # Acts as wrapper for activate docker topology.
  23     #
  24     # Variables read:
  25     # - ${1} - Node multiplicity of desired testbed.
  26     # - ${2} - Node flavor string, usually describing the processor.
  27     # - ${3} - CSIT-SUT-DCR image name and version.
  28
  29     set -exuo pipefail
  30
  31     enter_mutex || die
  32     get_available_interfaces "${1}" "${2}" || die
  33     start_topology_containers "${3}" || die
  34     bind_interfaces_to_containers || die
  35     set_env_variables || die
  36     print_env_variables || die
  37     exit_mutex || die
  38 }
  39
  40
  41 function bind_interfaces_to_containers () {
  42
  43     # Bind linux network interface to container and create symlink for PCI
  44     # address in container.
  45     #
  46     # Variables read:
  47     # - DCR_UUIDS - Docker Container UUIDs.
  48     # - DCR_CPIDS - Docker Container PIDs (namespaces).
  49     # - DUT1_NETDEVS - List of network devices allocated to DUT1 container.
  50     # - PCI_ADDR - PCI address of network device.
  51     # - TG_NETDEVS - List of network devices allocated to TG container.
  52     # Variables set:
  53     # - NETDEV - Linux network interface.
  54
  55     set -exuo pipefail
  56
  57     for NETDEV in "${TG_NETDEVS[@]}"; do
  58         get_pci_addr || die
  59         link_target=$(readlink -f /sys/bus/pci/devices/"${PCI_ADDR}") || {
  60             die "Reading symlink for PCI address failed!"
  61         }
  62         cmd="ln -s ${link_target} /sys/bus/pci/devices/${PCI_ADDR}"
  63
  64         sudo ip link set ${NETDEV} netns ${DCR_CPIDS[tg]} || {
  65             die "Moving interface to ${DCR_CPIDS[tg]} namespace failed!"
  66         }
  67         docker exec "${DCR_UUIDS[tg]}" ${cmd} || {
  68             die "Linking PCI address in container failed!"
  69         }
  70     done
  71     for NETDEV in "${DUT1_NETDEVS[@]}"; do
  72         get_pci_addr || die
  73         link_target=$(readlink -f /sys/bus/pci/devices/"${PCI_ADDR}") || {
  74             die "Reading symlink for PCI address failed!"
  75         }
  76         cmd="ln -s ${link_target} /sys/bus/pci/devices/${PCI_ADDR}"
  77
  78         sudo ip link set ${NETDEV} netns ${DCR_CPIDS[dut1]} || {
  79             die "Moving interface to ${DCR_CPIDS[dut1]} namespace failed!"
  80         }
  81         docker exec "${DCR_UUIDS[dut1]}" ${cmd} ||  {
  82             die "Linking PCI address in container failed!"
  83         }
  84     done
  85 }
  86
  87
  88 function bind_interfaces_to_driver () {
  89
  90     # Bind network interface specified by parameter to driver specified by
  91     # parameter.
  92     #
  93     # Variables read:
  94     # - ADDR - PCI address of network interface.
  95     # - DRIVER - Kernel driver.
  96
  97     set -exuo pipefail
  98
  99     pci_path="/sys/bus/pci/devices/${ADDR}"
 100     drv_path="/sys/bus/pci/drivers/${DRIVER}"
 101     vd=$(cat ${pci_path}/vendor ${pci_path}/device) || {
 102         die "Failed to retrieve interface details!"
 103     }
 104     set +e
 105     echo ${vd} | sudo tee ${drv_path}/new_id
 106     set -e
 107     echo ${ADDR} | sudo tee ${pci_path}/driver/unbind || {
 108         die "Failed to unbind interface ${ADDR}!"
 109     }
 110     echo ${ADDR} | sudo tee ${drv_path}/bind || {
 111         die "Failed to bind interface ${ADDR}!"
 112     }
 113 }
 114
 115
 116 function clean_environment () {
 117
 118     # Cleanup environment by removing topology containers and shared volumes
 119     # and binding interfaces back to original driver.
 120     #
 121     # Variables read:
 122     # - DCR_UUIDS - Docker Container UUIDs.
 123     # - DUT1_PCIDEVS - List of PCI addresses of devices of DUT1 container.
 124     # - TG_PCIDEVS - List of PCI addresses of devices of TG container.
 125     # Variables set:
 126     # - ADDR - PCI address of network interface.
 127     # - DRIVER - Kernel driver.
 128
 129     set -exuo pipefail
 130
 131     # Kill docker containers.
 132     docker rm --force "${DCR_UUIDS[@]}" || die "Cleanup containers failed!"
 133
 134     # Check if there are some leftover containers and remove all. Command will
 135     # not fail in case there are no containers to remove.
 136     docker rm --force $(docker ps -q --filter name=${DCR_UUIDS[dut1]}) || {
 137         warn "Failed to remove hanged containers or nothing to remove!"
 138     }
 139
 140     # Rebind interfaces back to kernel drivers.
 141     for ADDR in ${TG_PCIDEVS[@]}; do
 142         DRIVER="${TG_DRIVERS[0]}"
 143         bind_interfaces_to_driver || die
 144     done
 145     for ADDR in ${DUT1_PCIDEVS[@]}; do
 146         DRIVER="${DUT1_DRIVERS[0]}"
 147         bind_interfaces_to_driver || die
 148     done
 149 }
 150
 151
 152 function clean_environment_on_exit () {
 153
 154     # Cleanup environment by removing topology containers and binding
 155     # interfaces back to original driver only if exit code is not 0.
 156     # This function acts as workaround as 'set -eu' does not trigger ERR trap.
 157
 158     set -exuo pipefail
 159
 160     if [ $? -ne 0 ]; then
 161         clean_environment || die
 162     fi
 163 }
 164
 165
 166 function deactivate_wrapper () {
 167
 168     # Acts as wrapper for deactivate docker topology.
 169     #
 170     # Variables read:
 171     # - ${@} - CSIT environment variables.
 172
 173     set -exuo pipefail
 174
 175     enter_mutex || die
 176     read_env_variables "${@}" || die
 177     clean_environment || die
 178     exit_mutex || die
 179 }
 180
 181
 182 function die () {
 183
 184     # Print the message to standard error end exit with error code specified
 185     # by the second argument.
 186     #
 187     # Duplicate of common.sh function, as this file is also used standalone.
 188     #
 189     # Hardcoded values:
 190     # - The default error message.
 191     # Arguments:
 192     # - ${1} - The whole error message, be sure to quote. Optional
 193     # - ${2} - the code to exit with, default: 1.
 194
 195     set -x
 196     set +eu
 197     warn "${1:-Unspecified run-time error occurred!}"
 198     exit "${2:-1}"
 199 }
 200
 201
 202 function enter_mutex () {
 203
 204     # Enter mutual exclusion for protecting execution from starvation and
 205     # deadlock.
 206
 207     set -exuo pipefail
 208
 209     mutex_timeout=3600
 210     mutex_file="/tmp/mutex_file"
 211
 212     # Create mutex.
 213     exec {lock_fd}>${mutex_file} || {
 214         die "Mutex enter failed!"
 215     }
 216     flock --timeout "${mutex_timeout}" "${lock_fd}" || {
 217         die "Calling flock() failed!"
 218     }
 219     # ----------------------
 220     # Enter mutex succeeded.
 221     warn "Mutex enter succeeded for PID $$."
 222 }
 223
 224
 225 function exit_mutex () {
 226
 227     # Exit mutual exclusion.
 228
 229     set -exuo pipefail
 230
 231     # ---------------------
 232     # Remove mutex so we are not blocking others anymore.
 233     flock -u "${lock_fd}" || {
 234         die "Mutex destroy failed!"
 235     }
 236     warn "Mutex leave succeeded for PID $$."
 237 }
 238
 239
 240 function get_available_interfaces () {
 241
 242     # Find and get available Virtual functions.
 243     #
 244     # Arguments:
 245     # - ${1} - Nodeness, as set by common.sh get_test_code.
 246     # - ${2} - Flavor, as set by common.sh get_test_code.
 247     # Variables set:
 248     # - DUT1_NETDEVS - List of network devices allocated to DUT1 container.
 249     # - DUT1_PCIDEVS - List of PCI addresses allocated to DUT1 container.
 250     # - DUT1_NETMACS - List of MAC addresses allocated to DUT1 container.
 251     # - DUT1_DRIVERS - List of interface drivers to DUT1 container.
 252     # - TG_NETDEVS - List of network devices allocated to TG container.
 253     # - TG_PCIDEVS - List of PCI addresses allocated to TG container.
 254     # - TG_NETMACS - List of MAC addresses allocated to TG container.
 255     # - TG_DRIVERS - List of interface drivers to TG container.
 256
 257     set -exuo pipefail
 258
 259     # Following code is specifing VFs ID based on nodeness and flavor.
 260     # As there is great variability in hardware configuration outside LF,
 261     # from bootstrap architecure point of view these are considered as flavors.
 262     # Anyone can override flavor for its own machine and add condition here.
 263     # See http://pci-ids.ucw.cz/v2.2/pci.ids for more info.
 264     case_text="${1}_${2}"
 265     case "${case_text}" in
 266         "1n_skx")
 267             # Add Intel Corporation XL710/X710 Virtual Function to the
 268             # whitelist.
 269             pci_id="0x154c"
 270             tg_netdev=(enp24)
 271             dut1_netdev=(enp59)
 272             ;;
 273        "1n_tx2")
 274             # Add Intel Corporation XL710/X710 Virtual Function to the
 275             # whitelist.
 276             pci_id="0x154c"
 277             tg_netdev=(enp5s2 enp5s3 enp5s4 enp5s5
 278                        enp5s6 enp5s7 enp5s8 enp5s9)
 279             tg_netdev+=(enp8s2 enp8s3 enp8s4 enp8s5
 280                         enp8s6 enp8s7 enp8s8 enp8s9)
 281             tg_netdev+=(enp8s10 enp8s11 enp8s12 enp8s13
 282                         enp8s14 enp8s15 enp8s16 enp8s17)
 283             dut1_netdev=(enp133s2 enp133s3 enp133s4 enp133s5
 284                          enp133s6 enp133s7 enp133s8 enp133s9)
 285             dut1_netdev+=(enp133s10 enp133s11 enp133s12 enp133s13
 286                           enp133s14 enp133s15 enp133s16 enp133s17)
 287             dut1_netdev+=(enp5s10 enp5s11 enp5s12 enp5s13
 288                           enp5s14 enp5s15 enp5s16 enp5s17)
 289             ;;
 290        "1n_vbox")
 291             # Add Intel Corporation 82545EM Gigabit Ethernet Controller to the
 292             # whitelist.
 293             pci_id="0x100f"
 294             tg_netdev=(enpTGa enpTGb)
 295             dut1_netdev=(enpSUTa enpSUTb)
 296             ;;
 297         *)
 298             die "Unknown specification: ${case_text}!"
 299     esac
 300
 301     device_count=2
 302
 303     # TG side of connections.
 304     TG_NETDEVS=()
 305     TG_PCIDEVS=()
 306     TG_NETMACS=()
 307     TG_DRIVERS=()
 308     # DUT1 side of connections.
 309     DUT1_NETDEVS=()
 310     DUT1_PCIDEVS=()
 311     DUT1_NETMACS=()
 312     DUT1_DRIVERS=()
 313
 314     # Find the first ${device_count} number of available TG Linux network
 315     # VF device names. Only allowed VF PCI IDs are filtered.
 316     for netdev in ${tg_netdev[@]}
 317     do
 318         for netdev_path in $(grep -l "${pci_id}" \
 319                              /sys/class/net/${netdev}*/device/device \
 320                              2> /dev/null)
 321         do
 322             if [[ ${#TG_NETDEVS[@]} -lt ${device_count} ]]; then
 323                 tg_netdev_name=$(dirname ${netdev_path})
 324                 tg_netdev_name=$(dirname ${tg_netdev_name})
 325                 TG_NETDEVS+=($(basename ${tg_netdev_name}))
 326             else
 327                 break
 328             fi
 329         done
 330         if [[ ${#TG_NETDEVS[@]} -eq ${device_count} ]]; then
 331             break
 332         fi
 333     done
 334
 335     i=0
 336     for netdev in "${TG_NETDEVS[@]}"; do
 337         # Find the index of selected tg netdev among tg_netdevs
 338         # e.g. enp8s5f7 is a vf of netdev enp8s5 with index 11
 339         # and the corresponding dut1 netdev is enp133s13.
 340         while [[ "${netdev}" != "${tg_netdev[$i]}"* ]]; do
 341             ((i++))
 342         done
 343         # Rename tg netdev to dut1 netdev
 344         # e.g. enp8s5f7 -> enp133s13f7
 345         DUT1_NETDEVS+=(${netdev/${tg_netdev[$i]}/${dut1_netdev[$i]}})
 346         # Don't need to reset i, all netdevs are sorted.
 347     done
 348
 349     for NETDEV in "${TG_NETDEVS[@]}"; do
 350         get_pci_addr
 351         get_mac_addr
 352         get_krn_driver
 353         TG_PCIDEVS+=(${PCI_ADDR})
 354         TG_NETMACS+=(${MAC_ADDR})
 355         TG_DRIVERS+=(${KRN_DRIVER})
 356     done
 357     for NETDEV in "${DUT1_NETDEVS[@]}"; do
 358         get_pci_addr
 359         get_mac_addr
 360         get_krn_driver
 361         DUT1_PCIDEVS+=(${PCI_ADDR})
 362         DUT1_NETMACS+=(${MAC_ADDR})
 363         DUT1_DRIVERS+=(${KRN_DRIVER})
 364     done
 365
 366     # We need at least two interfaces for TG/DUT1 for building topology.
 367     if [ "${#TG_NETDEVS[@]}" -ne 2 ] || [ "${#DUT1_NETDEVS[@]}" -ne 2 ]; then
 368         die "Not enough linux network interfaces found!"
 369     fi
 370     if [ "${#TG_PCIDEVS[@]}" -ne 2 ] || [ "${#DUT1_PCIDEVS[@]}" -ne 2 ]; then
 371         die "Not enough pci interfaces found!"
 372     fi
 373 }
 374
 375
 376 function get_krn_driver () {
 377
 378     # Get kernel driver from linux network device name.
 379     #
 380     # Variables read:
 381     # - PCI_ADDR - PCI address of network device.
 382     # Variables set:
 383     # - KRN_DRIVER - Kernel driver of network device.
 384
 385     set -exuo pipefail
 386
 387     pci_path="/sys/bus/pci/devices/${PCI_ADDR}"
 388     KRN_DRIVER="$(basename $(readlink -f ${pci_path}/driver))" || {
 389         die "Failed to get kernel driver of PCI interface!"
 390     }
 391 }
 392
 393
 394 function get_mac_addr () {
 395
 396     # Get MAC address from linux network device name.
 397     #
 398     # Variables read:
 399     # - NETDEV - Linux network device name.
 400     # Variables set:
 401     # - MAC_ADDR - MAC address of network device.
 402
 403     set -exuo pipefail
 404
 405     if [ -d /sys/class/net/${NETDEV}/device ]; then
 406         MAC_ADDR="$(</sys/class/net/${NETDEV}/address)" || {
 407             die "Failed to get MAC address of linux network interface!"
 408         }
 409     fi
 410 }
 411
 412
 413 function get_pci_addr () {
 414
 415     # Get PCI address in <domain>:<bus:<device>.<func> format from linux network
 416     # device name.
 417     #
 418     # Variables read:
 419     # - NETDEV - Linux network device name.
 420     # Variables set:
 421     # - PCI_ADDR - PCI address of network device.
 422
 423     set -exuo pipefail
 424
 425     if [ -d /sys/class/net/${NETDEV}/device ]; then
 426         PCI_ADDR=$(basename $(readlink /sys/class/net/${NETDEV}/device)) || {
 427             die "Failed to get PCI address of linux network interface!"
 428         }
 429     fi
 430     if [ ! -d /sys/bus/pci/devices/${PCI_ADDR} ]; then
 431         die "PCI device ${NETDEV} doesn't exist!"
 432     fi
 433 }
 434
 435
 436 function installed () {
 437
 438     # Check if the given utility is installed. Fail if not installed.
 439     #
 440     # Duplicate of common.sh function, as this file is also used standalone.
 441     #
 442     # Arguments:
 443     # - ${1} - Utility to check.
 444     # Returns:
 445     # - 0 - If command is installed.
 446     # - 1 - If command is not installed.
 447
 448     set -exuo pipefail
 449
 450     command -v "${1}"
 451 }
 452
 453
 454 function print_env_variables () {
 455
 456     # Get environment variables prefixed by CSIT_.
 457
 458     set -exuo pipefail
 459
 460     env | grep CSIT_ || true
 461 }
 462
 463
 464 function read_env_variables () {
 465
 466     # Read environment variables from parameters.
 467     #
 468     # Arguments:
 469     # - ${@} - Variables passed as an argument.
 470     # Variables read, set or exported: Multiple,
 471     # see the code for the current list.
 472     # TODO: Do we need to list them and their meanings?
 473
 474     set -exuo pipefail
 475
 476     for param in "$@"; do
 477         export "${param}"
 478     done
 479     declare -gA DCR_UUIDS
 480     DCR_UUIDS+=([tg]="${CSIT_TG_UUID}")
 481     DCR_UUIDS+=([dut1]="${CSIT_DUT1_UUID}")
 482     TG_PCIDEVS=("${CSIT_TG_INTERFACES_PORT1_PCI}")
 483     TG_DRIVERS=("${CSIT_TG_INTERFACES_PORT1_DRV}")
 484     TG_PCIDEVS+=("${CSIT_TG_INTERFACES_PORT2_PCI}")
 485     TG_DRIVERS+=("${CSIT_TG_INTERFACES_PORT2_DRV}")
 486     DUT1_PCIDEVS=("${CSIT_DUT1_INTERFACES_PORT1_PCI}")
 487     DUT1_DRIVERS=("${CSIT_DUT1_INTERFACES_PORT1_DRV}")
 488     DUT1_PCIDEVS+=("${CSIT_DUT1_INTERFACES_PORT2_PCI}")
 489     DUT1_DRIVERS+=("${CSIT_DUT1_INTERFACES_PORT2_DRV}")
 490 }
 491
 492
 493 function set_env_variables () {
 494
 495     # Set environment variables.
 496     #
 497     # Variables read:
 498     # - DCR_UUIDS - Docker Container UUIDs.
 499     # - DCR_PORTS - Docker Container's SSH ports.
 500     # - DUT1_NETMACS - List of network devices MAC addresses of DUT1 container.
 501     # - DUT1_PCIDEVS - List of PCI addresses of devices of DUT1 container.
 502     # - DUT1_DRIVERS - List of interface drivers to DUT1 container.
 503     # - TG_NETMACS - List of network devices MAC addresses of TG container.
 504     # - TG_PCIDEVS - List of PCI addresses of devices of TG container.
 505     # - TG_DRIVERS - List of interface drivers to TG container.
 506     # Variables set: TODO.
 507
 508     set -exuo pipefail
 509
 510     set -a
 511     CSIT_TG_HOST="$(hostname --all-ip-addresses | awk '{print $1}')" || {
 512         die "Reading hostname IP address failed!"
 513     }
 514     CSIT_TG_PORT="${DCR_PORTS[tg]#*:}"
 515     CSIT_TG_UUID="${DCR_UUIDS[tg]}"
 516     CSIT_TG_ARCH="$(uname -i)" || {
 517         die "Reading machine architecture failed!"
 518     }
 519     CSIT_DUT1_HOST="$(hostname --all-ip-addresses | awk '{print $1}')" || {
 520         die "Reading hostname IP address failed!"
 521     }
 522     CSIT_DUT1_PORT="${DCR_PORTS[dut1]#*:}"
 523     CSIT_DUT1_UUID="${DCR_UUIDS[dut1]}"
 524     CSIT_DUT1_ARCH="$(uname -i)" || {
 525         die "Reading machine architecture failed!"
 526     }
 527     CSIT_TG_INTERFACES_PORT1_MAC="${TG_NETMACS[0]}"
 528     CSIT_TG_INTERFACES_PORT1_PCI="${TG_PCIDEVS[0]}"
 529     CSIT_TG_INTERFACES_PORT1_DRV="${TG_DRIVERS[0]}"
 530     CSIT_TG_INTERFACES_PORT2_MAC="${TG_NETMACS[1]}"
 531     CSIT_TG_INTERFACES_PORT2_PCI="${TG_PCIDEVS[1]}"
 532     CSIT_TG_INTERFACES_PORT2_DRV="${TG_DRIVERS[1]}"
 533     CSIT_DUT1_INTERFACES_PORT1_MAC="${DUT1_NETMACS[0]}"
 534     CSIT_DUT1_INTERFACES_PORT1_PCI="${DUT1_PCIDEVS[0]}"
 535     CSIT_DUT1_INTERFACES_PORT1_DRV="${DUT1_DRIVERS[0]}"
 536     CSIT_DUT1_INTERFACES_PORT2_MAC="${DUT1_NETMACS[1]}"
 537     CSIT_DUT1_INTERFACES_PORT2_PCI="${DUT1_PCIDEVS[1]}"
 538     CSIT_DUT1_INTERFACES_PORT2_DRV="${DUT1_DRIVERS[1]}"
 539     set +a
 540 }
 541
 542
 543 function start_topology_containers () {
 544
 545     # Starts csit-sut-dcr docker containers for TG/DUT1.
 546     #
 547     # Variables read:
 548     # - CSIT_DIR - Path to existing root of local CSIT git repository.
 549     # Variables set:
 550     # - DCR_UUIDS - Docker Container UUIDs.
 551     # - DCR_PORTS - Docker Container SSH TCP ports.
 552     # - DCR_CPIDS - Docker Container PIDs (namespaces).
 553
 554     set -exuo pipefail
 555
 556     if ! installed docker; then
 557         die "Docker not present. Please install before continue!"
 558     fi
 559
 560     # If the IMAGE is not already loaded then docker run will pull the IMAGE,
 561     # and all image dependencies, before it starts the container.
 562     dcr_image="${1}"
 563     # Run the container in the background and print the new container ID.
 564     dcr_stc_params="--detach=true "
 565     # Give extended privileges to this container. A "privileged" container is
 566     # given access to all devices and able to run nested containers.
 567     dcr_stc_params+="--privileged "
 568     # Publish all exposed ports to random ports on the host interfaces.
 569     dcr_stc_params+="--publish-all "
 570     # Automatically remove the container when it exits.
 571     dcr_stc_params+="--rm "
 572     # Size of /dev/shm.
 573     dcr_stc_params+="--shm-size 512M "
 574     # Override access to PCI bus by attaching a filesystem mount to the
 575     # container.
 576     dcr_stc_params+="--mount type=tmpfs,destination=/sys/bus/pci/devices "
 577     # Mount vfio to be able to bind to see binded interfaces. We cannot use
 578     # --device=/dev/vfio as this does not see newly binded interfaces.
 579     dcr_stc_params+="--volume /dev/vfio:/dev/vfio "
 580     # Mount nested_vm image to be able to run VM tests.
 581     dcr_stc_params+="--volume /var/lib/vm/vhost-nested.img:/var/lib/vm/vhost-nested.img "
 582     # Mount docker.sock to be able to use docker deamon of the host.
 583     dcr_stc_params+="--volume /var/run/docker.sock:/var/run/docker.sock "
 584     # Mount /opt/boot/ where VM kernel and initrd are located.
 585     dcr_stc_params+="--volume /opt/boot/:/opt/boot/ "
 586     # Mount host hugepages for VMs.
 587     dcr_stc_params+="--volume /dev/hugepages/:/dev/hugepages/ "
 588
 589     # Docker Container UUIDs.
 590     declare -gA DCR_UUIDS
 591     # Docker Container SSH TCP ports.
 592     declare -gA DCR_PORTS
 593     # Docker Container PIDs (namespaces).
 594     declare -gA DCR_CPIDS
 595
 596     # Run TG and DUT1. As initial version we do support only 2-node.
 597     params=(${dcr_stc_params} --name csit-tg-$(uuidgen) ${dcr_image})
 598     DCR_UUIDS+=([tg]=$(docker run "${params[@]}")) || {
 599         die "Failed to start TG docker container!"
 600     }
 601     params=(${dcr_stc_params} --name csit-dut1-$(uuidgen) ${dcr_image})
 602     DCR_UUIDS+=([dut1]=$(docker run "${params[@]}")) || {
 603         die "Failed to start DUT1 docker container!"
 604     }
 605
 606     trap 'clean_environment_on_exit' EXIT || {
 607         die "Trap attempt failed, please cleanup manually. Aborting!"
 608     }
 609
 610     # Get Containers TCP ports.
 611     params=(${DCR_UUIDS[tg]})
 612     DCR_PORTS+=([tg]=$(docker port "${params[@]}")) || {
 613         die "Failed to get port of TG docker container!"
 614     }
 615     params=(${DCR_UUIDS[dut1]})
 616     DCR_PORTS+=([dut1]=$(docker port "${params[@]}")) || {
 617         die "Failed to get port of DUT1 docker container!"
 618     }
 619
 620     # Get Containers PIDs.
 621     params=(--format="{{ .State.Pid }}" ${DCR_UUIDS[tg]})
 622     DCR_CPIDS+=([tg]=$(docker inspect "${params[@]}")) || {
 623         die "Failed to get PID of TG docker container!"
 624     }
 625     params=(--format="{{ .State.Pid }}" ${DCR_UUIDS[dut1]})
 626     DCR_CPIDS+=([dut1]=$(docker inspect "${params[@]}")) || {
 627         die "Failed to get PID of DUT1 docker container!"
 628     }
 629 }
 630
 631 function warn () {
 632     # Print the message to standard error.
 633     #
 634     # Duplicate of common.sh function, as this file is also used standalone.
 635     #
 636     # Arguments:
 637     # - ${@} - The text of the message.
 638
 639     set -exuo pipefail
 640
 641     echo "$@" >&2
 642 }