builder: if new ansible dir doesn't exist, use old one.

Change-Id: I539fc3981b46a285bf6934d2dd13c8c660fc0e8a
Signed-off-by: Dave Wallace <dwallacelf@gmail.com>

Merge "Use fdio-infra-publish for nomad executor based jobs"

Fix broken docker install for debian-9 executor.

Signed-off-by: Dave Wallace <dwallacelf@gmail.com>
Change-Id: I4766dfec19de63ba6ae7dbd86ed70f696a10f117

Use fdio-infra-publish for nomad executor based jobs

- Separate post build executor info dump into its
  own script file.
- Remove backup_upload_archives.sh from
  fdio-infra-shiplogs which is now only used for
  openstack executors.
- Add setup_executor_env.sh to run first for all
  jobs which run on nomad/dockerhub images.

Change-Id: I564201b8c578e6541152e6af74537d1d007ba1a7
Signed-off-by: Dave Wallace <dwallacelf@gmail.com>

Scripts: Change CSIT ansible path

Signed-off-by: pmikus <pmikus@cisco.com>
Change-Id: I09ad51af52e9246ab4491ffd7ed03ab5c8a09268

disable ASAN in the debug builds

The move to unix sockets has broken ASAN fairly thoroughly, so disable it

Change-Id: Icf3822c5927309f8574865008173a66019a3ed55
Signed-off-by: Andrew Yourtchenko <ayourtch@gmail.com>

Merge "Fix hicn-docs job to use correct label."

Fix hicn-docs job to use correct label.

- Also add gerrit-parameter & branch-refspec for
  testing in jenkins sandbox (same pattern as vpp.yaml).

Signed-off-by: Dave Wallace <dwallacelf@gmail.com>
Change-Id: Ia48c7e484db78f35dffe93e78c418736c686b356

Modify OpenStack templates

Switching the OpenStack templates used by CI mgmt jobs back to V2
flavors due to problems with the V3 flavors in production. Modifying the
INFO.yaml job to use a template with a V3 flavor to continue
troubleshooting the issue in production because this issue can't be
reproduced on the sandbox.

Signed-off-by: Vanessa Rene Valderrama <vvalderrama@linuxfoundation.org>
Change-Id: Ibc8e744e3201538122965a70ab0f23ca3fe66371

Modify executor flavors

Modifying the executors to use the new V3 flavors which will improve
performance and are more cost efficient.

Tested in production using the centos7-v3-4c-4g template which can now
be removed.

Signed-off-by: Vanessa Rene Valderrama <vvalderrama@linuxfoundation.org>
Change-Id: I92c25c86b368546cf0ef8db05c2ed832a99b82c1

Add additional V3 template

Adding a centos7-v3-4c-4g to test V3 flavors. When testing is
scucessful, the centos7-builder-4c-4g will be modified to use the V3
builder and this additional template will be removed.

Signed-off-by: Vanessa Rene Valderrama <vvalderrama@linuxfoundation.org>
Change-Id: Ic1e02b7c5c550a7c15c8f7f06844c510c43eb77b

Merge "Include container id in console log."

Include container id in console log.

- Output executor runtime attributes in
  post_build_deploy_archives.sh for the case
  when a job fails prior to setup_executor_env.sh

Change-Id: Icb54c039db21a621d44808221a3100c509583090
Signed-off-by: Dave Wallace <dwallacelf@gmail.com>

Merge "bump CPU and memory in ubuntu2004 nomad jobs from 16000 to 20000"

bump CPU and memory in ubuntu2004 nomad jobs from 16000 to 20000

Some jobs fail due to OOMKILLER, the theory is that
the python 3.8.5 takes more memory than 3.7.3, which runs
on debian10 where no such failures are seen.

Change-Id: Ie263055b0292f4afab3a907a107479a3f8fb962b
Signed-off-by: Andrew Yourtchenko <ayourtch@gmail.com>

Enable CCACHE in builder images / labels

- Remove aarch64 labels which do not have any executor docker images.

Change-Id: I1f46929b1c8393aa7a25bad215a95b85f2e00bd9
Signed-off-by: Dave Wallace <dwallacelf@gmail.com>

Remove temporary DNS fix.

- Use search domain in /etc/resolv.conf as hostname.

Change-Id: Iaf156a2096a1b60f6222fa2d7f99101d72e2572c
Signed-off-by: Dave Wallace <dwallacelf@gmail.com>

Merge "Force DNS nameserver in CI jobs to use local consul server."

Force DNS nameserver in CI jobs to use local consul server.

Signed-off-by: Dave Wallace <dwallacelf@gmail.com>
Change-Id: I76b7f4668ad0bfb11e9045de2d7f8e150132083a

Update node configuration of hicn-docs.yaml.

Signed-off-by: Mauro Sardara <msardara@cisco.com>
Change-Id: I3c355a03a6609204a7637294ef133a9eda6eca50
Signed-off-by: Mauro Sardara <msardara@cisco.com>

Merge "Use Ubuntu-20.04 for vpp-csit-* job executor images"

Use Ubuntu-20.04 for vpp-csit-* job executor images

- refactor vpp-csit job names to conform to the vpp
  job nomenclature
- add ubuntu-20.04 for CSIT image builder install
  requirements
- fix executor class verification
- add option to build_executor_docker_image.sh to
  dump Dockerfile without building image(s)
- refactor Dockerfile generation to support
  executor classes
- add support for csit_shim and csit_dut docker
  image generation from csit ansible repo
- refactor docker installation
- refactor locale support
- remove old static csit Dockerfiles
- remove unused jenkins labels
- use csit-builder-{os}-prod-{executor_arch} label for
  vpp csit device test
- run tox in csit_pip_cache() to include pylint
  requirements in python cache to avoid downloading
  from pypi during job execution.

Change-Id: I5f4ffc587c6b8c43cb874dfd8c615ce56d3b97a4
Signed-off-by: Dave Wallace <dwallacelf@gmail.com>

CSIT: Convert jobs to ubuntu2004 part V

Signed-off-by: pmikus <pmikus@cisco.com>
Change-Id: Ibf5202e13a008ebc7480dfcfc1e0705d0552705b

Merge "Modify ci-management flavor"

Modify ci-management flavor

Modifying the ci-mgmt flavor to use v2 while we figure out what the
issue is with the v3 flavors.

Noticed the merge job is using the wrong builder so I switched it to the
4c-4g builder.

Signed-off-by: Vanessa Rene Valderrama <vvalderrama@linuxfoundation.org>
Change-Id: I23c5e9ab21711d8545fdbcd12baeb1cfc55a3662

CSIT: Convert jobs to ubuntu2004 part.IV

Signed-off-by: pmikus <pmikus@cisco.com>
Change-Id: I36256126ebc75398d20abd366889eb31ed7a9643

CSIT: Prepare Ubuntu2004 vpp device templates

+ Nomad templates

Signed-off-by: pmikus <pmikus@cisco.com>
Change-Id: I4f1a0d2e7b44ab13ec6822116fee27053532c7ee

Merge "Update sandbox bash functions"

Merge "CSIT: Convert jobs to ubuntu2004 part.II"

CSIT: Convert jobs to ubuntu2004 part.II

Signed-off-by: pmikus <pmikus@cisco.com>
Change-Id: I7417c6c14eaa7a9dfd09b972ede4c70aa4ff93f0

Modify executor flavors

Modifying the executors to use the new V3 flavors which will improve
performance and are more cost efficient.

Signed-off-by: Vanessa Rene Valderrama <vvalderrama@linuxfoundation.org>
Change-Id: I74bdda1e2be2a42e0927e8bd4243dd2b495e3cef

Upgrade common-packer to v0.7.6

Signed-off-by: Vanessa Rene Valderrama <vvalderrama@linuxfoundation.org>
Change-Id: I8c358ae6a244db7c22adbb99d269f9c5748cb74f

Merge "CSIT: Convert jobs to ubuntu2004 part.IV"

Merge "CSIT: Convert jobs to ubuntu2004 part.III"

Merge "Upgrade common-packer to v0.7.5"

CSIT: Convert jobs to ubuntu2004 part.IV

Signed-off-by: pmikus <pmikus@cisco.com>
Change-Id: I69e2393dafe129fa9effd6ce10f6b1ac34616860

Update sandbox bash functions

- Add '-n' option to jjsb-test() and
  jjsb-update() to limit output to
  the most useful information of each
  function -- job names and number of
  jobs respectively.

Signed-off-by: Dave Wallace <dwallacelf@gmail.com>
Change-Id: I47722c2238ad5bbdc9e289885303fe68239503f9

Merge "Display DNS config in console logs."

CSIT: Convert jobs to ubuntu2004 part.III

Signed-off-by: pmikus <pmikus@cisco.com>
Change-Id: I4188b435046dbaf6a8a8e5021e50db3c90d8ef79

CSIT: Convert jobs to ubuntu2004 part.I

Signed-off-by: pmikus <pmikus@cisco.com>
Change-Id: I5423091a9a45be430be8509786e27c6fea775b60

Display DNS config in console logs.

Signed-off-by: Dave Wallace <dwallacelf@gmail.com>
Change-Id: I2f7b549a903d3cd572a4711901ce1d138e922aa5

Upgrade common-packer to v0.7.5

Signed-off-by: Vanessa Rene Valderrama <vvalderrama@linuxfoundation.org>
Change-Id: I14b558a42507b9c04bd6c2f492da86d6eee1575a

Move VPP docs master-ubuntu2004-x86_64 jobs to production.

Signed-off-by: Dave Wallace <dwallacelf@gmail.com>
Change-Id: I7b8792d0ae23ca591fd0aa39c2625c428c369300

Merge "vpp: print "git diff" before running API checkstyle"

vpp: print "git diff" before running API checkstyle

API checkstyle is unhappy if the repo is not clean.

An example:
https://jenkins.fd.io/job/vpp-checkstyle-verify-master-ubuntu2004-x86_64/598/console

Output the changes to make diagnostics easier.

Change-Id: I3fe1dfd0adde47e2140151687a6ab31885fc851c
Signed-off-by: Andrew Yourtchenko <ayourtch@gmail.com>

Fix installation of lftools python packages in docker images.

- fix build script to remove $DOCKER_BUILD_DIR before
  copying ci-management repo into it.

- remove unnecessary jenkins account configuration.

Change-Id: I6267b13efad1426194ea87f63c7284bed4b988a1
Signed-off-by: Dave Wallace <dwallacelf@gmail.com>

Merge "Change 'make test' os on VPP/master to ubuntu-20.04"

Merge "CSIT: Set daily jobs cadence to normal"

Change 'make test' os on VPP/master to ubuntu-20.04

- remove beta job templates which should have been
  done in a previous gerrit change.

Change-Id: Id27bc54b86fa0affaaae40e97149ed49d760bdc3
Signed-off-by: Dave Wallace <dwallacelf@gmail.com>

Merge "Move ubuntu2004-aarch64 jobs into production"

CSIT: Set daily jobs cadence to normal

Change-Id: Ie575ccebc2a5b4bce91f740f9785499985cae56d
Signed-off-by: Tibor Frank <tifrank@cisco.com>

Merge "Delete remains of DMM jobs"

vpp: enable multi-worker make test on Debian10

This patch enables the multi-worker make test
on the branches that support it, as a voting job directly,
to capture the working tests and avoid the new non-working
multiworker testcases.

Change-Id: Ibeedd8f8aa2851c022b045d37505bb75bf460de8
Signed-off-by: Andrew Yourtchenko <ayourtch@gmail.com>

Move ubuntu2004-aarch64 jobs into production

- move ubuntu2004-aarch64 merge/verify jobs from
  beta into production on master as required for
  https://gerrit.fd.io/r/c/vpp/+/30734

- remove beta job definitions

- refactor os job add/remove from separate
  project definitions to exclude list in
  vpp-<arch> project definitions

- handle errors when parsing yaml files in
  dbld_csit_find_ansible_packages.py

Change-Id: Ife651a6b85c6c3872255f15bd87ede499ee78b22
Signed-off-by: Dave Wallace <dwallacelf@gmail.com>

Merge "Complete move of non-voting VPP jobs to periodic"

Merge "vpp build.sh: move from "make verify" to "make pkg-verify" + "make test""

Complete move of non-voting VPP jobs to periodic

 - Original attempt to convert non-voting jobs [0] failed when
   applied while non-voting jobs were executing and was reverted.
   This patch completes the 2 part merging of [0] which disables
   non-voting job triggers.

  [0] https://gerrit.fd.io/r/c/ci-management/+/31105

 - clean up branch-refspec usage across all projects/templates

Change-Id: I17851b141f1b70893685318a503f45d45e70df88
Signed-off-by: Dave Wallace <dwallacelf@gmail.com>

Correct OS typo in cicn jobs.

Signed-off-by: Mauro Sardara <msardara@cisco.com>
Change-Id: Icf65c06fe519dd7f7c81cfaf3d09c3d9dc6dcd4b

Merge "Add centos8 jobs to hicn and cicn."

Add centos8 jobs to hicn and cicn.

Signed-off-by: Mauro Sardara <msardara@cisco.com>
Change-Id: I383542a94b29044b4191ea0db205c9d5574c6097
Signed-off-by: Mauro Sardara <msardara@cisco.com>

vpp build.sh: move from "make verify" to "make pkg-verify" + "make test"

Problem: The VPP CI merge and verify jobs use the "make verify", which has
special handling depending on the OS. So, to make meaningful changes
like running the test suite on more platforms, one would need
to make the changes in two places, which is error-prone and slow.

Solution: move the logic on which OS to run the "make test" into
the ci-management scripts, and stop using "make verify"

Change-Id: Icc7daa9364198f455ed8ca5bae5e5da5f15baf48
Signed-off-by: Andrew Yourtchenko <ayourtch@gmail.com>

Disable non-voting VPP jobs preparing to make them periodic

- Original attempt to convert non-voting jobs [0] failed when
  applied while non-voting jobs were executing and was reverted.
  This patch is a refactoring of [0] which disables non-voting job
  triggers.  After it has been merged and all non-voting jobs
  have completed and the trigger disabling verified, another
  patch will be pushed which enables commented out triggers.

  [0] https://gerrit.fd.io/r/c/ci-management/+/31105

Signed-off-by: Dave Wallace <dwallacelf@gmail.com>
Change-Id: I4cc2de88e21f6ed3e2b7bb43494c760fcd27519c

Add the core file decoding+cleanup for the verify jobs

- Add better failure reporting and dry run handling
  for build scripts.

Change-Id: Ia19bae15ff4880b07094f4f665e5e00030eda27c
Signed-off-by: Andrew Yourtchenko <ayourtch@gmail.com>
Signed-off-by: Dave Wallace <dwallacelf@gmail.com>

Merge "Revert "Move non-voting VPP jobs to periodic""

Revert "Move non-voting VPP jobs to periodic"

This reverts commit 0789c02cc44263cc8555c8629a8894c6ec6f50a4.

Reason for revert: vpp-debug-verify jobs are still being triggered per-patch and are voting :(

Change-Id: I71cce767e680e17944c640b70ccab610e20422e0
Signed-off-by: Dave Wallace <dwallacelf@gmail.com>

Merge "Move non-voting VPP jobs to periodic"

Move non-voting VPP jobs to periodic

- run master jobs hourly & 2009 jobs daily
- also clean up some comments & nomenclature

Change-Id: Idea66f9621444917f5a6ecb617375c7ef2494487
Signed-off-by: Dave Wallace <dwallacelf@gmail.com>

Remove JVPP jobs

The JVPP project has been archived. This patch is to remove existing
jobs.

Signed-off-by: Vanessa Rene Valderrama <vvalderrama@linuxfoundation.org>
Change-Id: I6419cae90d3d5eaf49726318ad4c0d96498c71c4

Promote vpp-*-centos8-aarch64 jobs to production

- Update lftools install in the docker image builder
  to use the same options as global-jjb lf-activate-venv
  to pre-populate python cache, otherwise it takes
  15+ minutes for lf-activate-venv to complete.

Change-Id: I8c1124faadfbf65228c31418ed02b5967e7fa82c
Signed-off-by: Dave Wallace <dwallacelf@gmail.com>

Merge "Add packages to docker image builder"

Merge "backup upload archives: avoid gzip compressing the files if they are already compressed"

Add packages to docker image builder

- sshpass for CSIT
- gdb for VPP core decode
- Add comment to end of builder script
  to detect completion in build log.

Signed-off-by: Dave Wallace <dwallacelf@gmail.com>
Change-Id: I6ddbc066f07514dbd76f02104bc04c3bc70da163

Deprecate VPP stable/2005

Signed-off-by: Dave Wallace <dwallacelf@gmail.com>
Change-Id: Ifba4ab4270d8eddf9713fa817f00b179247fd09f

backup upload archives: avoid gzip compressing the files
if they are already compressed

Signed-off-by: Andrew Yourtchenko <ayourtch@gmail.com>
Change-Id: Ie0ce0a303f3d681b8aae697c1b358534e68b2c28

Merge "Need to differentiate"

Merge "Import jjb test bash functions from vpp repo."

Merge "Skip VPP build for merge jobs with Gerrit ID != git HEAD."

Import jjb test bash functions from vpp repo.

- Also move get_gerrit_refspec() from docker/scripts/lib_common.sh
  into sandbox_test_functions.sh

Change-Id: I8f4a1648da678361c7ab364724f488571c91f0b7
Signed-off-by: Dave Wallace <dwallacelf@gmail.com>

Skip VPP build for merge jobs with Gerrit ID != git HEAD.

- Since merge jobs are serialized after the patches have
  been merged into git, all merge jobs which do not have
  the same Gerrit ID as git HEAD are redundant.  Skip
  them to save useless cycles and to reduce the size of
  the build queues when multiple patches are merged in a
  short amount of time.

- This also fixes the issue with packagecloud packages
  containing different contents then the associated
  Gerrit ID when built & pushed in this state.

Change-Id: I822492bd1d523576373bb268258c181a9c5edb42
Signed-off-by: Dave Wallace <dwallacelf@gmail.com>

Change vpp-checkstyle-verify-master to run on ubuntu 20.04

Signed-off-by: Dave Wallace <dwallacelf@gmail.com>
Change-Id: I7c899535fc1cf75239548ab7bde911a47d0b7f45

Upgrade global-jjb to v0.60.4

Signed-off-by: Vanessa Rene Valderrama <vvalderrama@linuxfoundation.org>
Change-Id: I56b483fb55e4ad3050f70ba60dcec36ee4a7f9c3

Merge "Add missing ubuntu1804-us label to FDIONOMAD cloud."

Need to differentiate

sandbox and main jenkins servers
have unique nomad configs

Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>
Change-Id: I852bad31fc35b20fd37311779a38c013197f4312

Merge "Update VPP branches for docker image builder."

CSIT: Make tox job gating (as VPP checkstyle)

+ Add code comments explaining how CSIT device tests can be started.

Change-Id: Icc5bd800f8fdc4616366a32559304977fba9fb04
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Add missing ubuntu1804-us label to FDIONOMAD cloud.

- also fix typo in builder-ubuntu1804-sandbox-aarch64.yaml

Signed-off-by: Dave Wallace <dwallacelf@gmail.com>
Change-Id: Ibbeb312550b2bd3cce19efaf1a174146f52e13db

Fix Nomad configs

Removing secret because it's an invalid attribute
Fixing the cloud.yaml configuration

Signed-off-by: Vanessa Rene Valderrama <vvalderrama@linuxfoundation.org>
Change-Id: I9737c1dbab66db39e52f2c9274122206dbbf6d93

Add missing default configs

Signed-off-by: Vanessa Rene Valderrama <vvalderrama@linuxfoundation.org>
Change-Id: I585291d509fcf193e07a3abbd7294782a0a594a7

Fix Nomad cloud config

Setting unused values to false to resolve Nomad executors not starting

Signed-off-by: Vanessa Rene Valderrama <vvalderrama@linuxfoundation.org>
Change-Id: Ia3f8befc92b54cd4114fa26b7015c763d3b399fb

Configure Nomad cloud

Adding mandatory values to the Nomad cloud config to resolve issue with
executors not starting

Signed-off-by: Vanessa Rene Valderrama <vvalderrama@linuxfoundation.org>
Change-Id: I259b0bbbabaa0e4bd0833d47507e80a3e6380916

Update VPP branches for docker image builder.

- Remove stable/2001 which has been deprecated
- Add stable/2101
- Remove debian-9 from master

Change-Id: I9b88d01bc38284aba5390c4583f1ac6a0e23cba8
Signed-off-by: Dave Wallace <dwallacelf@gmail.com>

Remove VPP debian9 jobs except for stable/2009

- debian9 support is deprecated starting with stable/2101
  release.

Signed-off-by: Dave Wallace <dwallacelf@gmail.com>
Change-Id: Ib233e0237cd7274a89a880cd92af74ccdffa3500

Merge "Preliminary fdio nomad jcasc configs"

Remove HC2VPP 1604 jobs

Removing HC2VPP Ubuntu 16.04 jobs. Ubuntu 16.04 is no longer supported

Signed-off-by: Vanessa Rene Valderrama <vvalderrama@linuxfoundation.org>
Change-Id: I7ba42be182e3c9f0e8b886051f1c09b2dee7e95f

Remove old releases from the HC2VPP jobs

Removing older releases from HC2VPP jobs to clean up job history

Signed-off-by: Vanessa Rene Valderrama <vvalderrama@linuxfoundation.org>
Change-Id: Ib2f6a0cfbc04a6038a0f6af5567ca020b06cef12

Preliminary fdio nomad jcasc configs

example output of script.sh
https://gist.github.com/Aricg/bc7313d993f91bfd592573653e638b7c

Signed-off-by: Vanessa Rene Valderrama <vvalderrama@linuxfoundation.org>
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>
Change-Id: I6d2c2b3aeb2c2dade8178323d40814f3a8b1ca8b

Merge "upload the logs to backup storage location as well"

Merge "Remove VPP 19.08 jobs"

upload the logs to backup storage location as well

Change-Id: Ib3e9c9ae1fd053c06840f7bc5124aae48fe58e76
Signed-off-by: Andrew Yourtchenko <ayourtch@gmail.com>

Remove VPP 19.08 jobs

- Also remove stable/1908 from the docker image build scripts.

Signed-off-by: Dave Wallace <dwallacelf@gmail.com>
Change-Id: I44fc73898b936ec75721801956e76412da262e49