Merge "Fix debian-9 docker image builder"

Merge "CSIT: Add AWS job"

Upgrade global-jjb to v0.65.1

Signed-off-by: Vanessa Rene Valderrama <vvalderrama@linuxfoundation.org>
Change-Id: I4b22df091bc57f417053c6781e4f19b92fc67e97

CSIT: Add AWS job

Signed-off-by: pmikus <pmikus@cisco.com>
Change-Id: I60f40a38de89234b2eed1d9f0c04f465378c6de4

csit: Add report merge job for 2101.1

Change-Id: If60599d596a13404fd5ba887f70a42498e666d86
Signed-off-by: Tibor Frank <tifrank@cisco.com>

INFO.yaml: add approval link for Peter Mikus to tsc section

Signed-off-by: Dave Wallace <dwallacelf@gmail.com>
Change-Id: I08a2b488fb8a3c14c8257733a47bac2380cfe2a0

Merge "INFO.yaml: Add Peter Mikus"

Merge "Fix workarounds for archive paths"

INFO.yaml: Add Peter Mikus

link: https://ircbot.wl.linuxfoundation.org/meetings/fdio-meeting/2021/fd_io_tsc/fdio-meeting-fd_io_tsc.2021-07-22-15.01.log.html
Change-Id: I59f255c4a298ef0436adec9a97570907fde74141
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Fix workarounds for archive paths

https://gerrit.fd.io/r/c/ci-management/+/33060
has introduced workarounds for jobs
which create Robot outputs outside /archives/.
It got merged without verifying the workarounds work correctly.

+ The workaround for device job does not seem to be needed.
+ Perform the copy also when robot failed.

Fixes: 37a55a05cd6ac7ca15bbb99f5ddc9ca61874d5f8

Change-Id: I5e08545bd290fa917e85a375865a130c3f2ff996
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Revert "Global: Disable Nexus for fdio-infra-ship-logs in production"

This reverts commit 94ccf388b6317892bdd5db5c7b8a2baedaf904c4.

Reason for revert: CORS setting of S3 is corrupted. Until LF ticket is
resolved reverting.

Change-Id: I59e6196f8e3317f249aa4258435705cc8965a80c
Signed-off-by: pmikus <pmikus@cisco.com>

Global: Disable Nexus for fdio-infra-ship-logs in production

Signed-off-by: pmikus <pmikus@cisco.com>
Change-Id: I98521297778c2c141c393d429c15039eae16d84f

Global: Disable Nexus for fdio-infra-ship-logs in sandbox

Signed-off-by: pmikus <pmikus@cisco.com>
Change-Id: I2fe96711a2abc032410562fd38ee7e86b1039cb0

Merge "Global: Rework archive artifacts"

Global: Rework archive artifacts

This patch removes archive-artifacts-parameter macro
and ARCHVIVE_ARTIFACTS env var from csit and vpp project.

All project specific artifacts to be uploaded with the
log files SHOULD BE copied to $WORKSPACE/archives.

The next step once this is merged will be to remove NEXUS
entirely via JCasC.

+ Remove archive-artifacts from all csit/vpp yaml files.
+ Add fdio-infra-ship-backup-logs macro
+ Remove unused jjb/include-raw-deploy-archives.sh
+ CSIT:
  - copy job artifacts to $WORKSPACE/archives
+ HC2VPP
  - remove CSIT
+ TLDK:
  - remove CSIT

Signed-off-by: pmikus <pmikus@cisco.com>
Signed-off-by: Dave Wallace <dwallacelf@gmail.com>
Change-Id: Iada020cf269714c34f9ce32d764d991827e3b003

Fix debian-9 docker image builder

- Docker installation no longer works on debian-9
  so don't install it when building debian-9
  executor images.

Signed-off-by: Dave Wallace <dwallacelf@gmail.com>
Change-Id: I7896799bdc6cd1d683966b1f0951405d4967891b

hicn: fix broken reverse trigger for docs merge jobs

Signed-off-by: Dave Wallace <dwallacelf@gmail.com>
Change-Id: I833f1e084a642df0679e9abe0b38a0ca58a2dd59

Infra: Move Nomad URL to new server master

Signed-off-by: pmikus <pmikus@cisco.com>
Change-Id: Ib4c9da7e6b64c6fd05252265e8460ba7e0ec418f

CSIT: Set daily jobs cadence to normal

Change-Id: I1246d18431c2f171aafa0be7fafadce098714d57
Signed-off-by: Tibor Frank <tifrank@cisco.com>

Merge "- Add jobs for branch stable/2101 aarch64 - Trigger checkstyle for stable branches"

- Add jobs for branch stable/2101 aarch64
- Trigger checkstyle for stable branches

Signed-off-by: Mauro Sardara <msardara@cisco.com>
Change-Id: I2da2147c45b2b66280880898c2f34396d7c542e8
Signed-off-by: Mauro Sardara <msardara@cisco.com>

Merge "Add jobs for branch stable/2101"

Add jobs for branch stable/2101

Signed-off-by: Mauro Sardara <msardara@cisco.com>
Change-Id: I2bfc80570df3e6ab0485976d276b746201d7c694

Chore: Committer management

* Clean up the PTL record as Andrew Grimberg (myself) was listed as both
  the PTL _and_ as a named party in the committers list just under two
  different IDs
* Remove committers that haven't been active in over a year
  Those being removed: CJ Collier, Ed Kern, and Thanh Ha

Change-Id: I874dcfa3bd556f442042660531ea5b7a114288ba
Signed-off-by: Andrew Grimberg <agrimberg@linuxfoundation.org>

Merge "Add libparc verify/merge job for ubuntu 20.04-arm64"

Add libparc verify/merge job for ubuntu 20.04-arm64

Signed-off-by: Mauro Sardara <msardara@cisco.com>
Change-Id: Ib961f3370f0279748a390d564c05265f44d90cae

Drop AVAILABILITY_ZONE

By default, OpenStack will schedule you into the right availablity
zone that has capacity, hard coding this can potentially result in
not being able to provision new virtual machines.

This patch drops the hard-wired value and lets Nova on the
scheduling size pick the correct availability zone.

Signed-off-by: Mohammed Naser <mnaser@vexxhost.com>
Change-Id: Id87111f06ad702daedb947f7e4d67f4cbbc2ad1a

Merge "Add Ubuntu-20.04 and Centos-8 CI jobs for VPP stable/2101."

Add Ubuntu-20.04 and Centos-8 CI jobs for VPP stable/2101.

- Required for VPP 21.01.1 maintenance release and
  CSIT 21.06 Report comparison tables.

Signed-off-by: Dave Wallace <dwallacelf@gmail.com>
Change-Id: Ib95a4a5221000b9fe4c4f5aa9b67a5bdee9943a8

Fix docker image builder vpp-ext-deps package copy to /root/Downloads.

Signed-off-by: Dave Wallace <dwallacelf@gmail.com>
Change-Id: Ifdc95193bbf6fe4866b5abfeea33a425fa8c2e9f

Remove hicn jobs for ubuntu 18 and centos 8

Signed-off-by: Mauro Sardara <msardara@cisco.com>
Change-Id: Ic43c1cd89764be3f45f4be2f107b1f5002d0b7dc
Signed-off-by: Mauro Sardara <msardara@cisco.com>

Change 'Downloading' to 'Retrieving' in backup_upload_archives.sh

- To prevent false positives when searching console logs for
  jobs which are downloading content over the internet.

Signed-off-by: Dave Wallace <dwallacelf@gmail.com>
Change-Id: I0d9d1e3138380453eabab6a0fe2844311304491f

Fix typo in vpp.yaml that removed vpp*master*aarch64 jobs.

Signed-off-by: Dave Wallace <dwallacelf@gmail.com>
Change-Id: If852c1a009d317b0748dde350c8c63102f38f7bf

Remove vpp-*-master-centos8-* jobs

Signed-off-by: Dave Wallace <dwallacelf@gmail.com>
Change-Id: I911a08af7bcbcd1c6e7f8db36ac3028d31425bc2

Merge "Add stable/2106 branch to docker image builds"

Merge "Configure S3 logs on production"

Add stable/2106 branch to docker image builds

Signed-off-by: Dave Wallace <dwallacelf@gmail.com>
Change-Id: If22e9e2dd8ab5ed2008ce1baeb78721bf9035681

Merge "JJB: Include perf analysis per job"

JJB: Include perf analysis per job

+ Useful for performance analysis before run.
  This should help to analyze machine load before starting
  payload by comparing conditions from running jobs.
- Requirements: sysstat (apt install sysstat)
- Remove extraneous python import from
  backup_upload_archives.sh
- Fix sar issue on centos-7
- Fix debian9 lftools install / upgrade issue

Signed-off-by: pmikus <pmikus@cisco.com>
Signed-off-by: Dave Wallace <dwallacelf@gmail.com>
Change-Id: I6b61f99b9b2cde2bac3dacdefaa926e9afbb157e

Merge "CSIT: Reduce daily jobs cadence for 2106 report data collection"

Configure S3 logs on production

Configuring Jenkins production for S3 logging

Signed-off-by: Vanessa Rene Valderrama <vvalderrama@linuxfoundation.org>
Change-Id: I72e9c924e6dba6fbbf68d578bba2b64054035eff

api-checkstyle: do not send the notification about the successful API checks

the api-checkstyle was initially done with notification for both successful
and failed api-checkstyle runs, just as a matter of precaution.
It's time to keep the notification only for the fail case, thus
fulfilling the point of notifications.

Change-Id: I41a12e7a30bc852c9280fc08a6eae426438f7d92
Signed-off-by: Andrew Yourtchenko <ayourtch@gmail.com>

CSIT: Reduce daily jobs cadence for 2106 report data collection

Change-Id: I42b60d73f5c064c63bdf3473bf9d1b3b8b1b3d0f
Signed-off-by: Tibor Frank <tifrank@cisco.com>

Merge "CSIT: Decommission 3n-hsw - jobs"

CSIT: Decommission 3n-hsw - jobs

Signed-off-by: pmikus <pmikus@cisco.com>
Change-Id: I10be9e27c125fd5524a6cb381806f18bd0514e89

csit: Remove not needed jobs

https://jenkins.fd.io/view/csit/job/csit-docs-merge-2005-ubuntu2004-x86_64
https://jenkins.fd.io/view/csit/job/csit-report-merge-2005-ubuntu2004-x86_64
https://jenkins.fd.io/view/csit/job/csit-verify-tox-2005-ubuntu2004-x86_64

https://jenkins.fd.io/view/csit/job/csit-docs-merge-2009-ubuntu2004-x86_64
https://jenkins.fd.io/view/csit/job/csit-*-perf-report-coverage-2009-*
https://jenkins.fd.io/view/csit/job/csit-*perf-report-iterative-2009-*
https://jenkins.fd.io/view/csit/job/csit-report-merge-2009-ubuntu2004-x86_64
https://jenkins.fd.io/view/csit/job/csit-vpp-device-2009-ubuntu2004-x86_64-*

https://jenkins.fd.io/view/csit/job/csit-*-perf-report-coverage-2101-*
https://jenkins.fd.io/view/csit/job/csit-*perf-report-iterative-2101-*

Change-Id: I54ea273cb7fb33fdbe427693a021a8b50def6223
Signed-off-by: Tibor Frank <tifrank@cisco.com>

csit: Add CSIT rls2106 jobs

Change-Id: I6ef10c854362a58ca14c12d8a73dfb5c855aebee
Signed-off-by: Tibor Frank <tifrank@cisco.com>

Changes for VPP 21.06 Release

Change-Id: I2d20e79e621de018b94f8c8db10982730cda805b
Signed-off-by: Andrew Yourtchenko <ayourtch@gmail.com>

Configure S3 logs on the sandbox

Configuring the Jenkins sandbox for S3 logging

Signed-off-by: Vanessa Rene Valderrama <vvalderrama@linuxfoundation.org>
Change-Id: I9ef48f67b97217265fdf59cb9a49247ab8e7f643

Upgrade global-jjb to v0.64.0

Signed-off-by: Vanessa Rene Valderrama <vvalderrama@linuxfoundation.org>
Change-Id: I3f0b4896568d7746a44ff8cfab4d3b2db14f7a33

Revert "Retry VPP jobs if git clone fails."

This reverts commit 1fb419681d9738d890e90e9ac7cd8e36cafc5d4d.

Signed-off-by: Andrew Yourtchenko <ayourtch@gmail.com>
Change-Id: I7993e11ab39d2f6b05c11484c68bbed0fe431b72

Merge "Fix make test docs upload & clean up docs jobs"

Fix make test docs upload & clean up docs jobs

- make test DOCS_DIR in vpp/master changed location,
  fix upload for master and subsequent release
  branches.
- Don't archive docs build output to avoid
  stress on nexus
- Sphinx docs are generated and pushed
  to github by hand for publishing.  Therefore
  remove sphinx docs jobs and include building
  of sphinx docs in the vpp-docs-verify-* jobs.

Signed-off-by: Dave Wallace <dwallacelf@gmail.com>
Change-Id: I3b2badbf3e2b242ad6b4efcc7d6d281c8b26136b

Change prod & sandbox to public IPs for Ingress/Gerrit

Signed-off-by: Dave Wallace <dwallacelf@gmail.com>
Change-Id: Iebfee30a14297e781d2c3abfc045a2b5e7344e5d

Backup console logs to consul.

- Add additional executor info to console output
  for consul log storage.

Change-Id: Ifc9174ff69f26aa31f92e3680606f7a2303b5924
Signed-off-by: Dave Wallace <dwallacelf@gmail.com>

Upgrade global-jjb to v0.63.0

Signed-off-by: Vanessa Rene Valderrama <vvalderrama@linuxfoundation.org>
Change-Id: Idbf89d2d9e9e934329f45fc30f4c8650bb6ec6af

Merge "Remove deprecated fdio-infra-shiplogs macro"

Retry VPP jobs if git clone fails.

- Use naginator regular-expression to only retry
  builds when logs contain git clone failure
  message.

Signed-off-by: Dave Wallace <dwallacelf@gmail.com>
Change-Id: Icb18b7c287b0ccb9d47c7c4af216b3204a720291

Merge "Nomad: Redirect connection to different server"

Increase nomad aarch64 memory limit for ubuntu 20.04 labels

- Required to avoid OOM-Killer for CI jobs
  running 'make test' on AARCH64

Change-Id: I16e0f09dbee85fed8d256c4efd6d51d59f08ff09
Signed-off-by: Dave Wallace <dwallacelf@gmail.com>

Merge "Separate VPP stacktrace generation from artifact archiving"

Remove deprecated fdio-infra-shiplogs macro

- Update node labels, replacing deprecated
  'snergster' labels with equivalent
  'fdiotools' node labels

Change-Id: I1ff7d42b2c4f4f592567378b7f1fe359ff7e2a0f
Signed-off-by: Dave Wallace <dwallacelf@gmail.com>

Separate VPP stacktrace generation from artifact archiving

- Separate removal of socket files in workspace archive directory
  from archiving of artifacts
- Clean up deprecated workspace-archive-artifacts-parameter macro

Change-Id: I11c7fe55d3412fb7261da9f0cfb809a152ae1d51
Signed-off-by: Dave Wallace <dwallacelf@gmail.com>

Merge "Refactor ccache config to use per-os ccache dirs."

Nomad: Redirect connection to different server

+ Due to DC move we need to redirect traffic
  to hosts that are already moved.

Signed-off-by: pmikus <pmikus@cisco.com>
Change-Id: I43aba2f030fa2521aba548a43d4186333909f0ea

Merge "Fix docker image update script"

Fix docker image update script

- Handle case where the original image has been
  deleted from dockerhub.

Signed-off-by: Dave Wallace <dwallacelf@gmail.com>
Change-Id: Ifcb34f39b36f2974d45a48754b72d33e9cfc4b06

Refactor ccache config to use per-os ccache dirs.

- Simplify ccache state output to console log by
  using ccache stats command.
- Bump max size of ccache dir to 10G (centos8 is
  approximately 5.7G)
- Clean up extraneous ccache dir after docker build
  is complete.

Change-Id: Ia2b55b7cd47212fce91b4567d0cca69d2ce892ed
Signed-off-by: Dave Wallace <dwallacelf@gmail.com>

Merge "Modify OpenStack builders"

Merge "Add new dev branch to the CI framework"

Modify OpenStack builders

Modifying OpenStack builders to use V3 flavors

Signed-off-by: Vanessa Rene Valderrama <vvalderrama@linuxfoundation.org>
Change-Id: I1601921bba92f9ad9519dda992846ccca586d657

Fix backup archive directory structure.

Change-Id: I9fd1194bdb68239df2a6e2c4432ec1849ca12aac
Signed-off-by: Dave Wallace <dwallacelf@gmail.com>

Merge "builder: if new ansible dir doesn't exist, use old one."

Upgrade global-jjb to v0.62.0

Signed-off-by: Vanessa Rene Valderrama <vvalderrama@linuxfoundation.org>
Change-Id: I2b5f181f32ce399d6b6091ab051562fe6e714fb6

Testing JCasC

Signed-off-by: Vanessa Rene Valderrama <vvalderrama@linuxfoundation.org>
Change-Id: I857f42130e50c73bce2844a15c0e351d717a21fd

Add new dev branch to the CI framework

Signed-off-by: Konstantin Ananyev <konstantin.ananyev@intel.com>
Change-Id: Icb676be654efa89792b7917c77d90c4d8092712a

builder: if new ansible dir doesn't exist, use old one.

Change-Id: I539fc3981b46a285bf6934d2dd13c8c660fc0e8a
Signed-off-by: Dave Wallace <dwallacelf@gmail.com>

Merge "CSIT: restrict CSIT VPP Device to 32 cores"

Merge "Use fdio-infra-publish for nomad executor based jobs"

Fix broken docker install for debian-9 executor.

Signed-off-by: Dave Wallace <dwallacelf@gmail.com>
Change-Id: I4766dfec19de63ba6ae7dbd86ed70f696a10f117

CSIT: restrict CSIT VPP Device to 32 cores

We're seeing frequent "Host high CPU load" alerts. The jobs are not
restricted in any way, which could lead to resource starvation or
misdirection of resources between jobs.
Mirror the VPP jobs configuration - restrict to 32 cores.

Change-Id: I6b36602df0546fedf9603dda395325199130513e
Signed-off-by: Juraj Linkeš <juraj.linkes@pantheon.tech>

Use fdio-infra-publish for nomad executor based jobs

- Separate post build executor info dump into its
  own script file.
- Remove backup_upload_archives.sh from
  fdio-infra-shiplogs which is now only used for
  openstack executors.
- Add setup_executor_env.sh to run first for all
  jobs which run on nomad/dockerhub images.

Change-Id: I564201b8c578e6541152e6af74537d1d007ba1a7
Signed-off-by: Dave Wallace <dwallacelf@gmail.com>

Scripts: Change CSIT ansible path

Signed-off-by: pmikus <pmikus@cisco.com>
Change-Id: I09ad51af52e9246ab4491ffd7ed03ab5c8a09268

disable ASAN in the debug builds

The move to unix sockets has broken ASAN fairly thoroughly, so disable it

Change-Id: Icf3822c5927309f8574865008173a66019a3ed55
Signed-off-by: Andrew Yourtchenko <ayourtch@gmail.com>

Merge "Fix hicn-docs job to use correct label."

Fix hicn-docs job to use correct label.

- Also add gerrit-parameter & branch-refspec for
  testing in jenkins sandbox (same pattern as vpp.yaml).

Signed-off-by: Dave Wallace <dwallacelf@gmail.com>
Change-Id: Ia48c7e484db78f35dffe93e78c418736c686b356

Modify OpenStack templates

Switching the OpenStack templates used by CI mgmt jobs back to V2
flavors due to problems with the V3 flavors in production. Modifying the
INFO.yaml job to use a template with a V3 flavor to continue
troubleshooting the issue in production because this issue can't be
reproduced on the sandbox.

Signed-off-by: Vanessa Rene Valderrama <vvalderrama@linuxfoundation.org>
Change-Id: Ibc8e744e3201538122965a70ab0f23ca3fe66371

Modify executor flavors

Modifying the executors to use the new V3 flavors which will improve
performance and are more cost efficient.

Tested in production using the centos7-v3-4c-4g template which can now
be removed.

Signed-off-by: Vanessa Rene Valderrama <vvalderrama@linuxfoundation.org>
Change-Id: I92c25c86b368546cf0ef8db05c2ed832a99b82c1

Add additional V3 template

Adding a centos7-v3-4c-4g to test V3 flavors. When testing is
scucessful, the centos7-builder-4c-4g will be modified to use the V3
builder and this additional template will be removed.

Signed-off-by: Vanessa Rene Valderrama <vvalderrama@linuxfoundation.org>
Change-Id: Ic1e02b7c5c550a7c15c8f7f06844c510c43eb77b

Merge "Include container id in console log."

Include container id in console log.

- Output executor runtime attributes in
  post_build_deploy_archives.sh for the case
  when a job fails prior to setup_executor_env.sh

Change-Id: Icb54c039db21a621d44808221a3100c509583090
Signed-off-by: Dave Wallace <dwallacelf@gmail.com>

Merge "bump CPU and memory in ubuntu2004 nomad jobs from 16000 to 20000"

bump CPU and memory in ubuntu2004 nomad jobs from 16000 to 20000

Some jobs fail due to OOMKILLER, the theory is that
the python 3.8.5 takes more memory than 3.7.3, which runs
on debian10 where no such failures are seen.

Change-Id: Ie263055b0292f4afab3a907a107479a3f8fb962b
Signed-off-by: Andrew Yourtchenko <ayourtch@gmail.com>

Enable CCACHE in builder images / labels

- Remove aarch64 labels which do not have any executor docker images.

Change-Id: I1f46929b1c8393aa7a25bad215a95b85f2e00bd9
Signed-off-by: Dave Wallace <dwallacelf@gmail.com>

Remove temporary DNS fix.

- Use search domain in /etc/resolv.conf as hostname.

Change-Id: Iaf156a2096a1b60f6222fa2d7f99101d72e2572c
Signed-off-by: Dave Wallace <dwallacelf@gmail.com>

Merge "Force DNS nameserver in CI jobs to use local consul server."

Force DNS nameserver in CI jobs to use local consul server.

Signed-off-by: Dave Wallace <dwallacelf@gmail.com>
Change-Id: I76b7f4668ad0bfb11e9045de2d7f8e150132083a

Update node configuration of hicn-docs.yaml.

Signed-off-by: Mauro Sardara <msardara@cisco.com>
Change-Id: I3c355a03a6609204a7637294ef133a9eda6eca50
Signed-off-by: Mauro Sardara <msardara@cisco.com>

Merge "Use Ubuntu-20.04 for vpp-csit-* job executor images"

Use Ubuntu-20.04 for vpp-csit-* job executor images

- refactor vpp-csit job names to conform to the vpp
  job nomenclature
- add ubuntu-20.04 for CSIT image builder install
  requirements
- fix executor class verification
- add option to build_executor_docker_image.sh to
  dump Dockerfile without building image(s)
- refactor Dockerfile generation to support
  executor classes
- add support for csit_shim and csit_dut docker
  image generation from csit ansible repo
- refactor docker installation
- refactor locale support
- remove old static csit Dockerfiles
- remove unused jenkins labels
- use csit-builder-{os}-prod-{executor_arch} label for
  vpp csit device test
- run tox in csit_pip_cache() to include pylint
  requirements in python cache to avoid downloading
  from pypi during job execution.

Change-Id: I5f4ffc587c6b8c43cb874dfd8c615ce56d3b97a4
Signed-off-by: Dave Wallace <dwallacelf@gmail.com>