Merge "Prepare necessary CSIT jobs for VPP 1701 branch (CIMANAGE-19)"

Prepare necessary CSIT jobs for VPP 1701 branch (CIMANAGE-19)

Do needed changes to prepare following CSIT jobs for VPP 1701 branch:
- csit-vpp-functional-1701-virl
- csit-vpp-verify-1701-weekly
- csit-vpp-verify-1701-semiweekly
- csit-validate-pylint-1701

Change-Id: I5e6bc8adcd3bec3c4a89423890780ffcd0176cc9
Signed-off-by: Jan Gelety <jgelety@cisco.com>

Merge "New stream for hc2vpp stable/1701"

Merge "New strem for honeycomb stable/1701"

Merge "CSIT-474: CSIT documentation auto generation"

CIMANAGE-20 Create csit-dpdk-perf Jenkins job

Create csit-dpdk-perf Jenkins job with manual trigger on gerrit
comment. Purpose of this job is to verify CSIT code against DPDK
stable.

Change-Id: Icff34543bc90b2c59add71b09be6a24d3e50378d
Signed-off-by: pmikus <pmikus@cisco.com>

CSIT-474: CSIT documentation auto generation

 - add jenkins jobs (verify and merge) to generate and
   upload CSIT documentation

Change-Id: I2b28dc85cc04cbd78486713bfb26eecdefbc7e55
Signed-off-by: Tibor Frank <tifrank@cisco.com>

New stream for hc2vpp stable/1701

Change-Id: Ic1c2505d15b0e574530ea4d5600cdfc4dc250118
Signed-off-by: Marek Gradzki <mgradzki@cisco.com>

New strem for honeycomb stable/1701

Change-Id: I52fe0e73dc6b0b66ae7d22991ea31a7210ee8d82
Signed-off-by: Marek Gradzki <mgradzki@cisco.com>

Fix plots cfg for honeycomb-benchmark-master

Current configuration creates 4 plot sections,
but each of them contains only first of defined plots.

Change-Id: Ib8bcd2b3936ac08b9ca129b4e0902d1a3916ba5c
Signed-off-by: Marek Gradzki <mgradzki@cisco.com>

Fix log upload URL for log shipping

Nexus uncompress magic happens on a special service URL. If it's not
used then compressed objects won't get expanded

Change-Id: I19c1bf1f2de1544f82bef3b915dc01558251a471
Signed-off-by: Andrew Grimberg <agrimberg@linuxfoundation.org>

Merge "Enable log shipping on all puppet-fdio jobs"

Enable log shipping on all puppet-fdio jobs

* Configure log shipping on all puppet-fdio jobs

Change-Id: Iaf759aa813556f80b7e60c919249038053f196f6
Signed-off-by: Vanessa Rene Valderrama <vvalderrama@linuxfoundation.org>

Enable log shipping on all csit jobs

* Configure log shipping on all csit jobs

Change-Id: Ibef86a6fe5ae185fdab075b21c72f883c706716d
Signed-off-by: Vanessa Rene Valderrama <vvalderrama@linuxfoundation.org>

Enable log shipping on all ci-management jobs

* Configure log shipping on all ci-management jobs

Change-Id: Ic46f8866181407ce903d6ee21bd9ee04074cadc1
Signed-off-by: Vanessa Rene Valderrama <vvalderrama@linuxfoundation.org>

Merge "Enable log shipping on all hc2vpp jobs"

Merge "Enable log shipping on all rpm_dpdk jobs"

Merge "Enable log shipping on all nsh_sfc jobs"

Merge "Enable log shipping on all trex jobs"

Merge "Enable log shipping on all tldk jobs"

Merge "Enable log shipping on all vpp jobs"

Merge "Enable log shipping on all csit jobs"

Merge "Enable log shipping on all honeycomb jobs"

Enable log shipping on all honeycomb jobs

* Configure log shipping on all honeycomb jobs

Change-Id: Ib399a2e3d1da582d31a77927785f56f735684f0c
Signed-off-by: Vanessa Rene Valderrama <vvalderrama@linuxfoundation.org>

Enable log shipping on all csit jobs

* Configure log shipping on all csit jobs

Change-Id: Ia6da41d44b3138745be999c0eb777bf303078575
Signed-off-by: Vanessa Rene Valderrama <vvalderrama@linuxfoundation.org>

Enable log shipping on all vpp jobs

* Configure log shipping on all vpp jobs

Change-Id: I883585783280ce87148e57d224ffcfc4dc5ff5f3
Signed-off-by: Vanessa Rene Valderrama <vvalderrama@linuxfoundation.org>

Enable log shipping on all tldk jobs

* Configure log shipping on all tldk jobs

Change-Id: I3fd62b882ed4f00f38c3b5f2dcd14b000c318299
Signed-off-by: Vanessa Rene Valderrama <vvalderrama@linuxfoundation.org>

Enable log shipping on all trex jobs

* Configure log shipping on all trex jobs

Change-Id: I5e722652a3c1481b3047ac4d2c5954d126c260d2
Signed-off-by: Vanessa Rene Valderrama <vvalderrama@linuxfoundation.org>

Enable log shipping on all nsh_sfc jobs

* Configure log shipping on all nsh_sfc jobs

Change-Id: I282085803edf79280ec6949af7783ea473815f8c
Signed-off-by: Vanessa Rene Valderrama <vvalderrama@linuxfoundation.org>

Enable log shipping on all rpm_dpdk jobs

* Configure log shipping on all rpm_dpdk jobs

Change-Id: I7f33432f9246a37027357d8bc8279bd1484a3c55
Signed-off-by: Vanessa Rene Valderrama <vvalderrama@linuxfoundation.org>

Enable log shipping on all hc2vpp jobs

* Configure log shipping on all hc2vpp jobs

Change-Id: Ic43d46cd8438341f4169096b7229a8a641f8064b
Signed-off-by: Vanessa Rene Valderrama <vvalderrama@linuxfoundation.org>

Enable log shipping on all deb_dpdk jobs

* Configure log shipping on all deb_dpdk jobs

Change-Id: I80b6264d9718a43d913d84efcba0bfc860b32a0b
Signed-off-by: Vanessa Rene Valderrama <vvalderrama@linuxfoundation.org>

Global log shipping macro

Ship all console and environment logs as well as anything in
$WORKSPACE/archives to https://logs.fd.io.

All text files will be pre-compressed for quicker serving from the log
hosting which is configured to properly serve the files so they will
expand properly in the browser.

Change-Id: Ica8be1ca9af82dfc64d063a5d3fa30be3585253c
Signed-off-by: Vanessa Rene Valderrama <vvalderrama@linuxfoundation.org>

Update Ubuntu baseline to disable daily auto-update

* Updates the Ubuntu baseline build section to forcibly disable the
  default daily system package update for security patches
* Make sure that the provision/basebuild directory that the build
  template is using exists with a .dummy placeholder

Change-Id: Iffd493c3cfb6263d32d65d06e0e20a3bdbc58926
Signed-off-by: Andrew Grimberg <agrimberg@linuxfoundation.org>

HONEYCOMB-288: separate plots for read and each write type

Depends on https://gerrit.fd.io/r/#/c/4385

Change-Id: Ib6f9e167c98d390248a9f2837b8bcb70a76af6ad
Signed-off-by: Marek Gradzki <mgradzki@cisco.com>

Convert vpp to be Packer compliant

Transition jobs for vpp to be Packer compliant
* Modifying vpp build minions to use the new node naming standard
* Temporarily using mvn33-new during cutover

Change-Id: I8f4a01d82917c34377b76ca3d3e875ce61720cc4
Signed-off-by: Vanessa Rene Valderrama <vvalderrama@linuxfoundation.org>

Convert rpm_dpdk to be Packer compliant

Transition jobs for rpm_dpdk to be Packer compliant
* Modifying rpm_dpdk build minions to use the new node naming standard
* Temporarily using mvn33-new during cutover

Change-Id: I96cef20562a6896e3c5337cc4e6ff8865117ea9d
Signed-off-by: Vanessa Rene Valderrama <vvalderrama@linuxfoundation.org>

Convert nsh_sfc to be Packer compliant

Transition jobs for nsh_sfc to be Packer compliant
* Modifying nsh_sfc build minions to use the new node naming standard
* Temporarily using mvn33-new during cutover

Change-Id: I264f2dc76dfa3388bc06fde467a0f19577691de5
Signed-off-by: Vanessa Rene Valderrama <vvalderrama@linuxfoundation.org>

Removing gtest call for tldk jjb

Change 4372 was reverted because it is broken in production which was
blocking the Packer cut-over.  This change is removing the call to gtest
in the tldk jjb

Change-Id: I9cd3baedc759bfc21caae604e96d7067b1e6d68e
Signed-off-by: Vanessa Rene Valderrama <vvalderrama@linuxfoundation.org>

Merge "Convert hc2vpp to be Packer compliant"

Merge "Revert "Add dependencies for tldk jjb""

Merge "Convert nsh_sfc to be Packer compliant"

Merge "Convert tldk to be Packer compliant"

Merge "Convert puppet-fdio to be Packer compliant"

Merge "Convert trex to be Packer compliant"

Merge "Convert rpm_dpdk to be Packer compliant"

Merge "Convert honeycomb to be Packer compliant"

Merge "Convert vpp to be Packer compliant"

Convert hc2vpp to be Packer compliant

Transition jobs for hc2vpp to be Packer compliant
* Modifying hc2vpp build minions to use the new node naming standard
* Temporarily using mvn33-new during cutover

Change-Id: Id94a26a38dc6f99278138b48ee06b8b05696e03a
Signed-off-by: Vanessa Rene Valderrama <vvalderrama@linuxfoundation.org>

Convert hc2vpp to be Packer compliant

Transition jobs for hc2vpp to be Packer compliant
* Modifying hc2vpp build minions to use the new node naming standard
* Temporarily using mvn33-new during cutover

Change-Id: I5367576ac90c9c823f8e76f4288afb488fc64bd4
Signed-off-by: Vanessa Rene Valderrama <vvalderrama@linuxfoundation.org>

Convert csit to be Packer compliant

Transition jobs for csit to be Packer compliant
* Modifying csit build minions to use the new node naming standard
* Temporarily using mvn33-new during cutover

Change-Id: Ic9438c6ad6d3e8712e649906ea74d60443aad989
Signed-off-by: Vanessa Rene Valderrama <vvalderrama@linuxfoundation.org>

Merge "Convert deb_dpdk to be Packer compliant"

Convert csit to be Packer compliant

Transition jobs for csit to be Packer compliant
* Modifying csit build minions to use the new node naming standard
* Temporarily using mvn33-new during cutover

Change-Id: I2a8c7dd9c94d3a417b9645588fd745d123d5a3dd
Signed-off-by: Vanessa Rene Valderrama <vvalderrama@linuxfoundation.org>

Merge "Convert csit to be Packer compliant"

Merge "Convert Vagrant to Packer"

Configure OpenStack minions for single use

This converts OpenStack Jenkins build minions as single use minions

Change-Id: I6cad42d8b7d6e770a312135938a3ab8d073a07b8
Signed-off-by: Vanessa Rene Valderrama <vvalderrama@linuxfoundation.org>

Convert deb_dpdk to be Packer compliant

Transition jobs for deb_dpdk to be Packer compliant
* Modifying deb_dpdk build minions to use the new node naming standard
* Temporarily using mvn33-new during cutover

Change-Id: I8df18709d9721bae896e6574a027e0fe863225d7
Signed-off-by: Vanessa Rene Valderrama <vvalderrama@linuxfoundation.org>

Convert rpm_dpdk to be Packer compliant

Transition jobs for rpm_dpdk to be Packer compliant
* Modifying rpm_dpdk build minions to use the new node naming standard
* Temporarily using mvn33-new during cutover

Change-Id: Ie1484e996d25a44e73da89c24667e3b05f731e78
Signed-off-by: Vanessa Rene Valderrama <vvalderrama@linuxfoundation.org>

Convert trex to be Packer compliant

Transition jobs for trex to be Packer compliant
* Modifying trex build minions to use the new node naming standard
* Temporarily using mvn33-new during cutover

Change-Id: I8019f74e8fa01bcc1db5c1cd4c439a352a77e54d
Signed-off-by: Vanessa Rene Valderrama <vvalderrama@linuxfoundation.org>

Convert vpp to be Packer compliant

Transition jobs for vpp to be Packer compliant
* Modifying vpp build minions to use the new node naming standard
* Temporarily using mvn33-new during cutover

Change-Id: I1b85371bb5bad151986892d4ac1ee4f7d8196a84
Signed-off-by: Vanessa Rene Valderrama <vvalderrama@linuxfoundation.org>

Convert honeycomb to be Packer compliant

Transition jobs for honeycomb to be Packer compliant
* Modifying honeycomb build minions to use the new node naming standard
* Temporarily using mvn33-new during cutover

Change-Id: I359f2f6168235eabaacdfb2cb5183df8dd250f9b
Signed-off-by: Vanessa Rene Valderrama <vvalderrama@linuxfoundation.org>

Convert puppet-fdio to be Packer compliant

Transition jobs for puppet-fdio to be Packer compliant
* Modifying puppet-fdio build minions to use the new node naming standard
* Temporarily using mvn33-new during cutover

Change-Id: Iad46ce0b4d14cb0c698c0ac98254c9268feb4647
Signed-off-by: Vanessa Rene Valderrama <vvalderrama@linuxfoundation.org>

Convert csit to be Packer compliant

Transition jobs for csit to be Packer compliant
* Modifying csit build minions to use the new node naming standard
* Temporarily using mvn33-new during cutover

Change-Id: Iacfce824adf149f98ee558f413b3f276e3c2b88b
Signed-off-by: Vanessa Rene Valderrama <vvalderrama@linuxfoundation.org>

Convert tldk to be Packer compliant

Transition jobs for nsh_sfc to be Packer compliant
* Modifying tldk build minions to use the new node naming standard
* Temporarily using mvn33-new during cutover

Change-Id: Ib65a1fbf712650df47ad35b5bab83b61ac756647
Signed-off-by: Vanessa Rene Valderrama <vvalderrama@linuxfoundation.org>

Convert nsh_sfc to be Packer compliant

Transition jobs for nsh_sfc to be Packer compliant
* Modifying nsh_sfc build minions to use the new node naming standard
* Temporarily using mvn33-new during cutover

Change-Id: Iacb178f37eb726e033183a2cc48f0ac4b46dd448
Signed-off-by: Vanessa Rene Valderrama <vvalderrama@linuxfoundation.org>

Revert "Add dependencies for tldk jjb"

This reverts commit 486588e7a8095791b81a4ac8bd0062e2297a61ee.

Reverting change because it's currently broken in production and will
block the Packer cut-over from Vagrant

Change-Id: I5e9da2ceeb6c79148ad1af18563cbf3ccb5a612d
Signed-off-by: Vanessa Rene Valderrama <vvalderrama@linuxfoundation.org>

Convert Vagrant to Packer

This converts all of the in use Vagrant
definitions to Packer and allows us to build images and allow automated
testing of images.

Change-Id: Ic87cce4aa674146952efad325a42b095086426d0
Signed-off-by: Vanessa Rene Valderrama <vvalderrama@linuxfoundation.org>

Merge "CSIT-474: CSIT documentation auto generation"

Merge "HONEYCOMB-288: include score error in benchmark plot"

HONEYCOMB-288: include score error in benchmark plot

Change-Id: I5b6085b0c675e66b14f5956f6526e68364a86da8
Signed-off-by: Marek Gradzki <mgradzki@cisco.com>

CSIT-484: Fix trigger in csit-hc2vpp job

Did not seem to work as regexp nor literally.

Change-Id: I39f53cb494932af0a3d07abefcd346d30443dce5
Signed-off-by: selias <samelias@cisco.com>

CSIT-484: Fix issues in csit-hc2vpp jobs

Use workspace/csit directory for artifacts, to mirror the way
csit-vpp jobs archive artifacts.

Don't look for honeycomb.log in /var/log, it is copied from virl
to workspace/csit directiry.

Modify trigger for hc2vpp-csit-verify, so that the trigger is not
a part of the job's name.

Change-Id: Ie1e66e9c7b017045c2be6c976189297c27e6aa96
Signed-off-by: selias <samelias@cisco.com>

Merge "CSIT-484: New csit-hc2vpp job set"

Remove master branch at request of deb_dpdk committers

Change-Id: I38131b9e62bb66ff51c993e1261bbe5a342f37d5
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Add support for deb_dpdk 16.11.x branch

Change-Id: I533fad08bdc1c396743b4ed4e85dfea49cc0402b
Signed-off-by: Ed Warnicke <eaw@cisco.com>

CSIT-474: CSIT documentation auto generation

- add jenkins jobs (verify and merge) to generate and
  upload CSIT documentation

Change-Id: I5c1268dbf93767ef2ff9653ac24ea246cc4349c0
Signed-off-by: Tibor Frank <tifrank@cisco.com>

CSIT-484: New csit-hc2vpp job set

Removes obsolete csit-hc2vpp job and adds 2 new jobs:
 - hc2vpp-csit-integration - runs on master after hc2vpp-integration succeeds
 - hc2vpp-csit-verify - can be run manually on commits to hc2vpp project

Related csit change - https://gerrit.fd.io/r/4170

Change-Id: I0552c593e7080351e1d53c4b0b0d5a7aeb21089d
Signed-off-by: selias <samelias@cisco.com>

Use make verify only after its working and not for CSIT builds.

This patch does the following:

1)  Introduces a new PARAMATER called is-csit-vpp-job
2)  Sets that PARAMETER to 'True' for csit-vpp-jobs
3)  Changes the include-raw-vpp-build.sh so that:
    a)  It uses make verify only if this is not a csit job *and*
        if the patch has as a parent a point from which make verify
        is known to work
    b)  It uses the old build.sh if its building CSIT jobs or the patch
        is from before make verify.

The result is, patches should verify or not on their own merit, not
on the happenstance of coming before or after make verify, and
we don't do the extra make verify work for jobs were CSIT just needs
packages built.

Note: This patch is a fixed version of https://gerrit.fd.io/r/#/c/4083/
and has been tested using the 'DRYRUN' env variable.

Change-Id: Ie6f1e6ce2809e21ea025bccfaec703cd7519e20e
Signed-off-by: Ed Warnicke <hagbard@gmail.com>

Revert "Use make verify only after its working and not for CSIT builds."

This reverts gerrit https://gerrit.fd.io/r/#/c/4083/

This reverts commit 12420b9347e5c92554b45f844dc31dd69d31beff.

Change-Id: If92739ef507f079d5e45fa412924837f8b358c33
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Use make verify only after its working and not for CSIT builds.

This patch does the following:

1)  Introduces a new PARAMATER called is-csit-vpp-job
2)  Sets that PARAMETER to 'True' for csit-vpp-jobs
3)  Changes the include-raw-vpp-build.sh so that:
    a)  It uses make verify only if this is not a csit job *and*
        if the patch has as a parent a point from which make verify
        is known to work
    b)  It uses the old build.sh if its building CSIT jobs or the patch
        is from before make verify.

The result is, patches should verify or not on their own merit, not
on the happenstance of coming before or after make verify, and
we don't do the extra make verify work for jobs were CSIT just needs
packages built.

Change-Id: I1066c6a8087e639d81e9afab809f4a02b1f6b99c
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Merge "Revert "Put in check to make sure the patch is rebased late enough""

Merge "Remove references to karaf in hc2vpp and honeycomb jobs"

Add a IS_CSIT_JOB parameter with the goal of having CSIT just build packages

Change-Id: Ie3892c5b5e90af1083889aa8166cee4e022873bc
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Revert "Put in check to make sure the patch is rebased late enough"

This reverts gerrit https://gerrit.fd.io/r/#/c/4061/

This reverts commit 9ee4a123ed5faebc5f795e2c88c8e1e5ea6947ac.

Change-Id: I3bdeb6b0be6ea4013995b11ea626b03a04bb5069
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Merge "Put in check to make sure the patch is rebased late enough"

Put in check to make sure the patch is rebased late enough

Change-Id: Ia32ad82a3d8ee91282b26f70b4728e252e7453fd
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Merge "Add 1701 stream to vpp csit jobs as well"

Remove references to karaf in hc2vpp and honeycomb jobs

Karaf is neither used in honeycomb nor in hc2vpp

Change-Id: I9f85f3391e5dd76b5d1e4b32d020da0ba3bf1b29
Signed-off-by: Marek Gradzki <mgradzki@cisco.com>

Add 1701 stream to vpp csit jobs as well

Change-Id: Ic24d30b58ed9320a60975b4e5efd9285072cab60
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Merge "Added 17.01 stream for vpp"

Added 17.01 stream for vpp

Change-Id: I4c968cbd1fc53db0ca57de68fbe57b08fbb1e3ba
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Merge "Add UNATTENDED=yes to make verify for vpp"

Add UNATTENDED=yes to make verify for vpp

Change-Id: Ic677efb56973b50d1701171153e7648ec6fbf46e
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Remove vpp-csit-verify-virl-1604-test-{stream} job.

Change-Id: Ifa69341cab351652d38a66b13d7bb67d51c82caf
Signed-off-by: Dave Wallace <dwallacelf@gmail.com>

Merge "Migrate vpp-verify-* to using make verify"

Merge "Update to trex job to build from trex repo"

Migrate vpp-verify-* to using make verify

Also retires vpp-clang-* and vpp-lite-verify-*
as they are now covered by make verify.

Change-Id: I19967cd82b67029a7396bdba6907aa3d4d7da865
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Merge "Update tldk jbb builders"

Update to trex job to build from trex repo

Change-Id: I2a619c74d1318447f6e64e0fbc6e9b46889b146d
Signed-off-by: Ed Warnicke <eaw@cisco.com>

HON-1 override docs folder to fix deploy url

Change-Id: I51cc53ebd478cfdd4895c8caed760ab16191bd1f
Signed-off-by: Maros Marsalek <maros.mars@gmail.com>
Signed-off-by: Marek Gradzki <mgradzki@cisco.com>