Merge "Various fixes to the deb_dpkg build script"

Grant Jenkins sudo rights on build minions

While it would be nice to not need sudo rights for Jenkins on the build
minions, it is unfortunately needed in many cases.

Change-Id: Ia7b78008d9f828b222f1f530ec52db340152b29a
Signed-off-by: Andrew Grimberg <agrimberg@linuxfoundation.org>

Merge "Use ubuntu1604 nodes for csit jenkins jobs"

Adding new wrapper to allow no-activity timeouts

Adding fdio-infra-wrappers-non-activity-timeout wrapper to allow
additional configuration timeout options.  Configured CSIT timeouts
using the new wrapper.

Change-Id: I40b3288b788f1acc2c5682adb0b544af85d75335
Signed-off-by: Vanessa Rene Valderrama <vvalderrama@linuxfoundation.org>

Merge "No-activity timeout for csit-perf jobs"

CSIT-56: Automated run of Honeycomb tests

- Update 'csit-honeycomb-functional-{stream}-{os}' job to the
  latest changes.

Change-Id: I904423a4f55c11007aa7ba1a0268642a103ab699
Signed-off-by: Tibor Frank <tifrank@cisco.com>

Use ubuntu1604 nodes for csit jenkins jobs

- set node to verify-ubuntu1604 for all csit jenkins jobs

Change-Id: I08a9083295473eae44ff4f7ec76febf435860f13
Signed-off-by: Jan Gelety <jgelety@cisco.com>

Remove references to ccache.

Change-Id: Ie3578599ec8493efb748fcf3602ed4fde22e77dc
Signed-off-by: Thomas F Herbert <therbert@redhat.com>

Correct failing JJB processing

* use literal gerrit credentials
* remove wrappers which are defined in a template

Change-Id: Icc827b4435be7a401705f4089821358d6912d937
Signed-off-by: C.J. Collier <cjcollier@linuxfoundation.org>

Merge "Initial commit of support for rpm_dpdk project. Fix script name and removed Maven Definition missing required for Centos 7 builds."

Update VPP CSIT verify jobs to 1604

Change-Id: I60d238d70f079a84130d26ae9f3b8a0a637820d3
Signed-off-by: Dave Wallace <dwallacelf@gmail.com>

Use manual trigger for vpp-csit-verify-virl-1604-test-{stream}

Change-Id: If56b8bd54f5980397fcee125fa3b6107451c068b
Signed-off-by: Dave Wallace <dwallacelf@gmail.com>

job-template fixes for vpp-csit-verify-virl-1604-test-{stream}

Change-Id: I201d1b9c2a0884eb4d6c8063aa5287de271780bb
Signed-off-by: Dave Wallace <dwallacelf@gmail.com>

Add csit functional test to vpp-csit-verify-virl-1604-test-{stream}

Change-Id: I4a401dd8b9a7772bb971982b667747eff5042a4b
Signed-off-by: Dave Wallace <dwallacelf@gmail.com>

Initial commit of support for rpm_dpdk project.
Fix script name and removed Maven
Definition missing required for Centos 7 builds.

Change-Id: I6b7f4fab9c1b2d634e5576cd21977f0455a18cd1
Signed-off-by: Thomas F Herbert <therbert@redhat.com>

Merge "Fix probe job to use ubuntu1604"

Fix probe job to use ubuntu1604

Change-Id: I7b27c20b4ecf98d92bf3b5dfe8a49bbaabf37496
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Fix vpp-csit-verify-virl-1604-test due to 3412

Need to update vpp job to make use of changes from Change 3412.

Change-Id: I3946667d3eee87e0c9a7b7c7a84242de8eaa3319
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Remove jjb-update.sh script"

Merge "Use fdio-infra-wrappers to simplify common wrapper use"

Merge "Remove unnecessary ssh-credentials defaults"

Merge "Remove the need for mvn33 defaults"

Probe job to check for csit 1604

Change-Id: Ibaa54365c7bf96138650bc76a9b4eb11155c2f86
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Revert "Update VPP CSIT verify jobs to 1604"

This reverts commit 9e8303d5eee34cf0cae19502a195c252f8d696b2.

Change-Id: I14d3820d882bd2f077b52155e24de81a2e9d8a9a
Signed-off-by: pmikus <pmikus@cisco.com>

No-activity timeout for csit-perf jobs

Absolute timeout is not an option for csit perf jobs, but we can
declare perf job as dead if there is no console output for some time.

Change-Id: If075c2be8a139c859f80bc55e64e9dac291ac9f8
Signed-off-by: Miroslav Miklus <mmiklus@cisco.com>

Update VPP CSIT verify jobs to 1604

Change-Id: I2d9c1eb9a098d01fca4eed66c1077eec39231568
Signed-off-by: pmikus <pmikus@cisco.com>

Various fixes to the deb_dpkg build script

* Use more accurate means of finding upstream original version
* Remove options from dpkg-checkbuilddeps
* Replace ~ with - in origin versions
* Add message indicating which packages need to be included in respin
* refactor checks for shasums of respin scripts

Change-Id: Ie6f95f71cd37434882a93c3ad25d8444460ec74d
Signed-off-by: C.J. Collier <cjcollier@linuxfoundation.org>

Merge "Enable ubuntu16 build for HC"

Explicitly set JDK as openjdk8 for honeycomb jobs

Change-Id: I309ee62b065589e61a815e8f05e9cfc33742cc73
Signed-off-by: Marek Gradzki <mgradzki@cisco.com>

Remove jjb-update.sh script

The jjb-update.sh script was used by ODL when they had a custom
abstraction layer ontop of JJB for further customizing job templates.
This is no longer used in ODL and FD.io never had any custom JJB
scripting layer to begin with so this script is actually an unnecessary
additional process being run, remove it.

Also improve the merge job to print out python library versions and
jenkins-jobs version for troubleshooting.

Change-Id: I2e174747601c3ea31b1f5912ac56815bd73b3ae2
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Use fdio-infra-wrappers to simplify common wrapper use

- Move timestamps to fdio-infra-wrappers as every job is using it
- Move ssh-credentials into fdio-infra-wrappers as every job is using it
- Ensuer ALL jobs are using fdio-infra-wrappers (this should be policy!)

FD.io has this convenient wrapper called fdio-infra-wrappers which is a
simple macro to configure common wrapper functionality that all jobs
should be configured with all jobs are already configuring it too so
simplify job configuration and ensuring we don't have duplication
everywhere.

Less lines of code and more code reuse makes for easier maintenance :)

Change-Id: Ia73b09dfc556f684c43853797231da84a9c517af
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Remove unnecessary ssh-credentials defaults

ODL used to use a variable called {ssh-credentials} as a form of
redirection in order to have a simple human readable word to represent a
unique credentials id in Jenkins. Newer versions of Jenkins actually
allows us to override the credentials-id UUID format and pass a human
readable filename.

Considering that FD.io has been using a human readable
jenkins-gerrit-credentials credentials-id remove the unnecessary
{ssh-credentials} id defaults from global-defaults and just access the
credential directly.

Change-Id: I7b59357dcacb2195646719709b3b623429deca91
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Remove the need for mvn33 defaults

Instead of indirectly calling {mvn33} in jjb and redirecting it to
Maven_3.3.9 in Jenkins. Simply name Maven in Jenkins mvn33 and then
jobs can call mvn33 directly without the need for the defaults
redirection.

The new mvn33 profile has already been created in fd.io Jenkins.

Change-Id: I792509ab2d80546a532930f1f579afb69bfc670c
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Add timestampes to all vpp jobs

Change-Id: Ic67f62f48421ad18147a13ce6485bd1c892cc3a0
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Add pristine-tar to package list

* fetching package index first
* also installing pristine-tar

Change-Id: I2b5fc1ffbf4067907c73682220f7785c8bb74690
Signed-off-by: C.J. Collier <cjcollier@linuxfoundation.org>

Enable ubuntu16 build for HC

Change-Id: I8b976f59fe4a17ff0e620b17c40ba8f071a381ac
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "Remove csit timed jobs for 16.09 branch"

Fix honeycomb-merge jobs failing to publish sonar

Jenkins 2 moved the JDK configuration to a new Jenkins global
configuration page under Manage Jenkins > Global Tool Configuration. The
fd.io instance of Jenkins was missing JDK configuration which as now
been rectified.

Additionally this patch configures the Jobs to run using a specified JDK
as configured via Jenkins global configuration. Valid values are:

- openjdk7-centos7
- openjdk8-centos8
- openjdk7-ubuntu1404
- openjdk8-ubuntu1404
- openjdk7-ubuntu1604
- openjdk8-ubuntu1604

This patch configures HoneyComb merge job to run using JDK8.

Follow on patches should be submitted to ensure all jobs explicitly
specify which JDK versions they need to run against.

RT: 30789
Change-Id: I71d281a0ea5b2dd3f1f45b9ea4acbff73765bd05
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Temporarily disable sonar

Sonar is failing at the moment because the build runs against Java 8 and
then sonar maven build step runs with Java 7. Disable sonar publishing
so that the merge job at least passes while we figure out the right
incantation to allow for the sonar step to pass.

Change-Id: I5c868ba3888a19aa85c46dc8ee6af4c6f2b49706
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Purge Java 7

* prior to running the merge job, purge the openjdk-7-jre and openjdk-7-jdk packages
* sonar is failing due to not using the correct java version
* Specifying java 8 is insufficient
* Removing java 7 is the only working solution we've found.

Change-Id: I17d5d71c54f6fd3ea42afd8d96bb9281ba5cfce3
Signed-off-by: C.J. Collier <cjcollier@linuxfoundation.org>

Remove csit timed jobs for 16.09 branch

- remove 1609 option from stream_timed parameter

Change-Id: Icd1e39c8e8f47b4345bb132c031e5a94c83e17b0
Signed-off-by: Jan Gelety <jgelety@cisco.com>

Specify JDK

* include jdk: openjdk8 as per discussion on IRC

Change-Id: I8cdedd5fed0129ff3ac6c56a98b235442d9ba3d3
Signed-off-by: C.J. Collier <cjcollier@linuxfoundation.org>

Do not revert to java 7

* find and remove all instances of update-java-alternatives -s /usr/lib/jvm/java-1.7.0-openjdk-amd64

Change-Id: I2fe5167cc0210b6bb68d2fb072d020574ec3c42f
Signed-off-by: C.J. Collier <cjcollier@linuxfoundation.org>

Force Jenkins to not change votes on merge

Make sure that Jenkins doesn't try to change it's vote during any phase
of a merge job.

Change-Id: I072e7b73a9a6a68e744527d27094b4a0126076e6
Signed-off-by: Andrew Grimberg <agrimberg@linuxfoundation.org>

Merge "Force Jenkins to not change it's votes for merge"

Force Jenkins to not change it's votes for merge

Jenkins by default resets the votes it has in Gerrit to 0. Gerrit 2.13
has problems with this and causes us to catch an error. As such, we
should make sure that Jenkins does not try to change its votes when it
starts during a merge job. We assume that any merge run will be with our
normal mechanically set votes.

Change-Id: Ia45eb7ca605ee904f211065a2877fc0cc1ee5f42
Signed-off-by: Andrew Grimberg <agrimberg@linuxfoundation.org>

Merge "Update doc package dependencies"

Skip voting on merge jobs

As of Gerrit 2.13 we get an error if we vote on a change that has been
merged. As the votes couldn't be before, nor now, changed after Gerrit
submission has been merged (closed) there is no point in voting.

NOTE: This is putting back the recently reverted change

Change-Id: Ie14c308f198a79f23d717e07cb762fae6bf985f4
Signed-off-by: Andrew Grimberg <agrimberg@linuxfoundation.org>

Merge "* check out pristine tarball from git * run lintian after debuild (do not fail on lintian errors)"

Revert "Skip voting on merge jobs"

This reverts commit 65f5b4a0f8344eb4ab7badc382999036e3209da2.

Change-Id: I0e1d6d021f079dbf3374f368f07bd481a7cc33e2
Signed-off-by: Andrew Grimberg <agrimberg@linuxfoundation.org>

Skip voting on merge jobs

As of Gerrit 2.13 we get an error if we vote on a change that has been
merged. As the votes couldn't be before, nor now, changed after Gerrit
submission has been merged (closed) there is no point in voting.

Change-Id: I267cc0db3ca8515056bd0c428ffbdbc7879509c1
Signed-off-by: Andrew Grimberg <agrimberg@linuxfoundation.org>

* check out pristine tarball from git
* run lintian after debuild (do not fail on lintian errors)

Change-Id: I6416637dfbf9fe0131d24b3a8fcb53ec54066d24
Signed-off-by: C.J. Collier <cjcollier@linuxfoundation.org>

Fix for missing devscripts for deb_dpdk

Change-Id: I9cf3a3a400423da08f40467b471c8be9e667c742
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Do not revert to java 7

* honeycomb-merge-master-ubuntu1404 needs java 8 for sonar
* the revert to java 7 happens prior to the sonar run
* we now throw the guest away after each use, so there is no need to
  revert to java 7

Change-Id: I551a5a6d3da5eb9d38cc1f624ef547815a41931c
Signed-off-by: C.J. Collier <cjcollier@linuxfoundation.org>

Do not revert to java 7

* honeycomb-merge-master-ubuntu1404 needs java 8 for sonar
* the revert to java 7 happens prior to the sonar run
* we now throw the guest away after each use, so there is no need to
  revert to java 7

Change-Id: I82583ae4f6130961fb5c42741107ac74f80dd850
Signed-off-by: C.J. Collier <cjcollier@linuxfoundation.org>

Revert "Temporarily disable nsh_sfc-verify-docs job"

This reverts commit 7828d8510c0d04e040b3a931124d9f331f064580.
This reverts gerrit https://gerrit.fd.io/r/#/c/3256/

Change-Id: Id22ab8a7ad1fda1289d79b16ca19404ec8307007
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Temporarily disable nsh_sfc-verify-docs job

Change-Id: I2986cf6f3c581b3a663d69e0d8e92ad9c0ea6d99
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Merge "Configuring minions as single use"

Merge "Enable mvn site for Honeycomb"

Configuring minions as single use

Change-Id: I8a6fda290b010c3c9907000413bee390d9bfb387
Signed-off-by: Vanessa Rene Valderrama <vvalderrama@linuxfoundation.org>

Merge "Jenkins spin-up scripts"

Enable mvn site for Honeycomb

To deploy site into docs.fd.io

Works on top of:
https://gerrit.fd.io/r/#/c/3073/
Site distribution configuration:
https://gerrit.fd.io/r/#/c/3073/5/common/honeycomb-parent/pom.xml

... only Ubuntu14 deploys the site during merge job

Note: using site instead of site:site, since only with site we
can hook in groovy maven plugin to fix some generated links. With
site:site, the groovy maven plugin does not get executed.

Change-Id: Ie1086b8d20856dbe15992e67ccc0d15547ce56d3
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "Configuring minions as single use"

Merge "Configuring minions as single use"

Jenkins spin-up scripts

Scripts used for Jenkins minion startup when used with OpenStack plugin
managed minions

Change-Id: I616222a0fab12d8f283b5e633a612551c0d5f313
Signed-off-by: Andrew Grimberg <agrimberg@linuxfoundation.org>

Configuring minions as single use

Change-Id: I881c34f345d4018f8da70c83faa415fd2a2ea8a7
Signed-off-by: Vanessa Rene Valderrama <vvalderrama@linuxfoundation.org>

Configuring minions as single use

Change-Id: I4f9f14602ff0b1f455a1dd00855be59128b9feda
Signed-off-by: Vanessa Rene Valderrama <vvalderrama@linuxfoundation.org>

Configuring minions as single use

Change-Id: I79ee300057628b3884574e3640ebe3743ddf0ac4
Signed-off-by: Vanessa Rene Valderrama <vvalderrama@linuxfoundation.org>

Merge "Fix the scm for docs-verify"

Fix the scm for docs-verify

Change-Id: I12947f266bb185f3c2c561072b80374287ba1f3c
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Forgot to turn on vpp-docs-verify

Change-Id: I8051a03beed8a71f1026bb56aa6a20888a4fd04b
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Merge "Add a vpp-docs-verify job and move vpp-docs to vpp-merge-docs"

Attach rpm/deb's to vpp verify jobs

Change-Id: Iebb878a457e2c4f1dcbe137465cdb31bdabfd03d
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Add a vpp-docs-verify job and move vpp-docs to vpp-merge-docs

Change-Id: I76f4823c2453d03beb57d013f04e087f86ef7dca
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Update doc package dependencies

https://gerrit.fd.io/r/2861 introduces Jinja2 templates.

Change-Id: I9f979976292b90f05dbb5ad0b890d2ca067d7578
Signed-off-by: Chris Luke <chrisy@flirble.org>

Enable SSH dead peer detection

Change-Id: I26e858e911fb9be2c03603e044459b11bab3b626
Signed-off-by: C.J. Collier <cjcollier@linuxfoundation.org>

Merge "Add a nsh_sfc-verify-docs-{stream} job to verify docs build."

EOF needs to not be proceeded by spaces

Change-Id: I9eba1bbd11c21a1c6f6c700c02c3daa26df75e59
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Add a nsh_sfc-verify-docs-{stream} job to verify docs build.

Change-Id: I0a636e80faf7f2935ab85e0ff1d58e9c045bc082
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Only run push for merge jobs for docs

This sets us up to be able to run a verify-docs job

Change-Id: I02612019de89f144a965046d719dfa683b26423d
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Merge "Fix missing $"

Fix missing $

Change-Id: Icb3860e4349c04ed4d7b5e16c08e8012bc1a9917
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Merge "Actually run nsh_sfc-merge-docs"

Actually run nsh_sfc-merge-docs

Change-Id: Ic6a25ea0e833d0b94820356e30bb693d60b04c52
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Merge "Support ubuntu1404's output of dpkg-checkbuilddeps for deb_dpdk"

Merge "Add nsh_sfc-docs-merge jobs"

Add nsh_sfc-docs-merge jobs

Change-Id: I6b17a7b099128a1a64112bd66ea56865767fc2ea
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Support ubuntu1404's output of dpkg-checkbuilddeps for deb_dpdk

Change-Id: I2c58f4cbecb734222fbb654c7089786a6bb23cf1
Signed-off-by: Ed Warnicke <eaw@cisco.com>
Signed-off-by: C.J. Collier <cjcollier@linuxfoundation.org>

Fix deb_dpdk use of apt-get to use sudo and -y

Change-Id: I4e4fe75f7838361f5b57a333cf80f8e41444892e
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Add jobs for deb_dpdk

Please make sure to create repos:

fdio.deb_dpdk_1607.ubuntu.trusty.main
fdio.deb_dpdk_1607.ubuntu.xenial.main

For the merge job to publish to.

Change-Id: I196c85912324c7dfe872d005bd898fa8b340fdca
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Source common functions from jjb

Now using !include-raw-escape to include maven push functions for vpp
as done with honeycomb

Change-Id: Iae34c2db057203c5ac0d5a0c8336e87725bbd394
Signed-off-by: C.J. Collier <cjcollier@linuxfoundation.org>

Add some echos to debug why packages aren't being pushed

Change-Id: Ida656f01d1df5a943f8b588c5cc0e66dd0fdf5a6
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Merge "Enabled push of rpm/deb packages for nsh_sfc"

Enabled push of rpm/deb packages for nsh_sfc

Change-Id: Ie3aa47c7075e90f7a1e528a0dff96ab10224676f
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Merge "Configuring minions as single use"

Merge "Configuring minions as single use"

Merge "Configuring minions as single use"

Merge "Configuring minions as single use"

Merge "Remove install of packages - done in respin scripts"

Write vm.nr_hugepages to persistent media

Contrary to the comment, the code did not persist the vm.nr_hugepages
value across reboots

Change-Id: I34739800ccb525d725f0a936975a283886969936
Signed-off-by: C.J. Collier <cjcollier@linuxfoundation.org>