Fix failing tests after Fluorine bump in HC (HONEYCOMB-433)

- this fixes failing tests after bumping ODL dependencies
  in Honeycomb and HC2VPP projects.
- increased timeout for installing ODL feautres,
  sometimes it takes longer to install them.

Change-Id: Ib3ae8106ae0c1122410e9bd7924d0b49ed6059c7
Signed-off-by: Michal Cmarada <michal.cmarada@pantheon.tech>

CSIT-1297: Modify the bootstrap.sh to run only selected mrr suites

Change-Id: I7071abd6c4a52a86efea573a4f9bcb54547dc004
Signed-off-by: Tibor Frank <tifrank@cisco.com>

CSIT-1294 FIX: ValueError: CTR mode needs counter parameter, not IV

The issue is caused by python-crypto library in upstream Ubuntu 1804
repo. Unless there is permanent fix there is workaround to always
download fresh version, not preinstalled.

Change-Id: Ic2318eb532a6e7a910e4ffb209556c17e6070d3d
Signed-off-by: Peter Mikus <pmikus@cisco.com>

CSIT-1320 Update SFC-controller configurations to latest version

Change-Id: Ibaca5e848a8f4dcd2a50f873bea37bd99aa5d62c
Signed-off-by: Peter Mikus <pmikus@cisco.com>

CSIT-1326 VLIB: barrier sync elog tracing

- API changed.

Change-Id: If70e1a930aa14b129ad38ef544cff32ad5a08cdd
Signed-off-by: Peter Mikus <pmikus@cisco.com>

CSIT-1325 - FIX: AVF tests failing on unbind

Currently there is and issue when consecutive AVF suites are
trying to initialize AVF and bind VF to vfio-pci driver, there
seems to be race condition if VPP has already VFs allocated.

This patch should introduce safer contstrain to disable VPP prior
AVF init.

Change-Id: Id8839200f19d9e7a18d161b660cfb1e43a8ca379
Signed-off-by: Peter Mikus <pmikus@cisco.com>

CSIT-1326 Add barrier event traces

Change-Id: I0f734c2f11cc89716371554880f1d7404ea16090
Signed-off-by: Peter Mikus <pmikus@cisco.com>

CSIT-1327 Migrate from vpp-dkms-dpdk to vpp-ext-deps

Change-Id: I6fad3303c5c331ad36d163ba735907e35931dea0
Signed-off-by: Peter Mikus <pmikus@cisco.com>

Update of VPP_STABLE_VER

- use new vpp ref build - ubuntu 16.04:
  18.10-rc0~526-g6648fc7~b5298

- use new vpp ref build - centos7:
  18.10-rc0~526_g6648fc7~b5203

Change-Id: I1304fb9bf55624569dd1d9665296e5a0a4fa19c9
Signed-off-by: Jan Gelety <jgelety@cisco.com>

FIX: Single memif tests failing

This patch suppose to fix the single memif TCs failing on SKX nodes.
By stoping Host VPP during startup of Guest VPP. This way Guest VPP
can take interface on single pass.o

Change-Id: I88e6932bf007ce0f6a367927de5f017ffb8fdaca
Signed-off-by: Peter Mikus <pmikus@cisco.com>

CSIT-1321 Add IP4base tests using AVF driver

Change-Id: I960c2b4170efa06597851853cfc15bda1c60fe94
Signed-off-by: Peter Mikus <pmikus@cisco.com>

Exclude dot1q in the default tag array

Mainly useful to reduce test set for per patch.

Change-Id: I55a5f2d268c3105ac32d25ae317e149d3c3b4e14
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

integration of DMM+lwip testscripts

Change-Id: Ifb1a0702353e71c61a694dea5164df41f4e23389
Signed-off-by: sharath <sharathkumarboyanapally@gmail.com>

FIX: testcode detection in perf jobs

Change-Id: I4c0c5afa8a8dff814382cb0ad6d9df0410179755
Signed-off-by: Peter Mikus <pmikus@cisco.com>

Fix jumbo frames

Change-Id: I8aa557fe75133d20eef9832e314357af71f1d19a
Signed-off-by: Tibor Frank <tifrank@cisco.com>

Add Vratko to committer list

Also specify "Europe/Bratislava" timezone for people based in Slovakia.

Change-Id: Ib2ac19668c4216bfe1d31e664d477b2986583bd9
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

CSIT-1316 Fix ligato building mechanics in CSIT bootstraps

Change-Id: Ia8da73cbf7ab213b61a330b757419330667be24b
Signed-off-by: Peter Mikus <pmikus@cisco.com>

CSIT-1317 ADD: Ability to blacklist tags per topology

- Add option to override some tags per topology.

Change-Id: I4045ebbee1c5d32e29cdb6c5c84e0dcd9217b2cf
Signed-off-by: Peter Mikus <pmikus@cisco.com>

FIX: Add VatHistory for VATscript files.

Add ability to see Vat history for file sourced commands.

Change-Id: I49b19236bec7253ea412659368cb7ccb5f5e3274
Signed-off-by: Peter Mikus <pmikus@cisco.com>

Update of VPP_STABLE_VER

- use new vpp ref build - ubuntu 16.04:
  18.10-rc0~465-gb7020d6~b5194

- use new vpp ref build - centos7:
  18.10-rc0~465_gb7020d6~b5101

Change-Id: I1fa617bb2d93e5f371b7d41ed6b9b060938493b5
Signed-off-by: Jan Gelety <jgelety@cisco.com>

CSIT-1292 Update Ansible playbooks with vpp_device tasks

Change-Id: I22d1fe2fc27d6adb39eba2578e68d06992a3f976
Signed-off-by: Peter Mikus <pmikus@cisco.com>

Fix autogen regenerator and few suites

+ "elif" instead of "else if".
+ Some suites had test cases reordered.
+ Some suites contained 9000B cases for avf.

Change-Id: I3bf8241c317f20dbf66b497a2c8be35ef71307f5
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Add example of 2-node topology file

Change-Id: I3e72c568f09e0b7e20b4ea395f1b2d5efce77f40
Signed-off-by: Peter Mikus <pmikus@cisco.com>

FIX: Do not run double link tests on 3n-hsw

Change-Id: I9dfb4bfba4d0650a42e34d0e1f97b60b031f0750
Signed-off-by: Peter Mikus <pmikus@cisco.com>

FIX: 40Ge2P1Vic1385-Eth-L2Bdbasemaclrn-Mrr typo

- Per trending.

Change-Id: I1e24b20bc774dae91df6fb81e3a9132ff79e3beb
Signed-off-by: Peter Mikus <pmikus@cisco.com>

Add dot1q-l2bdbase-2memif-[ndrpdr|mrr] perf tests for 2-node topology

Jira: CSIT-1289

Change-Id: I9e3f1f4a03e3cac9d8831f3a87e0b1bce27a109e
Signed-off-by: Jan Gelety <jgelety@cisco.com>

Add dot1q-l2bdbase-2vhost-[ndrpdr|mrr] perf tests for 2-node topology

Jira: CSIT-1286

Change-Id: Id51c7dbf15d846f1286e6efbc5240a2556ec9652
Signed-off-by: Jan Gelety <jgelety@cisco.com>

CSIT-1205 Create AVF driver test - Add Tests L2BD L2XC

Change-Id: Ia74a87346fe2c0a170b881b510f1b0558a538f3c
Signed-off-by: Peter Mikus <pmikus@cisco.com>

Create basic 2-node topology performance tests for Intel-X553 NIC

Intel-X553 is Denverton (Intel Atom cpu based SOC) integrated NIC, add below
basic 2-node topology performance test suites for it, the test suites were
changed from the existing Intel-x710 test suites,

- eth-l2patch-mrr
- eth-l2patch-ndrpdr
- eth-l2xcbase-mrr
- eth-l2xcbase-ndrpdr
- eth-l2bdbasemaclrn-mrr
- eth-l2bdbasemaclrn-ndrpdr
- ethip4-ip4base-mrr
- ethip4-ip4base-ndrpdr
- ethip6-ip6base-mrr
- ethip6-ip6base-ndrpdr

Change-Id: Ib6d3655a6e14ae275c197fd7b39d59e17a233326
Signed-off-by: Yulong Pei <yulong.pei@intel.com>

CSIT-1291 Improve service handling with container detection

Change-Id: Iaeac10676f46e0267041afee927bc6e3201146b2
Signed-off-by: Peter Mikus <pmikus@cisco.com>

CSIT-1288: Prepare data to be sent by Jenkins

Change-Id: I0840883d52180d09f7de2bd9b0391a0db24105f5
Signed-off-by: Tibor Frank <tifrank@cisco.com>

CSIT-1288: Prepare data to be sent by Jenkins

 - Add creation of tar.gz file

Change-Id: I525c713bb3e157cd94337222781066252c3fa517
Signed-off-by: Tibor Frank <tifrank@cisco.com>

Add dot1q-ip6base-[ndrpdr|mrr] perf tests for 2-node topology

Jira: CSIT-1283

Change-Id: I0f6841bafdb47bdbc3efe29801fe66a0d4c388ca
Signed-off-by: Jan Gelety <jgelety@cisco.com>

CSIT-1131: Alerting

- CSIT-1132: Send e-mail with a list of failed tests
- CSIT-1288: Prepare data to be sent by Jenkins

Change-Id: I7ac720dca44d7c13b22218abbca7a00d36d459cb
Signed-off-by: Tibor Frank <tifrank@cisco.com>

Add dot1q-l2[bd|xc]base-[ndrpdr|mrr] perf tests for 2-node topology

Jira: CSIT-1284

Change-Id: I8ce4ffc76adf55bf9a8423077b8639601c560c87
Signed-off-by: Jan Gelety <jgelety@cisco.com>

Update of VPP_STABLE_VER and DPDK_STABLE_VER files

- use new vpp ref build - ubuntu 16.04:
  18.10-rc0~422-geeadc14~b5124

- use new vpp ref build - centos7:
  18.10-rc0~424_gef90ed0~b5050

- use new dpdk version:
  18.08-vpp3

NOTE: Centos7 and Ubuntu16.04 builds are litle bit different
      because of availability of builds on repo.

Change-Id: I6cefd91351848fb075935ae9b41354d3432eacf3
Signed-off-by: Jan Gelety <jgelety@cisco.com>

Add dot1q-ip4base-[ndrpdr|mrr] perf tests for 2-node topology

Jira: CSIT-1278

Change-Id: I3cc929222d7fd58f38e33917e84675e9c0b55bbd
Signed-off-by: Jan Gelety <jgelety@cisco.com>

Add coding guidelines document

Started as a quite verbatim paste from:
https://wiki.fd.io/view/CSIT/Documentation#CSIT_Test_Code_Guidelines
then re-formatted, and new ideas added.

Change-Id: I13fc3d267f07d88cf22402051480613e55123d44
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

CSIT-1282 Migrate from Nexus.fd.io to packagecloud.io

Change-Id: Ib4e72dc8e3c0fedfcd702f4f97bc4f26cbc642e9
Signed-off-by: Peter Mikus <pmikus@cisco.com>

CSIT-1280 Single memif container test failing

- FIX

Change-Id: I4b62d08b140dc73eb950d21bc85dc41ad638bbd2
Signed-off-by: Peter Mikus <pmikus@cisco.com>

Fix: L2 scale tests are not baseline

This fixes select_tags function in common.sh
to not include scale l2bd tests in default tag list.

This is needed because "L2BDBASE" tag selects also scale tests
(contrary to similar IP4BASE and IP6BASE tags).

(Line length over 80 characters is left there
as an indirect TODO to improve the tags.)

Change-Id: Ic1d4a046f327fdd1b8b08eb20f1cdb4b12f337c9
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Fix: trap for unreserve before cleanup

Change-Id: I978a056ffdfd6daa00a0a1c587774b4a7204b434
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

CSIT-1269: Add VTS tests to trending

Change-Id: I9ddbad8e4c3f64553c72f77f93eb9d6c21602eca
Signed-off-by: Tibor Frank <tifrank@cisco.com>

Create l2bdscale tests for 2-node topology

Jira: CSIT-1268

Change-Id: I13bf2e570a7d7231ba19c2c41db2b44c0b8d215a
Signed-off-by: Jan Gelety <jgelety@cisco.com>

CSIT-1179: Switch MRR to multiple trials

But keep the detection in PAL using only average, not size nor stdev.

Change-Id: I07092bdeb892c871550265757fd2846a36fbb352
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

CSIT-1270: Split feature tests in trending

Change-Id: Iecc841737552fea07b7fcf297c478479f7872ae7
Signed-off-by: Tibor Frank <tifrank@cisco.com>

CSIT-1271: Add VTS tests to MRR jobs

Change-Id: I5c0be60a1819c5c46225b4468ba9c88068231f08
Signed-off-by: Tibor Frank <tifrank@cisco.com>

CSIT-1272: Fix VTS tests

Change-Id: Ibc4ae346032b2b711e4dcd1dbc9c0873e8464b19
Signed-off-by: Tibor Frank <tifrank@cisco.com>

CSIT-1262: Add 2n/3n-skx to trending

CSIT-1263: Edit Trending static content

Change-Id: Ief60f3bea75fb9fd153f7abb0a5933f1a3e317aa
Signed-off-by: Tibor Frank <tifrank@cisco.com>

Create ip6scale tests for 2-node topology

Jira: CSIT-1176

Change-Id: I78f4e9cb24a7de0bde24a78d1ca26607598a62b2
Signed-off-by: Jan Gelety <jgelety@cisco.com>

Add INFO.yaml file

Add INFO.yaml to list:
- Project description
- Properties
- Issue Tracking
- Contacts
- PTL information
- Meeting information
- Committer information

Change-Id: I02ef3fca1bef20ab5497b632c1995019bd7d1074
Signed-off-by: Vanessa Rene Valderrama <vvalderrama@linuxfoundation.org>

Fix autogen violations

Four AVF suites had test cases in different order.

Change-Id: I12fbe3508016a79a2153cc004c654a21ee4279bf
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

CSIT-1264: Add oper branch wrapper entry script

Change-Id: I569b089b711f89fecca8dd31d6906ef311982877
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

fix CSIT broken issue when numa_node value is -1 on single Socket platform

Single Socket platform e.g. Intel Atom cpu based SOC platform with
Ubuntu 16.04.4(kernel 4.13.0-36-generic) or Centos 7.5 (kernel 3.10.0-862.el7),
value of /sys/bus/pci/devices/<pci_device_id>/numa_node is -1, this will
break CSIT performance test running, but for this kind of SOC platform,
it can consider that is not NUMA based platform, numa_node=-1 is reasonable,
so fix it at CSIT side, when numa_node=1 and the system's NUMA node count
is 1, set numa_node=0. DPDK also did it as this way.

Change-Id: I9ac23d3cece2f1489e38f05b50a462bb2ad9f661
Signed-off-by: Yulong Pei <yulong.pei@intel.com>

Create ip4scale tests for 2-node topology

Jira: CSIT-1174

Change-Id: I46944a3bc0f508d80c8c944dab0190925ebe21f5
Signed-off-by: Jan Gelety <jgelety@cisco.com>

CSIT-1205 Create AVF driver test

- Add L1 KWs for SR-IOV handling (init Vfs, remove Vfs, ...)
- Cleanup L1 KWs for SR-IOV bind/unbind/pci_get/...
- Add L2 KWs for Test Setup/Teardown, L2patch, Create AVF interface
- Add sample L2patch test fox x710, xxv710

Change-Id: If17077877455a14043617d8ea0d06cbe47b469e3
Signed-off-by: Peter Mikus <pmikus@cisco.com>

Add Report history

Change-Id: I5c7e594bcce266d765d2a517adcbec8e88da7c48
Signed-off-by: Tibor Frank <tifrank@cisco.com>

Add known issues to report 18.07

Change-Id: Ide101c80e2ef13021f25096da6afd9e4364ee263
Signed-off-by: Tibor Frank <tifrank@cisco.com>

Fix various pylint violations

+ SchedUtils.py: Do not use `len(SEQUENCE)` to determine if a sequence is empty
+ VatHistory.py: Do not use `len(SEQUENCE)` to determine if a sequence is empty
+ VppCounters.py: Do not use `len(SEQUENCE)` to determine if a sequence is empty
+ Memif.py:
++ Do not use `len(SEQUENCE)` to determine if a sequence is empty
++ Either all return statements in a function should return an expression,
   or none of them should.
++ Update :return: on possible None.
+ Classify.py: Unnecessary "else" after "return"
+ ContainerUtils.py: Useless super delegation in method '__init__'
+ CpuUtils.py: Do not use `len(SEQUENCE)` to determine if a sequence is empty
+ DropRateSearch.py: Either all return statements in a function
  should return an expression, or none of them should.
+ IPv4NodeAddress.py: Do not use `len(SEQUENCE)` to determine if a sequence is empty
++ Also improve docstrings.
+ IPv4Setup.py: Useless super delegation in method '__init__'
+ IPv6Setup.py: Do not use `len(SEQUENCE)` to determine if a sequence is empty
++ Also improve docstrings.
+ IPv6Setup.py: standard import "from ipaddress import IPv6Network"
  should be placed before "from robot.api import logger"
+ MacSwap.py: Trailing newlines
+ NATUtil.py: Do not use `len(SEQUENCE)` to determine if a sequence is empty
+ NodePath.py: Unnecessary "else" after "return"
+ Tap.py: Do not use `len(SEQUENCE)` to determine if a sequence is empty
+ topology.py: Either all return statements in a function
  should return an expression, or none of them should.
+ topology.py: Unnecessary "else" after "return"
++ Do not use `len(SEQUENCE)` to determine if a sequence is empty
++ Improve docstrings
+ DUTSetup.py: Do not use `len(SEQUENCE)` to determine if a sequence is empty
++ Also do not compare int(ret_code) just to access zero-ness.
+ ssh.py: Do not use `len(SEQUENCE)` to determine if a sequence is empty
+ InterfaceUtil.py: Unnecessary "else" after "return"

Change-Id: Iba4244aa79661ee7df15fed5c7c6dbf04dfa88b2
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Add eth-ip4base-2memif[ndrpdr|mrr] perf tests for 2-node topology

- added also 3-node test cases for comparison

Jira: CSIT-1261

Change-Id: I1bfcc184e925e969d4a610920c4e49af23047507
Signed-off-by: Jan Gelety <jgelety@cisco.com>

Fix pylint part 1

- Decrease pylint errors. Part: easy

Change-Id: I452e5b5a11e9b78c03cd173a3848babe21b93c73
Signed-off-by: Peter Mikus <pmikus@cisco.com>

CSIT-1135: Scripts for VPP per-patch testing

+ Scripts do not rely on (other) bootstraps.
+ Perf verify bootstrap is also the new style sript now.
+ Scripts are divided to functions for better re-use.
+ Functions are sourced from small number of large "library" files.
- Still using jumpavg from pipy.
- Perpatch has specific simplified parsing (instead of the PAL one).
- Bash style document is in a separate Change.

Change-Id: If88fa528ce155ea86b614e3d77c0550b91bbdf11
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Create ip4-feature perf tests for 2-node topology

- ACL tests
- NAT44 tests
- iPoliceMarker tests

Jira: CSIT-1175, CSIT-1154

Change-Id: Ife7e7df50f7c1c8033bacdb7512e78be6bcdf4eb
Signed-off-by: Jan Gelety <jgelety@cisco.com>

Update of VPP_STABLE_VER and DPDK_STABLE_VER files

- use new vpp ref build - ubuntu 16.04:
  18.10-rc0~242-g0219b8d~b4906

- use new vpp ref build - centos7:
  18.10-rc0~242_g0219b8d~b4824

- use new dpdk version:
  18.08-vpp1

Change-Id: I1c8a12d3481108ceff8da1f4e31431fbdd9a7f1f
Signed-off-by: Jan Gelety <jgelety@cisco.com>

Insert warning against editing in requirements.txt

Change-Id: Ifed10692e122c3a42d75282c92476e508cec597d
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

FIX: Correction of ACL perf test suite documentation

Change-Id: I01cc87f5f5409346566ded52da9d384fdd3fa2c4
Signed-off-by: Jan Gelety <jgelety@cisco.com>

add the expected prompt for ubuntu root user

if ssh use root account to login ubuntu os, its prompt is ":~# ",
so add it to let csit test can run with root account.

Change-Id: I21f5380245324c8e48099433e3d374188e9001d9
Signed-off-by: Yulong Pei <yulong.pei@intel.com>

Adjust TEST_TAGs for timed jobs

+ remove obsolete bootstraps

Change-Id: Iee1fe404106f2fa0c438ff30526e756f037ce676
Signed-off-by: Peter Mikus <pmikus@cisco.com>

VPP link bonding perf tests with two links between DUTs

Jira: CSIT-1247

Change-Id: Ia6a3f7682eb9a35040682913c0e33a1d61d1e6fa
Signed-off-by: Jan Gelety <jgelety@cisco.com>

report 18.07: added 2 known issues identified in CSIT-18.07 for vpp performance.

Change-Id: I220084bb5b5fd4909c8f1e2bef60e98594958e45
Signed-off-by: Maciek Konstantynowicz <mkonstan@cisco.com>

CSIT-1222: Edit MLRsearch readme for 0.2.0 release

Change-Id: Ib2349f574720c61040f824f87bce01b5d68a2598
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

CSIT-944: PAL Extensions: Mapping table

Change-Id: I3bebf9ad849c056d2bbac476d22ef5e077af05b3
Signed-off-by: Tibor Frank <tifrank@cisco.com>

CSIT-1164 Create VM vhost tests for 2-node topology

Change-Id: I955d3170da94cf35a2fda03259bcdc020ac2b652
Signed-off-by: Peter Mikus <pmikus@cisco.com>

CSIT-1222: Do two doublings in external MLRsearch

Make number of doublings configurable,
keep Python default at 1, set Robot default to 2.

Also make docstring types unique
(pylint was complaining about classes and modules having the same name).

Increase MLRsearch version to 0.2.0.

Change-Id: Ib846032e79ff52994503c0cfef2f86655502c275
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

HC Report: update list of known issues

Current list was based on Jira,
which turned out to be outdated.

Change-Id: I216616cda766075b8b78f7c3f2f7a6775a622e23
Signed-off-by: Marek Gradzki <mgradzki@cisco.com>

HC Tests: reenable VxLaN GPE ipv6 tests

The issue is no longer present in VPP master branch (1810).

Change-Id: I64f4fa8544ace8dc3686db9a1a3f3897ba333c61
Signed-off-by: Marek Gradzki <mgradzki@cisco.com>

FIX: Use correct interface type in x710_1lbvpplacp perf tests

Change-Id: I68db0b0441ffc7d9b5e04048688711915ab24726
Signed-off-by: Jan Gelety <jgelety@cisco.com>

Add MRR tests for kubernetes

Fix number of flows in Documentation.

Change-Id: I0db62ab79c44db0ea55e000f8ef9cb8ee28a07fe
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

FIX: Boostrap-perf array assignment

Change-Id: I4d7c27dd182ae8e7b68b5f6342c163ac3615cad2
Signed-off-by: Peter Mikus <pmikus@cisco.com>

HC Tests: mark BGP v6 tests as critical

TC13 of BGP tests was marked as EXPECTED_FAILING
due to HONEYCOMB-403,
but the error does not occur on 1807 nor master for some time.

Change-Id: I3d8f4ee78fed699927fed05e8fa070cfa95b2166
Signed-off-by: Marek Gradzki <mgradzki@cisco.com>

Refactor VHOST code

CSIT-1164 Create VM vhost tests for 2-node topology
CSIT-1173 Implement VM vhost KWs for 2-node topology

- Cleanup QemuUtils.py Library (PEP8, some TODOs, readability, multi queue,
ring size, qemu version detection)
- Cleanup VHOST KWs perf (Unify running QEMU on N-node topology)
- Add ability to configure Queues, Hyperthreading, automatically compute
number of CPU for VM/Testpmd and RXQ for Testpmd workload.
- Partial cleanup of configuration KWs (l2xc, l2bd) for 2-node
- Create IPv4 2-node KW

Change-Id: I8aae1355bafa651de715cd438fe706c443ea1d88
Signed-off-by: Peter Mikus <pmikus@cisco.com>

Update of VPP_STABLE_VER files

- use new vpp ref build - ubuntu 16.04:
  18.10-rc0~193-g612dd6a~b4857

- use new vpp ref build - centos7:
  18.10-rc0~193_g612dd6a~b4774

Change-Id: I2bb408d0299d8e6bad0ad8e6b37eccf27d3f6de9
Signed-off-by: Jan Gelety <jgelety@cisco.com>

PAL improvement: Log repr() of PresentationError

Change-Id: I491e3a77dda06e6a1caa34f70baaef9751674fbd
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

FIX: PAL: Keep increasing index on error

The previous fix has added KeyError reporting and recovery,
but the reported index got stuck on value 15.

Change-Id: I2cec0f678a79ba3e5ca425c92c605e00cf551a35
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

report 18.07: fixed link mapping for generated report  pdf file.

Change-Id: I2e23fe3b6f03055beab536e6534dd43d229b7024
Signed-off-by: Maciek Konstantynowicz <mkonstan@cisco.com>

release 1807: fixed directory nesting for perf comparison files.

Change-Id: I14e1a53543ab3b03b3136920a67ab594a22167cf
Signed-off-by: Maciek Konstantynowicz <mkonstan@cisco.com>

report 18.07: bump report version to v1.0.

Change-Id: Id8d17666bd6cff45641f5d44c63db59603680a54
Signed-off-by: Maciek Konstantynowicz <mkonstan@cisco.com>

report 18.07: final final editorial nit picking in v0.9.
Formatting and removing excessive white space in static content.

Change-Id: I7400f4ba6386b85b59b667db026558685ec0d1a1
Signed-off-by: Maciek Konstantynowicz <mkonstan@cisco.com>

report 18.07: Bump report version to v0.9.

Change-Id: Ic4f5520f69d0a97afe54aa8fed269812993d66f7
Signed-off-by: Maciek Konstantynowicz <mkonstan@cisco.com>

report 18.07: draft v0.9 editorial nit-picking, take-2.

Change-Id: Id2a627b1e48275f505a3ea50004285516a47897e
Signed-off-by: Maciek Konstantynowicz <mkonstan@cisco.com>

report 18.07: draft v0.9 editorial nit-picking.

Change-Id: I7fb9dff8f5ebce0ac03ef99c74b14b02638042ac
Signed-off-by: Maciek Konstantynowicz <mkonstan@cisco.com>

report 18.07: Bump report version to 0.8.

Change-Id: Ic5ac9733534fc0f67467c6ea47a4123e246a793a
Signed-off-by: Maciek Konstantynowicz <mkonstan@cisco.com>

report 18.07: moved performance change/compare sections out of rls notes to separate sections for vpp and dpdk.

Change-Id: If620cd894ea906baf0391617e5440e34f7136c37
Signed-off-by: Maciek Konstantynowicz <mkonstan@cisco.com>

report 18.07: updated known issues perf changes based on latest test data in report.

Change-Id: I070cdecb936f294da4798712c197795aa0a85d9a
Signed-off-by: Maciek Konstantynowicz <mkonstan@cisco.com>

Add NIC exclusion for all jobs in perf bootstrap

This patch is suppose to move the processing logic for all job
types, including timed trigger perf jobs. This should eliminate MRR job
to run NIC tests not in topology file.

Change-Id: I9add5073266bd37fd3ef2c6efe7244b41e85f2a9
Signed-off-by: Peter Mikus <pmikus@cisco.com>

report 18.07: reformatted known issues tables in rls notes sections.

Change-Id: I2e6c6910542ec06ffd68a95d66c427fe2589c833
Signed-off-by: Maciek Konstantynowicz <mkonstan@cisco.com>

copying all .so[newly added] into app directory

Change-Id: I5b89732c5dd1a4b74ffbafbd78803721dbf9c61c
Signed-off-by: sharath <sharathkumarboyanapally@gmail.com>

Remove DPDK MRR changes section from report
Bump report version to 0.7

Change-Id: I77478e3b58daab25bdece1e67795cc911f470136
Signed-off-by: Peter Mikus <pmikus@cisco.com>

report 1807: updated known issues in vpp perf rls notes.

Change-Id: I340548173018d234f699b1125c886fcd9ae75347
Signed-off-by: Maciek Konstantynowicz <mkonstan@cisco.com>

CSIT-1245 - Wrong configuration of srv6proxy-ndrpdr-stat and srv6proxy-masq-ndrpdr TCs

Change-Id: If5a45b97c90f85f2f193d796adbddd329f2728cd
Signed-off-by: Peter Mikus <pmikus@cisco.com>