HC Tests: do not install vpp-dev in hc2vpp-csit-verify

The download_hc_build_pkgs.sh is used by
hc2vpp-csit-verify and hc2vpp-csit-verify-odl jobs.
These jobs download latest VPP packages
and unlike other HC CSIT jobs, build hc2vpp.

This patch removes vpp-dev/vpp-devel packages
from the list of installed VPP packages
to unify the environment with the other HC CSIT jobs.

Change-Id: I28742afda05cd85675619a92fbc10f4565bdb321
Signed-off-by: Marek Gradzki <mgradzki@cisco.com>

rls1807 report: moved and updated performance methodology section.

Change-Id: Ie67822c6c26cd42f548de542ef8a96d0a2d97f1e
Signed-off-by: Maciek Konstantynowicz <mkonstan@cisco.com>

rls1807 report: moved and renamed s/mdr_search/mlr_search/.

Change-Id: Ifb97cb74c7f16592aa82dc2b1601407720985bc8
Signed-off-by: Maciek Konstantynowicz <mkonstan@cisco.com>

Add MTU handling into perf tests

- Add ability to configure MTU on interfaces. Put the MTU into configuration
keywors for all perf testcases.

Change-Id: I364b4bc26b26f2f66f350949c0aaa2a2aa675682
Signed-off-by: Peter Mikus <pmikus@cisco.com>

rls1807 report: added section logical topologies in ../vpp_performance_tests/overview.rst.

Change-Id: Ied5a5caf95baddf8210b773002a8a3e5dc971a2d
Signed-off-by: Maciek Konstantynowicz <mkonstan@cisco.com>

Fail bootstrap immediately if no topology found

Zero topologies might be found
if testbeds of some type are all unavailable,
or when purposedly restricted Change
is verified with a wrong trigger incantation.

The previous behavior enters an infinite cycle instead.

Change-Id: I9764a79ed4df57c6c99746438431bf1162b7f7ea
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

CSIT-1097: Migrate L2 to NDRPDR and edit MRR

Change-Id: I738d1794f795e1225bc9709ea2ed2cf9b06d1cf4
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

CSIT-1202: Unify min_rate

20000 is the bi-directional value,
suites should use 10000.

Change-Id: I61d6e83f4f6b8f1f9b3dc9457896997f686a2b66
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

CSIT-1097: Unify max NIC bandwidth in ip4

Also, minor fix in ip6.

Change-Id: I3a23e49d2162e34a1d2a8671ae9f7e74b832315c
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

WORKAROUND: Remove broken SKX-TB out of pool

Currently T22 and T23 are faulty
Tracked in [FD.io Helpdesk #58059]

Change-Id: Ib8d474400a7e109a87573e33ca73946208bbb5de
Signed-off-by: Peter Mikus <pmikus@cisco.com>

initial CSIT-DMM test scripts

Change-Id: I77a965751010b85d21335932baa5345a095dc4f3
Signed-off-by: sharath reddy <sharathkumarboyanapally@gmail.com>
Signed-off-by: sharath <sharathkumarboyanapally@gmail.com>

CSIT-1097: Migrate Vts suite to NDRPDR

Change-Id: Iaac913bb4b15d743a2e9d565e25d31c089cee3e8
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

CSIT-1097: Migrate ip4 to NDRPDR and edit MRR

Change-Id: I9e3b2973c14f818247658a2ae34456c9fc2bae4e
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Update of VPP_STABLE_VER files

- use new vpp ref build - ubuntu 16.04:
  18.10-rc0~50-g2a03efe~b4710

- use new vpp ref build - centos7:
  18.10-rc0~50_g2a03efe~b4619

Change-Id: I1effbb587c6d1bf2566501f70b8342b1b5260e8a
Signed-off-by: Jan Gelety <jgelety@cisco.com>

CSIT-1097: Edit dpdk suites for new rate and jumbo

Change-Id: If2fceb47639dc1add32184271c1e911f7920a51a
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

CSIT-1097: Migrate vm_vhost to NDRPDR and edit MRR

Change-Id: Id5eb8fe46b219426803d3e7d135319ce5117738c
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

HC Tests: remove vpp-dpdk-dkms dependency

The vpp-dpdk-dkms is not needed for current VPP versions.

Change-Id: I9c1a79fb940b2ba0f332792d4fc088f49f9ee191
Signed-off-by: Marek Gradzki <mgradzki@cisco.com>

HC Tests: disable NSH plugin

Change-Id: Ic382b625e5e7201ecc2a2937c15646806c594c61
Signed-off-by: Marek Gradzki <mgradzki@cisco.com>

CSIT-1204: Make new TC names backward compatible (trending)

Change-Id: I48976a21ed022f0f8d840903db4d2415be9365cd
Signed-off-by: Tibor Frank <tifrank@cisco.com>

CSIT-1097: Migrate ip4_tun to NDRPDR and edit MRR

Change-Id: I20fe137cfbbcea1e337fe6295818ea105953d006
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

CSIT-1097: Migrate memif to NDRPDR and edit MRR

Change-Id: I22db20ec688f1a879e82549aa7aa68dafdc71b6c
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

CSIT-1196: Add hsw/skx and 2n/3n to the report structure

Change-Id: I3a0cc2792b931798e466250e30bc30ad8a32b84e
Signed-off-by: Tibor Frank <tifrank@cisco.com>

FIX: Increase timeout for VAT for longer API calls.

Change-Id: Idab5e8d62a42513ddef97025625962b510c3a625
Signed-off-by: Peter Mikus <pmikus@cisco.com>

DRAFT: FD.io CSIT high-level development plan in .txt format.
Provided for reviews and reference, not for tracking.
Jira continuous to be used for CSIT work tracking.

Change-Id: I0945f0ab910f85f41d16ae402368430ef8351ee3
Signed-off-by: Maciek Konstantynowicz <mkonstan@cisco.com>

CSIT-1097: Crypto NDRPDR and missing MRR suites

Change-Id: If40f9283ee889f85e85fad74a490252e812bbe02
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

CSIT-1097: Ip6 NDRPDR and edited MRR suites

Change-Id: I912017c6d1eab5530eecb2326887ffd057916ee8
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

CSIT-1201 Create L2patch perf tests

- XL710, XXV710, X710
- 2n, 3n
- all pkt.size groups
- ndrpdr, mrr

Change-Id: Ibb36d734cd70a0a4d07e3d177fa2477bf9bfaacd
Signed-off-by: Peter Mikus <pmikus@cisco.com>

CSIT-1186: Add MRR and NDRPDR ip6_tunnels tests

Remove the corresponding NDRPDRdisc tests.

Change-Id: Ib46f53e97f703db19bcbcb82c3db0a7f5bb61dbf
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

CSIT-1165 Create DPDK tests for 2-node topology

Create DPDK tests for 2-node topology
- x710, xxv710 only
- l3fwd, testpmd
- standard pkt.size group

Change-Id: I2fbf6c38a427775da9b289faaa8fe1b8c03d5527
Signed-off-by: Peter Mikus <pmikus@cisco.com>

CSIT-1186: Add srv6 NDRPDR suites

Delete the corresponding ndrpdrdisc suites.

MRR suites are also edited,
to make them less different from NDRPDR suites.

Now, there is a script to re-generate testcases of selected suites.
For that, resources/libraries/python/autogen is created,
with Regenerator holding the most of script logic.

The script looks at files matching a glob expression,
reuses a "prolog", but overwites test cases with the default template
and hardcoded set of testcase arguments.

Also, handling of overhead size has been simplified,
using new keyword Get Max Rate And Jumbo And Handle Multi Seg.

Default value for search timeout is increased to 12 minutes
to make timeout failures less frequent.

Change-Id: I394ad61f262b3078e5ca719034b15ada48987ee0
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Update of VPP_STABLE_VER and DPDK_STABLE_VER files

- use new vpp ref build - ubuntu 16.04:
  18.07-rc0~517-g635ec3b~b4653

- use new vpp ref build - centos7:
  18.07-rc0~517_g635ec3b~b4569

- use new dpdk version:
  18.05-vpp2

Change-Id: I5fe34ea3603de136f8fe28fb8313533349257801
Signed-off-by: Jan Gelety <jgelety@cisco.com>

Refactor DPDK testcases to new structure

+ RXQ refactor

Change-Id: Ic03a2e208b9fe5d324a5ed75a603af4cff1854a9
Signed-off-by: Peter Mikus <pmikus@cisco.com>

CSIT-1094: Change menu style

Change-Id: Idff59bc73d3444700937fc473681760a947f0f41
Signed-off-by: Tibor Frank <tifrank@cisco.com>

CSIT-1190: Update report configuration for 18.07

Change-Id: Ie7644fe3069ad37c15754a07e049f479903ca59a
Signed-off-by: Tibor Frank <tifrank@cisco.com>

Add L2xc/L2bd/Ip4/Ip6 2-node tests for x710

- CSIT-1161 Add 2-node L2XC tests
- CSIT-1160 Add 2-node L2BD tests
- CSIT-1157 Add 2-node IP4 tests
- CSIT-1153 Add 2-node IP6 KW
- CSIT-1158 Add 2-node IP6 tests

Change-Id: I7c8fed7018bb355c0de73f6a8bc3a8ec80366972
Signed-off-by: Peter Mikus <pmikus@cisco.com>

FIX: VTS suite

Change-Id: I1766ac51ac34b63feab80329c1ae2c62fc6d8496
Signed-off-by: Peter Mikus <pmikus@cisco.com>

Refactor perf test cases

- Refactor Performance TCs due to changes in Hyperthreading and RXQ allocations.
- Simplify the structure of suite to avoid large refactors in future.

Change-Id: Ifb1b9719391f26745f075a900bd9fb39b6cb809c
Signed-off-by: Peter Mikus <pmikus@cisco.com>

Add stats segment heapsize to default config

- Scale tests (ip4, ip6) are failing due to low amount of stats segment
heapsize.

Change-Id: Id9b3e84d5a5c63014c17041c08c00ef6188afa5f
Signed-off-by: Peter Mikus <pmikus@cisco.com>

Update skylake tesbed  inventory

- Add missing topology files
- Add missing topologies to bootstrap
- Small fixes in ansible

Change-Id: I3b9ad60a0adfae9e93e5e700279f7ade81174471
Signed-off-by: Peter Mikus <pmikus@cisco.com>

CSIT-1168 Create bootstrap for 2-node topology

Update existing bootstrap to recognize 2node/3node topologies

Change-Id: I2f81f9d69d824f7eea608413eac35a1598fad8c6
Signed-off-by: Peter Mikus <pmikus@cisco.com>

FIX: PAL: input data processing

Change-Id: I295ca0a991dea8104e9794d7013be908f5461ea2
Signed-off-by: Tibor Frank <tifrank@cisco.com>

Update Ligato to latest dev branch

- Due to heavy modifications on vpp-agent docker images we need
to change build mechanics.

Change-Id: I26fb82ed1b2538335f7dc3dbb7f46ed2bb846583
Signed-off-by: Peter Mikus <pmikus@cisco.com>

CSIT-1186: Consume MLRsearch in agreed upon way

+ Rename search to MLRsearch in resources/libraries/python/.
+ Make PyPI/MLRsearch/MLRsearch a symlink to the renamed directory.
+ TrafficGenerator.py to import from the renamed directory/module.
- No change to MLRsearch code.
- Version stays at 0.1.1 to point to the latest released code.

Change-Id: I4a38b0b7f8f083fbb1a93b25522560144b4ef556
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

CSIT-1178: Prepare for bursty MRR

+ All suites and tests still refer to MRR instead of BMRR (or FRMOBL).
+ API change: Traffic should pass with maximum rate
  first argument got a default value,
  thus it needs to be moved towards the end of argument list.
+ Consequently, the value for it has been deleted from suites.
+ Test message is now compatible only with BMRR parsing.
- Reporting of transmit rate is left as TODO.
+ Global test __init__ with new way of giving defaults to global variables.
+ The new keyword is put into robot_enhancements.robot resource.
+ Number of trials and trial duration are now configurable.
- Bootstrap scripts have no support for overriding the defaults yet.

Change-Id: I4b108cc9c256730e62c03fbacba0a1c314f8ae88
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

CSIT-1183: Process the new and the old TC names

Change-Id: I7fcecd7e23494e8fb0e70e7af00408eed16733e4
Signed-off-by: Tibor Frank <tifrank@cisco.com>

Add .gitattributes to make endlines automatic

Change-Id: I9d58a5b0623c1b9d218e805fa619b324765f97a5
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

CSIT-1189: Add suite setup to source code documentation

Change-Id: I0cc435ecacaeb5f9e8fd5c67f495166a1abd2e91
Signed-off-by: Tibor Frank <tifrank@cisco.com>

PAL: Treat the new and the old TC names

Signed-off-by: Tibor Frank <tifrank@cisco.com>
Change-Id: If5999de81b4e062d38ce44871f0c4d4fa794b55c
Signed-off-by: Tibor Frank <tifrank@cisco.com>

Remove THIS tag and use unix endlines

The THIS tag has sneaked in 10Ge2P1X520-Eth-L2Xcbase-Eth-1Memif-1Dcr-Mrr
but usually it is only to be used in draft testing.

Not sure about the way non-unix endlines crept in.
Is not git supposed to perform endline conversions on text files?
Or are .robot, .rst, .yaml and .vat not recognized as text?

Change-Id: Ia78cf942c05c3029c340a8639782786f37e57469
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

CSIT-1142 2-node topology - keywords DPDK

Change-Id: Ia2676a7b846bd574aa86703fce6b0e3218f98776
Signed-off-by: Peter Mikus <pmikus@cisco.com>

FIX: use correct match_n_vectors value in IPx iACL TC03

Change-Id: I2e454a2410ffda2673745e6415666a0f96291491
Signed-off-by: Jan Gelety <jgelety@cisco.com>

FIX: Implement changes required by Plot.ly 3.0.0

 - Scatter.xaxix.autotick
 - Scatter.yaxis.range[]

Change-Id: I171e0c4a796f713985b69fae23bfb768590274b4
Signed-off-by: Tibor Frank <tifrank@cisco.com>

CSIT-1142 Change thread perf test TAGs

Due to automatization of SMT detection this change is suppose to
remove static thread/core tags in favor of dynamic one. Leaving the
static tags for number of physical cores to be able to select TCs.

Change-Id: I7f99f605821f363e45c333f46d1dea786693521b
Signed-off-by: Peter Mikus <pmikus@cisco.com>

CSIT-1142 2-node topology - keywords

- Clean up of 2-node setup KWs

Change-Id: I59fc901fb57544eceb6a041b56b515cda8babf85
Signed-off-by: Peter Mikus <pmikus@cisco.com>

Update of VPP_STABLE_VER and DPDK_STABLE_VER files

- use new vpp ref build - ubuntu 16.04:
  18.07-rc0~471-g65784c1~b4600

- use new vpp ref build - centos7:
  18.07-rc0~471_g65784c1~b4520

- use new dpdk version:
  18.05-vpp1

Change-Id: Ica5f07d07b2e4893fb2ba67573a2aec5d23e1b2d
Signed-off-by: Jan Gelety <jgelety@cisco.com>

Add Skylake optimization to ansible

- Add kernel params
- Add TurboBoost managing

Change-Id: I9d9561290f8f6780ff41f3a418a1f335d935d843
Signed-off-by: Peter Mikus <pmikus@cisco.com>

VTS VXLAN vhost-user with single DUT, TG sends VXLAN

Change-Id: I63539af2cdbdbd02a67068e48d0fdf2743da3b1e
Signed-off-by: Peter Ginchev <pginchev@cisco.com>

CSIT-1046 Make uio driver configurable from topofiles

Currently we are configuring uio_driver from global variable.
This may not be suitable for various topologies where we need
different driver per TB. This patch is suppose to put uio_driver
into topology files.

Change-Id: I56af0697e8b2359ccb126151217976408720c1ba
Signed-off-by: Peter Mikus <pmikus@cisco.com>

Update of VPP_STABLE_VER and DPDK_STABLE_VER files

- use new vpp ref build - ubuntu 16.04:
  18.07-rc0~449_gef8ead5~b4498

- use new vpp ref build - centos7:
  18.07-rc0~449-gef8ead5~b4575

- use new dpdk version:
  18.02.2-vpp1

Change-Id: I6b708288dbad895fcfa454b8fda62446074b32a4
Signed-off-by: Jan Gelety <jgelety@cisco.com>

Compatibility fixes with Ubuntu 18.04

Currently we are using ip:port socket to for VPP to listen for incoming
connections. There is only one place in code this socket is used for
detection if VPP is responding after restart. This patch is supposed to
change ip:port to sock:file which is default preffered way in VPP. This
way we can start using vppctl. netcat on the other side with ip:port
remains hanged in console for infinite time not returning back.

There is also need to check whether uio_module is loaded and eventually
load it. As uio_pci_generic is not working there, we will fallback to
main igb_uio (uio_pci_generic being only lightweight subset of igb_uio).

This patch also add additional verbose output to console during setup to
better understand if failure happens during copy/extract/setup.

Change-Id: I0b8a3b76dce3316496a3ad928f58718b6e73057d
Signed-off-by: Peter Mikus <pmikus@cisco.com>

HC Tests: use vpp-fib-management module in dhcp tests (HC2VPP-348)

Addaps HC DHCP tests to https://gerrit.fd.io/r/#/c/13299/

Change-Id: I874da5ee76fcfdb5039c1b3ad33aec4af80396d0
Signed-off-by: Marek Gradzki <mgradzki@cisco.com>

Add vfio-pci support on all TB

- Add auto load of vfio-pci
- Add iommu support

Change-Id: I13611fab9db2813eeab7f90c8f961594349e561e
Signed-off-by: Peter Mikus <pmikus@cisco.com>

CSIT-1124: Support multi-sample tests

 + Store parsed MRR results as AvgStdevMetadata
 + Modify tables and plots to use AvgStdevMetadata

Change-Id: I29bb1e492a664544e63a180055f66bb0eecfb957
Signed-off-by: Tibor Frank <tifrank@cisco.com>

SetupFramework to detect failures, part II

- This patch is enforcing evaluation and aligning all __init__.robot
files to use the same logic.

Change-Id: I9e2bf5e904bb6d22f4e6a153c951c3b3c233e2fb
Signed-off-by: Peter Mikus <pmikus@cisco.com>

Jumpavg: Post 0.1.3 release edits

+ PyPI/jumpavg version bumped to 0.1.4.
+ presentation requirements bumped to 0.1.3.
+ Added stub for change log in readme.

Change-Id: I21a606ed7d9aa2b9cc761ed20f94bda41963a1a8
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Fix jumpavg: No negative variance from rounding

The algorithm for computing stdev has been changed
to a more stable one, based on Welford's algorithm.

Change-Id: I51e02d9c5c26cda0d4e998381d5011aa793e6483
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Add New Skylake topology files

Change-Id: I6109729ee303806f69bba365c93b4de67b9a8c32
Signed-off-by: Peter Mikus <pmikus@cisco.com>

FIX: SetupFramework to detect failures

- Fix behavior of setup framework to properly detect and raise
exception in case of any issue occurs during framework setup on any node
- General code cleanup

Change-Id: Id4cf36e221817600164b25d5551582838b0f0d5e
Signed-off-by: Peter Mikus <pmikus@cisco.com>

Small update to PXE installation README

Change-Id: I1766e3cd81cfe4ed049ed3e7034fff1e367396d4
Signed-off-by: Peter Mikus <pmikus@cisco.com>

Update PXE info about new Skylake machines

Change-Id: Ide828efb0e539ae7bf9c5cfd128f35d8117f3643
Signed-off-by: Peter Mikus <pmikus@cisco.com>

Update of VPP_STABLE_VER files

- use new vpp ref build - ubuntu 16.04:
  18.07-rc0~394-ge0d2bd6~b4508

- use new vpp ref build - centos7:
  18.07-rc0~394_ge0d2bd6~b4435

Change-Id: I3b1a749cf4192321af9ec1e9d297b938092d4135
Signed-off-by: Jan Gelety <jgelety@cisco.com>

FIX: use correct path to vpp build packages in weekly bootstrap

Change-Id: I5a92499cc7f1e475614126fcb6044d48615673ab
Signed-off-by: Jan Gelety <jgelety@cisco.com>

CSIT-1043: Execute pci rescan only if needed

Pci rescan is a rather invasive process, which is why it should be
executed only if needed. This patch moves the pci rescan after
pci device driver discovery, rescanning the devices for further attemps
at driver discovery.

Change-Id: I29c939b44c3f67371416a99c711e057f711ba9b4
Signed-off-by: juraj.linkes <juraj.linkes@pantheon.tech>

Fix TC02 test case in mgmt-cfg-int-subint-apihc-apivat-func

Add wait for interface to be up, because it
takes some time while the interface state changes.

Change-Id: I895dea1017ac0ffd099e80d9edca0f1d127657dd
Signed-off-by: Michal Cmarada <michal.cmarada@pantheon.tech>

HC2VPP-331: Fix Honeycomb fails to assign VRF to interface

- add configuration for FIB table management to test suite
- fix routing test suite HC2VPP-331 bugs
- fix intip4-intip6 test suite HC2VPP-331 bugs

Change-Id: I0b1e9ed787d9fb68e76a6d61c1eea2519a36a6c4
Signed-off-by: Michal Cmarada <michal.cmarada@pantheon.tech>

CSIT-1136: Trending: Redirect "new" to the index.html

 - remove the code which generated redirection

Change-Id: Ia12ea1129724d92a6ac6e88782e562c23722ae48
Signed-off-by: Tibor Frank <tifrank@cisco.com>

CSIT-1136: Trending: Redirect "new" to the index.html

Change-Id: I2480a59fb34af70d78bc7404cd380c4b4d3ea483
Signed-off-by: Tibor Frank <tifrank@cisco.com>

FIX: PAL - list of failed tests

Change-Id: I03341283270e53df6bcb08b32f1787f61ebb601c
Signed-off-by: Tibor Frank <tifrank@cisco.com>

CSIT-1110: Replace old trending with the new one

+ Remove /new/ folders in presentation and docs.

Change-Id: I870002ba8509189196e778aa1292b93e83a3ec17
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Revert "CSIT-986: Use MLRsearch from pip"

This reverts commit 0c2c57d9965ab1db0d5404ad103871ac250339cb.

Reason for revert: unless you will fix this broken patch we have to revert this as it breaks several thing in the csit core ci/cd.

1) all tb are pypi offline this means no new pypi is automatically dowloaded. Everytime you change your version you have to update every tb. As this is not automated this will never work and put extreme overhead

2) this code is not pylint checked and not verified by any existing job breaking any kind of verificition mechanics in csit

3)there is no automation in terms of creating pypi (no job) this creates chicken egg problem that you cannot verify change unless new version is installed

Next time please think or consult with more seniored csit core developer
Unless above will be fixed i will revert on monday as now it breaks all jobs. I will set hard verification to framework setup (exception) so this will prevent next time merge.
Possible solution:
1)Move the directory back to resources and reference from csit directly not via pypi, leave the setup crap in dir and let users to create package on their own

Change-Id: Id530a9f19f668e45f73ffc9e7371bb453b59fd1b
Signed-off-by: Peter Mikus <pmikus@cisco.com>

Update of VPP_STABLE_VER and DPDK_STABLE_VER files

- use new vpp ref build - ubuntu 16.04:
  18.07-rc0~358-ga5ee900~b4457

- use new vpp ref build - centos7:
  18.07-rc0~358_ga5ee900~b4395

- use new dpdk version:
  18.02.1-vpp2

Change-Id: Idc72e3a01dbb1b479a4a9b6404c4b01d5a7c4627
Signed-off-by: Jan Gelety <jgelety@cisco.com>

CSIT-1110: Improve new detection methodology doc

Change-Id: I068fd4e9418f232ee1e1f13994e9c5c431478ec8
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Use pkg download script in bootstrap files

Download specific version of VPP/DKMS via download script.

Change-Id: I6585790224d746a9edea7fa6624e810f389218e6
Signed-off-by: Peter Mikus <pmikus@cisco.com>

CSIT-1133: Cosmetic improvements in trending plots

 - Remove "outlier" from the colorbar
 - Remove anomalies from the legend

Change-Id: Idd3255d912c48c80347a773a6b19307e90a53926
Signed-off-by: Tibor Frank <tifrank@cisco.com>

CSIT-986: Use MLRsearch from pip

+ Delete resources/libraries/python/search/.
+ Add MLRsearch==0.1.1 to requirements.txt.
+ Bump PyPI/MLRsearch version to 0.1.2.

Change-Id: I1f86d75ac8eb90ee3946dbac8c56280f39302f4d
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

CSIT-1126: Detection and reporting of failed MRR tests

Change-Id: Iafdd12a573b58ab3ba9c69699cd97c5a4e598601
Signed-off-by: Tibor Frank <tifrank@cisco.com>

CSIT-986: Implement proposed MDR improvements

+ Use first intermediate with goal in initial phase.
+ Measure above MRR if that got zero loss.
+ Always prioritizes NDR in internal search.
+ Rename classes.
+ Copy code for standalone PyPI publishing.
- Original files will be deleted after publish.

Change-Id: I5169d602d1e5e35a1894645cd52e70d791871608
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

CSIT-1110: Update code after jumpavg 0.1.2 release

+ Use the released version in PAL.
+ Bump the jumpavg source to 0.1.3 for next release.
+ Add PyPI/owners.txt to track python package owner group.

Change-Id: I29284a258b24f9991379719313f30cce0349c2bd
Signed-off-by: Tibor Frank <tifrank@cisco.com>

Update Ansible with new Skylake machines

Change-Id: Ia5d0b680deaf7da60696bf2d0260cf7fbea78322
Signed-off-by: Peter Mikus <pmikus@cisco.com>

CSIT-1085 eth-l2xcbase-eth-1memif-1dcr

Test case definitions

Change-Id: I03736ef003d3839859dc450745323362b21aa75e
Signed-off-by: Peter Mikus <pmikus@cisco.com>

Revert "CSIT-1110: Update code after jumpavg 0.1.2 release"

This reverts commit f7c46f067a8fb594d2460aaadbe1ca9282b657a8.

Change-Id: I409335daac8f9e02bea4e12f2141ab9ceb338964
Signed-off-by: Tibor Frank <tifrank@cisco.com>

CSIT-1110: Update code after jumpavg 0.1.2 release

+ Use the released version in PAL.
+ Bump the jumpavg source to 0.1.3 for next release.
+ Add PyPI/owners.txt to track python package owner group.

Change-Id: I0146efcc7c0b7eefc068464739afa605eda2b2d8
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

CSIT-1110: Use jumpavg library from pip

+ Move the jumpavg library code to separate directory.
- Bump to 0.1.2 has to be done later.

Change-Id: I9722ede48f00e99eeb68ca3f91e0bdeee2937973
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

CSIT-1110: Add files for PyPI migration

Change-Id: I3414d4391f339ee67066491382b59239a81db241
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

CSIT-1110: Prepare for migrating the new detection

+ Do not declare BitCountingClassifier.classify() as class method.
+ Make BitCountingGroupList subclass of list.
+ Inherit from abstract classes whenever possible.
+ Drop unneeded imports.
+ Add module docstrings and class docstrings anywhere.
+ Add TODOs hinting at possible improvements.

Change-Id: Iccfff5c0e7be0607d6cfa74314083fcfe5a4d7d9
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

CSIT-PERF: New trigger design

- CSIT-1128
- This patch is implementing processing of TAGS specified
as part of commit message

Change-Id: Iad0923d22fae369dfe923a917e1c0d47d5cbf656
Signed-off-by: Peter Mikus <pmikus@cisco.com>

FIX: TAG processing

Change-Id: I08815de519532e8a20873f8b172d3f42ccfa33fb
Signed-off-by: Peter Mikus <pmikus@cisco.com>

FIX: TAG processing

- Improve TAG post processing

Change-Id: I5a36f5874ea747cbcae2562fc58c9f5abe9bac02
Signed-off-by: Peter Mikus <pmikus@cisco.com>

CSIT-942: RCA - Option 1: Analysing Archived VPP Results

 - CSIT-953: LLD

Change-Id: I0baefd8495f6ae8dc6f95f1cf29f5ccb8053d58d
Signed-off-by: Tibor Frank <tifrank@cisco.com>

CSIT-1110: Fix dashboard anomaly count range

+ Dashboard tables should now report anomalies from last week only.
+ Changed handling of Nan to report regression.

Change-Id: I624b0bc84a93702a31fc79fd670bd645b963f1f7
Signed-off-by: Vratko Polak <vrpolak@cisco.com>