Report: Report history

Change-Id: I67bdefe20cf12625b6456341d1e2d25e81e41fad
Signed-off-by: Tibor Frank <tifrank@cisco.com>

Change the version

Change-Id: I4fac272bf3f0bf9bdbf446ea3c2eff48966c600e
Signed-off-by: Tibor Frank <tifrank@cisco.com>

CSIT-1350: Add new data to 1810 report

Change-Id: I49e39b9513bcd53caaecdc1948cb64aa58272311
Signed-off-by: Tibor Frank <tifrank@cisco.com>

Report-1810: Configuration

Change-Id: I0ada7489738d2cfc416aa6c3bea999d2534ad109
Signed-off-by: Tibor Frank <tifrank@cisco.com>

CSIT-1332: Proposal of new layout of all graphs

Change-Id: Ib5d113fd2071e481bcc5e3d043a43a58947b8da1
Signed-off-by: Tibor Frank <tifrank@cisco.com>

Update of VPP_STABLE_VER

- use new vpp ref build - ubuntu 16.04:
  19.01-rc0~131-g557400d~b5572

- use new vpp ref build - centos7:
  19.01-rc0~131_g557400d~b5419

Change-Id: Ib81800529766244ca3c8ae96fd9b73add18dc442
Signed-off-by: Jan Gelety <jgelety@cisco.com>

FIX: put base interafce up when creating VLAN sub-interface

Change-Id: I879d1a0f1e901c59c9e3fc061a8accd6f423ee0b
Signed-off-by: Jan Gelety <jgelety@cisco.com>

FIX: show ip table in tear donw only when test failed

Change-Id: Id8fd73e22984d7d0728bf7e136b6b7b91c036066
Signed-off-by: Jan Gelety <jgelety@cisco.com>

CSIT-1339 Create initial l2xc test

- L2XC ping ICMPv4/ICMPv6 test

Change-Id: I1c1708e8c1050f140a02d56012f63b683fc3eec1
Signed-off-by: Peter Mikus <pmikus@cisco.com>

Migration of DMM-CSIT scripts to DMM repo

Change-Id: Ibaa7652b24385805b5cdd1540ed98b09e68c69bc
Signed-off-by: sharath <sharathkumarboyanapally@gmail.com>

Remove usage of vpp-ext-deps package

This package is not needed for csit enymore.

Change-Id: Ie32a9c9322873e66554bb69112d4428697c866db
Signed-off-by: Jan Gelety <jgelety@cisco.com>

Add Meltdown and Spectre checker output

Change-Id: I8c6ffada779483e083815afa7cc6337ca580ecb9
Signed-off-by: Peter Mikus <pmikus@cisco.com>

CSIT-1260 Create initial version of bootstrap including VF reservation

Change-Id: I153d378849ea76444915b7fc219237db1b7bca1a
Signed-off-by: Peter Mikus <pmikus@cisco.com>

Initial version of PLRsearch ietf draft in kramdown-rfc2629 format.

Change-Id: I4f26dfc6c981255d0178cadf9b48a09e10d89f03
Signed-off-by: Maciek Konstantynowicz <mkonstan@cisco.com>

Initial version of mlrsearch ietf draft in kramdown-rfc2629 format.

Change-Id: Ifeebde6da28f128d9227e92557434fb413dd4990
Signed-off-by: Maciek Konstantynowicz <mkonstan@cisco.com>

CSIT-1255 1-Node VPP_Device Documentation

Change-Id: I0152bd9c0d2a97aa206819b46e8e4c0fe7d643eb
Signed-off-by: Peter Mikus <pmikus@cisco.com>

Per patch: multiple BMRR calls

This is to reduce sensitivity on testbed unstable performance.
Also add topo_cleanupbefore every pybot run
to avoid issues with VPP uninstall.

TRACE prints are left there to simplify investigation
of false positives if/when they happen.

Change-Id: I9b0cdcfbbe4aa0735a0596746ac32c9e93af0897
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

FIX: Correct the packagecloud.io URL path

Change-Id: I8aae4cb85f9bb1efaa19d75e2fd7c9593f20756d
Signed-off-by: Peter Mikus <pmikus@cisco.com>
(cherry picked from commit e44edcedef4dd2fee1c21b122b4bc6bb8586598e)

update l2bdbasemaclrn-mrr and l2bdbasemaclrn-ndrpdr for x553 NIC

update the test suites to call
"Initialize L2 bridge domain in circular topology" since
"Initialize L2 bridge domain in 2-node circular topology" was replaced by it.

Change-Id: I6d5cb0868353228fbcf37b308ffa0b562649c57a
Signed-off-by: Yulong Pei <yulong.pei@intel.com>

Script for PXE host staging

Introducing script for staging server via PXE and controlling
CIMC/IPMI reboot.

Change-Id: I1667e1906e7de73b7bca994d82de75e12c0d382a
Signed-off-by: Peter Mikus <pmikus@cisco.com>

Update of VPP_STABLE_VER and DPDK_STABLE_VER

- use new vpp ref build
  - ubuntu 16.04: 19.01-rc0~29-g02a95ce~b5441
- use new vpp ref build
  - centos7: 19.01-rc0~29_g02a95ce~b5314
- use new version of vpp-ext-deps: 19.01-2

Change-Id: I11ff5ddc9035edc1a45b5ebfdd319b364084297e
Signed-off-by: Peter Mikus <pmikus@cisco.com>

FIX: Switch crypto tests to vfio-pci

Instead of igb_uio

Change-Id: Iaf0fc793b35e99f62ac442686ae7047e965086d0
Signed-off-by: Peter Mikus <pmikus@cisco.com>

CSIT-1338 FIX: Failed to get VPP version on host

VPP was not initialized (shm), after service restart, quickly enough.
This results into vpp_api_test console timeouts when communicating over
uninitialized socket.

Patch is introducing more stable test to detect service (VPP) is fully
ready and initialized.

Change-Id: I300a763814feba28cb8163dcd4996b53b2994fec
Signed-off-by: Peter Mikus <pmikus@cisco.com>

Tag l2bdscale as L2BDSCALE, not L2BDBASE

Change-Id: I0d2d2f16f7e0b710f432711d7e0eccf70fcfcc8f
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

FIX: Vhost interface UP issue for VTS tests

Change-Id: I2983b295cc8e070f6fe2ff7a5f19fe45d17cee27
Signed-off-by: Peter Mikus <pmikus@cisco.com>

CSIT-1297: Modify the bootstrap.sh to run only selected mrr suites

Change-Id: I2f5ac334e09bc35bfaefc112cf0bb7f57290a732
Signed-off-by: Tibor Frank <tifrank@cisco.com>

Fix authorization for ODL fluorine tests

Change-Id: I2ccca8955949840305350bec1f60bc6d1cddcf82
Signed-off-by: Michal Cmarada <mcmarada@cisco.com>

Add VXLAN scale perf tests

Jira: CSIT-1273

Change-Id: Ic2a41661c158384a5aaa7d4e73f30ffca13ddf82
Signed-off-by: Jan Gelety <jgelety@cisco.com>

Update of VPP_STABLE_VER and DPDK_STABLE_VER

- use new vpp ref build - ubuntu 16.04:
  18.10-rc0~593-gb7620fd~b5386

- use new vpp ref build - centos7:
  18.10-rc0~593_gb7620fd~b5270

- use new version of vpp-ext-deps:
  18.10-6

Change-Id: I0fe0b045f62fa04bd48daca999d55c7ac6ada802
Signed-off-by: Jan Gelety <jgelety@cisco.com>

FIX: Vhost interface not up issue

Change-Id: Ibfd00c2eafbb11a66ef5989ef3baa735de865ded
Signed-off-by: Peter Mikus <pmikus@cisco.com>

Update Ansible scripts

- Allow Kubernetes to use specific version (allow-downgrade)
- Introduce ansible-vault for sudo password management
- Add Kubernetes fixes for 1.11.x+

Change-Id: Ieb77e773ea28f5c551ef0702027f699c1b758aa2
Signed-off-by: Peter Mikus <pmikus@cisco.com>

Switch Haswell TB to vfio-pci driver.

Change-Id: Id3ba5c5b3a03df7302b6def4bdb066cbb291ec43
Signed-off-by: Peter Mikus <pmikus@cisco.com>

Fix failing tests after Fluorine bump in HC (HONEYCOMB-433)

- this fixes failing tests after bumping ODL dependencies
  in Honeycomb and HC2VPP projects.
- increased timeout for installing ODL feautres,
  sometimes it takes longer to install them.

Change-Id: Ib3ae8106ae0c1122410e9bd7924d0b49ed6059c7
Signed-off-by: Michal Cmarada <michal.cmarada@pantheon.tech>

CSIT-1297: Modify the bootstrap.sh to run only selected mrr suites

Change-Id: I7071abd6c4a52a86efea573a4f9bcb54547dc004
Signed-off-by: Tibor Frank <tifrank@cisco.com>

CSIT-1294 FIX: ValueError: CTR mode needs counter parameter, not IV

The issue is caused by python-crypto library in upstream Ubuntu 1804
repo. Unless there is permanent fix there is workaround to always
download fresh version, not preinstalled.

Change-Id: Ic2318eb532a6e7a910e4ffb209556c17e6070d3d
Signed-off-by: Peter Mikus <pmikus@cisco.com>

CSIT-1320 Update SFC-controller configurations to latest version

Change-Id: Ibaca5e848a8f4dcd2a50f873bea37bd99aa5d62c
Signed-off-by: Peter Mikus <pmikus@cisco.com>

CSIT-1326 VLIB: barrier sync elog tracing

- API changed.

Change-Id: If70e1a930aa14b129ad38ef544cff32ad5a08cdd
Signed-off-by: Peter Mikus <pmikus@cisco.com>

CSIT-1325 - FIX: AVF tests failing on unbind

Currently there is and issue when consecutive AVF suites are
trying to initialize AVF and bind VF to vfio-pci driver, there
seems to be race condition if VPP has already VFs allocated.

This patch should introduce safer contstrain to disable VPP prior
AVF init.

Change-Id: Id8839200f19d9e7a18d161b660cfb1e43a8ca379
Signed-off-by: Peter Mikus <pmikus@cisco.com>

CSIT-1326 Add barrier event traces

Change-Id: I0f734c2f11cc89716371554880f1d7404ea16090
Signed-off-by: Peter Mikus <pmikus@cisco.com>

CSIT-1327 Migrate from vpp-dkms-dpdk to vpp-ext-deps

Change-Id: I6fad3303c5c331ad36d163ba735907e35931dea0
Signed-off-by: Peter Mikus <pmikus@cisco.com>

Update of VPP_STABLE_VER

- use new vpp ref build - ubuntu 16.04:
  18.10-rc0~526-g6648fc7~b5298

- use new vpp ref build - centos7:
  18.10-rc0~526_g6648fc7~b5203

Change-Id: I1304fb9bf55624569dd1d9665296e5a0a4fa19c9
Signed-off-by: Jan Gelety <jgelety@cisco.com>

FIX: Single memif tests failing

This patch suppose to fix the single memif TCs failing on SKX nodes.
By stoping Host VPP during startup of Guest VPP. This way Guest VPP
can take interface on single pass.o

Change-Id: I88e6932bf007ce0f6a367927de5f017ffb8fdaca
Signed-off-by: Peter Mikus <pmikus@cisco.com>

CSIT-1321 Add IP4base tests using AVF driver

Change-Id: I960c2b4170efa06597851853cfc15bda1c60fe94
Signed-off-by: Peter Mikus <pmikus@cisco.com>

Exclude dot1q in the default tag array

Mainly useful to reduce test set for per patch.

Change-Id: I55a5f2d268c3105ac32d25ae317e149d3c3b4e14
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

integration of DMM+lwip testscripts

Change-Id: Ifb1a0702353e71c61a694dea5164df41f4e23389
Signed-off-by: sharath <sharathkumarboyanapally@gmail.com>

FIX: testcode detection in perf jobs

Change-Id: I4c0c5afa8a8dff814382cb0ad6d9df0410179755
Signed-off-by: Peter Mikus <pmikus@cisco.com>

Fix jumbo frames

Change-Id: I8aa557fe75133d20eef9832e314357af71f1d19a
Signed-off-by: Tibor Frank <tifrank@cisco.com>

Add Vratko to committer list

Also specify "Europe/Bratislava" timezone for people based in Slovakia.

Change-Id: Ib2ac19668c4216bfe1d31e664d477b2986583bd9
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

CSIT-1316 Fix ligato building mechanics in CSIT bootstraps

Change-Id: Ia8da73cbf7ab213b61a330b757419330667be24b
Signed-off-by: Peter Mikus <pmikus@cisco.com>

CSIT-1317 ADD: Ability to blacklist tags per topology

- Add option to override some tags per topology.

Change-Id: I4045ebbee1c5d32e29cdb6c5c84e0dcd9217b2cf
Signed-off-by: Peter Mikus <pmikus@cisco.com>

FIX: Add VatHistory for VATscript files.

Add ability to see Vat history for file sourced commands.

Change-Id: I49b19236bec7253ea412659368cb7ccb5f5e3274
Signed-off-by: Peter Mikus <pmikus@cisco.com>

Update of VPP_STABLE_VER

- use new vpp ref build - ubuntu 16.04:
  18.10-rc0~465-gb7020d6~b5194

- use new vpp ref build - centos7:
  18.10-rc0~465_gb7020d6~b5101

Change-Id: I1fa617bb2d93e5f371b7d41ed6b9b060938493b5
Signed-off-by: Jan Gelety <jgelety@cisco.com>

CSIT-1292 Update Ansible playbooks with vpp_device tasks

Change-Id: I22d1fe2fc27d6adb39eba2578e68d06992a3f976
Signed-off-by: Peter Mikus <pmikus@cisco.com>

Fix autogen regenerator and few suites

+ "elif" instead of "else if".
+ Some suites had test cases reordered.
+ Some suites contained 9000B cases for avf.

Change-Id: I3bf8241c317f20dbf66b497a2c8be35ef71307f5
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Add example of 2-node topology file

Change-Id: I3e72c568f09e0b7e20b4ea395f1b2d5efce77f40
Signed-off-by: Peter Mikus <pmikus@cisco.com>

FIX: Do not run double link tests on 3n-hsw

Change-Id: I9dfb4bfba4d0650a42e34d0e1f97b60b031f0750
Signed-off-by: Peter Mikus <pmikus@cisco.com>

FIX: 40Ge2P1Vic1385-Eth-L2Bdbasemaclrn-Mrr typo

- Per trending.

Change-Id: I1e24b20bc774dae91df6fb81e3a9132ff79e3beb
Signed-off-by: Peter Mikus <pmikus@cisco.com>

Add dot1q-l2bdbase-2memif-[ndrpdr|mrr] perf tests for 2-node topology

Jira: CSIT-1289

Change-Id: I9e3f1f4a03e3cac9d8831f3a87e0b1bce27a109e
Signed-off-by: Jan Gelety <jgelety@cisco.com>

Add dot1q-l2bdbase-2vhost-[ndrpdr|mrr] perf tests for 2-node topology

Jira: CSIT-1286

Change-Id: Id51c7dbf15d846f1286e6efbc5240a2556ec9652
Signed-off-by: Jan Gelety <jgelety@cisco.com>

CSIT-1205 Create AVF driver test - Add Tests L2BD L2XC

Change-Id: Ia74a87346fe2c0a170b881b510f1b0558a538f3c
Signed-off-by: Peter Mikus <pmikus@cisco.com>

Create basic 2-node topology performance tests for Intel-X553 NIC

Intel-X553 is Denverton (Intel Atom cpu based SOC) integrated NIC, add below
basic 2-node topology performance test suites for it, the test suites were
changed from the existing Intel-x710 test suites,

- eth-l2patch-mrr
- eth-l2patch-ndrpdr
- eth-l2xcbase-mrr
- eth-l2xcbase-ndrpdr
- eth-l2bdbasemaclrn-mrr
- eth-l2bdbasemaclrn-ndrpdr
- ethip4-ip4base-mrr
- ethip4-ip4base-ndrpdr
- ethip6-ip6base-mrr
- ethip6-ip6base-ndrpdr

Change-Id: Ib6d3655a6e14ae275c197fd7b39d59e17a233326
Signed-off-by: Yulong Pei <yulong.pei@intel.com>

CSIT-1291 Improve service handling with container detection

Change-Id: Iaeac10676f46e0267041afee927bc6e3201146b2
Signed-off-by: Peter Mikus <pmikus@cisco.com>

CSIT-1288: Prepare data to be sent by Jenkins

Change-Id: I0840883d52180d09f7de2bd9b0391a0db24105f5
Signed-off-by: Tibor Frank <tifrank@cisco.com>

CSIT-1288: Prepare data to be sent by Jenkins

 - Add creation of tar.gz file

Change-Id: I525c713bb3e157cd94337222781066252c3fa517
Signed-off-by: Tibor Frank <tifrank@cisco.com>

Add dot1q-ip6base-[ndrpdr|mrr] perf tests for 2-node topology

Jira: CSIT-1283

Change-Id: I0f6841bafdb47bdbc3efe29801fe66a0d4c388ca
Signed-off-by: Jan Gelety <jgelety@cisco.com>

CSIT-1131: Alerting

- CSIT-1132: Send e-mail with a list of failed tests
- CSIT-1288: Prepare data to be sent by Jenkins

Change-Id: I7ac720dca44d7c13b22218abbca7a00d36d459cb
Signed-off-by: Tibor Frank <tifrank@cisco.com>

Add dot1q-l2[bd|xc]base-[ndrpdr|mrr] perf tests for 2-node topology

Jira: CSIT-1284

Change-Id: I8ce4ffc76adf55bf9a8423077b8639601c560c87
Signed-off-by: Jan Gelety <jgelety@cisco.com>

Update of VPP_STABLE_VER and DPDK_STABLE_VER files

- use new vpp ref build - ubuntu 16.04:
  18.10-rc0~422-geeadc14~b5124

- use new vpp ref build - centos7:
  18.10-rc0~424_gef90ed0~b5050

- use new dpdk version:
  18.08-vpp3

NOTE: Centos7 and Ubuntu16.04 builds are litle bit different
      because of availability of builds on repo.

Change-Id: I6cefd91351848fb075935ae9b41354d3432eacf3
Signed-off-by: Jan Gelety <jgelety@cisco.com>

Add dot1q-ip4base-[ndrpdr|mrr] perf tests for 2-node topology

Jira: CSIT-1278

Change-Id: I3cc929222d7fd58f38e33917e84675e9c0b55bbd
Signed-off-by: Jan Gelety <jgelety@cisco.com>

Add coding guidelines document

Started as a quite verbatim paste from:
https://wiki.fd.io/view/CSIT/Documentation#CSIT_Test_Code_Guidelines
then re-formatted, and new ideas added.

Change-Id: I13fc3d267f07d88cf22402051480613e55123d44
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

CSIT-1282 Migrate from Nexus.fd.io to packagecloud.io

Change-Id: Ib4e72dc8e3c0fedfcd702f4f97bc4f26cbc642e9
Signed-off-by: Peter Mikus <pmikus@cisco.com>

CSIT-1280 Single memif container test failing

- FIX

Change-Id: I4b62d08b140dc73eb950d21bc85dc41ad638bbd2
Signed-off-by: Peter Mikus <pmikus@cisco.com>

Fix: L2 scale tests are not baseline

This fixes select_tags function in common.sh
to not include scale l2bd tests in default tag list.

This is needed because "L2BDBASE" tag selects also scale tests
(contrary to similar IP4BASE and IP6BASE tags).

(Line length over 80 characters is left there
as an indirect TODO to improve the tags.)

Change-Id: Ic1d4a046f327fdd1b8b08eb20f1cdb4b12f337c9
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Fix: trap for unreserve before cleanup

Change-Id: I978a056ffdfd6daa00a0a1c587774b4a7204b434
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

CSIT-1269: Add VTS tests to trending

Change-Id: I9ddbad8e4c3f64553c72f77f93eb9d6c21602eca
Signed-off-by: Tibor Frank <tifrank@cisco.com>

Create l2bdscale tests for 2-node topology

Jira: CSIT-1268

Change-Id: I13bf2e570a7d7231ba19c2c41db2b44c0b8d215a
Signed-off-by: Jan Gelety <jgelety@cisco.com>

CSIT-1179: Switch MRR to multiple trials

But keep the detection in PAL using only average, not size nor stdev.

Change-Id: I07092bdeb892c871550265757fd2846a36fbb352
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

CSIT-1270: Split feature tests in trending

Change-Id: Iecc841737552fea07b7fcf297c478479f7872ae7
Signed-off-by: Tibor Frank <tifrank@cisco.com>

CSIT-1271: Add VTS tests to MRR jobs

Change-Id: I5c0be60a1819c5c46225b4468ba9c88068231f08
Signed-off-by: Tibor Frank <tifrank@cisco.com>

CSIT-1272: Fix VTS tests

Change-Id: Ibc4ae346032b2b711e4dcd1dbc9c0873e8464b19
Signed-off-by: Tibor Frank <tifrank@cisco.com>

CSIT-1262: Add 2n/3n-skx to trending

CSIT-1263: Edit Trending static content

Change-Id: Ief60f3bea75fb9fd153f7abb0a5933f1a3e317aa
Signed-off-by: Tibor Frank <tifrank@cisco.com>

Create ip6scale tests for 2-node topology

Jira: CSIT-1176

Change-Id: I78f4e9cb24a7de0bde24a78d1ca26607598a62b2
Signed-off-by: Jan Gelety <jgelety@cisco.com>

Add INFO.yaml file

Add INFO.yaml to list:
- Project description
- Properties
- Issue Tracking
- Contacts
- PTL information
- Meeting information
- Committer information

Change-Id: I02ef3fca1bef20ab5497b632c1995019bd7d1074
Signed-off-by: Vanessa Rene Valderrama <vvalderrama@linuxfoundation.org>

Fix autogen violations

Four AVF suites had test cases in different order.

Change-Id: I12fbe3508016a79a2153cc004c654a21ee4279bf
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

CSIT-1264: Add oper branch wrapper entry script

Change-Id: I569b089b711f89fecca8dd31d6906ef311982877
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

fix CSIT broken issue when numa_node value is -1 on single Socket platform

Single Socket platform e.g. Intel Atom cpu based SOC platform with
Ubuntu 16.04.4(kernel 4.13.0-36-generic) or Centos 7.5 (kernel 3.10.0-862.el7),
value of /sys/bus/pci/devices/<pci_device_id>/numa_node is -1, this will
break CSIT performance test running, but for this kind of SOC platform,
it can consider that is not NUMA based platform, numa_node=-1 is reasonable,
so fix it at CSIT side, when numa_node=1 and the system's NUMA node count
is 1, set numa_node=0. DPDK also did it as this way.

Change-Id: I9ac23d3cece2f1489e38f05b50a462bb2ad9f661
Signed-off-by: Yulong Pei <yulong.pei@intel.com>

Create ip4scale tests for 2-node topology

Jira: CSIT-1174

Change-Id: I46944a3bc0f508d80c8c944dab0190925ebe21f5
Signed-off-by: Jan Gelety <jgelety@cisco.com>

CSIT-1205 Create AVF driver test

- Add L1 KWs for SR-IOV handling (init Vfs, remove Vfs, ...)
- Cleanup L1 KWs for SR-IOV bind/unbind/pci_get/...
- Add L2 KWs for Test Setup/Teardown, L2patch, Create AVF interface
- Add sample L2patch test fox x710, xxv710

Change-Id: If17077877455a14043617d8ea0d06cbe47b469e3
Signed-off-by: Peter Mikus <pmikus@cisco.com>

Add Report history

Change-Id: I5c7e594bcce266d765d2a517adcbec8e88da7c48
Signed-off-by: Tibor Frank <tifrank@cisco.com>

Add known issues to report 18.07

Change-Id: Ide101c80e2ef13021f25096da6afd9e4364ee263
Signed-off-by: Tibor Frank <tifrank@cisco.com>

Fix various pylint violations

+ SchedUtils.py: Do not use `len(SEQUENCE)` to determine if a sequence is empty
+ VatHistory.py: Do not use `len(SEQUENCE)` to determine if a sequence is empty
+ VppCounters.py: Do not use `len(SEQUENCE)` to determine if a sequence is empty
+ Memif.py:
++ Do not use `len(SEQUENCE)` to determine if a sequence is empty
++ Either all return statements in a function should return an expression,
   or none of them should.
++ Update :return: on possible None.
+ Classify.py: Unnecessary "else" after "return"
+ ContainerUtils.py: Useless super delegation in method '__init__'
+ CpuUtils.py: Do not use `len(SEQUENCE)` to determine if a sequence is empty
+ DropRateSearch.py: Either all return statements in a function
  should return an expression, or none of them should.
+ IPv4NodeAddress.py: Do not use `len(SEQUENCE)` to determine if a sequence is empty
++ Also improve docstrings.
+ IPv4Setup.py: Useless super delegation in method '__init__'
+ IPv6Setup.py: Do not use `len(SEQUENCE)` to determine if a sequence is empty
++ Also improve docstrings.
+ IPv6Setup.py: standard import "from ipaddress import IPv6Network"
  should be placed before "from robot.api import logger"
+ MacSwap.py: Trailing newlines
+ NATUtil.py: Do not use `len(SEQUENCE)` to determine if a sequence is empty
+ NodePath.py: Unnecessary "else" after "return"
+ Tap.py: Do not use `len(SEQUENCE)` to determine if a sequence is empty
+ topology.py: Either all return statements in a function
  should return an expression, or none of them should.
+ topology.py: Unnecessary "else" after "return"
++ Do not use `len(SEQUENCE)` to determine if a sequence is empty
++ Improve docstrings
+ DUTSetup.py: Do not use `len(SEQUENCE)` to determine if a sequence is empty
++ Also do not compare int(ret_code) just to access zero-ness.
+ ssh.py: Do not use `len(SEQUENCE)` to determine if a sequence is empty
+ InterfaceUtil.py: Unnecessary "else" after "return"

Change-Id: Iba4244aa79661ee7df15fed5c7c6dbf04dfa88b2
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Add eth-ip4base-2memif[ndrpdr|mrr] perf tests for 2-node topology

- added also 3-node test cases for comparison

Jira: CSIT-1261

Change-Id: I1bfcc184e925e969d4a610920c4e49af23047507
Signed-off-by: Jan Gelety <jgelety@cisco.com>

Fix pylint part 1

- Decrease pylint errors. Part: easy

Change-Id: I452e5b5a11e9b78c03cd173a3848babe21b93c73
Signed-off-by: Peter Mikus <pmikus@cisco.com>

CSIT-1135: Scripts for VPP per-patch testing

+ Scripts do not rely on (other) bootstraps.
+ Perf verify bootstrap is also the new style sript now.
+ Scripts are divided to functions for better re-use.
+ Functions are sourced from small number of large "library" files.
- Still using jumpavg from pipy.
- Perpatch has specific simplified parsing (instead of the PAL one).
- Bash style document is in a separate Change.

Change-Id: If88fa528ce155ea86b614e3d77c0550b91bbdf11
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Create ip4-feature perf tests for 2-node topology

- ACL tests
- NAT44 tests
- iPoliceMarker tests

Jira: CSIT-1175, CSIT-1154

Change-Id: Ife7e7df50f7c1c8033bacdb7512e78be6bcdf4eb
Signed-off-by: Jan Gelety <jgelety@cisco.com>

Update of VPP_STABLE_VER and DPDK_STABLE_VER files

- use new vpp ref build - ubuntu 16.04:
  18.10-rc0~242-g0219b8d~b4906

- use new vpp ref build - centos7:
  18.10-rc0~242_g0219b8d~b4824

- use new dpdk version:
  18.08-vpp1

Change-Id: I1c8a12d3481108ceff8da1f4e31431fbdd9a7f1f
Signed-off-by: Jan Gelety <jgelety@cisco.com>

Insert warning against editing in requirements.txt

Change-Id: Ifed10692e122c3a42d75282c92476e508cec597d
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

FIX: Correction of ACL perf test suite documentation

Change-Id: I01cc87f5f5409346566ded52da9d384fdd3fa2c4
Signed-off-by: Jan Gelety <jgelety@cisco.com>

add the expected prompt for ubuntu root user

if ssh use root account to login ubuntu os, its prompt is ":~# ",
so add it to let csit test can run with root account.

Change-Id: I21f5380245324c8e48099433e3d374188e9001d9
Signed-off-by: Yulong Pei <yulong.pei@intel.com>

Adjust TEST_TAGs for timed jobs

+ remove obsolete bootstraps

Change-Id: Iee1fe404106f2fa0c438ff30526e756f037ce676
Signed-off-by: Peter Mikus <pmikus@cisco.com>