CSIT-664: Refactor setups and teardowns

 - Add suite setup for performance IPSec tests
 - Add test teardown for performance SNAT tests
 - Add setups and teardowns for functional tests
 - Clean up the code

Change-Id: Ia456e9f3ff0f0f2bb9a03f692f27c7f9a2817621
Signed-off-by: Tibor Frank <tifrank@cisco.com>

CSIT-646 Refactor VPPConfigGenerator script

Currently the VPPConfigGenerator script is not modular enough for creating
all combinations of VPP startup configuration. This patch is supposed to
implement unified structured way to create all configuration options.

Change-Id: If3f9cf5dc838fe0a698ea1c601abff6c4c0468b5
Signed-off-by: Peter Mikus <pmikus@cisco.com>

Update of VPP_STABLE_VER files

- use new vpp ref build - ubuntu 16.04:
  17.07-rc0~365-g93992a9~b2471_amd64

- use new vpp ref build - centos7:
  17.07-rc0~366_g27b390e~b2470.x86_64

- builds tested by semiweekly jobs:
  https://jenkins.fd.io/view/csit/job/csit-vpp-verify-master-ubuntu1604-semiweekly/45/
  https://jenkins.fd.io/view/csit/job/csit-vpp-verify-master-centos7-semiweekly/45/

Change-Id: I5afef4e6d33b7821ff085d4d1b349e62f1bcc0e2
Signed-off-by: Jan Gelety <jgelety@cisco.com>

CSIT-663: Remove unused keywords

Change-Id: Ib3f0edb0c3a48a760040886e5aedce81c9baeac2
Signed-off-by: Tibor Frank <tifrank@cisco.com>

Add the NSH SFC functional test cases.
1. Proxy Inbound test with 152/256/512/1024/1280/1518 Bytes VxLAN-GPE + NSH packet
2. Proxy Outbound test with 128/256/512/1024/1280/1518 Bytes VxLAN packet
3. SFC SFF test with 152/256/512/1024/1280/1518 Bytes VxLAN-GPE + NSH packet

Separate the functional test bootstrap file to another code review.

Change-Id: I05cf6ab1d01c1b41c1c61044d6d31fd6219b86af
Signed-off-by: Fangyin Hu <fangyinx.hu@intel.com>

Modify the DPDK compile configure for the 40G NIC.

Change-Id: Ifedefd53f216dd9feb55ab98ca4f5c9fddcfd024
Signed-off-by: Fangyin Hu <fangyinx.hu@intel.com>

CSIT-662: KWI - KW renaming

 - plus: CSIT-656: Script to rename robot keywords.

Change-Id: Ia69917e406a1b346b80e5ea742f6200c1c9e9d21
Signed-off-by: Tibor Frank <tifrank@cisco.com>

TLDK udwfwd test case:
    - ip fragement for ipv4
    - ip reassemble for ipv4
    - ip checksum for ipv4
    - ip checksum for ipv6
    - ip fragment for ipv6

    added the genpcap.py script to generate the pcap files and corresponding
    test scripts

Change-Id: I01329dbb0ecd3c3a5dd7a63ef1dea01b2e717da5
Signed-off-by: qun wan <qun.wan@intel.com>

VIRL lspci fix

Change-Id: I884b56c5cc2e0d5f40c0e9d0b5fb7356dc3b4028
Signed-off-by: pmikus <pmikus@cisco.com>

CSIT-607 Optimize VIRL job scheduling algorithm

Optimize VIRL job scheduling algorithm based on available VIRL
host capacity. Add IP pool availability pre-checks.

- add quota based on max. allowe IPs and max. allowe VMs per virl

- use one common bootstrap file instead of two separate files (one
  for ubutnut, another for centos)

Change-Id: Ic40122a084624ff9c5eafa9f372b0451e857e29a
Signed-off-by: Peter Mikus <pmikus@cisco.com>

CSIT-614: PDRCHK test for vpp-csit-verify-hw-perf job

Create PDRCHK test:

a. vpp-verify-perf-l2
   i.   10Ge2P1X520-Eth-L2Bdbasemaclrn-pdrchk
   ii.  10Ge2P1X520-Eth-L2Xcbase-pdrchk

b. vpp-verify-perf-ip4
   i.   10Ge2P1X520-Ethip4-Ip4Base-pdrchk

c. vpp-verify-perf-ip6
   i.   10Ge2P1X520-Ethip6-Ip6Base-pdrchk
   ii.  10Ge2P1X520-Ethip6-Ip6Scale2M-pdrchk

d. vpp-verify-perf-lisp
   i.   10Ge2P1X520-Ethip4Lispip4-Ip4Base-pdrchk
   ii.  10Ge2P1X520-Ethip4Lispip6-Ip4Base-pdrchk
   iii. 10Ge2P1X520-Ethip6Lispip4-Ip6Base-pdrchk
   iv.  10Ge2P1X520-Ethip6Lispip6-Ip6Base-pdrchk

e. vpp-verify-perf-vxlan
   i.   10ge2p1x520-ethip4vxlan-l2xcbase-pdrchk

Change-Id: If232b0375140b884f1b65c380faf5bd77c5df5c3
Signed-off-by: Tibor Frank <tifrank@cisco.com>

Update of VPP_STABLE_VER files and DPDK_STABLE_VER file

- use new vpp ref build - ubuntu 16.04:
  17.07-rc0~330-g8c55b37~b2435_amd64

- use new vpp ref build - centos7:
  17.07-rc0~330_g8c55b37~b2433.x86_64

- use new DPDK version:
  17.05-vpp5

- builds tested by semiweekly jobs:
  https://jenkins.fd.io/view/csit/job/csit-vpp-verify-master-ubuntu1604-semiweekly/43/
  https://jenkins.fd.io/view/csit/job/csit-vpp-verify-master-centos7-semiweekly/43/

Change-Id: Ie4e8b6fc8ff588eac0e3c6385c3335565ae87355
Signed-off-by: Jan Gelety <jgelety@cisco.com>

CSIT-610 HC Test: add test cases for unnumbered interface

 - add interface and sub-interface tests with unnumbered config
 - modify interface IPv4 address assignment to handle custom interfaces
 and sub-interfaces
 - pylint and style fixes

Change-Id: Ic39df1655b4d44f0025a2acef9f7f968929aeff5
Signed-off-by: selias <samelias@cisco.com>

CSIT-524: Traffic generator using python profiles

Profile name structure:
   [trex|ixia]-[sl|sf]-[topo]-[packet structure]-[scale]

   - Traffic generator - T-rex (trex) or Ixia (ixia)
   - Stateless (sl) or statefull (sf)
   - Topology - 2-node topology (2n) or 3-node topology (3n)
   - Packet structure - eth | ip4/6 | udp
   - Scale - e.g. ip4dst1, ip6dst10000, 4000u15p

Traffic types changed to stream profiles:

 - From: 2-node-bridge
   To:   trex-sl-2n-ethip4-ip4src253

 - From: 3-node-bridge
   To:   trex-sl-3n-ethip4-ip4src254

 - From: 3-node-IPv4-dst-1000000
   To:   trex-sl-3n-ethip4-ip4dst1000000

 - From: 3-node-IPv4-dst-100000
   To:   trex-sl-3n-ethip4-ip4dst100000

 - From: 3-node-IPv4-dst-10000
   To:   trex-sl-3n-ethip4-ip4dst10000

 - From: 3-node-IPv4-dst-1000
   To:   trex-sl-3n-ethip4-ip4dst1000

 - From: 3-node-IPv4-dst-100
   To:   trex-sl-3n-ethip4-ip4dst100

 - From: 3-node-IPv4-dst-1
   To:   trex-sl-3n-ethip4-ip4dst1

 - From: 3-node-IPv4
   To:   trex-sl-3n-ethip4-ip4src253

 - From: 3-node-IPv6-dst-1000000
   To:   trex-sl-3n-ethip6-ip6dst1000000

 - From: 3-node-IPv6-dst-100000
   To:   trex-sl-3n-ethip6-ip6dst100000

 - From: 3-node-IPv6-dst-10000
   To:   trex-sl-3n-ethip6-ip6dst10000

 - From: 3-node-IPv6
   To:   trex-sl-3n-ethip6-ip6src253

 - From: 3-node-xconnect
   To:   trex-sl-3n-ethip4-ip4src254

 - From: 3-node-IPv4-SNAT-1000u-15p
   To:   trex-sl-3n-ethip4udp-1000u15p

 - From: 3-node-IPv4-SNAT-100u-15p
   To:   trex-sl-3n-ethip4udp-100u15p

 - From: 3-node-IPv4-SNAT-10u-15p
   To:   trex-sl-3n-ethip4udp-10u15p

 - From: 3-node-IPv4-SNAT-1u-15p
   To:   trex-sl-3n-ethip4udp-1u15p

 - From: 3-node-IPv4-SNAT-1u-1p
   To:   trex-sl-3n-ethip4udp-1u1p

 - From: 3-node-IPv4-SNAT-2000u-15p
   To:   trex-sl-3n-ethip4udp-2000u15p

 - From: 3-node-IPv4-SNAT-4000u-15p
   To:   trex-sl-3n-ethip4udp-4000u15p

Change-Id: If6a3cf204c93ff9f2cdccc5fd395e26b05483b58
Signed-off-by: Tibor Frank <tifrank@cisco.com>

CSIT-572: Add script for data collection for report

 - Add script which picks required data from RF output.xml
   and saves it in JSON format.
 - Run this script automatically when the output.xml is generated.
 - Archive the output.

Change-Id: I89589369975e14fc8d8e4afa88abfa34260c09cf
Signed-off-by: Tibor Frank <tifrank@cisco.com>

Bootstrap file for the nsh_sfc functional test cases to
    support the jenkins job scheduling.

Change-Id: I8969c563ae712a82c9ff875ea4c55c6504acd44e
Signed-off-by: qun wan <qun.wan@intel.com>

CSIT-648 Installation of lxc on physical hosts

Add lxc package to ansible 01-host-setup file to install package
and its dependencies on all SUTs

Change-Id: I3a7cef1a5acec16f603ffad7ee6ca7c85969e385
Signed-off-by: Peter Mikus <pmikus@cisco.com>

Do not fail test case when no vpp pid detected in the tear down

- currently when no pid (or more pids) detected in the test case
  tear down of successfully run test case not only the WARN message
  is logged but the whole test case is failed

- to change this behaviour but keep test case failure if no vpp pid
  (or more vpp pids) detected in test case setup the low level KW
  "Get VPP PID" behaviour has been changed to return one or more
  pids or None w/o raising an error and check has been moved to
  higher level KW "Save VPP PIDs"

- there was added suite name and test case name to WARN message when
  no pid or more pids detected in the test case tear down

Change-Id: I04f8d81c1ca48a1e4a45bd0e58f00d36d51c6933
Signed-off-by: Jan Gelety <jgelety@cisco.com>

Update of VPP_STABLE_VER files

- use new vpp ref build - ubuntu 16.04:
  17.07-rc0~305-g6af1c04~b2410_amd64

- use new vpp ref build - centos7:
  17.07-rc0~305_g6af1c04~b2408.x86_64

- builds tested by semiweekly jobs:
  https://jenkins.fd.io/view/csit/job/csit-vpp-verify-master-ubuntu1604-semiweekly/41/
  https://jenkins.fd.io/view/csit/job/csit-vpp-verify-master-centos7-semiweekly/41/

Change-Id: I187a49d922a5aa916d52d820350e9631f174221d
Signed-off-by: Jan Gelety <jgelety@cisco.com>

Add the DPDK l3fwd performance test case.
fix some code style issue and rebase the code.
change the DPDK l3fwd test case name and rebase the code.
fix the pylint errors.
change the DPDK version to 17.05
Rebase the code.
Fix the l3fwd test code like the l2fwd.
Fix the run l3fwd script issues.
Rebase the code and review.
Fix the l3fwd script issues.
verify-perf-dpdk-long

Change-Id: I5c5625ebcd5ff16f47fbee361789be3fece1ddbc
Signed-off-by: Fangyin Hu <fangyinx.hu@intel.com>

CSIT-597: added additional variables needed for virl host construction.
Also converted ansible_hosts file to utf-8 because the dos format it was in
was pissing me off.

Change-Id: Ie436f5abc6b397d406efec6e49e0845d915f2310
Signed-off-by: Ed Kern <ejk@cisco.com>

CSIT-612 Report: Minimization of hand-crafted content.

- replace dynamic text content and links by variables.

Change-Id: I1a7ec371fc80af3c9dd416bf91dd2c639097cf1e
Signed-off-by: Peter Mikus <pmikus@cisco.com>

CSIT-613 Update VIRL ansible files

Update VIRL ansible files

Change-Id: Ie64ddb1238888518e9384711669a028097d816af
Signed-off-by: Peter Mikus <pmikus@cisco.com>

CSIT-597: quotas to default user, use command crudini over ini for : vs = sep and alternate salt master
altered virl.ini for eth0 being on flat port
Change-Id: I12dacc32ca3f542f18d4569947123e49d07d74ef
Signed-off-by: Ed Kern <ejk@cisco.com>

CSIT-597: revert to old style interface naming

Change-Id: I0ae5295fe0bd046e643df2d2abf2b88f76f3179f
Signed-off-by: Ed Kern <ejk@cisco.com>

HC Test: update proxyARP test case

 - update to better reflect test in CSIT-functional

Change-Id: I7412bfea34c867cd14ee95b857f30d6923998ff2
Signed-off-by: selias <samelias@cisco.com>

Modify garbage cleaning on VIRL

Decrease the threshold of old session directories and add cleaning of non-empty directories

Change-Id: I77950065e5e09aaaf38cf2d9cb3f4c3f8cdcf58c
Signed-off-by: Peter Mikus <pmikus@cisco.com>

Upgrade T-rex to version 2.25

- Upgrade T-rex to v2.25 with multiple bug fixes.

Change-Id: Idc422172ce98c37ace7bbbf054a2b024c313bbf7
Signed-off-by: Peter Mikus <pmikus@cisco.com>

Update of VPP_STABLE_VER files and DPDK_STABLE_VER file

- use new vpp ref build - ubuntu 16.04:
  17.07-rc0~144-g36c1308~b2247_amd64

- use new vpp ref build - centos7:
  17.07-rc0~268-gc7409dc~b2371_amd64

- use new DPDK version:
  17.05-vpp3

- builds tested by semiweekly jobs:
  https://jenkins.fd.io/view/csit/job/csit-vpp-verify-master-ubuntu1604-semiweekly/39/
  https://jenkins.fd.io/view/csit/job/csit-vpp-verify-master-centos7-semiweekly/39/

Change-Id: I7ed3e1011ae6b1e9fa9a6a3fd98fc5ebcb8bfdf9
Signed-off-by: Jan Gelety <jgelety@cisco.com>

HC Test: Improve logging of Honeycomb and VPP restart

Change-Id: I69d73ba3f672af88563715d17c94c73d8d5e7ff2
Signed-off-by: selias <samelias@cisco.com>

Update: Topology file for TB1

- Update topology file for TB1 after card replacement

Change-Id: Id346b747bb600b6796a447a23b1a4e37961a8c7e
Signed-off-by: Peter Mikus <pmikus@cisco.com>

TLDK Bootstrap.sh file to support the jenkins job scheduling.

Change-Id: Ia89e5a32fdc963a1c20345da1310b7958cd34c48
Signed-off-by: qun wan <qun.wan@intel.com>

CSIT-580: IPSec tests - modifications related to the latest changes

- The startup option 'enable-cryptodev' has been removed and unless
  not enough cryptodevs are found, DPDK cryptodev will be enabled by default.

Change-Id: I19a483435256d8cf4101dc9f10a7c95ed5594e75
Signed-off-by: Tibor Frank <tifrank@cisco.com>

CSIT-557 HC Test: Fix ODL setup in Honeycomb-odl jobs

Change-Id: I917f3bfd9cea043e1bc820536db07697e0d41040
Signed-off-by: selias <samelias@cisco.com>

Fix start-testcase script on VIRL

- Fix pylint errors
- Add expiry option to set expiration of simulation
- Add more sanitization of exceptions
- Fix printing of debug messages to stderr

Change-Id: Iecc1fe042b6da104a164fb5701e665b6f3aa298b
Signed-off-by: Peter Mikus <pmikus@cisco.com>

Func test reorg - decrease exec time per vpp patch

- remove tests covered by make test
- remove some negative tests

Change-Id: I35d641562ee85888f7d1dd60dd892689b1e9c52d
Signed-off-by: Jan Gelety <jgelety@cisco.com>
Signed-off-by: Maciek Konstantynowicz <mkonstan@cisco.com>

CSIT-576 HC Test: Improve SPAN test coverage

 - add test for multiple destination interfaces using one source interface
 - duplicate all existing cases using a sub-interface as the destination

Change-Id: Ifabf78bca258247a19624b2b2a0474d21d1229d3
Signed-off-by: selias <samelias@cisco.com>

CSIT-577 HC Test: Scripts for test jobs using ODL client

ODL client can be used to translate Restconf requests into Netconf. This
way Honeycomb's Netconf interface can be tested using existing test cases.

 - add bootstrap scripts for verify and integration job
 - update __init__.robot to handle new {HC_ODL} variable

Change-Id: I7e156dab3d5434dff246bfd02090f3c6bea81b86
Signed-off-by: selias <samelias@cisco.com>

CSIT-562 HC Test: Persistence suite rework, part1

 - rename keywords that check operational data, to distinguish from keywords
that check configuration data
 - modify existing persistence cases so that they don't affect each other
 - add feature-specific persistence tests for: Interface Management, L2 bridge
 - move Interface Management variables to separate file so they can be reused
 - add new tag HC_PERSIST to execute persistence tests separately
 - update existing Honeycomb tags to comply with CSIT conventions

More feature-specific tests to be added in part2.

Change-Id: I8657da4bb9e9a3d5261c04f5f1999b2572f605ef
Signed-off-by: selias <samelias@cisco.com>

CSIT-563: HC Test: improved Lisp test coverage

added TC09-TC14 with following features:
Map Resolver
Map Server
PETR configuration
RLOC Probing
Map Register
Map Request mode

Change-Id: I0e8a573e9a0f7ef3c688a014ff879e2b3d6b9b1e
Signed-off-by: jan.hradil <jan.hradil@pantheon.tech>
Signed-off-by: selias <samelias@cisco.com>

Fix: use pci/rescan to avoid occasional bind issue on Centos7

- rarelly binding of one of TG interfaces fails with "No such
  device" error; usage of rescan should avoid such situations

Change-Id: Icbeb48ea6f8adb863e6517d4a35d6aca4238309a
Signed-off-by: Jan Gelety <jgelety@cisco.com>

Add RA suppress to IPv6 Equal-cost multipath routing test case

Change-Id: I9aa7220db01016d553cd389ad4827a3f86da9310
Signed-off-by: Jan Gelety <jgelety@cisco.com>

Fix typo in weekly bootstrap file

Change-Id: I2dc221c433ba87d0f98082c0c3aef2df838cd750
Signed-off-by: Jan Gelety <jgelety@cisco.com>

Add Garbage Cleanning to VIRL

- add cleaning of old VPP builds (deb|rpm)
- add cleaning of old session dirs
- add cleaning of old QEMU logs

Change-Id: Ib2849cc3969de75525f13d80dc87b32fb82865af
Signed-off-by: Peter Mikus <pmikus@cisco.com>

Bump to DPDK 1705 vpp2

Change-Id: I6cc48962433e105c10384faa192d91a2c390011c
Signed-off-by: Neale Ranns <nranns@cisco.com>

DPDK version bump

Change-Id: Ia89d64a2c985ff949969c406f0e6cea03cc8c170
Signed-off-by: Neale Ranns <nranns@cisco.com>

Fix: SetupFramework sparse file handling

- Fix the issue during packing of the framework when source
directory contains sparse files. By default tar is throwing
warning resulting in return code other then 0.

Change-Id: I39a9c1956685158e2e0fd9ef9545f90e3ef2a89f
Signed-off-by: Peter Mikus <pmikus@cisco.com>

CSIT-574: IPSec Scale File Splits

split file into two separate files based on number of tunnels
values 1 or 1000
corrected name errors - scale -> base

Change-Id: I7114c777f3cc3d7f4951a1f59e54f3a7bbe404ec
Signed-off-by: jan.hradil <jan.hradil@pantheon.tech>

CSIT-573: Split SNAT scale tests to multiple files

split file with many test cases into mutliple files based on
users and ports
added SRC_USER tags
removed empty lines at EOF

Change-Id: I19c79cdf8d7de4147c98bc061559af1fde10ab8c
Signed-off-by: jan.hradil <jan.hradil@pantheon.tech>

csit report - fixed table format in vpp_performance_tests/csit_release_notes.rst

Change-Id: Ie9d4a9ba373c0e6131f0a2d3e49f20a315da3b9a
Signed-off-by: Maciek Konstantynowicz <mkonstan@cisco.com>

HC Test: update routing test keyword due to namespace changes

 - changed in https://gerrit.fd.io/r/6303

Change-Id: If5fdfcf21c757f9199f168bfd044c7fefce87bef
Signed-off-by: selias <samelias@cisco.com>

Use 'Qemu Kill All' in perf test teardown

- replace 'Qemu Kill' KW by 'Qemu Kill All'
- use self.qemu_kill_all() in case of qemu_start(self) failure

Change-Id: I19d4c64d5daef4f00548344d45f0d4943ca4f7e8
Signed-off-by: Jan Gelety <jgelety@cisco.com>

HC Test: Update honeycomb suite setup

 - remove workaround for jVPP version mismatch
 - increase Java API command timeout

Change-Id: Ic6a61ff029cc7cdfec1f75890e18599e3b05f019
Signed-off-by: selias <samelias@cisco.com>

CSIT-566: Use RA suppress in LISP and VXLAN IPv6 related test cases

Change-Id: I788bf465242f5894c65b58f14d2355d29755eda5
Signed-off-by: Jan Gelety <jgelety@cisco.com>

Update to csit rls1704 report - perf changes tables - based on increased number of test job executions.

Change-Id: I659f7f3da2464081be540c80cb2d71c107455a5e
Signed-off-by: Maciek Konstantynowicz <mkonstan@cisco.com>

Updates to csit rls1704 report related to increased number of test job executions.

Change-Id: If16e312eeb377cabc96fe1a671d9bdfedf5e87b0
Signed-off-by: Maciek Konstantynowicz <mkonstan@cisco.com>

Fix Honeycomb source data path for report.

Change-Id: Ifcae7625dd2325461f70382439a52d9091d7121c
Signed-off-by: Peter Mikus <pmikus@cisco.com>

Update links with source data for rls report

Change-Id: Ic105fb63f5314da2a30aa1c562e4b98a1bb67788
Signed-off-by: Peter Mikus <pmikus@cisco.com>

Update data points for rls1704 report

Change-Id: Iae8b0833d88d0331f0b8296c79f5267e3a32f53c
Signed-off-by: Peter Mikus <pmikus@cisco.com>

csit-validate-pylint-master/3731 for build 3731

pylint repairs
deleted duplicated method from HcPersistence.py

Change-Id: I426e6c15957c995ea10bd11ae2deac75b1cab922
Signed-off-by: jan.hradil <jan.hradil@pantheon.tech>

Fix: VAT timeout in IPv6 scale 2M

- Fix VAT timeout issue in IPv6 scale testing with 2M FIB entries
by increasing heapsize to 3G

Change-Id: Ie81619085fbd5a2a86848513d139932a12babf67
Signed-off-by: Peter Mikus <pmikus@cisco.com>

Update ansible playbooks VIRL setup

Change-Id: I704991c65dc5fc9ce40ade932cab104fa468696c
Signed-off-by: Matej Klotton <mklotton@cisco.com>

csit rls1704: updates to /testpmd_performance_tests/packet_*_graphs files.

Change-Id: I7c9fefd93e768368ac1093ffd4589dcf63a6375c
Signed-off-by: Maciek Konstantynowicz <mkonstan@cisco.com>

Update of VPP_STABLE_VER_UBUNTU

- use new vpp ref build: 17.07-rc0~144-g36c1308~b2247_amd64
- build tested by semiweekly job:
  https://jenkins.fd.io/view/csit/job/csit-vpp-verify-master-ubuntu1604-semiweekly/31/

Change-Id: Ie1541da709828aebfcbb1068427d9b3f7e97ffc6
Signed-off-by: Jan Gelety <jgelety@cisco.com>

csit rls1704 report: final update to csit_release_notes.rst, packet_*_graphs.rst files.

Change-Id: I531706f87716a3db8c5417be6ce4933e02e2a622
Signed-off-by: Maciek Konstantynowicz <mkonstan@cisco.com>

Report-gen update

- fix header in IPsec sections
- fix IP4 regexp to include SNAT
- update source data for perf trending
- fix rendering of Trex section

Change-Id: I20660eb997a33cdca89490f2ef1cd1dcd339ff15
Signed-off-by: Peter Mikus <pmikus@cisco.com>

csit rls1704 report: updates to csit_release_notes.rst files.

Change-Id: I672beb5e710bcec7aba738efe75e508e9394fafe
Signed-off-by: Maciek Konstantynowicz <mkonstan@cisco.com>

update to csti rls1704 report: vpp_unittest_results.rst

Change-Id: I3af10e3caeaa4150b35a118899e233e33877c673
Signed-off-by: Maciek Konstantynowicz <mkonstan@cisco.com>

Fix: Report table layout in RTD Sphinx

Change-Id: Ibdac46c7ec6d8381da89ea9bb7e407b91c5029df
Signed-off-by: Peter Mikus <pmikus@cisco.com>

CSIT rls1704 report - small updates

Change-Id: I80b5aaf2bab77a6131fca8cf4e903ef6aecd1195
Signed-off-by: Jan Gelety <jgelety@cisco.com>
Signed-off-by: Maciek Konstantynowicz <mkonstan@cisco.com>

Edits to csit rls1704 report: vpp_unit_tests sections.

Change-Id: I1eceb766f53c7bd25c791c16b8fbc027009df3f0
Signed-off-by: Maciek Konstantynowicz <mkonstan@cisco.com>

Edits to csit rls1704 report: csit_tag_description.rst.

Change-Id: Iee1b6fd98b73be1821068f08fa469222eb938a32
Signed-off-by: Maciek Konstantynowicz <mkonstan@cisco.com>

csit rls1704 report - updated csit_release_notes.rst and overview.rst files.

Change-Id: I0b5005a4c8dc566e559638d981fb0e8a7b079499
Signed-off-by: Maciek Konstantynowicz <mkonstan@cisco.com>

CSIT rls1704 report - update of functional csit_release_notes.rst

Change-Id: I4c6526ffdfeacdfaa02cd77d862e52cf1ed12714
Signed-off-by: Jan Gelety <jgelety@cisco.com>

CSIT doc gen: Use html <pre> tag for data from teardown.

Change-Id: Ie8d856d0a7b90eeecffcb38cd8e8b0647a534d8d
Signed-off-by: Jan Gelety <jgelety@cisco.com>

Update run_report.sh script for generating report

Change-Id: I8ba216fd90285ffef34d255b7a672a4d944caff3
Signed-off-by: Peter Mikus <pmikus@cisco.com>

Update: report source data links

Change-Id: I74b9b1070380dcc5f721d695989f3bd676b6df91
Signed-off-by: Peter Mikus <pmikus@cisco.com>

CSIT rls1704 report - update of vpp_functional_tests/csit_release_notes.rst

Change-Id: I09a0041de447f18c291163ef26c5cce0f1c94645
Signed-off-by: Jan Gelety <jgelety@cisco.com>

CSIT rls1704 report - update to vpp_functional_tests/csit_release_notes.rst

Change-Id: I400f49ab5399a83b925fbbe2b52e37fd97f464f0
Signed-off-by: Jan Gelety <jgelety@cisco.com>

rls1704 report - updated sections:
- vpp_performance_tests/overview.rst
- vpp_performance_tests/csit_release_notes
- vpp_performance_tests/test_environment
- honeycomb_functional_tests/csit_release_notes

Change-Id: I047c4934f0de18b3adb5e8ae4b6eb1a270b75cc7
Signed-off-by: Maciek Konstantynowicz <mkonstan@cisco.com>

Fix: CSIT report gen for policer

Change-Id: I45bd6e8099b702965e0d20b44b6e99971f25af53
Signed-off-by: Jan Gelety <jgelety@cisco.com>

CSIT rls1704 report - update to handcrafted sections:
- index.rst
- vpp_performance_tests/csit_release_notes
- vpp_performance_tests/overview.rst
- vpp_performance_tests/packet_throughput_graphs/...
- testpmd_performance_tests/csit_release_notes.rst
- vpp_functional_tests/csit_release_notes.rst
- testpmd_performance_tests/packet_latency_graphs/...
- testpmd_performance_tests/packet_throughput_graphs/...

Change-Id: I06bd27bc30d06d69873da74756ca586e12e55643
Signed-off-by: Maciek Konstantynowicz <mkonstan@cisco.com>

Vhost tests

Change-Id: I03722afe13722941e084bc01161f7c2af30e3cb1
Signed-off-by: Matej Klotton <mklotton@cisco.com>

Improve doc in data driven perf tests

Change-Id: I1aed068cfd502d4064be194417e91e0459d25a88
Signed-off-by: Tibor Frank <tifrank@cisco.com>

Fix: CSIT report gen - teardonw data + run_report.sh

Change-Id: Ie846ff0503d14f861738b2753328bb6a64ac8216
Signed-off-by: Jan Gelety <jgelety@cisco.com>

Update report links to source data

Change-Id: Ifd5689eac5251316e24283fb94526ad52567d1ac
Signed-off-by: Peter Mikus <pmikus@cisco.com>

CSIT doc gen: Add configurations and operational data.

- vpp perf configurations and operational data
- vpp func configurations

Change-Id: I634682e55a2862b927546e2657aabb242c730be1
Signed-off-by: Jan Gelety <jgelety@cisco.com>

CSIT doc gen: Script to get data from teardown.

- generate rst/html/md/wiki file with required data from teardown per TC
- implemented:
- VAT command history of all DUTs per TC
- ouptup of CLI command "Show Runtime" (VPP operational data)

Change-Id: I0771f3e0c20dfff9d00df62bdcc6013a32ef9001
Signed-off-by: Jan Gelety <jgelety@cisco.com>

1704 report - fix mistake in honeycomb section

Change-Id: I6517ea48a6df95cc855596843d736658471486ea
Signed-off-by: selias <samelias@cisco.com>

CSIT-534 HC Test: policer tests

Added empty lines where needed
Repaired Phrasese "Given" --> "And" where necessary in mgmt-cfg-policer-apihc-func.robot
Corrected English in mgmt-cfg-policer-apihc-func.robot - in TC07 Documentation

Change-Id: Id99d7fd04d8f2dcae1820baa208ce338fad3a290
Signed-off-by: jan.hradil <jan.hradil@pantheon.tech>

1704 Report - Honeycomb section

Change-Id: I8006cf8187f943b8d880c8193b6b1bde25ad343c
Signed-off-by: selias <samelias@cisco.com>

Download the latest VPP build for *NIGHTLY and *DAILY jobs

Change-Id: I15755c9fc5f95497c84a20d83c3dabddf53c2225
Signed-off-by: Tibor Frank <tifrank@cisco.com>

Fix: Report vhost and testpmd plots

Change-Id: Iaf41d9132a52e1d4e199bba31abedba66143bfc7
Signed-off-by: Peter Mikus <pmikus@cisco.com>

Fix: Report generation

- Add IPsec plots
- Fix plots rendering

Change-Id: Ie8f5d2fa6724268ac05ed4f6ea53bb7c593f676e
Signed-off-by: Peter Mikus <pmikus@cisco.com>

CSIT-554: Performance jobs reorganisation, part 4

Add:
 - vpp-csit-verify-hw-perf

Change-Id: Ia6b4773256b78ce26c0ef29e70964966f3b901ca
Signed-off-by: Tibor Frank <tifrank@cisco.com>

CSIT-557: Performance jobs reorganisation, part 3

Add:
 - csit-vpp-perf-verify

Change-Id: Ifc97228f5066f5a2ab3404b9b62d09b49af3f061
Signed-off-by: Tibor Frank <tifrank@cisco.com>

Fix: tc02-64B-1t1c-eth-l2xcbase-eth-4vhost-2vm-pdrdisc

- Fix missing keyword

Change-Id: Iea1fa4e389f87113b205f53d0f57cbb05fcbff0a
Signed-off-by: Peter Mikus <pmikus@cisco.com>

Update data source for release report

Change-Id: Ifccd3fd895ae52c78b1ae7a6d0d30d9334d30a05
Signed-off-by: Peter Mikus <pmikus@cisco.com>

Fix typo in run_report

Change-Id: Ide358bf67fd70717b7545bdf2a56562169cdef8a
Signed-off-by: Peter Mikus <pmikus@cisco.com>

Fix run_report.sh

- fix sed delimiter to eliminate /

Change-Id: I4d6253d7845937ee452da342819d1c390ca28054
Signed-off-by: Peter Mikus <pmikus@cisco.com>