docs/report/introduction/overview.rst

   1 Overview\r
   2 ========\r
   3 \r
   4 This is the **F**\ast **D**\ata **I**/**O** Project (FD.io) **C**\ontinuous\r
   5 **S**\ystem **I**\ntegration and **T**\esting (CSIT) project report for CSIT\r
   6 |release| system testing of VPP-17.01 release. Initial sections of the report\r
   7 describe FD.io functional and performance tests and their continuous execution\r
   8 achieved in CSIT |release|. This is followed by high-level overview of FD.io\r
   9 test environments running in Linux Foundation (LF) FD.io Continuous\r
  10 Performance Labs), CSIT |release| release notes and result highlights.\r
  11 Subsequent sections list the functional and performance detailed test results\r
  12 generated by LF FD.io Jenkins system executing CSIT jobs running tests\r
  13 against the VPP-17.01 release and associated sub-systems (HoneyComb, DPDK).\r
  14 \r
  15 The exact structure of the report is as follows:\r
  16 \r
  17 #. ``Introduction`` - Includes: ``Overview`` - this section;\r
  18    ``CSIT Test Naming`` - describing CSIT naming convention for test suites and\r
  19    test cases, important to understand to correctly interpret the reported\r
  20    results; ``General Remarks`` - additional notes related to this report.\r
  21 #. ``VPP Performance Tests HW`` - Summary of VPP performance tests executed in\r
  22    physical Hardware testbed. Includes: ``Overview`` - containing topology\r
  23    description and list of executed tests; ``Performance Tests Naming`` - lists\r
  24    CSIT naming specifics for performance tests; ``CSIT Release Notes`` - with\r
  25    changes in CSIT |release| including major test additions, performance\r
  26    improvements, changes in testing environment and methodology and known\r
  27    issues; ``Performance Measurements Methodology`` - details testing\r
  28    methodology followed for multi-thread multi-core, packet throughput and\r
  29    latency, and KVM VM vhost tests; ``Report Addendum Targets`` - lists content\r
  30    to be added to this report as part of CSIT |release|.\r
  31 #. ``Testpmd Performance Tests HW`` - ...\r
  32 #. ``VPP Functional Tests VIRL`` - ...\r
  33 #. ``VPP Functional Tests VPPtest`` - ...\r
  34 #. ``HoneyComb Functional Tests VIRL`` - ..\r
  35 #. ``VPP Performance Results HW`` - ...\r
  36 #. ``Testpmd Performance Results HW`` - ...\r
  37 #. ``VPP Functional Results VIRL`` - ...\r
  38 #. ``VPP Functional Results VPPtest`` - ...\r
  39 #. ``HoneyComb Functional Results VIRL`` - ...\r
  40 \r
  41 FD.io CSIT system is developed using two main coding platforms: Robot\r
  42 Framework (RF) and Python. CSIT |release| source code for the executed test\r
  43 suites is available in CSIT branch |release| in the directory\r
  44 "./tests/<name_of_the_test_suite>". A local copy of CSIT source code can be\r
  45 obtained by cloning CSIT git repository - "git clone\r
  46 https://gerrit.fd.io/r/csit". The CSIT testing virtual environment can be run\r
  47 on a local computer workstation (laptop, server) using Vagrant by following\r
  48 the instructions in `CSIT tutorials\r
  49 <https://wiki.fd.io/view/CSIT#Tutorials>`_.\r