resources/tools/doc_gen/src/overview.rst

   1 .. |csit| replace:: Continuous System Integration and Testing
   2
   3 CSIT Description
   4 ================
   5
   6 #. Development of software code for fully automated VPP code testing,
   7    functionality, performance, regression and new functions.
   8
   9 #. Execution of CSIT test suites on VPP code running on LF FD.io virtual and
  10    physical compute environments.
  11
  12 #. Integration with FD.io continuous integration systems (Gerrit, Jenkins and
  13    such).
  14
  15 #. Identified existing FD.io project dependencies and interactions:
  16
  17     - vpp - Vector Packet Processing.
  18     - honeycomb - Honeycomb Agent for management plane testing.
  19     - ci-management - Management repo for Jenkins Job Builder, script and
  20       management related to the Jenkins CI configuration.
  21
  22 Project Scope
  23 -------------
  24
  25 #. Automated regression testing of VPP code changes
  26
  27     - Functionality of VPP data plane, network control plane, management plane
  28       against functional specifications.
  29     - Performance of VPP data plane including non-drop-rate packet throughput
  30       and delay, against established reference benchmarks.
  31     - Performance of network control plane against established reference
  32       benchmarks.
  33     - Performance of management plane against established reference benchmarks.
  34
  35 #. Test case definitions driven by supported and planned VPP functionality,
  36    interfaces and performance:
  37
  38     - Uni-dimensional tests: Data plane, (Network) Control plane, Management
  39       plane.
  40     - Multi-dimensional tests: Use case driven.
  41
  42 #. Integration with FD.io Continuous Integration system including FD.io Gerrit
  43    and Jenkins
  44
  45     - Automated test execution triggered by VPP-VERIFY jobs other VPP and CSIT
  46       project jobs.
  47
  48 #. Integration with LF VPP test execution environment
  49
  50     - Functional tests execution on LF hosted VM environment.
  51     - Performance and functional tests execution on LF hosted physical compute
  52       environment.
  53     - Subset of tests executed on LF hosted physical compute running VIRL
  54       (Virtual Internet Routing Lab).