docs/cpta/introduction/index.rst

   1 VPP Performance Dashboard
   2 =========================
   3
   4 Description
   5 -----------
   6
   7 Performance dashboard tables provide the latest VPP throughput trend,
   8 trend compliance and detected anomalies, all on a per VPP test case
   9 basis.  Linked trendline graphs enable further drill-down into the
  10 trendline compliance, sequence and nature of anomalies, as well as
  11 pointers to performance test builds/logs and VPP (or DPDK) builds.
  12 Performance trending is currently based on the Maximum Receive Rate (MRR) tests.
  13 MRR tests measure the packet forwarding rate under the maximum load offered
  14 by traffic generator over a set trial duration, regardless of packet
  15 loss. See :ref:`trending_methodology` section for more detail including
  16 trend and anomaly calculations.
  17
  18 Data samples are generated by the CSIT VPP (and DPDK) performance trending jobs
  19 executed twice a day (target start: every 12 hrs, 02:00, 14:00 UTC). All
  20 trend and anomaly evaluation is based on an algorithm which divides test runs
  21 into groups according to minimum description length principle.
  22 The trend value is the population average of the results within a group.
  23
  24 Failed tests
  25 ------------
  26
  27 The table lists the tests which failed over the <N=14> runs of the trending
  28 jobs.
  29
  30 Legend to the table:
  31
  32     - **Test Case**: name of FD.io CSIT test case, naming convention
  33       `here <https://wiki.fd.io/view/CSIT/csit-test-naming>`_.
  34     - **Fails [#]**: number of fails of the tests over the period.
  35     - **Last Fail [Date]**: the date and time when the test failed the last
  36       time.
  37     - **Last Fail [VPP Build]**: VPP build which was tested when the test failed
  38       the last time.
  39     - **Last Fail [CSIT Build]**: the last CSIT build where the test failed.
  40
  41 .. include:: ../../../_build/_static/vpp/failed-tests.rst
  42
  43 Dashboard
  44 ---------
  45
  46 Legend to the tables:
  47
  48     - **Test Case**: name of FD.io CSIT test case, naming convention
  49       `here <https://wiki.fd.io/view/CSIT/csit-test-naming>`_.
  50     - **Trend [Mpps]**: last value of performance trend.
  51     - **Short-Term Change [%]**: Relative change of last trend value
  52       vs. last week trend value.
  53     - **Long-Term Change [%]**: Relative change of last trend value vs.
  54       maximum of trend values over the last quarter except last week.
  55     - **Regressions [#]**: Number of regressions detected.
  56     - **Progressions [#]**: Number of progressions detected.
  57
  58 Tested VPP worker-thread-core combinations (1t1c, 2t2c, 4t4c) are listed
  59 in separate tables in section 1.x. Followed by trending methodology in
  60 section 2. and trendline graphs in sections 3.x. Performance test  data
  61 used for trendline graphs is provided in sections 4.x.
  62
  63 VPP worker on 1t1c
  64 ``````````````````
  65
  66 .. include:: ../../../_build/_static/vpp/performance-trending-dashboard-1t1c.rst
  67
  68 VPP worker on 2t2c
  69 ``````````````````
  70
  71 .. include:: ../../../_build/_static/vpp/performance-trending-dashboard-2t2c.rst
  72
  73 VPP worker on 4t4c
  74 ``````````````````
  75
  76 .. include:: ../../../_build/_static/vpp/performance-trending-dashboard-4t4c.rst