docs/cpta/introduction/index.rst

   1 VPP Performance Dashboard
   2 =========================
   3
   4 Description
   5 -----------
   6
   7 Performance dashboard tables provide the latest VPP throughput trend,
   8 trend compliance and detected anomalies, all on a per VPP test case
   9 basis.  Linked trendline graphs enable further drill-down into the
  10 trendline compliance, sequence and nature of anomalies, as well as
  11 pointers to performance test builds/logs and VPP (or DPDK) builds.
  12 Performance trending is currently based on the Maximum Receive Rate (MRR) tests.
  13 MRR tests measure the packet forwarding rate under the maximum load offered
  14 by traffic generator over a set trial duration, regardless of packet
  15 loss. See :ref:`trending_methodology` section for more detail including
  16 trend and anomaly calculations.
  17
  18 Data samples are generated by the CSIT VPP (and DPDK) performance trending jobs
  19 executed twice a day (target start: every 12 hrs, 02:00, 14:00 UTC). All
  20 trend and anomaly evaluation is based on an algorithm which divides test runs
  21 into groups according to minimum description length principle.
  22 The trend value is the population average of the results within a group.
  23
  24 Legend to the tables:
  25
  26     - **Test Case**: name of FD.io CSIT test case, naming convention
  27       `here <https://wiki.fd.io/view/CSIT/csit-test-naming>`_.
  28     - **Trend [Mpps]**: last value of performance trend.
  29     - **Short-Term Change [%]**: Relative change of last trend value
  30       vs. last week trend value.
  31     - **Long-Term Change [%]**: Relative change of last trend value vs.
  32       maximum of trend values over the last quarter except last week.
  33     - **Regressions [#]**: Number of regressions detected.
  34     - **Progressions [#]**: Number of progressions detected.
  35
  36 Tested VPP worker-thread-core combinations (1t1c, 2t2c, 4t4c) are listed
  37 in separate tables in section 1.x. Followed by trending methodology in
  38 section 2. and trendline graphs in sections 3.x. Performance test  data
  39 used for trendline graphs is provided in sections 4.x.
  40
  41 VPP worker on 1t1c
  42 ------------------
  43
  44 .. include:: ../../../_build/_static/vpp/performance-trending-dashboard-1t1c.rst
  45
  46 VPP worker on 2t2c
  47 ------------------
  48
  49 .. include:: ../../../_build/_static/vpp/performance-trending-dashboard-2t2c.rst
  50
  51 VPP worker on 4t4c
  52 ------------------
  53
  54 .. include:: ../../../_build/_static/vpp/performance-trending-dashboard-4t4c.rst