docs/cpta/introduction/index.rst

   1 VPP Performance Dashboard
   2 =========================
   3
   4 Description
   5 -----------
   6
   7 Performance dashboard tables provide the latest VPP throughput trend,
   8 trend compliance and detected anomalies, all on a per VPP test case
   9 basis.  Linked trendline graphs enable further drill-down into the
  10 trendline compliance, sequence and nature of anomalies, as well as
  11 pointers to performance test builds/logs and VPP builds.
  12
  13 Performance trending is currently based on the Maximum Receive Rate
  14 (MRR) tests. MRR tests measure the packet forwarding rate under the
  15 maximum load offered by traffic generator over a set trial duration,
  16 regardless of packet loss. See :ref:`trending_methodology` section for
  17 more detail including trend and anomaly calculations.
  18
  19 Data samples are generated by the CSIT VPP performance trending jobs
  20 executed twice a day (target start: every 12 hrs, 02:00, 14:00 UTC). All
  21 trend and anomaly evaluation is based on a rolling window of <N=14> data
  22 samples, covering last 7 days.
  23
  24 Legend to table:
  25
  26     - **Test Case** : name of FD.io CSIT test case, naming convention
  27       `here <https://wiki.fd.io/view/CSIT/csit-test-naming>`_.
  28     - **Trend [Mpps]** : last value of performance trend.
  29     - **Short-Term Change [%]** : Relative change of last trend value
  30       vs. last week trend value.
  31     - **Long-Term Change [%]** : Relative change of last trend value vs.
  32       maximum of trend values over the last quarter except last week.
  33     - **Regressions [#]** : Number of regressions detected.
  34     - **Progressions [#]** : Number of progressions detected.
  35     - **Outliers [#]** : Number of outliers detected.
  36
  37 Tested VPP worker-thread-core combinations (1t1c, 2t2c, 4t4c) are listed
  38 in separate tables in section 1.x. Followed by trending methodology in
  39 section 2. and daily trending graphs in sections 3.x. Daily trending
  40 data used for graphs is provided in sections 4.x.
  41
  42 VPP worker on 1t1c
  43 ------------------
  44
  45 .. include:: ../../../_build/_static/vpp/performance-trending-dashboard-1t1c.rst
  46
  47 VPP worker on 2t2c
  48 ------------------
  49
  50 .. include:: ../../../_build/_static/vpp/performance-trending-dashboard-2t2c.rst
  51
  52 VPP worker on 4t4c
  53 ------------------
  54
  55 .. include:: ../../../_build/_static/vpp/performance-trending-dashboard-4t4c.rst