docs/cpta/introduction/index.rst

   1 VPP MRR Performance Dashboard
   2 =============================
   3
   4 Description
   5 -----------
   6
   7 Dashboard tables list a summary of per test-case VPP MRR performance trend
   8 values and detected anomalies (Maximum Receive Rate - received packet rate
   9 under line rate load). Data comes from trending MRR jobs executed every 12
  10 hrs (2:00, 14:00 UTC). Trend, trend compliance and anomaly calculations are
  11 based on a rolling window of <N> samples, currently N=14 covering last 7 days.
  12 Separate tables are generated for tested VPP worker-thread-core combinations
  13 (1t1c, 2t2c, 4t4c).
  14
  15 Legend to table:
  16
  17     - "Test Case": name of CSIT test case, naming convention on
  18       `CSIT wiki <https://wiki.fd.io/view/CSIT/csit-test-naming>`_.
  19     - "Throughput Trend [Mpps]": last value of trend calculated over a
  20       rolling window.
  21     - "Trend Compliance": calculated based on detected anomalies, listed in
  22        precedence order - i) "failure" if 3 consecutive outliers,
  23        ii) "regression" if any regressions, iii) "progression" if any
  24        progressions, iv) "normal" if data compliant with trend.
  25     - "Anomaly Value [Mpps]": i) highest outlier if "failure", ii) highest
  26       regression if "regression", iii) highest progression if "progression",
  27       iv) "-" if normal i.e. within trend.
  28     - "Change [%]": "Anomaly Value" vs. "Throughput Trend", "-" if normal.
  29     - "# Outliers": number of outliers detected within a rolling window.
  30
  31 Tables are listed in sections 1.x. Followed by daily trending graphs in
  32 sections 2.x. Daily trending data used to generate the graphs is listed in
  33 sections 3.x.
  34
  35 VPP worker on 1t1c
  36 ------------------
  37
  38 .. include:: ../../../_build/_static/vpp/performance-trending-dashboard-1t1c.rst
  39
  40 VPP worker on 2t2c
  41 ------------------
  42
  43 .. include:: ../../../_build/_static/vpp/performance-trending-dashboard-2t2c.rst
  44
  45 VPP worker on 4t4c
  46 ------------------
  47
  48 .. include:: ../../../_build/_static/vpp/performance-trending-dashboard-4t4c.rst