docs/cpta/methodology/trend_presentation.rst

   1 Trend Presentation
   2 ------------------
   3
   4 Performance Dashboard
   5 `````````````````````
   6
   7 Dashboard tables list a summary of per test-case VPP MRR performance
   8 trend and trend compliance metrics and detected number of anomalies.
   9
  10 Separate tables are generated for each testbed and each tested number of
  11 physical cores for VPP workers (1c, 2c, 4c). Test case names are linked to
  12 respective trending graphs for ease of navigation through the test data.
  13
  14 Failed tests
  15 ````````````
  16
  17 The Failed tests tables list the tests which failed over the specified seven-
  18 day period together with the number of fails over the period and last failure
  19 details - Time, VPP-Build-Id and CSIT-Job-Build-Id.
  20
  21 Separate tables are generated for each testbed. Test case names are linked to
  22 respective trending graphs for ease of navigation through the test data.
  23
  24 Trendline Graphs
  25 ````````````````
  26
  27 Trendline graphs show measured per run averages of MRR values,
  28 group average values, and detected anomalies.
  29 The graphs are constructed as follows:
  30
  31 - X-axis represents the date in the format MMDD.
  32 - Y-axis represents run-average MRR value in Mpps.
  33 - Markers to indicate anomaly classification:
  34
  35   - Regression - red circle.
  36   - Progression - green circle.
  37
  38 - The line shows average MRR value of each group.
  39
  40 In addition the graphs show dynamic labels while hovering over graph
  41 data points, presenting the CSIT build date, measured MRR value, VPP
  42 reference, trend job build ID and the LF testbed ID.