26fa3a19a989178c3c8e64341e606b962399047f
[csit.git] / docs / cpta / introduction / index.rst
1 VPP MRR Performance Dashboard
2 =============================
3
4 Description
5 -----------
6
7 Dashboard tables list a summary of per test-case VPP MRR performance trend
8 values and detected anomalies (Maximum Receive Rate - received packet rate
9 under line rate load). Data comes from trending MRR jobs executed every 12
10 hrs (2:00, 14:00 UTC). Trend, trend compliance and anomaly calculations are
11 based on a rolling window of <N> samples, currently N=14 covering last 7 days.
12 Separate tables are generated for tested VPP worker-thread-core combinations
13 (1t1c, 2t2c, 4t4c).
14
15 Legend to table:
16
17     - **Test Case** : name of CSIT test case, see naming convention in
18       `CSIT wiki <https://wiki.fd.io/view/CSIT/csit-test-naming>`_.
19     - **Throughput Trend [Mpps]** : last value of trend calculated over a
20       rolling window.
21     - **Trend Compliance** : calculated based on detected anomalies over a
22       rolling window, listed in precedence order - i) **failure** if 3
23       consecutive outliers, ii) **regression** if any regressions, iii)
24       **progression** if any progressions, iv) **normal** if data compliant
25       with trend; test cases listed alphabetically within compliance category.
26     - **Top Anomaly [Mpps]** : i) outlier if **failure**, ii) drop
27       if **regression**, iii) gain if **progression**, iv) **-**
28       if normal i.e. within trend.
29     - **Change [%]** : **Top Anomaly** vs. **Throughput Trend**, **-** if
30       normal.
31     - **Outliers [Number]** : number of outliers detected over a rolling window.
32
33 Tables are listed in sections 1.x. Followed by daily trending graphs in
34 sections 2.x. Daily trending data used to generate the graphs is listed in
35 sections 3.x.
36
37 VPP worker on 1t1c
38 ------------------
39
40 .. include:: ../../../_build/_static/vpp/performance-trending-dashboard-1t1c.rst
41
42 VPP worker on 2t2c
43 ------------------
44
45 .. include:: ../../../_build/_static/vpp/performance-trending-dashboard-2t2c.rst
46
47 VPP worker on 4t4c
48 ------------------
49
50 .. include:: ../../../_build/_static/vpp/performance-trending-dashboard-4t4c.rst

©2016 FD.io a Linux Foundation Collaborative Project. All Rights Reserved.
Linux Foundation is a registered trademark of The Linux Foundation. Linux is a registered trademark of Linus Torvalds.
Please see our privacy policy and terms of use.