c724c30bad821613191c537817391e7058e808f3
[csit.git] / docs / cpta / introduction / index.rst
1 VPP Performance Dashboard
2 =========================
3
4 Description
5 -----------
6
7 Performance dashboard tables provide the latest VPP throughput trend,
8 trend compliance and detected anomalies, all on a per VPP test case
9 basis.  Linked trendline graphs enable further drill-down into the
10 trendline compliance, sequence and nature of anomalies, as well as
11 pointers to performance test builds/logs and VPP builds.
12
13 Performance trending is currently based on the Maximum Receive Rate
14 (MRR) tests. MRR tests measure the packet forwarding rate under the
15 maximum load offered by traffic generator over a set trial duration,
16 regardless of packet loss. See :ref:`trending_methodology` section for
17 more detail including trend and anomaly calculations.
18
19 Data samples are generated by the CSIT VPP performance trending jobs
20 executed twice a day (target start: every 12 hrs, 02:00, 14:00 UTC). All
21 trend and anomaly evaluation is based on a rolling window of <N=14> data
22 samples, covering last 7 days.
23
24 Legend to table:
25
26     - **Test Case** : name of FD.io CSIT test case, naming convention
27       `here <https://wiki.fd.io/view/CSIT/csit-test-naming>`_.
28     - **Trend [Mpps]** : last value of performance trend.
29     - **Short-Term Change [%]** : Relative change of last trend value
30       vs. last week trend value.
31     - **Long-Term Change [%]** : Relative change of last trend value vs.
32       maximum of trend values over the last quarter except last week.
33     - **Regressions [#]** : Number of regressions detected.
34     - **Progressions [#]** : Number of progressions detected.
35     - **Outliers [#]** : Number of outliers detected.
36
37 Tested VPP worker-thread-core combinations (1t1c, 2t2c, 4t4c) are listed
38 in separate tables in section 1.x. Followed by trending methodology in
39 section 2. and daily trending graphs in sections 3.x. Daily trending
40 data used for graphs is provided in sections 4.x.
41
42 VPP worker on 1t1c
43 ------------------
44
45 .. include:: ../../../_build/_static/vpp/performance-trending-dashboard-1t1c.rst
46
47 VPP worker on 2t2c
48 ------------------
49
50 .. include:: ../../../_build/_static/vpp/performance-trending-dashboard-2t2c.rst
51
52 VPP worker on 4t4c
53 ------------------
54
55 .. include:: ../../../_build/_static/vpp/performance-trending-dashboard-4t4c.rst

©2016 FD.io a Linux Foundation Collaborative Project. All Rights Reserved.
Linux Foundation is a registered trademark of The Linux Foundation. Linux is a registered trademark of Linus Torvalds.
Please see our privacy policy and terms of use.