Report: Add data
[csit.git] / docs / report / vpp_performance_tests / packet_throughput_graphs / index.rst
1
2 .. raw:: latex
3
4     \clearpage
5
6 .. _VPP_Packet_Throughput:
7
8 Packet Throughput
9 =================
10
11 Throughput graphs are generated by multiple executions of the same
12 performance tests across physical testbeds hosted LF FD.io labs: 3n-hsw,
13 2n-skx, 2n-skx. Box-and-Whisker plots are used to display variations in
14 measured throughput values, without making any assumptions of the
15 underlying statistical distribution.
16
17 For each test case, Box-and-Whisker plots show the quartiles (Min, 1st
18 quartile / 25th percentile, 2nd quartile / 50th percentile / mean, 3rd
19 quartile / 75th percentile, Max) across collected data set. Outliers are
20 plotted as individual points.
21
22 Additional information about graph data:
23
24 #. **Graph Title**: describes tested packet path, testbed topology,
25    processor model, NIC model, packet size, number of cores and
26    threads used by data plane workers and indication of VPP DUT
27    configuration.
28
29 #. **X-axis Labels**: indices of individual test suites as listed in
30    Graph Legend.
31
32 #. **Y-axis Labels**: measured Packets Per Second [pps] throughput
33    values.
34
35 #. **Graph Legend**: lists X-axis indices with associated CSIT test
36    suites executed to generate graphed test results.
37
38 #. **Hover Information**: lists minimum, first quartile, median,
39    third quartile, and maximum. If either type of outlier is present the
40    whisker on the appropriate side is taken to 1.5×IQR from the quartile
41    (the "inner fence") rather than the max or min, and individual outlying
42    data points are displayed as unfilled circles (for suspected outliers)
43    or filled circles (for outliers). (The "outer fence" is 3×IQR from the
44    quartile.)
45
46 .. note::
47
48     Test results have been generated by
49     `FD.io test executor vpp performance job 3n-hsw`_,
50     `FD.io test executor vpp performance job 3n-skx`_ and
51     `FD.io test executor vpp performance job 2n-skx`_ with RF
52     result files csit-vpp-perf-|srelease|-\*.zip
53     `archived here <../../_static/archive/>`_.
54     Required per test case data set size is **10**, but for VPP tests
55     the actual size varies per test case and is <=10.
56
57 .. toctree::
58     :maxdepth: 3
59
60     l2
61     ip4
62     ip6
63     srv6
64     ip4_tunnels
65     ip6_tunnels
66     vm_vhost
67     container_memif
68     container_orchestrated
69     ipsec
70     vts