5c112061750150927dd9b0aefdd5966368f210b0
[csit.git] / docs / report / vpp_performance_tests / packet_throughput_graphs / index.rst
1 Packet Throughput
2 =================
3
4 Plotted results are generated by multiple executions of the same CSIT
5 performance tests across three physical testbeds within LF FD.io labs.
6 To provide a descriptive summary view, Box-and-Whisker plots are used to
7 display variation in measured throughput values, without making any
8 assumptions of the underlying statistical distribution.
9
10 For each plotted test case, Box-and-Whisker plots show the quartiles
11 (Min, 1st quartile / 25th percentile, 2nd quartile / 50th percentile /
12 mean, 3rd quartile / 75th percentile, Max) across collected data set
13 (data set size stated in the note below). Outliers are plotted as
14 individual points. Min and max values are plotted as bottom and top
15 Whiskers respectively. 2nd and 3rd quartiles are plotted as bottom and
16 top edge of the box. If multiple samples match only two values, and all
17 samples fall between them, then no whiskers are plotted. If all samples
18 have the same value, only a horizontal line is plotted.
19
20 *Title of each graph* describes the packet path, testbed topology, processor
21 architecture, packet size, number of cores and threads used by workers and
22 DUT configuration, *X-axis labels* are indices of individual test suites
23 executed by FD.io test executor vpp performance jobs that created result output
24 files used as data sources for the graph, *Y-axis labels* are measured Packets
25 Per Second [pps] values, and the *Graph legend* lists the plotted test suites
26 and their indices.
27
28
29 .. note::
30
31     Test results have been generated by
32     `FD.io test executor vpp performance job 3n-hsw`_,
33     `FD.io test executor vpp performance job 3n-skx`_ and
34     `FD.io test executor vpp performance job 2n-skx`_ with Robot Framework
35     result files csit-vpp-perf-|srelease|-\*.zip
36     `archived here <../../_static/archive/>`_.
37     Plotted data set size per test case is equal to the number of job executions
38     presented in this report version: **10**.
39
40 .. toctree::
41     :maxdepth: 1
42
43     l2
44     ip4
45     ip6
46     srv6
47     ip4_tunnels
48     ip6_tunnels
49     vm_vhost
50     container_memif
51     container_orchestrated
52     ipsec
53     vts