Report: Remove data from 2n-skx TB23
[csit.git] / docs / report / vpp_performance_tests / http_server_performance / index.rst
1
2 .. raw:: latex
3
4     \clearpage
5
6 .. raw:: html
7
8     <script type="text/javascript">
9
10         function getDocHeight(doc) {
11             doc = doc || document;
12             var body = doc.body, html = doc.documentElement;
13             var height = Math.max( body.scrollHeight, body.offsetHeight,
14                 html.clientHeight, html.scrollHeight, html.offsetHeight );
15             return height;
16         }
17
18         function setIframeHeight(id) {
19             var ifrm = document.getElementById(id);
20             var doc = ifrm.contentDocument? ifrm.contentDocument:
21                 ifrm.contentWindow.document;
22             ifrm.style.visibility = 'hidden';
23             ifrm.style.height = "10px"; // reset to minimal height ...
24             // IE opt. for bing/msn needs a bit added or scrollbar appears
25             ifrm.style.height = getDocHeight( doc ) + 4 + "px";
26             ifrm.style.visibility = 'visible';
27         }
28
29     </script>
30
31 HTTP and TCP/IP
32 ===============
33
34 Performance graphs are generated by multiple executions of the same
35 performance tests across physical testbeds hosted LF FD.io labs: 3n-hsw.
36 Box-and-Whisker plots are used to display variations in measured
37 throughput values, without making any assumptions of the underlying
38 statistical distribution.
39
40 For each test case, Box-and-Whisker plots show the quartiles (Min, 1st
41 quartile / 25th percentile, 2nd quartile / 50th percentile / mean, 3rd
42 quartile / 75th percentile, Max) across collected data set. Outliers are
43 plotted as individual points.
44
45 Additional information about graph data:
46
47 #. **X-axis Labels**: indices of individual test suites as listed in
48    Graph Legend.
49
50 #. **Y-axis Labels**: measured Connections Per Second [cps] or Requests Per
51    Second [rps] throughput values.
52
53 #. **Graph Legend**: lists X-axis indices with associated CSIT test
54    suites executed to generate graphed test results.
55
56 #. **Hover Information**: lists minimum, first quartile, median,
57    third quartile, and maximum. If either type of outlier is present the
58    whisker on the appropriate side is taken to 1.5×IQR from the quartile
59    (the "inner fence") rather than the max or min, and individual outlying
60    data points are displayed as unfilled circles (for suspected outliers)
61    or filled circles (for outliers). (The "outer fence" is 3×IQR from the
62    quartile.)
63
64 .. note::
65
66     Data sources for reported test results: i) `FD.io test executor vpp
67     performance job 2n-skx`_, ii) archived FD.io jobs test result `output files
68     <../../_static/archive/>`_.
69
70     CSIT source code for the test cases used for plots can be found in
71     `CSIT git repository <https://git.fd.io/csit/tree/tests/vpp/perf/tcp?h=rls2001>`_.
72
73 .. raw:: latex
74
75     \clearpage
76
77 Connections per second
78 ----------------------
79
80 .. raw:: html
81
82     <iframe id="ifrm01" onload="setIframeHeight(this.id)" width="700" frameborder="0" scrolling="no" src="../../_static/vpp/http-server-performance-cps.html"></iframe>
83
84 .. raw:: latex
85
86     \begin{figure}[H]
87         \centering
88             \graphicspath{{../_build/_static/vpp/}}
89             \includegraphics[clip, trim=0cm 0cm 5cm 0cm, width=0.70\textwidth]{http-server-performance-cps}
90             \label{fig:http-server-performance-cps}
91     \end{figure}
92
93 .. raw:: latex
94
95     \clearpage
96
97 Requests per second
98 -------------------
99
100 .. raw:: html
101
102     <iframe id="ifrm02" onload="setIframeHeight(this.id)" width="700" frameborder="0" scrolling="no" src="../../_static/vpp/http-server-performance-rps.html"></iframe>
103
104 .. raw:: latex
105
106     \begin{figure}[H]
107         \centering
108             \graphicspath{{../_build/_static/vpp/}}
109             \includegraphics[clip, trim=0cm 0cm 5cm 0cm, width=0.70\textwidth]{http-server-performance-rps}
110             \label{fig:http-server-performance-rps}
111     \end{figure}