Report: Placeholder for LD preload tests
[csit.git] / docs / report / vpp_performance_tests / hoststack_testing / http_server_performance / index.rst
diff --git a/docs/report/vpp_performance_tests/hoststack_testing/http_server_performance/index.rst b/docs/report/vpp_performance_tests/hoststack_testing/http_server_performance/index.rst
new file mode 100644 (file)
index 0000000..412ff6a
--- /dev/null
@@ -0,0 +1,111 @@
+
+.. raw:: latex
+
+    \clearpage
+
+.. raw:: html
+
+    <script type="text/javascript">
+
+        function getDocHeight(doc) {
+            doc = doc || document;
+            var body = doc.body, html = doc.documentElement;
+            var height = Math.max( body.scrollHeight, body.offsetHeight,
+                html.clientHeight, html.scrollHeight, html.offsetHeight );
+            return height;
+        }
+
+        function setIframeHeight(id) {
+            var ifrm = document.getElementById(id);
+            var doc = ifrm.contentDocument? ifrm.contentDocument:
+                ifrm.contentWindow.document;
+            ifrm.style.visibility = 'hidden';
+            ifrm.style.height = "10px"; // reset to minimal height ...
+            // IE opt. for bing/msn needs a bit added or scrollbar appears
+            ifrm.style.height = getDocHeight( doc ) + 4 + "px";
+            ifrm.style.visibility = 'visible';
+        }
+
+    </script>
+
+HTTP and TCP/IP
+===============
+
+Performance graphs are generated by multiple executions of the same
+performance tests across physical testbeds hosted LF FD.io labs: 3n-hsw.
+Box-and-Whisker plots are used to display variations in measured
+throughput values, without making any assumptions of the underlying
+statistical distribution.
+
+For each test case, Box-and-Whisker plots show the quartiles (Min, 1st
+quartile / 25th percentile, 2nd quartile / 50th percentile / mean, 3rd
+quartile / 75th percentile, Max) across collected data set. Outliers are
+plotted as individual points.
+
+Additional information about graph data:
+
+#. **X-axis Labels**: indices of individual test suites as listed in
+   Graph Legend.
+
+#. **Y-axis Labels**: measured Connections Per Second [cps] or Requests Per
+   Second [rps] throughput values.
+
+#. **Graph Legend**: lists X-axis indices with associated CSIT test
+   suites executed to generate graphed test results.
+
+#. **Hover Information**: lists minimum, first quartile, median,
+   third quartile, and maximum. If either type of outlier is present the
+   whisker on the appropriate side is taken to 1.5×IQR from the quartile
+   (the "inner fence") rather than the max or min, and individual outlying
+   data points are displayed as unfilled circles (for suspected outliers)
+   or filled circles (for outliers). (The "outer fence" is 3×IQR from the
+   quartile.)
+
+.. note::
+
+    Data sources for reported test results: i) `FD.io test executor vpp
+    performance job 2n-skx`_, ii) archived FD.io jobs test result `output files
+    <../../_static/archive/>`_.
+
+    CSIT source code for the test cases used for plots can be found in
+    `CSIT git repository <https://git.fd.io/csit/tree/tests/vpp/perf/tcp?h=rls2001>`_.
+
+.. raw:: latex
+
+    \clearpage
+
+Connections per second
+----------------------
+
+.. raw:: html
+
+    <iframe id="ifrm01" onload="setIframeHeight(this.id)" width="700" frameborder="0" scrolling="no" src="../../_static/vpp/http-server-performance-cps.html"></iframe>
+
+.. raw:: latex
+
+    \begin{figure}[H]
+        \centering
+            \graphicspath{{../_build/_static/vpp/}}
+            \includegraphics[clip, trim=0cm 0cm 5cm 0cm, width=0.70\textwidth]{http-server-performance-cps}
+            \label{fig:http-server-performance-cps}
+    \end{figure}
+
+.. raw:: latex
+
+    \clearpage
+
+Requests per second
+-------------------
+
+.. raw:: html
+
+    <iframe id="ifrm02" onload="setIframeHeight(this.id)" width="700" frameborder="0" scrolling="no" src="../../_static/vpp/http-server-performance-rps.html"></iframe>
+
+.. raw:: latex
+
+    \begin{figure}[H]
+        \centering
+            \graphicspath{{../_build/_static/vpp/}}
+            \includegraphics[clip, trim=0cm 0cm 5cm 0cm, width=0.70\textwidth]{http-server-performance-rps}
+            \label{fig:http-server-performance-rps}
+    \end{figure}