report 1807: editorial nit-picking in all graph sections.
[csit.git] / docs / report / vpp_performance_tests / packet_throughput_graphs / index.rst
index 8d6ff86..7be6b01 100644 (file)
@@ -6,29 +6,32 @@
 Packet Throughput
 =================
 
-Plotted results are generated by multiple executions of the same CSIT
-performance tests across three physical testbeds within LF FD.io labs.
-To provide a descriptive summary view, Box-and-Whisker plots are used to
-display variation in measured throughput values, without making any
-assumptions of the underlying statistical distribution.
-
-For each plotted test case, Box-and-Whisker plots show the quartiles
-(Min, 1st quartile / 25th percentile, 2nd quartile / 50th percentile /
-mean, 3rd quartile / 75th percentile, Max) across collected data set
-(data set size stated in the note below). Outliers are plotted as
-individual points. Min and max values are plotted as bottom and top
-Whiskers respectively. 2nd and 3rd quartiles are plotted as bottom and
-top edge of the box. If multiple samples match only two values, and all
-samples fall between them, then no whiskers are plotted. If all samples
-have the same value, only a horizontal line is plotted.
-
-*Title of each graph* describes the packet path, testbed topology, processor
-architecture, packet size, number of cores and threads used by workers and
-DUT configuration, *X-axis labels* are indices of individual test suites
-executed by FD.io test executor vpp performance jobs that created result output
-files used as data sources for the graph, *Y-axis labels* are measured Packets
-Per Second [pps] values, and the *Graph legend* lists the plotted test suites
-and their indices.
+Throughput graphs are generated by multiple executions of the same
+performance tests across physical testbeds hosted LF FD.io labs: 3n-hsw,
+2n-skx, 2n-skx. Box-and-Whisker plots are used to display variations in
+measured throughput values, without making any assumptions of the
+underlying statistical distribution.
+
+For each test case, Box-and-Whisker plots show the quartiles (Min, 1st
+quartile / 25th percentile, 2nd quartile / 50th percentile / mean, 3rd
+quartile / 75th percentile, Max) across collected data set. Outliers are
+plotted as individual points.
+
+Additional information about graph data:
+
+#. **Graph Title**: describes tested packet path, testbed topology,
+   processor model, NIC model, packet size, number of cores and
+   threads used by data plane workers and indication of VPP DUT
+   configuration.
+
+#. **X-axis Labels**: indices of individual test suites as listed in
+   Graph Legend.
+
+#. **Y-axis Labels**: measured Packets Per Second [pps] throughput
+   values.
+
+#. **Graph Legend**: lists X-axis indices with associated CSIT test
+   suites executed to generate graphed test results.
 
 
 .. note::
@@ -36,11 +39,14 @@ and their indices.
     Test results have been generated by
     `FD.io test executor vpp performance job 3n-hsw`_,
     `FD.io test executor vpp performance job 3n-skx`_ and
-    `FD.io test executor vpp performance job 2n-skx`_ with Robot Framework
+    `FD.io test executor vpp performance job 2n-skx`_ with RF
     result files csit-vpp-perf-|srelease|-\*.zip
     `archived here <../../_static/archive/>`_.
-    Plotted data set size per test case is equal to the number of job executions
-    presented in this report version: **10**.
+    Required per test case data set size is **10**, but for VPP tests
+    the actual size varies per test case and is <=10. This is due to
+    not all test executions completing successfully due to a known
+    `VPP-1361 <https://jira.fd.io/browse/VPP-1361>`_ issue
+    sporadically impacting physical interface up/down state.
 
 .. toctree::
     :maxdepth: 1