docs/report/vpp_performance_tests/packet_throughput_graphs/index.rst

   1 Packet Throughput Graphs
   2 ========================
   3
   4 Plotted results are generated by multiple executions of the same CSIT
   5 performance tests across three physical testbeds within LF FD.io labs.
   6 To provide a descriptive summary view, Box-and-Whisker plots are used to
   7 display variation in measured throughput values, without making any
   8 assumptions of the underlying statistical distribution.
   9
  10 For each plotted test case, Box-and-Whisker plots show the quartiles
  11 (Min, 1st quartile / 25th percentile, 2nd quartile / 50th percentile /
  12 mean, 3rd quartile / 75th percentile, Max) across collected data set
  13 (data set size stated in the note below). Outliers are plotted as
  14 individual points. Min and max values are plotted as bottom and top
  15 Whiskers respectively. 2nd and 3rd quartiles are plotted as bottom and
  16 top edge of the box. If multiple samples match only two values, and all
  17 samples fall between them, then no whiskers are plotted. If all samples
  18 have the same value, only a horizontal line is plotted.
  19
  20 *Title of each graph* is a regex (regular expression) matching all
  21 throughput test cases plotted on this graph, *X-axis labels* are indices
  22 of individual test suites executed by
  23 `FD.io test executor vpp performance jobs`_ jobs that created result output
  24 files used as data sources for the graph, *Y-axis labels* are measured Packets
  25 Per Second [pps] values, and the *Graph legend* lists the plotted test suites
  26 and their indices.
  27
  28
  29 .. note::
  30
  31     Test results have been generated by
  32     `FD.io test executor vpp performance jobs`_ with Robot Framework result
  33     files csit-vpp-perf-\*.zip `archived here <../../_static/archive/>`_.
  34     Plotted data set size per test case is equal to the number of job executions
  35     presented in this report version: **10**.
  36
  37 .. toctree::
  38
  39     l2
  40     ip4
  41     ip6
  42     ip4_tunnels
  43     ip6_tunnels
  44     vm_vhost
  45     ipsec