docs/report/vpp_performance_tests/packet_throughput_graphs/index.rst

   1
   2 .. raw:: latex
   3
   4     \clearpage
   5
   6 .. _VPP_Packet_Throughput:
   7
   8 Packet Throughput
   9 =================
  10
  11 Throughput graphs are generated based on the results data obtained from
  12 the |csit-release| test jobs. In order to verify benchmark results
  13 repeatibility selected, CSIT performance tests are executed multiple
  14 times (target: 10 times) on each physical testbed type. Box-and-Whisker
  15 plots are used to display variations in measured throughput values.
  16
  17 Lists of tests selected for multiple execution and graphing are captured
  18 per testbed type in `test_select_list_{testbed_type}.md
  19 <https://git.fd.io/csit/tree/docs/job_specs>`_ files.
  20
  21 Graphs are split into sections as follows:
  22
  23 #. **Header 1**: VPP packet path and lookup types
  24
  25    - **L2 Ethernet Switching**: L2 bridge-doman, L2 cross-connect and L2 patch
  26    - **IPv4 Routing**: IPv4 routing with /32 prefixes
  27    - **IPv6 Routing**: IPv6 routing with /128 prefixes
  28    - **SRv6 Routing**: SRv6 with IPv6 routing
  29    - **IPv4 Tunnels**: IPv4 overlay tunnels
  30    - **KVM VMs vhost-user**: KVM VMs connected over virtio and vhost-user interfaces
  31    - **LXC/DRC Container Memif**: Linux containers and Docker containers connected over Memif interfaces
  32    - **IPsec IPv4 Routing**: IPsec encryption/decryption with IPv4 routing
  33    - **Virtual Topology System**: VXLAN configurations with L2 bridge-domains
  34
  35 #. **Header 2**: testbeds and NIC models
  36
  37    - section name format:
  38
  39      - {**testbed_type**}-{**nic_model**}
  40
  41    - **testbed_type**:
  42
  43      - 2n-skx: 2-node Xeon Skylake
  44      - 3n-skx: 3-node Xeon Skylake
  45      - 3n-hsw: 3-node Xeon Haswell
  46      - 3n-tsh: 3-node Arm TaiShan
  47      - 2n-dnv: 2-node Atom Denverton
  48      - 3n-dnv: 3-node Atom Denverton
  49
  50    - **nic_model**:
  51
  52      - xxv710: xxv710 2p25GE Intel (Fortville)
  53      - x710: x710 4p10GE Intel (Fortville)
  54      - xl710: xl710 2p40GE Intel (Fortville)
  55      - x520: x520 2p10GE Intel (Niantic)
  56      - x553: x553 2p10GE Intel (Niantic)
  57
  58 #. **Header 3**: test group names
  59
  60    - section name format:
  61
  62      - {**frame_size**}-{**worker_thread_core_cfg**}-{**vpp_functionality**}-{**vpp_lookup_type**}-{**baseline_scale**}-{**nic_driver**}
  63
  64    - **frame_size**:
  65
  66      - 64b: 64 byte frames, smallest frame size for untagged IPv4 packets
  67      - 78b: 78 byte frames, smallest frame size for untagged IPv6 packets
  68      - 114b: VXLAN encapsulated L2 frames
  69      - imix: a sequence of (7x64B, 4x570, 1x1518) byte frames
  70
  71    - **worker_thread_core_cfg**:
  72
  73      - 1t1c: 1 worker thread on 1 core, hyper-threading not used
  74      - 2t1c: 2 worker threads on 1 core, hyper-threading used
  75
  76    - **vpp_functionality** (optional):
  77
  78      - features: including input-acl, output-acl, macip-iacl, nat44
  79      - srv6: srv6 encap/decap, proxy
  80      - link-bonding: L2 link aggregation with 1 or 2 bonded links
  81      - ipsec: IPsec encryption/decryption with different ciphers
  82      - vts: Virtual Topology System specific tests
  83
  84    - **vpp_lookup_type**:
  85
  86      - l2switching, ip4routing, ip6routing, ip4tunnel, vhost, memif
  87
  88    - **baseline_scale**:
  89
  90      - base: baseline tests with less than 10 forwarding entries
  91      - scale: scale tests with up to 2 million forwarding entries
  92      - base-scale: both baseline and scale tests grouped together
  93
  94    - **nic_driver**:
  95
  96      - avf: VPP native avf driver for Intel Fortville NICs
  97      - i40e: dpdk poll mode driver for Intel Fortville NICs
  98      - ixgbe: dpdk poll mode driver for Intel Niantic NICs
  99
 100 For each test case, Box-and-Whisker plots show the quartiles (Min, 1st
 101 quartile / 25th percentile, 2nd quartile / 50th percentile / mean, 3rd
 102 quartile / 75th percentile, Max) across collected data set. Outliers are
 103 plotted as individual points.
 104
 105 Additional information about graph data:
 106
 107 #. **Graph Title**: describes tested packet path, testbed topology,
 108    processor model, NIC model, packet size, number of cores and
 109    threads used by data plane workers and indication of VPP DUT
 110    configuration.
 111
 112 #. **X-axis Labels**: indices of individual test suites as listed in
 113    Graph Legend.
 114
 115 #. **Y-axis Labels**: measured Packets Per Second [pps] throughput
 116    values.
 117
 118 #. **Graph Legend**: lists X-axis indices with associated CSIT test
 119    suites executed to generate graphed test results.
 120
 121 #. **Hover Information**: lists minimum, first quartile, median,
 122    third quartile, and maximum. If either type of outlier is present the
 123    whisker on the appropriate side is taken to 1.5×IQR from the quartile
 124    (the "inner fence") rather than the max or min, and individual outlying
 125    data points are displayed as unfilled circles (for suspected outliers)
 126    or filled circles (for outliers). (The "outer fence" is 3×IQR from the
 127    quartile.)
 128
 129 .. note::
 130
 131     Test results have been generated by
 132     `FD.io test executor vpp performance job 2n-skx`_
 133     `FD.io test executor vpp performance job 3n-skx`_,
 134     `FD.io test executor vpp performance job 3n-hsw`_,
 135     `FD.io test executor vpp performance job 3n-tsh`_ and with RF
 136     result files csit-vpp-perf-|srelease|-\*.zip
 137     `archived here <../../_static/archive/>`_.
 138     Required per test case data set size is **10**, but for VPP tests
 139     the actual size varies per test case and is <=10.
 140
 141 .. toctree::
 142     :maxdepth: 3
 143
 144     l2
 145     ip4
 146     ip6
 147     srv6
 148     ip4_tunnels
 149     vm_vhost
 150     container_memif
 151     ipsec
 152     vts