docs/report/introduction/methodology_data_plane_throughput/methodology_data_plane_throughput.rst

   1 Data Plane Throughput Tests
   2 ---------------------------
   3
   4 Network data plane throughput is measured using multiple test methods in
   5 order to obtain representative and repeatable results across the large
   6 set of performance test cases implemented and executed within CSIT.
   7
   8 Following throughput test methods are used:
   9
  10 - MLRsearch - Multiple Loss Ratio search
  11 - MRR - Maximum Receive Rate
  12 - PLRsearch - Probabilistic Loss Ratio search
  13
  14 Description of each test method is followed by generic test properties
  15 shared by all methods.
  16
  17 MLRsearch Tests
  18 ^^^^^^^^^^^^^^^
  19
  20 Description
  21 ~~~~~~~~~~~
  22
  23 Multiple Loss Ratio search (MLRsearch) tests discover multiple packet
  24 throughput rates in a single search, reducing the overall test execution
  25 time compared to a binary search. Each rate associated with a distinct
  26 Packet Loss Ratio (PLR) criteria. In FD.io CSIT two throughput rates are
  27 discovered: Non-Drop Rate (NDR, with zero packet loss, PLR=0) and
  28 Partial Drop Rate (PDR, with PLR<0.5%). MLRsearch is compliant with
  29 :rfc:`2544`.
  30
  31 Usage
  32 ~~~~~
  33
  34 MLRsearch tests are run to discover NDR and PDR rates for each VPP and
  35 DPDK release covered by CSIT report. Results for small frame sizes
  36 (64b/78B, IMIX) are presented in packet throughput graphs
  37 (Box-and-Whisker Plots) with NDR and PDR rates plotted against the test
  38 cases covering popular VPP packet paths.
  39
  40 Each test is executed at least 10 times to verify measurements
  41 repeatability and results are compared between releases and test
  42 environments. NDR and PDR packet and bandwidth throughput results for
  43 all frame sizes and for all tests are presented in detailed results
  44 tables.
  45
  46 Details
  47 ~~~~~~~
  48
  49 See :ref:`mlrsearch_algorithm` section for more detail. MLRsearch is
  50 being standardized in IETF in `draft-vpolak-mkonstan-mlrsearch
  51 <https://tools.ietf.org/html/draft-vpolak-mkonstan-bmwg-mlrsearch>`_.
  52
  53 MRR Tests
  54 ^^^^^^^^^
  55
  56 Description
  57 ~~~~~~~~~~~
  58
  59 Maximum Receive Rate (MRR) tests are complementary to MLRsearch tests,
  60 as they provide a maximum “raw” throughput benchmark for development and
  61 testing community.
  62
  63 MRR tests measure the packet forwarding rate under the maximum load
  64 offered by traffic generator (dependent on link type and NIC model) over
  65 a set trial duration, regardless of packet loss. Maximum load for
  66 specified Ethernet frame size is set to the bi-directional link rate.
  67
  68 MRR tests are much faster than MLRsearch as they rely on a single trial
  69 or a small set of trials with very short duration. It is this property
  70 that makes them suitable for continuous execution in daily performance
  71 trending jobs enabling detection of performance anomalies (regressions,
  72 progressions) resulting from data plane code changes.
  73
  74 MRR tests are also used for VPP per patch performance jobs verifying
  75 patch performance vs. parent. CSIT reports include MRR throughput
  76 comparisons between releases and test environments. Small frame sizes
  77 only (64b/78B, IMIX).
  78
  79 Details
  80 ~~~~~~~
  81
  82 See :ref:`mrr_throughput` section for more detail about MRR tests
  83 configuration.
  84
  85 FD.io CSIT performance dashboard includes complete description of
  86 `daily performance trending tests
  87 <https://docs.fd.io/csit/master/trending/methodology/performance_tests.html>`_
  88 and `VPP per patch tests
  89 <https://docs.fd.io/csit/master/trending/methodology/perpatch_performance_tests.html>`_.
  90
  91 PLRsearch Tests
  92 ^^^^^^^^^^^^^^^
  93
  94 Description
  95 ~~~~~~~~~~~
  96
  97 Probabilistic Loss Ratio search (PLRsearch) tests discovers a packet
  98 throughput rate associated with configured Packet Loss Ratio (PLR)
  99 criteria for tests run over an extended period of time a.k.a. soak
 100 testing. PLRsearch assumes that system under test is probabilistic in
 101 nature, and not deterministic.
 102
 103 Usage
 104 ~~~~~
 105
 106 PLRsearch are run to discover a sustained throughput for PLR=10^-7
 107 (close to NDR) for VPP release covered by CSIT report. Results for small
 108 frame sizes (64b/78B) are presented in packet throughput graphs (Box
 109 Plots) for a small subset of baseline tests.
 110
 111 Each soak test lasts 2hrs and is executed at least twice. Results are
 112 compared against NDR and PDR rates discovered with MLRsearch.
 113
 114 Details
 115 ~~~~~~~
 116
 117 See :ref:`plrsearch_algorithm` section for more detail. PLRsearch is
 118 being standardized in IETF in `draft-vpolak-bmwg-plrsearch
 119 <https://tools.ietf.org/html/draft-vpolak-bmwg-plrsearch>`_.
 120
 121 Generic Test Properties
 122 ^^^^^^^^^^^^^^^^^^^^^^^
 123
 124 All data plane throughput test methodologies share following generic
 125 properties:
 126
 127 - Tested L2 frame sizes (untagged Ethernet):
 128
 129   - IPv4 payload: 64B, IMIX (28x64B, 16x570B, 4x1518B), 1518B, 9000B.
 130   - IPv6 payload: 78B, IMIX (28x78B, 16x570B, 4x1518B), 1518B, 9000B.
 131   - All quoted sizes include frame CRC, but exclude per frame
 132     transmission overhead of 20B (preamble, inter frame gap).
 133
 134 - Offered packet load is always bi-directional and symmetric.
 135 - All measured and reported packet and bandwidth rates are aggregate
 136   bi-directional rates reported from external Traffic Generator
 137   perspective.