docs/report/introduction/methodology_bmrr_throughput.rst

   1 (B)MRR Throughput
   2 -----------------
   3
   4 Maximum Receive Rate (MRR) tests are complementary to MLRsearch tests,
   5 as they provide a maximum "raw" throughput benchmark for development and
   6 testing community. MRR tests measure the packet forwarding rate under
   7 the maximum load offered by traffic generator over a set trial duration,
   8 regardless of packet loss. Maximum load for specified Ethernet frame
   9 size is set to the bi-directional link rate.
  10
  11 In |csit-release| MRR test code has been updated with a configurable
  12 burst MRR parameters: trial duration and number of trials in a single
  13 burst. This enabled a new Burst MRR (BMRR) methodology for more precise
  14 performance trending.
  15
  16 Current parameters for BMRR tests:
  17
  18 - Ethernet frame sizes: 64B (78B for IPv6), IMIX, 1518B, 9000B; all
  19   quoted sizes include frame CRC, but exclude per frame transmission
  20   overhead of 20B (preamble, inter frame gap).
  21
  22 - Maximum load offered: 10GE, 25GE and 40GE link (sub-)rates depending on NIC
  23   tested, with the actual packet rate depending on frame size,
  24   transmission overhead and traffic generator NIC forwarding capacity.
  25
  26   - For 10GE NICs the maximum packet rate load is 2* 14.88 Mpps for 64B,
  27     a 10GE bi-directional link rate.
  28   - For 25GE NICs the maximum packet rate load is 2* 18.75 Mpps for 64B,
  29     a 25GE bi-directional link sub-rate limited by TG 25GE NIC used,
  30     XXV710.
  31   - For 40GE NICs the maximum packet rate load is 2* 18.75 Mpps for 64B,
  32     a 40GE bi-directional link sub-rate limited by TG 40GE NIC used,
  33     XL710. Packet rate for other tested frame sizes is limited by PCIe
  34     Gen3 x8 bandwidth limitation of ~50Gbps.
  35
  36 - Trial duration: 1 sec.
  37
  38 - Number of trials per burst: 10.
  39
  40 Similarly to NDR/PDR throughput tests, MRR test should be reporting
  41 bi-directional link rate (or NIC rate, if lower) if tested VPP
  42 configuration can handle the packet rate higher than bi-directional link
  43 rate, e.g. large packet tests and/or multi-core tests.
  44
  45 MRR tests are currently used for FD.io CSIT continuous performance
  46 trending and for comparison between releases. Daily trending job tests
  47 subset of frame sizes, focusing on 64B (78B for IPv6) for all tests and
  48 IMIX for selected tests (vhost, memif).
  49
  50 MRR-like measurements are being used to establish starting conditions
  51 for experimental Probabilistic Loss Ratio Search (PLRsearch) used for
  52 soak testing, aimed at verifying continuous system performance over an
  53 extended period of time, hours, days, weeks, months. PLRsearch code is
  54 currently in experimental phase in FD.io CSIT project.