docs/cpta/methodology/performance_tests.rst

   1 Performance Tests
   2 -----------------
   3
   4 Performance trending relies on Maximum Receive Rate (MRR) tests.
   5 MRR tests measure the packet forwarding rate, in multiple trials of set
   6 duration, under the maximum load offered by traffic generator
   7 regardless of packet loss. Maximum load for specified Ethernet frame
   8 size is set to the bi-directional link rate.
   9
  10 Current parameters for performance trending MRR tests:
  11
  12 - **Ethernet frame sizes**: 64B (78B for IPv6 tests) for all tests, IMIX for
  13   selected tests (vhost, memif); all quoted sizes include frame CRC, but
  14   exclude per frame transmission overhead of 20B (preamble, inter frame
  15   gap).
  16 - **Maximum load offered**: 10GE and 40GE link (sub-)rates depending on NIC
  17   tested, with the actual packet rate depending on frame size,
  18   transmission overhead and traffic generator NIC forwarding capacity.
  19
  20   - For 10GE NICs the maximum packet rate load is 2* 14.88 Mpps for 64B,
  21     a 10GE bi-directional link rate.
  22   - For 40GE NICs the maximum packet rate load is 2* 18.75 Mpps for 64B,
  23     a 40GE bi-directional link sub-rate limited by the packet forwarding
  24     capacity of 2-port 40GE NIC model (XL710) used on T-Rex Traffic
  25     Generator.
  26
  27 - **Trial duration**: 1 sec.
  28 - **Number of trials per test**: 10.
  29 - **Test execution frequency**: twice a day, every 12 hrs (02:00,
  30   14:00 UTC).
  31
  32 Note: MRR tests should be reporting bi-directional link rate (or NIC
  33 rate, if lower) if tested VPP configuration can handle the packet rate
  34 higher than bi-directional link rate, e.g. large packet tests and/or
  35 multi-core tests. In other words MRR = min(VPP rate, bi-dir link rate,
  36 NIC rate).