docs/content/methodology/terminology.md

   1 ---
   2 bookToc: false
   3 title: "Terminology"
   4 weight: 1
   5 ---
   6
   7 # Terminology
   8
   9 - **Frame size**: size of an Ethernet Layer-2 frame on the wire, including
  10   any VLAN tags (dot1q, dot1ad) and Ethernet FCS, but excluding Ethernet
  11   preamble and inter-frame gap. Measured in Bytes.
  12 - **Packet size**: same as frame size, both terms used interchangeably.
  13 - **Inner L2 size**: for tunneled L2 frames only, size of an encapsulated
  14   Ethernet Layer-2 frame, preceded with tunnel header, and followed by
  15   tunnel trailer. Measured in Bytes.
  16 - **Inner IP size**: for tunneled IP packets only, size of an encapsulated
  17   IPv4 or IPv6 packet, preceded with tunnel header, and followed by
  18   tunnel trailer. Measured in Bytes.
  19 - **Device Under Test (DUT)**: In software networking, "device" denotes a
  20   specific piece of software tasked with packet processing. Such device
  21   is surrounded with other software components (such as operating system
  22   kernel). It is not possible to run devices without also running the
  23   other components, and hardware resources are shared between both. For
  24   purposes of testing, the whole set of hardware and software components
  25   is called "System Under Test" (SUT). As SUT is the part of the whole
  26   test setup performance of which can be measured with RFC2544, using
  27   SUT instead of RFC2544 DUT. Device under test
  28   (DUT) can be re-introduced when analyzing test results using whitebox
  29   techniques, but this document sticks to blackbox testing.
  30 - **System Under Test (SUT)**: System under test (SUT) is a part of the
  31   whole test setup whose performance is to be benchmarked. The complete
  32   methodology contains other parts, whose performance is either already
  33   established, or not affecting the benchmarking result.
  34 - **Bi-directional throughput tests**: involve packets/frames flowing in
  35   both east-west and west-east directions over every tested interface of
  36   SUT/DUT. Packet flow metrics are measured per direction, and can be
  37   reported as aggregate for both directions (i.e. throughput) and/or
  38   separately for each measured direction (i.e. latency). In most cases
  39   bi-directional tests use the same (symmetric) load in both directions.
  40 - **Uni-directional throughput tests**: involve packets/frames flowing in
  41   only one direction, i.e. either east-west or west-east direction, over
  42   every tested interface of SUT/DUT. Packet flow metrics are measured
  43   and are reported for measured direction.
  44 - **Packet Loss Ratio (PLR)**: ratio of packets received relative to packets
  45   transmitted over the test trial duration, calculated using formula:
  46   PLR = ( pkts_transmitted - pkts_received ) / pkts_transmitted.
  47   For bi-directional throughput tests aggregate PLR is calculated based
  48   on the aggregate number of packets transmitted and received.
  49 - **Packet Throughput Rate**: maximum packet offered load DUT/SUT forwards
  50   within the specified Packet Loss Ratio (PLR). In many cases the rate
  51   depends on the frame size processed by DUT/SUT. Hence packet
  52   throughput rate MUST be quoted with specific frame size as received by
  53   DUT/SUT during the measurement. For bi-directional tests, packet
  54   throughput rate should be reported as aggregate for both directions.
  55   Measured in packets-per-second (pps) or frames-per-second (fps),
  56   equivalent metrics.
  57 - **Bandwidth Throughput Rate**: a secondary metric calculated from packet
  58   throughput rate using formula: bw_rate = pkt_rate * (frame_size +
  59   L1_overhead) * 8, where L1_overhead for Ethernet includes preamble (8
  60   Bytes) and inter-frame gap (12 Bytes). For bi-directional tests,
  61   bandwidth throughput rate should be reported as aggregate for both
  62   directions. Expressed in bits-per-second (bps).
  63 - **Non Drop Rate (NDR)**: maximum packet/bandwith throughput rate sustained
  64   by DUT/SUT at PLR equal zero (zero packet loss) specific to tested
  65   frame size(s). MUST be quoted with specific packet size as received by
  66   DUT/SUT during the measurement. Packet NDR measured in
  67   packets-per-second (or fps), bandwidth NDR expressed in
  68   bits-per-second (bps).
  69 - **Partial Drop Rate (PDR)**: maximum packet/bandwith throughput rate
  70   sustained by DUT/SUT at PLR greater than zero (non-zero packet loss)
  71   specific to tested frame size(s). MUST be quoted with specific packet
  72   size as received by DUT/SUT during the measurement. Packet PDR
  73   measured in packets-per-second (or fps), bandwidth PDR expressed in
  74   bits-per-second (bps).
  75 - **Maximum Receive Rate (MRR)**: packet/bandwidth rate regardless of PLR
  76   sustained by DUT/SUT under specified Maximum Transmit Rate (MTR)
  77   packet load offered by traffic generator. MUST be quoted with both
  78   specific packet size and MTR as received by DUT/SUT during the
  79   measurement. Packet MRR measured in packets-per-second (or fps),
  80   bandwidth MRR expressed in bits-per-second (bps).
  81 - **Trial**: a single measurement step.
  82 - **Trial duration**: amount of time over which packets are transmitted and
  83   received in a single measurement step.