docs/report/introduction/physical_testbeds.rst

   1 .. _tested_physical_topologies:
   2
   3 Physical Testbeds
   4 =================
   5
   6 All :abbr:`FD.io (Fast Data Input/Ouput)` :abbr:`CSIT (Continuous System
   7 Integration and Testing)` performance testing listed in this report are
   8 executed on physical testbeds built with bare-metal servers hosted by
   9 :abbr:`LF (Linux Foundation)` FD.io project. Two testbed topologies are
  10 used:
  11
  12 - **3-Node Topology**: Consisting of two servers acting as SUTs
  13   (Systems Under Test) and one server as TG (Traffic Generator), all
  14   connected in ring topology. Used for executing all of the data plane
  15   tests including overlay tunnels and IPSec tests.
  16 - **2-Node Topology**: Consisting of one server acting as SUTs (Systems
  17   Under Test) and one server as TG (Traffic Generator), both connected
  18   in ring topology. Used for execution of tests without any overlay
  19   tunnel encapsulations. Added in CSIT rls18.07.
  20
  21 Current FD.io production testbeds are built with servers based on two
  22 processor generations of Intel Xeons: Haswell-SP (E5-2699v3) and Skylake
  23 (Platinum 8180). Testbeds built with servers based on Arm processors are
  24 in the process of being added to FD.io production.
  25
  26 Server SUT and DUT performance depends on server and processor type,
  27 hence results for testbeds based on different servers must be reported
  28 separately, and compared if appropriate.
  29
  30 Complete technical specifications of compute servers used in CSIT
  31 physical testbeds are maintained in FD.io CSIT repository:
  32 `FD.io CSIT testbeds - Xeon Skylake, Arm, Atom`_ and
  33 `FD.io CSIT Testbeds - Xeon Haswell`_.
  34
  35 Following sections describe existing production testbed types.
  36
  37 3-Node Xeon Haswell (3n-hsw)
  38 ----------------------------
  39
  40 3n-hsw testbed is based on three Cisco UCS-c240m3 servers each equipped
  41 with two Intel Xeon Haswell-SP E5-2699v3 2.3 GHz 18 core processors.
  42 Physical testbed topology is depicted in a figure below.
  43
  44 .. only:: latex
  45
  46     .. raw:: latex
  47
  48         \begin{figure}[H]
  49             \centering
  50                 \graphicspath{{../_tmp/src/introduction/}}
  51                 \includegraphics[width=0.90\textwidth]{testbed-3n-hsw}
  52                 \label{fig:testbed-3n-hsw}
  53         \end{figure}
  54
  55 .. only:: html
  56
  57     .. figure:: testbed-3n-hsw.svg
  58         :alt: testbed-3n-hsw
  59         :align: center
  60
  61 SUT1 and SUT2 servers are populated with the following NIC models:
  62
  63 #. NIC-1: VIC 1385 2p40GE Cisco.
  64 #. NIC-2: NIC x520 2p10GE Intel.
  65 #. NIC-3: empty.
  66 #. NIC-4: NIC xl710-QDA2 2p40GE Intel.
  67 #. NIC-5: NIC x710-DA2 2p10GE Intel.
  68 #. NIC-6: QAT 8950 50G (Walnut Hill) Intel.
  69
  70 TG servers run T-Rex application and are populated with the following
  71 NIC models:
  72
  73 #. NIC-1: NIC xl710-QDA2 2p40GE Intel.
  74 #. NIC-2: NIC x710-DA2 2p10GE Intel.
  75 #. NIC-3: empty.
  76 #. NIC-4: NIC xl710-QDA2 2p40GE Intel.
  77 #. NIC-5: NIC x710-DA2 2p10GE Intel.
  78 #. NIC-6: NIC x710-DA2 2p10GE Intel. (For self-tests.)
  79
  80 All Intel Xeon Haswell servers run with Intel Hyper-Threading disabled,
  81 making the number of logical cores exposed to Linux match the number of
  82 18 physical cores per processor socket.
  83
  84 Total of three 3n-hsw testbeds are in operation in FD.io labs.
  85
  86 3-Node Xeon Skylake (3n-skx)
  87 ----------------------------
  88
  89 3n-skx testbed is based on three SuperMicro SYS-7049GP-TRT servers each
  90 equipped with two Intel Xeon Skylake Platinum 8180 2.5 GHz 28 core
  91 processors. Physical testbed topology is depicted in a figure below.
  92
  93 .. only:: latex
  94
  95     .. raw:: latex
  96
  97         \begin{figure}[H]
  98             \centering
  99                 \graphicspath{{../_tmp/src/introduction/}}
 100                 \includegraphics[width=0.90\textwidth]{testbed-3n-skx}
 101                 \label{fig:testbed-3n-skx}
 102         \end{figure}
 103
 104 .. only:: html
 105
 106     .. figure:: testbed-3n-skx.svg
 107         :alt: testbed-3n-skx
 108         :align: center
 109
 110 SUT1 and SUT2 servers are populated with the following NIC models:
 111
 112 #. NIC-1: x710-DA4 4p10GE Intel.
 113 #. NIC-2: xxv710-DA2 2p25GE Intel.
 114 #. NIC-3: empty, future expansion.
 115 #. NIC-4: empty, future expansion.
 116 #. NIC-5: empty, future expansion.
 117 #. NIC-6: empty, future expansion.
 118
 119 TG servers run T-Rex application and are populated with the following
 120 NIC models:
 121
 122 #. NIC-1: x710-DA4 4p10GE Intel.
 123 #. NIC-2: xxv710-DA2 2p25GE Intel.
 124 #. NIC-3: empty, future expansion.
 125 #. NIC-4: empty, future expansion.
 126 #. NIC-5: empty, future expansion.
 127 #. NIC-6: x710-DA4 4p10GE Intel. (For self-tests.)
 128
 129 All Intel Xeon Skylake servers run with Intel Hyper-Threading enabled,
 130 doubling the number of logical cores exposed to Linux, with 56 logical
 131 cores and 28 physical cores per processor socket.
 132
 133 Total of two 3n-skx testbeds are in operation in FD.io labs.
 134
 135 2-Node Xeon Skylake (2n-skx)
 136 ----------------------------
 137
 138 2n-skx testbed is based on two SuperMicro SYS-7049GP-TRT servers each
 139 equipped with two Intel Xeon Skylake Platinum 8180 2.5 GHz 28 core
 140 processors. Physical testbed topology is depicted in a figure below.
 141
 142 .. only:: latex
 143
 144     .. raw:: latex
 145
 146         \begin{figure}[H]
 147             \centering
 148                 \graphicspath{{../_tmp/src/introduction/}}
 149                 \includegraphics[width=0.90\textwidth]{testbed-2n-skx}
 150                 \label{fig:testbed-2n-skx}
 151         \end{figure}
 152
 153 .. only:: html
 154
 155     .. figure:: testbed-2n-skx.svg
 156         :alt: testbed-2n-skx
 157         :align: center
 158
 159 SUT servers are populated with the following NIC models:
 160
 161 #. NIC-1: x710-DA4 4p10GE Intel.
 162 #. NIC-2: xxv710-DA2 2p25GE Intel.
 163 #. NIC-3: mcx556a-edat ConnectX5 2p100GE Mellanox. (Not used yet.)
 164 #. NIC-4: empty, future expansion.
 165 #. NIC-5: empty, future expansion.
 166 #. NIC-6: empty, future expansion.
 167
 168 TG servers run T-Rex application and are populated with the following
 169 NIC models:
 170
 171 #. NIC-1: x710-DA4 4p10GE Intel.
 172 #. NIC-2: xxv710-DA2 2p25GE Intel.
 173 #. NIC-3: mcx556a-edat ConnectX5 2p100GE Mellanox. (Not used yet.)
 174 #. NIC-4: empty, future expansion.
 175 #. NIC-5: empty, future expansion.
 176 #. NIC-6: x710-DA4 4p10GE Intel. (For self-tests.)
 177
 178 All Intel Xeon Skylake servers run with Intel Hyper-Threading enabled,
 179 doubling the number of logical cores exposed to Linux, with 56 logical
 180 cores and 28 physical cores per processor socket.
 181
 182 Total of four 2n-skx testbeds are in operation in FD.io labs.
 183
 184 2-Node Atom Denverton (2n-dnv)
 185 ------------------------------
 186
 187 2n-dnv testbed is based on one Intel Server Board S2600WFT that is equipped
 188 with two Intel Atom CPU C3858 @ 2.00GHz 12 core processors and one
 189 SuperMicro SYS-E300-9A server that is equipped with one SuperMicro A2SDi-TP8F
 190 motherboard. Physical testbed topology is depicted in a figure below.
 191
 192 .. only:: latex
 193
 194     .. raw:: latex
 195
 196         \begin{figure}[H]
 197             \centering
 198                 \graphicspath{{../_tmp/src/introduction/}}
 199                 \includegraphics[width=0.90\textwidth]{testbed-2n-dnv}
 200                 \label{fig:testbed-2n-dnv}
 201         \end{figure}
 202
 203 .. only:: html
 204
 205     .. figure:: testbed-2n-dnv.svg
 206         :alt: testbed-2n-dnv
 207         :align: center
 208
 209 SUT server have four internal 10G NIC port:
 210
 211 #. P-1: x553 copper port.
 212 #. P-2: x553 copper port.
 213 #. P-3: x553 fiber port.
 214 #. P-4: x553 fiber port.
 215
 216 TG server run T-Rex software traffic generator and are populated with the
 217 following NIC models:
 218
 219 #. NIC-1: x550-T2 2p10GE Intel.
 220 #. NIC-2: x550-T2 2p10GE Intel.
 221 #. NIC-3: x520-DA2 2p10GE Intel.
 222 #. NIC-4: x520-DA2 2p10GE Intel.
 223
 224 The 2n-dnv testbed is in operation in Intel SH labs.