docs/report/introduction/physical_testbeds.rst

   1 .. _tested_physical_topologies:
   2
   3 Performance Physical Testbeds
   4 =============================
   5
   6 All :abbr:`FD.io (Fast Data Input/Ouput)` :abbr:`CSIT (Continuous System
   7 Integration and Testing)` performance test results included in this
   8 report are executed on the physical testbeds hosted by :abbr:`LF (Linux
   9 Foundation)` FD.io project, unless otherwise noted.
  10
  11 Two physical server topology types are used:
  12
  13 - **2-Node Topology**: Consists of one server acting as a System Under
  14   Test (SUT) and one server acting as a Traffic Generator (TG), with
  15   both servers connected into a ring topology. Used for executing tests
  16   that require frame encapsulations supported by TG.
  17
  18 - **3-Node Topology**: Consists of two servers acting as a Systems Under
  19   Test (SUTs) and one server acting as a Traffic Generator (TG), with
  20   all servers connected into a ring topology. Used for executing tests
  21   that require frame encapsulations not supported by TG e.g. certain
  22   overlay tunnel encapsulations and IPsec. Number of native Ethernet,
  23   IPv4 and IPv6 encapsulation tests are also executed on these testbeds,
  24   for comparison with 2-Node Topology.
  25
  26 Current FD.io production testbeds are built with SUT servers based on
  27 the following processor architectures:
  28
  29 - Intel Xeon: Skylake Platinum 8180, Cascadelake 6252N, (Icelake 8358
  30   to be added).
  31 - Intel Atom: Denverton C3858.
  32 - Arm: TaiShan 2280, hip07-d05.
  33 - AMD EPYC: Zen2 7532.
  34
  35 CSIT-2106 report data for Intel Xeon Icelake testbeds comes from
  36 testbeds in Intel labs set up per CSIT specification and running CSIT
  37 code. Physical setup used is specified in 2n-icx and 3n-icx sections
  38 below. For details about tested VPP and CSIT versions
  39 see :ref:`vpp_performance_tests_release_notes`.
  40
  41 Server SUT performance depends on server and processor type, hence
  42 results for testbeds based on different servers must be reported
  43 separately, and compared if appropriate.
  44
  45 Complete technical specifications of compute servers used in CSIT
  46 physical testbeds are maintained in FD.io CSIT repository:
  47 https://git.fd.io/csit/tree/docs/lab/testbed_specifications.md.
  48
  49 Physical NICs and Drivers
  50 -------------------------
  51
  52 SUT and TG servers are equipped with a number of different NIC models.
  53
  54 VPP is performance tested on SUTs with the following NICs and drivers:
  55
  56 #. 2p10GE: x520, x550, x553 Intel (codename Niantic)
  57    - DPDK Poll Mode Driver (PMD).
  58 #. 4p10GE: x710-DA4 Intel (codename Fortville, FVL)
  59    - DPDK PMD.
  60    - AVF in PMD mode.
  61    - AF_XDP in PMD mode.
  62 #. 2p25GE: xxv710-DA2 Intel (codename Fortville, FVL)
  63    - DPDK PMD.
  64    - AVF in PMD mode.
  65    - AF_XDP in PMD mode.
  66 #. 2p100GE: cx556a-edat Mellanox ConnectX5
  67    - RDMA_core in PMD mode.
  68 #. 2p100GE: E810-2CQDA2 Intel (codename Columbiaville, CVL)
  69    - DPDK PMD.
  70    - AVF in PMD mode.
  71
  72 DPDK applications, testpmd and l3fwd, are performance tested on the same
  73 SUTs exclusively with DPDK drivers for all NICs.
  74
  75 TRex running on TGs is using DPDK drivers for all NICs.
  76
  77 VPP hoststack tests utilize ab (Apache HTTP server benchmarking tool)
  78 running on TGs and using Linux drivers for all NICs.
  79
  80 For more information see :ref:`vpp_test_environment`
  81 and :ref:`dpdk_test_environment`.
  82
  83 2-Node AMD EPYC Zen2 (2n-zn2)
  84 -----------------------------
  85
  86 One 2n-zn2 testbed in in operation in FD.io labs. It is built based on
  87 two SuperMicro SuperMicro AS-1114S-WTRT servers, with SUT and TG servers
  88 equipped with one AMD EPYC Zen2 7532 processor each (256 MB Cache, 2.40
  89 GHz, 32 cores). 2n-zn2 physical topology is shown below.
  90
  91 .. only:: latex
  92
  93     .. raw:: latex
  94
  95         \begin{figure}[H]
  96             \centering
  97                 \graphicspath{{../_tmp/src/introduction/}}
  98                 \includegraphics[width=0.90\textwidth]{testbed-2n-zn2}
  99                 \label{fig:testbed-2n-zn2}
 100         \end{figure}
 101
 102 .. only:: html
 103
 104     .. figure:: testbed-2n-zn2.svg
 105         :alt: testbed-2n-zn2
 106         :align: center
 107
 108 SUT NICs:
 109
 110 #. NIC-1: x710-DA4 4p10GE Intel.
 111 #. NIC-2: xxv710-DA2 2p25GE Intel.
 112 #. NIC-3: cx556a-edat ConnectX5 2p100GE Mellanox.
 113
 114 TG NICs:
 115
 116 #. NIC-1: x710-DA4 4p10GE Intel.
 117 #. NIC-2: xxv710-DA2 2p25GE Intel.
 118 #. NIC-3: cx556a-edat ConnectX5 2p100GE Mellanox.
 119
 120 All AMD EPYC Zen2 7532 servers run with AMD SMT enabled, doubling the
 121 number of logical cores exposed to Linux.
 122
 123 2-Node Xeon Cascadelake (2n-clx)
 124 --------------------------------
 125
 126 Three 2n-clx testbeds are in operation in FD.io labs. Each 2n-clx testbed
 127 is built with two SuperMicro SYS-7049GP-TRT servers, SUTs are equipped with two
 128 Intel Xeon Gold 6252N processors (35.75 MB Cache, 2.30 GHz, 24 cores).
 129 TGs are equiped with Intel Xeon Cascade Lake Platinum 8280 processors (38.5 MB
 130 Cache, 2.70 GHz, 28 cores). 2n-clx physical topology is shown below.
 131
 132 .. only:: latex
 133
 134     .. raw:: latex
 135
 136         \begin{figure}[H]
 137             \centering
 138                 \graphicspath{{../_tmp/src/introduction/}}
 139                 \includegraphics[width=0.90\textwidth]{testbed-2n-clx}
 140                 \label{fig:testbed-2n-clx}
 141         \end{figure}
 142
 143 .. only:: html
 144
 145     .. figure:: testbed-2n-clx.svg
 146         :alt: testbed-2n-clx
 147         :align: center
 148
 149 SUT NICs:
 150
 151 #. NIC-1: x710-DA4 4p10GE Intel.
 152 #. NIC-2: xxv710-DA2 2p25GE Intel.
 153 #. NIC-3: cx556a-edat ConnectX5 2p100GE Mellanox.
 154 #. NIC-4: empty, future expansion.
 155 #. NIC-5: empty, future expansion.
 156 #. NIC-6: empty, future expansion.
 157
 158 TG NICs:
 159
 160 #. NIC-1: x710-DA4 4p10GE Intel.
 161 #. NIC-2: xxv710-DA2 2p25GE Intel.
 162 #. NIC-3: cx556a-edat ConnectX5 2p100GE Mellanox.
 163 #. NIC-4: empty, future expansion.
 164 #. NIC-5: empty, future expansion.
 165 #. NIC-6: x710-DA4 4p10GE Intel. (For self-tests.)
 166
 167 All Intel Xeon Cascadelake servers run with Intel Hyper-Threading enabled,
 168 doubling the number of logical cores exposed to Linux.
 169
 170 2-Node Xeon Icelake (2n-icx) EXPERIMENTAL
 171 -----------------------------------------
 172
 173 One 2n-icx testbed located in Intel labs was used for CSIT testing. It
 174 is built with two SuperMicro SYS-740GP-TNRT servers. SUT is equipped
 175 with two Intel Xeon Gold 6338N processors (48 MB Cache, 2.20 GHz, 32
 176 cores). TG is equiped with two Intel Xeon Ice Lake Platinum 8360Y
 177 processors (54 MB Cache, 2.40 GHz, 36 cores). 2n-icx physical topology
 178 is shown below.
 179
 180 .. only:: latex
 181
 182     .. raw:: latex
 183
 184         \begin{figure}[H]
 185             \centering
 186                 \graphicspath{{../_tmp/src/introduction/}}
 187                 \includegraphics[width=0.90\textwidth]{testbed-2n-icx}
 188                 \label{fig:testbed-2n-icx}
 189         \end{figure}
 190
 191 .. only:: html
 192
 193     .. figure:: testbed-2n-icx.svg
 194         :alt: testbed-2n-icx
 195         :align: center
 196
 197 SUT and TG NICs:
 198
 199 #. NIC-1: E810-2CQDA2 2p100GbE Intel.
 200
 201 All Intel Xeon Icelake servers run with Intel Hyper-Threading enabled,
 202 doubling the number of logical cores exposed to Linux.
 203
 204 3-Node Xeon Icelake (3n-icx) EXPERIMENTAL
 205 -----------------------------------------
 206
 207 One 3n-icx testbed located in Intel labs was used for CSIT testing. It
 208 is built with three SuperMicro SYS-740GP-TNRT servers. SUTs are
 209 equipped each with two Intel Xeon Platinum 8360Y processors (54 MB
 210 Cache, 2.40 GHz, 36 cores). TG is equiped with two Intel Xeon Ice Lake
 211 Platinum 8360Y processors (54 MB Cache, 2.40 GHz, 36 cores). 3n-icx
 212 physical topology is shown below.
 213
 214 .. only:: latex
 215
 216     .. raw:: latex
 217
 218         \begin{figure}[H]
 219             \centering
 220                 \graphicspath{{../_tmp/src/introduction/}}
 221                 \includegraphics[width=0.90\textwidth]{testbed-3n-icx}
 222                 \label{fig:testbed-3n-icx}
 223         \end{figure}
 224
 225 .. only:: html
 226
 227     .. figure:: testbed-3n-icx.svg
 228         :alt: testbed-3n-icx
 229         :align: center
 230
 231 SUT and TG NICs:
 232
 233 #. NIC-1: E810-2CQDA2 2p100GbE Intel.
 234
 235 All Intel Xeon Icelake servers run with Intel Hyper-Threading enabled,
 236 doubling the number of logical cores exposed to Linux.
 237
 238 2-Node Xeon Skylake (2n-skx)
 239 ----------------------------
 240
 241 Four 2n-skx testbeds are in operation in FD.io labs. Each 2n-skx testbed
 242 is built with two SuperMicro SYS-7049GP-TRT servers, each in turn
 243 equipped with two Intel Xeon Skylake Platinum 8180 processors (38.5 MB
 244 Cache, 2.50 GHz, 28 cores). 2n-skx physical topology is shown below.
 245
 246 .. only:: latex
 247
 248     .. raw:: latex
 249
 250         \begin{figure}[H]
 251             \centering
 252                 \graphicspath{{../_tmp/src/introduction/}}
 253                 \includegraphics[width=0.90\textwidth]{testbed-2n-skx}
 254                 \label{fig:testbed-2n-skx}
 255         \end{figure}
 256
 257 .. only:: html
 258
 259     .. figure:: testbed-2n-skx.svg
 260         :alt: testbed-2n-skx
 261         :align: center
 262
 263 SUT NICs:
 264
 265 #. NIC-1: x710-DA4 4p10GE Intel.
 266 #. NIC-2: xxv710-DA2 2p25GE Intel.
 267 #. NIC-3: empty, future expansion.
 268 #. NIC-4: empty, future expansion.
 269 #. NIC-5: empty, future expansion.
 270 #. NIC-6: empty, future expansion.
 271
 272 TG NICs:
 273
 274 #. NIC-1: x710-DA4 4p10GE Intel.
 275 #. NIC-2: xxv710-DA2 2p25GE Intel.
 276 #. NIC-3: empty, future expansion.
 277 #. NIC-4: empty, future expansion.
 278 #. NIC-5: empty, future expansion.
 279 #. NIC-6: x710-DA4 4p10GE Intel. (For self-tests.)
 280
 281 All Intel Xeon Skylake servers run with Intel Hyper-Threading enabled,
 282 doubling the number of logical cores exposed to Linux, with 56 logical
 283 cores and 28 physical cores per processor socket.
 284
 285 3-Node Xeon Skylake (3n-skx)
 286 ----------------------------
 287
 288 Two 3n-skx testbeds are in operation in FD.io labs. Each 3n-skx testbed
 289 is built with three SuperMicro SYS-7049GP-TRT servers, each in turn
 290 equipped with two Intel Xeon Skylake Platinum 8180 processors (38.5 MB
 291 Cache, 2.50 GHz, 28 cores). 3n-skx physical topology is shown below.
 292
 293 .. only:: latex
 294
 295     .. raw:: latex
 296
 297         \begin{figure}[H]
 298             \centering
 299                 \graphicspath{{../_tmp/src/introduction/}}
 300                 \includegraphics[width=0.90\textwidth]{testbed-3n-skx}
 301                 \label{fig:testbed-3n-skx}
 302         \end{figure}
 303
 304 .. only:: html
 305
 306     .. figure:: testbed-3n-skx.svg
 307         :alt: testbed-3n-skx
 308         :align: center
 309
 310 SUT1 and SUT2 NICs:
 311
 312 #. NIC-1: x710-DA4 4p10GE Intel.
 313 #. NIC-2: xxv710-DA2 2p25GE Intel.
 314 #. NIC-3: empty, future expansion.
 315 #. NIC-4: empty, future expansion.
 316 #. NIC-5: empty, future expansion.
 317 #. NIC-6: empty, future expansion.
 318
 319 TG NICs:
 320
 321 #. NIC-1: x710-DA4 4p10GE Intel.
 322 #. NIC-2: xxv710-DA2 2p25GE Intel.
 323 #. NIC-3: empty, future expansion.
 324 #. NIC-4: empty, future expansion.
 325 #. NIC-5: empty, future expansion.
 326 #. NIC-6: x710-DA4 4p10GE Intel. (For self-tests.)
 327
 328 All Intel Xeon Skylake servers run with Intel Hyper-Threading enabled,
 329 doubling the number of logical cores exposed to Linux, with 56 logical
 330 cores and 28 physical cores per processor socket.
 331
 332 2-Node Atom Denverton (2n-dnv)
 333 ------------------------------
 334
 335 2n-dnv testbed is built with: i) one Intel S2600WFT server acting as TG
 336 and equipped with two Intel Xeon Skylake Platinum 8180 processors (38.5
 337 MB Cache, 2.50 GHz, 28 cores), and ii) one SuperMicro SYS-E300-9A server
 338 acting as SUT and equipped with one Intel Atom C3858 processor (12 MB
 339 Cache, 2.00 GHz, 12 cores). 2n-dnv physical topology is shown below.
 340
 341 .. only:: latex
 342
 343     .. raw:: latex
 344
 345         \begin{figure}[H]
 346             \centering
 347                 \graphicspath{{../_tmp/src/introduction/}}
 348                 \includegraphics[width=0.90\textwidth]{testbed-2n-dnv}
 349                 \label{fig:testbed-2n-dnv}
 350         \end{figure}
 351
 352 .. only:: html
 353
 354     .. figure:: testbed-2n-dnv.svg
 355         :alt: testbed-2n-dnv
 356         :align: center
 357
 358 SUT 10GE NIC ports:
 359
 360 #. P-1: x553 copper port.
 361 #. P-2: x553 copper port.
 362 #. P-3: x553 fiber port.
 363 #. P-4: x553 fiber port.
 364
 365 TG NICs:
 366
 367 #. NIC-1: x550-T2 2p10GE Intel.
 368 #. NIC-2: x550-T2 2p10GE Intel.
 369 #. NIC-3: x520-DA2 2p10GE Intel.
 370 #. NIC-4: x520-DA2 2p10GE Intel.
 371
 372 The 2n-dnv testbed is in operation in Intel SH labs.
 373
 374 3-Node Atom Denverton (3n-dnv)
 375 ------------------------------
 376
 377 One 3n-dnv testbed is built with: i) one SuperMicro SYS-7049GP-TRT
 378 server acting as TG and equipped with two Intel Xeon Skylake Platinum
 379 8180 processors (38.5 MB Cache, 2.50 GHz, 28 cores), and ii) one
 380 SuperMicro SYS-E300-9A server acting as SUT and equipped with one Intel
 381 Atom C3858 processor (12 MB Cache, 2.00 GHz, 12 cores). 3n-dnv physical
 382 topology is shown below.
 383
 384 .. only:: latex
 385
 386     .. raw:: latex
 387
 388         \begin{figure}[H]
 389             \centering
 390                 \graphicspath{{../_tmp/src/introduction/}}
 391                 \includegraphics[width=0.90\textwidth]{testbed-3n-dnv}
 392                 \label{fig:testbed-3n-dnv}
 393         \end{figure}
 394
 395 .. only:: html
 396
 397     .. figure:: testbed-3n-dnv.svg
 398         :alt: testbed-3n-dnv
 399         :align: center
 400
 401 SUT1 and SUT2 NICs:
 402
 403 #. NIC-1: x553 2p10GE fiber Intel.
 404 #. NIC-2: x553 2p10GE copper Intel.
 405
 406 TG NICs:
 407
 408 #. NIC-1: x710-DA4 4p10GE Intel.
 409
 410 3-Node ARM TaiShan (3n-tsh)
 411 ---------------------------
 412
 413 One 3n-tsh testbed is built with: i) one SuperMicro SYS-7049GP-TRT
 414 server acting as TG and equipped with two Intel Xeon Skylake Platinum
 415 8180 processors (38.5 MB Cache, 2.50 GHz, 28 cores), and ii) one Huawei
 416 TaiShan 2280 server acting as SUT and equipped with one  hip07-d05
 417 processor (64* ARM Cortex-A72). 3n-tsh physical topology is shown below.
 418
 419 .. only:: latex
 420
 421     .. raw:: latex
 422
 423         \begin{figure}[H]
 424             \centering
 425                 \graphicspath{{../_tmp/src/introduction/}}
 426                 \includegraphics[width=0.90\textwidth]{testbed-3n-tsh}
 427                 \label{fig:testbed-3n-tsh}
 428         \end{figure}
 429
 430 .. only:: html
 431
 432     .. figure:: testbed-3n-tsh.svg
 433         :alt: testbed-3n-tsh
 434         :align: center
 435
 436 SUT1 and SUT2 NICs:
 437
 438 #. NIC-1: connectx4 2p25GE Mellanox.
 439 #. NIC-2: x520 2p10GE Intel.
 440
 441 TG NICs:
 442
 443 #. NIC-1: x710-DA4 4p10GE Intel.
 444 #. NIC-2: xxv710-DA2 2p25GE Intel.
 445 #. NIC-3: xl710-QDA2 2p40GE Intel.
 446
 447 2-Node ARM ThunderX2 (2n-tx2)
 448 -----------------------------
 449
 450 One 2n-tx2 testbed is built with: i) one SuperMicro SYS-7049GP-TRT
 451 server acting as TG and equipped with two Intel Xeon Skylake Platinum
 452 8180 processors (38.5 MB Cache, 2.50 GHz, 28 cores), and ii) one Marvell
 453 ThnderX2 9975 (28* ThunderX2) server acting as SUT and equipped with two
 454 ThunderX2 ARMv8 CN9975 processors. 2n-tx2 physical topology is shown below.
 455
 456 .. only:: latex
 457
 458     .. raw:: latex
 459
 460         \begin{figure}[H]
 461             \centering
 462                 \graphicspath{{../_tmp/src/introduction/}}
 463                 \includegraphics[width=0.90\textwidth]{testbed-2n-tx2}
 464                 \label{fig:testbed-2n-tx2}
 465         \end{figure}
 466
 467 .. only:: html
 468
 469     .. figure:: testbed-2n-tx2.svg
 470         :alt: testbed-2n-tx2
 471         :align: center
 472
 473 SUT NICs:
 474
 475 #. NIC-1: xl710-QDA2 2p40GE Intel (not connected).
 476 #. NIC-2: xl710-QDA2 2p40GE Intel.
 477
 478 TG NICs:
 479
 480 #. NIC-1: xl710-QDA2 2p40GE Intel.