doc/guides/nics/i40e.rst

   1 ..  BSD LICENSE
   2     Copyright(c) 2016 Intel Corporation. All rights reserved.
   3     All rights reserved.
   4
   5     Redistribution and use in source and binary forms, with or without
   6     modification, are permitted provided that the following conditions
   7     are met:
   8
   9     * Redistributions of source code must retain the above copyright
  10     notice, this list of conditions and the following disclaimer.
  11     * Redistributions in binary form must reproduce the above copyright
  12     notice, this list of conditions and the following disclaimer in
  13     the documentation and/or other materials provided with the
  14     distribution.
  15     * Neither the name of Intel Corporation nor the names of its
  16     contributors may be used to endorse or promote products derived
  17     from this software without specific prior written permission.
  18
  19     THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
  20     "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
  21     LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
  22     A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
  23     OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
  24     SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
  25     LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
  26     DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
  27     THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  28     (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
  29     OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  30
  31 I40E Poll Mode Driver
  32 ======================
  33
  34 The I40E PMD (librte_pmd_i40e) provides poll mode driver support
  35 for the Intel X710/XL710/X722 10/40 Gbps family of adapters.
  36
  37
  38 Features
  39 --------
  40
  41 Features of the I40E PMD are:
  42
  43 - Multiple queues for TX and RX
  44 - Receiver Side Scaling (RSS)
  45 - MAC/VLAN filtering
  46 - Packet type information
  47 - Flow director
  48 - Cloud filter
  49 - Checksum offload
  50 - VLAN/QinQ stripping and inserting
  51 - TSO offload
  52 - Promiscuous mode
  53 - Multicast mode
  54 - Port hardware statistics
  55 - Jumbo frames
  56 - Link state information
  57 - Link flow control
  58 - Mirror on port, VLAN and VSI
  59 - Interrupt mode for RX
  60 - Scattered and gather for TX and RX
  61 - Vector Poll mode driver
  62 - DCB
  63 - VMDQ
  64 - SR-IOV VF
  65 - Hot plug
  66 - IEEE1588/802.1AS timestamping
  67 - VF Daemon (VFD) - EXPERIMENTAL
  68
  69
  70 Prerequisites
  71 -------------
  72
  73 - Identifying your adapter using `Intel Support
  74   <http://www.intel.com/support>`_ and get the latest NVM/FW images.
  75
  76 - Follow the DPDK :ref:`Getting Started Guide for Linux <linux_gsg>` to setup the basic DPDK environment.
  77
  78 - To get better performance on Intel platforms, please follow the "How to get best performance with NICs on Intel platforms"
  79   section of the :ref:`Getting Started Guide for Linux <linux_gsg>`.
  80
  81 - Upgrade the NVM/FW version following the `Intel® Ethernet NVM Update Tool Quick Usage Guide for Linux
  82   <https://www-ssl.intel.com/content/www/us/en/embedded/products/networking/nvm-update-tool-quick-linux-usage-guide.html>`_ if needed.
  83
  84 Pre-Installation Configuration
  85 ------------------------------
  86
  87 Config File Options
  88 ~~~~~~~~~~~~~~~~~~~
  89
  90 The following options can be modified in the ``config`` file.
  91 Please note that enabling debugging options may affect system performance.
  92
  93 - ``CONFIG_RTE_LIBRTE_I40E_PMD`` (default ``y``)
  94
  95   Toggle compilation of the ``librte_pmd_i40e`` driver.
  96
  97 - ``CONFIG_RTE_LIBRTE_I40E_DEBUG_*`` (default ``n``)
  98
  99   Toggle display of generic debugging messages.
 100
 101 - ``CONFIG_RTE_LIBRTE_I40E_RX_ALLOW_BULK_ALLOC`` (default ``y``)
 102
 103   Toggle bulk allocation for RX.
 104
 105 - ``CONFIG_RTE_LIBRTE_I40E_INC_VECTOR`` (default ``n``)
 106
 107   Toggle the use of Vector PMD instead of normal RX/TX path.
 108   To enable vPMD for RX, bulk allocation for Rx must be allowed.
 109
 110 - ``CONFIG_RTE_LIBRTE_I40E_16BYTE_RX_DESC`` (default ``n``)
 111
 112   Toggle to use a 16-byte RX descriptor, by default the RX descriptor is 32 byte.
 113
 114 - ``CONFIG_RTE_LIBRTE_I40E_QUEUE_NUM_PER_PF`` (default ``64``)
 115
 116   Number of queues reserved for PF.
 117
 118 - ``CONFIG_RTE_LIBRTE_I40E_QUEUE_NUM_PER_VF`` (default ``4``)
 119
 120   Number of queues reserved for each SR-IOV VF.
 121
 122 - ``CONFIG_RTE_LIBRTE_I40E_QUEUE_NUM_PER_VM`` (default ``4``)
 123
 124   Number of queues reserved for each VMDQ Pool.
 125
 126 - ``CONFIG_RTE_LIBRTE_I40E_ITR_INTERVAL`` (default ``-1``)
 127
 128   Interrupt Throttling interval.
 129
 130
 131 Driver compilation and testing
 132 ------------------------------
 133
 134 Refer to the document :ref:`compiling and testing a PMD for a NIC <pmd_build_and_test>`
 135 for details.
 136
 137 - ``Support multiple driver`` (default ``disable``)
 138
 139   There was a multiple driver support issue during use of 700 series Ethernet
 140   Adapter with both Linux kernel and DPDK PMD. To fix this issue, ``devargs``
 141   parameter ``support-multi-driver`` is introduced, for example::
 142
 143     -w 84:00.0,support-multi-driver=1
 144
 145   With the above configuration, DPDK PMD will not change global registers, and
 146   will switch PF interrupt from IntN to Int0 to avoid interrupt conflict between
 147   DPDK and Linux Kernel.
 148
 149 SR-IOV: Prerequisites and sample Application Notes
 150 --------------------------------------------------
 151
 152 #. Load the kernel module:
 153
 154    .. code-block:: console
 155
 156       modprobe i40e
 157
 158    Check the output in dmesg:
 159
 160    .. code-block:: console
 161
 162       i40e 0000:83:00.1 ens802f0: renamed from eth0
 163
 164 #. Bring up the PF ports:
 165
 166    .. code-block:: console
 167
 168       ifconfig ens802f0 up
 169
 170 #. Create VF device(s):
 171
 172    Echo the number of VFs to be created into the ``sriov_numvfs`` sysfs entry
 173    of the parent PF.
 174
 175    Example:
 176
 177    .. code-block:: console
 178
 179       echo 2 > /sys/devices/pci0000:00/0000:00:03.0/0000:81:00.0/sriov_numvfs
 180
 181
 182 #. Assign VF MAC address:
 183
 184    Assign MAC address to the VF using iproute2 utility. The syntax is:
 185
 186    .. code-block:: console
 187
 188       ip link set <PF netdev id> vf <VF id> mac <macaddr>
 189
 190    Example:
 191
 192    .. code-block:: console
 193
 194       ip link set ens802f0 vf 0 mac a0:b0:c0:d0:e0:f0
 195
 196 #. Assign VF to VM, and bring up the VM.
 197    Please see the documentation for the *I40E/IXGBE/IGB Virtual Function Driver*.
 198
 199 #. Running testpmd:
 200
 201    Follow instructions available in the document
 202    :ref:`compiling and testing a PMD for a NIC <pmd_build_and_test>`
 203    to run testpmd.
 204
 205    Example output:
 206
 207    .. code-block:: console
 208
 209       ...
 210       EAL: PCI device 0000:83:00.0 on NUMA socket 1
 211       EAL: probe driver: 8086:1572 rte_i40e_pmd
 212       EAL: PCI memory mapped at 0x7f7f80000000
 213       EAL: PCI memory mapped at 0x7f7f80800000
 214       PMD: eth_i40e_dev_init(): FW 5.0 API 1.5 NVM 05.00.02 eetrack 8000208a
 215       Interactive-mode selected
 216       Configuring Port 0 (socket 0)
 217       ...
 218
 219       PMD: i40e_dev_rx_queue_setup(): Rx Burst Bulk Alloc Preconditions are
 220       satisfied.Rx Burst Bulk Alloc function will be used on port=0, queue=0.
 221
 222       ...
 223       Port 0: 68:05:CA:26:85:84
 224       Checking link statuses...
 225       Port 0 Link Up - speed 10000 Mbps - full-duplex
 226       Done
 227
 228       testpmd>
 229
 230
 231 Sample Application Notes
 232 ------------------------
 233
 234 Vlan filter
 235 ~~~~~~~~~~~
 236
 237 Vlan filter only works when Promiscuous mode is off.
 238
 239 To start ``testpmd``, and add vlan 10 to port 0:
 240
 241 .. code-block:: console
 242
 243     ./app/testpmd -l 0-15 -n 4 -- -i --forward-mode=mac
 244     ...
 245
 246     testpmd> set promisc 0 off
 247     testpmd> rx_vlan add 10 0
 248
 249
 250 Flow Director
 251 ~~~~~~~~~~~~~
 252
 253 The Flow Director works in receive mode to identify specific flows or sets of flows and route them to specific queues.
 254 The Flow Director filters can match the different fields for different type of packet: flow type, specific input set per flow type and the flexible payload.
 255
 256 The default input set of each flow type is::
 257
 258    ipv4-other : src_ip_address, dst_ip_address
 259    ipv4-frag  : src_ip_address, dst_ip_address
 260    ipv4-tcp   : src_ip_address, dst_ip_address, src_port, dst_port
 261    ipv4-udp   : src_ip_address, dst_ip_address, src_port, dst_port
 262    ipv4-sctp  : src_ip_address, dst_ip_address, src_port, dst_port,
 263                 verification_tag
 264    ipv6-other : src_ip_address, dst_ip_address
 265    ipv6-frag  : src_ip_address, dst_ip_address
 266    ipv6-tcp   : src_ip_address, dst_ip_address, src_port, dst_port
 267    ipv6-udp   : src_ip_address, dst_ip_address, src_port, dst_port
 268    ipv6-sctp  : src_ip_address, dst_ip_address, src_port, dst_port,
 269                 verification_tag
 270    l2_payload : ether_type
 271
 272 The flex payload is selected from offset 0 to 15 of packet's payload by default, while it is masked out from matching.
 273
 274 Start ``testpmd`` with ``--disable-rss`` and ``--pkt-filter-mode=perfect``:
 275
 276 .. code-block:: console
 277
 278    ./app/testpmd -l 0-15 -n 4 -- -i --disable-rss --pkt-filter-mode=perfect \
 279                  --rxq=8 --txq=8 --nb-cores=8 --nb-ports=1
 280
 281 Add a rule to direct ``ipv4-udp`` packet whose ``dst_ip=2.2.2.5, src_ip=2.2.2.3, src_port=32, dst_port=32`` to queue 1:
 282
 283 .. code-block:: console
 284
 285    testpmd> flow_director_filter 0 mode IP add flow ipv4-udp  \
 286             src 2.2.2.3 32 dst 2.2.2.5 32 vlan 0 flexbytes () \
 287             fwd pf queue 1 fd_id 1
 288
 289 Check the flow director status:
 290
 291 .. code-block:: console
 292
 293    testpmd> show port fdir 0
 294
 295    ######################## FDIR infos for port 0      ####################
 296      MODE:   PERFECT
 297      SUPPORTED FLOW TYPE:  ipv4-frag ipv4-tcp ipv4-udp ipv4-sctp ipv4-other
 298                            ipv6-frag ipv6-tcp ipv6-udp ipv6-sctp ipv6-other
 299                            l2_payload
 300      FLEX PAYLOAD INFO:
 301      max_len:       16          payload_limit: 480
 302      payload_unit:  2           payload_seg:   3
 303      bitmask_unit:  2           bitmask_num:   2
 304      MASK:
 305        vlan_tci: 0x0000,
 306        src_ipv4: 0x00000000,
 307        dst_ipv4: 0x00000000,
 308        src_port: 0x0000,
 309        dst_port: 0x0000
 310        src_ipv6: 0x00000000,0x00000000,0x00000000,0x00000000,
 311        dst_ipv6: 0x00000000,0x00000000,0x00000000,0x00000000
 312      FLEX PAYLOAD SRC OFFSET:
 313        L2_PAYLOAD:    0      1      2      3      4      5      6  ...
 314        L3_PAYLOAD:    0      1      2      3      4      5      6  ...
 315        L4_PAYLOAD:    0      1      2      3      4      5      6  ...
 316      FLEX MASK CFG:
 317        ipv4-udp:    00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00
 318        ipv4-tcp:    00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00
 319        ipv4-sctp:   00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00
 320        ipv4-other:  00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00
 321        ipv4-frag:   00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00
 322        ipv6-udp:    00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00
 323        ipv6-tcp:    00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00
 324        ipv6-sctp:   00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00
 325        ipv6-other:  00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00
 326        ipv6-frag:   00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00
 327        l2_payload:  00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00
 328      guarant_count: 1           best_count:    0
 329      guarant_space: 512         best_space:    7168
 330      collision:     0           free:          0
 331      maxhash:       0           maxlen:        0
 332      add:           0           remove:        0
 333      f_add:         0           f_remove:      0
 334
 335
 336 Delete all flow director rules on a port:
 337
 338 .. code-block:: console
 339
 340    testpmd> flush_flow_director 0
 341
 342 Floating VEB
 343 ~~~~~~~~~~~~~
 344
 345 The Intel® Ethernet Controller X710 and XL710 Family support a feature called
 346 "Floating VEB".
 347
 348 A Virtual Ethernet Bridge (VEB) is an IEEE Edge Virtual Bridging (EVB) term
 349 for functionality that allows local switching between virtual endpoints within
 350 a physical endpoint and also with an external bridge/network.
 351
 352 A "Floating" VEB doesn't have an uplink connection to the outside world so all
 353 switching is done internally and remains within the host. As such, this
 354 feature provides security benefits.
 355
 356 In addition, a Floating VEB overcomes a limitation of normal VEBs where they
 357 cannot forward packets when the physical link is down. Floating VEBs don't need
 358 to connect to the NIC port so they can still forward traffic from VF to VF
 359 even when the physical link is down.
 360
 361 Therefore, with this feature enabled VFs can be limited to communicating with
 362 each other but not an outside network, and they can do so even when there is
 363 no physical uplink on the associated NIC port.
 364
 365 To enable this feature, the user should pass a ``devargs`` parameter to the
 366 EAL, for example::
 367
 368     -w 84:00.0,enable_floating_veb=1
 369
 370 In this configuration the PMD will use the floating VEB feature for all the
 371 VFs created by this PF device.
 372
 373 Alternatively, the user can specify which VFs need to connect to this floating
 374 VEB using the ``floating_veb_list`` argument::
 375
 376     -w 84:00.0,enable_floating_veb=1,floating_veb_list=1;3-4
 377
 378 In this example ``VF1``, ``VF3`` and ``VF4`` connect to the floating VEB,
 379 while other VFs connect to the normal VEB.
 380
 381 The current implementation only supports one floating VEB and one regular
 382 VEB. VFs can connect to a floating VEB or a regular VEB according to the
 383 configuration passed on the EAL command line.
 384
 385 The floating VEB functionality requires a NIC firmware version of 5.0
 386 or greater.
 387
 388
 389 Limitations or Known issues
 390 ---------------------------
 391
 392 MPLS packet classification on X710/XL710
 393 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 394
 395 For firmware versions prior to 5.0, MPLS packets are not recognized by the NIC.
 396 The L2 Payload flow type in flow director can be used to classify MPLS packet
 397 by using a command in testpmd like:
 398
 399    testpmd> flow_director_filter 0 mode IP add flow l2_payload ether \
 400             0x8847 flexbytes () fwd pf queue <N> fd_id <M>
 401
 402 With the NIC firmware version 5.0 or greater, some limited MPLS support
 403 is added: Native MPLS (MPLS in Ethernet) skip is implemented, while no
 404 new packet type, no classification or offload are possible. With this change,
 405 L2 Payload flow type in flow director cannot be used to classify MPLS packet
 406 as with previous firmware versions. Meanwhile, the Ethertype filter can be
 407 used to classify MPLS packet by using a command in testpmd like:
 408
 409    testpmd> ethertype_filter 0 add mac_ignr 00:00:00:00:00:00 ethertype \
 410             0x8847 fwd queue <M>
 411
 412 16 Byte RX Descriptor setting on DPDK VF
 413 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 414
 415 Currently the VF's RX descriptor mode is decided by PF. There's no PF-VF
 416 interface for VF to request the RX descriptor mode, also no interface to notify
 417 VF its own RX descriptor mode.
 418 For all available versions of the i40e driver, these drivers don't support 16
 419 byte RX descriptor. If the Linux i40e kernel driver is used as host driver,
 420 while DPDK i40e PMD is used as the VF driver, DPDK cannot choose 16 byte receive
 421 descriptor. The reason is that the RX descriptor is already set to 32 byte by
 422 the i40e kernel driver. That is to say, user should keep
 423 ``CONFIG_RTE_LIBRTE_I40E_16BYTE_RX_DESC=n`` in config file.
 424 In the future, if the Linux i40e driver supports 16 byte RX descriptor, user
 425 should make sure the DPDK VF uses the same RX descriptor mode, 16 byte or 32
 426 byte, as the PF driver.
 427
 428 The same rule for DPDK PF + DPDK VF. The PF and VF should use the same RX
 429 descriptor mode. Or the VF RX will not work.
 430
 431 Receive packets with Ethertype 0x88A8
 432 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 433
 434 Due to the FW limitation, PF can receive packets with Ethertype 0x88A8
 435 only when floating VEB is disabled.
 436
 437 Incorrect Rx statistics when packet is oversize
 438 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 439
 440 When a packet is over maximum frame size, the packet is dropped.
 441 However the Rx statistics, when calling `rte_eth_stats_get` incorrectly
 442 shows it as received.
 443
 444 VF & TC max bandwidth setting
 445 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 446
 447 The per VF max bandwidth and per TC max bandwidth cannot be enabled in parallel.
 448 The dehavior is different when handling per VF and per TC max bandwidth setting.
 449 When enabling per VF max bandwidth, SW will check if per TC max bandwidth is
 450 enabled. If so, return failure.
 451 When enabling per TC max bandwidth, SW will check if per VF max bandwidth
 452 is enabled. If so, disable per VF max bandwidth and continue with per TC max
 453 bandwidth setting.
 454
 455 TC TX scheduling mode setting
 456 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 457
 458 There're 2 TX scheduling modes for TCs, round robin and strict priority mode.
 459 If a TC is set to strict priority mode, it can consume unlimited bandwidth.
 460 It means if APP has set the max bandwidth for that TC, it comes to no
 461 effect.
 462 It's suggested to set the strict priority mode for a TC that is latency
 463 sensitive but no consuming much bandwidth.
 464
 465 VF performance is impacted by PCI extended tag setting
 466 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 467
 468 To reach maximum NIC performance in the VF the PCI extended tag must be
 469 enabled. The DPDK I40E PF driver will set this feature during initialization,
 470 but the kernel PF driver does not. So when running traffic on a VF which is
 471 managed by the kernel PF driver, a significant NIC performance downgrade has
 472 been observed (for 64 byte packets, there is about 25% linerate downgrade for
 473 a 25G device and about 35% for a 40G device).
 474
 475 For kernel version >= 4.11, the kernel's PCI driver will enable the extended
 476 tag if it detects that the device supports it. So by default, this is not an
 477 issue. For kernels <= 4.11 or when the PCI extended tag is disabled it can be
 478 enabled using the steps below.
 479
 480 #. Get the current value of the PCI configure register::
 481
 482       setpci -s <XX:XX.X> a8.w
 483
 484 #. Set bit 8::
 485
 486       value = value | 0x100
 487
 488 #. Set the PCI configure register with new value::
 489
 490       setpci -s <XX:XX.X> a8.w=<value>
 491
 492 Vlan strip of VF
 493 ~~~~~~~~~~~~~~~~
 494
 495 The VF vlan strip function is only supported in the i40e kernel driver >= 2.1.26.
 496
 497 Global configuration warning
 498 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 499
 500 I40E PMD will set some global registers to enable some function or set some
 501 configure. Then when using different ports of the same NIC with Linux kernel
 502 and DPDK, the port with Linux kernel will be impacted by the port with DPDK.
 503 For example, register I40E_GL_SWT_L2TAGCTRL is used to control L2 tag, i40e
 504 PMD uses I40E_GL_SWT_L2TAGCTRL to set vlan TPID. If setting TPID in port A
 505 with DPDK, then the configuration will also impact port B in the NIC with
 506 kernel driver, which don't want to use the TPID.
 507 So PMD reports warning to clarify what is changed by writing global register.
 508
 509 High Performance of Small Packets on 40G NIC
 510 --------------------------------------------
 511
 512 As there might be firmware fixes for performance enhancement in latest version
 513 of firmware image, the firmware update might be needed for getting high performance.
 514 Check with the local Intel's Network Division application engineers for firmware updates.
 515 Users should consult the release notes specific to a DPDK release to identify
 516 the validated firmware version for a NIC using the i40e driver.
 517
 518 Use 16 Bytes RX Descriptor Size
 519 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 520
 521 As i40e PMD supports both 16 and 32 bytes RX descriptor sizes, and 16 bytes size can provide helps to high performance of small packets.
 522 Configuration of ``CONFIG_RTE_LIBRTE_I40E_16BYTE_RX_DESC`` in config files can be changed to use 16 bytes size RX descriptors.
 523
 524 High Performance and per Packet Latency Tradeoff
 525 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 526
 527 Due to the hardware design, the interrupt signal inside NIC is needed for per
 528 packet descriptor write-back. The minimum interval of interrupts could be set
 529 at compile time by ``CONFIG_RTE_LIBRTE_I40E_ITR_INTERVAL`` in configuration files.
 530 Though there is a default configuration, the interval could be tuned by the
 531 users with that configuration item depends on what the user cares about more,
 532 performance or per packet latency.
 533
 534 Example of getting best performance with l3fwd example
 535 ------------------------------------------------------
 536
 537 The following is an example of running the DPDK ``l3fwd`` sample application to get high performance with an
 538 Intel server platform and Intel XL710 NICs.
 539
 540 The example scenario is to get best performance with two Intel XL710 40GbE ports.
 541 See :numref:`figure_intel_perf_test_setup` for the performance test setup.
 542
 543 .. _figure_intel_perf_test_setup:
 544
 545 .. figure:: img/intel_perf_test_setup.*
 546
 547    Performance Test Setup
 548
 549
 550 1. Add two Intel XL710 NICs to the platform, and use one port per card to get best performance.
 551    The reason for using two NICs is to overcome a PCIe Gen3's limitation since it cannot provide 80G bandwidth
 552    for two 40G ports, but two different PCIe Gen3 x8 slot can.
 553    Refer to the sample NICs output above, then we can select ``82:00.0`` and ``85:00.0`` as test ports::
 554
 555       82:00.0 Ethernet [0200]: Intel XL710 for 40GbE QSFP+ [8086:1583]
 556       85:00.0 Ethernet [0200]: Intel XL710 for 40GbE QSFP+ [8086:1583]
 557
 558 2. Connect the ports to the traffic generator. For high speed testing, it's best to use a hardware traffic generator.
 559
 560 3. Check the PCI devices numa node (socket id) and get the cores number on the exact socket id.
 561    In this case, ``82:00.0`` and ``85:00.0`` are both in socket 1, and the cores on socket 1 in the referenced platform
 562    are 18-35 and 54-71.
 563    Note: Don't use 2 logical cores on the same core (e.g core18 has 2 logical cores, core18 and core54), instead, use 2 logical
 564    cores from different cores (e.g core18 and core19).
 565
 566 4. Bind these two ports to igb_uio.
 567
 568 5. As to XL710 40G port, we need at least two queue pairs to achieve best performance, then two queues per port
 569    will be required, and each queue pair will need a dedicated CPU core for receiving/transmitting packets.
 570
 571 6. The DPDK sample application ``l3fwd`` will be used for performance testing, with using two ports for bi-directional forwarding.
 572    Compile the ``l3fwd sample`` with the default lpm mode.
 573
 574 7. The command line of running l3fwd would be something like the following::
 575
 576       ./l3fwd -l 18-21 -n 4 -w 82:00.0 -w 85:00.0 \
 577               -- -p 0x3 --config '(0,0,18),(0,1,19),(1,0,20),(1,1,21)'
 578
 579    This means that the application uses core 18 for port 0, queue pair 0 forwarding, core 19 for port 0, queue pair 1 forwarding,
 580    core 20 for port 1, queue pair 0 forwarding, and core 21 for port 1, queue pair 1 forwarding.
 581
 582 8. Configure the traffic at a traffic generator.
 583
 584    * Start creating a stream on packet generator.
 585
 586    * Set the Ethernet II type to 0x0800.