doc/guides/nics/i40e.rst

   1 ..  SPDX-License-Identifier: BSD-3-Clause
   2     Copyright(c) 2016 Intel Corporation.
   3
   4 I40E Poll Mode Driver
   5 ======================
   6
   7 The I40E PMD (librte_pmd_i40e) provides poll mode driver support
   8 for the Intel X710/XL710/X722 10/40 Gbps family of adapters.
   9
  10
  11 Features
  12 --------
  13
  14 Features of the I40E PMD are:
  15
  16 - Multiple queues for TX and RX
  17 - Receiver Side Scaling (RSS)
  18 - MAC/VLAN filtering
  19 - Packet type information
  20 - Flow director
  21 - Cloud filter
  22 - Checksum offload
  23 - VLAN/QinQ stripping and inserting
  24 - TSO offload
  25 - Promiscuous mode
  26 - Multicast mode
  27 - Port hardware statistics
  28 - Jumbo frames
  29 - Link state information
  30 - Link flow control
  31 - Mirror on port, VLAN and VSI
  32 - Interrupt mode for RX
  33 - Scattered and gather for TX and RX
  34 - Vector Poll mode driver
  35 - DCB
  36 - VMDQ
  37 - SR-IOV VF
  38 - Hot plug
  39 - IEEE1588/802.1AS timestamping
  40 - VF Daemon (VFD) - EXPERIMENTAL
  41 - Dynamic Device Personalization (DDP)
  42 - Queue region configuration
  43
  44 Prerequisites
  45 -------------
  46
  47 - Identifying your adapter using `Intel Support
  48   <http://www.intel.com/support>`_ and get the latest NVM/FW images.
  49
  50 - Follow the DPDK :ref:`Getting Started Guide for Linux <linux_gsg>` to setup the basic DPDK environment.
  51
  52 - To get better performance on Intel platforms, please follow the "How to get best performance with NICs on Intel platforms"
  53   section of the :ref:`Getting Started Guide for Linux <linux_gsg>`.
  54
  55 - Upgrade the NVM/FW version following the `Intel® Ethernet NVM Update Tool Quick Usage Guide for Linux
  56   <https://www-ssl.intel.com/content/www/us/en/embedded/products/networking/nvm-update-tool-quick-linux-usage-guide.html>`_ if needed.
  57
  58 Pre-Installation Configuration
  59 ------------------------------
  60
  61 Config File Options
  62 ~~~~~~~~~~~~~~~~~~~
  63
  64 The following options can be modified in the ``config`` file.
  65 Please note that enabling debugging options may affect system performance.
  66
  67 - ``CONFIG_RTE_LIBRTE_I40E_PMD`` (default ``y``)
  68
  69   Toggle compilation of the ``librte_pmd_i40e`` driver.
  70
  71 - ``CONFIG_RTE_LIBRTE_I40E_DEBUG_*`` (default ``n``)
  72
  73   Toggle display of generic debugging messages.
  74
  75 - ``CONFIG_RTE_LIBRTE_I40E_RX_ALLOW_BULK_ALLOC`` (default ``y``)
  76
  77   Toggle bulk allocation for RX.
  78
  79 - ``CONFIG_RTE_LIBRTE_I40E_INC_VECTOR`` (default ``n``)
  80
  81   Toggle the use of Vector PMD instead of normal RX/TX path.
  82   To enable vPMD for RX, bulk allocation for Rx must be allowed.
  83
  84 - ``CONFIG_RTE_LIBRTE_I40E_16BYTE_RX_DESC`` (default ``n``)
  85
  86   Toggle to use a 16-byte RX descriptor, by default the RX descriptor is 32 byte.
  87
  88 - ``CONFIG_RTE_LIBRTE_I40E_QUEUE_NUM_PER_PF`` (default ``64``)
  89
  90   Number of queues reserved for PF.
  91
  92 - ``CONFIG_RTE_LIBRTE_I40E_QUEUE_NUM_PER_VM`` (default ``4``)
  93
  94   Number of queues reserved for each VMDQ Pool.
  95
  96 - ``CONFIG_RTE_LIBRTE_I40E_ITR_INTERVAL`` (default ``-1``)
  97
  98   Interrupt Throttling interval.
  99
 100
 101 Runtime Config Options
 102 ~~~~~~~~~~~~~~~~~~~~~~
 103
 104 - ``Number of Queues per VF`` (default ``4``)
 105
 106   The number of queue per VF is determined by its host PF. If the PCI address
 107   of an i40e PF is aaaa:bb.cc, the number of queues per VF can be configured
 108   with EAL parameter like -w aaaa:bb.cc,queue-num-per-vf=n. The value n can be
 109   1, 2, 4, 8 or 16. If no such parameter is configured, the number of queues
 110   per VF is 4 by default.
 111
 112 - ``Support multiple driver`` (default ``disable``)
 113
 114   There was a multiple driver support issue during use of 700 series Ethernet
 115   Adapter with both Linux kernel and DPDK PMD. To fix this issue, ``devargs``
 116   parameter ``support-multi-driver`` is introduced, for example::
 117
 118     -w 84:00.0,support-multi-driver=1
 119
 120   With the above configuration, DPDK PMD will not change global registers, and
 121   will switch PF interrupt from IntN to Int0 to avoid interrupt conflict between
 122   DPDK and Linux Kernel.
 123
 124 Driver compilation and testing
 125 ------------------------------
 126
 127 Refer to the document :ref:`compiling and testing a PMD for a NIC <pmd_build_and_test>`
 128 for details.
 129
 130
 131 SR-IOV: Prerequisites and sample Application Notes
 132 --------------------------------------------------
 133
 134 #. Load the kernel module:
 135
 136    .. code-block:: console
 137
 138       modprobe i40e
 139
 140    Check the output in dmesg:
 141
 142    .. code-block:: console
 143
 144       i40e 0000:83:00.1 ens802f0: renamed from eth0
 145
 146 #. Bring up the PF ports:
 147
 148    .. code-block:: console
 149
 150       ifconfig ens802f0 up
 151
 152 #. Create VF device(s):
 153
 154    Echo the number of VFs to be created into the ``sriov_numvfs`` sysfs entry
 155    of the parent PF.
 156
 157    Example:
 158
 159    .. code-block:: console
 160
 161       echo 2 > /sys/devices/pci0000:00/0000:00:03.0/0000:81:00.0/sriov_numvfs
 162
 163
 164 #. Assign VF MAC address:
 165
 166    Assign MAC address to the VF using iproute2 utility. The syntax is:
 167
 168    .. code-block:: console
 169
 170       ip link set <PF netdev id> vf <VF id> mac <macaddr>
 171
 172    Example:
 173
 174    .. code-block:: console
 175
 176       ip link set ens802f0 vf 0 mac a0:b0:c0:d0:e0:f0
 177
 178 #. Assign VF to VM, and bring up the VM.
 179    Please see the documentation for the *I40E/IXGBE/IGB Virtual Function Driver*.
 180
 181 #. Running testpmd:
 182
 183    Follow instructions available in the document
 184    :ref:`compiling and testing a PMD for a NIC <pmd_build_and_test>`
 185    to run testpmd.
 186
 187    Example output:
 188
 189    .. code-block:: console
 190
 191       ...
 192       EAL: PCI device 0000:83:00.0 on NUMA socket 1
 193       EAL: probe driver: 8086:1572 rte_i40e_pmd
 194       EAL: PCI memory mapped at 0x7f7f80000000
 195       EAL: PCI memory mapped at 0x7f7f80800000
 196       PMD: eth_i40e_dev_init(): FW 5.0 API 1.5 NVM 05.00.02 eetrack 8000208a
 197       Interactive-mode selected
 198       Configuring Port 0 (socket 0)
 199       ...
 200
 201       PMD: i40e_dev_rx_queue_setup(): Rx Burst Bulk Alloc Preconditions are
 202       satisfied.Rx Burst Bulk Alloc function will be used on port=0, queue=0.
 203
 204       ...
 205       Port 0: 68:05:CA:26:85:84
 206       Checking link statuses...
 207       Port 0 Link Up - speed 10000 Mbps - full-duplex
 208       Done
 209
 210       testpmd>
 211
 212
 213 Sample Application Notes
 214 ------------------------
 215
 216 Vlan filter
 217 ~~~~~~~~~~~
 218
 219 Vlan filter only works when Promiscuous mode is off.
 220
 221 To start ``testpmd``, and add vlan 10 to port 0:
 222
 223 .. code-block:: console
 224
 225     ./app/testpmd -l 0-15 -n 4 -- -i --forward-mode=mac
 226     ...
 227
 228     testpmd> set promisc 0 off
 229     testpmd> rx_vlan add 10 0
 230
 231
 232 Flow Director
 233 ~~~~~~~~~~~~~
 234
 235 The Flow Director works in receive mode to identify specific flows or sets of flows and route them to specific queues.
 236 The Flow Director filters can match the different fields for different type of packet: flow type, specific input set per flow type and the flexible payload.
 237
 238 The default input set of each flow type is::
 239
 240    ipv4-other : src_ip_address, dst_ip_address
 241    ipv4-frag  : src_ip_address, dst_ip_address
 242    ipv4-tcp   : src_ip_address, dst_ip_address, src_port, dst_port
 243    ipv4-udp   : src_ip_address, dst_ip_address, src_port, dst_port
 244    ipv4-sctp  : src_ip_address, dst_ip_address, src_port, dst_port,
 245                 verification_tag
 246    ipv6-other : src_ip_address, dst_ip_address
 247    ipv6-frag  : src_ip_address, dst_ip_address
 248    ipv6-tcp   : src_ip_address, dst_ip_address, src_port, dst_port
 249    ipv6-udp   : src_ip_address, dst_ip_address, src_port, dst_port
 250    ipv6-sctp  : src_ip_address, dst_ip_address, src_port, dst_port,
 251                 verification_tag
 252    l2_payload : ether_type
 253
 254 The flex payload is selected from offset 0 to 15 of packet's payload by default, while it is masked out from matching.
 255
 256 Start ``testpmd`` with ``--disable-rss`` and ``--pkt-filter-mode=perfect``:
 257
 258 .. code-block:: console
 259
 260    ./app/testpmd -l 0-15 -n 4 -- -i --disable-rss --pkt-filter-mode=perfect \
 261                  --rxq=8 --txq=8 --nb-cores=8 --nb-ports=1
 262
 263 Add a rule to direct ``ipv4-udp`` packet whose ``dst_ip=2.2.2.5, src_ip=2.2.2.3, src_port=32, dst_port=32`` to queue 1:
 264
 265 .. code-block:: console
 266
 267    testpmd> flow_director_filter 0 mode IP add flow ipv4-udp  \
 268             src 2.2.2.3 32 dst 2.2.2.5 32 vlan 0 flexbytes () \
 269             fwd pf queue 1 fd_id 1
 270
 271 Check the flow director status:
 272
 273 .. code-block:: console
 274
 275    testpmd> show port fdir 0
 276
 277    ######################## FDIR infos for port 0      ####################
 278      MODE:   PERFECT
 279      SUPPORTED FLOW TYPE:  ipv4-frag ipv4-tcp ipv4-udp ipv4-sctp ipv4-other
 280                            ipv6-frag ipv6-tcp ipv6-udp ipv6-sctp ipv6-other
 281                            l2_payload
 282      FLEX PAYLOAD INFO:
 283      max_len:       16          payload_limit: 480
 284      payload_unit:  2           payload_seg:   3
 285      bitmask_unit:  2           bitmask_num:   2
 286      MASK:
 287        vlan_tci: 0x0000,
 288        src_ipv4: 0x00000000,
 289        dst_ipv4: 0x00000000,
 290        src_port: 0x0000,
 291        dst_port: 0x0000
 292        src_ipv6: 0x00000000,0x00000000,0x00000000,0x00000000,
 293        dst_ipv6: 0x00000000,0x00000000,0x00000000,0x00000000
 294      FLEX PAYLOAD SRC OFFSET:
 295        L2_PAYLOAD:    0      1      2      3      4      5      6  ...
 296        L3_PAYLOAD:    0      1      2      3      4      5      6  ...
 297        L4_PAYLOAD:    0      1      2      3      4      5      6  ...
 298      FLEX MASK CFG:
 299        ipv4-udp:    00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00
 300        ipv4-tcp:    00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00
 301        ipv4-sctp:   00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00
 302        ipv4-other:  00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00
 303        ipv4-frag:   00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00
 304        ipv6-udp:    00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00
 305        ipv6-tcp:    00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00
 306        ipv6-sctp:   00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00
 307        ipv6-other:  00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00
 308        ipv6-frag:   00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00
 309        l2_payload:  00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00
 310      guarant_count: 1           best_count:    0
 311      guarant_space: 512         best_space:    7168
 312      collision:     0           free:          0
 313      maxhash:       0           maxlen:        0
 314      add:           0           remove:        0
 315      f_add:         0           f_remove:      0
 316
 317
 318 Delete all flow director rules on a port:
 319
 320 .. code-block:: console
 321
 322    testpmd> flush_flow_director 0
 323
 324 Floating VEB
 325 ~~~~~~~~~~~~~
 326
 327 The Intel® Ethernet Controller X710 and XL710 Family support a feature called
 328 "Floating VEB".
 329
 330 A Virtual Ethernet Bridge (VEB) is an IEEE Edge Virtual Bridging (EVB) term
 331 for functionality that allows local switching between virtual endpoints within
 332 a physical endpoint and also with an external bridge/network.
 333
 334 A "Floating" VEB doesn't have an uplink connection to the outside world so all
 335 switching is done internally and remains within the host. As such, this
 336 feature provides security benefits.
 337
 338 In addition, a Floating VEB overcomes a limitation of normal VEBs where they
 339 cannot forward packets when the physical link is down. Floating VEBs don't need
 340 to connect to the NIC port so they can still forward traffic from VF to VF
 341 even when the physical link is down.
 342
 343 Therefore, with this feature enabled VFs can be limited to communicating with
 344 each other but not an outside network, and they can do so even when there is
 345 no physical uplink on the associated NIC port.
 346
 347 To enable this feature, the user should pass a ``devargs`` parameter to the
 348 EAL, for example::
 349
 350     -w 84:00.0,enable_floating_veb=1
 351
 352 In this configuration the PMD will use the floating VEB feature for all the
 353 VFs created by this PF device.
 354
 355 Alternatively, the user can specify which VFs need to connect to this floating
 356 VEB using the ``floating_veb_list`` argument::
 357
 358     -w 84:00.0,enable_floating_veb=1,floating_veb_list=1;3-4
 359
 360 In this example ``VF1``, ``VF3`` and ``VF4`` connect to the floating VEB,
 361 while other VFs connect to the normal VEB.
 362
 363 The current implementation only supports one floating VEB and one regular
 364 VEB. VFs can connect to a floating VEB or a regular VEB according to the
 365 configuration passed on the EAL command line.
 366
 367 The floating VEB functionality requires a NIC firmware version of 5.0
 368 or greater.
 369
 370 Dynamic Device Personalization (DDP)
 371 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 372
 373 The Intel® Ethernet Controller X*710 support a feature called "Dynamic Device
 374 Personalization (DDP)", which is used to configure hardware by downloading
 375 a profile to support protocols/filters which are not supported by default.
 376 The DDP functionality requires a NIC firmware version of 6.0 or greater.
 377
 378 Current implementation supports MPLSoUDP/MPLSoGRE/GTP-C/GTP-U/PPPoE/PPPoL2TP,
 379 steering can be used with rte_flow API.
 380
 381 Load a profile which supports MPLSoUDP/MPLSoGRE and store backup profile:
 382
 383 .. code-block:: console
 384
 385    testpmd> ddp add 0 ./mpls.pkgo,./backup.pkgo
 386
 387 Delete a MPLS profile and restore backup profile:
 388
 389 .. code-block:: console
 390
 391    testpmd> ddp del 0 ./backup.pkgo
 392
 393 Get loaded DDP package info list:
 394
 395 .. code-block:: console
 396
 397    testpmd> ddp get list 0
 398
 399 Display information about a MPLS profile:
 400
 401 .. code-block:: console
 402
 403    testpmd> ddp get info ./mpls.pkgo
 404
 405 Input set configuration
 406 ~~~~~~~~~~~~~~~~~~~~~~~
 407 Input set for any PCTYPE can be configured with user defined configuration,
 408 For example, to use only 48bit prefix for IPv6 src address for IPv6 TCP RSS:
 409
 410 .. code-block:: console
 411
 412    testpmd> port config 0 pctype 43 hash_inset clear all
 413    testpmd> port config 0 pctype 43 hash_inset set field 13
 414    testpmd> port config 0 pctype 43 hash_inset set field 14
 415    testpmd> port config 0 pctype 43 hash_inset set field 15
 416
 417 Queue region configuration
 418 ~~~~~~~~~~~~~~~~~~~~~~~~~~~
 419 The Ethernet Controller X710/XL710 supports a feature of queue regions
 420 configuration for RSS in the PF, so that different traffic classes or
 421 different packet classification types can be separated to different
 422 queues in different queue regions. There is an API for configuration
 423 of queue regions in RSS with a command line. It can parse the parameters
 424 of the region index, queue number, queue start index, user priority, traffic
 425 classes and so on. Depending on commands from the command line, it will call
 426 i40e private APIs and start the process of setting or flushing the queue
 427 region configuration. As this feature is specific for i40e only private
 428 APIs are used. These new ``test_pmd`` commands are as shown below. For
 429 details please refer to :doc:`../testpmd_app_ug/index`.
 430
 431 .. code-block:: console
 432
 433    testpmd> set port (port_id) queue-region region_id (value) \
 434                 queue_start_index (value) queue_num (value)
 435    testpmd> set port (port_id) queue-region region_id (value) flowtype (value)
 436    testpmd> set port (port_id) queue-region UP (value) region_id (value)
 437    testpmd> set port (port_id) queue-region flush (on|off)
 438    testpmd> show port (port_id) queue-region
 439
 440 Limitations or Known issues
 441 ---------------------------
 442
 443 MPLS packet classification on X710/XL710
 444 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 445
 446 For firmware versions prior to 5.0, MPLS packets are not recognized by the NIC.
 447 The L2 Payload flow type in flow director can be used to classify MPLS packet
 448 by using a command in testpmd like:
 449
 450    testpmd> flow_director_filter 0 mode IP add flow l2_payload ether \
 451             0x8847 flexbytes () fwd pf queue <N> fd_id <M>
 452
 453 With the NIC firmware version 5.0 or greater, some limited MPLS support
 454 is added: Native MPLS (MPLS in Ethernet) skip is implemented, while no
 455 new packet type, no classification or offload are possible. With this change,
 456 L2 Payload flow type in flow director cannot be used to classify MPLS packet
 457 as with previous firmware versions. Meanwhile, the Ethertype filter can be
 458 used to classify MPLS packet by using a command in testpmd like:
 459
 460    testpmd> ethertype_filter 0 add mac_ignr 00:00:00:00:00:00 ethertype \
 461             0x8847 fwd queue <M>
 462
 463 16 Byte RX Descriptor setting on DPDK VF
 464 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 465
 466 Currently the VF's RX descriptor mode is decided by PF. There's no PF-VF
 467 interface for VF to request the RX descriptor mode, also no interface to notify
 468 VF its own RX descriptor mode.
 469 For all available versions of the i40e driver, these drivers don't support 16
 470 byte RX descriptor. If the Linux i40e kernel driver is used as host driver,
 471 while DPDK i40e PMD is used as the VF driver, DPDK cannot choose 16 byte receive
 472 descriptor. The reason is that the RX descriptor is already set to 32 byte by
 473 the i40e kernel driver. That is to say, user should keep
 474 ``CONFIG_RTE_LIBRTE_I40E_16BYTE_RX_DESC=n`` in config file.
 475 In the future, if the Linux i40e driver supports 16 byte RX descriptor, user
 476 should make sure the DPDK VF uses the same RX descriptor mode, 16 byte or 32
 477 byte, as the PF driver.
 478
 479 The same rule for DPDK PF + DPDK VF. The PF and VF should use the same RX
 480 descriptor mode. Or the VF RX will not work.
 481
 482 Receive packets with Ethertype 0x88A8
 483 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 484
 485 Due to the FW limitation, PF can receive packets with Ethertype 0x88A8
 486 only when floating VEB is disabled.
 487
 488 Incorrect Rx statistics when packet is oversize
 489 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 490
 491 When a packet is over maximum frame size, the packet is dropped.
 492 However the Rx statistics, when calling `rte_eth_stats_get` incorrectly
 493 shows it as received.
 494
 495 VF & TC max bandwidth setting
 496 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 497
 498 The per VF max bandwidth and per TC max bandwidth cannot be enabled in parallel.
 499 The dehavior is different when handling per VF and per TC max bandwidth setting.
 500 When enabling per VF max bandwidth, SW will check if per TC max bandwidth is
 501 enabled. If so, return failure.
 502 When enabling per TC max bandwidth, SW will check if per VF max bandwidth
 503 is enabled. If so, disable per VF max bandwidth and continue with per TC max
 504 bandwidth setting.
 505
 506 TC TX scheduling mode setting
 507 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 508
 509 There're 2 TX scheduling modes for TCs, round robin and strict priority mode.
 510 If a TC is set to strict priority mode, it can consume unlimited bandwidth.
 511 It means if APP has set the max bandwidth for that TC, it comes to no
 512 effect.
 513 It's suggested to set the strict priority mode for a TC that is latency
 514 sensitive but no consuming much bandwidth.
 515
 516 VF performance is impacted by PCI extended tag setting
 517 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 518
 519 To reach maximum NIC performance in the VF the PCI extended tag must be
 520 enabled. The DPDK I40E PF driver will set this feature during initialization,
 521 but the kernel PF driver does not. So when running traffic on a VF which is
 522 managed by the kernel PF driver, a significant NIC performance downgrade has
 523 been observed (for 64 byte packets, there is about 25% linerate downgrade for
 524 a 25G device and about 35% for a 40G device).
 525
 526 For kernel version >= 4.11, the kernel's PCI driver will enable the extended
 527 tag if it detects that the device supports it. So by default, this is not an
 528 issue. For kernels <= 4.11 or when the PCI extended tag is disabled it can be
 529 enabled using the steps below.
 530
 531 #. Get the current value of the PCI configure register::
 532
 533       setpci -s <XX:XX.X> a8.w
 534
 535 #. Set bit 8::
 536
 537       value = value | 0x100
 538
 539 #. Set the PCI configure register with new value::
 540
 541       setpci -s <XX:XX.X> a8.w=<value>
 542
 543 Vlan strip of VF
 544 ~~~~~~~~~~~~~~~~
 545
 546 The VF vlan strip function is only supported in the i40e kernel driver >= 2.1.26.
 547
 548 DCB function
 549 ~~~~~~~~~~~~
 550
 551 DCB works only when RSS is enabled.
 552
 553 Global configuration warning
 554 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 555
 556 I40E PMD will set some global registers to enable some function or set some
 557 configure. Then when using different ports of the same NIC with Linux kernel
 558 and DPDK, the port with Linux kernel will be impacted by the port with DPDK.
 559 For example, register I40E_GL_SWT_L2TAGCTRL is used to control L2 tag, i40e
 560 PMD uses I40E_GL_SWT_L2TAGCTRL to set vlan TPID. If setting TPID in port A
 561 with DPDK, then the configuration will also impact port B in the NIC with
 562 kernel driver, which don't want to use the TPID.
 563 So PMD reports warning to clarify what is changed by writing global register.
 564
 565 High Performance of Small Packets on 40G NIC
 566 --------------------------------------------
 567
 568 As there might be firmware fixes for performance enhancement in latest version
 569 of firmware image, the firmware update might be needed for getting high performance.
 570 Check with the local Intel's Network Division application engineers for firmware updates.
 571 Users should consult the release notes specific to a DPDK release to identify
 572 the validated firmware version for a NIC using the i40e driver.
 573
 574 Use 16 Bytes RX Descriptor Size
 575 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 576
 577 As i40e PMD supports both 16 and 32 bytes RX descriptor sizes, and 16 bytes size can provide helps to high performance of small packets.
 578 Configuration of ``CONFIG_RTE_LIBRTE_I40E_16BYTE_RX_DESC`` in config files can be changed to use 16 bytes size RX descriptors.
 579
 580 High Performance and per Packet Latency Tradeoff
 581 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 582
 583 Due to the hardware design, the interrupt signal inside NIC is needed for per
 584 packet descriptor write-back. The minimum interval of interrupts could be set
 585 at compile time by ``CONFIG_RTE_LIBRTE_I40E_ITR_INTERVAL`` in configuration files.
 586 Though there is a default configuration, the interval could be tuned by the
 587 users with that configuration item depends on what the user cares about more,
 588 performance or per packet latency.
 589
 590 Example of getting best performance with l3fwd example
 591 ------------------------------------------------------
 592
 593 The following is an example of running the DPDK ``l3fwd`` sample application to get high performance with an
 594 Intel server platform and Intel XL710 NICs.
 595
 596 The example scenario is to get best performance with two Intel XL710 40GbE ports.
 597 See :numref:`figure_intel_perf_test_setup` for the performance test setup.
 598
 599 .. _figure_intel_perf_test_setup:
 600
 601 .. figure:: img/intel_perf_test_setup.*
 602
 603    Performance Test Setup
 604
 605
 606 1. Add two Intel XL710 NICs to the platform, and use one port per card to get best performance.
 607    The reason for using two NICs is to overcome a PCIe Gen3's limitation since it cannot provide 80G bandwidth
 608    for two 40G ports, but two different PCIe Gen3 x8 slot can.
 609    Refer to the sample NICs output above, then we can select ``82:00.0`` and ``85:00.0`` as test ports::
 610
 611       82:00.0 Ethernet [0200]: Intel XL710 for 40GbE QSFP+ [8086:1583]
 612       85:00.0 Ethernet [0200]: Intel XL710 for 40GbE QSFP+ [8086:1583]
 613
 614 2. Connect the ports to the traffic generator. For high speed testing, it's best to use a hardware traffic generator.
 615
 616 3. Check the PCI devices numa node (socket id) and get the cores number on the exact socket id.
 617    In this case, ``82:00.0`` and ``85:00.0`` are both in socket 1, and the cores on socket 1 in the referenced platform
 618    are 18-35 and 54-71.
 619    Note: Don't use 2 logical cores on the same core (e.g core18 has 2 logical cores, core18 and core54), instead, use 2 logical
 620    cores from different cores (e.g core18 and core19).
 621
 622 4. Bind these two ports to igb_uio.
 623
 624 5. As to XL710 40G port, we need at least two queue pairs to achieve best performance, then two queues per port
 625    will be required, and each queue pair will need a dedicated CPU core for receiving/transmitting packets.
 626
 627 6. The DPDK sample application ``l3fwd`` will be used for performance testing, with using two ports for bi-directional forwarding.
 628    Compile the ``l3fwd sample`` with the default lpm mode.
 629
 630 7. The command line of running l3fwd would be something like the following::
 631
 632       ./l3fwd -l 18-21 -n 4 -w 82:00.0 -w 85:00.0 \
 633               -- -p 0x3 --config '(0,0,18),(0,1,19),(1,0,20),(1,1,21)'
 634
 635    This means that the application uses core 18 for port 0, queue pair 0 forwarding, core 19 for port 0, queue pair 1 forwarding,
 636    core 20 for port 1, queue pair 0 forwarding, and core 21 for port 1, queue pair 1 forwarding.
 637
 638 8. Configure the traffic at a traffic generator.
 639
 640    * Start creating a stream on packet generator.
 641
 642    * Set the Ethernet II type to 0x0800.