docs/usecases/vmxnet3.rst

   1 .. _vmxnet3:
   2
   3 VPP with VMware/Vmxnet3
   4 =======================
   5
   6 This section describes a native Vmxnet3 driver that is included with VPP.
   7 This driver is written as a plugin and is found in src/plugin/vmxnet3.
   8
   9 Advantages
  10 ----------
  11
  12 The native VPP native vmxnet3 driver provides the following features
  13 that are not provided with the standard dpdk vmxnet3 driver.
  14
  15 -  Interrupt mode
  16 -  Adaptive mode
  17 -  LRO/TSO mode
  18
  19 Does not support
  20 ----------------
  21
  22 This driver does yet support the following features.
  23
  24 -  VLAN filter
  25
  26 Prerequisites
  27 -------------
  28
  29 -  This code is tested with vfio-pci driver installed with Ubuntu 18.04
  30    which has kernel version 4.15.0-33-generic.
  31
  32 -  This code is tested with ESXi vSwitch version 6.5 and 6.7 for LRO/TSO support,
  33    VMware Workstation 15 Pro (no LRO/TSO), and VMware Fusion 11 Pro (no LRO/TSO).
  34
  35 -  Driver requires MSI-X interrupt support, which is not supported by
  36    uio_pci_generic driver, so vfio-pci needs to be used. On systems
  37    without IOMMU vfio driver can still be used with recent kernels which
  38    support no-iommu mode.
  39
  40 VMware Fusion for Mac
  41 ---------------------
  42
  43 VMware fusion does not have a menu option to change the default driver (e1000)
  44 to the **vmxnet3** driver. VPP supports the **vmxnet3** driver.
  45
  46 These instructions describe how to change the e1000 driver for VMware fusion.
  47
  48 * From the VMware Fusion menu bar select **Window** then **Virtual Machine
  49   Library**.
  50 * From the Virtual Machine menu right click on the Virtual Machine you are using
  51   and select **Show in Finder**
  52 * Find the name associated with the VM you are using, right click on it and
  53   select **Show Package Contents**
  54 * Find the **.vmx** file and edit it.
  55 * Find all the occurrences of **e1000** and change them to **vmxnet3**
  56
  57 If you are concerned more with configuration not performance the vmxnet3 driver
  58 can be set to **interrupt** mode in VPP. This will save a great deal on battery
  59 usage. Do this with the following
  60
  61 VMware Workstation PRO 15 for Linux
  62 -----------------------------------
  63
  64 VMware Workstation does not have a menu option to change the default driver
  65 (e1000) to the **vmxnet3** driver. VPP supports the **vmxnet3** driver.
  66
  67 These instructions describe how to change the e1000 driver for VMware
  68 Workstation PRO 15 Linux. You may need to be a superuser for performing these
  69 steps.
  70
  71 * Shut down the VM you are about to change.
  72 * From the vmware folder where vmware creates and stores the VM's, change the
  73   directory to the specific VM which you want to modify, and use your favorite
  74   text editor to open the corresponding VM's .vmx file. By default, it is
  75   $HOME/vmware/<vm-name>/<vm-name>.vmx
  76 * Locate the line for the interface which you want to modify. For example, if it
  77   is ethernet1, then change the line **ethernet1.virtualDev = "e1000"** to
  78   **ethernet1.virtualDev = "vmxnet3"**
  79 * Save the file and power on the VM.
  80
  81 If you are concerned more with configuration not performance the vmxnet3 driver
  82 can be set to **interrupt** mode in VPP. This will save a great deal on battery
  83 usage. Do this with the following
  84
  85 .. code-block:: console
  86
  87     $ sudo vppctl set interface rx-mode <interface> interrupt
  88
  89
  90 System setup
  91 ~~~~~~~~~~~~
  92
  93 To use the native VPP vmxnet3 driver use the following Steps
  94
  95 Load VFIO driver
  96
  97 .. code-block:: console
  98
  99     $ sudo modprobe vfio-pci
 100
 101 Make sure the interface is down
 102
 103 .. code-block:: console
 104
 105     $ sudo ifconfig <if-name> down
 106
 107 The next 2 steps are optional and may be accomplished by specifying the optional
 108 "bind" keyword when creating the vmxnet3 interface.
 109
 110 For systems without IOMMU only, enable unsafe NOIOMMU mode
 111
 112 .. code-block:: console
 113
 114     $ echo Y | sudo tee /sys/module/vfio/parameters/enable_unsafe_noiommu_mode
 115
 116 To bind interface to vfio-pci first install get the dpdk_devbind.py script.
 117
 118 Bind the driver with the following commands:
 119
 120 .. code-block:: console
 121
 122     $ sudo /usr/local/vpp/vpp-config/scripts/dpdk-devbind.py -s
 123
 124     Network devices using DPDK-compatible driver
 125     ============================================
 126     <none>
 127
 128     Network devices using kernel driver
 129     ===================================
 130     0000:03:00.0 'VMXNET3 Ethernet Controller' if=ens160 drv=vmxnet3 unused=vfio-pci,uio_pci_generic
 131     0000:0b:00.0 'VMXNET3 Ethernet Controller' drv=vfio-pci unused=vmxnet3,uio_pci_generic
 132     0000:13:00.0 'VMXNET3 Ethernet Controller' drv=vfio-pci unused=vmxnet3,uio_pci_generic
 133     .....
 134
 135     $ sudo /usr/local/vpp/vpp-config/scripts/dpdk-devbind.py --bind vfio-pci 0b:00.0
 136
 137
 138 Interface Creation
 139 ~~~~~~~~~~~~~~~~~~
 140
 141 Now create the interface dynamically with following. The bind option must be
 142 specified if pci is not already bound manually by above steps.
 143
 144 .. code-block:: console
 145
 146     $ sudo vppctl create interface vmxnet3 0000:0b:00.0 bind
 147     $ sudo vppctl set interface state vmxnet3-0/b/0/0 up
 148
 149 Interface Deletion
 150 ~~~~~~~~~~~~~~~~~~
 151
 152 If the interface needs to be deleted:
 153
 154 .. code-block:: console
 155
 156     $ sudo vppctl delete interface vmxnet3 <if-name>
 157
 158 Show vmxnet3
 159 ~~~~~~~~~~~~
 160
 161 Interface and ring information can be obtained with the command
 162 **show vmxnet3 [if-name] [desc]**
 163
 164 For example:
 165
 166 .. code-block:: console
 167
 168     $ sudo vppctl show vmxnet3
 169     Interface: vmxnet3-0/b/0/0 (ifindex 1)
 170       Version: 1
 171       PCI Address: 0000:0b:00.0
 172       Mac Address: 00:50:56:88:63:be
 173       hw if index: 1
 174       Device instance: 0
 175       Number of interrupts: 2
 176       Queue 0 (RX)
 177         RX completion next index 786
 178         RX completion generation flag 0x80000000
 179         ring 0 size 4096 fill 4094 consume 785 produce 784
 180         ring 1 size 4096 fill 4096 consume 0 produce 0
 181       Queue 0 (TX)
 182         TX completion next index 216
 183         TX completion generation flag 0x0
 184         size 4096 consume 216 produce 245