tap: allow change of carrier state on host
[vpp.git] / src / vnet / devices / tap / tap.c
index 6f16a4c..94a91e5 100644 (file)
@@ -22,8 +22,6 @@
 #include <net/if.h>
 #include <linux/if_tun.h>
 #include <sys/ioctl.h>
-#include <linux/virtio_net.h>
-#include <linux/vhost.h>
 #include <sys/eventfd.h>
 #include <net/if_arp.h>
 #include <sched.h>
@@ -57,6 +55,14 @@ tap_main_t tap_main;
       goto error; \
     }
 
+  /* *INDENT-OFF* */
+VNET_HW_INTERFACE_CLASS (tun_device_hw_interface_class, static) =
+{
+  .name = "tun-device",
+  .flags = VNET_HW_INTERFACE_CLASS_FLAG_P2P,
+};
+  /* *INDENT-ON* */
+
 static u32
 virtio_eth_flag_change (vnet_main_t * vnm, vnet_hw_interface_t * hi,
                        u32 flags)
@@ -91,6 +97,7 @@ tap_free (vlib_main_t * vm, virtio_if_t * vif)
 {
   virtio_main_t *mm = &virtio_main;
   tap_main_t *tm = &tap_main;
+  clib_error_t *err = 0;
   int i;
 
   /* *INDENT-OFF* */
@@ -102,8 +109,13 @@ tap_free (vlib_main_t * vm, virtio_if_t * vif)
     virtio_vring_free_tx (vm, vif, TX_QUEUE (i));
   /* *INDENT-ON* */
 
-  if (vif->tap_fd != -1)
-    close (vif->tap_fd);
+  if (vif->tap_fds)
+    {
+      _IOCTL (vif->tap_fds[0], TUNSETPERSIST, (void *) (uintptr_t) 0);
+      tap_log_dbg (vif, "TUNSETPERSIST: unset");
+    }
+error:
+  vec_foreach_index (i, vif->tap_fds) close (vif->tap_fds[i]);
 
   vec_free (vif->vhost_fds);
   vec_free (vif->rxq_vrings);
@@ -128,18 +140,19 @@ tap_create_if (vlib_main_t * vm, tap_create_if_args_t * args)
   tap_main_t *tm = &tap_main;
   vnet_sw_interface_t *sw;
   vnet_hw_interface_t *hw;
-  int i;
+  int i, num_vhost_queues;
   int old_netns_fd = -1;
-  struct ifreq ifr = {.ifr_flags = IFF_TAP | IFF_NO_PI | IFF_VNET_HDR };
+  struct ifreq ifr = {.ifr_flags = IFF_NO_PI | IFF_VNET_HDR };
+  struct ifreq get_ifr = {.ifr_flags = 0 };
   size_t hdrsz;
-  struct vhost_memory *vhost_mem = 0;
+  vhost_memory_t *vhost_mem = 0;
   virtio_if_t *vif = 0;
   clib_error_t *err = 0;
   unsigned int tap_features;
-  int tfd, vfd, nfd = -1;
+  int tfd = -1, qfd = -1, vfd = -1, nfd = -1;
   char *host_if_name = 0;
   unsigned int offload = 0;
-  u16 num_q_pairs;
+  int sndbuf = 0;
 
   if (args->id != ~0)
     {
@@ -163,19 +176,75 @@ tap_create_if (vlib_main_t * vm, tap_create_if_args_t * args)
     }
 
   pool_get_zero (vim->interfaces, vif);
-  vif->type = VIRTIO_IF_TYPE_TAP;
+
+  if (args->tap_flags & TAP_FLAG_TUN)
+    {
+      vif->type = VIRTIO_IF_TYPE_TUN;
+      ifr.ifr_flags |= IFF_TUN;
+
+      /*
+       * From kernel 4.20, xdp support has been added in tun_sendmsg.
+       * If sndbuf == INT_MAX, vhost batches the packet and processes
+       * them using xdp data path for tun driver. It assumes packets
+       * are ethernet frames (It needs to be fixed).
+       * To avoid xdp data path in tun driver, sndbuf value should
+       * be < INT_MAX.
+       */
+      sndbuf = INT_MAX - 1;
+    }
+  else
+    {
+      vif->type = VIRTIO_IF_TYPE_TAP;
+      ifr.ifr_flags |= IFF_TAP;
+      sndbuf = INT_MAX;
+    }
+
   vif->dev_instance = vif - vim->interfaces;
   vif->id = args->id;
   vif->num_txqs = thm->n_vlib_mains;
-  vif->num_rxqs = args->num_rx_queues;
-  num_q_pairs = clib_max (vif->num_rxqs, vif->num_txqs);
+  vif->num_rxqs = clib_max (args->num_rx_queues, 1);
 
-  if ((vif->tap_fd = tfd = open ("/dev/net/tun", O_RDWR | O_NONBLOCK)) < 0)
+  if (args->tap_flags & TAP_FLAG_ATTACH)
+    {
+      if (args->host_if_name != NULL)
+       {
+         host_if_name = (char *) args->host_if_name;
+         clib_memcpy (ifr.ifr_name, host_if_name,
+                      clib_min (IFNAMSIZ, vec_len (host_if_name)));
+       }
+      else
+       {
+         args->rv = VNET_API_ERROR_NO_MATCHING_INTERFACE;
+         err = clib_error_return (0, "host_if_name is not provided");
+         goto error;
+       }
+      if (args->host_namespace)
+       {
+         old_netns_fd = open ("/proc/self/ns/net", O_RDONLY);
+         if ((nfd = open_netns_fd ((char *) args->host_namespace)) == -1)
+           {
+             args->rv = VNET_API_ERROR_SYSCALL_ERROR_2;
+             args->error = clib_error_return_unix (0, "open_netns_fd '%s'",
+                                                   args->host_namespace);
+             goto error;
+           }
+         if (setns (nfd, CLONE_NEWNET) == -1)
+           {
+             args->rv = VNET_API_ERROR_SYSCALL_ERROR_3;
+             args->error = clib_error_return_unix (0, "setns '%s'",
+                                                   args->host_namespace);
+             goto error;
+           }
+       }
+    }
+
+  if ((tfd = open ("/dev/net/tun", O_RDWR | O_NONBLOCK)) < 0)
     {
       args->rv = VNET_API_ERROR_SYSCALL_ERROR_2;
       args->error = clib_error_return_unix (0, "open '/dev/net/tun'");
       goto error;
     }
+  vec_add1 (vif->tap_fds, tfd);
   tap_log_dbg (vif, "open tap fd %d", tfd);
 
   _IOCTL (tfd, TUNGETFEATURES, &tap_features);
@@ -189,18 +258,18 @@ tap_create_if (vlib_main_t * vm, tap_create_if_args_t * args)
 
   if ((tap_features & IFF_MULTI_QUEUE) == 0)
     {
-      if (args->num_rx_queues > 1)
+      if (vif->num_rxqs > 1)
        {
          args->rv = VNET_API_ERROR_SYSCALL_ERROR_2;
          args->error = clib_error_return (0, "multiqueue not supported");
          goto error;
        }
-      vif->num_rxqs = vif->num_txqs = num_q_pairs = 1;
+      vif->num_rxqs = vif->num_txqs = 1;
     }
   else
     ifr.ifr_flags |= IFF_MULTI_QUEUE;
 
-  hdrsz = sizeof (struct virtio_net_hdr_v1);
+  hdrsz = sizeof (virtio_net_hdr_v1_t);
   if (args->tap_flags & TAP_FLAG_GSO)
     {
       offload = TUN_F_CSUM | TUN_F_TSO4 | TUN_F_TSO6;
@@ -224,25 +293,75 @@ tap_create_if (vlib_main_t * vm, tap_create_if_args_t * args)
   else
     host_if_name = (char *) args->host_if_name;
 
-  if (fcntl (tfd, F_SETFL, O_NONBLOCK) < 0)
+  /*
+   * unset the persistence when attaching to existing
+   * interface
+   */
+  if (args->tap_flags & TAP_FLAG_ATTACH)
     {
-      err = clib_error_return_unix (0, "fcntl(tfd, F_SETFL, O_NONBLOCK)");
-      tap_log_err (vif, "set nonblocking: %U", format_clib_error, err);
-      goto error;
+      _IOCTL (tfd, TUNSETPERSIST, (void *) (uintptr_t) 0);
+      tap_log_dbg (vif, "TUNSETPERSIST: unset");
     }
 
-  tap_log_dbg (vif, "TUNSETVNETHDRSZ: fd %d vnet_hdr_sz %u", tfd, hdrsz);
-  _IOCTL (tfd, TUNSETVNETHDRSZ, &hdrsz);
+  /* set the persistence */
+  if (args->tap_flags & TAP_FLAG_PERSIST)
+    {
+      _IOCTL (tfd, TUNSETPERSIST, (void *) (uintptr_t) 1);
+      tap_log_dbg (vif, "TUNSETPERSIST: set");
 
-  i = INT_MAX;
-  tap_log_dbg (vif, "TUNSETSNDBUF: fd %d sndbuf %d", tfd, i);
-  _IOCTL (tfd, TUNSETSNDBUF, &i);
+      /* verify persistence is set, read the flags */
+      _IOCTL (tfd, TUNGETIFF, (void *) &get_ifr);
+      tap_log_dbg (vif, "TUNGETIFF: flags 0x%lx", get_ifr.ifr_flags);
+      if ((get_ifr.ifr_flags & IFF_PERSIST) == 0)
+       {
+         args->rv = VNET_API_ERROR_SYSCALL_ERROR_2;
+         args->error = clib_error_return (0, "persistence not supported");
+         goto error;
+       }
+    }
+
+  /* create additional queues on the linux side.
+   * we create as many linux queue pairs as we have rx queues
+   */
+  for (i = 1; i < vif->num_rxqs; i++)
+    {
+      if ((qfd = open ("/dev/net/tun", O_RDWR | O_NONBLOCK)) < 0)
+       {
+         args->rv = VNET_API_ERROR_SYSCALL_ERROR_2;
+         args->error = clib_error_return_unix (0, "open '/dev/net/tun'");
+         goto error;
+       }
+      _IOCTL (qfd, TUNSETIFF, (void *) &ifr);
+      tap_log_dbg (vif, "TUNSETIFF fd %d name %s flags 0x%x", qfd,
+                  ifr.ifr_ifrn.ifrn_name, ifr.ifr_flags);
+      vec_add1 (vif->tap_fds, qfd);
+    }
+
+  for (i = 0; i < vif->num_rxqs; i++)
+    {
+      tap_log_dbg (vif, "TUNSETVNETHDRSZ: fd %d vnet_hdr_sz %u",
+                  vif->tap_fds[i], hdrsz);
+      _IOCTL (vif->tap_fds[i], TUNSETVNETHDRSZ, &hdrsz);
+
+      tap_log_dbg (vif, "TUNSETSNDBUF: fd %d sndbuf %d", vif->tap_fds[i],
+                  sndbuf);
+      _IOCTL (vif->tap_fds[i], TUNSETSNDBUF, &sndbuf);
+
+      tap_log_dbg (vif, "TUNSETOFFLOAD: fd %d offload 0x%lx", vif->tap_fds[i],
+                  offload);
+      _IOCTL (vif->tap_fds[i], TUNSETOFFLOAD, offload);
 
-  tap_log_dbg (vif, "TUNSETOFFLOAD: fd %d offload 0x%lx", tfd, offload);
-  _IOCTL (tfd, TUNSETOFFLOAD, offload);
+      if (fcntl (vif->tap_fds[i], F_SETFL, O_NONBLOCK) < 0)
+       {
+         err = clib_error_return_unix (0, "fcntl(tfd, F_SETFL, O_NONBLOCK)");
+         tap_log_err (vif, "set nonblocking: %U", format_clib_error, err);
+         goto error;
+       }
+    }
 
-  /* open vhost-net fd for each queue pair and set ownership */
-  for (i = 0; i < num_q_pairs; i++)
+  /* open as many vhost-net fds as required and set ownership */
+  num_vhost_queues = clib_max (vif->num_rxqs, vif->num_txqs);
+  for (i = 0; i < num_vhost_queues; i++)
     {
       if ((vfd = open ("/dev/vhost-net", O_RDWR | O_NONBLOCK)) < 0)
        {
@@ -291,46 +410,46 @@ tap_create_if (vlib_main_t * vm, tap_create_if_args_t * args)
 
   virtio_set_net_hdr_size (vif);
 
-  /* if namespace is specified, all further netlink messages should be executed
-     after we change our net namespace */
-  if (args->host_namespace)
+  if (!(args->tap_flags & TAP_FLAG_ATTACH))
     {
-      old_netns_fd = open ("/proc/self/ns/net", O_RDONLY);
-      if ((nfd = open_netns_fd ((char *) args->host_namespace)) == -1)
-       {
-         args->rv = VNET_API_ERROR_SYSCALL_ERROR_2;
-         args->error = clib_error_return_unix (0, "open_netns_fd '%s'",
-                                               args->host_namespace);
-         goto error;
-       }
-      args->error = vnet_netlink_set_link_netns (vif->ifindex, nfd,
-                                                host_if_name);
-      if (args->error)
-       {
-         args->rv = VNET_API_ERROR_NETLINK_ERROR;
-         goto error;
-       }
-      if (setns (nfd, CLONE_NEWNET) == -1)
-       {
-         args->rv = VNET_API_ERROR_SYSCALL_ERROR_3;
-         args->error = clib_error_return_unix (0, "setns '%s'",
-                                               args->host_namespace);
-         goto error;
-       }
-      if ((vif->ifindex = if_nametoindex (host_if_name)) == 0)
+      /* if namespace is specified, all further netlink messages should be executed
+         after we change our net namespace */
+      if (args->host_namespace)
        {
-         args->rv = VNET_API_ERROR_SYSCALL_ERROR_3;
-         args->error = clib_error_return_unix (0, "if_nametoindex '%s'",
-                                               host_if_name);
-         goto error;
+         old_netns_fd = open ("/proc/self/ns/net", O_RDONLY);
+         if ((nfd = open_netns_fd ((char *) args->host_namespace)) == -1)
+           {
+             args->rv = VNET_API_ERROR_SYSCALL_ERROR_2;
+             args->error = clib_error_return_unix (0, "open_netns_fd '%s'",
+                                                   args->host_namespace);
+             goto error;
+           }
+         args->error = vnet_netlink_set_link_netns (vif->ifindex, nfd,
+                                                    host_if_name);
+         if (args->error)
+           {
+             args->rv = VNET_API_ERROR_NETLINK_ERROR;
+             goto error;
+           }
+         if (setns (nfd, CLONE_NEWNET) == -1)
+           {
+             args->rv = VNET_API_ERROR_SYSCALL_ERROR_3;
+             args->error = clib_error_return_unix (0, "setns '%s'",
+                                                   args->host_namespace);
+             goto error;
+           }
+         if ((vif->ifindex = if_nametoindex (host_if_name)) == 0)
+           {
+             args->rv = VNET_API_ERROR_SYSCALL_ERROR_3;
+             args->error = clib_error_return_unix (0, "if_nametoindex '%s'",
+                                                   host_if_name);
+             goto error;
+           }
        }
-    }
-  else
-    {
-      if (host_if_name)
+      else if (host_if_name)
        {
-         args->error = vnet_netlink_set_link_name (vif->ifindex,
-                                                   host_if_name);
+         args->error =
+           vnet_netlink_set_link_name (vif->ifindex, host_if_name);
          if (args->error)
            {
              args->rv = VNET_API_ERROR_NETLINK_ERROR;
@@ -339,25 +458,29 @@ tap_create_if (vlib_main_t * vm, tap_create_if_args_t * args)
        }
     }
 
-  if (ethernet_mac_address_is_zero (args->host_mac_addr.bytes))
-    ethernet_mac_address_generate (args->host_mac_addr.bytes);
-  args->error = vnet_netlink_set_link_addr (vif->ifindex,
-                                           args->host_mac_addr.bytes);
-  if (args->error)
+  if (vif->type == VIRTIO_IF_TYPE_TAP)
     {
-      args->rv = VNET_API_ERROR_NETLINK_ERROR;
-      goto error;
-    }
-
-  if (args->host_bridge)
-    {
-      args->error = vnet_netlink_set_link_master (vif->ifindex,
-                                                 (char *) args->host_bridge);
+      if (ethernet_mac_address_is_zero (args->host_mac_addr.bytes))
+       ethernet_mac_address_generate (args->host_mac_addr.bytes);
+      args->error = vnet_netlink_set_link_addr (vif->ifindex,
+                                               args->host_mac_addr.bytes);
       if (args->error)
        {
          args->rv = VNET_API_ERROR_NETLINK_ERROR;
          goto error;
        }
+
+      if (args->host_bridge)
+       {
+         args->error = vnet_netlink_set_link_master (vif->ifindex,
+                                                     (char *)
+                                                     args->host_bridge);
+         if (args->error)
+           {
+             args->rv = VNET_API_ERROR_NETLINK_ERROR;
+             goto error;
+           }
+       }
     }
 
   if (args->host_ip4_prefix_len)
@@ -446,7 +569,7 @@ tap_create_if (vlib_main_t * vm, tap_create_if_args_t * args)
        }
     }
 
-  for (i = 0; i < num_q_pairs; i++)
+  for (i = 0; i < num_vhost_queues; i++)
     {
       if (i < vif->num_rxqs && (args->error =
                                virtio_vring_init (vm, vif, RX_QUEUE (i),
@@ -466,7 +589,7 @@ tap_create_if (vlib_main_t * vm, tap_create_if_args_t * args)
     }
 
   /* setup features and memtable */
-  i = sizeof (struct vhost_memory) + sizeof (struct vhost_memory_region);
+  i = sizeof (vhost_memory_t) + sizeof (vhost_memory_region_t);
   vhost_mem = clib_mem_alloc (i);
   clib_memset (vhost_mem, 0, i);
   vhost_mem->nregions = 1;
@@ -483,7 +606,7 @@ tap_create_if (vlib_main_t * vm, tap_create_if_args_t * args)
                      vhost_mem->regions[0].userspace_addr);
 
 
-  for (i = 0; i < num_q_pairs; i++)
+  for (i = 0; i < num_vhost_queues; i++)
     {
       int fd = vif->vhost_fds[i];
       _IOCTL (fd, VHOST_SET_FEATURES, &vif->features);
@@ -494,11 +617,11 @@ tap_create_if (vlib_main_t * vm, tap_create_if_args_t * args)
     }
 
   /* finish initializing queue pair */
-  for (i = 0; i < num_q_pairs * 2; i++)
+  for (i = 0; i < num_vhost_queues * 2; i++)
     {
-      struct vhost_vring_addr addr = { 0 };
-      struct vhost_vring_state state = { 0 };
-      struct vhost_vring_file file = { 0 };
+      vhost_vring_addr_t addr = { 0 };
+      vhost_vring_state_t state = { 0 };
+      vhost_vring_file_t file = { 0 };
       virtio_vring_t *vring;
       u16 qp = i >> 1;
       int fd = vif->vhost_fds[qp];
@@ -544,21 +667,24 @@ tap_create_if (vlib_main_t * vm, tap_create_if_args_t * args)
                        fd, file.index, file.fd);
       _IOCTL (fd, VHOST_SET_VRING_KICK, &file);
 
-      file.fd = tfd;
+      file.fd = vif->tap_fds[qp % vif->num_rxqs];
       virtio_log_debug (vif, "VHOST_NET_SET_BACKEND fd %d index %u tap_fd %d",
                        fd, file.index, file.fd);
       _IOCTL (fd, VHOST_NET_SET_BACKEND, &file);
     }
 
-  if (!args->mac_addr_set)
-    ethernet_mac_address_generate (args->mac_addr.bytes);
-
-  clib_memcpy (vif->mac_addr, args->mac_addr.bytes, 6);
+  if (vif->type == VIRTIO_IF_TYPE_TAP)
+    {
+      if (!args->mac_addr_set)
+       ethernet_mac_address_generate (args->mac_addr.bytes);
 
+      clib_memcpy (vif->mac_addr, args->mac_addr.bytes, 6);
+      vif->host_bridge = format (0, "%s%c", args->host_bridge, 0);
+    }
   vif->host_if_name = format (0, "%s%c", host_if_name, 0);
   vif->net_ns = format (0, "%s%c", args->host_namespace, 0);
-  vif->host_bridge = format (0, "%s%c", args->host_bridge, 0);
   vif->host_mtu_size = args->host_mtu_size;
+  vif->tap_flags = args->tap_flags;
   clib_memcpy (vif->host_mac_addr, args->host_mac_addr.bytes, 6);
   vif->host_ip4_prefix_len = args->host_ip4_prefix_len;
   vif->host_ip6_prefix_len = args->host_ip6_prefix_len;
@@ -567,17 +693,28 @@ tap_create_if (vlib_main_t * vm, tap_create_if_args_t * args)
   if (args->host_ip6_prefix_len)
     clib_memcpy (&vif->host_ip6_addr, &args->host_ip6_addr, 16);
 
-  args->error = ethernet_register_interface (vnm, virtio_device_class.index,
-                                            vif->dev_instance,
-                                            vif->mac_addr,
-                                            &vif->hw_if_index,
-                                            virtio_eth_flag_change);
-  if (args->error)
+  if (vif->type != VIRTIO_IF_TYPE_TUN)
     {
-      args->rv = VNET_API_ERROR_INVALID_REGISTRATION;
-      goto error;
+      args->error =
+       ethernet_register_interface (vnm, virtio_device_class.index,
+                                    vif->dev_instance, vif->mac_addr,
+                                    &vif->hw_if_index,
+                                    virtio_eth_flag_change);
+      if (args->error)
+       {
+         args->rv = VNET_API_ERROR_INVALID_REGISTRATION;
+         goto error;
+       }
+
     }
+  else
+    {
+      vif->hw_if_index = vnet_register_interface
+       (vnm, virtio_device_class.index,
+        vif->dev_instance /* device instance */ ,
+        tun_device_hw_interface_class.index, vif->dev_instance);
 
+    }
   tm->tap_ids = clib_bitmap_set (tm->tap_ids, vif->id, 1);
   sw = vnet_get_hw_sw_interface (vnm, vif->hw_if_index);
   vif->sw_if_index = sw->sw_if_index;
@@ -594,6 +731,11 @@ tap_create_if (vlib_main_t * vm, tap_create_if_args_t * args)
     {
       hw->flags |= VNET_HW_INTERFACE_FLAG_SUPPORTS_TX_L4_CKSUM_OFFLOAD;
     }
+  if ((args->tap_flags & TAP_FLAG_GSO)
+      && (args->tap_flags & TAP_FLAG_GRO_COALESCE))
+    {
+      virtio_set_packet_coalesce (vif);
+    }
   vnet_hw_interface_set_input_node (vnm, vif->hw_if_index,
                                    virtio_input_node.index);
 
@@ -601,14 +743,20 @@ tap_create_if (vlib_main_t * vm, tap_create_if_args_t * args)
     {
       vnet_hw_interface_assign_rx_thread (vnm, vif->hw_if_index, i, ~0);
       vnet_hw_interface_set_rx_mode (vnm, vif->hw_if_index, i,
-                                    VNET_HW_INTERFACE_RX_MODE_DEFAULT);
+                                    VNET_HW_IF_RX_MODE_DEFAULT);
+      virtio_vring_set_numa_node (vm, vif, RX_QUEUE (i));
     }
 
   vif->per_interface_next_index = ~0;
-  virtio_vring_set_numa_node (vm, vif, RX_QUEUE (0));
   vif->flags |= VIRTIO_IF_FLAG_ADMIN_UP;
   vnet_hw_interface_set_flags (vnm, vif->hw_if_index,
                               VNET_HW_INTERFACE_FLAG_LINK_UP);
+  /*
+   * Host tun/tap driver link carrier state is "up" at creation. The
+   * driver never changes this unless the backend (VPP) changes it using
+   * TUNSETCARRIER ioctl(). See tap_set_carrier().
+   */
+  vif->host_carrier_up = 1;
   vif->cxq_vring = NULL;
 
   goto done;
@@ -647,7 +795,7 @@ tap_delete_if (vlib_main_t * vm, u32 sw_if_index)
 
   vif = pool_elt_at_index (mm->interfaces, hw->dev_instance);
 
-  if (vif->type != VIRTIO_IF_TYPE_TAP)
+  if ((vif->type != VIRTIO_IF_TYPE_TAP) && (vif->type != VIRTIO_IF_TYPE_TUN))
     return VNET_API_ERROR_INVALID_INTERFACE;
 
   /* bring down the interface */
@@ -656,7 +804,10 @@ tap_delete_if (vlib_main_t * vm, u32 sw_if_index)
   for (i = 0; i < vif->num_rxqs; i++)
     vnet_hw_interface_unassign_rx_thread (vnm, vif->hw_if_index, i);
 
-  ethernet_delete_interface (vnm, vif->hw_if_index);
+  if (vif->type == VIRTIO_IF_TYPE_TAP)
+    ethernet_delete_interface (vnm, vif->hw_if_index);
+  else                         /* VIRTIO_IF_TYPE_TUN */
+    vnet_delete_hw_interface (vnm, vif->hw_if_index);
   vif->hw_if_index = ~0;
 
   tap_free (vm, vif);
@@ -673,6 +824,7 @@ tap_csum_offload_enable_disable (vlib_main_t * vm, u32 sw_if_index,
   virtio_if_t *vif;
   vnet_hw_interface_t *hw;
   clib_error_t *err = 0;
+  int i = 0;
 
   hw = vnet_get_sup_hw_interface_api_visible_or_null (vnm, sw_if_index);
 
@@ -684,8 +836,10 @@ tap_csum_offload_enable_disable (vlib_main_t * vm, u32 sw_if_index,
   const unsigned int csum_offload_on = TUN_F_CSUM;
   const unsigned int csum_offload_off = 0;
   unsigned int offload = enable_disable ? csum_offload_on : csum_offload_off;
-  _IOCTL (vif->tap_fd, TUNSETOFFLOAD, offload);
+  vec_foreach_index (i, vif->tap_fds)
+    _IOCTL (vif->tap_fds[i], TUNSETOFFLOAD, offload);
   vif->gso_enabled = 0;
+  vif->packet_coalesce = 0;
   vif->csum_offload_enabled = enable_disable ? 1 : 0;
 
   if ((hw->flags & VNET_HW_INTERFACE_FLAG_SUPPORTS_GSO) != 0)
@@ -721,13 +875,15 @@ error:
 }
 
 int
-tap_gso_enable_disable (vlib_main_t * vm, u32 sw_if_index, int enable_disable)
+tap_gso_enable_disable (vlib_main_t * vm, u32 sw_if_index, int enable_disable,
+                       int is_packet_coalesce)
 {
   vnet_main_t *vnm = vnet_get_main ();
   virtio_main_t *mm = &virtio_main;
   virtio_if_t *vif;
   vnet_hw_interface_t *hw;
   clib_error_t *err = 0;
+  int i = 0;
 
   hw = vnet_get_sup_hw_interface_api_visible_or_null (vnm, sw_if_index);
 
@@ -739,7 +895,8 @@ tap_gso_enable_disable (vlib_main_t * vm, u32 sw_if_index, int enable_disable)
   const unsigned int gso_on = TUN_F_CSUM | TUN_F_TSO4 | TUN_F_TSO6;
   const unsigned int gso_off = 0;
   unsigned int offload = enable_disable ? gso_on : gso_off;
-  _IOCTL (vif->tap_fd, TUNSETOFFLOAD, offload);
+  vec_foreach_index (i, vif->tap_fds)
+    _IOCTL (vif->tap_fds[i], TUNSETOFFLOAD, offload);
   vif->gso_enabled = enable_disable ? 1 : 0;
   vif->csum_offload_enabled = 0;
   if (enable_disable)
@@ -749,6 +906,10 @@ tap_gso_enable_disable (vlib_main_t * vm, u32 sw_if_index, int enable_disable)
          hw->flags |= VNET_HW_INTERFACE_FLAG_SUPPORTS_GSO |
            VNET_HW_INTERFACE_FLAG_SUPPORTS_TX_L4_CKSUM_OFFLOAD;
        }
+      if (is_packet_coalesce)
+       {
+         virtio_set_packet_coalesce (vif);
+       }
     }
   else
     {
@@ -757,6 +918,7 @@ tap_gso_enable_disable (vlib_main_t * vm, u32 sw_if_index, int enable_disable)
          hw->flags &= ~(VNET_HW_INTERFACE_FLAG_SUPPORTS_GSO |
                         VNET_HW_INTERFACE_FLAG_SUPPORTS_TX_L4_CKSUM_OFFLOAD);
        }
+      vif->packet_coalesce = 0;
     }
 
 error:
@@ -782,7 +944,8 @@ tap_dump_ifs (tap_interface_details_t ** out_tapids)
 
   /* *INDENT-OFF* */
   pool_foreach (vif, mm->interfaces,
-    if (vif->type != VIRTIO_IF_TYPE_TAP)
+    if ((vif->type != VIRTIO_IF_TYPE_TAP)
+      && (vif->type != VIRTIO_IF_TYPE_TUN))
       continue;
     vec_add2(r_tapids, tapid, 1);
     clib_memset (tapid, 0, sizeof (*tapid));
@@ -790,30 +953,30 @@ tap_dump_ifs (tap_interface_details_t ** out_tapids)
     tapid->sw_if_index = vif->sw_if_index;
     hi = vnet_get_hw_interface (vnm, vif->hw_if_index);
     clib_memcpy(tapid->dev_name, hi->name,
-                MIN (ARRAY_LEN (tapid->dev_name) - 1,
-                     strlen ((const char *) hi->name)));
+                MIN (ARRAY_LEN (tapid->dev_name) - 1, vec_len (hi->name)));
     vring = vec_elt_at_index (vif->rxq_vrings, RX_QUEUE_ACCESS(0));
     tapid->rx_ring_sz = vring->size;
     vring = vec_elt_at_index (vif->txq_vrings, TX_QUEUE_ACCESS(0));
     tapid->tx_ring_sz = vring->size;
+    tapid->tap_flags = vif->tap_flags;
     clib_memcpy(&tapid->host_mac_addr, vif->host_mac_addr, 6);
     if (vif->host_if_name)
       {
         clib_memcpy(tapid->host_if_name, vif->host_if_name,
                     MIN (ARRAY_LEN (tapid->host_if_name) - 1,
-                    strlen ((const char *) vif->host_if_name)));
+                    vec_len (vif->host_if_name)));
       }
     if (vif->net_ns)
       {
         clib_memcpy(tapid->host_namespace, vif->net_ns,
                     MIN (ARRAY_LEN (tapid->host_namespace) - 1,
-                    strlen ((const char *) vif->net_ns)));
+                    vec_len (vif->net_ns)));
       }
     if (vif->host_bridge)
       {
         clib_memcpy(tapid->host_bridge, vif->host_bridge,
                     MIN (ARRAY_LEN (tapid->host_bridge) - 1,
-                    strlen ((const char *) vif->host_bridge)));
+                    vec_len (vif->host_bridge)));
       }
     if (vif->host_ip4_prefix_len)
       clib_memcpy(tapid->host_ip4_addr.as_u8, &vif->host_ip4_addr, 4);
@@ -830,6 +993,41 @@ tap_dump_ifs (tap_interface_details_t ** out_tapids)
   return 0;
 }
 
+/*
+ * Set host tap/tun interface carrier state so it will appear to host
+ * applications that the interface's link state changed.
+ *
+ * If the kernel we're building against does not have support for the
+ * TUNSETCARRIER ioctl command, do nothing.
+ */
+int
+tap_set_carrier (u32 hw_if_index, u32 carrier_up)
+{
+  int ret = 0;
+#ifdef TUNSETCARRIER
+  vnet_main_t *vnm = vnet_get_main ();
+  vnet_hw_interface_t *hi = vnet_get_hw_interface (vnm, hw_if_index);
+  virtio_main_t *mm = &virtio_main;
+  virtio_if_t *vif;
+  int *fd;
+
+  vif = pool_elt_at_index (mm->interfaces, hi->dev_instance);
+  vec_foreach (fd, vif->tap_fds)
+  {
+    ret = ioctl (*fd, TUNSETCARRIER, &carrier_up);
+    if (ret < 0)
+      {
+       clib_warning ("ioctl (TUNSETCARRIER) returned %d", ret);
+       break;
+      }
+  }
+  if (!ret)
+    vif->host_carrier_up = (carrier_up != 0);
+#endif
+
+  return ret;
+}
+
 static clib_error_t *
 tap_mtu_config (vlib_main_t * vm, unformat_input_t * input)
 {