memif: version 2
[vpp.git] / src / plugins / memif / memif.c
index a3be49f..c83a955 100644 (file)
@@ -83,7 +83,7 @@ memif_disconnect (memif_if_t * mif, clib_error_t * err)
     {
       clib_error_t *e = 0;
       mif->local_disc_string = vec_dup (err->what);
-      if (mif->conn_fd > -1)
+      if (mif->sock && clib_socket_is_connected (mif->sock))
        e = memif_msg_send_disconnect (mif, err);
       clib_error_free (e);
     }
@@ -94,17 +94,21 @@ memif_disconnect (memif_if_t * mif, clib_error_t * err)
     vnet_hw_interface_set_flags (vnm, mif->hw_if_index, 0);
 
   /* close connection socket */
-  if (mif->conn_clib_file_index != ~0)
+  if (mif->sock && mif->sock->fd)
     {
       memif_socket_file_t *msf = vec_elt_at_index (mm->socket_files,
                                                   mif->socket_file_index);
-      hash_unset (msf->dev_instance_by_fd, mif->conn_fd);
-      memif_file_del_by_index (mif->conn_clib_file_index);
-      mif->conn_clib_file_index = ~0;
+      hash_unset (msf->dev_instance_by_fd, mif->sock->fd);
+      memif_socket_close (&mif->sock);
+    }
+  else if (mif->sock)
+    {
+      clib_error_t *err;
+      err = clib_socket_close (mif->sock);
+      if (err)
+       clib_error_report (err);
+      clib_mem_free (mif->sock);
     }
-  else if (mif->conn_fd > -1)
-    close (mif->conn_fd);
-  mif->conn_fd = -1;
 
   vec_foreach_index (i, mif->rx_queues)
   {
@@ -137,8 +141,6 @@ memif_disconnect (memif_if_t * mif, clib_error_t * err)
       close (mr->fd);
   }
   vec_free (mif->regions);
-
-  mif->remote_pid = 0;
   vec_free (mif->remote_name);
   vec_free (mif->remote_if_name);
   clib_fifo_free (mif->msg_queue);
@@ -219,6 +221,9 @@ memif_connect (memif_if_t * mif)
       {
        template.file_descriptor = mq->int_fd;
        template.private_data = (mif->dev_instance << 16) | (i & 0xFFFF);
+       template.description = format (0, "%U rx %u int",
+                                      format_memif_device_name,
+                                      mif->dev_instance, i);
        memif_file_add (&mq->int_clib_file_index, &template);
       }
     vnet_hw_interface_assign_rx_thread (vnm, mif->hw_if_index, i, ~0);
@@ -235,6 +240,8 @@ memif_connect (memif_if_t * mif)
 
        if (rxmode == VNET_HW_INTERFACE_RX_MODE_POLLING)
          mq->ring->flags |= MEMIF_RING_FLAG_MASK_INT;
+       else
+         vnet_device_input_set_interrupt_pending (vnm, mif->hw_if_index, i);
       }
   }
 
@@ -303,7 +310,7 @@ memif_init_regions_and_queues (memif_if_t * mif)
          ring->desc[j].region = 0;
          ring->desc[j].offset =
            buffer_offset + (u32) (slot * mif->run.buffer_size);
-         ring->desc[j].buffer_length = mif->run.buffer_size;
+         ring->desc[j].length = mif->run.buffer_size;
        }
     }
   for (i = 0; i < mif->run.num_m2s_rings; i++)
@@ -318,7 +325,7 @@ memif_init_regions_and_queues (memif_if_t * mif)
          ring->desc[j].region = 0;
          ring->desc[j].offset =
            buffer_offset + (u32) (slot * mif->run.buffer_size);
-         ring->desc[j].buffer_length = mif->run.buffer_size;
+         ring->desc[j].length = mif->run.buffer_size;
        }
     }
 
@@ -336,6 +343,7 @@ memif_init_regions_and_queues (memif_if_t * mif)
     mq->region = 0;
     mq->offset = (void *) mq->ring - (void *) mif->regions[mq->region].shm;
     mq->last_head = 0;
+    mq->type = MEMIF_RING_S2M;
   }
 
   ASSERT (mif->rx_queues == 0);
@@ -352,6 +360,7 @@ memif_init_regions_and_queues (memif_if_t * mif)
     mq->region = 0;
     mq->offset = (void *) mq->ring - (void *) mif->regions[mq->region].shm;
     mq->last_head = 0;
+    mq->type = MEMIF_RING_M2S;
   }
 
   return 0;
@@ -362,19 +371,14 @@ memif_process (vlib_main_t * vm, vlib_node_runtime_t * rt, vlib_frame_t * f)
 {
   memif_main_t *mm = &memif_main;
   memif_if_t *mif;
-  struct sockaddr_un sun;
-  int sockfd;
+  clib_socket_t *sock;
   uword *event_data = 0, event_type;
   u8 enabled = 0;
   f64 start_time, last_run_duration = 0, now;
+  clib_error_t *err;
 
-  sockfd = socket (AF_UNIX, SOCK_SEQPACKET, 0);
-  if (sockfd < 0)
-    {
-      DBG_UNIX_LOG ("socket AF_UNIX");
-      return 0;
-    }
-  sun.sun_family = AF_UNIX;
+  sock = clib_mem_alloc (sizeof (clib_socket_t));
+  memset (sock, 0, sizeof (clib_socket_t));
 
   while (1)
     {
@@ -425,33 +429,32 @@ memif_process (vlib_main_t * vm, vlib_node_runtime_t * rt, vlib_frame_t * f)
 
          if (mif->flags & MEMIF_IF_FLAG_IS_SLAVE)
            {
-             strncpy (sun.sun_path, (char *) msf->filename,
-                      sizeof (sun.sun_path) - 1);
-
-             if (connect
-                 (sockfd, (struct sockaddr *) &sun,
-                  sizeof (struct sockaddr_un)) == 0)
+              memset (sock, 0, sizeof(clib_socket_t));
+             sock->config = (char *) msf->filename;
+              sock->flags = CLIB_SOCKET_F_IS_CLIENT| CLIB_SOCKET_F_SEQPACKET;
+
+              if ((err = clib_socket_init (sock)))
+               {
+                 clib_error_free (err);
+               }
+             else
                {
                  clib_file_t t = { 0 };
 
-                 mif->conn_fd = sockfd;
                  t.read_function = memif_slave_conn_fd_read_ready;
                  t.write_function = memif_slave_conn_fd_write_ready;
                  t.error_function = memif_slave_conn_fd_error;
-                 t.file_descriptor = mif->conn_fd;
+                 t.file_descriptor = sock->fd;
                  t.private_data = mif->dev_instance;
-                 memif_file_add (&mif->conn_clib_file_index, &t);
-                 hash_set (msf->dev_instance_by_fd, mif->conn_fd, mif->dev_instance);
+                 memif_file_add (&sock->private_data, &t);
+                 t.description = format (0, "%U ctl",
+                                         format_memif_device_name,
+                                         mif->dev_instance);
+                 hash_set (msf->dev_instance_by_fd, sock->fd, mif->dev_instance);
 
                  mif->flags |= MEMIF_IF_FLAG_CONNECTING;
-
-                 /* grab another fd */
-                 sockfd = socket (AF_UNIX, SOCK_SEQPACKET, 0);
-                 if (sockfd < 0)
-                   {
-                     DBG_UNIX_LOG ("socket AF_UNIX");
-                     return 0;
-                   }
+                 mif->sock = sock;
+                  sock = clib_mem_alloc (sizeof(clib_socket_t));
                }
            }
         }));
@@ -469,6 +472,109 @@ VLIB_REGISTER_NODE (memif_process_node,static) = {
 };
 /* *INDENT-ON* */
 
+
+static int
+memif_add_socket_file (u32 sock_id, u8 * socket_filename)
+{
+  memif_main_t *mm = &memif_main;
+  uword *p;
+  memif_socket_file_t *msf;
+
+  p = hash_get (mm->socket_file_index_by_sock_id, sock_id);
+  if (p)
+    {
+      msf = pool_elt_at_index (mm->socket_files, *p);
+      if (strcmp ((char *) msf->filename, (char *) socket_filename) == 0)
+       {
+         /* Silently accept identical "add". */
+         return 0;
+       }
+
+      /* But don't allow a direct add of a different filename. */
+      return VNET_API_ERROR_ENTRY_ALREADY_EXISTS;
+    }
+
+  DBG ("creating socket file (uninitialized) %s", msf->filename);
+
+  pool_get (mm->socket_files, msf);
+  memset (msf, 0, sizeof (memif_socket_file_t));
+
+  msf->filename = socket_filename;
+  msf->socket_id = sock_id;
+
+  hash_set (mm->socket_file_index_by_sock_id, sock_id,
+           msf - mm->socket_files);
+
+  return 0;
+}
+
+static int
+memif_delete_socket_file (u32 sock_id)
+{
+  memif_main_t *mm = &memif_main;
+  uword *p;
+  memif_socket_file_t *msf;
+
+  p = hash_get (mm->socket_file_index_by_sock_id, sock_id);
+  if (!p)
+    {
+      /* Don't delete non-existent entries. */
+      return VNET_API_ERROR_INVALID_ARGUMENT;
+    }
+
+  msf = pool_elt_at_index (mm->socket_files, *p);
+  if (msf->ref_cnt > 0)
+    {
+      return VNET_API_ERROR_UNEXPECTED_INTF_STATE;
+    }
+
+  vec_free (msf->filename);
+  pool_put (mm->socket_files, msf);
+
+  hash_unset (mm->socket_file_index_by_sock_id, sock_id);
+
+  return 0;
+}
+
+int
+memif_socket_filename_add_del (u8 is_add, u32 sock_id, u8 * sock_filename)
+{
+  if (sock_id == 0 || sock_id == ~0)
+    {
+      return VNET_API_ERROR_INVALID_ARGUMENT;
+    }
+
+  if (is_add == 0)
+    {
+      return memif_delete_socket_file (sock_id);
+    }
+
+  if (sock_filename == 0 || sock_filename[0] == 0)
+    {
+      return VNET_API_ERROR_INVALID_ARGUMENT;
+    }
+
+  if (sock_filename[0] != '/')
+    {
+      clib_error_t *error;
+      error = vlib_unix_recursive_mkdir (vlib_unix_get_runtime_dir ());
+      if (error)
+       {
+         clib_error_free (error);
+         return VNET_API_ERROR_SYSCALL_ERROR_1;
+       }
+
+      sock_filename = format (0, "%s/%s%c", vlib_unix_get_runtime_dir (),
+                             sock_filename, 0);
+    }
+  else
+    {
+      sock_filename = vec_dup (sock_filename);
+    }
+
+  return memif_add_socket_file (sock_id, sock_filename);
+}
+
 int
 memif_delete_if (vlib_main_t * vm, memif_if_t * mif)
 {
@@ -490,12 +596,15 @@ memif_delete_if (vlib_main_t * vm, memif_if_t * mif)
   memif_disconnect (mif, err);
   clib_error_free (err);
 
-  /* remove the interface */
-  if (mif->mode == MEMIF_INTERFACE_MODE_IP)
-    vnet_delete_hw_interface (vnm, mif->hw_if_index);
-  else
-    ethernet_delete_interface (vnm, mif->hw_if_index);
-  mif->hw_if_index = ~0;
+  if (mif->hw_if_index != ~0)
+    {
+      /* remove the interface */
+      if (mif->mode == MEMIF_INTERFACE_MODE_IP)
+       vnet_delete_hw_interface (vnm, mif->hw_if_index);
+      else
+       ethernet_delete_interface (vnm, mif->hw_if_index);
+      mif->hw_if_index = ~0;
+    }
 
   /* free interface data structures */
   clib_spinlock_free (&mif->lockp);
@@ -506,19 +615,23 @@ memif_delete_if (vlib_main_t * vm, memif_if_t * mif)
     {
       if (msf->is_listener)
        {
-         uword *x;
-         memif_file_del_by_index (msf->clib_file_index);
-         vec_foreach (x, msf->pending_file_indices)
+         int i;
+         vec_foreach_index (i, msf->pending_clients)
          {
-           memif_file_del_by_index (*x);
+           memif_socket_close (msf->pending_clients + i);
          }
-         vec_free (msf->pending_file_indices);
+         memif_socket_close (&msf->sock);
+         vec_free (msf->pending_clients);
        }
       mhash_free (&msf->dev_instance_by_id);
       hash_free (msf->dev_instance_by_fd);
-      mhash_unset (&mm->socket_file_index_by_filename, msf->filename, 0);
-      vec_free (msf->filename);
-      pool_put (mm->socket_files, msf);
+      if (msf->sock)
+       {
+         err = clib_socket_close (msf->sock);
+         if (err)
+           clib_error_report (err);
+         clib_mem_free (msf->sock);
+       }
     }
 
   memset (mif, 0, sizeof (*mif));
@@ -552,38 +665,21 @@ memif_create_if (vlib_main_t * vm, memif_create_if_args_t * args)
   uword *p;
   vnet_hw_interface_t *hw;
   memif_socket_file_t *msf = 0;
-  u8 *socket_filename;
   int rv = 0;
 
-  if (args->socket_filename == 0 || args->socket_filename[0] != '/')
+  p = hash_get (mm->socket_file_index_by_sock_id, args->socket_id);
+  if (p == 0)
     {
-      clib_error_t *error;
-      error = vlib_unix_recursive_mkdir (vlib_unix_get_runtime_dir ());
-      if (error)
-       {
-         clib_error_free (error);
-         return VNET_API_ERROR_SYSCALL_ERROR_1;
-       }
-
-      if (args->socket_filename == 0)
-       socket_filename = format (0, "%s/%s%c", vlib_unix_get_runtime_dir (),
-                                 MEMIF_DEFAULT_SOCKET_FILENAME, 0);
-      else
-       socket_filename = format (0, "%s/%s%c", vlib_unix_get_runtime_dir (),
-                                 args->socket_filename, 0);
-
+      rv = VNET_API_ERROR_INVALID_ARGUMENT;
+      goto done;
     }
-  else
-    socket_filename = vec_dup (args->socket_filename);
 
-  p = mhash_get (&mm->socket_file_index_by_filename, socket_filename);
+  msf = vec_elt_at_index (mm->socket_files, p[0]);
 
-  if (p)
+  /* existing socket file can be either master or slave but cannot be both */
+  if (msf->ref_cnt > 0)
     {
-      msf = vec_elt_at_index (mm->socket_files, p[0]);
-
-      /* existing socket file can be either master or slave but cannot be both */
-      if (!msf->is_listener != !args->is_master)
+      if ((!msf->is_listener != !args->is_master))
        {
          rv = VNET_API_ERROR_SUBIF_ALREADY_EXISTS;
          goto done;
@@ -598,39 +694,63 @@ memif_create_if (vlib_main_t * vm, memif_create_if_args_t * args)
     }
 
   /* Create new socket file */
-  if (msf == 0)
+  if (msf->ref_cnt == 0)
     {
       struct stat file_stat;
+
       /* If we are creating listener make sure file doesn't exist or if it
        * exists thn delete it if it is old socket file */
-      if (args->is_master &&
-         (stat ((char *) socket_filename, &file_stat) == 0))
+      if (args->is_master && (stat ((char *) msf->filename, &file_stat) == 0))
        {
          if (S_ISSOCK (file_stat.st_mode))
            {
-             unlink ((char *) socket_filename);
+             unlink ((char *) msf->filename);
            }
          else
            {
              error = clib_error_return (0, "File exists for %s",
-                                        socket_filename);
+                                        msf->filename);
              clib_error_report (error);
              rv = VNET_API_ERROR_VALUE_EXIST;
              goto done;
            }
        }
-      pool_get (mm->socket_files, msf);
-      memset (msf, 0, sizeof (memif_socket_file_t));
+
       mhash_init (&msf->dev_instance_by_id, sizeof (uword),
                  sizeof (memif_interface_id_t));
       msf->dev_instance_by_fd = hash_create (0, sizeof (uword));
-      msf->filename = socket_filename;
-      msf->fd = -1;
       msf->is_listener = (args->is_master != 0);
-      socket_filename = 0;
-      mhash_set (&mm->socket_file_index_by_filename, msf->filename,
-                msf - mm->socket_files, 0);
-      DBG ("creating socket file %s", msf->filename);
+
+      DBG ("initializing socket file %s", msf->filename);
+    }
+
+  if (mm->per_thread_data == 0)
+    {
+      int i;
+      vlib_buffer_free_list_t *fl;
+
+      vec_validate_aligned (mm->per_thread_data, tm->n_vlib_mains - 1,
+                           CLIB_CACHE_LINE_BYTES);
+
+      fl =
+       vlib_buffer_get_free_list (vm, VLIB_BUFFER_DEFAULT_FREE_LIST_INDEX);
+      for (i = 0; i < tm->n_vlib_mains; i++)
+       {
+         memif_per_thread_data_t *ptd =
+           vec_elt_at_index (mm->per_thread_data, i);
+         vlib_buffer_t *bt = &ptd->buffer_template;
+         vlib_buffer_init_for_free_list (bt, fl);
+         bt->flags = VLIB_BUFFER_TOTAL_LENGTH_VALID;
+         bt->total_length_not_including_first_buffer = 0;
+         vnet_buffer (bt)->sw_if_index[VLIB_TX] = (u32) ~ 0;
+
+         /* initially prealloc copy_ops so we can use
+            _vec_len instead of vec_elen */
+         vec_validate_aligned (ptd->copy_ops, 0, CLIB_CACHE_LINE_BYTES);
+         vec_reset_length (ptd->copy_ops);
+         vec_validate_aligned (ptd->buffers, 0, CLIB_CACHE_LINE_BYTES);
+         vec_reset_length (ptd->buffers);
+       }
     }
 
   pool_get (mm->interfaces, mif);
@@ -639,8 +759,6 @@ memif_create_if (vlib_main_t * vm, memif_create_if_args_t * args)
   mif->socket_file_index = msf - mm->socket_files;
   mif->id = args->id;
   mif->sw_if_index = mif->hw_if_index = mif->per_interface_next_index = ~0;
-  mif->conn_clib_file_index = ~0;
-  mif->conn_fd = -1;
   mif->mode = args->mode;
   if (args->secret)
     mif->secret = vec_dup (args->secret);
@@ -648,7 +766,6 @@ memif_create_if (vlib_main_t * vm, memif_create_if_args_t * args)
   if (tm->n_vlib_mains > 1)
     clib_spinlock_init (&mif->lockp);
 
-
   if (mif->mode == MEMIF_INTERFACE_MODE_ETHERNET)
     {
 
@@ -701,33 +818,22 @@ memif_create_if (vlib_main_t * vm, memif_create_if_args_t * args)
   /* If this is new one, start listening */
   if (msf->is_listener && msf->ref_cnt == 0)
     {
-      struct sockaddr_un un = { 0 };
       struct stat file_stat;
-      int on = 1;
+      clib_socket_t *s = clib_mem_alloc (sizeof (clib_socket_t));
 
-      if ((msf->fd = socket (AF_UNIX, SOCK_SEQPACKET, 0)) < 0)
-       {
-         ret = VNET_API_ERROR_SYSCALL_ERROR_4;
-         goto error;
-       }
+      ASSERT (msf->sock == 0);
+      msf->sock = s;
 
-      un.sun_family = AF_UNIX;
-      strncpy ((char *) un.sun_path, (char *) msf->filename,
-              sizeof (un.sun_path) - 1);
+      memset (s, 0, sizeof (clib_socket_t));
+      s->config = (char *) msf->filename;
+      s->flags = CLIB_SOCKET_F_IS_SERVER |
+       CLIB_SOCKET_F_ALLOW_GROUP_WRITE |
+       CLIB_SOCKET_F_SEQPACKET | CLIB_SOCKET_F_PASSCRED;
 
-      if (setsockopt (msf->fd, SOL_SOCKET, SO_PASSCRED, &on, sizeof (on)) < 0)
-       {
-         ret = VNET_API_ERROR_SYSCALL_ERROR_5;
-         goto error;
-       }
-      if (bind (msf->fd, (struct sockaddr *) &un, sizeof (un)) == -1)
+      if ((error = clib_socket_init (s)))
        {
-         ret = VNET_API_ERROR_SYSCALL_ERROR_6;
-         goto error;
-       }
-      if (listen (msf->fd, 1) == -1)
-       {
-         ret = VNET_API_ERROR_SYSCALL_ERROR_7;
+         clib_error_report (error);
+         ret = VNET_API_ERROR_SYSCALL_ERROR_4;
          goto error;
        }
 
@@ -737,12 +843,12 @@ memif_create_if (vlib_main_t * vm, memif_create_if_args_t * args)
          goto error;
        }
 
-      msf->clib_file_index = ~0;
       clib_file_t template = { 0 };
       template.read_function = memif_conn_fd_accept_ready;
-      template.file_descriptor = msf->fd;
+      template.file_descriptor = msf->sock->fd;
       template.private_data = mif->socket_file_index;
-      memif_file_add (&msf->clib_file_index, &template);
+      template.description = format (0, "memif listener %s", msf->filename);
+      memif_file_add (&msf->sock->private_data, &template);
     }
 
   msf->ref_cnt++;
@@ -777,7 +883,6 @@ error:
   return ret;
 
 done:
-  vec_free (socket_filename);
   return rv;
 }
 
@@ -786,17 +891,22 @@ static clib_error_t *
 memif_init (vlib_main_t * vm)
 {
   memif_main_t *mm = &memif_main;
-  vlib_thread_main_t *tm = vlib_get_thread_main ();
+  u8 *filename;
 
   memset (mm, 0, sizeof (memif_main_t));
 
   /* initialize binary API */
   memif_plugin_api_hookup (vm);
 
-  mhash_init_c_string (&mm->socket_file_index_by_filename, sizeof (uword));
-
-  vec_validate_aligned (mm->rx_buffers, tm->n_vlib_mains - 1,
-                       CLIB_CACHE_LINE_BYTES);
+  /*
+   * Pre-stuff socket filename pool with a non-modifieable mapping
+   * for socket-id 0 to MEMIF_DEFAULT_SOCKET_FILENAME in the
+   * default run-time directory.
+   */
+  filename = format (0, "%s/%s%c",
+                    vlib_unix_get_runtime_dir (),
+                    MEMIF_DEFAULT_SOCKET_FILENAME, 0);
+  memif_add_socket_file (0, filename);
 
   return 0;
 }