API: More gracefully fail when opening shared memory segment fails.
[vpp.git] / src / vlibmemory / memory_shared.c
index d8d3200..fbdabd0 100644 (file)
@@ -95,12 +95,40 @@ vl_msg_api_alloc_internal (int nbytes, int pool, int may_return_null)
        */
       if (rv->q)
        {
+         u32 now = (u32) time (0);
+
+         if (PREDICT_TRUE (rv->gc_mark_timestamp == 0))
+           rv->gc_mark_timestamp = now;
+         else
+           {
+             if (now - rv->gc_mark_timestamp > 10)
+               {
+                 if (CLIB_DEBUG > 0)
+                   {
+                     u16 *msg_idp, msg_id;
+                     clib_warning
+                       ("garbage collect pool %d ring %d index %d", pool, i,
+                        q->head);
+                     msg_idp = (u16 *) (rv->data);
+                     msg_id = clib_net_to_host_u16 (*msg_idp);
+                     if (msg_id < vec_len (api_main.msg_names))
+                       clib_warning ("msg id %d name %s", (u32) msg_id,
+                                     api_main.msg_names[msg_id]);
+                   }
+                 shmem_hdr->garbage_collects++;
+                 goto collected;
+               }
+           }
+
+
          /* yes, loser; try next larger pool */
          ap[i].misses++;
          if (pool == 0)
            pthread_mutex_unlock (&q->mutex);
          continue;
        }
+    collected:
+
       /* OK, we have a winner */
       ap[i].hits++;
       /*
@@ -108,6 +136,7 @@ vl_msg_api_alloc_internal (int nbytes, int pool, int may_return_null)
        * don't need to know the queue to free the item.
        */
       rv->q = q;
+      rv->gc_mark_timestamp = 0;
       q->head++;
       if (q->head == q->maxsize)
        q->head = 0;
@@ -201,6 +230,7 @@ vl_msg_api_free (void *a)
   if (rv->q)
     {
       rv->q = 0;
+      rv->gc_mark_timestamp = 0;
       return;
     }
 
@@ -236,7 +266,7 @@ vl_msg_api_free_nolock (void *a)
 }
 
 void
-vl_set_memory_root_path (char *name)
+vl_set_memory_root_path (const char *name)
 {
   api_main_t *am = &api_main;
 
@@ -300,22 +330,40 @@ vl_set_api_pvt_heap_size (u64 size)
 }
 
 int
-vl_map_shmem (char *region_name, int is_vlib)
+vl_map_shmem (const char *region_name, int is_vlib)
 {
   svm_map_region_args_t _a, *a = &_a;
   svm_region_t *vlib_rp, *root_rp;
   void *oldheap;
   vl_shmem_hdr_t *shmem_hdr = 0;
   api_main_t *am = &api_main;
-  int i;
+  int i, rv;
   struct timespec ts, tsrem;
-
-  if (is_vlib == 0)
-    svm_region_init_chroot (am->root_path);
+  u32 vlib_input_queue_length;
 
   memset (a, 0, sizeof (*a));
 
-  a->name = region_name;
+  if (strstr (region_name, "-vpe-api"))
+    {
+      char root_path[strlen (region_name)];
+      strncpy (root_path, region_name, strlen (region_name) - 8);
+      a->root_path = root_path;
+      am->root_path = root_path;
+    }
+
+  if (is_vlib == 0)
+    {
+      rv = svm_region_init_chroot (am->root_path);
+      if (rv)
+       return rv;
+    }
+
+  if (a->root_path != NULL)
+    {
+      a->name = "/vpe-api";
+    }
+  else
+    a->name = region_name;
   a->size = am->api_size ? am->api_size : (16 << 20);
   a->flags = SVM_FLAGS_MHEAP;
   a->uid = am->api_uid;
@@ -428,9 +476,13 @@ vl_map_shmem (char *region_name, int is_vlib)
   shmem_hdr->version = VL_SHM_VERSION;
 
   /* vlib main input queue */
+  vlib_input_queue_length = 1024;
+  if (am->vlib_input_queue_length)
+    vlib_input_queue_length = am->vlib_input_queue_length;
+
   shmem_hdr->vl_input_queue =
-    unix_shared_memory_queue_init (1024, sizeof (uword), getpid (),
-                                  am->vlib_signal);
+    unix_shared_memory_queue_init (vlib_input_queue_length, sizeof (uword),
+                                  getpid (), am->vlib_signal);
 
   /* Set up the msg ring allocator */
 #define _(sz,n)                                                 \
@@ -538,52 +590,6 @@ vl_msg_api_send_shmem_nolock (unix_shared_memory_queue_t * q, u8 * elem)
   (void) unix_shared_memory_queue_add_nolock (q, elem);
 }
 
-static void
-vl_api_memclnt_create_reply_t_handler (vl_api_memclnt_create_reply_t * mp)
-{
-  serialize_main_t _sm, *sm = &_sm;
-  api_main_t *am = &api_main;
-  u8 *tblv;
-  u32 nmsgs;
-  int i;
-  u8 *name_and_crc;
-  u32 msg_index;
-
-  am->my_client_index = mp->index;
-  am->my_registration = (vl_api_registration_t *) (uword) mp->handle;
-
-  /* Clean out any previous hash table (unlikely) */
-  if (am->msg_index_by_name_and_crc)
-    {
-      int i;
-      u8 **keys = 0;
-      hash_pair_t *hp;
-      /* *INDENT-OFF* */
-      hash_foreach_pair (hp, am->msg_index_by_name_and_crc,
-      ({
-        vec_add1 (keys, (u8 *) hp->key);
-      }));
-      /* *INDENT-ON* */
-      for (i = 0; i < vec_len (keys); i++)
-       vec_free (keys[i]);
-      vec_free (keys);
-    }
-
-  am->msg_index_by_name_and_crc = hash_create_string (0, sizeof (uword));
-
-  /* Recreate the vnet-side API message handler table */
-  tblv = (u8 *) mp->message_table;
-  serialize_open_vector (sm, tblv);
-  unserialize_integer (sm, &nmsgs, sizeof (u32));
-
-  for (i = 0; i < nmsgs; i++)
-    {
-      msg_index = unserialize_likely_small_unsigned_integer (sm);
-      unserialize_cstring (sm, (char **) &name_and_crc);
-      hash_set_mem (am->msg_index_by_name_and_crc, name_and_crc, msg_index);
-    }
-}
-
 u32
 vl_api_get_msg_index (u8 * name_and_crc)
 {
@@ -599,171 +605,6 @@ vl_api_get_msg_index (u8 * name_and_crc)
   return ~0;
 }
 
-int
-vl_client_connect (char *name, int ctx_quota, int input_queue_size)
-{
-  svm_region_t *svm;
-  vl_api_memclnt_create_t *mp;
-  vl_api_memclnt_create_reply_t *rp;
-  unix_shared_memory_queue_t *vl_input_queue;
-  vl_shmem_hdr_t *shmem_hdr;
-  int rv = 0;
-  void *oldheap;
-  api_main_t *am = &api_main;
-
-  if (am->my_registration)
-    {
-      clib_warning ("client %s already connected...", name);
-      return -1;
-    }
-
-  if (am->vlib_rp == 0)
-    {
-      clib_warning ("am->vlib_rp NULL");
-      return -1;
-    }
-
-  svm = am->vlib_rp;
-  shmem_hdr = am->shmem_hdr;
-
-  if (shmem_hdr == 0 || shmem_hdr->vl_input_queue == 0)
-    {
-      clib_warning ("shmem_hdr / input queue NULL");
-      return -1;
-    }
-
-  pthread_mutex_lock (&svm->mutex);
-  oldheap = svm_push_data_heap (svm);
-  vl_input_queue =
-    unix_shared_memory_queue_init (input_queue_size, sizeof (uword),
-                                  getpid (), 0);
-  pthread_mutex_unlock (&svm->mutex);
-  svm_pop_heap (oldheap);
-
-  am->my_client_index = ~0;
-  am->my_registration = 0;
-  am->vl_input_queue = vl_input_queue;
-
-  mp = vl_msg_api_alloc (sizeof (vl_api_memclnt_create_t));
-  memset (mp, 0, sizeof (*mp));
-  mp->_vl_msg_id = ntohs (VL_API_MEMCLNT_CREATE);
-  mp->ctx_quota = ctx_quota;
-  mp->input_queue = (uword) vl_input_queue;
-  strncpy ((char *) mp->name, name, sizeof (mp->name) - 1);
-
-  vl_msg_api_send_shmem (shmem_hdr->vl_input_queue, (u8 *) & mp);
-
-  while (1)
-    {
-      int qstatus;
-      struct timespec ts, tsrem;
-      int i;
-
-      /* Wait up to 10 seconds */
-      for (i = 0; i < 1000; i++)
-       {
-         qstatus = unix_shared_memory_queue_sub (vl_input_queue, (u8 *) & rp,
-                                                 1 /* nowait */ );
-         if (qstatus == 0)
-           goto read_one_msg;
-         ts.tv_sec = 0;
-         ts.tv_nsec = 10000 * 1000;    /* 10 ms */
-         while (nanosleep (&ts, &tsrem) < 0)
-           ts = tsrem;
-       }
-      /* Timeout... */
-      clib_warning ("memclnt_create_reply timeout");
-      return -1;
-
-    read_one_msg:
-      if (ntohs (rp->_vl_msg_id) != VL_API_MEMCLNT_CREATE_REPLY)
-       {
-         clib_warning ("unexpected reply: id %d", ntohs (rp->_vl_msg_id));
-         continue;
-       }
-      rv = clib_net_to_host_u32 (rp->response);
-
-      vl_msg_api_handler ((void *) rp);
-      break;
-    }
-  return (rv);
-}
-
-static void
-vl_api_memclnt_delete_reply_t_handler (vl_api_memclnt_delete_reply_t * mp)
-{
-  void *oldheap;
-  api_main_t *am = &api_main;
-
-  pthread_mutex_lock (&am->vlib_rp->mutex);
-  oldheap = svm_push_data_heap (am->vlib_rp);
-  unix_shared_memory_queue_free (am->vl_input_queue);
-  pthread_mutex_unlock (&am->vlib_rp->mutex);
-  svm_pop_heap (oldheap);
-
-  am->my_client_index = ~0;
-  am->my_registration = 0;
-  am->vl_input_queue = 0;
-}
-
-void
-vl_client_disconnect (void)
-{
-  vl_api_memclnt_delete_t *mp;
-  vl_api_memclnt_delete_reply_t *rp;
-  unix_shared_memory_queue_t *vl_input_queue;
-  vl_shmem_hdr_t *shmem_hdr;
-  time_t begin;
-  api_main_t *am = &api_main;
-
-  ASSERT (am->vlib_rp);
-  shmem_hdr = am->shmem_hdr;
-  ASSERT (shmem_hdr && shmem_hdr->vl_input_queue);
-
-  vl_input_queue = am->vl_input_queue;
-
-  mp = vl_msg_api_alloc (sizeof (vl_api_memclnt_delete_t));
-  memset (mp, 0, sizeof (*mp));
-  mp->_vl_msg_id = ntohs (VL_API_MEMCLNT_DELETE);
-  mp->index = am->my_client_index;
-  mp->handle = (uword) am->my_registration;
-
-  vl_msg_api_send_shmem (shmem_hdr->vl_input_queue, (u8 *) & mp);
-
-  /*
-   * Have to be careful here, in case the client is disconnecting
-   * because e.g. the vlib process died, or is unresponsive.
-   */
-
-  begin = time (0);
-  while (1)
-    {
-      time_t now;
-
-      now = time (0);
-
-      if (now >= (begin + 2))
-       {
-         clib_warning ("peer unresponsive, give up");
-         am->my_client_index = ~0;
-         am->my_registration = 0;
-         am->shmem_hdr = 0;
-         break;
-       }
-      if (unix_shared_memory_queue_sub (vl_input_queue, (u8 *) & rp, 1) < 0)
-       continue;
-
-      /* drain the queue */
-      if (ntohs (rp->_vl_msg_id) != VL_API_MEMCLNT_DELETE_REPLY)
-       {
-         vl_msg_api_handler ((void *) rp);
-         continue;
-       }
-      vl_msg_api_handler ((void *) rp);
-      break;
-    }
-}
-
 static inline vl_api_registration_t *
 vl_api_client_index_to_registration_internal (u32 handle)
 {
@@ -813,36 +654,6 @@ vl_api_client_index_to_input_queue (u32 index)
   return (regp->vl_input_queue);
 }
 
-#define foreach_api_client_msg                  \
-_(MEMCLNT_CREATE_REPLY, memclnt_create_reply)   \
-_(MEMCLNT_DELETE_REPLY, memclnt_delete_reply)
-
-int
-vl_client_api_map (char *region_name)
-{
-  int rv;
-
-  if ((rv = vl_map_shmem (region_name, 0 /* is_vlib */ )) < 0)
-    {
-      return rv;
-    }
-
-#define _(N,n)                                                          \
-    vl_msg_api_set_handlers(VL_API_##N, 0 /* name */,                   \
-                           vl_api_##n##_t_handler,                      \
-                           0/* cleanup */, 0/* endian */, 0/* print */, \
-                           sizeof(vl_api_##n##_t), 1);
-  foreach_api_client_msg;
-#undef _
-  return 0;
-}
-
-void
-vl_client_api_unmap (void)
-{
-  vl_unmap_shmem ();
-}
-
 /*
  * fd.io coding-style-patch-verification: ON
  *