libmemif: Fix for memif_buffer_alloc rewind logic
[vpp.git] / extras / libmemif / src / main.c
index 0c4adc2..cb07bf6 100644 (file)
@@ -65,8 +65,6 @@
 #define MEMIF_MEMORY_BARRIER() __sync_synchronize ()
 #endif /* __x86_x64__ */
 
-libmemif_main_t libmemif_main;
-
 static char memif_buf[MAX_ERRBUF_LEN];
 
 const char *memif_errlist[ERRLIST_LEN] = {     /* MEMIF_ERR_SUCCESS */
@@ -76,7 +74,7 @@ const char *memif_errlist[ERRLIST_LEN] = {    /* MEMIF_ERR_SUCCESS */
   /* MEMIF_ERR_CONNREFUSED */
   "Connection refused",
   /* MEMIF_ERR_ACCES */
-  "Permission to resoure denied.",
+  "Permission to resource denied.",
   /* MEMIF_ERR_NO_FILE */
   "Socket file does not exist",
   /* MEMIF_ERR_FILE_LIMIT */
@@ -94,7 +92,7 @@ const char *memif_errlist[ERRLIST_LEN] = {    /* MEMIF_ERR_SUCCESS */
   /* MEMIF_ERR_INVAL_ARG */
   "Invalid argument.",
   /* MEMIF_ERR_NOCONN */
-  "Memif connection handle does not point to existing conenction",
+  "Memif connection handle does not point to existing connection",
   /* MEMIF_ERR_CONN */
   "Memif connection handle points to existing connection",
   /* MEMIF_ERR_CB_FDUPDATE */
@@ -110,7 +108,7 @@ const char *memif_errlist[ERRLIST_LEN] = {  /* MEMIF_ERR_SUCCESS */
   /* MEMIF_ERR_NOBUF */
   "Not enough memif buffers. There are unreceived data in shared memory.",
   /* MEMIF_ERR_NOBUF_DET */
-  "Not enough space for memif details in suplied buffer. String data might be malformed.",
+  "Not enough space for memif details in supplied buffer. String data might be malformed.",
   /* MEMIF_ERR_INT_WRITE */
   "Send interrupt error.",
   /* MEMIF_ERR_MFMSG */
@@ -122,7 +120,7 @@ const char *memif_errlist[ERRLIST_LEN] = {  /* MEMIF_ERR_SUCCESS */
   /* MEMIF_ERR_ID */
   "Unmatched interface id.",
   /* MEMIF_ERR_ACCSLAVE */
-  "Slave cannot accept connection reqest.",
+  "Slave cannot accept connection request.",
   /* MEMIF_ERR_ALRCONN */
   "Interface is already connected.",
   /* MEMIF_ERR_MODE */
@@ -158,13 +156,11 @@ memif_strerror (int err_code)
 {
   if (err_code >= ERRLIST_LEN)
     {
-      strncpy (memif_buf, MEMIF_ERR_UNDEFINED, strlen (MEMIF_ERR_UNDEFINED));
-      memif_buf[strlen (MEMIF_ERR_UNDEFINED)] = '\0';
+      strlcpy (memif_buf, MEMIF_ERR_UNDEFINED, sizeof (memif_buf));
     }
   else
     {
-      strncpy (memif_buf, memif_errlist[err_code],
-              strlen (memif_errlist[err_code]));
+      strlcpy (memif_buf, memif_errlist[err_code], sizeof (memif_buf));
       memif_buf[strlen (memif_errlist[err_code])] = '\0';
     }
   return memif_buf;
@@ -176,6 +172,16 @@ memif_get_version ()
   return MEMIF_VERSION;
 }
 
+const char *
+memif_get_version_str ()
+{
+#define __STR_HELPER(x) #x
+#define __STR(x)       __STR_HELPER (x)
+  return __STR (MEMIF_VERSION_MAJOR) "." __STR (MEMIF_VERSION_MINOR);
+#undef __STR
+#undef __STR_HELPER
+}
+
 #define DBG_TX_BUF (0)
 #define DBG_RX_BUF (1)
 
@@ -234,896 +240,437 @@ memif_syscall_error_handler (int err_code)
   return MEMIF_ERR_SYSCALL;
 }
 
-/* Always valid */
-libmemif_main_t *
-get_libmemif_main (memif_socket_t * ms)
-{
-  if (ms != NULL && ms->lm != NULL)
-    return ms->lm;
-  return &libmemif_main;
-}
-
 static int
-memif_add_epoll_fd (libmemif_main_t * lm, int fd, uint32_t events)
+memif_add_epoll_fd (memif_socket_t *ms, memif_fd_event_t fde, uint32_t events)
 {
-  if (fd < 0)
+  if (fde.fd < 0)
     {
-      DBG ("invalid fd %d", fd);
+      DBG ("invalid fd %d", fde.fd);
       return -1;
     }
   struct epoll_event evt;
   memset (&evt, 0, sizeof (evt));
   evt.events = events;
-  evt.data.fd = fd;
-  if (epoll_ctl (lm->epfd, EPOLL_CTL_ADD, fd, &evt) < 0)
+  evt.data.ptr = fde.private_ctx;
+  if (epoll_ctl (ms->epfd, EPOLL_CTL_ADD, fde.fd, &evt) < 0)
     {
-      DBG ("epoll_ctl: %s fd %d", strerror (errno), fd);
+      DBG ("epoll_ctl: %s fd %d", strerror (errno), fde.fd);
       return -1;
     }
-  DBG ("fd %d added to epoll", fd);
+  DBG ("fd %d added to epoll", fde.fd);
   return 0;
 }
 
 static int
-memif_mod_epoll_fd (libmemif_main_t * lm, int fd, uint32_t events)
+memif_mod_epoll_fd (memif_socket_t *ms, memif_fd_event_t fde, uint32_t events)
 {
-  if (fd < 0)
+  if (fde.fd < 0)
     {
-      DBG ("invalid fd %d", fd);
+      DBG ("invalid fd %d", fde.fd);
       return -1;
     }
   struct epoll_event evt;
   memset (&evt, 0, sizeof (evt));
   evt.events = events;
-  evt.data.fd = fd;
-  if (epoll_ctl (lm->epfd, EPOLL_CTL_MOD, fd, &evt) < 0)
+  evt.data.ptr = fde.private_ctx;
+  if (epoll_ctl (ms->epfd, EPOLL_CTL_MOD, fde.fd, &evt) < 0)
     {
-      DBG ("epoll_ctl: %s fd %d", strerror (errno), fd);
+      DBG ("epoll_ctl: %s fd %d", strerror (errno), fde.fd);
       return -1;
     }
-  DBG ("fd %d moddified on epoll", fd);
+  DBG ("fd %d modified on epoll", fde.fd);
   return 0;
 }
 
 static int
-memif_del_epoll_fd (libmemif_main_t * lm, int fd)
+memif_del_epoll_fd (memif_socket_t *ms, memif_fd_event_t fde)
 {
-  if (fd < 0)
+  if (fde.fd < 0)
     {
-      DBG ("invalid fd %d", fd);
+      DBG ("invalid fd %d", fde.fd);
       return -1;
     }
   struct epoll_event evt;
   memset (&evt, 0, sizeof (evt));
-  if (epoll_ctl (lm->epfd, EPOLL_CTL_DEL, fd, &evt) < 0)
+  if (epoll_ctl (ms->epfd, EPOLL_CTL_DEL, fde.fd, &evt) < 0)
     {
-      DBG ("epoll_ctl: %s fd %d", strerror (errno), fd);
+      DBG ("epoll_ctl: %s fd %d", strerror (errno), fde.fd);
       return -1;
     }
-  DBG ("fd %d removed from epoll", fd);
+  DBG ("fd %d removed from epoll", fde.fd);
   return 0;
 }
 
 int
-memif_control_fd_update (int fd, uint8_t events, void *private_ctx)
+memif_control_fd_update (memif_fd_event_t fde, void *private_ctx)
 {
-  libmemif_main_t *lm;
+  memif_socket_t *ms = (memif_socket_t *) private_ctx;
+  int fd;
 
-  lm = (private_ctx == NULL) ? &libmemif_main : (libmemif_main_t *) private_ctx;
+  if (ms == NULL)
+    return MEMIF_ERR_INVAL_ARG;
 
-  if (events & MEMIF_FD_EVENT_DEL)
-    return memif_del_epoll_fd (lm, fd);
+  if (fde.type & MEMIF_FD_EVENT_DEL)
+    return memif_del_epoll_fd (ms, fde);
 
   uint32_t evt = 0;
-  if (events & MEMIF_FD_EVENT_READ)
+  if (fde.type & MEMIF_FD_EVENT_READ)
     evt |= EPOLLIN;
-  if (events & MEMIF_FD_EVENT_WRITE)
+  if (fde.type & MEMIF_FD_EVENT_WRITE)
     evt |= EPOLLOUT;
 
-  if (events & MEMIF_FD_EVENT_MOD)
-    return memif_mod_epoll_fd (lm, fd, evt);
+  if (fde.type & MEMIF_FD_EVENT_MOD)
+    return memif_mod_epoll_fd (ms, fde, evt);
 
-  return memif_add_epoll_fd (lm, fd, evt);
+  return memif_add_epoll_fd (ms, fde, evt);
 }
 
-int
-add_list_elt (libmemif_main_t * lm, memif_list_elt_t * e,
-             memif_list_elt_t ** list, uint16_t * len)
+static void
+memif_control_fd_update_register (memif_socket_t *ms,
+                                 memif_control_fd_update_t *cb)
 {
-  memif_list_elt_t *tmp;
-  int i;
-
-  for (i = 0; i < *len; i++)
-    {
-      if ((*list)[i].data_struct == NULL)
-       {
-         (*list)[i].key = e->key;
-         (*list)[i].data_struct = e->data_struct;
-         return i;
-       }
-    }
-
-  tmp = lm->realloc (*list, sizeof (memif_list_elt_t) * *len * 2);
-  if (tmp == NULL)
-    return -1;
-
-  for (i = *len; i < *len * 2; i++)
-    {
-      tmp[i].key = -1;
-      tmp[i].data_struct = NULL;
-    }
-
-  tmp[*len].key = e->key;
-  tmp[*len].data_struct = e->data_struct;
-  i = *len;
-  *len = *len * 2;
-  *list = tmp;
-
-  return i;
+  ms->args.on_control_fd_update = cb;
 }
 
-int
-get_list_elt (memif_list_elt_t ** e, memif_list_elt_t * list, uint16_t len,
-             int key)
+void
+memif_register_external_region (memif_socket_handle_t sock,
+                               memif_add_external_region_t *ar,
+                               memif_get_external_region_addr_t *gr,
+                               memif_del_external_region_t *dr,
+                               memif_get_external_buffer_offset_t *go)
 {
-  int i;
-  if (key == -1)
-    {
-      *e = NULL;
-      return -1;
-    }
-
-  for (i = 0; i < len; i++)
-    {
-      if (list[i].key == key)
-       {
-         *e = &list[i];
-         return 0;
-       }
-    }
-  *e = NULL;
-  return -1;
+  memif_socket_t *ms = (memif_socket_t *) sock;
+  ms->add_external_region = ar;
+  ms->get_external_region_addr = gr;
+  ms->del_external_region = dr;
+  ms->get_external_buffer_offset = go;
 }
 
-/* does not free memory, only marks element as free */
-int
-free_list_elt (memif_list_elt_t * list, uint16_t len, int key)
+static void
+memif_alloc_register (memif_socket_t *ms, memif_alloc_t *ma)
 {
-  int i;
-  for (i = 0; i < len; i++)
-    {
-      if (list[i].key == key)
-       {
-         list[i].key = -1;
-         list[i].data_struct = NULL;
-         return 0;
-       }
-    }
-
-  return -1;
+  ms->args.alloc = ma;
 }
 
-int
-free_list_elt_ctx (memif_list_elt_t * list, uint16_t len,
-                  memif_connection_t * ctx)
+static void
+memif_realloc_register (memif_socket_t *ms, memif_realloc_t *mr)
 {
-  int i;
-  for (i = 0; i < len; i++)
-    {
-      if (list[i].key == -1)
-       {
-         if (list[i].data_struct == ctx)
-           {
-             list[i].data_struct = NULL;
-             return 0;
-           }
-       }
-    }
-
-  return -1;
+  ms->args.realloc = mr;
 }
 
 static void
-memif_control_fd_update_register (libmemif_main_t * lm,
-                                 memif_control_fd_update_t * cb)
+memif_free_register (memif_socket_t *ms, memif_free_t *mf)
 {
-  lm->control_fd_update = cb;
+  ms->args.free = mf;
 }
 
-void
-memif_register_external_region (memif_add_external_region_t * ar,
-                               memif_get_external_region_addr_t * gr,
-                               memif_del_external_region_t * dr,
-                               memif_get_external_buffer_offset_t * go)
+static inline memif_ring_t *
+memif_get_ring (memif_connection_t * conn, memif_ring_type_t type,
+               uint16_t ring_num)
 {
-  libmemif_main_t *lm = &libmemif_main;
-  lm->add_external_region = ar;
-  lm->get_external_region_addr = gr;
-  lm->del_external_region = dr;
-  lm->get_external_buffer_offset = go;
-}
+  if (&conn->regions[0] == NULL)
+    return NULL;
+  void *p = conn->regions[0].addr;
+  int ring_size =
+    sizeof (memif_ring_t) +
+    sizeof (memif_desc_t) * (1 << conn->run_args.log2_ring_size);
+  p += (ring_num + type * conn->run_args.num_s2m_rings) * ring_size;
 
-static void
-memif_alloc_register (libmemif_main_t * lm, memif_alloc_t * ma)
-{
-  lm->alloc = ma;
+  return (memif_ring_t *) p;
 }
 
-static void
-memif_realloc_register (libmemif_main_t * lm, memif_realloc_t * mr)
+int
+memif_set_rx_mode (memif_conn_handle_t c, memif_rx_mode_t rx_mode,
+                  uint16_t qid)
 {
-  lm->realloc = mr;
+  memif_connection_t *conn = (memif_connection_t *) c;
+  if (conn == NULL)
+    return MEMIF_ERR_NOCONN;
+  uint8_t num =
+    (conn->args.is_master) ? conn->run_args.num_s2m_rings : conn->
+    run_args.num_m2s_rings;
+  if (qid >= num)
+    return MEMIF_ERR_QID;
+
+  conn->rx_queues[qid].ring->flags = rx_mode;
+  DBG ("rx_mode flag: %u", conn->rx_queues[qid].ring->flags);
+  return MEMIF_ERR_SUCCESS;
 }
 
-static void
-memif_free_register (libmemif_main_t * lm, memif_free_t * mf)
+int
+memif_poll_cancel_handler (memif_fd_event_type_t type, void *private_ctx)
 {
-  lm->free = mf;
+  return MEMIF_ERR_POLL_CANCEL;
 }
 
 int
-memif_set_connection_request_timer (struct itimerspec timer)
+memif_connect_handler (memif_fd_event_type_t type, void *private_ctx)
 {
-  libmemif_main_t *lm = &libmemif_main;
-  int err = MEMIF_ERR_SUCCESS;
+  memif_socket_t *ms = (memif_socket_t *) private_ctx;
+  memif_connection_t *c;
 
-  lm->arm = timer;
-
-  /* overwrite timer, if already armed */
-  if (lm->disconn_slaves != 0)
+  if (ms->timer_fd >= 0)
     {
-      if (timerfd_settime (lm->timerfd, 0, &lm->arm, NULL) < 0)
-       {
-         err = memif_syscall_error_handler (errno);
-       }
+      uint64_t u64;
+      ssize_t __attribute__ ((unused)) r;
+      /*
+       Have to read the timer fd else it stays read-ready
+       and makes epoll_pwait() return without sleeping
+      */
+      r = read (ms->timer_fd, &u64, sizeof (u64));
     }
-  return err;
-}
 
-int
-memif_per_thread_set_connection_request_timer (memif_per_thread_main_handle_t
-                                              pt_main,
-                                              struct itimerspec timer)
-{
-  libmemif_main_t *lm = (libmemif_main_t *) pt_main;
-  int err = MEMIF_ERR_SUCCESS;
+  /* loop ms->slave_interfaces and request connection for disconnected ones */
+  TAILQ_FOREACH (c, &ms->slave_interfaces, next)
+  {
+    /* connected or connecting */
+    if (c->control_channel != NULL)
+      continue;
 
-  lm->arm = timer;
+    /* ignore errors */
+    memif_request_connection (c);
+  }
 
-  /* overwrite timer, if already armed */
-  if (lm->disconn_slaves != 0)
-    {
-      if (timerfd_settime (lm->timerfd, 0, &lm->arm, NULL) < 0)
-       {
-         err = memif_syscall_error_handler (errno);
-       }
-    }
-  return err;
+  return MEMIF_ERR_SUCCESS;
 }
 
 int
-memif_init (memif_control_fd_update_t * on_control_fd_update, char *app_name,
-           memif_alloc_t * memif_alloc, memif_realloc_t * memif_realloc,
-           memif_free_t * memif_free)
+memif_set_connection_request_timer (memif_socket_handle_t sock,
+                                   struct itimerspec timer)
 {
-  int err = MEMIF_ERR_SUCCESS; /* 0 */
-  libmemif_main_t *lm = &libmemif_main;
-  memset (lm, 0, sizeof (libmemif_main_t));
+  memif_socket_t *ms = (memif_socket_t *) sock;
+  memif_fd_event_t fde;
+  memif_fd_event_data_t *fdata;
+  void *ctx;
 
-  /* register custom memory management */
-  if (memif_alloc != NULL)
-    {
-      memif_alloc_register (lm, memif_alloc);
-    }
-  else
-    memif_alloc_register (lm, malloc);
+  if (ms == NULL)
+    return MEMIF_ERR_INVAL_ARG;
 
-  if (memif_realloc != NULL)
+  if (ms->timer_fd < 0)
     {
-      memif_realloc_register (lm, memif_realloc);
-    }
-  else
-    memif_realloc_register (lm, realloc);
+      /* only create new timer if there is a valid interval */
+      if (timer.it_interval.tv_sec == 0 && timer.it_interval.tv_nsec == 0)
+       return MEMIF_ERR_SUCCESS;
 
-  if (memif_free != NULL)
-    memif_free_register (lm, memif_free);
-  else
-    memif_free_register (lm, free);
+      /* create timerfd */
+      ms->timer_fd = timerfd_create (CLOCK_REALTIME, TFD_NONBLOCK);
+      if (ms->timer_fd < 0)
+       return memif_syscall_error_handler (errno);
 
-  if (app_name != NULL)
-    {
-      uint8_t len = (strlen (app_name) > MEMIF_NAME_LEN)
-       ? strlen (app_name) : MEMIF_NAME_LEN;
-      strncpy ((char *) lm->app_name, app_name, len);
+      /* start listening for events */
+      fdata = ms->args.alloc (sizeof (*fdata));
+      fdata->event_handler = memif_connect_handler;
+      fdata->private_ctx = ms;
+
+      fde.fd = ms->timer_fd;
+      fde.type = MEMIF_FD_EVENT_READ;
+      fde.private_ctx = fdata;
+
+      ctx = ms->epfd != -1 ? ms : ms->private_ctx;
+      ms->args.on_control_fd_update (fde, ctx);
     }
+
+  ms->args.connection_request_timer = timer;
+
+  /* arm the timer */
+  if (timerfd_settime (ms->timer_fd, 0, &ms->args.connection_request_timer,
+                      NULL) < 0)
+    return memif_syscall_error_handler (errno);
+
+  return MEMIF_ERR_SUCCESS;
+}
+
+int
+memif_create_socket (memif_socket_handle_t *sock, memif_socket_args_t *args,
+                    void *private_ctx)
+{
+  memif_socket_t *ms = (memif_socket_t *) * sock;
+  memif_fd_event_t fde;
+  memif_fd_event_data_t *fdata;
+  int i, err = MEMIF_ERR_SUCCESS;
+  void *ctx;
+
+  /* allocate memif_socket_t */
+  ms = NULL;
+  if (args->alloc != NULL)
+    ms = args->alloc (sizeof (memif_socket_t));
   else
+    ms = malloc (sizeof (memif_socket_t));
+  if (ms == NULL)
     {
-      strncpy ((char *) lm->app_name, MEMIF_DEFAULT_APP_NAME,
-              strlen (MEMIF_DEFAULT_APP_NAME));
+      err = MEMIF_ERR_NOMEM;
+      goto error;
     }
 
-  lm->poll_cancel_fd = -1;
-  /* register control fd update callback */
-  if (on_control_fd_update != NULL)
-    memif_control_fd_update_register (lm, on_control_fd_update);
-  else
-    {
-      lm->epfd = epoll_create (1);
-      memif_control_fd_update_register (lm, memif_control_fd_update);
-      if ((lm->poll_cancel_fd = eventfd (0, EFD_NONBLOCK)) < 0)
+  /* default values */
+  memset (ms, 0, sizeof (memif_socket_t));
+  ms->epfd = -1;
+  ms->listener_fd = -1;
+  ms->poll_cancel_fd = -1;
+  ms->timer_fd = -1;
+
+  /* copy arguments to internal struct */
+  memcpy (&ms->args, args, sizeof (*args));
+  ms->private_ctx = private_ctx;
+
+  if (ms->args.alloc == NULL)
+    memif_alloc_register (ms, malloc);
+  if (ms->args.realloc == NULL)
+    memif_realloc_register (ms, realloc);
+  if (ms->args.free == NULL)
+    memif_free_register (ms, free);
+
+  TAILQ_INIT (&ms->master_interfaces);
+  TAILQ_INIT (&ms->slave_interfaces);
+
+  /* FIXME: implement connection request timer */
+
+  /* initialize internal epoll */
+  if (ms->args.on_control_fd_update == NULL)
+    {
+      ms->epfd = epoll_create (1);
+      /* register default fd update callback */
+      memif_control_fd_update_register (ms, memif_control_fd_update);
+      ms->poll_cancel_fd = eventfd (0, EFD_NONBLOCK);
+      if (ms->poll_cancel_fd < 0)
        {
          err = errno;
          DBG ("eventfd: %s", strerror (err));
          return memif_syscall_error_handler (err);
        }
-      lm->control_fd_update (lm->poll_cancel_fd, MEMIF_FD_EVENT_READ, lm->private_ctx);
-      DBG ("libmemif event polling initialized");
-    }
+      /* add interrupt fd to epfd */
+      fdata = ms->args.alloc (sizeof (*fdata));
+      fdata->event_handler = memif_poll_cancel_handler;
+      fdata->private_ctx = ms;
 
-  lm->control_list_len = 2;
-  lm->interrupt_list_len = 2;
-  lm->socket_list_len = 1;
-  lm->pending_list_len = 1;
+      fde.fd = ms->poll_cancel_fd;
+      fde.type = MEMIF_FD_EVENT_READ;
+      fde.private_ctx = fdata;
 
-  lm->control_list =
-    lm->alloc (sizeof (memif_list_elt_t) * lm->control_list_len);
-  if (lm->control_list == NULL)
-    {
-      err = MEMIF_ERR_NOMEM;
-      goto error;
-    }
-  lm->interrupt_list =
-    lm->alloc (sizeof (memif_list_elt_t) * lm->interrupt_list_len);
-  if (lm->interrupt_list == NULL)
-    {
-      err = MEMIF_ERR_NOMEM;
-      goto error;
-    }
-  lm->socket_list =
-    lm->alloc (sizeof (memif_list_elt_t) * lm->socket_list_len);
-  if (lm->socket_list == NULL)
-    {
-      err = MEMIF_ERR_NOMEM;
-      goto error;
-    }
-  lm->pending_list =
-    lm->alloc (sizeof (memif_list_elt_t) * lm->pending_list_len);
-  if (lm->pending_list == NULL)
-    {
-      err = MEMIF_ERR_NOMEM;
-      goto error;
+      ctx = ms->epfd != -1 ? ms : ms->private_ctx;
+      ms->args.on_control_fd_update (fde, ctx);
     }
 
-  int i;
-  for (i = 0; i < lm->control_list_len; i++)
-    {
-      lm->control_list[i].key = -1;
-      lm->control_list[i].data_struct = NULL;
-    }
-  for (i = 0; i < lm->interrupt_list_len; i++)
-    {
-      lm->interrupt_list[i].key = -1;
-      lm->interrupt_list[i].data_struct = NULL;
-    }
-  for (i = 0; i < lm->socket_list_len; i++)
-    {
-      lm->socket_list[i].key = -1;
-      lm->socket_list[i].data_struct = NULL;
-    }
-  for (i = 0; i < lm->pending_list_len; i++)
-    {
-      lm->pending_list[i].key = -1;
-      lm->pending_list[i].data_struct = NULL;
-    }
+  err =
+    memif_set_connection_request_timer (ms, ms->args.connection_request_timer);
+  if (err != MEMIF_ERR_SUCCESS)
+    goto error;
+
+  *sock = ms;
 
-  lm->disconn_slaves = 0;
+  return err;
 
-  lm->timerfd = timerfd_create (CLOCK_REALTIME, TFD_NONBLOCK);
-  if (lm->timerfd < 0)
+error:
+  if (ms != NULL)
     {
-      err = memif_syscall_error_handler (errno);
-      goto error;
+      ms->args.free (ms);
+      if (ms->epfd != -1)
+       close (ms->epfd);
+      if (ms->poll_cancel_fd != -1)
+       close (ms->poll_cancel_fd);
     }
+  return err;
+}
 
-  lm->arm.it_value.tv_sec = MEMIF_DEFAULT_RECONNECT_PERIOD_SEC;
-  lm->arm.it_value.tv_nsec = MEMIF_DEFAULT_RECONNECT_PERIOD_NSEC;
-  lm->arm.it_interval.tv_sec = MEMIF_DEFAULT_RECONNECT_PERIOD_SEC;
-  lm->arm.it_interval.tv_nsec = MEMIF_DEFAULT_RECONNECT_PERIOD_NSEC;
+memif_socket_handle_t
+memif_get_socket_handle (memif_conn_handle_t conn)
+{
+  memif_connection_t *c = (memif_connection_t *) conn;
 
-  if (lm->control_fd_update (lm->timerfd, MEMIF_FD_EVENT_READ, lm->private_ctx) < 0)
-    {
-      DBG ("callback type memif_control_fd_update_t error!");
-      err = MEMIF_ERR_CB_FDUPDATE;
-      goto error;
-    }
+  if (c == NULL)
+    return NULL;
 
-  /* Create default socket */
-  err = memif_create_socket ((memif_socket_handle_t *) &
-                            lm->default_socket,
-                            MEMIF_DEFAULT_SOCKET_PATH, NULL);
-  if (err != MEMIF_ERR_SUCCESS)
-    goto error;
+  return c->args.socket;
+}
 
-  return err;
+const char *
+memif_get_socket_path (memif_socket_handle_t sock)
+{
+  memif_socket_t *ms = (memif_socket_t *) sock;
 
-error:
-  memif_cleanup ();
-  return err;
+  if (ms == NULL)
+    return NULL;
+
+  return ms->args.path;
 }
 
 int
-memif_per_thread_init (memif_per_thread_main_handle_t * pt_main,
-                      void *private_ctx,
-                      memif_control_fd_update_t * on_control_fd_update,
-                      char *app_name, memif_alloc_t * memif_alloc,
-                      memif_realloc_t * memif_realloc,
-                      memif_free_t * memif_free)
+memif_get_listener_fd (memif_socket_handle_t sock)
 {
-  memif_err_t err = MEMIF_ERR_SUCCESS;
-  int i;
-  libmemif_main_t *lm;
+  memif_socket_t *ms = (memif_socket_t *) sock;
 
-  /* Allocate unique libmemif main */
-  if (memif_alloc != NULL)
-    lm = memif_alloc (sizeof (libmemif_main_t));
-  else
-    lm = malloc (sizeof (libmemif_main_t));
+  if (ms == NULL)
+    return -1;
 
-  if (lm == NULL)
-    return MEMIF_ERR_NOMEM;
+  return ms->listener_fd;
+}
 
-  memset (lm, 0, sizeof (libmemif_main_t));
+int
+memif_set_listener_fd (memif_socket_handle_t sock, int fd)
+{
+  memif_socket_t *ms = (memif_socket_t *) sock;
+  memif_fd_event_t fde;
+  memif_fd_event_data_t *fdata;
+  void *ctx;
 
-  /* register custom memory management */
-  if (memif_alloc != NULL)
-    {
-      memif_alloc_register (lm, memif_alloc);
-    }
-  else
-    memif_alloc_register (lm, malloc);
+  if ((ms == NULL) || (fd < 0))
+    return MEMIF_ERR_INVAL_ARG;
 
-  if (memif_realloc != NULL)
-    {
-      memif_realloc_register (lm, memif_realloc);
-    }
-  else
-    memif_realloc_register (lm, realloc);
+  fdata = ms->args.alloc (sizeof (*fdata));
+  if (fdata == NULL)
+    return MEMIF_ERR_NOMEM;
 
-  if (memif_free != NULL)
-    memif_free_register (lm, memif_free);
-  else
-    memif_free_register (lm, free);
+  ms->listener_fd = fd;
 
-  lm->private_ctx = private_ctx;
+  fdata->event_handler = memif_listener_handler;
+  fdata->private_ctx = ms;
+  ctx = ms->epfd != -1 ? ms : ms->private_ctx;
+  /* send fd to epoll */
+  fde.fd = ms->listener_fd;
+  fde.type = MEMIF_FD_EVENT_READ;
+  fde.private_ctx = fdata;
+  ms->args.on_control_fd_update (fde, ctx);
 
-  /* set app name */
-  if (app_name != NULL)
-    {
-      uint8_t len = (strlen (app_name) > MEMIF_NAME_LEN)
-       ? strlen (app_name) : MEMIF_NAME_LEN;
-      strncpy ((char *) lm->app_name, app_name, len);
-    }
-  else
-    {
-      strncpy ((char *) lm->app_name, MEMIF_DEFAULT_APP_NAME,
-              strlen (MEMIF_DEFAULT_APP_NAME));
-    }
+  return MEMIF_ERR_SUCCESS;
+}
 
-  lm->poll_cancel_fd = -1;
-  /* register control fd update callback */
-  if (on_control_fd_update != NULL)
-    memif_control_fd_update_register (lm, on_control_fd_update);
-  else
+int
+memif_create (memif_conn_handle_t *c, memif_conn_args_t *args,
+             memif_connection_update_t *on_connect,
+             memif_connection_update_t *on_disconnect,
+             memif_on_interrupt_t *on_interrupt, void *private_ctx)
+{
+  int err, index = 0;
+  memif_connection_t *conn = (memif_connection_t *) * c;
+  memif_socket_t *ms = (memif_socket_t *) args->socket;
+
+  if (conn != NULL)
     {
-      /* private_ctx only used internally by memif_control_fd_update
-       * pointer to this libmemif main
-       */
-      lm->private_ctx = lm;
-      lm->epfd = epoll_create (1);
-      memif_control_fd_update_register (lm, memif_control_fd_update);
-      if ((lm->poll_cancel_fd = eventfd (0, EFD_NONBLOCK)) < 0)
-       {
-         err = errno;
-         DBG ("eventfd: %s", strerror (err));
-         return memif_syscall_error_handler (err);
-       }
-      lm->control_fd_update (lm->poll_cancel_fd, MEMIF_FD_EVENT_READ,
-                            lm->private_ctx);
-      DBG ("libmemif event polling initialized");
+      DBG ("This handle already points to existing memif.");
+      return MEMIF_ERR_CONN;
     }
 
-  /* Initialize lists */
-  lm->control_list_len = 2;
-  lm->interrupt_list_len = 2;
-  lm->socket_list_len = 1;
-  lm->pending_list_len = 1;
-
-  lm->control_list =
-    lm->alloc (sizeof (memif_list_elt_t) * lm->control_list_len);
-  if (lm->control_list == NULL)
+  if (ms == NULL)
     {
-      err = MEMIF_ERR_NOMEM;
-      goto error;
+      DBG ("Missing memif socket");
+      return MEMIF_ERR_INVAL_ARG;
     }
-  lm->interrupt_list =
-    lm->alloc (sizeof (memif_list_elt_t) * lm->interrupt_list_len);
-  if (lm->interrupt_list == NULL)
+
+  conn = (memif_connection_t *) ms->args.alloc (sizeof (*conn));
+  if (conn == NULL)
     {
       err = MEMIF_ERR_NOMEM;
       goto error;
     }
-  lm->socket_list =
-    lm->alloc (sizeof (memif_list_elt_t) * lm->socket_list_len);
-  if (lm->socket_list == NULL)
+  memset (conn, 0, sizeof (memif_connection_t));
+
+  conn->args.interface_id = args->interface_id;
+
+  if (args->log2_ring_size == 0)
+    args->log2_ring_size = MEMIF_DEFAULT_LOG2_RING_SIZE;
+  else if (args->log2_ring_size > MEMIF_MAX_LOG2_RING_SIZE)
     {
-      err = MEMIF_ERR_NOMEM;
-      goto error;
-    }
-  lm->pending_list =
-    lm->alloc (sizeof (memif_list_elt_t) * lm->pending_list_len);
-  if (lm->pending_list == NULL)
-    {
-      err = MEMIF_ERR_NOMEM;
-      goto error;
-    }
-
-  for (i = 0; i < lm->control_list_len; i++)
-    {
-      lm->control_list[i].key = -1;
-      lm->control_list[i].data_struct = NULL;
-    }
-  for (i = 0; i < lm->interrupt_list_len; i++)
-    {
-      lm->interrupt_list[i].key = -1;
-      lm->interrupt_list[i].data_struct = NULL;
-    }
-  for (i = 0; i < lm->socket_list_len; i++)
-    {
-      lm->socket_list[i].key = -1;
-      lm->socket_list[i].data_struct = NULL;
-    }
-  for (i = 0; i < lm->pending_list_len; i++)
-    {
-      lm->pending_list[i].key = -1;
-      lm->pending_list[i].data_struct = NULL;
-    }
-
-  /* Initialize autoconnect */
-  lm->disconn_slaves = 0;
-
-  lm->timerfd = timerfd_create (CLOCK_REALTIME, TFD_NONBLOCK);
-  if (lm->timerfd < 0)
-    {
-      err = memif_syscall_error_handler (errno);
-      goto error;
-    }
-
-  lm->arm.it_value.tv_sec = MEMIF_DEFAULT_RECONNECT_PERIOD_SEC;
-  lm->arm.it_value.tv_nsec = MEMIF_DEFAULT_RECONNECT_PERIOD_NSEC;
-  lm->arm.it_interval.tv_sec = MEMIF_DEFAULT_RECONNECT_PERIOD_SEC;
-  lm->arm.it_interval.tv_nsec = MEMIF_DEFAULT_RECONNECT_PERIOD_NSEC;
-
-  if (lm->control_fd_update (lm->timerfd, MEMIF_FD_EVENT_READ,
-                            lm->private_ctx) < 0)
-    {
-      DBG ("callback type memif_control_fd_update_t error!");
-      err = MEMIF_ERR_CB_FDUPDATE;
-      goto error;
-    }
-
-  *pt_main = lm;
-
-  return err;
-
-error:
-  *pt_main = lm;
-  memif_per_thread_cleanup (pt_main);
-  return err;
-}
-
-static inline memif_ring_t *
-memif_get_ring (memif_connection_t * conn, memif_ring_type_t type,
-               uint16_t ring_num)
-{
-  if (&conn->regions[0] == NULL)
-    return NULL;
-  void *p = conn->regions[0].addr;
-  int ring_size =
-    sizeof (memif_ring_t) +
-    sizeof (memif_desc_t) * (1 << conn->run_args.log2_ring_size);
-  p += (ring_num + type * conn->run_args.num_s2m_rings) * ring_size;
-
-  return (memif_ring_t *) p;
-}
-
-int
-memif_set_rx_mode (memif_conn_handle_t c, memif_rx_mode_t rx_mode,
-                  uint16_t qid)
-{
-  memif_connection_t *conn = (memif_connection_t *) c;
-  if (conn == NULL)
-    return MEMIF_ERR_NOCONN;
-  uint8_t num =
-    (conn->args.is_master) ? conn->run_args.num_s2m_rings : conn->
-    run_args.num_m2s_rings;
-  if (qid >= num)
-    return MEMIF_ERR_QID;
-
-  conn->rx_queues[qid].ring->flags = rx_mode;
-  DBG ("rx_mode flag: %u", conn->rx_queues[qid].ring->flags);
-  return MEMIF_ERR_SUCCESS;
-}
-
-static int
-memif_socket_start_listening (memif_socket_t * ms)
-{
-  libmemif_main_t *lm = get_libmemif_main (ms);
-  memif_list_elt_t elt;
-  struct stat file_stat;
-  struct sockaddr_un un = { 0 };
-  int on = 1;
-  int err = MEMIF_ERR_SUCCESS;
-
-  if (ms->type == MEMIF_SOCKET_TYPE_CLIENT)
-    return MEMIF_ERR_INVAL_ARG;
-
-  /* check if file exists */
-  if (stat ((char *) ms->filename, &file_stat) == 0)
-    {
-      if (S_ISSOCK (file_stat.st_mode))
-       unlink ((char *) ms->filename);
-      else
-       return memif_syscall_error_handler (errno);
-    }
-
-  ms->fd = socket (AF_UNIX, SOCK_SEQPACKET, 0);
-  if (ms->fd < 0)
-    {
-      err = memif_syscall_error_handler (errno);
-      goto error;
-    }
-
-  DBG ("socket %d created", ms->fd);
-  un.sun_family = AF_UNIX;
-  strncpy ((char *) un.sun_path, (char *) ms->filename,
-          sizeof (un.sun_path) - 1);
-  if (setsockopt (ms->fd, SOL_SOCKET, SO_PASSCRED, &on, sizeof (on)) < 0)
-    {
-      err = memif_syscall_error_handler (errno);
-      goto error;
-    }
-  if (bind (ms->fd, (struct sockaddr *) &un, sizeof (un)) < 0)
-    {
-      err = memif_syscall_error_handler (errno);
-      goto error;
-    }
-  if (listen (ms->fd, 1) < 0)
-    {
-      err = memif_syscall_error_handler (errno);
-      goto error;
-    }
-  if (stat ((char *) ms->filename, &file_stat) < 0)
-    {
-      err = memif_syscall_error_handler (errno);
-      goto error;
-    }
-
-  /* add socket to libmemif main */
-  elt.key = ms->fd;
-  elt.data_struct = ms;
-  add_list_elt (lm, &elt, &lm->socket_list, &lm->socket_list_len);
-  /* if lm->private_ctx == lm event polling is done by libmemif */
-  lm->control_fd_update (ms->fd, MEMIF_FD_EVENT_READ, lm->private_ctx);
-
-  ms->type = MEMIF_SOCKET_TYPE_LISTENER;
-
-  return err;
-
-error:
-  if (ms->fd > 0)
-    {
-      close (ms->fd);
-      ms->fd = -1;
-    }
-  return err;
-}
-
-int
-memif_create_socket (memif_socket_handle_t * sock, const char *filename,
-                    void *private_ctx)
-{
-  libmemif_main_t *lm = &libmemif_main;
-  memif_socket_t *ms = (memif_socket_t *) * sock;
-  int i, err = MEMIF_ERR_SUCCESS;
-
-  for (i = 0; i < lm->socket_list_len; i++)
-    {
-      if ((ms = (memif_socket_t *) lm->socket_list[i].data_struct) != NULL)
-       {
-         if (strncmp ((char *) ms->filename, filename,
-                      strlen ((char *) ms->filename)) == 0)
-           return MEMIF_ERR_INVAL_ARG;
-       }
-    }
-
-  /* allocate memif_socket_t */
-  ms = NULL;
-  ms = lm->alloc (sizeof (memif_socket_t));
-  if (ms == NULL)
-    {
-      err = MEMIF_ERR_NOMEM;
-      goto error;
-    }
-  memset (ms, 0, sizeof (memif_socket_t));
-  /* set filename */
-  ms->filename = lm->alloc (strlen (filename) + sizeof (char));
-  if (ms->filename == NULL)
-    {
-      err = MEMIF_ERR_NOMEM;
-      goto error;
-    }
-  memset (ms->filename, 0, strlen (filename) + sizeof (char));
-  strncpy ((char *) ms->filename, filename, strlen (filename));
-
-  ms->type = MEMIF_SOCKET_TYPE_NONE;
-
-  ms->interface_list_len = 1;
-  ms->interface_list =
-    lm->alloc (sizeof (memif_list_elt_t) * ms->interface_list_len);
-  if (ms->interface_list == NULL)
-    {
-      err = MEMIF_ERR_NOMEM;
-      goto error;
-    }
-  ms->interface_list[0].key = -1;
-  ms->interface_list[0].data_struct = NULL;
-
-  *sock = ms;
-
-  return err;
-
-error:
-  if (ms != NULL)
-    {
-      if (ms->filename != NULL)
-       {
-         lm->free (ms->filename);
-         ms->filename = NULL;
-       }
-      if (ms->fd > 0)
-       {
-         close (ms->fd);
-         ms->fd = -1;
-       }
-      if (ms->interface_list != NULL)
-       {
-         lm->free (ms->interface_list);
-         ms->interface_list = NULL;
-         ms->interface_list_len = 0;
-       }
-      lm->free (ms);
-      *sock = ms = NULL;
-    }
-  return err;
-}
-
-int
-memif_per_thread_create_socket (memif_per_thread_main_handle_t pt_main,
-                               memif_socket_handle_t * sock,
-                               const char *filename, void *private_ctx)
-{
-  libmemif_main_t *lm = (libmemif_main_t *) pt_main;
-  memif_socket_t *ms = (memif_socket_t *) * sock;
-  int i, err = MEMIF_ERR_SUCCESS;
-
-  if (lm == NULL)
-    return MEMIF_ERR_INVAL_ARG;
-
-  for (i = 0; i < lm->socket_list_len; i++)
-    {
-      if ((ms = (memif_socket_t *) lm->socket_list[i].data_struct) != NULL)
-       {
-         if (strncmp ((char *) ms->filename, filename,
-                      strlen ((char *) ms->filename)) == 0)
-           return MEMIF_ERR_INVAL_ARG;
-       }
-    }
-
-  /* allocate memif_socket_t */
-  ms = NULL;
-  ms = lm->alloc (sizeof (memif_socket_t));
-  if (ms == NULL)
-    {
-      err = MEMIF_ERR_NOMEM;
-      goto error;
-    }
-  memset (ms, 0, sizeof (memif_socket_t));
-  ms->lm = lm;
-  /* set filename */
-  ms->filename = lm->alloc (strlen (filename) + sizeof (char));
-  if (ms->filename == NULL)
-    {
-      err = MEMIF_ERR_NOMEM;
-      goto error;
-    }
-  memset (ms->filename, 0, strlen (filename) + sizeof (char));
-  strncpy ((char *) ms->filename, filename, strlen (filename));
-
-  ms->type = MEMIF_SOCKET_TYPE_NONE;
-
-  ms->interface_list_len = 1;
-  ms->interface_list =
-    lm->alloc (sizeof (memif_list_elt_t) * ms->interface_list_len);
-  if (ms->interface_list == NULL)
-    {
-      err = MEMIF_ERR_NOMEM;
-      goto error;
-    }
-  ms->interface_list[0].key = -1;
-  ms->interface_list[0].data_struct = NULL;
-
-  *sock = ms;
-
-  return err;
-
-error:
-  if (ms != NULL)
-    {
-      if (ms->filename != NULL)
-       {
-         lm->free (ms->filename);
-         ms->filename = NULL;
-       }
-      if (ms->fd > 0)
-       {
-         close (ms->fd);
-         ms->fd = -1;
-       }
-      if (ms->interface_list != NULL)
-       {
-         lm->free (ms->interface_list);
-         ms->interface_list = NULL;
-         ms->interface_list_len = 0;
-       }
-      lm->free (ms);
-      *sock = ms = NULL;
-    }
-  return err;
-}
-
-int
-memif_create (memif_conn_handle_t * c, memif_conn_args_t * args,
-             memif_connection_update_t * on_connect,
-             memif_connection_update_t * on_disconnect,
-             memif_interrupt_t * on_interrupt, void *private_ctx)
-{
-  libmemif_main_t *lm = get_libmemif_main (args->socket);
-  int err, index = 0;
-  memif_list_elt_t elt;
-  memif_connection_t *conn = (memif_connection_t *) * c;
-  memif_socket_t *ms;
-
-  if (conn != NULL)
-    {
-      DBG ("This handle already points to existing memif.");
-      return MEMIF_ERR_CONN;
-    }
-
-  conn = (memif_connection_t *) lm->alloc (sizeof (memif_connection_t));
-  if (conn == NULL)
-    {
-      err = MEMIF_ERR_NOMEM;
-      goto error;
-    }
-  memset (conn, 0, sizeof (memif_connection_t));
-
-  conn->args.interface_id = args->interface_id;
-
-  if (args->log2_ring_size == 0)
-    args->log2_ring_size = MEMIF_DEFAULT_LOG2_RING_SIZE;
-  else if (args->log2_ring_size > MEMIF_MAX_LOG2_RING_SIZE)
-    {
-      err = MEMIF_ERR_MAX_RING;
+      err = MEMIF_ERR_MAX_RING;
       goto error;
     }
   if (args->buffer_size == 0)
@@ -1139,117 +686,85 @@ memif_create (memif_conn_handle_t * c, memif_conn_args_t * args,
   conn->args.log2_ring_size = args->log2_ring_size;
   conn->args.is_master = args->is_master;
   conn->args.mode = args->mode;
-  conn->msg_queue = NULL;
+  conn->args.socket = args->socket;
   conn->regions = NULL;
   conn->tx_queues = NULL;
   conn->rx_queues = NULL;
-  conn->fd = -1;
+  conn->control_channel = NULL;
   conn->on_connect = on_connect;
   conn->on_disconnect = on_disconnect;
   conn->on_interrupt = on_interrupt;
   conn->private_ctx = private_ctx;
   memset (&conn->run_args, 0, sizeof (memif_conn_run_args_t));
 
-  uint8_t l = strlen ((char *) args->interface_name);
-  strncpy ((char *) conn->args.interface_name, (char *) args->interface_name,
+  uint8_t l = sizeof (conn->args.interface_name);
+  strlcpy ((char *) conn->args.interface_name, (char *) args->interface_name,
           l);
 
   if ((l = strlen ((char *) args->secret)) > 0)
-    strncpy ((char *) conn->args.secret, (char *) args->secret, l);
+    strlcpy ((char *) conn->args.secret, (char *) args->secret,
+            sizeof (conn->args.secret));
 
-  if (args->socket != NULL)
-    conn->args.socket = args->socket;
-  else if (lm->default_socket != NULL)
-    conn->args.socket = lm->default_socket;
+  if (args->is_master)
+    TAILQ_INSERT_TAIL (&ms->master_interfaces, conn, next);
   else
-    {
-      err = MEMIF_ERR_INVAL_ARG;
-      goto error;
-    }
+    TAILQ_INSERT_TAIL (&ms->slave_interfaces, conn, next);
 
-  ms = (memif_socket_t *) conn->args.socket;
-
-  if ((conn->args.is_master && ms->type == MEMIF_SOCKET_TYPE_CLIENT) ||
-      (!conn->args.is_master && ms->type == MEMIF_SOCKET_TYPE_LISTENER))
+  err = memif_request_connection (conn);
+  if (err != MEMIF_ERR_SUCCESS && err != MEMIF_ERR_CONNREFUSED)
     {
-      err = MEMIF_ERR_INVAL_ARG;
+      if (args->is_master)
+       TAILQ_REMOVE (&ms->master_interfaces, conn, next);
+      else
+       TAILQ_REMOVE (&ms->slave_interfaces, conn, next);
       goto error;
     }
 
-  elt.key = conn->args.interface_id;
-  elt.data_struct = conn;
-  add_list_elt (lm, &elt, &ms->interface_list, &ms->interface_list_len);
-  ms->use_count++;
-
-  if (conn->args.is_master)
-    {
-      if (ms->type == MEMIF_SOCKET_TYPE_NONE)
-       {
-         err = memif_socket_start_listening (ms);
-         if (err != MEMIF_ERR_SUCCESS)
-           goto error;
-       }
-    }
-  else
-    {
-      elt.key = -1;
-      elt.data_struct = conn;
-      if ((index =
-          add_list_elt (lm, &elt, &lm->control_list,
-                        &lm->control_list_len)) < 0)
-       {
-         err = MEMIF_ERR_NOMEM;
-         goto error;
-       }
-
-      conn->index = index;
-
-      /* try connectiong to master */
-      err = memif_request_connection (conn);
-      if ((err != MEMIF_ERR_SUCCESS) && (lm->disconn_slaves == 0))
-       {
-         /* connection failed, arm reconnect timer (if not armed) */
-         if (timerfd_settime (lm->timerfd, 0, &lm->arm, NULL) < 0)
-           {
-             err = memif_syscall_error_handler (errno);
-             goto error;
-           }
-       }
-      lm->disconn_slaves++;
-    }
-
   *c = conn;
 
   return 0;
 
 error:
   if (conn != NULL)
-    lm->free (conn);
+    ms->args.free (conn);
   *c = conn = NULL;
   return err;
 }
 
+static inline int
+memif_path_is_abstract (const char *filename)
+{
+  return (filename[0] == '@');
+}
+
 int
 memif_request_connection (memif_conn_handle_t c)
 {
   memif_connection_t *conn = (memif_connection_t *) c;
-  libmemif_main_t *lm;
   memif_socket_t *ms;
   int err = MEMIF_ERR_SUCCESS;
   int sockfd = -1;
-  struct sockaddr_un sun;
+  struct sockaddr_un un = { 0 };
+  struct stat file_stat;
+  int on = 1;
+  memif_control_channel_t *cc = NULL;
+  memif_fd_event_t fde;
+  memif_fd_event_data_t *fdata = NULL;
+  int sunlen = sizeof (un);
+  void *ctx;
 
   if (conn == NULL)
     return MEMIF_ERR_NOCONN;
 
   ms = (memif_socket_t *) conn->args.socket;
-  lm = get_libmemif_main (ms);
-
 
-  if (conn->args.is_master || ms->type == MEMIF_SOCKET_TYPE_LISTENER)
-    return MEMIF_ERR_INVAL_ARG;
-  if (conn->fd > 0)
+  /* if control channel is assigned, the interface is either connected or
+   * connecting */
+  if (conn->control_channel != NULL)
     return MEMIF_ERR_ALRCONN;
+  /* if interface is master and the socket is already listener we are done */
+  if (conn->args.is_master && (ms->listener_fd != -1))
+    return MEMIF_ERR_SUCCESS;
 
   sockfd = socket (AF_UNIX, SOCK_SEQPACKET, 0);
   if (sockfd < 0)
@@ -1258,334 +773,155 @@ memif_request_connection (memif_conn_handle_t c)
       goto error;
     }
 
-  sun.sun_family = AF_UNIX;
-
-  strncpy (sun.sun_path, (char *) ms->filename, sizeof (sun.sun_path) - 1);
-
-  if (connect (sockfd, (struct sockaddr *) &sun,
-              sizeof (struct sockaddr_un)) == 0)
-    {
-      conn->fd = sockfd;
-      conn->read_fn = memif_conn_fd_read_ready;
-      conn->write_fn = memif_conn_fd_write_ready;
-      conn->error_fn = memif_conn_fd_error;
+  un.sun_family = AF_UNIX;
 
-      lm->control_list[conn->index].key = conn->fd;
-      lm->control_fd_update (sockfd,
-                            MEMIF_FD_EVENT_READ |
-                            MEMIF_FD_EVENT_WRITE, lm->private_ctx);
+  /* use memcpy to support abstract socket
+   * ms->args.path is already a valid socket path
+   */
+  memcpy (un.sun_path, ms->args.path, sizeof (un.sun_path) - 1);
 
-      lm->disconn_slaves--;
-      if (lm->disconn_slaves == 0)
-       {
-         if (timerfd_settime (lm->timerfd, 0, &lm->disarm, NULL) < 0)
-           {
-             err = memif_syscall_error_handler (errno);
-             return err;
-           }
-       }
-    }
-  else
+  /* allocate fd event data */
+  fdata = ms->args.alloc (sizeof (*fdata));
+  if (fdata == NULL)
     {
-      err = memif_syscall_error_handler (errno);
-      strcpy ((char *) conn->remote_disconnect_string, memif_strerror (err));
+      err = MEMIF_ERR_NOMEM;
       goto error;
     }
 
-  ms->type = MEMIF_SOCKET_TYPE_CLIENT;
-
-  return err;
-
-error:
-  if (sockfd > 0)
-    close (sockfd);
-  sockfd = -1;
-  return err;
-}
-
-int
-memif_control_fd_handler (int fd, uint8_t events)
-{
-  int i, err = MEMIF_ERR_SUCCESS;      /* 0 */
-  uint16_t num;
-  memif_list_elt_t *e = NULL;
-  memif_connection_t *conn;
-  libmemif_main_t *lm = &libmemif_main;
-  if (fd == lm->timerfd)
+  if (memif_path_is_abstract (ms->args.path))
     {
-      uint64_t b;
-      ssize_t size;
-      size = read (fd, &b, sizeof (b));
-
-      if (size == -1)
-       goto error;
-
-      for (i = 0; i < lm->control_list_len; i++)
-       {
-         if ((lm->control_list[i].key < 0)
-             && (lm->control_list[i].data_struct != NULL))
-           {
-             conn = lm->control_list[i].data_struct;
-             if (conn->args.is_master)
-               continue;
-             err = memif_request_connection (conn);
-             if (err != MEMIF_ERR_SUCCESS)
-               DBG ("memif_request_connection: %s", memif_strerror (err));
-           }
-       }
+      /* Ensure the string is NULL terminated */
+      un.sun_path[sizeof (un.sun_path) - 1] = '\0';
+      /* sunlen is strlen(un.sun_path) + sizeof(un.sun_family) */
+      sunlen = strlen (un.sun_path) + (sizeof (un) - sizeof (un.sun_path));
+      /* Handle abstract socket by converting '@' -> '\0' */
+      un.sun_path[0] = '\0';
     }
-  else
+
+  if (conn->args.is_master != 0)
     {
-      get_list_elt (&e, lm->interrupt_list, lm->interrupt_list_len, fd);
-      if (e != NULL)
+      /* Configure socket optins */
+      if (setsockopt (sockfd, SOL_SOCKET, SO_PASSCRED, &on, sizeof (on)) < 0)
        {
-         if (((memif_connection_t *) e->data_struct)->on_interrupt != NULL)
-           {
-             num =
-               (((memif_connection_t *) e->data_struct)->
-                args.is_master) ? ((memif_connection_t *) e->
-                                   data_struct)->run_args.
-               num_s2m_rings : ((memif_connection_t *) e->data_struct)->
-               run_args.num_m2s_rings;
-             for (i = 0; i < num; i++)
-               {
-                 if (((memif_connection_t *) e->data_struct)->
-                     rx_queues[i].int_fd == fd)
-                   {
-                     ((memif_connection_t *) e->data_struct)->
-                       on_interrupt ((void *) e->data_struct,
-                                     ((memif_connection_t *) e->
-                                      data_struct)->private_ctx, i);
-                     return MEMIF_ERR_SUCCESS;
-                   }
-               }
-           }
-         return MEMIF_ERR_SUCCESS;
+         err = memif_syscall_error_handler (errno);
+         goto error;
        }
-      get_list_elt (&e, lm->socket_list, lm->socket_list_len, fd);
-      if (e != NULL
-         && ((memif_socket_t *) e->data_struct)->type ==
-         MEMIF_SOCKET_TYPE_LISTENER)
+      if (bind (sockfd, (struct sockaddr *) &un, sunlen) < 0)
        {
-         err =
-           memif_conn_fd_accept_ready ((memif_socket_t *) e->data_struct);
-         return err;
+         err = memif_syscall_error_handler (errno);
+         goto error;
        }
-
-      get_list_elt (&e, lm->pending_list, lm->pending_list_len, fd);
-      if (e != NULL)
+      if (listen (sockfd, 1) < 0)
        {
-         err = memif_read_ready (lm, fd);
-         return err;
+         err = memif_syscall_error_handler (errno);
+         goto error;
        }
-
-      get_list_elt (&e, lm->control_list, lm->control_list_len, fd);
-      if (e != NULL)
+      if (!memif_path_is_abstract (ms->args.path))
        {
-         if (events & MEMIF_FD_EVENT_READ)
-           {
-             err =
-               ((memif_connection_t *) e->data_struct)->
-               read_fn (e->data_struct);
-             if (err != MEMIF_ERR_SUCCESS)
-               return err;
-           }
-         if (events & MEMIF_FD_EVENT_WRITE)
-           {
-             err =
-               ((memif_connection_t *) e->data_struct)->
-               write_fn (e->data_struct);
-             if (err != MEMIF_ERR_SUCCESS)
-               return err;
-           }
-         if (events & MEMIF_FD_EVENT_ERROR)
+         /* Verify that the socket was created */
+         if (stat ((char *) ms->args.path, &file_stat) < 0)
            {
-             err =
-               ((memif_connection_t *) e->data_struct)->
-               error_fn (e->data_struct);
-             if (err != MEMIF_ERR_SUCCESS)
-               return err;
+             err = memif_syscall_error_handler (errno);
+             goto error;
            }
        }
-    }
-
-  return MEMIF_ERR_SUCCESS;    /* 0 */
 
-error:
-  return err;
-}
-
-int
-memif_per_thread_control_fd_handler (memif_per_thread_main_handle_t pt_main,
-                                    int fd, uint8_t events)
-{
-  int i, err = MEMIF_ERR_SUCCESS;      /* 0 */
-  uint16_t num;
-  memif_list_elt_t *e = NULL;
-  memif_connection_t *conn;
-  libmemif_main_t *lm = (libmemif_main_t *) pt_main;
+      /* assign listener fd */
+      ms->listener_fd = sockfd;
 
-  if (fd == lm->timerfd)
-    {
-      uint64_t b;
-      ssize_t size;
-      size = read (fd, &b, sizeof (b));
-
-      if (size == -1)
-       goto error;
-
-      for (i = 0; i < lm->control_list_len; i++)
-       {
-         if ((lm->control_list[i].key < 0)
-             && (lm->control_list[i].data_struct != NULL))
-           {
-             conn = lm->control_list[i].data_struct;
-             if (conn->args.is_master)
-               continue;
-             err = memif_request_connection (conn);
-             if (err != MEMIF_ERR_SUCCESS)
-               DBG ("memif_request_connection: %s", memif_strerror (err));
-           }
-       }
+      fdata->event_handler = memif_listener_handler;
+      fdata->private_ctx = ms;
     }
   else
     {
-      get_list_elt (&e, lm->interrupt_list, lm->interrupt_list_len, fd);
-      if (e != NULL)
+      cc = ms->args.alloc (sizeof (*cc));
+      if (cc == NULL)
        {
-         if (((memif_connection_t *) e->data_struct)->on_interrupt != NULL)
-           {
-             num =
-               (((memif_connection_t *) e->data_struct)->
-                args.is_master) ? ((memif_connection_t *) e->
-                                   data_struct)->run_args.
-               num_s2m_rings : ((memif_connection_t *) e->data_struct)->
-               run_args.num_m2s_rings;
-             for (i = 0; i < num; i++)
-               {
-                 if (((memif_connection_t *) e->data_struct)->
-                     rx_queues[i].int_fd == fd)
-                   {
-                     ((memif_connection_t *) e->data_struct)->
-                       on_interrupt ((void *) e->data_struct,
-                                     ((memif_connection_t *) e->
-                                      data_struct)->private_ctx, i);
-                     return MEMIF_ERR_SUCCESS;
-                   }
-               }
-           }
-         return MEMIF_ERR_SUCCESS;
-       }
-      get_list_elt (&e, lm->socket_list, lm->socket_list_len, fd);
-      if (e != NULL
-         && ((memif_socket_t *) e->data_struct)->type ==
-         MEMIF_SOCKET_TYPE_LISTENER)
-       {
-         err =
-           memif_conn_fd_accept_ready ((memif_socket_t *) e->data_struct);
-         return err;
+         err = MEMIF_ERR_NOMEM;
+         goto error;
        }
-
-      get_list_elt (&e, lm->pending_list, lm->pending_list_len, fd);
-      if (e != NULL)
+      if (connect (sockfd, (struct sockaddr *) &un, sunlen) != 0)
        {
-         err = memif_read_ready (lm, fd);
-         return err;
+         err = MEMIF_ERR_CONNREFUSED;
+         goto error;
        }
 
-      get_list_elt (&e, lm->control_list, lm->control_list_len, fd);
-      if (e != NULL)
-       {
-         if (events & MEMIF_FD_EVENT_READ)
-           {
-             err =
-               ((memif_connection_t *) e->data_struct)->
-               read_fn (e->data_struct);
-             if (err != MEMIF_ERR_SUCCESS)
-               return err;
-           }
-         if (events & MEMIF_FD_EVENT_WRITE)
-           {
-             err =
-               ((memif_connection_t *) e->data_struct)->
-               write_fn (e->data_struct);
-             if (err != MEMIF_ERR_SUCCESS)
-               return err;
-           }
-         if (events & MEMIF_FD_EVENT_ERROR)
-           {
-             err =
-               ((memif_connection_t *) e->data_struct)->
-               error_fn (e->data_struct);
-             if (err != MEMIF_ERR_SUCCESS)
-               return err;
-           }
-       }
+      /* Create control channel */
+      cc->fd = sockfd;
+      cc->sock = ms;
+      cc->conn = conn;
+      TAILQ_INIT (&cc->msg_queue);
+
+      /* assign control channel to endpoint */
+      conn->control_channel = cc;
+
+      fdata->event_handler = memif_control_channel_handler;
+      fdata->private_ctx = cc;
     }
 
-  return MEMIF_ERR_SUCCESS;    /* 0 */
+  /* if event polling is done internally, send memif socket as context */
+  ctx = ms->epfd != -1 ? ms : ms->private_ctx;
+  /* send fd to epoll */
+  fde.fd = sockfd;
+  fde.type = MEMIF_FD_EVENT_READ;
+  fde.private_ctx = fdata;
+  ms->args.on_control_fd_update (fde, ctx);
+
+  return err;
 
 error:
+  if (sockfd > 0)
+    close (sockfd);
+  sockfd = -1;
+  if (fdata != NULL)
+    ms->args.free (fdata);
+  fdata = NULL;
+  if (cc != NULL)
+    ms->args.free (cc);
+  conn->control_channel = cc = NULL;
   return err;
 }
 
 int
-memif_poll_event (int timeout)
+memif_control_fd_handler (void *ptr, memif_fd_event_type_t events)
 {
-  libmemif_main_t *lm = &libmemif_main;
-  struct epoll_event evt;
-  int en = 0, err = MEMIF_ERR_SUCCESS; /* 0 */
-  uint32_t events = 0;
-  uint64_t counter = 0;
-  ssize_t r = 0;
-  memset (&evt, 0, sizeof (evt));
-  evt.events = EPOLLIN | EPOLLOUT;
-  sigset_t sigset;
-  sigemptyset (&sigset);
-  en = epoll_pwait (lm->epfd, &evt, 1, timeout, &sigset);
-  if (en < 0)
-    {
-      err = errno;
-      DBG ("epoll_pwait: %s", strerror (err));
-      return memif_syscall_error_handler (err);
-    }
-  if (en > 0)
-    {
-      if (evt.data.fd == lm->poll_cancel_fd)
-       {
-         r = read (evt.data.fd, &counter, sizeof (counter));
-         if (r == -1)
-           return MEMIF_ERR_DISCONNECTED;
+  memif_fd_event_data_t *fdata = (memif_fd_event_data_t *) ptr;
 
-         return MEMIF_ERR_POLL_CANCEL;
-       }
-      if (evt.events & EPOLLIN)
-       events |= MEMIF_FD_EVENT_READ;
-      if (evt.events & EPOLLOUT)
-       events |= MEMIF_FD_EVENT_WRITE;
-      if (evt.events & EPOLLERR)
-       events |= MEMIF_FD_EVENT_ERROR;
-      err = memif_control_fd_handler (evt.data.fd, events);
-      return err;
-    }
-  return 0;
+  if (fdata == NULL)
+    return MEMIF_ERR_INVAL_ARG;
+
+  return fdata->event_handler (events, fdata->private_ctx);
+}
+
+int
+memif_interrupt_handler (memif_fd_event_type_t type, void *private_ctx)
+{
+  memif_interrupt_t *idata = (memif_interrupt_t *) private_ctx;
+
+  if (idata == NULL)
+    return MEMIF_ERR_INVAL_ARG;
+
+  return idata->c->on_interrupt (idata->c, idata->c->private_ctx, idata->qid);
 }
 
 int
-memif_per_thread_poll_event (memif_per_thread_main_handle_t pt_main,
-                            int timeout)
+memif_poll_event (memif_socket_handle_t sock, int timeout)
 {
-  libmemif_main_t *lm = (libmemif_main_t *) pt_main;
+  memif_socket_t *ms = (memif_socket_t *) sock;
   struct epoll_event evt;
   int en = 0, err = MEMIF_ERR_SUCCESS; /* 0 */
-  uint32_t events = 0;
+  memif_fd_event_type_t events = 0;
   uint64_t counter = 0;
   ssize_t r = 0;
+  sigset_t sigset;
+
+  if (ms == NULL)
+    return MEMIF_ERR_INVAL_ARG;
+
   memset (&evt, 0, sizeof (evt));
   evt.events = EPOLLIN | EPOLLOUT;
-  sigset_t sigset;
   sigemptyset (&sigset);
-  en = epoll_pwait (lm->epfd, &evt, 1, timeout, &sigset);
+  en = epoll_pwait (ms->epfd, &evt, 1, timeout, &sigset);
   if (en < 0)
     {
       err = errno;
@@ -1594,70 +930,58 @@ memif_per_thread_poll_event (memif_per_thread_main_handle_t pt_main,
     }
   if (en > 0)
     {
-      if (evt.data.fd == lm->poll_cancel_fd)
-       {
-         r = read (evt.data.fd, &counter, sizeof (counter));
-         if (r == -1)
-           return MEMIF_ERR_DISCONNECTED;
-
-         return MEMIF_ERR_POLL_CANCEL;
-       }
       if (evt.events & EPOLLIN)
        events |= MEMIF_FD_EVENT_READ;
       if (evt.events & EPOLLOUT)
        events |= MEMIF_FD_EVENT_WRITE;
       if (evt.events & EPOLLERR)
        events |= MEMIF_FD_EVENT_ERROR;
-      err = memif_control_fd_handler (evt.data.fd, events);
-      return err;
+      return memif_control_fd_handler (evt.data.ptr, events);
     }
-  return 0;
-}
-
-int
-memif_cancel_poll_event ()
-{
-  libmemif_main_t *lm = &libmemif_main;
-  uint64_t counter = 1;
-  ssize_t w = 0;
-
-  if (lm->poll_cancel_fd == -1)
-    return 0;
-  w = write (lm->poll_cancel_fd, &counter, sizeof (counter));
-  if (w < sizeof (counter))
-    return MEMIF_ERR_INT_WRITE;
-
-  return 0;
+  return MEMIF_ERR_SUCCESS;
 }
 
 int
-memif_per_thread_cancel_poll_event (memif_per_thread_main_handle_t pt_main)
+memif_cancel_poll_event (memif_socket_handle_t sock)
 {
-  libmemif_main_t *lm = (libmemif_main_t *) pt_main;
+  memif_socket_t *ms = (memif_socket_t *) sock;
   uint64_t counter = 1;
   ssize_t w = 0;
 
-  if (lm == NULL)
+  if (ms->poll_cancel_fd == -1)
     return MEMIF_ERR_INVAL_ARG;
-
-  if (lm->poll_cancel_fd == -1)
-    return 0;
-  w = write (lm->poll_cancel_fd, &counter, sizeof (counter));
+  w = write (ms->poll_cancel_fd, &counter, sizeof (counter));
   if (w < sizeof (counter))
     return MEMIF_ERR_INT_WRITE;
 
-  return 0;
+  return MEMIF_ERR_SUCCESS;
 }
 
-static void
-memif_msg_queue_free (libmemif_main_t * lm, memif_msg_queue_elt_t ** e)
+void
+memif_close_queues (memif_socket_t *ms, memif_queue_t *queues, int nqueues)
 {
-  if (*e == NULL)
-    return;
-  memif_msg_queue_free (lm, &(*e)->next);
-  lm->free (*e);
-  *e = NULL;
-  return;
+  memif_fd_event_t fde;
+  memif_queue_t *mq;
+  void *ctx;
+
+  int i;
+  for (i = 0; i < nqueues; i++)
+    {
+      mq = &queues[i];
+      if (mq != NULL)
+       {
+         if (mq->int_fd > 0)
+           {
+             /* Stop listening for events */
+             fde.fd = mq->int_fd;
+             fde.type = MEMIF_FD_EVENT_DEL;
+             ctx = ms->epfd != -1 ? ms : ms->private_ctx;
+             ms->args.on_control_fd_update (fde, ctx);
+             close (mq->int_fd);
+           }
+         mq->int_fd = -1;
+       }
+    }
 }
 
 /* send disconnect msg and close interface */
@@ -1666,85 +990,43 @@ memif_disconnect_internal (memif_connection_t * c)
 {
   int err = MEMIF_ERR_SUCCESS, i;      /* 0 */
   memif_queue_t *mq;
-  libmemif_main_t *lm;
-  memif_list_elt_t *e;
-
-  if (c == NULL)
-    {
-      DBG ("no connection");
-      return MEMIF_ERR_NOCONN;
-    }
-
-  lm = get_libmemif_main (c->args.socket);
+  memif_socket_t *ms = (memif_socket_t *) c->args.socket;
+  memif_fd_event_t fde;
+  void *ctx;
 
   c->on_disconnect ((void *) c, c->private_ctx);
 
-  if (c->fd > 0)
-    {
-      memif_msg_send_disconnect (c->fd, (uint8_t *) "interface deleted", 0);
-      lm->control_fd_update (c->fd, MEMIF_FD_EVENT_DEL, lm->private_ctx);
-      close (c->fd);
-    }
-  get_list_elt (&e, lm->control_list, lm->control_list_len, c->fd);
-  if (e != NULL)
-    {
-      if (c->args.is_master)
-       free_list_elt (lm->control_list, lm->control_list_len, c->fd);
-      e->key = c->fd = -1;
-    }
+  /* Delete control channel */
+  if (c->control_channel != NULL)
+    memif_delete_control_channel (c->control_channel);
 
   if (c->tx_queues != NULL)
     {
-      for (i = 0; i < c->tx_queues_num; i++)
-       {
-         mq = &c->tx_queues[i];
-         if (mq != NULL)
-           {
-             if (mq->int_fd > 0)
-               close (mq->int_fd);
-             free_list_elt (lm->interrupt_list, lm->interrupt_list_len,
-                            mq->int_fd);
-             mq->int_fd = -1;
-           }
-       }
-      lm->free (c->tx_queues);
+      memif_close_queues (ms, c->tx_queues, c->tx_queues_num);
+      ms->args.free (c->tx_queues);
       c->tx_queues = NULL;
     }
   c->tx_queues_num = 0;
 
   if (c->rx_queues != NULL)
     {
-      for (i = 0; i < c->rx_queues_num; i++)
-       {
-         mq = &c->rx_queues[i];
-         if (mq != NULL)
-           {
-             if (mq->int_fd > 0)
-               {
-                 if (c->on_interrupt != NULL)
-                   lm->control_fd_update (mq->int_fd, MEMIF_FD_EVENT_DEL,
-                                          lm->private_ctx);
-                 close (mq->int_fd);
-               }
-             free_list_elt (lm->interrupt_list, lm->interrupt_list_len,
-                            mq->int_fd);
-             mq->int_fd = -1;
-           }
-       }
-      lm->free (c->rx_queues);
+      memif_close_queues (ms, c->rx_queues, c->rx_queues_num);
+      ms->args.free (c->rx_queues);
       c->rx_queues = NULL;
     }
   c->rx_queues_num = 0;
 
+  /* TODO: Slave reuse regions */
+
   for (i = 0; i < c->regions_num; i++)
     {
       if (&c->regions[i] == NULL)
        continue;
       if (c->regions[i].is_external != 0)
        {
-         lm->del_external_region (c->regions[i].addr,
-                                  c->regions[i].region_size,
-                                  c->regions[i].fd, c->private_ctx);
+         ms->del_external_region (c->regions[i].addr,
+                                  c->regions[i].region_size, c->regions[i].fd,
+                                  c->private_ctx);
        }
       else
        {
@@ -1755,27 +1037,12 @@ memif_disconnect_internal (memif_connection_t * c)
          c->regions[i].fd = -1;
        }
     }
-  lm->free (c->regions);
+  ms->args.free (c->regions);
   c->regions = NULL;
   c->regions_num = 0;
 
   memset (&c->run_args, 0, sizeof (memif_conn_run_args_t));
 
-  memif_msg_queue_free (lm, &c->msg_queue);
-
-  if (!(c->args.is_master))
-    {
-      if (lm->disconn_slaves == 0)
-       {
-         if (timerfd_settime (lm->timerfd, 0, &lm->arm, NULL) < 0)
-           {
-             err = memif_syscall_error_handler (errno);
-             DBG ("timerfd_settime: arm");
-           }
-       }
-      lm->disconn_slaves++;
-    }
-
   return err;
 }
 
@@ -1787,26 +1054,44 @@ memif_get_socket_filename (memif_socket_handle_t sock)
   if (ms == NULL)
     return NULL;
 
-  return (char *) ms->filename;
+  return (char *) ms->args.path;
 }
 
 int
 memif_delete_socket (memif_socket_handle_t * sock)
 {
   memif_socket_t *ms = (memif_socket_t *) * sock;
-  libmemif_main_t *lm;
+  memif_fd_event_t fde;
+  void *ctx;
 
   /* check if socket is in use */
-  if (ms == NULL || ms->use_count > 0)
+  if (ms == NULL || !TAILQ_EMPTY (&ms->master_interfaces) ||
+      !TAILQ_EMPTY (&ms->slave_interfaces))
     return MEMIF_ERR_INVAL_ARG;
 
-  lm = get_libmemif_main (ms);
+  if (ms->listener_fd > 0)
+    {
+      fde.fd = ms->listener_fd;
+      fde.type = MEMIF_FD_EVENT_DEL;
+      ctx = ms->epfd != -1 ? ms : ms->private_ctx;
+      ms->args.on_control_fd_update (fde, ctx);
+    }
+  ms->listener_fd = -1;
+
+  if (ms->poll_cancel_fd > 0)
+    {
+      fde.fd = ms->poll_cancel_fd;
+      fde.type = MEMIF_FD_EVENT_DEL;
+      ctx = ms->epfd != -1 ? ms : ms->private_ctx;
+      ms->args.on_control_fd_update (fde, ctx);
+    }
+  ms->poll_cancel_fd = -1;
 
-  lm->free (ms->interface_list);
-  ms->interface_list = NULL;
-  lm->free (ms->filename);
-  ms->filename = NULL;
-  lm->free (ms);
+  if (ms->epfd > 0)
+    close (ms->epfd);
+  ms->epfd = -1;
+
+  ms->args.free (ms);
   *sock = ms = NULL;
 
   return MEMIF_ERR_SUCCESS;
@@ -1816,8 +1101,7 @@ int
 memif_delete (memif_conn_handle_t * conn)
 {
   memif_connection_t *c = (memif_connection_t *) * conn;
-  libmemif_main_t *lm;
-  memif_socket_t *ms = NULL;
+  memif_socket_t *ms;
   int err = MEMIF_ERR_SUCCESS;
 
   if (c == NULL)
@@ -1826,50 +1110,17 @@ memif_delete (memif_conn_handle_t * conn)
       return MEMIF_ERR_NOCONN;
     }
 
-  if (c->fd > 0)
-    {
-      DBG ("DISCONNECTING");
-      err = memif_disconnect_internal (c);
-      if (err == MEMIF_ERR_NOCONN)
-       return err;
-    }
-
-  lm = get_libmemif_main (c->args.socket);
-
-  free_list_elt_ctx (lm->control_list, lm->control_list_len, c);
+  err = memif_disconnect_internal (c);
 
   ms = (memif_socket_t *) c->args.socket;
-  ms->use_count--;
-  free_list_elt (ms->interface_list, ms->interface_list_len,
-                c->args.interface_id);
-  if (ms->use_count <= 0)
-    {
-      /* stop listening on this socket */
-      if (ms->type == MEMIF_SOCKET_TYPE_LISTENER)
-       {
-         lm->control_fd_update (ms->fd, MEMIF_FD_EVENT_DEL, lm->private_ctx);
-         free_list_elt (lm->socket_list, lm->socket_list_len, ms->fd);
-         close (ms->fd);
-         ms->fd = -1;
-       }
-      /* socket not in use */
-      ms->type = MEMIF_SOCKET_TYPE_NONE;
-    }
 
-  if (!c->args.is_master)
-    {
-      lm->disconn_slaves--;
-      if (lm->disconn_slaves <= 0)
-       {
-         if (timerfd_settime (lm->timerfd, 0, &lm->disarm, NULL) < 0)
-           {
-             err = memif_syscall_error_handler (errno);
-             DBG ("timerfd_settime: disarm");
-           }
-       }
-    }
+  if (c->args.is_master)
+    TAILQ_REMOVE (&ms->master_interfaces, c, next);
+  else
+    TAILQ_REMOVE (&ms->slave_interfaces, c, next);
+  /* TODO: don't listen with empty interface queue */
 
-  lm->free (c);
+  ms->args.free (c);
   c = NULL;
 
   *conn = c;
@@ -1879,7 +1130,7 @@ memif_delete (memif_conn_handle_t * conn)
 int
 memif_connect1 (memif_connection_t * c)
 {
-  libmemif_main_t *lm;
+  memif_socket_t *ms;
   memif_region_t *mr;
   memif_queue_t *mq;
   int i;
@@ -1887,7 +1138,7 @@ memif_connect1 (memif_connection_t * c)
   if (c == NULL)
     return MEMIF_ERR_INVAL_ARG;
 
-  lm = get_libmemif_main (c->args.socket);
+  ms = (memif_socket_t *) c->args.socket;
 
   for (i = 0; i < c->regions_num; i++)
     {
@@ -1898,11 +1149,10 @@ memif_connect1 (memif_connection_t * c)
            {
              if (mr->is_external)
                {
-                 if (lm->get_external_region_addr == NULL)
+                 if (ms->get_external_region_addr == NULL)
                    return MEMIF_ERR_INVAL_ARG;
-                 mr->addr =
-                   lm->get_external_region_addr (mr->region_size, mr->fd,
-                                                 c->private_ctx);
+                 mr->addr = ms->get_external_region_addr (
+                   mr->region_size, mr->fd, c->private_ctx);
                }
              else
                {
@@ -1910,8 +1160,8 @@ memif_connect1 (memif_connection_t * c)
                    return MEMIF_ERR_NO_SHMFD;
 
                  if ((mr->addr =
-                      mmap (NULL, mr->region_size, PROT_READ | PROT_WRITE,
-                            MAP_SHARED, mr->fd, 0)) == MAP_FAILED)
+                        mmap (NULL, mr->region_size, PROT_READ | PROT_WRITE,
+                              MAP_SHARED, mr->fd, 0)) == MAP_FAILED)
                    {
                      return memif_syscall_error_handler (errno);
                    }
@@ -1931,8 +1181,7 @@ memif_connect1 (memif_connection_t * c)
              DBG ("wrong cookie on rx ring %u", i);
              return MEMIF_ERR_COOKIE;
            }
-         mq->ring->head = mq->ring->tail = mq->last_head = mq->alloc_bufs =
-           0;
+         mq->ring->head = mq->ring->tail = mq->last_head = mq->next_buf = 0;
        }
     }
 
@@ -1947,26 +1196,21 @@ memif_connect1 (memif_connection_t * c)
              DBG ("wrong cookie on tx ring %u", i);
              return MEMIF_ERR_COOKIE;
            }
-         mq->ring->head = mq->ring->tail = mq->last_head = mq->alloc_bufs =
-           0;
+         mq->ring->head = mq->ring->tail = mq->last_head = mq->next_buf = 0;
        }
     }
 
-  lm->control_fd_update (c->fd, MEMIF_FD_EVENT_READ | MEMIF_FD_EVENT_MOD,
-                        lm->private_ctx);
-
   return 0;
 }
 
 static inline int
-memif_add_region (libmemif_main_t * lm, memif_connection_t * conn,
-                 uint8_t has_buffers)
+memif_add_region (memif_connection_t *conn, uint8_t has_buffers)
 {
   memif_region_t *r;
+  memif_socket_t *ms = (memif_socket_t *) conn->args.socket;
 
-  r =
-    lm->realloc (conn->regions,
-                sizeof (memif_region_t) * ++conn->regions_num);
+  r = ms->args.realloc (conn->regions,
+                       sizeof (memif_region_t) * ++conn->regions_num);
   if (r == NULL)
     return MEMIF_ERR_NOMEM;
 
@@ -2009,10 +1253,11 @@ memif_add_region (libmemif_main_t * lm, memif_connection_t * conn,
 }
 
 static inline int
-memif_init_queues (libmemif_main_t * lm, memif_connection_t * conn)
+memif_init_queues (memif_connection_t *conn)
 {
   int i, j;
   memif_ring_t *ring;
+  memif_socket_t *ms = (memif_socket_t *) conn->args.socket;
 
   for (i = 0; i < conn->run_args.num_s2m_rings; i++)
     {
@@ -2050,23 +1295,17 @@ memif_init_queues (libmemif_main_t * lm, memif_connection_t * conn)
        }
     }
   memif_queue_t *mq;
-  DBG ("alloc: %p", lm->alloc);
-  DBG ("size: %lu", sizeof (memif_queue_t) * conn->run_args.num_s2m_rings);
-  mq =
-    (memif_queue_t *) lm->alloc (sizeof (memif_queue_t) *
-                                conn->run_args.num_s2m_rings);
+  mq = (memif_queue_t *) ms->args.alloc (sizeof (memif_queue_t) *
+                                        conn->run_args.num_s2m_rings);
   if (mq == NULL)
     return MEMIF_ERR_NOMEM;
 
   int x;
-  memif_list_elt_t e;
+
   for (x = 0; x < conn->run_args.num_s2m_rings; x++)
     {
       if ((mq[x].int_fd = eventfd (0, EFD_NONBLOCK)) < 0)
        return memif_syscall_error_handler (errno);
-      e.key = mq[x].int_fd;
-      e.data_struct = conn;
-      add_list_elt (lm, &e, &lm->interrupt_list, &lm->interrupt_list_len);
 
       mq[x].ring = memif_get_ring (conn, MEMIF_RING_S2M, x);
       DBG ("RING: %p I: %d", mq[x].ring, x);
@@ -2075,14 +1314,13 @@ memif_init_queues (libmemif_main_t * lm, memif_connection_t * conn)
       mq[x].offset =
        (void *) mq[x].ring - (void *) conn->regions[mq->region].addr;
       mq[x].last_head = mq[x].last_tail = 0;
-      mq[x].alloc_bufs = 0;
+      mq[x].next_buf = 0;
     }
   conn->tx_queues = mq;
   conn->tx_queues_num = conn->run_args.num_s2m_rings;
 
-  mq =
-    (memif_queue_t *) lm->alloc (sizeof (memif_queue_t) *
-                                conn->run_args.num_m2s_rings);
+  mq = (memif_queue_t *) ms->args.alloc (sizeof (memif_queue_t) *
+                                        conn->run_args.num_m2s_rings);
   if (mq == NULL)
     return MEMIF_ERR_NOMEM;
 
@@ -2090,9 +1328,6 @@ memif_init_queues (libmemif_main_t * lm, memif_connection_t * conn)
     {
       if ((mq[x].int_fd = eventfd (0, EFD_NONBLOCK)) < 0)
        return memif_syscall_error_handler (errno);
-      e.key = mq[x].int_fd;
-      e.data_struct = conn;
-      add_list_elt (lm, &e, &lm->interrupt_list, &lm->interrupt_list_len);
 
       mq[x].ring = memif_get_ring (conn, MEMIF_RING_M2S, x);
       DBG ("RING: %p I: %d", mq[x].ring, x);
@@ -2101,7 +1336,7 @@ memif_init_queues (libmemif_main_t * lm, memif_connection_t * conn)
       mq[x].offset =
        (void *) mq[x].ring - (void *) conn->regions[mq->region].addr;
       mq[x].last_head = mq[x].last_tail = 0;
-      mq[x].alloc_bufs = 0;
+      mq[x].next_buf = 0;
     }
   conn->rx_queues = mq;
   conn->rx_queues_num = conn->run_args.num_m2s_rings;
@@ -2113,23 +1348,16 @@ int
 memif_init_regions_and_queues (memif_connection_t * conn)
 {
   memif_region_t *r;
-  libmemif_main_t *lm;
-
-  if (conn == NULL)
-    return MEMIF_ERR_INVAL_ARG;
-
-  lm = get_libmemif_main (conn->args.socket);
+  memif_socket_t *ms = (memif_socket_t *) conn->args.socket;
 
   /* region 0. rings */
-  memif_add_region (lm, conn, /* has_buffers */ 0);
+  memif_add_region (conn, /* has_buffers */ 0);
 
   /* region 1. buffers */
-  if (lm->add_external_region)
+  if (ms->add_external_region)
     {
-      r =
-       (memif_region_t *) lm->realloc (conn->regions,
-                                       sizeof (memif_region_t) *
-                                       ++conn->regions_num);
+      r = (memif_region_t *) ms->args.realloc (
+       conn->regions, sizeof (memif_region_t) * ++conn->regions_num);
       if (r == NULL)
        return MEMIF_ERR_NOMEM;
       conn->regions = r;
@@ -2138,21 +1366,102 @@ memif_init_regions_and_queues (memif_connection_t * conn)
        conn->run_args.buffer_size * (1 << conn->run_args.log2_ring_size) *
        (conn->run_args.num_s2m_rings + conn->run_args.num_m2s_rings);
       conn->regions[1].buffer_offset = 0;
-      lm->add_external_region (&conn->regions[1].addr,
+      ms->add_external_region (&conn->regions[1].addr,
                               conn->regions[1].region_size,
                               &conn->regions[1].fd, conn->private_ctx);
       conn->regions[1].is_external = 1;
     }
   else
     {
-      memif_add_region (lm, conn, 1);
+      memif_add_region (conn, 1);
     }
 
-  memif_init_queues (lm, conn);
+  memif_init_queues (conn);
 
   return 0;
 }
 
+int
+memif_set_next_free_buffer (memif_conn_handle_t conn, uint16_t qid,
+                           memif_buffer_t *buf)
+{
+  memif_connection_t *c = (memif_connection_t *) conn;
+  if (EXPECT_FALSE (c == NULL))
+    return MEMIF_ERR_NOCONN;
+  if (EXPECT_FALSE (qid >= c->tx_queues_num))
+    return MEMIF_ERR_QID;
+  if (EXPECT_FALSE (buf == NULL))
+    return MEMIF_ERR_INVAL_ARG;
+
+  uint16_t ring_size, ns;
+  memif_queue_t *mq = &c->tx_queues[qid];
+  memif_ring_t *ring = mq->ring;
+
+  ring_size = (1 << mq->log2_ring_size);
+  if (c->args.is_master)
+    ns = ring->head - mq->next_buf;
+  else
+    ns = ring_size - mq->next_buf + ring->tail;
+
+  if ((mq->next_buf - buf->desc_index) > ns)
+    return MEMIF_ERR_INVAL_ARG;
+
+  mq->next_buf = buf->desc_index;
+
+  return MEMIF_ERR_SUCCESS;
+}
+
+static void
+memif_buffer_enq_at_idx_internal (memif_queue_t *from_q, memif_queue_t *to_q,
+                                 memif_buffer_t *buf, uint16_t slot)
+{
+  uint16_t from_mask = (1 << from_q->log2_ring_size) - 1;
+  uint16_t to_mask = (1 << to_q->log2_ring_size) - 1;
+  memif_desc_t *from_d, *to_d, tmp_d;
+
+  /* Get the descriptors */
+  from_d = &from_q->ring->desc[buf->desc_index & from_mask];
+  to_d = &to_q->ring->desc[slot & to_mask];
+
+  /* Swap descriptors */
+  tmp_d = *from_d;
+  *from_d = *to_d;
+  *to_d = tmp_d;
+
+  /* Update descriptor index and queue for clients buffer */
+  buf->desc_index = slot;
+  buf->queue = to_q;
+}
+
+int
+memif_buffer_requeue (memif_conn_handle_t conn, memif_buffer_t *buf_a,
+                     memif_buffer_t *buf_b)
+{
+  memif_connection_t *c = (memif_connection_t *) conn;
+  if (EXPECT_FALSE (c == NULL))
+    return MEMIF_ERR_NOCONN;
+  if (EXPECT_FALSE (c->args.is_master))
+    return MEMIF_ERR_INVAL_ARG;
+  if ((buf_a == NULL) || (buf_b == NULL))
+    return MEMIF_ERR_INVAL_ARG;
+
+  int err;
+  /* store buf_a information */
+  uint16_t index_a = buf_a->desc_index;
+  memif_queue_t *mq_a = buf_a->queue;
+
+  /* swap buffers, buf_a was updated with new desc_index and queue */
+  memif_buffer_enq_at_idx_internal ((memif_queue_t *) buf_a->queue,
+                                   (memif_queue_t *) buf_b->queue, buf_a,
+                                   buf_b->desc_index);
+
+  /* update buf_b desc_index and queue */
+  buf_b->desc_index = index_a;
+  buf_b->queue = mq_a;
+
+  return MEMIF_ERR_SUCCESS;
+}
+
 int
 memif_buffer_enq_tx (memif_conn_handle_t conn, uint16_t qid,
                     memif_buffer_t * bufs, uint16_t count,
@@ -2161,12 +1470,9 @@ memif_buffer_enq_tx (memif_conn_handle_t conn, uint16_t qid,
   memif_connection_t *c = (memif_connection_t *) conn;
   if (EXPECT_FALSE (c == NULL))
     return MEMIF_ERR_NOCONN;
-  if (EXPECT_FALSE (c->fd < 0))
+  if (EXPECT_FALSE (c->control_channel == NULL))
     return MEMIF_ERR_DISCONNECTED;
-  uint8_t num =
-    (c->args.is_master) ? c->run_args.num_m2s_rings : c->
-    run_args.num_s2m_rings;
-  if (EXPECT_FALSE (qid >= num))
+  if (EXPECT_FALSE (qid >= c->tx_queues_num))
     return MEMIF_ERR_QID;
   if (EXPECT_FALSE (!count_out))
     return MEMIF_ERR_INVAL_ARG;
@@ -2178,51 +1484,35 @@ memif_buffer_enq_tx (memif_conn_handle_t conn, uint16_t qid,
   memif_buffer_t *b0;
   uint16_t mask = (1 << mq->log2_ring_size) - 1;
   uint16_t ring_size;
-  uint16_t slot, ns;
+  uint16_t ns;
+  memif_queue_t *bmq;
   int err = MEMIF_ERR_SUCCESS; /* 0 */
   *count_out = 0;
 
   ring_size = (1 << mq->log2_ring_size);
-  slot = (c->args.is_master) ? ring->tail : ring->head;
-  slot += mq->alloc_bufs;
 
   /* can only be called by slave */
-  ns = ring_size - (ring->head + mq->alloc_bufs) + ring->tail;
+  ns = ring_size - mq->next_buf + ring->tail;
 
   b0 = bufs;
 
   while (count && ns)
     {
-      if (EXPECT_FALSE ((b0->flags & MEMIF_BUFFER_FLAG_RX) == 0))
-       {
-         /* not a valid buffer */
-         count--;
-         continue;
-       }
-      b0->flags &= ~MEMIF_BUFFER_FLAG_RX;
-
-      ((memif_ring_t *) b0->ring)->desc[b0->desc_index & mask].offset = ring->desc[slot & mask].offset;        /* put free buffer on rx ring */
-
-      ring->desc[slot & mask].offset =
-       (uint32_t) (b0->data -
-                   c->regions[ring->desc[slot & mask].region].addr);
-      ring->desc[slot & mask].flags &= ~MEMIF_DESC_FLAG_NEXT;
-      ring->desc[slot & mask].flags |=
-       (b0->flags & MEMIF_BUFFER_FLAG_NEXT) ? MEMIF_DESC_FLAG_NEXT : 0;
-
-      b0->desc_index = slot;
+      /* Swaps the descriptors, updates next_buf pointer and updates client
+       * memif buffer */
 
-      mq->alloc_bufs++;
-      slot++;
+      memif_buffer_enq_at_idx_internal ((memif_queue_t *) b0->queue, mq, b0,
+                                       mq->next_buf);
 
+      mq->next_buf++; /* mark the buffer as allocated */
       count--;
       ns--;
       b0++;
       *count_out += 1;
     }
 
-  DBG ("allocated: %u/%u bufs. Total %u allocated bufs", *count_out, count,
-       mq->alloc_bufs);
+  DBG ("allocated: %u/%u bufs. Next buffer pointer %d", *count_out, count,
+       mq->next_buf);
 
   if (count)
     {
@@ -2241,7 +1531,7 @@ memif_buffer_alloc (memif_conn_handle_t conn, uint16_t qid,
   memif_connection_t *c = (memif_connection_t *) conn;
   if (EXPECT_FALSE (c == NULL))
     return MEMIF_ERR_NOCONN;
-  if (EXPECT_FALSE (c->fd < 0))
+  if (EXPECT_FALSE (c->control_channel == NULL))
     return MEMIF_ERR_DISCONNECTED;
   uint8_t num =
     (c->args.is_master) ? c->run_args.num_m2s_rings : c->
@@ -2251,73 +1541,69 @@ memif_buffer_alloc (memif_conn_handle_t conn, uint16_t qid,
   if (EXPECT_FALSE (!count_out))
     return MEMIF_ERR_INVAL_ARG;
 
-  libmemif_main_t *lm = get_libmemif_main (c->args.socket);
+  memif_socket_t *ms = (memif_socket_t *) c->args.socket;
   memif_queue_t *mq = &c->tx_queues[qid];
   memif_ring_t *ring = mq->ring;
   memif_buffer_t *b0;
   uint16_t mask = (1 << mq->log2_ring_size) - 1;
-  uint32_t offset_mask = c->run_args.buffer_size - 1;
   uint16_t ring_size;
-  uint16_t slot, ns;
+  uint16_t ns;
   int err = MEMIF_ERR_SUCCESS; /* 0 */
   uint16_t dst_left, src_left;
-  uint16_t saved_count;
+  uint16_t saved_count_out, delta_count;
+  uint16_t saved_next_buf;
   memif_buffer_t *saved_b;
   *count_out = 0;
 
   ring_size = (1 << mq->log2_ring_size);
-  slot = (c->args.is_master) ? ring->tail : ring->head;
-  slot += mq->alloc_bufs;
 
   if (c->args.is_master)
-    ns = ring->head - (ring->tail + mq->alloc_bufs);
+    ns = ring->head - mq->next_buf;
   else
-    ns = ring_size - (ring->head + mq->alloc_bufs) + ring->tail;
+    ns = ring_size - mq->next_buf + ring->tail;
 
   while (count && ns)
     {
       b0 = (bufs + *count_out);
 
       saved_b = b0;
-      saved_count = count;
+      saved_count_out = *count_out;
+      saved_next_buf = mq->next_buf;
 
-      b0->desc_index = slot;
-      ring->desc[slot & mask].flags = 0;
+      b0->desc_index = mq->next_buf;
+      ring->desc[mq->next_buf & mask].flags = 0;
+      b0->flags = 0;
 
       /* slave can produce buffer with original length */
-      dst_left = (c->args.is_master) ? ring->desc[slot & mask].length :
-       c->run_args.buffer_size;
+      dst_left = (c->args.is_master) ? ring->desc[mq->next_buf & mask].length :
+                                      c->run_args.buffer_size;
       src_left = size;
 
       while (src_left)
        {
          if (EXPECT_FALSE (dst_left == 0))
            {
-             if (count && ns)
+             if (ns)
                {
-                 slot++;
-                 *count_out += 1;
-                 mq->alloc_bufs++;
-                 ns--;
-
                  ring->desc[b0->desc_index & mask].flags |=
                    MEMIF_DESC_FLAG_NEXT;
                  b0->flags |= MEMIF_BUFFER_FLAG_NEXT;
 
                  b0 = (bufs + *count_out);
-                 b0->desc_index = slot;
-                 dst_left =
-                   (c->args.is_master) ? ring->desc[slot & mask].
-                   length : c->run_args.buffer_size;
-                 ring->desc[slot & mask].flags = 0;
+                 b0->desc_index = mq->next_buf;
+                 dst_left = (c->args.is_master) ?
+                              ring->desc[mq->next_buf & mask].length :
+                              c->run_args.buffer_size;
+                 ring->desc[mq->next_buf & mask].flags = 0;
+                 b0->flags = 0;
                }
              else
                {
                  /* rollback allocated chain buffers */
-                 memset (saved_b, 0, sizeof (memif_buffer_t)
-                         * (saved_count - count + 1));
-                 *count_out -= saved_count - count;
-                 mq->alloc_bufs = saved_count - count;
+                 delta_count = *count_out - saved_count_out;
+                 memset (saved_b, 0, sizeof (memif_buffer_t) * delta_count);
+                 *count_out -= delta_count;
+                 mq->next_buf = saved_next_buf;
                  goto no_ns;
                }
            }
@@ -2326,29 +1612,27 @@ memif_buffer_alloc (memif_conn_handle_t conn, uint16_t qid,
          /* slave resets buffer offset */
          if (c->args.is_master == 0)
            {
-             memif_desc_t *d = &ring->desc[slot & mask];
-             if (lm->get_external_buffer_offset)
-               d->offset = lm->get_external_buffer_offset (c->private_ctx);
+             memif_desc_t *d = &ring->desc[mq->next_buf & mask];
+             if (ms->get_external_buffer_offset)
+               d->offset = ms->get_external_buffer_offset (c->private_ctx);
              else
-               d->offset = d->offset - (d->offset & offset_mask);
+               d->offset = d->offset - (d->offset % c->run_args.buffer_size);
            }
-         b0->data = memif_get_buffer (c, ring, slot & mask);
+         b0->data = memif_get_buffer (c, ring, mq->next_buf & mask);
 
          src_left -= b0->len;
          dst_left -= b0->len;
+         *count_out += 1;
+         mq->next_buf++;
+         ns--;
        }
-
-      slot++;
-      *count_out += 1;
-      mq->alloc_bufs++;
-      ns--;
       count--;
     }
 
 no_ns:
 
-  DBG ("allocated: %u/%u bufs. Total %u allocated bufs", *count_out, count,
-       mq->alloc_bufs);
+  DBG ("allocated: %u/%u bufs, size: %u. Next buffer pointer %d", *count_out,
+       count, size, mq->next_buf);
 
   if (count)
     {
@@ -2366,19 +1650,18 @@ memif_refill_queue (memif_conn_handle_t conn, uint16_t qid, uint16_t count,
   memif_connection_t *c = (memif_connection_t *) conn;
   if (EXPECT_FALSE (c == NULL))
     return MEMIF_ERR_NOCONN;
-  if (EXPECT_FALSE (c->fd < 0))
+  if (EXPECT_FALSE (c->control_channel == NULL))
     return MEMIF_ERR_DISCONNECTED;
   uint8_t num =
     (c->args.is_master) ? c->run_args.num_s2m_rings : c->
     run_args.num_m2s_rings;
   if (EXPECT_FALSE (qid >= num))
     return MEMIF_ERR_QID;
-  libmemif_main_t *lm = get_libmemif_main (c->args.socket);
+  memif_socket_t *ms = (memif_socket_t *) c->args.socket;
   memif_queue_t *mq = &c->rx_queues[qid];
   memif_ring_t *ring = mq->ring;
   uint16_t mask = (1 << mq->log2_ring_size) - 1;
-  uint32_t offset_mask = c->run_args.buffer_size - 1;
-  uint16_t slot;
+  uint16_t slot, counter = 0;
 
   if (c->args.is_master)
     {
@@ -2390,25 +1673,27 @@ memif_refill_queue (memif_conn_handle_t conn, uint16_t qid, uint16_t count,
     }
 
   uint16_t head = ring->head;
+  slot = head;
   uint16_t ns = (1 << mq->log2_ring_size) - head + mq->last_tail;
-  head += (count < ns) ? count : ns;
+  count = (count < ns) ? count : ns;
 
-  slot = ring->head;
   memif_desc_t *d;
-  while (slot < head)
+  while (counter < count)
     {
       d = &ring->desc[slot & mask];
       d->region = 1;
       d->length = c->run_args.buffer_size - headroom;
-      if (lm->get_external_buffer_offset)
-       d->offset = lm->get_external_buffer_offset (c->private_ctx);
+      if (ms->get_external_buffer_offset)
+       d->offset = ms->get_external_buffer_offset (c->private_ctx);
       else
-       d->offset = d->offset - (d->offset & offset_mask) + headroom;
+       d->offset =
+         d->offset - (d->offset % c->run_args.buffer_size) + headroom;
       slot++;
+      counter++;
     }
 
   MEMIF_MEMORY_BARRIER ();
-  ring->head = head;
+  ring->head = slot;
 
   return MEMIF_ERR_SUCCESS;    /* 0 */
 }
@@ -2420,7 +1705,7 @@ memif_tx_burst (memif_conn_handle_t conn, uint16_t qid,
   memif_connection_t *c = (memif_connection_t *) conn;
   if (EXPECT_FALSE (c == NULL))
     return MEMIF_ERR_NOCONN;
-  if (EXPECT_FALSE (c->fd < 0))
+  if (EXPECT_FALSE (c->control_channel == NULL))
     return MEMIF_ERR_DISCONNECTED;
   uint8_t num =
     (c->args.is_master) ? c->run_args.num_m2s_rings : c->
@@ -2434,18 +1719,54 @@ memif_tx_burst (memif_conn_handle_t conn, uint16_t qid,
   memif_ring_t *ring = mq->ring;
   uint16_t mask = (1 << mq->log2_ring_size) - 1;
   memif_buffer_t *b0;
+  memif_desc_t *d;
+  int64_t data_offset;
   *tx = 0;
-
-  if (count > mq->alloc_bufs)
-    count = mq->alloc_bufs;
+  int err = MEMIF_ERR_SUCCESS;
 
   if (EXPECT_FALSE (count == 0))
     return MEMIF_ERR_SUCCESS;
 
+  uint16_t index;
+  if (c->args.is_master)
+    index = ring->tail;
+  else
+    index = ring->head;
+
   while (count)
     {
       b0 = (bufs + *tx);
-      ring->desc[b0->desc_index & mask].length = b0->len;
+      /* set error to MEMIF_ERR_INVAL_ARG and finish the sending process
+       */
+      if ((b0->desc_index & mask) != (index & mask))
+       {
+         err = MEMIF_ERR_INVAL_ARG;
+         goto done;
+       }
+      d = &ring->desc[b0->desc_index & mask];
+      d->length = b0->len;
+      d->flags =
+       ((b0->flags & MEMIF_BUFFER_FLAG_NEXT) == 1) ? MEMIF_DESC_FLAG_NEXT : 0;
+      if (!c->args.is_master)
+       {
+         // reset headroom
+         d->offset = d->offset - (d->offset % c->run_args.buffer_size);
+         // calculate offset from user data
+         data_offset = b0->data - (d->offset + c->regions[d->region].addr);
+         if (data_offset != 0)
+           {
+             /* verify data offset and buffer length */
+             if ((data_offset < 0) ||
+                 ((data_offset + b0->len) > c->run_args.buffer_size))
+               {
+                 DBG ("slot: %d, data_offset: %ld, length: %d",
+                      b0->desc_index & mask, data_offset, b0->len);
+                 err = MEMIF_ERR_INVAL_ARG;
+                 goto done;
+               }
+             d->offset += data_offset;
+           }
+       }
 
 #ifdef MEMIF_DBG_SHM
       printf ("offset: %-6d\n", ring->desc[b0->desc_index & mask].offset);
@@ -2458,17 +1779,16 @@ memif_tx_burst (memif_conn_handle_t conn, uint16_t qid,
 
       *tx += 1;
       count--;
+      index++;
     }
 
-
+done:
   MEMIF_MEMORY_BARRIER ();
   if (c->args.is_master)
     ring->tail = b0->desc_index + 1;
   else
     ring->head = b0->desc_index + 1;
 
-  mq->alloc_bufs -= *tx;
-
   if ((ring->flags & MEMIF_RING_FLAG_MASK_INT) == 0)
     {
       uint64_t a = 1;
@@ -2477,7 +1797,7 @@ memif_tx_burst (memif_conn_handle_t conn, uint16_t qid,
        return MEMIF_ERR_INT_WRITE;
     }
 
-  return MEMIF_ERR_SUCCESS;    /* 0 */
+  return err;
 }
 
 int
@@ -2487,7 +1807,7 @@ memif_rx_burst (memif_conn_handle_t conn, uint16_t qid,
   memif_connection_t *c = (memif_connection_t *) conn;
   if (EXPECT_FALSE (c == NULL))
     return MEMIF_ERR_NOCONN;
-  if (EXPECT_FALSE (c->fd < 0))
+  if (EXPECT_FALSE (c->control_channel == NULL))
     return MEMIF_ERR_DISCONNECTED;
   uint8_t num =
     (c->args.is_master) ? c->run_args.num_s2m_rings : c->
@@ -2506,14 +1826,18 @@ memif_rx_burst (memif_conn_handle_t conn, uint16_t qid,
   *rx = 0;
 
   uint64_t b;
-  ssize_t r = read (mq->int_fd, &b, sizeof (b));
-  if (EXPECT_FALSE ((r == -1) && (errno != EAGAIN)))
-    return memif_syscall_error_handler (errno);
+  ssize_t r;
 
   cur_slot = (c->args.is_master) ? mq->last_head : mq->last_tail;
   last_slot = (c->args.is_master) ? ring->head : ring->tail;
   if (cur_slot == last_slot)
-    return MEMIF_ERR_SUCCESS;
+    {
+      r = read (mq->int_fd, &b, sizeof (b));
+      if (EXPECT_FALSE ((r == -1) && (errno != EAGAIN)))
+                       return memif_syscall_error_handler (errno);
+
+      return MEMIF_ERR_SUCCESS;
+    }
 
   ns = last_slot - cur_slot;
 
@@ -2524,24 +1848,24 @@ memif_rx_burst (memif_conn_handle_t conn, uint16_t qid,
       b0->desc_index = cur_slot;
       b0->data = memif_get_buffer (c, ring, cur_slot & mask);
       b0->len = ring->desc[cur_slot & mask].length;
+      b0->flags = 0;
       /* slave resets buffer length */
       if (c->args.is_master == 0)
        {
          ring->desc[cur_slot & mask].length = c->run_args.buffer_size;
        }
 
-      b0->flags = MEMIF_BUFFER_FLAG_RX;
       if (ring->desc[cur_slot & mask].flags & MEMIF_DESC_FLAG_NEXT)
        {
          b0->flags |= MEMIF_BUFFER_FLAG_NEXT;
          ring->desc[cur_slot & mask].flags &= ~MEMIF_DESC_FLAG_NEXT;
        }
-/*      b0->offset = ring->desc[cur_slot & mask].offset;*/
-      b0->ring = ring;
+
+      b0->queue = mq;
 #ifdef MEMIF_DBG_SHM
       printf ("data: %p\n", b0->data);
       printf ("index: %u\n", b0->desc_index);
-      printf ("ring: %p\n", b0->ring);
+      printf ("queue: %p\n", b0->queue);
       print_bytes (b0->data, b0->len, DBG_RX_BUF);
 #endif /* MEMIF_DBG_SHM */
       ns--;
@@ -2562,6 +1886,10 @@ memif_rx_burst (memif_conn_handle_t conn, uint16_t qid,
       return MEMIF_ERR_NOBUF;
     }
 
+  r = read (mq->int_fd, &b, sizeof (b));
+  if (EXPECT_FALSE ((r == -1) && (errno != EAGAIN)))
+    return memif_syscall_error_handler (errno);
+
   return MEMIF_ERR_SUCCESS;    /* 0 */
 }
 
@@ -2570,7 +1898,6 @@ memif_get_details (memif_conn_handle_t conn, memif_details_t * md,
                   char *buf, ssize_t buflen)
 {
   memif_connection_t *c = (memif_connection_t *) conn;
-  libmemif_main_t *lm;
   memif_socket_t *ms;
   int err = MEMIF_ERR_SUCCESS, i;
   ssize_t l0 = 0, l1;
@@ -2579,7 +1906,6 @@ memif_get_details (memif_conn_handle_t conn, memif_details_t * md,
     return MEMIF_ERR_NOCONN;
 
   ms = (memif_socket_t *) c->args.socket;
-  lm = get_libmemif_main (ms);
 
   l1 = strlen ((char *) c->args.interface_name);
   if (l0 + l1 < buflen)
@@ -2591,10 +1917,11 @@ memif_get_details (memif_conn_handle_t conn, memif_details_t * md,
   else
     err = MEMIF_ERR_NOBUF_DET;
 
-  l1 = strlen ((char *) lm->app_name);
+  l1 = strlen ((char *) ms->args.app_name);
   if (l0 + l1 < buflen)
     {
-      md->inst_name = (uint8_t *) strcpy (buf + l0, (char *) lm->app_name);
+      md->inst_name =
+       (uint8_t *) strcpy (buf + l0, (char *) ms->args.app_name);
       l0 += l1 + 1;
     }
   else
@@ -2637,12 +1964,11 @@ memif_get_details (memif_conn_handle_t conn, memif_details_t * md,
   md->role = (c->args.is_master) ? 0 : 1;
   md->mode = c->args.mode;
 
-  l1 = strlen ((char *) ms->filename);
+  l1 = 108;
   if (l0 + l1 < buflen)
     {
-      md->socket_filename =
-       (uint8_t *) strcpy (buf + l0, (char *) ms->filename);
-      l0 += l1 + 1;
+      md->socket_path = (uint8_t *) memcpy (buf + l0, ms->args.path, 108);
+      l0 += l1;
     }
   else
     err = MEMIF_ERR_NOBUF_DET;
@@ -2721,7 +2047,9 @@ memif_get_details (memif_conn_handle_t conn, memif_details_t * md,
   else
     err = MEMIF_ERR_NOBUF_DET;
 
-  md->link_up_down = (c->fd > 0) ? 1 : 0;
+  /* This is not completely true, clients should relay on
+   * on_connect/on_disconnect callbacks */
+  md->link_up_down = (c->control_channel != NULL) ? 1 : 0;
 
   return err;                  /* 0 */
 }
@@ -2735,7 +2063,7 @@ memif_get_queue_efd (memif_conn_handle_t conn, uint16_t qid, int *efd)
   *efd = -1;
   if (c == NULL)
     return MEMIF_ERR_NOCONN;
-  if (c->fd < 0)
+  if (c->control_channel == NULL)
     return MEMIF_ERR_DISCONNECTED;
 
   num =
@@ -2748,63 +2076,3 @@ memif_get_queue_efd (memif_conn_handle_t conn, uint16_t qid, int *efd)
 
   return MEMIF_ERR_SUCCESS;
 }
-
-int
-memif_cleanup ()
-{
-  libmemif_main_t *lm = &libmemif_main;
-  int err;
-
-  err = memif_delete_socket ((memif_socket_handle_t *) & lm->default_socket);
-  if (err != MEMIF_ERR_SUCCESS)
-    return err;
-
-  if (lm->control_list)
-    lm->free (lm->control_list);
-  lm->control_list = NULL;
-  if (lm->interrupt_list)
-    lm->free (lm->interrupt_list);
-  lm->interrupt_list = NULL;
-  if (lm->socket_list)
-    lm->free (lm->socket_list);
-  lm->socket_list = NULL;
-  if (lm->pending_list)
-    lm->free (lm->pending_list);
-  lm->pending_list = NULL;
-  if (lm->poll_cancel_fd != -1)
-    close (lm->poll_cancel_fd);
-
-  return MEMIF_ERR_SUCCESS;    /* 0 */
-}
-
-int
-memif_per_thread_cleanup (memif_per_thread_main_handle_t * pt_main)
-{
-  libmemif_main_t *lm = (libmemif_main_t *) * pt_main;
-
-  if (lm == NULL)
-    return MEMIF_ERR_INVAL_ARG;
-
-  /* No default socket in case of per thread */
-
-  if (lm->control_list)
-    lm->free (lm->control_list);
-  lm->control_list = NULL;
-  if (lm->interrupt_list)
-    lm->free (lm->interrupt_list);
-  lm->interrupt_list = NULL;
-  if (lm->socket_list)
-    lm->free (lm->socket_list);
-  lm->socket_list = NULL;
-  if (lm->pending_list)
-    lm->free (lm->pending_list);
-  lm->pending_list = NULL;
-  if (lm->poll_cancel_fd != -1)
-    close (lm->poll_cancel_fd);
-
-  lm->free (lm);
-
-  *pt_main = NULL;
-
-  return MEMIF_ERR_SUCCESS;    /* 0 */
-}