src/vlibmemory/memory_client.c

   1 /*
   2  *------------------------------------------------------------------
   3  * memory_client.c - API message handling, client code.
   4  *
   5  * Copyright (c) 2010 Cisco and/or its affiliates.
   6  * Licensed under the Apache License, Version 2.0 (the "License");
   7  * you may not use this file except in compliance with the License.
   8  * You may obtain a copy of the License at:
   9  *
  10  *     http://www.apache.org/licenses/LICENSE-2.0
  11  *
  12  * Unless required by applicable law or agreed to in writing, software
  13  * distributed under the License is distributed on an "AS IS" BASIS,
  14  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  15  * See the License for the specific language governing permissions and
  16  * limitations under the License.
  17  *------------------------------------------------------------------
  18  */
  19
  20 #include <setjmp.h>
  21
  22 #include <svm/svm.h>
  23 #include <svm/ssvm.h>
  24 #include <vppinfra/serialize.h>
  25 #include <vppinfra/hash.h>
  26 #include <vlibmemory/memory_client.h>
  27
  28 /* A hack. vl_client_get_first_plugin_msg_id depends on it */
  29 #include <vlibmemory/socket_client.h>
  30
  31 #include <vlibmemory/vl_memory_msg_enum.h>
  32
  33 #define vl_typedefs             /* define message structures */
  34 #include <vlibmemory/vl_memory_api_h.h>
  35 #undef vl_typedefs
  36
  37 #define vl_endianfun            /* define message structures */
  38 #include <vlibmemory/vl_memory_api_h.h>
  39 #undef vl_endianfun
  40
  41 /* instantiate all the print functions we know about */
  42 #define vl_print(handle, ...) clib_warning (__VA_ARGS__)
  43 #define vl_printfun
  44 #include <vlibmemory/vl_memory_api_h.h>
  45 #undef vl_printfun
  46
  47 typedef struct
  48 {
  49   u8 rx_thread_jmpbuf_valid;
  50   u8 connected_to_vlib;
  51   jmp_buf rx_thread_jmpbuf;
  52   pthread_t rx_thread_handle;
  53   /* Plugin message base lookup scheme */
  54   volatile u8 first_msg_id_reply_ready;
  55   u16 first_msg_id_reply;
  56 } memory_client_main_t;
  57
  58 memory_client_main_t memory_client_main;
  59
  60 static void *
  61 rx_thread_fn (void *arg)
  62 {
  63   svm_queue_t *q;
  64   memory_client_main_t *mm = &memory_client_main;
  65   api_main_t *am = &api_main;
  66
  67   q = am->vl_input_queue;
  68
  69   /* So we can make the rx thread terminate cleanly */
  70   if (setjmp (mm->rx_thread_jmpbuf) == 0)
  71     {
  72       mm->rx_thread_jmpbuf_valid = 1;
  73       clib_mem_set_thread_index ();
  74       while (1)
  75         vl_msg_api_queue_handler (q);
  76     }
  77   pthread_exit (0);
  78 }
  79
  80 static void
  81 vl_api_rx_thread_exit_t_handler (vl_api_rx_thread_exit_t * mp)
  82 {
  83   memory_client_main_t *mm = &memory_client_main;
  84   if (mm->rx_thread_jmpbuf_valid)
  85     longjmp (mm->rx_thread_jmpbuf, 1);
  86 }
  87
  88 static void
  89 vl_api_name_and_crc_free (void)
  90 {
  91   api_main_t *am = &api_main;
  92   int i;
  93   u8 **keys = 0;
  94   hash_pair_t *hp;
  95
  96   if (!am->msg_index_by_name_and_crc)
  97     return;
  98
  99   /* *INDENT-OFF* */
 100   hash_foreach_pair (hp, am->msg_index_by_name_and_crc,
 101       ({
 102         vec_add1 (keys, (u8 *) hp->key);
 103       }));
 104   /* *INDENT-ON* */
 105   for (i = 0; i < vec_len (keys); i++)
 106     vec_free (keys[i]);
 107   vec_free (keys);
 108   hash_free (am->msg_index_by_name_and_crc);
 109 }
 110
 111 static void
 112 vl_api_memclnt_create_reply_t_handler (vl_api_memclnt_create_reply_t * mp)
 113 {
 114   serialize_main_t _sm, *sm = &_sm;
 115   api_main_t *am = &api_main;
 116   u8 *tblv;
 117   u32 nmsgs;
 118   int i;
 119   u8 *name_and_crc;
 120   u32 msg_index;
 121
 122   am->my_client_index = mp->index;
 123   am->my_registration = (vl_api_registration_t *) (uword) mp->handle;
 124
 125   /* Clean out any previous hash table (unlikely) */
 126   vl_api_name_and_crc_free ();
 127
 128   am->msg_index_by_name_and_crc = hash_create_string (0, sizeof (uword));
 129
 130   /* Recreate the vnet-side API message handler table */
 131   tblv = uword_to_pointer (mp->message_table, u8 *);
 132   unserialize_open_data (sm, tblv, vec_len (tblv));
 133   unserialize_integer (sm, &nmsgs, sizeof (u32));
 134
 135   for (i = 0; i < nmsgs; i++)
 136     {
 137       msg_index = unserialize_likely_small_unsigned_integer (sm);
 138       unserialize_cstring (sm, (char **) &name_and_crc);
 139       hash_set_mem (am->msg_index_by_name_and_crc, name_and_crc, msg_index);
 140     }
 141 }
 142
 143 static void
 144 noop_handler (void *notused)
 145 {
 146 }
 147
 148 void vl_msg_api_send_shmem (svm_queue_t * q, u8 * elem);
 149 int
 150 vl_client_connect (const char *name, int ctx_quota, int input_queue_size)
 151 {
 152   svm_region_t *svm;
 153   vl_api_memclnt_create_t *mp;
 154   vl_api_memclnt_create_reply_t *rp;
 155   svm_queue_t *vl_input_queue;
 156   vl_shmem_hdr_t *shmem_hdr;
 157   int rv = 0;
 158   void *oldheap;
 159   api_main_t *am = &api_main;
 160
 161   if (am->my_registration)
 162     {
 163       clib_warning ("client %s already connected...", name);
 164       return -1;
 165     }
 166
 167   if (am->vlib_rp == 0)
 168     {
 169       clib_warning ("am->vlib_rp NULL");
 170       return -1;
 171     }
 172
 173   svm = am->vlib_rp;
 174   shmem_hdr = am->shmem_hdr;
 175
 176   if (shmem_hdr == 0 || shmem_hdr->vl_input_queue == 0)
 177     {
 178       clib_warning ("shmem_hdr / input queue NULL");
 179       return -1;
 180     }
 181
 182   pthread_mutex_lock (&svm->mutex);
 183   oldheap = svm_push_data_heap (svm);
 184   vl_input_queue = svm_queue_alloc_and_init (input_queue_size, sizeof (uword),
 185                                              getpid ());
 186   svm_pop_heap (oldheap);
 187   pthread_mutex_unlock (&svm->mutex);
 188
 189   am->my_client_index = ~0;
 190   am->my_registration = 0;
 191   am->vl_input_queue = vl_input_queue;
 192
 193   mp = vl_msg_api_alloc (sizeof (vl_api_memclnt_create_t));
 194   clib_memset (mp, 0, sizeof (*mp));
 195   mp->_vl_msg_id = ntohs (VL_API_MEMCLNT_CREATE);
 196   mp->ctx_quota = ctx_quota;
 197   mp->input_queue = (uword) vl_input_queue;
 198   vl_api_to_api_string (strnlen_s (name, 64), name, &mp->name);
 199
 200   vl_msg_api_send_shmem (shmem_hdr->vl_input_queue, (u8 *) & mp);
 201
 202   while (1)
 203     {
 204       int qstatus;
 205       struct timespec ts, tsrem;
 206       int i;
 207
 208       /* Wait up to 10 seconds */
 209       for (i = 0; i < 1000; i++)
 210         {
 211           qstatus = svm_queue_sub (vl_input_queue, (u8 *) & rp,
 212                                    SVM_Q_NOWAIT, 0);
 213           if (qstatus == 0)
 214             goto read_one_msg;
 215           ts.tv_sec = 0;
 216           ts.tv_nsec = 10000 * 1000;    /* 10 ms */
 217           while (nanosleep (&ts, &tsrem) < 0)
 218             ts = tsrem;
 219         }
 220       /* Timeout... */
 221       clib_warning ("memclnt_create_reply timeout");
 222       return -1;
 223
 224     read_one_msg:
 225       if (ntohs (rp->_vl_msg_id) != VL_API_MEMCLNT_CREATE_REPLY)
 226         {
 227           clib_warning ("unexpected reply: id %d", ntohs (rp->_vl_msg_id));
 228           continue;
 229         }
 230       rv = clib_net_to_host_u32 (rp->response);
 231
 232       vl_msg_api_handler ((void *) rp);
 233       break;
 234     }
 235   return (rv);
 236 }
 237
 238 static void
 239 vl_api_memclnt_delete_reply_t_handler (vl_api_memclnt_delete_reply_t * mp)
 240 {
 241   void *oldheap;
 242   api_main_t *am = &api_main;
 243
 244   pthread_mutex_lock (&am->vlib_rp->mutex);
 245   oldheap = svm_push_data_heap (am->vlib_rp);
 246   svm_queue_free (am->vl_input_queue);
 247   pthread_mutex_unlock (&am->vlib_rp->mutex);
 248   svm_pop_heap (oldheap);
 249
 250   am->my_client_index = ~0;
 251   am->my_registration = 0;
 252   am->vl_input_queue = 0;
 253 }
 254
 255 void
 256 vl_client_send_disconnect (u8 do_cleanup)
 257 {
 258   vl_api_memclnt_delete_t *mp;
 259   vl_shmem_hdr_t *shmem_hdr;
 260   api_main_t *am = &api_main;
 261
 262   ASSERT (am->vlib_rp);
 263   shmem_hdr = am->shmem_hdr;
 264   ASSERT (shmem_hdr && shmem_hdr->vl_input_queue);
 265
 266   mp = vl_msg_api_alloc (sizeof (vl_api_memclnt_delete_t));
 267   clib_memset (mp, 0, sizeof (*mp));
 268   mp->_vl_msg_id = ntohs (VL_API_MEMCLNT_DELETE);
 269   mp->index = am->my_client_index;
 270   mp->handle = (uword) am->my_registration;
 271   mp->do_cleanup = do_cleanup;
 272
 273   vl_msg_api_send_shmem (shmem_hdr->vl_input_queue, (u8 *) & mp);
 274 }
 275
 276 int
 277 vl_client_disconnect (void)
 278 {
 279   vl_api_memclnt_delete_reply_t *rp;
 280   svm_queue_t *vl_input_queue;
 281   api_main_t *am = &api_main;
 282   time_t begin;
 283
 284   vl_input_queue = am->vl_input_queue;
 285   vl_client_send_disconnect (0 /* wait for reply */ );
 286
 287   /*
 288    * Have to be careful here, in case the client is disconnecting
 289    * because e.g. the vlib process died, or is unresponsive.
 290    */
 291   begin = time (0);
 292   while (1)
 293     {
 294       time_t now;
 295
 296       now = time (0);
 297
 298       if (now >= (begin + 2))
 299         {
 300           clib_warning ("peer unresponsive, give up");
 301           am->my_client_index = ~0;
 302           am->my_registration = 0;
 303           am->shmem_hdr = 0;
 304           return -1;
 305         }
 306       if (svm_queue_sub (vl_input_queue, (u8 *) & rp, SVM_Q_NOWAIT, 0) < 0)
 307         continue;
 308
 309       /* drain the queue */
 310       if (ntohs (rp->_vl_msg_id) != VL_API_MEMCLNT_DELETE_REPLY)
 311         {
 312           clib_warning ("queue drain: %d", ntohs (rp->_vl_msg_id));
 313           vl_msg_api_handler ((void *) rp);
 314           continue;
 315         }
 316       vl_msg_api_handler ((void *) rp);
 317       break;
 318     }
 319
 320   vl_api_name_and_crc_free ();
 321   return 0;
 322 }
 323
 324 /**
 325  * Stave off the binary API dead client reaper
 326  * Only sent to inactive clients
 327  */
 328 static void
 329 vl_api_memclnt_keepalive_t_handler (vl_api_memclnt_keepalive_t * mp)
 330 {
 331   vl_api_memclnt_keepalive_reply_t *rmp;
 332   api_main_t *am;
 333   vl_shmem_hdr_t *shmem_hdr;
 334
 335   am = &api_main;
 336   shmem_hdr = am->shmem_hdr;
 337
 338   rmp = vl_msg_api_alloc_as_if_client (sizeof (*rmp));
 339   clib_memset (rmp, 0, sizeof (*rmp));
 340   rmp->_vl_msg_id = ntohs (VL_API_MEMCLNT_KEEPALIVE_REPLY);
 341   rmp->context = mp->context;
 342   vl_msg_api_send_shmem (shmem_hdr->vl_input_queue, (u8 *) & rmp);
 343 }
 344
 345 #define foreach_api_msg                         \
 346 _(RX_THREAD_EXIT, rx_thread_exit)               \
 347 _(MEMCLNT_CREATE_REPLY, memclnt_create_reply)   \
 348 _(MEMCLNT_DELETE_REPLY, memclnt_delete_reply)   \
 349 _(MEMCLNT_KEEPALIVE, memclnt_keepalive)
 350
 351 void
 352 vl_client_install_client_message_handlers (void)
 353 {
 354
 355 #define _(N,n)                                                  \
 356     vl_msg_api_set_handlers(VL_API_##N, #n,                     \
 357                             vl_api_##n##_t_handler,             \
 358                             noop_handler,                       \
 359                             vl_api_##n##_t_endian,              \
 360                             vl_api_##n##_t_print,               \
 361                             sizeof(vl_api_##n##_t), 1);
 362   foreach_api_msg;
 363 #undef _
 364 }
 365
 366 int
 367 vl_client_api_map (const char *region_name)
 368 {
 369   int rv;
 370
 371   if ((rv = vl_map_shmem (region_name, 0 /* is_vlib */ )) < 0)
 372     return rv;
 373
 374   vl_client_install_client_message_handlers ();
 375   return 0;
 376 }
 377
 378 void
 379 vl_client_api_unmap (void)
 380 {
 381   vl_unmap_shmem_client ();
 382 }
 383
 384 u8
 385 vl_mem_client_is_connected (void)
 386 {
 387   return (memory_client_main.connected_to_vlib != 0);
 388 }
 389
 390 static int
 391 connect_to_vlib_internal (const char *svm_name,
 392                           const char *client_name,
 393                           int rx_queue_size, int want_pthread, int do_map)
 394 {
 395   int rv = 0;
 396   memory_client_main_t *mm = &memory_client_main;
 397
 398   if (do_map && (rv = vl_client_api_map (svm_name)))
 399     {
 400       clib_warning ("vl_client_api map rv %d", rv);
 401       return rv;
 402     }
 403
 404   if (vl_client_connect (client_name, 0 /* punt quota */ ,
 405                          rx_queue_size /* input queue */ ) < 0)
 406     {
 407       vl_client_api_unmap ();
 408       return -1;
 409     }
 410
 411   /* Start the rx queue thread */
 412
 413   if (want_pthread)
 414     {
 415       rv = pthread_create (&mm->rx_thread_handle,
 416                            NULL /*attr */ , rx_thread_fn, 0);
 417       if (rv)
 418         clib_warning ("pthread_create returned %d", rv);
 419     }
 420
 421   mm->connected_to_vlib = 1;
 422   return 0;
 423 }
 424
 425 int
 426 vl_client_connect_to_vlib (const char *svm_name,
 427                            const char *client_name, int rx_queue_size)
 428 {
 429   return connect_to_vlib_internal (svm_name, client_name, rx_queue_size,
 430                                    1 /* want pthread */ ,
 431                                    1 /* do map */ );
 432 }
 433
 434 int
 435 vl_client_connect_to_vlib_no_rx_pthread (const char *svm_name,
 436                                          const char *client_name,
 437                                          int rx_queue_size)
 438 {
 439   return connect_to_vlib_internal (svm_name, client_name, rx_queue_size,
 440                                    0 /* want pthread */ ,
 441                                    1 /* do map */ );
 442 }
 443
 444 int
 445 vl_client_connect_to_vlib_no_map (const char *svm_name,
 446                                   const char *client_name, int rx_queue_size)
 447 {
 448   return connect_to_vlib_internal (svm_name, client_name, rx_queue_size,
 449                                    1 /* want pthread */ ,
 450                                    0 /* dont map */ );
 451 }
 452
 453 int
 454 vl_client_connect_to_vlib_no_rx_pthread_no_map (const char *svm_name,
 455                                                 const char *client_name,
 456                                                 int rx_queue_size)
 457 {
 458   return connect_to_vlib_internal (svm_name, client_name, rx_queue_size,
 459                                    0 /* want pthread */ ,
 460                                    0 /* dont map */ );
 461 }
 462
 463 static void
 464 disconnect_from_vlib_internal (u8 do_unmap)
 465 {
 466   memory_client_main_t *mm = &memory_client_main;
 467   api_main_t *am = &api_main;
 468   uword junk;
 469
 470   if (mm->rx_thread_jmpbuf_valid)
 471     {
 472       vl_api_rx_thread_exit_t *ep;
 473       ep = vl_msg_api_alloc (sizeof (*ep));
 474       ep->_vl_msg_id = ntohs (VL_API_RX_THREAD_EXIT);
 475       vl_msg_api_send_shmem (am->vl_input_queue, (u8 *) & ep);
 476       pthread_join (mm->rx_thread_handle, (void **) &junk);
 477     }
 478   if (mm->connected_to_vlib)
 479     {
 480       vl_client_disconnect ();
 481       if (do_unmap)
 482         vl_client_api_unmap ();
 483     }
 484   clib_memset (mm, 0, sizeof (*mm));
 485 }
 486
 487 void
 488 vl_client_disconnect_from_vlib (void)
 489 {
 490   disconnect_from_vlib_internal (1);
 491 }
 492
 493 void
 494 vl_client_disconnect_from_vlib_no_unmap (void)
 495 {
 496   disconnect_from_vlib_internal (0);
 497 }
 498
 499 static void vl_api_get_first_msg_id_reply_t_handler
 500   (vl_api_get_first_msg_id_reply_t * mp)
 501 {
 502   memory_client_main_t *mm = &memory_client_main;
 503   i32 retval = ntohl (mp->retval);
 504
 505   mm->first_msg_id_reply = (retval >= 0) ? ntohs (mp->first_msg_id) : ~0;
 506   mm->first_msg_id_reply_ready = 1;
 507 }
 508
 509 u16
 510 vl_client_get_first_plugin_msg_id (const char *plugin_name)
 511 {
 512   vl_api_get_first_msg_id_t *mp;
 513   api_main_t *am = &api_main;
 514   memory_client_main_t *mm = &memory_client_main;
 515   f64 timeout;
 516   void *old_handler;
 517   clib_time_t clib_time;
 518   u16 rv = ~0;
 519
 520   size_t plugin_name_len = strnlen_s (plugin_name, 128);
 521   if (plugin_name_len == 128)
 522     return (rv);
 523
 524   clib_memset (&clib_time, 0, sizeof (clib_time));
 525   clib_time_init (&clib_time);
 526
 527   /* Push this plugin's first_msg_id_reply handler */
 528   old_handler = am->msg_handlers[VL_API_GET_FIRST_MSG_ID_REPLY];
 529   am->msg_handlers[VL_API_GET_FIRST_MSG_ID_REPLY] = (void *)
 530     vl_api_get_first_msg_id_reply_t_handler;
 531
 532   /* Ask the data-plane for the message-ID base of the indicated plugin */
 533   mm->first_msg_id_reply_ready = 0;
 534
 535   /* Not using shm client */
 536   if (!am->my_registration)
 537     {
 538       mp = vl_socket_client_msg_alloc (sizeof (*mp));
 539       clib_memset (mp, 0, sizeof (*mp));
 540       mp->_vl_msg_id = ntohs (VL_API_GET_FIRST_MSG_ID);
 541       mp->client_index = am->my_client_index;
 542       vl_api_to_api_string (plugin_name_len, plugin_name, &mp->name);
 543
 544       if (vl_socket_client_write () <= 0)
 545         goto sock_err;
 546       if (vl_socket_client_read (1))
 547         goto sock_err;
 548
 549       if (mm->first_msg_id_reply_ready == 1)
 550         {
 551           rv = mm->first_msg_id_reply;
 552           goto result;
 553         }
 554
 555     sock_err:
 556       /* Restore old handler */
 557       am->msg_handlers[VL_API_GET_FIRST_MSG_ID_REPLY] = old_handler;
 558
 559       return -1;
 560     }
 561   else
 562     {
 563       mp = vl_msg_api_alloc (sizeof (*mp));
 564       clib_memset (mp, 0, sizeof (*mp));
 565       mp->_vl_msg_id = ntohs (VL_API_GET_FIRST_MSG_ID);
 566       mp->client_index = am->my_client_index;
 567       vl_api_to_api_string (plugin_name_len, plugin_name, &mp->name);
 568
 569       vl_msg_api_send_shmem (am->shmem_hdr->vl_input_queue, (u8 *) & mp);
 570
 571       /* Synchronously wait for the answer */
 572       timeout = clib_time_now (&clib_time) + 1.0;
 573       while (clib_time_now (&clib_time) < timeout)
 574         {
 575           if (mm->first_msg_id_reply_ready == 1)
 576             {
 577               rv = mm->first_msg_id_reply;
 578               goto result;
 579             }
 580         }
 581       /* Restore old handler */
 582       am->msg_handlers[VL_API_GET_FIRST_MSG_ID_REPLY] = old_handler;
 583
 584       return rv;
 585     }
 586
 587 result:
 588
 589   /* Restore the old handler */
 590   am->msg_handlers[VL_API_GET_FIRST_MSG_ID_REPLY] = old_handler;
 591
 592   if (rv == (u16) ~ 0)
 593     clib_warning ("plugin '%s' not registered", plugin_name);
 594
 595   return rv;
 596 }
 597
 598 /*
 599  * fd.io coding-style-patch-verification: ON
 600  *
 601  * Local Variables:
 602  * eval: (c-set-style "gnu")
 603  * End:
 604  */