738c4e50cb9277cb9f2fbc2792af7722a12d5854
[vpp.git] / src / vlibmemory / memory_client.c
1 /*
2  *------------------------------------------------------------------
3  * memory_client.c - API message handling, client code.
4  *
5  * Copyright (c) 2010 Cisco and/or its affiliates.
6  * Licensed under the Apache License, Version 2.0 (the "License");
7  * you may not use this file except in compliance with the License.
8  * You may obtain a copy of the License at:
9  *
10  *     http://www.apache.org/licenses/LICENSE-2.0
11  *
12  * Unless required by applicable law or agreed to in writing, software
13  * distributed under the License is distributed on an "AS IS" BASIS,
14  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
15  * See the License for the specific language governing permissions and
16  * limitations under the License.
17  *------------------------------------------------------------------
18  */
19
20 #include <setjmp.h>
21
22 #include <svm/svm.h>
23 #include <svm/ssvm.h>
24 #include <vppinfra/serialize.h>
25 #include <vppinfra/hash.h>
26 #include <vlibmemory/memory_client.h>
27 #include <vlibapi/api_common.h>
28
29 /* A hack. vl_client_get_first_plugin_msg_id depends on it */
30 #include <vlibmemory/socket_client.h>
31
32 #include <vlibmemory/vl_memory_msg_enum.h>
33
34 #define vl_typedefs             /* define message structures */
35 #include <vlibmemory/vl_memory_api_h.h>
36 #undef vl_typedefs
37
38 #define vl_endianfun            /* define message structures */
39 #include <vlibmemory/vl_memory_api_h.h>
40 #undef vl_endianfun
41
42 #define vl_calcsizefun
43 #include <vlibmemory/vl_memory_api_h.h>
44 #undef vl_calcsizefun
45
46 /* instantiate all the print functions we know about */
47 #define vl_printfun
48 #include <vlibmemory/vl_memory_api_h.h>
49 #undef vl_printfun
50
51 memory_client_main_t memory_client_main;
52 __thread memory_client_main_t *my_memory_client_main = &memory_client_main;
53
54 typedef struct rx_thread_fn_arg
55 {
56   api_main_t *am;
57   memory_client_main_t *mm;
58 } rx_thread_fn_arg_t;
59
60 static void *
61 rx_thread_fn (void *arg)
62 {
63   rx_thread_fn_arg_t *a = (rx_thread_fn_arg_t *) arg;
64   memory_client_main_t *mm;
65   svm_queue_t *q;
66
67   vlibapi_set_main (a->am);
68   vlibapi_set_memory_client_main (a->mm);
69   free (a);
70
71   mm = vlibapi_get_memory_client_main ();
72   q = vlibapi_get_main ()->vl_input_queue;
73
74   /* So we can make the rx thread terminate cleanly */
75   if (setjmp (mm->rx_thread_jmpbuf) == 0)
76     {
77       mm->rx_thread_jmpbuf_valid = 1;
78       clib_mem_set_thread_index ();
79       while (1)
80         vl_msg_api_queue_handler (q);
81     }
82   pthread_exit (0);
83 }
84
85 static void
86 vl_api_rx_thread_exit_t_handler (vl_api_rx_thread_exit_t * mp)
87 {
88   memory_client_main_t *mm = vlibapi_get_memory_client_main ();
89   if (mm->rx_thread_jmpbuf_valid)
90     longjmp (mm->rx_thread_jmpbuf, 1);
91 }
92
93 static void
94 vl_api_name_and_crc_free (void)
95 {
96   api_main_t *am = vlibapi_get_main ();
97   int i;
98   u8 **keys = 0;
99   hash_pair_t *hp;
100
101   if (!am->msg_index_by_name_and_crc)
102     return;
103
104   /* *INDENT-OFF* */
105   hash_foreach_pair (hp, am->msg_index_by_name_and_crc,
106       ({
107         vec_add1 (keys, (u8 *) hp->key);
108       }));
109   /* *INDENT-ON* */
110   for (i = 0; i < vec_len (keys); i++)
111     vec_free (keys[i]);
112   vec_free (keys);
113   hash_free (am->msg_index_by_name_and_crc);
114 }
115
116 __clib_nosanitize_addr static void
117 VL_API_VEC_UNPOISON (const void *v)
118 {
119   const vec_header_t *vh = &((vec_header_t *) v)[-1];
120   clib_mem_unpoison (vh, sizeof (*vh) + vec_len (v));
121 }
122
123 static void
124 vl_api_memclnt_create_reply_t_handler (vl_api_memclnt_create_reply_t * mp)
125 {
126   serialize_main_t _sm, *sm = &_sm;
127   api_main_t *am = vlibapi_get_main ();
128   u8 *tblv;
129   u32 nmsgs;
130   int i;
131   u8 *name_and_crc;
132   u32 msg_index;
133
134   am->my_client_index = mp->index;
135   am->my_registration = (vl_api_registration_t *) (uword) mp->handle;
136
137   /* Clean out any previous hash table (unlikely) */
138   vl_api_name_and_crc_free ();
139
140   am->msg_index_by_name_and_crc = hash_create_string (0, sizeof (uword));
141
142   /* Recreate the vnet-side API message handler table */
143   tblv = uword_to_pointer (mp->message_table, u8 *);
144   unserialize_open_data (sm, tblv, vec_len (tblv));
145   unserialize_integer (sm, &nmsgs, sizeof (u32));
146
147   VL_API_VEC_UNPOISON (tblv);
148
149   for (i = 0; i < nmsgs; i++)
150     {
151       msg_index = unserialize_likely_small_unsigned_integer (sm);
152       unserialize_cstring (sm, (char **) &name_and_crc);
153       hash_set_mem (am->msg_index_by_name_and_crc, name_and_crc, msg_index);
154     }
155 }
156
157 void vl_msg_api_send_shmem (svm_queue_t * q, u8 * elem);
158 int
159 vl_client_connect (const char *name, int ctx_quota, int input_queue_size)
160 {
161   vl_api_memclnt_create_t *mp;
162   vl_api_memclnt_create_reply_t *rp;
163   svm_queue_t *vl_input_queue;
164   vl_shmem_hdr_t *shmem_hdr;
165   int rv = 0;
166   void *oldheap;
167   api_main_t *am = vlibapi_get_main ();
168
169   if (am->my_registration)
170     {
171       clib_warning ("client %s already connected...", name);
172       return -1;
173     }
174
175   if (am->vlib_rp == 0)
176     {
177       clib_warning ("am->vlib_rp NULL");
178       return -1;
179     }
180
181   shmem_hdr = am->shmem_hdr;
182
183   if (shmem_hdr == 0 || shmem_hdr->vl_input_queue == 0)
184     {
185       clib_warning ("shmem_hdr / input queue NULL");
186       return -1;
187     }
188
189   clib_mem_unpoison (shmem_hdr, sizeof (*shmem_hdr));
190   VL_MSG_API_SVM_QUEUE_UNPOISON (shmem_hdr->vl_input_queue);
191
192   oldheap = vl_msg_push_heap ();
193   vl_input_queue = svm_queue_alloc_and_init (input_queue_size, sizeof (uword),
194                                              getpid ());
195   vl_msg_pop_heap (oldheap);
196
197   am->my_client_index = ~0;
198   am->my_registration = 0;
199   am->vl_input_queue = vl_input_queue;
200
201   mp = vl_msg_api_alloc (sizeof (vl_api_memclnt_create_t));
202   clib_memset (mp, 0, sizeof (*mp));
203   mp->_vl_msg_id = ntohs (VL_API_MEMCLNT_CREATE);
204   mp->ctx_quota = ctx_quota;
205   mp->input_queue = (uword) vl_input_queue;
206   strncpy ((char *) mp->name, name, sizeof (mp->name) - 1);
207
208   vl_msg_api_send_shmem (shmem_hdr->vl_input_queue, (u8 *) & mp);
209
210   while (1)
211     {
212       int qstatus;
213       struct timespec ts, tsrem;
214       int i;
215
216       /* Wait up to 10 seconds */
217       for (i = 0; i < 1000; i++)
218         {
219           qstatus = svm_queue_sub (vl_input_queue, (u8 *) & rp,
220                                    SVM_Q_NOWAIT, 0);
221           if (qstatus == 0)
222             goto read_one_msg;
223           ts.tv_sec = 0;
224           ts.tv_nsec = 10000 * 1000;    /* 10 ms */
225           while (nanosleep (&ts, &tsrem) < 0)
226             ts = tsrem;
227         }
228       /* Timeout... */
229       clib_warning ("memclnt_create_reply timeout");
230       return -1;
231
232     read_one_msg:
233       VL_MSG_API_UNPOISON (rp);
234       if (ntohs (rp->_vl_msg_id) != VL_API_MEMCLNT_CREATE_REPLY)
235         {
236           clib_warning ("unexpected reply: id %d", ntohs (rp->_vl_msg_id));
237           continue;
238         }
239       rv = clib_net_to_host_u32 (rp->response);
240
241       msgbuf_t *msgbuf = (msgbuf_t *) ((u8 *) rp - offsetof (msgbuf_t, data));
242       vl_msg_api_handler ((void *) rp, ntohl (msgbuf->data_len));
243       break;
244     }
245   return (rv);
246 }
247
248 static void
249 vl_api_memclnt_delete_reply_t_handler (vl_api_memclnt_delete_reply_t * mp)
250 {
251   void *oldheap;
252   api_main_t *am = vlibapi_get_main ();
253
254   oldheap = vl_msg_push_heap ();
255   svm_queue_free (am->vl_input_queue);
256   vl_msg_pop_heap (oldheap);
257
258   am->my_client_index = ~0;
259   am->my_registration = 0;
260   am->vl_input_queue = 0;
261 }
262
263 void
264 vl_client_send_disconnect (u8 do_cleanup)
265 {
266   vl_api_memclnt_delete_t *mp;
267   vl_shmem_hdr_t *shmem_hdr;
268   api_main_t *am = vlibapi_get_main ();
269
270   ASSERT (am->vlib_rp);
271   shmem_hdr = am->shmem_hdr;
272   ASSERT (shmem_hdr && shmem_hdr->vl_input_queue);
273
274   mp = vl_msg_api_alloc (sizeof (vl_api_memclnt_delete_t));
275   clib_memset (mp, 0, sizeof (*mp));
276   mp->_vl_msg_id = ntohs (VL_API_MEMCLNT_DELETE);
277   mp->index = am->my_client_index;
278   mp->handle = (uword) am->my_registration;
279   mp->do_cleanup = do_cleanup;
280
281   vl_msg_api_send_shmem (shmem_hdr->vl_input_queue, (u8 *) & mp);
282 }
283
284 int
285 vl_client_disconnect (void)
286 {
287   vl_api_memclnt_delete_reply_t *rp;
288   svm_queue_t *vl_input_queue;
289   api_main_t *am = vlibapi_get_main ();
290   time_t begin;
291   msgbuf_t *msgbuf;
292
293   vl_input_queue = am->vl_input_queue;
294   vl_client_send_disconnect (0 /* wait for reply */ );
295
296   /*
297    * Have to be careful here, in case the client is disconnecting
298    * because e.g. the vlib process died, or is unresponsive.
299    */
300   begin = time (0);
301   while (1)
302     {
303       time_t now;
304
305       now = time (0);
306
307       if (now >= (begin + 2))
308         {
309           clib_warning ("peer unresponsive, give up");
310           am->my_client_index = ~0;
311           am->my_registration = 0;
312           am->shmem_hdr = 0;
313           return -1;
314         }
315       if (svm_queue_sub (vl_input_queue, (u8 *) & rp, SVM_Q_NOWAIT, 0) < 0)
316         continue;
317
318       VL_MSG_API_UNPOISON (rp);
319
320       /* drain the queue */
321       if (ntohs (rp->_vl_msg_id) != VL_API_MEMCLNT_DELETE_REPLY)
322         {
323           clib_warning ("queue drain: %d", ntohs (rp->_vl_msg_id));
324           msgbuf = (msgbuf_t *) ((u8 *) rp - offsetof (msgbuf_t, data));
325           vl_msg_api_handler ((void *) rp, ntohl (msgbuf->data_len));
326           continue;
327         }
328       msgbuf = (msgbuf_t *) ((u8 *) rp - offsetof (msgbuf_t, data));
329       vl_msg_api_handler ((void *) rp, ntohl (msgbuf->data_len));
330       break;
331     }
332
333   vl_api_name_and_crc_free ();
334   return 0;
335 }
336
337 /**
338  * Stave off the binary API dead client reaper
339  * Only sent to inactive clients
340  */
341 static void
342 vl_api_memclnt_keepalive_t_handler (vl_api_memclnt_keepalive_t * mp)
343 {
344   vl_api_memclnt_keepalive_reply_t *rmp;
345   api_main_t *am;
346   vl_shmem_hdr_t *shmem_hdr;
347
348   am = vlibapi_get_main ();
349   shmem_hdr = am->shmem_hdr;
350
351   rmp = vl_msg_api_alloc_as_if_client (sizeof (*rmp));
352   clib_memset (rmp, 0, sizeof (*rmp));
353   rmp->_vl_msg_id = ntohs (VL_API_MEMCLNT_KEEPALIVE_REPLY);
354   rmp->context = mp->context;
355   vl_msg_api_send_shmem (shmem_hdr->vl_input_queue, (u8 *) & rmp);
356 }
357
358 #define foreach_api_msg                         \
359 _(RX_THREAD_EXIT, rx_thread_exit)               \
360 _(MEMCLNT_CREATE_REPLY, memclnt_create_reply)   \
361 _(MEMCLNT_DELETE_REPLY, memclnt_delete_reply)   \
362 _(MEMCLNT_KEEPALIVE, memclnt_keepalive)
363
364 void
365 vl_client_install_client_message_handlers (void)
366 {
367   api_main_t *am = vlibapi_get_main ();
368 #define _(N, n)                                                               \
369   vl_msg_api_set_handlers (                                                   \
370     VL_API_##N, #n, vl_api_##n##_t_handler, vl_api_##n##_t_endian,            \
371     vl_api_##n##_t_format, sizeof (vl_api_##n##_t), 0, vl_api_##n##_t_tojson, \
372     vl_api_##n##_t_fromjson, vl_api_##n##_t_calc_size);                       \
373   am->msg_data[VL_API_##N].replay_allowed = 0;
374   foreach_api_msg;
375 #undef _
376 }
377
378 int
379 vl_client_api_map (const char *region_name)
380 {
381   int rv;
382
383   if ((rv = vl_map_shmem (region_name, 0 /* is_vlib */ )) < 0)
384     return rv;
385
386   vl_client_install_client_message_handlers ();
387   return 0;
388 }
389
390 void
391 vl_client_api_unmap (void)
392 {
393   vl_unmap_shmem_client ();
394 }
395
396 u8
397 vl_mem_client_is_connected (void)
398 {
399   return (my_memory_client_main->connected_to_vlib != 0);
400 }
401
402 static int
403 connect_to_vlib_internal (const char *svm_name,
404                           const char *client_name,
405                           int rx_queue_size, void *(*thread_fn) (void *),
406                           void *thread_fn_arg, int do_map)
407 {
408   int rv = 0;
409   memory_client_main_t *mm = vlibapi_get_memory_client_main ();
410   api_main_t *am = vlibapi_get_main ();
411
412   if (do_map && (rv = vl_client_api_map (svm_name)))
413     {
414       clib_warning ("vl_client_api map rv %d", rv);
415       return rv;
416     }
417
418   if (vl_client_connect (client_name, 0 /* punt quota */ ,
419                          rx_queue_size /* input queue */ ) < 0)
420     {
421       vl_client_api_unmap ();
422       return -1;
423     }
424
425   /* Start the rx queue thread */
426
427   if (thread_fn)
428     {
429       if (thread_fn == rx_thread_fn)
430         {
431           rx_thread_fn_arg_t *arg;
432           arg = malloc (sizeof (*arg));
433           arg->am = vlibapi_get_main ();
434           arg->mm = vlibapi_get_memory_client_main ();
435           thread_fn_arg = (void *) arg;
436         }
437
438       rv = pthread_create (&mm->rx_thread_handle,
439                            NULL /*attr */ , thread_fn, thread_fn_arg);
440       if (rv)
441         {
442           clib_warning ("pthread_create returned %d", rv);
443           am->rx_thread_handle = 0;
444         }
445       else
446         {
447           am->rx_thread_handle = mm->rx_thread_handle;
448         }
449     }
450
451   mm->connected_to_vlib = 1;
452   return 0;
453 }
454
455 int
456 vl_client_connect_to_vlib (const char *svm_name,
457                            const char *client_name, int rx_queue_size)
458 {
459   return connect_to_vlib_internal (svm_name, client_name, rx_queue_size,
460                                    rx_thread_fn, 0 /* thread fn arg */ ,
461                                    1 /* do map */ );
462 }
463
464 int
465 vl_client_connect_to_vlib_no_rx_pthread (const char *svm_name,
466                                          const char *client_name,
467                                          int rx_queue_size)
468 {
469   return connect_to_vlib_internal (svm_name, client_name, rx_queue_size,
470                                    0 /* no rx_thread_fn */ ,
471                                    0 /* no thread fn arg */ ,
472                                    1 /* do map */ );
473 }
474
475 int
476 vl_client_connect_to_vlib_no_map (const char *svm_name,
477                                   const char *client_name, int rx_queue_size)
478 {
479   return connect_to_vlib_internal (svm_name, client_name, rx_queue_size,
480                                    rx_thread_fn, 0 /* no thread fn arg */ ,
481                                    0 /* dont map */ );
482 }
483
484 int
485 vl_client_connect_to_vlib_no_rx_pthread_no_map (const char *svm_name,
486                                                 const char *client_name,
487                                                 int rx_queue_size)
488 {
489   return connect_to_vlib_internal (svm_name, client_name, rx_queue_size,
490                                    0 /* no thread_fn */ ,
491                                    0 /* no thread fn arg */ ,
492                                    0 /* dont map */ );
493 }
494
495 int
496 vl_client_connect_to_vlib_thread_fn (const char *svm_name,
497                                      const char *client_name,
498                                      int rx_queue_size,
499                                      void *(*thread_fn) (void *), void *arg)
500 {
501   return connect_to_vlib_internal (svm_name, client_name, rx_queue_size,
502                                    thread_fn, arg, 1 /* do map */ );
503 }
504
505
506 static void
507 disconnect_from_vlib_internal (u8 do_unmap)
508 {
509   memory_client_main_t *mm = vlibapi_get_memory_client_main ();
510   api_main_t *am = vlibapi_get_main ();
511   uword junk;
512
513   if (mm->rx_thread_jmpbuf_valid)
514     {
515       vl_api_rx_thread_exit_t *ep;
516       ep = vl_msg_api_alloc (sizeof (*ep));
517       ep->_vl_msg_id = ntohs (VL_API_RX_THREAD_EXIT);
518       vl_msg_api_send_shmem (am->vl_input_queue, (u8 *) & ep);
519       pthread_join (mm->rx_thread_handle, (void **) &junk);
520     }
521   if (mm->connected_to_vlib)
522     {
523       vl_client_disconnect ();
524       if (do_unmap)
525         vl_client_api_unmap ();
526     }
527   clib_memset (mm, 0, sizeof (*mm));
528 }
529
530 void
531 vl_client_disconnect_from_vlib (void)
532 {
533   disconnect_from_vlib_internal (1);
534 }
535
536 void
537 vl_client_disconnect_from_vlib_no_unmap (void)
538 {
539   disconnect_from_vlib_internal (0);
540 }
541
542 static void vl_api_get_first_msg_id_reply_t_handler
543   (vl_api_get_first_msg_id_reply_t * mp)
544 {
545   memory_client_main_t *mm = vlibapi_get_memory_client_main ();
546   i32 retval = ntohl (mp->retval);
547
548   mm->first_msg_id_reply = (retval >= 0) ? ntohs (mp->first_msg_id) : ~0;
549   mm->first_msg_id_reply_ready = 1;
550 }
551
552 u16
553 vl_client_get_first_plugin_msg_id (const char *plugin_name)
554 {
555   vl_api_get_first_msg_id_t *mp;
556   api_main_t *am = vlibapi_get_main ();
557   memory_client_main_t *mm = vlibapi_get_memory_client_main ();
558   vl_api_msg_data_t *m =
559     vl_api_get_msg_data (am, VL_API_GET_FIRST_MSG_ID_REPLY);
560   f64 timeout;
561   void *old_handler;
562   clib_time_t clib_time;
563   u16 rv = ~0;
564
565   if (strlen (plugin_name) + 1 > sizeof (mp->name))
566     return (rv);
567
568   clib_memset (&clib_time, 0, sizeof (clib_time));
569   clib_time_init (&clib_time);
570
571   /* Push this plugin's first_msg_id_reply handler */
572   old_handler = m->handler;
573   m->handler = (void *) vl_api_get_first_msg_id_reply_t_handler;
574   if (!m->calc_size_func)
575     {
576       m->calc_size_func =
577         (uword (*) (void *)) vl_api_get_first_msg_id_reply_t_calc_size;
578     }
579
580   /* Ask the data-plane for the message-ID base of the indicated plugin */
581   mm->first_msg_id_reply_ready = 0;
582
583   /* Not using shm client */
584   if (!am->my_registration)
585     {
586       mp = vl_socket_client_msg_alloc (sizeof (*mp));
587       clib_memset (mp, 0, sizeof (*mp));
588       mp->_vl_msg_id = ntohs (VL_API_GET_FIRST_MSG_ID);
589       mp->client_index = am->my_client_index;
590       strncpy ((char *) mp->name, plugin_name, sizeof (mp->name) - 1);
591
592       if (vl_socket_client_write () <= 0)
593         goto sock_err;
594       if (vl_socket_client_read (1))
595         goto sock_err;
596
597       if (mm->first_msg_id_reply_ready == 1)
598         {
599           rv = mm->first_msg_id_reply;
600           goto result;
601         }
602
603     sock_err:
604       /* Restore old handler */
605       m->handler = old_handler;
606
607       return -1;
608     }
609   else
610     {
611       mp = vl_msg_api_alloc (sizeof (*mp));
612       clib_memset (mp, 0, sizeof (*mp));
613       mp->_vl_msg_id = ntohs (VL_API_GET_FIRST_MSG_ID);
614       mp->client_index = am->my_client_index;
615       strncpy ((char *) mp->name, plugin_name, sizeof (mp->name) - 1);
616
617       vl_msg_api_send_shmem (am->shmem_hdr->vl_input_queue, (u8 *) & mp);
618
619       /* Synchronously wait for the answer */
620       timeout = clib_time_now (&clib_time) + 1.0;
621       while (clib_time_now (&clib_time) < timeout)
622         {
623           if (mm->first_msg_id_reply_ready == 1)
624             {
625               rv = mm->first_msg_id_reply;
626               goto result;
627             }
628         }
629       /* Restore old handler */
630       m->handler = old_handler;
631
632       return rv;
633     }
634
635 result:
636
637   /* Restore the old handler */
638   m->handler = old_handler;
639
640   if (rv == (u16) ~ 0)
641     clib_warning ("plugin '%s' not registered", plugin_name);
642
643   return rv;
644 }
645
646 /*
647  * fd.io coding-style-patch-verification: ON
648  *
649  * Local Variables:
650  * eval: (c-set-style "gnu")
651  * End:
652  */