src/vcl/vcl_private.c

   1 /*
   2  * Copyright (c) 2018-2019 Cisco and/or its affiliates.
   3  * Licensed under the Apache License, Version 2.0 (the "License");
   4  * you may not use this
   5  * You may obtain a copy of the License at:
   6  *
   7  *     http://www.apache.org/licenses/LICENSE-2.0
   8  *
   9  * Unless required by applicable law or agreed to in writing, software
  10  * distributed under the License is distributed on an "AS IS" BASIS,
  11  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  12  * See the License for the specific language governing permissions and
  13  * limitations under the License.
  14  */
  15
  16 #include <vcl/vcl_private.h>
  17
  18 static pthread_key_t vcl_worker_stop_key;
  19
  20 static const char *
  21 vppcom_app_state_str (app_state_t state)
  22 {
  23   char *st;
  24
  25   switch (state)
  26     {
  27     case STATE_APP_START:
  28       st = "STATE_APP_START";
  29       break;
  30
  31     case STATE_APP_CONN_VPP:
  32       st = "STATE_APP_CONN_VPP";
  33       break;
  34
  35     case STATE_APP_ENABLED:
  36       st = "STATE_APP_ENABLED";
  37       break;
  38
  39     case STATE_APP_ATTACHED:
  40       st = "STATE_APP_ATTACHED";
  41       break;
  42
  43     default:
  44       st = "UNKNOWN_APP_STATE";
  45       break;
  46     }
  47
  48   return st;
  49 }
  50
  51 int
  52 vcl_wait_for_app_state_change (app_state_t app_state)
  53 {
  54   vcl_worker_t *wrk = vcl_worker_get_current ();
  55   f64 timeout = clib_time_now (&wrk->clib_time) + vcm->cfg.app_timeout;
  56
  57   while (clib_time_now (&wrk->clib_time) < timeout)
  58     {
  59       if (vcm->app_state == app_state)
  60         return VPPCOM_OK;
  61       if (vcm->app_state == STATE_APP_FAILED)
  62         return VPPCOM_ECONNABORTED;
  63     }
  64   VDBG (0, "timeout waiting for state %s (%d)",
  65         vppcom_app_state_str (app_state), app_state);
  66   vcl_evt (VCL_EVT_SESSION_TIMEOUT, vcm, app_state);
  67
  68   return VPPCOM_ETIMEDOUT;
  69 }
  70
  71 vcl_mq_evt_conn_t *
  72 vcl_mq_evt_conn_alloc (vcl_worker_t * wrk)
  73 {
  74   vcl_mq_evt_conn_t *mqc;
  75   pool_get (wrk->mq_evt_conns, mqc);
  76   memset (mqc, 0, sizeof (*mqc));
  77   return mqc;
  78 }
  79
  80 u32
  81 vcl_mq_evt_conn_index (vcl_worker_t * wrk, vcl_mq_evt_conn_t * mqc)
  82 {
  83   return (mqc - wrk->mq_evt_conns);
  84 }
  85
  86 vcl_mq_evt_conn_t *
  87 vcl_mq_evt_conn_get (vcl_worker_t * wrk, u32 mq_conn_idx)
  88 {
  89   return pool_elt_at_index (wrk->mq_evt_conns, mq_conn_idx);
  90 }
  91
  92 int
  93 vcl_mq_epoll_add_evfd (vcl_worker_t * wrk, svm_msg_q_t * mq)
  94 {
  95   struct epoll_event e = { 0 };
  96   vcl_mq_evt_conn_t *mqc;
  97   u32 mqc_index;
  98   int mq_fd;
  99
 100   mq_fd = svm_msg_q_get_consumer_eventfd (mq);
 101
 102   if (wrk->mqs_epfd < 0 || mq_fd == -1)
 103     return -1;
 104
 105   mqc = vcl_mq_evt_conn_alloc (wrk);
 106   mqc_index = vcl_mq_evt_conn_index (wrk, mqc);
 107   mqc->mq_fd = mq_fd;
 108   mqc->mq = mq;
 109
 110   e.events = EPOLLIN;
 111   e.data.u32 = mqc_index;
 112   if (epoll_ctl (wrk->mqs_epfd, EPOLL_CTL_ADD, mq_fd, &e) < 0)
 113     {
 114       VDBG (0, "failed to add mq eventfd to mq epoll fd");
 115       return -1;
 116     }
 117
 118   return mqc_index;
 119 }
 120
 121 int
 122 vcl_mq_epoll_del_evfd (vcl_worker_t * wrk, u32 mqc_index)
 123 {
 124   vcl_mq_evt_conn_t *mqc;
 125
 126   if (wrk->mqs_epfd || mqc_index == ~0)
 127     return -1;
 128
 129   mqc = vcl_mq_evt_conn_get (wrk, mqc_index);
 130   if (epoll_ctl (wrk->mqs_epfd, EPOLL_CTL_DEL, mqc->mq_fd, 0) < 0)
 131     {
 132       VDBG (0, "failed to del mq eventfd to mq epoll fd");
 133       return -1;
 134     }
 135   return 0;
 136 }
 137
 138 static vcl_worker_t *
 139 vcl_worker_alloc (void)
 140 {
 141   vcl_worker_t *wrk;
 142   pool_get (vcm->workers, wrk);
 143   memset (wrk, 0, sizeof (*wrk));
 144   wrk->wrk_index = wrk - vcm->workers;
 145   wrk->forked_child = ~0;
 146   return wrk;
 147 }
 148
 149 static void
 150 vcl_worker_free (vcl_worker_t * wrk)
 151 {
 152   pool_put (vcm->workers, wrk);
 153 }
 154
 155 void
 156 vcl_worker_cleanup (vcl_worker_t * wrk, u8 notify_vpp)
 157 {
 158   clib_spinlock_lock (&vcm->workers_lock);
 159   if (notify_vpp)
 160     {
 161       /* Notify vpp that the worker is going away */
 162       if (wrk->wrk_index == vcl_get_worker_index ())
 163         vcl_send_app_worker_add_del (0 /* is_add */ );
 164       else
 165         vcl_send_child_worker_del (wrk);
 166
 167       /* Disconnect the binary api */
 168       if (vec_len (vcm->workers) == 1)
 169         vppcom_disconnect_from_vpp ();
 170       else
 171         vl_client_send_disconnect (1 /* vpp should cleanup */ );
 172     }
 173
 174   if (wrk->mqs_epfd > 0)
 175     close (wrk->mqs_epfd);
 176   hash_free (wrk->session_index_by_vpp_handles);
 177   vec_free (wrk->mq_events);
 178   vec_free (wrk->mq_msg_vector);
 179   vcl_worker_free (wrk);
 180   clib_spinlock_unlock (&vcm->workers_lock);
 181 }
 182
 183 static void
 184 vcl_worker_cleanup_cb (void *arg)
 185 {
 186   vcl_worker_t *wrk = vcl_worker_get_current ();
 187   u32 wrk_index = wrk->wrk_index;
 188   vcl_worker_cleanup (wrk, 1 /* notify vpp */ );
 189   vcl_set_worker_index (~0);
 190   VDBG (0, "cleaned up worker %u", wrk_index);
 191 }
 192
 193 vcl_worker_t *
 194 vcl_worker_alloc_and_init ()
 195 {
 196   vcl_worker_t *wrk;
 197
 198   /* This was initialized already */
 199   if (vcl_get_worker_index () != ~0)
 200     return 0;
 201
 202   /* Use separate heap map entry for worker */
 203   clib_mem_set_thread_index ();
 204
 205   if (pool_elts (vcm->workers) == vcm->cfg.max_workers)
 206     {
 207       VDBG (0, "max-workers %u limit reached", vcm->cfg.max_workers);
 208       return 0;
 209     }
 210
 211   clib_spinlock_lock (&vcm->workers_lock);
 212   wrk = vcl_worker_alloc ();
 213   vcl_set_worker_index (wrk->wrk_index);
 214   wrk->thread_id = pthread_self ();
 215   wrk->current_pid = getpid ();
 216
 217   wrk->mqs_epfd = -1;
 218   if (vcm->cfg.use_mq_eventfd)
 219     {
 220       wrk->mqs_epfd = epoll_create (1);
 221       if (wrk->mqs_epfd < 0)
 222         {
 223           clib_unix_warning ("epoll_create() returned");
 224           goto done;
 225         }
 226     }
 227
 228   wrk->session_index_by_vpp_handles = hash_create (0, sizeof (uword));
 229   clib_time_init (&wrk->clib_time);
 230   vec_validate (wrk->mq_events, 64);
 231   vec_validate (wrk->mq_msg_vector, 128);
 232   vec_reset_length (wrk->mq_msg_vector);
 233   vec_validate (wrk->unhandled_evts_vector, 128);
 234   vec_reset_length (wrk->unhandled_evts_vector);
 235   clib_spinlock_unlock (&vcm->workers_lock);
 236
 237 done:
 238   return wrk;
 239 }
 240
 241 int
 242 vcl_worker_register_with_vpp (void)
 243 {
 244   vcl_worker_t *wrk = vcl_worker_get_current ();
 245
 246   clib_spinlock_lock (&vcm->workers_lock);
 247
 248   vcm->app_state = STATE_APP_ADDING_WORKER;
 249   vcl_send_app_worker_add_del (1 /* is_add */ );
 250   if (vcl_wait_for_app_state_change (STATE_APP_READY))
 251     {
 252       VDBG (0, "failed to add worker to vpp");
 253       return -1;
 254     }
 255   if (pthread_key_create (&vcl_worker_stop_key, vcl_worker_cleanup_cb))
 256     VDBG (0, "failed to add pthread cleanup function");
 257   if (pthread_setspecific (vcl_worker_stop_key, &wrk->thread_id))
 258     VDBG (0, "failed to setup key value");
 259
 260   clib_spinlock_unlock (&vcm->workers_lock);
 261
 262   VDBG (0, "added worker %u", wrk->wrk_index);
 263   return 0;
 264 }
 265
 266 int
 267 vcl_worker_set_bapi (void)
 268 {
 269   vcl_worker_t *wrk = vcl_worker_get_current ();
 270   int i;
 271
 272   /* Find the first worker with the same pid */
 273   for (i = 0; i < vec_len (vcm->workers); i++)
 274     {
 275       if (i == wrk->wrk_index)
 276         continue;
 277       if (vcm->workers[i].current_pid == wrk->current_pid)
 278         {
 279           wrk->vl_input_queue = vcm->workers[i].vl_input_queue;
 280           wrk->my_client_index = vcm->workers[i].my_client_index;
 281           return 0;
 282         }
 283     }
 284   return -1;
 285 }
 286
 287 svm_msg_q_t *
 288 vcl_worker_ctrl_mq (vcl_worker_t * wrk)
 289 {
 290   return wrk->ctrl_mq;
 291 }
 292
 293 void
 294 vcl_cleanup_bapi (void)
 295 {
 296   socket_client_main_t *scm = &socket_client_main;
 297   api_main_t *am = vlibapi_get_main ();
 298
 299   am->my_client_index = ~0;
 300   am->my_registration = 0;
 301   am->vl_input_queue = 0;
 302   am->msg_index_by_name_and_crc = 0;
 303   scm->socket_fd = 0;
 304
 305   vl_client_api_unmap ();
 306 }
 307
 308 int
 309 vcl_session_read_ready (vcl_session_t * session)
 310 {
 311   u32 max_deq;
 312
 313   /* Assumes caller has acquired spinlock: vcm->sessions_lockp */
 314   if (PREDICT_FALSE (session->is_vep))
 315     {
 316       VDBG (0, "ERROR: session %u: cannot read from an epoll session!",
 317             session->session_index);
 318       return VPPCOM_EBADFD;
 319     }
 320
 321   if (PREDICT_FALSE (!(session->session_state & (STATE_OPEN | STATE_LISTEN))))
 322     {
 323       vcl_session_state_t state = session->session_state;
 324       int rv;
 325
 326       rv = ((state & STATE_DISCONNECT) ? VPPCOM_ECONNRESET : VPPCOM_ENOTCONN);
 327
 328       VDBG (1, "session %u [0x%llx]: not open! state 0x%x (%s), ret %d (%s)",
 329             session->session_index, session->vpp_handle, state,
 330             vppcom_session_state_str (state), rv, vppcom_retval_str (rv));
 331       return rv;
 332     }
 333
 334   if (session->session_state & STATE_LISTEN)
 335     return clib_fifo_elts (session->accept_evts_fifo);
 336
 337   if (vcl_session_is_ct (session))
 338     return svm_fifo_max_dequeue_cons (session->ct_rx_fifo);
 339
 340   max_deq = svm_fifo_max_dequeue_cons (session->rx_fifo);
 341
 342   if (session->is_dgram)
 343     {
 344       session_dgram_pre_hdr_t ph;
 345
 346       if (max_deq <= SESSION_CONN_HDR_LEN)
 347         return 0;
 348       if (svm_fifo_peek (session->rx_fifo, 0, sizeof (ph), (u8 *) & ph) < 0)
 349         return 0;
 350       if (ph.data_length + SESSION_CONN_HDR_LEN > max_deq)
 351         return 0;
 352
 353       return ph.data_length;
 354     }
 355
 356   return max_deq;
 357 }
 358
 359 int
 360 vcl_session_write_ready (vcl_session_t * session)
 361 {
 362   /* Assumes caller has acquired spinlock: vcm->sessions_lockp */
 363   if (PREDICT_FALSE (session->is_vep))
 364     {
 365       VDBG (0, "session %u [0x%llx]: cannot write to an epoll session!",
 366             session->session_index, session->vpp_handle);
 367       return VPPCOM_EBADFD;
 368     }
 369
 370   if (PREDICT_FALSE (session->session_state & STATE_LISTEN))
 371     {
 372       if (session->tx_fifo)
 373         return svm_fifo_max_enqueue_prod (session->tx_fifo);
 374       else
 375         return VPPCOM_EBADFD;
 376     }
 377
 378   if (PREDICT_FALSE (!(session->session_state & STATE_OPEN)))
 379     {
 380       vcl_session_state_t state = session->session_state;
 381       int rv;
 382
 383       rv = ((state & STATE_DISCONNECT) ? VPPCOM_ECONNRESET : VPPCOM_ENOTCONN);
 384       VDBG (0, "session %u [0x%llx]: not open! state 0x%x (%s), ret %d (%s)",
 385             session->session_index, session->vpp_handle, state,
 386             vppcom_session_state_str (state), rv, vppcom_retval_str (rv));
 387       return rv;
 388     }
 389
 390   if (vcl_session_is_ct (session))
 391     return svm_fifo_max_enqueue_prod (session->ct_tx_fifo);
 392
 393   if (session->is_dgram)
 394     {
 395       u32 max_enq = svm_fifo_max_enqueue_prod (session->tx_fifo);
 396
 397       if (max_enq <= sizeof (session_dgram_hdr_t))
 398         return 0;
 399       return max_enq - sizeof (session_dgram_hdr_t);
 400     }
 401
 402   return svm_fifo_max_enqueue_prod (session->tx_fifo);
 403 }
 404
 405 int
 406 vcl_segment_attach (u64 segment_handle, char *name, ssvm_segment_type_t type,
 407                     int fd)
 408 {
 409   fifo_segment_create_args_t _a, *a = &_a;
 410   int rv;
 411
 412   memset (a, 0, sizeof (*a));
 413   a->segment_name = name;
 414   a->segment_type = type;
 415
 416   if (type == SSVM_SEGMENT_MEMFD)
 417     a->memfd_fd = fd;
 418
 419   clib_rwlock_writer_lock (&vcm->segment_table_lock);
 420
 421   if ((rv = fifo_segment_attach (&vcm->segment_main, a)))
 422     {
 423       clib_warning ("svm_fifo_segment_attach ('%s') failed", name);
 424       return rv;
 425     }
 426   hash_set (vcm->segment_table, segment_handle, a->new_segment_indices[0]);
 427
 428   clib_rwlock_writer_unlock (&vcm->segment_table_lock);
 429
 430   vec_reset_length (a->new_segment_indices);
 431   return 0;
 432 }
 433
 434 u32
 435 vcl_segment_table_lookup (u64 segment_handle)
 436 {
 437   uword *seg_indexp;
 438
 439   clib_rwlock_reader_lock (&vcm->segment_table_lock);
 440   seg_indexp = hash_get (vcm->segment_table, segment_handle);
 441   clib_rwlock_reader_unlock (&vcm->segment_table_lock);
 442
 443   if (!seg_indexp)
 444     return VCL_INVALID_SEGMENT_INDEX;
 445   return ((u32) * seg_indexp);
 446 }
 447
 448 void
 449 vcl_segment_detach (u64 segment_handle)
 450 {
 451   fifo_segment_main_t *sm = &vcm->segment_main;
 452   fifo_segment_t *segment;
 453   u32 segment_index;
 454
 455   segment_index = vcl_segment_table_lookup (segment_handle);
 456   if (segment_index == (u32) ~ 0)
 457     return;
 458
 459   clib_rwlock_writer_lock (&vcm->segment_table_lock);
 460
 461   segment = fifo_segment_get_segment (sm, segment_index);
 462   fifo_segment_delete (sm, segment);
 463   hash_unset (vcm->segment_table, segment_handle);
 464
 465   clib_rwlock_writer_unlock (&vcm->segment_table_lock);
 466
 467   VDBG (0, "detached segment %u handle %u", segment_index, segment_handle);
 468 }
 469
 470
 471 /*
 472  * fd.io coding-style-patch-verification: ON
 473  *
 474  * Local Variables:
 475  * eval: (c-set-style "gnu")
 476  * End:
 477  */