src/vnet/session/session_api.c

   1 /*
   2  * Copyright (c) 2015-2019 Cisco and/or its affiliates.
   3  * Licensed under the Apache License, Version 2.0 (the "License");
   4  * you may not use this file except in compliance with the License.
   5  * You may obtain a copy of the License at:
   6  *
   7  *     http://www.apache.org/licenses/LICENSE-2.0
   8  *
   9  * Unless required by applicable law or agreed to in writing, software
  10  * distributed under the License is distributed on an "AS IS" BASIS,
  11  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  12  * See the License for the specific language governing permissions and
  13  * limitations under the License.
  14  */
  15
  16 #include <vnet/vnet.h>
  17 #include <vlibmemory/api.h>
  18 #include <vnet/session/application.h>
  19 #include <vnet/session/application_interface.h>
  20 #include <vnet/session/session_rules_table.h>
  21 #include <vnet/session/session_table.h>
  22
  23 #include <vnet/vnet_msg_enum.h>
  24
  25 #define vl_typedefs             /* define message structures */
  26 #include <vnet/vnet_all_api_h.h>
  27 #undef vl_typedefs
  28
  29 #define vl_endianfun            /* define message structures */
  30 #include <vnet/vnet_all_api_h.h>
  31 #undef vl_endianfun
  32
  33 /* instantiate all the print functions we know about */
  34 #define vl_print(handle, ...) vlib_cli_output (handle, __VA_ARGS__)
  35 #define vl_printfun
  36 #include <vnet/vnet_all_api_h.h>
  37 #undef vl_printfun
  38
  39 #include <vlibapi/api_helper_macros.h>
  40
  41 #define foreach_session_api_msg                                         \
  42 _(MAP_ANOTHER_SEGMENT_REPLY, map_another_segment_reply)                 \
  43 _(APPLICATION_ATTACH, application_attach)                               \
  44 _(APPLICATION_DETACH, application_detach)                               \
  45 _(BIND_URI, bind_uri)                                                   \
  46 _(UNBIND_URI, unbind_uri)                                               \
  47 _(CONNECT_URI, connect_uri)                                             \
  48 _(DISCONNECT_SESSION, disconnect_session)                               \
  49 _(DISCONNECT_SESSION_REPLY, disconnect_session_reply)                   \
  50 _(ACCEPT_SESSION_REPLY, accept_session_reply)                           \
  51 _(RESET_SESSION_REPLY, reset_session_reply)                             \
  52 _(BIND_SOCK, bind_sock)                                                 \
  53 _(UNBIND_SOCK, unbind_sock)                                             \
  54 _(CONNECT_SOCK, connect_sock)                                           \
  55 _(SESSION_ENABLE_DISABLE, session_enable_disable)                       \
  56 _(APP_NAMESPACE_ADD_DEL, app_namespace_add_del)                         \
  57 _(SESSION_RULE_ADD_DEL, session_rule_add_del)                           \
  58 _(SESSION_RULES_DUMP, session_rules_dump)                               \
  59 _(APPLICATION_TLS_CERT_ADD, application_tls_cert_add)                   \
  60 _(APPLICATION_TLS_KEY_ADD, application_tls_key_add)                     \
  61 _(APP_WORKER_ADD_DEL, app_worker_add_del)                               \
  62
  63 static int
  64 session_send_fds (vl_api_registration_t * reg, int fds[], int n_fds)
  65 {
  66   clib_error_t *error;
  67   if (vl_api_registration_file_index (reg) == VL_API_INVALID_FI)
  68     {
  69       clib_warning ("can't send memfd fd");
  70       return -1;
  71     }
  72   error = vl_api_send_fd_msg (reg, fds, n_fds);
  73   if (error)
  74     {
  75       clib_error_report (error);
  76       return -1;
  77     }
  78   return 0;
  79 }
  80
  81 static int
  82 send_add_segment_callback (u32 api_client_index, u64 segment_handle)
  83 {
  84   int fds[SESSION_N_FD_TYPE], n_fds = 0;
  85   vl_api_map_another_segment_t *mp;
  86   svm_fifo_segment_private_t *fs;
  87   vl_api_registration_t *reg;
  88   ssvm_private_t *sp;
  89   u8 fd_flags = 0;
  90
  91   reg = vl_mem_api_client_index_to_registration (api_client_index);
  92   if (!reg)
  93     {
  94       clib_warning ("no api registration for client: %u", api_client_index);
  95       return -1;
  96     }
  97
  98   fs = segment_manager_get_segment_w_handle (segment_handle);
  99   sp = &fs->ssvm;
 100   if (ssvm_type (sp) == SSVM_SEGMENT_MEMFD)
 101     {
 102       if (vl_api_registration_file_index (reg) == VL_API_INVALID_FI)
 103         {
 104           clib_warning ("can't send memfd fd");
 105           return -1;
 106         }
 107
 108       fd_flags |= SESSION_FD_F_MEMFD_SEGMENT;
 109       fds[n_fds] = sp->fd;
 110       n_fds += 1;
 111     }
 112
 113   mp = vl_mem_api_alloc_as_if_client_w_reg (reg, sizeof (*mp));
 114   clib_memset (mp, 0, sizeof (*mp));
 115   mp->_vl_msg_id = clib_host_to_net_u16 (VL_API_MAP_ANOTHER_SEGMENT);
 116   mp->segment_size = sp->ssvm_size;
 117   mp->fd_flags = fd_flags;
 118   mp->segment_handle = clib_host_to_net_u64 (segment_handle);
 119   strncpy ((char *) mp->segment_name, (char *) sp->name,
 120            sizeof (mp->segment_name) - 1);
 121
 122   vl_msg_api_send_shmem (reg->vl_input_queue, (u8 *) & mp);
 123
 124   if (n_fds)
 125     return session_send_fds (reg, fds, n_fds);
 126
 127   return 0;
 128 }
 129
 130 static int
 131 send_del_segment_callback (u32 api_client_index, u64 segment_handle)
 132 {
 133   vl_api_unmap_segment_t *mp;
 134   vl_api_registration_t *reg;
 135
 136   reg = vl_mem_api_client_index_to_registration (api_client_index);
 137   if (!reg)
 138     {
 139       clib_warning ("no registration: %u", api_client_index);
 140       return -1;
 141     }
 142
 143   mp = vl_mem_api_alloc_as_if_client_w_reg (reg, sizeof (*mp));
 144   clib_memset (mp, 0, sizeof (*mp));
 145   mp->_vl_msg_id = clib_host_to_net_u16 (VL_API_UNMAP_SEGMENT);
 146   mp->segment_handle = clib_host_to_net_u64 (segment_handle);
 147   vl_msg_api_send_shmem (reg->vl_input_queue, (u8 *) & mp);
 148
 149   return 0;
 150 }
 151
 152 static int
 153 send_app_cut_through_registration_add (u32 api_client_index,
 154                                        u32 wrk_map_index, u64 mq_addr,
 155                                        u64 peer_mq_addr)
 156 {
 157   vl_api_app_cut_through_registration_add_t *mp;
 158   vl_api_registration_t *reg;
 159   svm_msg_q_t *mq, *peer_mq;
 160   int fds[2];
 161
 162   reg = vl_mem_api_client_index_to_registration (api_client_index);
 163   if (!reg)
 164     {
 165       clib_warning ("no registration: %u", api_client_index);
 166       return -1;
 167     }
 168
 169   mp = vl_mem_api_alloc_as_if_client_w_reg (reg, sizeof (*mp));
 170   clib_memset (mp, 0, sizeof (*mp));
 171   mp->_vl_msg_id =
 172     clib_host_to_net_u16 (VL_API_APP_CUT_THROUGH_REGISTRATION_ADD);
 173
 174   mp->evt_q_address = mq_addr;
 175   mp->peer_evt_q_address = peer_mq_addr;
 176   mp->wrk_index = wrk_map_index;
 177
 178   mq = uword_to_pointer (mq_addr, svm_msg_q_t *);
 179   peer_mq = uword_to_pointer (peer_mq_addr, svm_msg_q_t *);
 180
 181   if (svm_msg_q_get_producer_eventfd (mq) != -1)
 182     {
 183       mp->fd_flags |= SESSION_FD_F_MQ_EVENTFD;
 184       mp->n_fds = 2;
 185       /* app will overwrite exactly the fds we pass here. So
 186        * when we swap mq with peer_mq (accept vs connect) the
 187        * fds will still be valid */
 188       fds[0] = svm_msg_q_get_consumer_eventfd (mq);
 189       fds[1] = svm_msg_q_get_producer_eventfd (peer_mq);
 190     }
 191
 192   vl_msg_api_send_shmem (reg->vl_input_queue, (u8 *) & mp);
 193
 194   if (mp->n_fds != 0)
 195     session_send_fds (reg, fds, mp->n_fds);
 196
 197   return 0;
 198 }
 199
 200 static int
 201 send_session_accept_callback (session_t * s)
 202 {
 203   app_worker_t *server_wrk = app_worker_get (s->app_wrk_index);
 204   transport_proto_vft_t *tp_vft;
 205   vl_api_accept_session_t *mp;
 206   vl_api_registration_t *reg;
 207   transport_connection_t *tc;
 208   session_t *listener;
 209   svm_msg_q_t *vpp_queue;
 210   application_t *server;
 211
 212   server = application_get (server_wrk->app_index);
 213   reg =
 214     vl_mem_api_client_index_to_registration (server_wrk->api_client_index);
 215   if (!reg)
 216     {
 217       clib_warning ("no registration: %u", server_wrk->api_client_index);
 218       return -1;
 219     }
 220
 221   mp = vl_mem_api_alloc_as_if_client_w_reg (reg, sizeof (*mp));
 222   clib_memset (mp, 0, sizeof (*mp));
 223
 224   mp->_vl_msg_id = clib_host_to_net_u16 (VL_API_ACCEPT_SESSION);
 225   mp->context = server_wrk->wrk_index;
 226   mp->server_rx_fifo = pointer_to_uword (s->rx_fifo);
 227   mp->server_tx_fifo = pointer_to_uword (s->tx_fifo);
 228
 229   if (session_has_transport (s))
 230     {
 231       listener = listen_session_get (s->listener_index);
 232       mp->listener_handle = listen_session_get_handle (listener);
 233       if (application_is_proxy (server))
 234         {
 235           listener =
 236             app_worker_first_listener (server_wrk, session_get_fib_proto (s),
 237                                        session_get_transport_proto (s));
 238           if (listener)
 239             mp->listener_handle = listen_session_get_handle (listener);
 240         }
 241       vpp_queue = session_manager_get_vpp_event_queue (s->thread_index);
 242       mp->vpp_event_queue_address = pointer_to_uword (vpp_queue);
 243       mp->handle = session_handle (s);
 244       tp_vft = transport_protocol_get_vft (session_get_transport_proto (s));
 245       tc = tp_vft->get_connection (s->connection_index, s->thread_index);
 246       mp->port = tc->rmt_port;
 247       mp->is_ip4 = tc->is_ip4;
 248       clib_memcpy_fast (&mp->ip, &tc->rmt_ip, sizeof (tc->rmt_ip));
 249     }
 250   else
 251     {
 252       local_session_t *ls = (local_session_t *) s;
 253       local_session_t *ll;
 254       if (application_local_session_listener_has_transport (ls))
 255         {
 256           listener = listen_session_get (ls->listener_index);
 257           mp->listener_handle = listen_session_get_handle (listener);
 258           mp->is_ip4 = session_type_is_ip4 (listener->session_type);
 259         }
 260       else
 261         {
 262           ll = application_get_local_listen_session (server,
 263                                                      ls->listener_index);
 264           if (ll->transport_listener_index != ~0)
 265             {
 266               listener = listen_session_get (ll->transport_listener_index);
 267               mp->listener_handle = listen_session_get_handle (listener);
 268             }
 269           else
 270             {
 271               mp->listener_handle = application_local_session_handle (ll);
 272             }
 273           mp->is_ip4 = session_type_is_ip4 (ll->listener_session_type);
 274         }
 275       mp->handle = application_local_session_handle (ls);
 276       mp->port = ls->port;
 277       mp->vpp_event_queue_address = ls->client_evt_q;
 278       mp->server_event_queue_address = ls->server_evt_q;
 279     }
 280   vl_msg_api_send_shmem (reg->vl_input_queue, (u8 *) & mp);
 281
 282   return 0;
 283 }
 284
 285 static void
 286 send_session_disconnect_callback (session_t * s)
 287 {
 288   app_worker_t *app_wrk = app_worker_get (s->app_wrk_index);
 289   vl_api_disconnect_session_t *mp;
 290   vl_api_registration_t *reg;
 291
 292   reg = vl_mem_api_client_index_to_registration (app_wrk->api_client_index);
 293   if (!reg)
 294     {
 295       clib_warning ("no registration: %u", app_wrk->api_client_index);
 296       return;
 297     }
 298
 299   mp = vl_mem_api_alloc_as_if_client_w_reg (reg, sizeof (*mp));
 300   clib_memset (mp, 0, sizeof (*mp));
 301   mp->_vl_msg_id = clib_host_to_net_u16 (VL_API_DISCONNECT_SESSION);
 302   mp->handle = session_handle (s);
 303   mp->context = app_wrk->api_client_index;
 304   vl_msg_api_send_shmem (reg->vl_input_queue, (u8 *) & mp);
 305 }
 306
 307 static void
 308 send_session_reset_callback (session_t * s)
 309 {
 310   app_worker_t *app_wrk = app_worker_get (s->app_wrk_index);
 311   vl_api_registration_t *reg;
 312   vl_api_reset_session_t *mp;
 313
 314   reg = vl_mem_api_client_index_to_registration (app_wrk->api_client_index);
 315   if (!reg)
 316     {
 317       clib_warning ("no registration: %u", app_wrk->api_client_index);
 318       return;
 319     }
 320
 321   mp = vl_mem_api_alloc_as_if_client_w_reg (reg, sizeof (*mp));
 322   clib_memset (mp, 0, sizeof (*mp));
 323   mp->_vl_msg_id = clib_host_to_net_u16 (VL_API_RESET_SESSION);
 324   mp->handle = session_handle (s);
 325   vl_msg_api_send_shmem (reg->vl_input_queue, (u8 *) & mp);
 326 }
 327
 328 int
 329 send_session_connected_callback (u32 app_wrk_index, u32 api_context,
 330                                  session_t * s, u8 is_fail)
 331 {
 332   vl_api_connect_session_reply_t *mp;
 333   transport_connection_t *tc;
 334   vl_api_registration_t *reg;
 335   svm_msg_q_t *vpp_queue;
 336   app_worker_t *app_wrk;
 337
 338   app_wrk = app_worker_get (app_wrk_index);
 339   reg = vl_mem_api_client_index_to_registration (app_wrk->api_client_index);
 340   if (!reg)
 341     {
 342       clib_warning ("no registration: %u", app_wrk->api_client_index);
 343       return -1;
 344     }
 345
 346   mp = vl_mem_api_alloc_as_if_client_w_reg (reg, sizeof (*mp));
 347   mp->_vl_msg_id = clib_host_to_net_u16 (VL_API_CONNECT_SESSION_REPLY);
 348   mp->context = api_context;
 349
 350   if (is_fail)
 351     goto done;
 352
 353   if (session_has_transport (s))
 354     {
 355       tc = session_get_transport (s);
 356       if (!tc)
 357         {
 358           is_fail = 1;
 359           goto done;
 360         }
 361
 362       vpp_queue = session_manager_get_vpp_event_queue (s->thread_index);
 363       mp->handle = session_handle (s);
 364       mp->vpp_event_queue_address = pointer_to_uword (vpp_queue);
 365       clib_memcpy_fast (mp->lcl_ip, &tc->lcl_ip, sizeof (tc->lcl_ip));
 366       mp->is_ip4 = tc->is_ip4;
 367       mp->lcl_port = tc->lcl_port;
 368       mp->server_rx_fifo = pointer_to_uword (s->rx_fifo);
 369       mp->server_tx_fifo = pointer_to_uword (s->tx_fifo);
 370     }
 371   else
 372     {
 373       local_session_t *ls = (local_session_t *) s;
 374       mp->handle = application_local_session_handle (ls);
 375       mp->lcl_port = ls->port;
 376       mp->vpp_event_queue_address = ls->server_evt_q;
 377       mp->client_event_queue_address = ls->client_evt_q;
 378       mp->server_rx_fifo = pointer_to_uword (s->tx_fifo);
 379       mp->server_tx_fifo = pointer_to_uword (s->rx_fifo);
 380     }
 381
 382 done:
 383   mp->retval = is_fail ?
 384     clib_host_to_net_u32 (VNET_API_ERROR_SESSION_CONNECT) : 0;
 385   vl_msg_api_send_shmem (reg->vl_input_queue, (u8 *) & mp);
 386   return 0;
 387 }
 388
 389 static session_cb_vft_t session_cb_vft = {
 390   .session_accept_callback = send_session_accept_callback,
 391   .session_disconnect_callback = send_session_disconnect_callback,
 392   .session_connected_callback = send_session_connected_callback,
 393   .session_reset_callback = send_session_reset_callback,
 394   .add_segment_callback = send_add_segment_callback,
 395   .del_segment_callback = send_del_segment_callback,
 396 };
 397
 398 static int
 399 mq_try_lock_and_alloc_msg (svm_msg_q_t * app_mq, svm_msg_q_msg_t * msg)
 400 {
 401   int rv;
 402   u8 try = 0;
 403   while (try < 100)
 404     {
 405       rv = svm_msg_q_lock_and_alloc_msg_w_ring (app_mq,
 406                                                 SESSION_MQ_CTRL_EVT_RING,
 407                                                 SVM_Q_NOWAIT, msg);
 408       if (!rv)
 409         return 0;
 410       try++;
 411       usleep (1);
 412     }
 413   clib_warning ("failed to alloc msg");
 414   return -1;
 415 }
 416
 417 static int
 418 mq_send_session_accepted_cb (session_t * s)
 419 {
 420   app_worker_t *app_wrk = app_worker_get (s->app_wrk_index);
 421   svm_msg_q_msg_t _msg, *msg = &_msg;
 422   svm_msg_q_t *vpp_queue, *app_mq;
 423   transport_proto_vft_t *tp_vft;
 424   transport_connection_t *tc;
 425   session_t *listener;
 426   session_accepted_msg_t *mp;
 427   session_event_t *evt;
 428   application_t *app;
 429
 430   app = application_get (app_wrk->app_index);
 431   app_mq = app_wrk->event_queue;
 432   if (mq_try_lock_and_alloc_msg (app_mq, msg))
 433     return -1;
 434
 435   evt = svm_msg_q_msg_data (app_mq, msg);
 436   clib_memset (evt, 0, sizeof (*evt));
 437   evt->event_type = SESSION_CTRL_EVT_ACCEPTED;
 438   mp = (session_accepted_msg_t *) evt->data;
 439   clib_memset (mp, 0, sizeof (*mp));
 440   mp->context = app->app_index;
 441   mp->server_rx_fifo = pointer_to_uword (s->rx_fifo);
 442   mp->server_tx_fifo = pointer_to_uword (s->tx_fifo);
 443   mp->segment_handle = session_segment_handle (s);
 444
 445   if (session_has_transport (s))
 446     {
 447       listener = listen_session_get (s->listener_index);
 448       mp->listener_handle = listen_session_get_handle (listener);
 449       if (application_is_proxy (app))
 450         {
 451           listener =
 452             app_worker_first_listener (app_wrk, session_get_fib_proto (s),
 453                                        session_get_transport_proto (s));
 454           if (listener)
 455             mp->listener_handle = listen_session_get_handle (listener);
 456         }
 457       vpp_queue = session_manager_get_vpp_event_queue (s->thread_index);
 458       mp->vpp_event_queue_address = pointer_to_uword (vpp_queue);
 459       mp->handle = session_handle (s);
 460       tp_vft = transport_protocol_get_vft (session_get_transport_proto (s));
 461       tc = tp_vft->get_connection (s->connection_index, s->thread_index);
 462       mp->port = tc->rmt_port;
 463       mp->is_ip4 = tc->is_ip4;
 464       clib_memcpy_fast (&mp->ip, &tc->rmt_ip, sizeof (tc->rmt_ip));
 465     }
 466   else
 467     {
 468       local_session_t *ls = (local_session_t *) s;
 469       local_session_t *ll;
 470       u8 main_thread = vlib_num_workers ()? 1 : 0;
 471
 472       send_app_cut_through_registration_add (app_wrk->api_client_index,
 473                                              app_wrk->wrk_map_index,
 474                                              ls->server_evt_q,
 475                                              ls->client_evt_q);
 476
 477       if (application_local_session_listener_has_transport (ls))
 478         {
 479           listener = listen_session_get (ls->listener_index);
 480           mp->listener_handle = listen_session_get_handle (listener);
 481           mp->is_ip4 = session_type_is_ip4 (listener->session_type);
 482         }
 483       else
 484         {
 485           ll = application_get_local_listen_session (app, ls->listener_index);
 486           if (ll->transport_listener_index != ~0)
 487             {
 488               listener = listen_session_get (ll->transport_listener_index);
 489               mp->listener_handle = listen_session_get_handle (listener);
 490             }
 491           else
 492             {
 493               mp->listener_handle = application_local_session_handle (ll);
 494             }
 495           mp->is_ip4 = session_type_is_ip4 (ll->listener_session_type);
 496         }
 497       mp->handle = application_local_session_handle (ls);
 498       mp->port = ls->port;
 499       vpp_queue = session_manager_get_vpp_event_queue (main_thread);
 500       mp->vpp_event_queue_address = pointer_to_uword (vpp_queue);
 501       mp->client_event_queue_address = ls->client_evt_q;
 502       mp->server_event_queue_address = ls->server_evt_q;
 503     }
 504   svm_msg_q_add_and_unlock (app_mq, msg);
 505
 506   return 0;
 507 }
 508
 509 static inline void
 510 mq_send_session_close_evt (app_worker_t * app_wrk, session_handle_t sh,
 511                            session_evt_type_t evt_type)
 512 {
 513   svm_msg_q_msg_t _msg, *msg = &_msg;
 514   session_disconnected_msg_t *mp;
 515   svm_msg_q_t *app_mq;
 516   session_event_t *evt;
 517
 518   app_mq = app_wrk->event_queue;
 519   if (mq_try_lock_and_alloc_msg (app_mq, msg))
 520     return;
 521   evt = svm_msg_q_msg_data (app_mq, msg);
 522   clib_memset (evt, 0, sizeof (*evt));
 523   evt->event_type = evt_type;
 524   mp = (session_disconnected_msg_t *) evt->data;
 525   mp->handle = sh;
 526   mp->context = app_wrk->api_client_index;
 527   svm_msg_q_add_and_unlock (app_mq, msg);
 528 }
 529
 530 static inline void
 531 mq_notify_close_subscribers (u32 app_index, session_handle_t sh,
 532                              svm_fifo_t * f, session_evt_type_t evt_type)
 533 {
 534   app_worker_t *app_wrk;
 535   application_t *app;
 536   int i;
 537
 538   app = application_get (app_index);
 539   if (!app)
 540     return;
 541
 542   for (i = 0; i < f->n_subscribers; i++)
 543     {
 544       if (!(app_wrk = application_get_worker (app, f->subscribers[i])))
 545         continue;
 546       mq_send_session_close_evt (app_wrk, sh, SESSION_CTRL_EVT_DISCONNECTED);
 547     }
 548 }
 549
 550 static void
 551 mq_send_session_disconnected_cb (session_t * s)
 552 {
 553   app_worker_t *app_wrk = app_worker_get (s->app_wrk_index);
 554   session_handle_t sh = session_handle (s);
 555
 556   mq_send_session_close_evt (app_wrk, session_handle (s),
 557                              SESSION_CTRL_EVT_DISCONNECTED);
 558
 559   if (svm_fifo_n_subscribers (s->rx_fifo))
 560     mq_notify_close_subscribers (app_wrk->app_index, sh, s->rx_fifo,
 561                                  SESSION_CTRL_EVT_DISCONNECTED);
 562 }
 563
 564 void
 565 mq_send_local_session_disconnected_cb (u32 app_wrk_index,
 566                                        local_session_t * ls)
 567 {
 568   app_worker_t *app_wrk = app_worker_get (app_wrk_index);
 569   session_handle_t sh = application_local_session_handle (ls);
 570
 571   mq_send_session_close_evt (app_wrk, sh, SESSION_CTRL_EVT_DISCONNECTED);
 572
 573   if (svm_fifo_n_subscribers (ls->rx_fifo))
 574     mq_notify_close_subscribers (app_wrk->app_index, sh, ls->rx_fifo,
 575                                  SESSION_CTRL_EVT_DISCONNECTED);
 576 }
 577
 578 static void
 579 mq_send_session_reset_cb (session_t * s)
 580 {
 581   app_worker_t *app_wrk = app_worker_get (s->app_wrk_index);
 582   session_handle_t sh = session_handle (s);
 583
 584   mq_send_session_close_evt (app_wrk, sh, SESSION_CTRL_EVT_RESET);
 585
 586   if (svm_fifo_n_subscribers (s->rx_fifo))
 587     mq_notify_close_subscribers (app_wrk->app_index, sh, s->rx_fifo,
 588                                  SESSION_CTRL_EVT_RESET);
 589 }
 590
 591 static int
 592 mq_send_session_connected_cb (u32 app_wrk_index, u32 api_context,
 593                               session_t * s, u8 is_fail)
 594 {
 595   svm_msg_q_msg_t _msg, *msg = &_msg;
 596   session_connected_msg_t *mp;
 597   svm_msg_q_t *vpp_mq, *app_mq;
 598   transport_connection_t *tc;
 599   app_worker_t *app_wrk;
 600   session_event_t *evt;
 601
 602   app_wrk = app_worker_get (app_wrk_index);
 603   app_mq = app_wrk->event_queue;
 604   if (!app_mq)
 605     {
 606       clib_warning ("app %u with api index: %u not attached",
 607                     app_wrk->app_index, app_wrk->api_client_index);
 608       return -1;
 609     }
 610
 611   if (mq_try_lock_and_alloc_msg (app_mq, msg))
 612     return -1;
 613
 614   evt = svm_msg_q_msg_data (app_mq, msg);
 615   clib_memset (evt, 0, sizeof (*evt));
 616   evt->event_type = SESSION_CTRL_EVT_CONNECTED;
 617   mp = (session_connected_msg_t *) evt->data;
 618   clib_memset (mp, 0, sizeof (*mp));
 619   mp->context = api_context;
 620
 621   if (is_fail)
 622     goto done;
 623
 624   mp->segment_handle = session_segment_handle (s);
 625
 626   if (session_has_transport (s))
 627     {
 628       tc = session_get_transport (s);
 629       if (!tc)
 630         {
 631           is_fail = 1;
 632           goto done;
 633         }
 634
 635       vpp_mq = session_manager_get_vpp_event_queue (s->thread_index);
 636       mp->handle = session_handle (s);
 637       mp->vpp_event_queue_address = pointer_to_uword (vpp_mq);
 638       clib_memcpy_fast (mp->lcl_ip, &tc->lcl_ip, sizeof (tc->lcl_ip));
 639       mp->is_ip4 = tc->is_ip4;
 640       mp->lcl_port = tc->lcl_port;
 641       mp->server_rx_fifo = pointer_to_uword (s->rx_fifo);
 642       mp->server_tx_fifo = pointer_to_uword (s->tx_fifo);
 643     }
 644   else
 645     {
 646       local_session_t *ls = (local_session_t *) s;
 647       u8 main_thread = vlib_num_workers ()? 1 : 0;
 648
 649       send_app_cut_through_registration_add (app_wrk->api_client_index,
 650                                              app_wrk->wrk_map_index,
 651                                              ls->client_evt_q,
 652                                              ls->server_evt_q);
 653
 654       mp->handle = application_local_session_handle (ls);
 655       mp->lcl_port = ls->port;
 656       vpp_mq = session_manager_get_vpp_event_queue (main_thread);
 657       mp->vpp_event_queue_address = pointer_to_uword (vpp_mq);
 658       mp->client_event_queue_address = ls->client_evt_q;
 659       mp->server_event_queue_address = ls->server_evt_q;
 660       mp->server_rx_fifo = pointer_to_uword (s->tx_fifo);
 661       mp->server_tx_fifo = pointer_to_uword (s->rx_fifo);
 662     }
 663
 664 done:
 665   mp->retval = is_fail ?
 666     clib_host_to_net_u32 (VNET_API_ERROR_SESSION_CONNECT) : 0;
 667
 668   svm_msg_q_add_and_unlock (app_mq, msg);
 669   return 0;
 670 }
 671
 672 static int
 673 mq_send_session_bound_cb (u32 app_wrk_index, u32 api_context,
 674                           session_handle_t handle, int rv)
 675 {
 676   svm_msg_q_msg_t _msg, *msg = &_msg;
 677   svm_msg_q_t *app_mq, *vpp_evt_q;
 678   transport_connection_t *tc;
 679   session_t *ls = 0;
 680   session_bound_msg_t *mp;
 681   app_worker_t *app_wrk;
 682   session_event_t *evt;
 683   application_t *app;
 684
 685   app_wrk = app_worker_get (app_wrk_index);
 686   app = application_get (app_wrk->app_index);
 687   app_mq = app_wrk->event_queue;
 688   if (!app_mq)
 689     {
 690       clib_warning ("app %u with api index: %u not attached",
 691                     app_wrk->app_index, app_wrk->api_client_index);
 692       return -1;
 693     }
 694
 695   if (mq_try_lock_and_alloc_msg (app_mq, msg))
 696     return -1;
 697
 698   evt = svm_msg_q_msg_data (app_mq, msg);
 699   clib_memset (evt, 0, sizeof (*evt));
 700   evt->event_type = SESSION_CTRL_EVT_BOUND;
 701   mp = (session_bound_msg_t *) evt->data;
 702   mp->context = api_context;
 703
 704   if (rv)
 705     goto done;
 706
 707   mp->handle = handle;
 708   if (application_has_global_scope (app))
 709     {
 710       ls = listen_session_get_from_handle (handle);
 711       tc = listen_session_get_transport (ls);
 712       mp->lcl_port = tc->lcl_port;
 713       mp->lcl_is_ip4 = tc->is_ip4;
 714       clib_memcpy_fast (mp->lcl_ip, &tc->lcl_ip, sizeof (tc->lcl_ip));
 715     }
 716   else
 717     {
 718       local_session_t *local;
 719       local = application_get_local_listener_w_handle (handle);
 720       mp->lcl_port = local->port;
 721       mp->lcl_is_ip4 = session_type_is_ip4 (local->session_type);
 722     }
 723
 724   vpp_evt_q = session_manager_get_vpp_event_queue (0);
 725   mp->vpp_evt_q = pointer_to_uword (vpp_evt_q);
 726
 727   if (ls && session_transport_service_type (ls) == TRANSPORT_SERVICE_CL)
 728     {
 729       mp->rx_fifo = pointer_to_uword (ls->rx_fifo);
 730       mp->tx_fifo = pointer_to_uword (ls->tx_fifo);
 731     }
 732
 733 done:
 734   mp->retval = rv;
 735   svm_msg_q_add_and_unlock (app_mq, msg);
 736   return 0;
 737 }
 738
 739 static session_cb_vft_t session_mq_cb_vft = {
 740   .session_accept_callback = mq_send_session_accepted_cb,
 741   .session_disconnect_callback = mq_send_session_disconnected_cb,
 742   .session_connected_callback = mq_send_session_connected_cb,
 743   .session_reset_callback = mq_send_session_reset_cb,
 744   .add_segment_callback = send_add_segment_callback,
 745   .del_segment_callback = send_del_segment_callback,
 746 };
 747
 748 static void
 749 vl_api_session_enable_disable_t_handler (vl_api_session_enable_disable_t * mp)
 750 {
 751   vl_api_session_enable_disable_reply_t *rmp;
 752   vlib_main_t *vm = vlib_get_main ();
 753   int rv = 0;
 754
 755   vnet_session_enable_disable (vm, mp->is_enable);
 756   REPLY_MACRO (VL_API_SESSION_ENABLE_DISABLE_REPLY);
 757 }
 758
 759 static void
 760 vl_api_application_attach_t_handler (vl_api_application_attach_t * mp)
 761 {
 762   int rv = 0, fds[SESSION_N_FD_TYPE], n_fds = 0;
 763   vl_api_application_attach_reply_t *rmp;
 764   ssvm_private_t *segp, *evt_q_segment;
 765   vnet_app_attach_args_t _a, *a = &_a;
 766   vl_api_registration_t *reg;
 767   clib_error_t *error = 0;
 768   u8 fd_flags = 0;
 769
 770   reg = vl_api_client_index_to_registration (mp->client_index);
 771   if (!reg)
 772     return;
 773
 774   if (session_manager_is_enabled () == 0)
 775     {
 776       rv = VNET_API_ERROR_FEATURE_DISABLED;
 777       goto done;
 778     }
 779
 780   STATIC_ASSERT (sizeof (u64) * APP_OPTIONS_N_OPTIONS <=
 781                  sizeof (mp->options),
 782                  "Out of options, fix api message definition");
 783
 784   clib_memset (a, 0, sizeof (*a));
 785   a->api_client_index = mp->client_index;
 786   a->options = mp->options;
 787
 788   if (a->options[APP_OPTIONS_FLAGS] & APP_OPTIONS_FLAGS_USE_MQ_FOR_CTRL_MSGS)
 789     a->session_cb_vft = &session_mq_cb_vft;
 790   else
 791     a->session_cb_vft = &session_cb_vft;
 792
 793   if (mp->namespace_id_len > 64)
 794     {
 795       rv = VNET_API_ERROR_INVALID_VALUE;
 796       goto done;
 797     }
 798
 799   if (mp->namespace_id_len)
 800     {
 801       vec_validate (a->namespace_id, mp->namespace_id_len - 1);
 802       clib_memcpy_fast (a->namespace_id, mp->namespace_id,
 803                         mp->namespace_id_len);
 804     }
 805
 806   if ((error = vnet_application_attach (a)))
 807     {
 808       rv = clib_error_get_code (error);
 809       clib_error_report (error);
 810       vec_free (a->namespace_id);
 811       goto done;
 812     }
 813   vec_free (a->namespace_id);
 814
 815   /* Send event queues segment */
 816   if ((evt_q_segment = session_manager_get_evt_q_segment ()))
 817     {
 818       fd_flags |= SESSION_FD_F_VPP_MQ_SEGMENT;
 819       fds[n_fds] = evt_q_segment->fd;
 820       n_fds += 1;
 821     }
 822   /* Send fifo segment fd if needed */
 823   if (ssvm_type (a->segment) == SSVM_SEGMENT_MEMFD)
 824     {
 825       fd_flags |= SESSION_FD_F_MEMFD_SEGMENT;
 826       fds[n_fds] = a->segment->fd;
 827       n_fds += 1;
 828     }
 829   if (a->options[APP_OPTIONS_FLAGS] & APP_OPTIONS_FLAGS_EVT_MQ_USE_EVENTFD)
 830     {
 831       fd_flags |= SESSION_FD_F_MQ_EVENTFD;
 832       fds[n_fds] = svm_msg_q_get_producer_eventfd (a->app_evt_q);
 833       n_fds += 1;
 834     }
 835
 836 done:
 837
 838   /* *INDENT-OFF* */
 839   REPLY_MACRO2 (VL_API_APPLICATION_ATTACH_REPLY, ({
 840     if (!rv)
 841       {
 842         segp = a->segment;
 843         rmp->app_index = clib_host_to_net_u32 (a->app_index);
 844         rmp->segment_name_length = 0;
 845         rmp->segment_size = segp->ssvm_size;
 846         if (vec_len (segp->name))
 847           {
 848             memcpy (rmp->segment_name, segp->name, vec_len (segp->name));
 849             rmp->segment_name_length = vec_len (segp->name);
 850           }
 851         rmp->app_event_queue_address = pointer_to_uword (a->app_evt_q);
 852         rmp->n_fds = n_fds;
 853         rmp->fd_flags = fd_flags;
 854         rmp->segment_handle = clib_host_to_net_u64 (a->segment_handle);
 855       }
 856   }));
 857   /* *INDENT-ON* */
 858
 859   if (n_fds)
 860     session_send_fds (reg, fds, n_fds);
 861 }
 862
 863 static void
 864 vl_api_application_detach_t_handler (vl_api_application_detach_t * mp)
 865 {
 866   vl_api_application_detach_reply_t *rmp;
 867   int rv = VNET_API_ERROR_INVALID_VALUE_2;
 868   vnet_app_detach_args_t _a, *a = &_a;
 869   application_t *app;
 870
 871   if (session_manager_is_enabled () == 0)
 872     {
 873       rv = VNET_API_ERROR_FEATURE_DISABLED;
 874       goto done;
 875     }
 876
 877   app = application_lookup (mp->client_index);
 878   if (app)
 879     {
 880       a->app_index = app->app_index;
 881       a->api_client_index = mp->client_index;
 882       rv = vnet_application_detach (a);
 883     }
 884
 885 done:
 886   REPLY_MACRO (VL_API_APPLICATION_DETACH_REPLY);
 887 }
 888
 889 static void
 890 vl_api_bind_uri_t_handler (vl_api_bind_uri_t * mp)
 891 {
 892   transport_connection_t *tc = 0;
 893   vnet_bind_args_t _a, *a = &_a;
 894   vl_api_bind_uri_reply_t *rmp;
 895   session_t *s;
 896   application_t *app = 0;
 897   svm_msg_q_t *vpp_evt_q;
 898   app_worker_t *app_wrk;
 899   int rv;
 900
 901   if (session_manager_is_enabled () == 0)
 902     {
 903       rv = VNET_API_ERROR_FEATURE_DISABLED;
 904       goto done;
 905     }
 906
 907   app = application_lookup (mp->client_index);
 908   if (app)
 909     {
 910       clib_memset (a, 0, sizeof (*a));
 911       a->uri = (char *) mp->uri;
 912       a->app_index = app->app_index;
 913       rv = vnet_bind_uri (a);
 914     }
 915   else
 916     {
 917       rv = VNET_API_ERROR_APPLICATION_NOT_ATTACHED;
 918     }
 919
 920 done:
 921
 922   /* *INDENT-OFF* */
 923   REPLY_MACRO2 (VL_API_BIND_URI_REPLY, ({
 924     if (!rv)
 925       {
 926         rmp->handle = a->handle;
 927         if (app && application_has_global_scope (app))
 928             {
 929               s = listen_session_get_from_handle (a->handle);
 930               tc = listen_session_get_transport (s);
 931               rmp->lcl_is_ip4 = tc->is_ip4;
 932               rmp->lcl_port = tc->lcl_port;
 933               clib_memcpy_fast (rmp->lcl_ip, &tc->lcl_ip, sizeof(tc->lcl_ip));
 934               if (session_transport_service_type (s) == TRANSPORT_SERVICE_CL)
 935                 {
 936                   rmp->rx_fifo = pointer_to_uword (s->rx_fifo);
 937                   rmp->tx_fifo = pointer_to_uword (s->tx_fifo);
 938                   vpp_evt_q = session_manager_get_vpp_event_queue (0);
 939                   rmp->vpp_evt_q = pointer_to_uword (vpp_evt_q);
 940                 }
 941             }
 942       }
 943   }));
 944   /* *INDENT-ON* */
 945
 946   /* If app uses mq for control messages, send an mq message as well */
 947   if (app && application_use_mq_for_ctrl (app))
 948     {
 949       app_wrk = application_get_worker (app, 0);
 950       mq_send_session_bound_cb (app_wrk->wrk_index, mp->context, a->handle,
 951                                 rv);
 952     }
 953 }
 954
 955 static void
 956 vl_api_unbind_uri_t_handler (vl_api_unbind_uri_t * mp)
 957 {
 958   vl_api_unbind_uri_reply_t *rmp;
 959   application_t *app;
 960   vnet_unbind_args_t _a, *a = &_a;
 961   int rv;
 962
 963   if (session_manager_is_enabled () == 0)
 964     {
 965       rv = VNET_API_ERROR_FEATURE_DISABLED;
 966       goto done;
 967     }
 968
 969   app = application_lookup (mp->client_index);
 970   if (app)
 971     {
 972       a->uri = (char *) mp->uri;
 973       a->app_index = app->app_index;
 974       rv = vnet_unbind_uri (a);
 975     }
 976   else
 977     {
 978       rv = VNET_API_ERROR_APPLICATION_NOT_ATTACHED;
 979     }
 980
 981 done:
 982   REPLY_MACRO (VL_API_UNBIND_URI_REPLY);
 983 }
 984
 985 static void
 986 vl_api_connect_uri_t_handler (vl_api_connect_uri_t * mp)
 987 {
 988   vl_api_connect_session_reply_t *rmp;
 989   vnet_connect_args_t _a, *a = &_a;
 990   application_t *app;
 991   clib_error_t *error = 0;
 992   int rv = 0;
 993
 994   if (session_manager_is_enabled () == 0)
 995     {
 996       rv = VNET_API_ERROR_FEATURE_DISABLED;
 997       goto done;
 998     }
 999
1000   app = application_lookup (mp->client_index);
1001   if (app)
1002     {
1003       clib_memset (a, 0, sizeof (*a));
1004       a->uri = (char *) mp->uri;
1005       a->api_context = mp->context;
1006       a->app_index = app->app_index;
1007       if ((error = vnet_connect_uri (a)))
1008         {
1009           rv = clib_error_get_code (error);
1010           clib_error_report (error);
1011         }
1012     }
1013   else
1014     {
1015       rv = VNET_API_ERROR_APPLICATION_NOT_ATTACHED;
1016     }
1017
1018   /*
1019    * Don't reply to stream (tcp) connects. The reply will come once
1020    * the connection is established. In case of the redirects, the reply
1021    * will come from the server app.
1022    */
1023   if (rv == 0)
1024     return;
1025
1026 done:
1027   /* *INDENT-OFF* */
1028   REPLY_MACRO (VL_API_CONNECT_SESSION_REPLY);
1029   /* *INDENT-ON* */
1030 }
1031
1032 static void
1033 vl_api_disconnect_session_t_handler (vl_api_disconnect_session_t * mp)
1034 {
1035   vl_api_disconnect_session_reply_t *rmp;
1036   vnet_disconnect_args_t _a, *a = &_a;
1037   application_t *app;
1038   int rv = 0;
1039
1040   if (session_manager_is_enabled () == 0)
1041     {
1042       rv = VNET_API_ERROR_FEATURE_DISABLED;
1043       goto done;
1044     }
1045
1046   app = application_lookup (mp->client_index);
1047   if (app)
1048     {
1049       a->handle = mp->handle;
1050       a->app_index = app->app_index;
1051       rv = vnet_disconnect_session (a);
1052     }
1053   else
1054     {
1055       rv = VNET_API_ERROR_APPLICATION_NOT_ATTACHED;
1056     }
1057
1058 done:
1059   REPLY_MACRO2 (VL_API_DISCONNECT_SESSION_REPLY, rmp->handle = mp->handle);
1060 }
1061
1062 static void
1063 vl_api_disconnect_session_reply_t_handler (vl_api_disconnect_session_reply_t *
1064                                            mp)
1065 {
1066   vnet_disconnect_args_t _a, *a = &_a;
1067   application_t *app;
1068
1069   /* Client objected to disconnecting the session, log and continue */
1070   if (mp->retval)
1071     {
1072       clib_warning ("client retval %d", mp->retval);
1073       return;
1074     }
1075
1076   /* Disconnect has been confirmed. Confirm close to transport */
1077   app = application_lookup (mp->context);
1078   if (app)
1079     {
1080       a->handle = mp->handle;
1081       a->app_index = app->app_index;
1082       vnet_disconnect_session (a);
1083     }
1084 }
1085
1086 static void
1087 vl_api_reset_session_reply_t_handler (vl_api_reset_session_reply_t * mp)
1088 {
1089   vnet_disconnect_args_t _a = { 0 }, *a = &_a;
1090   app_worker_t *app_wrk;
1091   application_t *app;
1092   session_t *s;
1093   u32 index, thread_index;
1094
1095   app = application_lookup (mp->context);
1096   if (!app)
1097     return;
1098
1099   session_parse_handle (mp->handle, &index, &thread_index);
1100   s = session_get_if_valid (index, thread_index);
1101   if (!s)
1102     {
1103       clib_warning ("Invalid session!");
1104       return;
1105     }
1106
1107   app_wrk = app_worker_get (s->app_wrk_index);
1108   if (app_wrk->app_index != app->app_index)
1109     {
1110       clib_warning ("app %u does not own handle 0x%lx", app->app_index,
1111                     mp->handle);
1112       return;
1113     }
1114
1115   /* Client objected to resetting the session, log and continue */
1116   if (mp->retval)
1117     {
1118       clib_warning ("client retval %d", mp->retval);
1119       return;
1120     }
1121
1122   /* This comes as a response to a reset, transport only waiting for
1123    * confirmation to remove connection state, no need to disconnect */
1124   a->handle = mp->handle;
1125   a->app_index = app->app_index;
1126   vnet_disconnect_session (a);
1127 }
1128
1129 static void
1130 vl_api_accept_session_reply_t_handler (vl_api_accept_session_reply_t * mp)
1131 {
1132   vnet_disconnect_args_t _a = { 0 }, *a = &_a;
1133   local_session_t *ls;
1134   session_t *s;
1135
1136   /* Server isn't interested, kill the session */
1137   if (mp->retval)
1138     {
1139       a->app_index = mp->context;
1140       a->handle = mp->handle;
1141       vnet_disconnect_session (a);
1142       return;
1143     }
1144
1145   if (session_handle_is_local (mp->handle))
1146     {
1147       ls = application_get_local_session_from_handle (mp->handle);
1148       if (!ls || ls->app_wrk_index != mp->context)
1149         {
1150           clib_warning ("server %u doesn't own local handle %llu",
1151                         mp->context, mp->handle);
1152           return;
1153         }
1154       if (application_local_session_connect_notify (ls))
1155         return;
1156       ls->session_state = SESSION_STATE_READY;
1157     }
1158   else
1159     {
1160       s = session_get_from_handle_if_valid (mp->handle);
1161       if (!s)
1162         {
1163           clib_warning ("session doesn't exist");
1164           return;
1165         }
1166       if (s->app_wrk_index != mp->context)
1167         {
1168           clib_warning ("app doesn't own session");
1169           return;
1170         }
1171       s->session_state = SESSION_STATE_READY;
1172     }
1173 }
1174
1175 static void
1176 vl_api_map_another_segment_reply_t_handler (vl_api_map_another_segment_reply_t
1177                                             * mp)
1178 {
1179   clib_warning ("not implemented");
1180 }
1181
1182 static void
1183 vl_api_bind_sock_t_handler (vl_api_bind_sock_t * mp)
1184 {
1185   vl_api_bind_sock_reply_t *rmp;
1186   vnet_bind_args_t _a, *a = &_a;
1187   int rv = 0;
1188   clib_error_t *error;
1189   application_t *app = 0;
1190   app_worker_t *app_wrk;
1191   session_t *s;
1192   transport_connection_t *tc = 0;
1193   ip46_address_t *ip46;
1194   svm_msg_q_t *vpp_evt_q;
1195
1196   if (session_manager_is_enabled () == 0)
1197     {
1198       rv = VNET_API_ERROR_FEATURE_DISABLED;
1199       goto done;
1200     }
1201
1202   app = application_lookup (mp->client_index);
1203   if (!app)
1204     {
1205       rv = VNET_API_ERROR_APPLICATION_NOT_ATTACHED;
1206       goto done;
1207     }
1208
1209   ip46 = (ip46_address_t *) mp->ip;
1210   clib_memset (a, 0, sizeof (*a));
1211   a->sep.is_ip4 = mp->is_ip4;
1212   a->sep.ip = *ip46;
1213   a->sep.port = mp->port;
1214   a->sep.fib_index = mp->vrf;
1215   a->sep.sw_if_index = ENDPOINT_INVALID_INDEX;
1216   a->sep.transport_proto = mp->proto;
1217   a->app_index = app->app_index;
1218   a->wrk_map_index = mp->wrk_index;
1219
1220   if ((error = vnet_bind (a)))
1221     {
1222       rv = clib_error_get_code (error);
1223       clib_error_report (error);
1224     }
1225
1226 done:
1227   /* *INDENT-OFF* */
1228   REPLY_MACRO2 (VL_API_BIND_SOCK_REPLY,({
1229     if (!rv)
1230       {
1231         rmp->handle = a->handle;
1232         rmp->lcl_port = mp->port;
1233         rmp->lcl_is_ip4 = mp->is_ip4;
1234         if (app && application_has_global_scope (app))
1235           {
1236             s = listen_session_get_from_handle (a->handle);
1237             tc = listen_session_get_transport (s);
1238             clib_memcpy_fast (rmp->lcl_ip, &tc->lcl_ip, sizeof (tc->lcl_ip));
1239             if (session_transport_service_type (s) == TRANSPORT_SERVICE_CL)
1240               {
1241                 rmp->rx_fifo = pointer_to_uword (s->rx_fifo);
1242                 rmp->tx_fifo = pointer_to_uword (s->tx_fifo);
1243                 vpp_evt_q = session_manager_get_vpp_event_queue (0);
1244                 rmp->vpp_evt_q = pointer_to_uword (vpp_evt_q);
1245               }
1246           }
1247       }
1248   }));
1249   /* *INDENT-ON* */
1250
1251   /* If app uses mq for control messages, send an mq message as well */
1252   if (app && application_use_mq_for_ctrl (app))
1253     {
1254       app_wrk = application_get_worker (app, mp->wrk_index);
1255       mq_send_session_bound_cb (app_wrk->wrk_index, mp->context, a->handle,
1256                                 rv);
1257     }
1258 }
1259
1260 static void
1261 vl_api_unbind_sock_t_handler (vl_api_unbind_sock_t * mp)
1262 {
1263   vl_api_unbind_sock_reply_t *rmp;
1264   vnet_unbind_args_t _a, *a = &_a;
1265   application_t *app;
1266   clib_error_t *error;
1267   int rv = 0;
1268
1269   if (session_manager_is_enabled () == 0)
1270     {
1271       rv = VNET_API_ERROR_FEATURE_DISABLED;
1272       goto done;
1273     }
1274
1275   app = application_lookup (mp->client_index);
1276   if (app)
1277     {
1278       a->app_index = app->app_index;
1279       a->handle = mp->handle;
1280       a->wrk_map_index = mp->wrk_index;
1281       if ((error = vnet_unbind (a)))
1282         {
1283           rv = clib_error_get_code (error);
1284           clib_error_report (error);
1285         }
1286     }
1287
1288 done:
1289   REPLY_MACRO (VL_API_UNBIND_SOCK_REPLY);
1290 }
1291
1292 static void
1293 vl_api_connect_sock_t_handler (vl_api_connect_sock_t * mp)
1294 {
1295   vl_api_connect_session_reply_t *rmp;
1296   vnet_connect_args_t _a, *a = &_a;
1297   application_t *app = 0;
1298   clib_error_t *error = 0;
1299   int rv = 0;
1300
1301   if (session_manager_is_enabled () == 0)
1302     {
1303       rv = VNET_API_ERROR_FEATURE_DISABLED;
1304       goto done;
1305     }
1306
1307   app = application_lookup (mp->client_index);
1308   if (app)
1309     {
1310       svm_queue_t *client_q;
1311       ip46_address_t *ip46 = (ip46_address_t *) mp->ip;
1312
1313       clib_memset (a, 0, sizeof (*a));
1314       client_q = vl_api_client_index_to_input_queue (mp->client_index);
1315       mp->client_queue_address = pointer_to_uword (client_q);
1316       a->sep.is_ip4 = mp->is_ip4;
1317       a->sep.ip = *ip46;
1318       a->sep.port = mp->port;
1319       a->sep.transport_proto = mp->proto;
1320       a->sep.peer.fib_index = mp->vrf;
1321       a->sep.peer.sw_if_index = ENDPOINT_INVALID_INDEX;
1322       if (mp->hostname_len)
1323         {
1324           vec_validate (a->sep_ext.hostname, mp->hostname_len - 1);
1325           clib_memcpy_fast (a->sep_ext.hostname, mp->hostname,
1326                             mp->hostname_len);
1327         }
1328       a->api_context = mp->context;
1329       a->app_index = app->app_index;
1330       a->wrk_map_index = mp->wrk_index;
1331       if ((error = vnet_connect (a)))
1332         {
1333           rv = clib_error_get_code (error);
1334           clib_error_report (error);
1335         }
1336       vec_free (a->sep_ext.hostname);
1337     }
1338   else
1339     {
1340       rv = VNET_API_ERROR_APPLICATION_NOT_ATTACHED;
1341     }
1342
1343   if (rv == 0)
1344     return;
1345
1346   /* Got some error, relay it */
1347
1348 done:
1349   REPLY_MACRO (VL_API_CONNECT_SESSION_REPLY);
1350
1351   if (app && application_use_mq_for_ctrl (app))
1352     {
1353       app_worker_t *app_wrk = application_get_worker (app, mp->wrk_index);
1354       mq_send_session_connected_cb (app_wrk->wrk_index, mp->context, 0, 1);
1355     }
1356 }
1357
1358 static void
1359 vl_api_app_worker_add_del_t_handler (vl_api_app_worker_add_del_t * mp)
1360 {
1361   int rv = 0, fds[SESSION_N_FD_TYPE], n_fds = 0;
1362   vl_api_app_worker_add_del_reply_t *rmp;
1363   vl_api_registration_t *reg;
1364   clib_error_t *error = 0;
1365   application_t *app;
1366   u8 fd_flags = 0;
1367
1368   if (!session_manager_is_enabled ())
1369     {
1370       rv = VNET_API_ERROR_FEATURE_DISABLED;
1371       goto done;
1372     }
1373
1374   reg = vl_api_client_index_to_registration (mp->client_index);
1375   if (!reg)
1376     return;
1377
1378   app = application_get_if_valid (clib_net_to_host_u32 (mp->app_index));
1379   if (!app)
1380     {
1381       rv = VNET_API_ERROR_INVALID_VALUE;
1382       goto done;
1383     }
1384
1385   vnet_app_worker_add_del_args_t args = {
1386     .app_index = app->app_index,
1387     .wrk_map_index = clib_net_to_host_u32 (mp->wrk_index),
1388     .api_client_index = mp->client_index,
1389     .is_add = mp->is_add
1390   };
1391   error = vnet_app_worker_add_del (&args);
1392   if (error)
1393     {
1394       rv = clib_error_get_code (error);
1395       clib_error_report (error);
1396       goto done;
1397     }
1398
1399   if (!mp->is_add)
1400     goto done;
1401
1402   /* Send fifo segment fd if needed */
1403   if (ssvm_type (args.segment) == SSVM_SEGMENT_MEMFD)
1404     {
1405       fd_flags |= SESSION_FD_F_MEMFD_SEGMENT;
1406       fds[n_fds] = args.segment->fd;
1407       n_fds += 1;
1408     }
1409   if (application_segment_manager_properties (app)->use_mq_eventfd)
1410     {
1411       fd_flags |= SESSION_FD_F_MQ_EVENTFD;
1412       fds[n_fds] = svm_msg_q_get_producer_eventfd (args.evt_q);
1413       n_fds += 1;
1414     }
1415
1416   /* *INDENT-OFF* */
1417 done:
1418   REPLY_MACRO2 (VL_API_APP_WORKER_ADD_DEL_REPLY, ({
1419     rmp->is_add = mp->is_add;
1420     rmp->wrk_index = clib_host_to_net_u32 (args.wrk_map_index);
1421     rmp->segment_handle = clib_host_to_net_u64 (args.segment_handle);
1422     if (!rv && mp->is_add)
1423       {
1424         if (vec_len (args.segment->name))
1425           {
1426             memcpy (rmp->segment_name, args.segment->name,
1427                     vec_len (args.segment->name));
1428             rmp->segment_name_length = vec_len (args.segment->name);
1429           }
1430         rmp->app_event_queue_address = pointer_to_uword (args.evt_q);
1431         rmp->n_fds = n_fds;
1432         rmp->fd_flags = fd_flags;
1433       }
1434   }));
1435   /* *INDENT-ON* */
1436
1437   if (n_fds)
1438     session_send_fds (reg, fds, n_fds);
1439 }
1440
1441 static void
1442 vl_api_app_namespace_add_del_t_handler (vl_api_app_namespace_add_del_t * mp)
1443 {
1444   vl_api_app_namespace_add_del_reply_t *rmp;
1445   clib_error_t *error = 0;
1446   u32 appns_index = 0;
1447   u8 *ns_id = 0;
1448   int rv = 0;
1449   if (!session_manager_is_enabled ())
1450     {
1451       rv = VNET_API_ERROR_FEATURE_DISABLED;
1452       goto done;
1453     }
1454
1455   if (mp->namespace_id_len > ARRAY_LEN (mp->namespace_id))
1456     {
1457       rv = VNET_API_ERROR_INVALID_VALUE;
1458       goto done;
1459     }
1460
1461   vec_validate (ns_id, mp->namespace_id_len - 1);
1462   clib_memcpy_fast (ns_id, mp->namespace_id, mp->namespace_id_len);
1463   vnet_app_namespace_add_del_args_t args = {
1464     .ns_id = ns_id,
1465     .secret = clib_net_to_host_u64 (mp->secret),
1466     .sw_if_index = clib_net_to_host_u32 (mp->sw_if_index),
1467     .ip4_fib_id = clib_net_to_host_u32 (mp->ip4_fib_id),
1468     .ip6_fib_id = clib_net_to_host_u32 (mp->ip6_fib_id),
1469     .is_add = 1
1470   };
1471   error = vnet_app_namespace_add_del (&args);
1472   if (error)
1473     {
1474       rv = clib_error_get_code (error);
1475       clib_error_report (error);
1476     }
1477   else
1478     {
1479       appns_index = app_namespace_index_from_id (ns_id);
1480       if (appns_index == APP_NAMESPACE_INVALID_INDEX)
1481         {
1482           clib_warning ("app ns lookup failed");
1483           rv = VNET_API_ERROR_UNSPECIFIED;
1484         }
1485     }
1486   vec_free (ns_id);
1487
1488   /* *INDENT-OFF* */
1489 done:
1490   REPLY_MACRO2 (VL_API_APP_NAMESPACE_ADD_DEL_REPLY, ({
1491     if (!rv)
1492       rmp->appns_index = clib_host_to_net_u32 (appns_index);
1493   }));
1494   /* *INDENT-ON* */
1495 }
1496
1497 static void
1498 vl_api_session_rule_add_del_t_handler (vl_api_session_rule_add_del_t * mp)
1499 {
1500   vl_api_session_rule_add_del_reply_t *rmp;
1501   session_rule_add_del_args_t args;
1502   session_rule_table_add_del_args_t *table_args = &args.table_args;
1503   clib_error_t *error;
1504   u8 fib_proto;
1505   int rv = 0;
1506
1507   clib_memset (&args, 0, sizeof (args));
1508   fib_proto = mp->is_ip4 ? FIB_PROTOCOL_IP4 : FIB_PROTOCOL_IP6;
1509
1510   table_args->lcl.fp_len = mp->lcl_plen;
1511   table_args->lcl.fp_proto = fib_proto;
1512   table_args->rmt.fp_len = mp->rmt_plen;
1513   table_args->rmt.fp_proto = fib_proto;
1514   table_args->lcl_port = mp->lcl_port;
1515   table_args->rmt_port = mp->rmt_port;
1516   table_args->action_index = clib_net_to_host_u32 (mp->action_index);
1517   table_args->is_add = mp->is_add;
1518   mp->tag[sizeof (mp->tag) - 1] = 0;
1519   table_args->tag = format (0, "%s", mp->tag);
1520   args.appns_index = clib_net_to_host_u32 (mp->appns_index);
1521   args.scope = mp->scope;
1522   args.transport_proto = mp->transport_proto;
1523
1524   clib_memset (&table_args->lcl.fp_addr, 0, sizeof (table_args->lcl.fp_addr));
1525   clib_memset (&table_args->rmt.fp_addr, 0, sizeof (table_args->rmt.fp_addr));
1526   ip_set (&table_args->lcl.fp_addr, mp->lcl_ip, mp->is_ip4);
1527   ip_set (&table_args->rmt.fp_addr, mp->rmt_ip, mp->is_ip4);
1528   error = vnet_session_rule_add_del (&args);
1529   if (error)
1530     {
1531       rv = clib_error_get_code (error);
1532       clib_error_report (error);
1533     }
1534   vec_free (table_args->tag);
1535   REPLY_MACRO (VL_API_SESSION_RULE_ADD_DEL_REPLY);
1536 }
1537
1538 static void
1539 send_session_rule_details4 (mma_rule_16_t * rule, u8 is_local,
1540                             u8 transport_proto, u32 appns_index, u8 * tag,
1541                             vl_api_registration_t * reg, u32 context)
1542 {
1543   vl_api_session_rules_details_t *rmp = 0;
1544   session_mask_or_match_4_t *match =
1545     (session_mask_or_match_4_t *) & rule->match;
1546   session_mask_or_match_4_t *mask =
1547     (session_mask_or_match_4_t *) & rule->mask;
1548
1549   rmp = vl_msg_api_alloc (sizeof (*rmp));
1550   clib_memset (rmp, 0, sizeof (*rmp));
1551   rmp->_vl_msg_id = ntohs (VL_API_SESSION_RULES_DETAILS);
1552   rmp->context = context;
1553
1554   rmp->is_ip4 = 1;
1555   clib_memcpy_fast (rmp->lcl_ip, &match->lcl_ip, sizeof (match->lcl_ip));
1556   clib_memcpy_fast (rmp->rmt_ip, &match->rmt_ip, sizeof (match->rmt_ip));
1557   rmp->lcl_plen = ip4_mask_to_preflen (&mask->lcl_ip);
1558   rmp->rmt_plen = ip4_mask_to_preflen (&mask->rmt_ip);
1559   rmp->lcl_port = match->lcl_port;
1560   rmp->rmt_port = match->rmt_port;
1561   rmp->action_index = clib_host_to_net_u32 (rule->action_index);
1562   rmp->scope =
1563     is_local ? SESSION_RULE_SCOPE_LOCAL : SESSION_RULE_SCOPE_GLOBAL;
1564   rmp->transport_proto = transport_proto;
1565   rmp->appns_index = clib_host_to_net_u32 (appns_index);
1566   if (tag)
1567     {
1568       clib_memcpy_fast (rmp->tag, tag, vec_len (tag));
1569       rmp->tag[vec_len (tag)] = 0;
1570     }
1571
1572   vl_api_send_msg (reg, (u8 *) rmp);
1573 }
1574
1575 static void
1576 send_session_rule_details6 (mma_rule_40_t * rule, u8 is_local,
1577                             u8 transport_proto, u32 appns_index, u8 * tag,
1578                             vl_api_registration_t * reg, u32 context)
1579 {
1580   vl_api_session_rules_details_t *rmp = 0;
1581   session_mask_or_match_6_t *match =
1582     (session_mask_or_match_6_t *) & rule->match;
1583   session_mask_or_match_6_t *mask =
1584     (session_mask_or_match_6_t *) & rule->mask;
1585
1586   rmp = vl_msg_api_alloc (sizeof (*rmp));
1587   clib_memset (rmp, 0, sizeof (*rmp));
1588   rmp->_vl_msg_id = ntohs (VL_API_SESSION_RULES_DETAILS);
1589   rmp->context = context;
1590
1591   rmp->is_ip4 = 0;
1592   clib_memcpy_fast (rmp->lcl_ip, &match->lcl_ip, sizeof (match->lcl_ip));
1593   clib_memcpy_fast (rmp->rmt_ip, &match->rmt_ip, sizeof (match->rmt_ip));
1594   rmp->lcl_plen = ip6_mask_to_preflen (&mask->lcl_ip);
1595   rmp->rmt_plen = ip6_mask_to_preflen (&mask->rmt_ip);
1596   rmp->lcl_port = match->lcl_port;
1597   rmp->rmt_port = match->rmt_port;
1598   rmp->action_index = clib_host_to_net_u32 (rule->action_index);
1599   rmp->scope =
1600     is_local ? SESSION_RULE_SCOPE_LOCAL : SESSION_RULE_SCOPE_GLOBAL;
1601   rmp->transport_proto = transport_proto;
1602   rmp->appns_index = clib_host_to_net_u32 (appns_index);
1603   if (tag)
1604     {
1605       clib_memcpy_fast (rmp->tag, tag, vec_len (tag));
1606       rmp->tag[vec_len (tag)] = 0;
1607     }
1608
1609   vl_api_send_msg (reg, (u8 *) rmp);
1610 }
1611
1612 static void
1613 send_session_rules_table_details (session_rules_table_t * srt, u8 fib_proto,
1614                                   u8 tp, u8 is_local, u32 appns_index,
1615                                   vl_api_registration_t * reg, u32 context)
1616 {
1617   mma_rule_16_t *rule16;
1618   mma_rule_40_t *rule40;
1619   mma_rules_table_16_t *srt16;
1620   mma_rules_table_40_t *srt40;
1621   u32 ri;
1622
1623   if (is_local || fib_proto == FIB_PROTOCOL_IP4)
1624     {
1625       u8 *tag = 0;
1626       /* *INDENT-OFF* */
1627       srt16 = &srt->session_rules_tables_16;
1628       pool_foreach (rule16, srt16->rules, ({
1629         ri = mma_rules_table_rule_index_16 (srt16, rule16);
1630         tag = session_rules_table_rule_tag (srt, ri, 1);
1631         send_session_rule_details4 (rule16, is_local, tp, appns_index, tag,
1632                                     reg, context);
1633       }));
1634       /* *INDENT-ON* */
1635     }
1636   if (is_local || fib_proto == FIB_PROTOCOL_IP6)
1637     {
1638       u8 *tag = 0;
1639       /* *INDENT-OFF* */
1640       srt40 = &srt->session_rules_tables_40;
1641       pool_foreach (rule40, srt40->rules, ({
1642         ri = mma_rules_table_rule_index_40 (srt40, rule40);
1643         tag = session_rules_table_rule_tag (srt, ri, 1);
1644         send_session_rule_details6 (rule40, is_local, tp, appns_index, tag,
1645                                     reg, context);
1646       }));
1647       /* *INDENT-ON* */
1648     }
1649 }
1650
1651 static void
1652 vl_api_session_rules_dump_t_handler (vl_api_one_map_server_dump_t * mp)
1653 {
1654   vl_api_registration_t *reg;
1655   session_table_t *st;
1656   u8 tp;
1657
1658   reg = vl_api_client_index_to_registration (mp->client_index);
1659   if (!reg)
1660     return;
1661
1662   /* *INDENT-OFF* */
1663   session_table_foreach (st, ({
1664     for (tp = 0; tp < TRANSPORT_N_PROTO; tp++)
1665       {
1666         send_session_rules_table_details (&st->session_rules[tp],
1667                                           st->active_fib_proto, tp,
1668                                           st->is_local, st->appns_index, reg,
1669                                           mp->context);
1670       }
1671   }));
1672   /* *INDENT-ON* */
1673 }
1674
1675 static void
1676 vl_api_application_tls_cert_add_t_handler (vl_api_application_tls_cert_add_t *
1677                                            mp)
1678 {
1679   vl_api_app_namespace_add_del_reply_t *rmp;
1680   vnet_app_add_tls_cert_args_t _a, *a = &_a;
1681   clib_error_t *error;
1682   application_t *app;
1683   u32 cert_len;
1684   int rv = 0;
1685   if (!session_manager_is_enabled ())
1686     {
1687       rv = VNET_API_ERROR_FEATURE_DISABLED;
1688       goto done;
1689     }
1690   if (!(app = application_lookup (mp->client_index)))
1691     {
1692       rv = VNET_API_ERROR_APPLICATION_NOT_ATTACHED;
1693       goto done;
1694     }
1695   clib_memset (a, 0, sizeof (*a));
1696   a->app_index = app->app_index;
1697   cert_len = clib_net_to_host_u16 (mp->cert_len);
1698   if (cert_len > 10000)
1699     {
1700       rv = VNET_API_ERROR_INVALID_VALUE;
1701       goto done;
1702     }
1703   vec_validate (a->cert, cert_len);
1704   clib_memcpy_fast (a->cert, mp->cert, cert_len);
1705   if ((error = vnet_app_add_tls_cert (a)))
1706     {
1707       rv = clib_error_get_code (error);
1708       clib_error_report (error);
1709     }
1710   vec_free (a->cert);
1711 done:
1712   REPLY_MACRO (VL_API_APPLICATION_TLS_CERT_ADD_REPLY);
1713 }
1714
1715 static void
1716 vl_api_application_tls_key_add_t_handler (vl_api_application_tls_key_add_t *
1717                                           mp)
1718 {
1719   vl_api_app_namespace_add_del_reply_t *rmp;
1720   vnet_app_add_tls_key_args_t _a, *a = &_a;
1721   clib_error_t *error;
1722   application_t *app;
1723   u32 key_len;
1724   int rv = 0;
1725   if (!session_manager_is_enabled ())
1726     {
1727       rv = VNET_API_ERROR_FEATURE_DISABLED;
1728       goto done;
1729     }
1730   if (!(app = application_lookup (mp->client_index)))
1731     {
1732       rv = VNET_API_ERROR_APPLICATION_NOT_ATTACHED;
1733       goto done;
1734     }
1735   clib_memset (a, 0, sizeof (*a));
1736   a->app_index = app->app_index;
1737   key_len = clib_net_to_host_u16 (mp->key_len);
1738   if (key_len > 10000)
1739     {
1740       rv = VNET_API_ERROR_INVALID_VALUE;
1741       goto done;
1742     }
1743   vec_validate (a->key, key_len);
1744   clib_memcpy_fast (a->key, mp->key, key_len);
1745   if ((error = vnet_app_add_tls_key (a)))
1746     {
1747       rv = clib_error_get_code (error);
1748       clib_error_report (error);
1749     }
1750   vec_free (a->key);
1751 done:
1752   REPLY_MACRO (VL_API_APPLICATION_TLS_KEY_ADD_REPLY);
1753 }
1754
1755 static clib_error_t *
1756 application_reaper_cb (u32 client_index)
1757 {
1758   application_t *app = application_lookup (client_index);
1759   vnet_app_detach_args_t _a, *a = &_a;
1760   if (app)
1761     {
1762       a->app_index = app->app_index;
1763       a->api_client_index = client_index;
1764       vnet_application_detach (a);
1765     }
1766   return 0;
1767 }
1768
1769 VL_MSG_API_REAPER_FUNCTION (application_reaper_cb);
1770
1771 #define vl_msg_name_crc_list
1772 #include <vnet/vnet_all_api_h.h>
1773 #undef vl_msg_name_crc_list
1774
1775 static void
1776 setup_message_id_table (api_main_t * am)
1777 {
1778 #define _(id,n,crc) vl_msg_api_add_msg_name_crc (am, #n "_" #crc, id);
1779   foreach_vl_msg_name_crc_session;
1780 #undef _
1781 }
1782
1783 /*
1784  * session_api_hookup
1785  * Add uri's API message handlers to the table.
1786  * vlib has alread mapped shared memory and
1787  * added the client registration handlers.
1788  * See .../open-repo/vlib/memclnt_vlib.c:memclnt_process()
1789  */
1790 static clib_error_t *
1791 session_api_hookup (vlib_main_t * vm)
1792 {
1793   api_main_t *am = &api_main;
1794
1795 #define _(N,n)                                                  \
1796     vl_msg_api_set_handlers(VL_API_##N, #n,                     \
1797                            vl_api_##n##_t_handler,              \
1798                            vl_noop_handler,                     \
1799                            vl_api_##n##_t_endian,               \
1800                            vl_api_##n##_t_print,                \
1801                            sizeof(vl_api_##n##_t), 1);
1802   foreach_session_api_msg;
1803 #undef _
1804
1805   /*
1806    * Messages which bounce off the data-plane to
1807    * an API client. Simply tells the message handling infra not
1808    * to free the message.
1809    *
1810    * Bounced message handlers MUST NOT block the data plane
1811    */
1812   am->message_bounce[VL_API_CONNECT_URI] = 1;
1813   am->message_bounce[VL_API_CONNECT_SOCK] = 1;
1814
1815   /*
1816    * Set up the (msg_name, crc, message-id) table
1817    */
1818   setup_message_id_table (am);
1819
1820   return 0;
1821 }
1822
1823 VLIB_API_INIT_FUNCTION (session_api_hookup);
1824
1825 /*
1826  * fd.io coding-style-patch-verification: ON
1827  *
1828  * Local Variables:
1829  * eval: (c-set-style "gnu")
1830  * End:
1831  */