src/vnet/session/application.h

   1 /*
   2  * Copyright (c) 2017-2019 Cisco and/or its affiliates.
   3  * Licensed under the Apache License, Version 2.0 (the "License");
   4  * you may not use this file except in compliance with the License.
   5  * You may obtain a copy of the License at:
   6  *
   7  *     http://www.apache.org/licenses/LICENSE-2.0
   8  *
   9  * Unless required by applicable law or agreed to in writing, software
  10  * distributed under the License is distributed on an "AS IS" BASIS,
  11  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  12  * See the License for the specific language governing permissions and
  13  * limitations under the License.
  14  */
  15
  16 #ifndef SRC_VNET_SESSION_APPLICATION_H_
  17 #define SRC_VNET_SESSION_APPLICATION_H_
  18
  19 #include <vnet/session/application_interface.h>
  20 #include <vnet/session/application_namespace.h>
  21 #include <vnet/session/session_types.h>
  22 #include <vnet/session/segment_manager.h>
  23
  24 #define APP_DEBUG 0
  25
  26 #if APP_DEBUG > 0
  27 #define APP_DBG(_fmt, _args...) clib_warning (_fmt, ##_args)
  28 #else
  29 #define APP_DBG(_fmt, _args...)
  30 #endif
  31
  32 typedef struct app_wrk_postponed_msg_
  33 {
  34   u32 len;
  35   u8 event_type;
  36   u8 ring;
  37   u8 is_sapi;
  38   int fd;
  39   u8 data[SESSION_CTRL_MSG_TX_MAX_SIZE];
  40 } app_wrk_postponed_msg_t;
  41
  42 typedef struct app_worker_
  43 {
  44   CLIB_CACHE_LINE_ALIGN_MARK (cacheline0);
  45
  46   /** Worker index in global worker pool*/
  47   u32 wrk_index;
  48
  49   /** Worker index in app's map pool */
  50   u32 wrk_map_index;
  51
  52   /** Index of owning app */
  53   u32 app_index;
  54
  55   /** Application listens for events on this svm queue */
  56   svm_msg_q_t *event_queue;
  57
  58   /**
  59    * Segment manager used for outgoing connects issued by the app. By
  60    * convention this is the first segment manager allocated by the worker
  61    * so it's also the one that holds the first segment with the app's
  62    * message queue in it.
  63    */
  64   u32 connects_seg_manager;
  65
  66   /** Lookup tables for listeners. Value is segment manager index */
  67   uword *listeners_table;
  68
  69   /** API index for the worker. Needed for multi-process apps */
  70   u32 api_client_index;
  71
  72   /** Set if mq is congested */
  73   u8 mq_congested;
  74
  75   u8 app_is_builtin;
  76
  77   /** Pool of half-open session handles. Tracked in case worker detaches */
  78   session_handle_t *half_open_table;
  79
  80   /* Per vpp worker fifos of events for app worker */
  81   session_event_t **wrk_evts;
  82
  83   /* Vector of vpp workers mq congestion flags */
  84   u8 *wrk_mq_congested;
  85
  86   /** Protects detached seg managers */
  87   clib_spinlock_t detached_seg_managers_lock;
  88
  89   /** Vector of detached listener segment managers */
  90   u32 *detached_seg_managers;
  91 } app_worker_t;
  92
  93 typedef struct app_worker_map_
  94 {
  95   u32 wrk_index;
  96 } app_worker_map_t;
  97
  98 typedef struct app_listener_
  99 {
 100   clib_bitmap_t *workers;       /**< workers accepting connections */
 101   u32 accept_rotor;             /**< last worker to accept a connection */
 102   u32 al_index;                 /**< app listener index in app pool */
 103   u32 app_index;                /**< owning app index */
 104   u32 local_index;              /**< local listening session index */
 105   u32 session_index;            /**< global listening session index */
 106   session_handle_t ls_handle;   /**< session handle of the local or global
 107                                      listening session that also identifies
 108                                      the app listener */
 109   u32 *cl_listeners;            /**< vector that maps app workers to their
 110                                      cl sessions with fifos */
 111 } app_listener_t;
 112
 113 typedef enum app_rx_mq_flags_
 114 {
 115   APP_RX_MQ_F_PENDING = 1 << 0,
 116   APP_RX_MQ_F_POSTPONED = 1 << 1,
 117 } app_rx_mq_flags_t;
 118
 119 typedef struct app_rx_mq_elt_
 120 {
 121   struct app_rx_mq_elt_ *next;
 122   struct app_rx_mq_elt_ *prev;
 123   svm_msg_q_t *mq;
 124   uword file_index;
 125   u32 app_index;
 126   u8 flags;
 127 } app_rx_mq_elt_t;
 128
 129 typedef struct application_
 130 {
 131   /** App index in app pool */
 132   u32 app_index;
 133
 134   /** Flags */
 135   u32 flags;
 136
 137   /** Callbacks: shoulder-taps for the server/client */
 138   session_cb_vft_t cb_fns;
 139
 140   /** Segment manager properties. Shared by all segment managers */
 141   segment_manager_props_t sm_properties;
 142
 143   /** Pool of mappings that keep track of workers associated to this app */
 144   app_worker_map_t *worker_maps;
 145
 146   /** Name registered by builtin apps */
 147   u8 *name;
 148
 149   /** Namespace the application belongs to */
 150   u32 ns_index;
 151
 152   u16 proxied_transports;
 153
 154   /** Preferred tls engine */
 155   u8 tls_engine;
 156
 157   /** quic initialization vector */
 158   char quic_iv[17];
 159   u8 quic_iv_set;
 160
 161   /** Segment where rx mqs were allocated */
 162   fifo_segment_t rx_mqs_segment;
 163
 164   /**
 165    * Fixed vector of rx mqs that can be a part of pending_rx_mqs
 166    * linked list maintained by the app sublayer for each worker
 167    */
 168   app_rx_mq_elt_t *rx_mqs;
 169 } application_t;
 170
 171 typedef struct app_rx_mq_handle_
 172 {
 173   union
 174   {
 175     struct
 176     {
 177       u32 app_index;
 178       u32 thread_index;
 179     };
 180     u64 as_u64;
 181   };
 182 } __attribute__ ((aligned (sizeof (u64)))) app_rx_mq_handle_t;
 183
 184 /**
 185  * App sublayer per vpp worker state
 186  */
 187 typedef struct asl_wrk_
 188 {
 189   /** Linked list of mqs with pending messages */
 190   app_rx_mq_elt_t *pending_rx_mqs;
 191 } appsl_wrk_t;
 192
 193 typedef struct app_main_
 194 {
 195   /**
 196    * Pool from which we allocate all applications
 197    */
 198   application_t *app_pool;
 199
 200   /** Pool of app listeners */
 201   app_listener_t *listeners;
 202
 203   /**
 204    * Hash table of apps by api client index
 205    */
 206   uword *app_by_api_client_index;
 207
 208   /**
 209    * Hash table of builtin apps by name
 210    */
 211   uword *app_by_name;
 212
 213   /**
 214    * Pool from which we allocate certificates (key, cert)
 215    */
 216   app_cert_key_pair_t *cert_key_pair_store;
 217
 218   /*
 219    * Last registered crypto engine type
 220    */
 221   crypto_engine_type_t last_crypto_engine;
 222
 223   /**
 224    * App sublayer per-worker state
 225    */
 226   appsl_wrk_t *wrk;
 227 } app_main_t;
 228
 229 typedef struct app_init_args_
 230 {
 231 #define _(_type, _name) _type _name;
 232   foreach_app_init_args
 233 #undef _
 234 } app_init_args_t;
 235
 236 typedef struct _vnet_app_worker_add_del_args
 237 {
 238   u32 app_index;                /**< App for which a new worker is requested */
 239   u32 wrk_map_index;            /**< Index to delete or return value if add */
 240   u32 api_client_index;         /**< Binary API client index */
 241   ssvm_private_t *segment;      /**< First segment in segment manager */
 242   u64 segment_handle;           /**< Handle for the segment */
 243   svm_msg_q_t *evt_q;           /**< Worker message queue */
 244   u8 is_add;                    /**< Flag set if addition */
 245 } vnet_app_worker_add_del_args_t;
 246
 247 #define APP_INVALID_INDEX ((u32)~0)
 248 #define APP_NS_INVALID_INDEX ((u32)~0)
 249 #define APP_INVALID_SEGMENT_MANAGER_INDEX ((u32) ~0)
 250
 251 app_listener_t *app_listener_get (u32 al_index);
 252 int app_listener_alloc_and_init (application_t * app,
 253                                  session_endpoint_cfg_t * sep,
 254                                  app_listener_t ** listener);
 255 void app_listener_cleanup (app_listener_t * app_listener);
 256 session_handle_t app_listener_handle (app_listener_t * app_listener);
 257 app_listener_t *app_listener_lookup (application_t * app,
 258                                      session_endpoint_cfg_t * sep);
 259 session_t *app_listener_select_wrk_cl_session (session_t *ls,
 260                                                session_dgram_hdr_t *hdr);
 261
 262 /**
 263  * Get app listener handle for listening session
 264  *
 265  * For a given listening session, this can return either the session
 266  * handle of the app listener associated to the listening session or,
 267  * if no such app listener exists, the session's handle
 268  *
 269  * @param ls            listening session
 270  * @return              app listener or listening session handle
 271  */
 272 session_handle_t app_listen_session_handle (session_t * ls);
 273 /**
 274  * Get app listener for listener session handle
 275  *
 276  * Should only be called on handles that have an app listener, i.e.,
 277  * were obtained at the end of a @ref vnet_listen call.
 278  *
 279  * @param handle        handle of the app listener. This is the handle of
 280  *                      either the global or local listener
 281  * @return              pointer to app listener or 0
 282  */
 283 app_listener_t *app_listener_get_w_handle (session_handle_t handle);
 284 session_t *app_listener_get_session (app_listener_t * al);
 285 session_t *app_listener_get_local_session (app_listener_t * al);
 286 session_t *app_listener_get_wrk_cl_session (app_listener_t *al, u32 wrk_index);
 287
 288 application_t *application_get (u32 index);
 289 application_t *application_get_if_valid (u32 index);
 290 application_t *application_lookup (u32 api_client_index);
 291 application_t *application_lookup_name (const u8 * name);
 292 app_worker_t *application_get_worker (application_t * app, u32 wrk_index);
 293 app_worker_t *application_get_default_worker (application_t * app);
 294 app_worker_t *application_listener_select_worker (session_t * ls);
 295 int application_change_listener_owner (session_t * s, app_worker_t * app_wrk);
 296 int application_is_proxy (application_t * app);
 297 int application_is_builtin (application_t * app);
 298 int application_is_builtin_proxy (application_t * app);
 299 u32 application_session_table (application_t * app, u8 fib_proto);
 300 u32 application_local_session_table (application_t * app);
 301 const u8 *application_name_from_index (u32 app_or_wrk);
 302 u8 application_has_local_scope (application_t * app);
 303 u8 application_has_global_scope (application_t * app);
 304 void application_setup_proxy (application_t * app);
 305 void application_remove_proxy (application_t * app);
 306 void application_namespace_cleanup (app_namespace_t *app_ns);
 307 int application_original_dst_is_enabled (application_t *app);
 308
 309 segment_manager_props_t *application_get_segment_manager_properties (u32
 310                                                                      app_index);
 311
 312 segment_manager_props_t
 313   * application_segment_manager_properties (application_t * app);
 314
 315 svm_msg_q_t *application_rx_mq_get (application_t *app, u32 mq_index);
 316 u8 application_use_private_rx_mqs (void);
 317 fifo_segment_t *application_get_rx_mqs_segment (application_t *app);
 318 void application_enable_rx_mqs_nodes (u8 is_en);
 319
 320 /*
 321  * App worker
 322  */
 323
 324 always_inline u8
 325 app_worker_mq_is_congested (app_worker_t *app_wrk)
 326 {
 327   return app_wrk->mq_congested > 0;
 328 }
 329
 330 app_worker_t *app_worker_alloc (application_t * app);
 331 int application_alloc_worker_and_init (application_t * app,
 332                                        app_worker_t ** wrk);
 333 app_worker_t *app_worker_get (u32 wrk_index);
 334 app_worker_t *app_worker_get_if_valid (u32 wrk_index);
 335 application_t *app_worker_get_app (u32 wrk_index);
 336 int app_worker_own_session (app_worker_t * app_wrk, session_t * s);
 337 void app_worker_free (app_worker_t * app_wrk);
 338 int app_worker_connect_session (app_worker_t *app, session_endpoint_cfg_t *sep,
 339                                 session_handle_t *rsh);
 340 session_error_t app_worker_start_listen (app_worker_t *app_wrk,
 341                                          app_listener_t *lstnr);
 342 int app_worker_stop_listen (app_worker_t * app_wrk, app_listener_t * al);
 343 int app_worker_init_accepted (session_t * s);
 344 int app_worker_listened_notify (app_worker_t *app_wrk, session_handle_t alsh,
 345                                 u32 opaque, session_error_t err);
 346 int app_worker_unlisten_reply (app_worker_t *app_wrk, session_handle_t sh,
 347                                u32 opaque, session_error_t err);
 348 int app_worker_accept_notify (app_worker_t * app_wrk, session_t * s);
 349 int app_worker_init_connected (app_worker_t * app_wrk, session_t * s);
 350 int app_worker_connect_notify (app_worker_t * app_wrk, session_t * s,
 351                                session_error_t err, u32 opaque);
 352 int app_worker_add_half_open (app_worker_t *app_wrk, session_handle_t sh);
 353 int app_worker_del_half_open (app_worker_t *app_wrk, session_t *s);
 354 int app_worker_close_notify (app_worker_t * app_wrk, session_t * s);
 355 int app_worker_transport_closed_notify (app_worker_t * app_wrk,
 356                                         session_t * s);
 357 int app_worker_reset_notify (app_worker_t * app_wrk, session_t * s);
 358 int app_worker_cleanup_notify (app_worker_t * app_wrk, session_t * s,
 359                                session_cleanup_ntf_t ntf);
 360 int app_worker_cleanup_notify_custom (app_worker_t *app_wrk, session_t *s,
 361                                       session_cleanup_ntf_t ntf,
 362                                       void (*cleanup_cb) (session_t *s));
 363 int app_worker_migrate_notify (app_worker_t * app_wrk, session_t * s,
 364                                session_handle_t new_sh);
 365 int app_worker_rx_notify (app_worker_t *app_wrk, session_t *s);
 366 int app_worker_session_fifo_tuning (app_worker_t * app_wrk, session_t * s,
 367                                     svm_fifo_t * f,
 368                                     session_ft_action_t act, u32 len);
 369 void app_worker_add_event (app_worker_t *app_wrk, session_t *s,
 370                            session_evt_type_t evt_type);
 371 void app_worker_add_event_custom (app_worker_t *app_wrk, u32 thread_index,
 372                                   session_event_t *evt);
 373 int app_wrk_flush_wrk_events (app_worker_t *app_wrk, u32 thread_index);
 374 void app_worker_del_all_events (app_worker_t *app_wrk);
 375 segment_manager_t *app_worker_get_listen_segment_manager (app_worker_t *,
 376                                                           session_t *);
 377 segment_manager_t *app_worker_get_connect_segment_manager (app_worker_t *);
 378 int app_worker_add_segment_notify (app_worker_t * app_wrk,
 379                                    u64 segment_handle);
 380 int app_worker_del_segment_notify (app_worker_t * app_wrk,
 381                                    u64 segment_handle);
 382 u32 app_worker_n_listeners (app_worker_t * app);
 383 session_t *app_worker_first_listener (app_worker_t * app,
 384                                       u8 fib_proto, u8 transport_proto);
 385 void app_wrk_send_ctrl_evt_fd (app_worker_t *app_wrk, u8 evt_type, void *msg,
 386                                u32 msg_len, int fd);
 387 void app_wrk_send_ctrl_evt (app_worker_t *app_wrk, u8 evt_type, void *msg,
 388                             u32 msg_len);
 389 u8 app_worker_mq_wrk_is_congested (app_worker_t *app_wrk, u32 thread_index);
 390 void app_worker_set_mq_wrk_congested (app_worker_t *app_wrk, u32 thread_index);
 391 void app_worker_unset_wrk_mq_congested (app_worker_t *app_wrk,
 392                                         u32 thread_index);
 393 session_t *app_worker_proxy_listener (app_worker_t * app, u8 fib_proto,
 394                                       u8 transport_proto);
 395 void app_worker_del_detached_sm (app_worker_t * app_wrk, u32 sm_index);
 396 u8 *format_app_worker (u8 * s, va_list * args);
 397 u8 *format_app_worker_listener (u8 * s, va_list * args);
 398 u8 *format_crypto_engine (u8 * s, va_list * args);
 399 u8 *format_crypto_context (u8 * s, va_list * args);
 400 void app_worker_format_connects (app_worker_t * app_wrk, int verbose);
 401 session_error_t vnet_app_worker_add_del (vnet_app_worker_add_del_args_t *a);
 402
 403 uword unformat_application_proto (unformat_input_t * input, va_list * args);
 404
 405 app_cert_key_pair_t *app_cert_key_pair_get (u32 index);
 406 app_cert_key_pair_t *app_cert_key_pair_get_if_valid (u32 index);
 407 app_cert_key_pair_t *app_cert_key_pair_get_default ();
 408
 409 void sapi_socket_close_w_handle (u32 api_handle);
 410
 411 crypto_engine_type_t app_crypto_engine_type_add (void);
 412 u8 app_crypto_engine_n_types (void);
 413
 414 static inline u8
 415 app_worker_application_is_builtin (app_worker_t *app_wrk)
 416 {
 417   return app_wrk->app_is_builtin;
 418 }
 419
 420 #endif /* SRC_VNET_SESSION_APPLICATION_H_ */
 421
 422 /*
 423  * fd.io coding-style-patch-verification: ON
 424  *
 425  * Local Variables:
 426  * eval: (c-set-style "gnu")
 427  * End:
 428  */