src/plugins/memif/private.h

   1 /*
   2  *------------------------------------------------------------------
   3  * Copyright (c) 2017 Cisco and/or its affiliates.
   4  * Licensed under the Apache License, Version 2.0 (the "License");
   5  * you may not use this file except in compliance with the License.
   6  * You may obtain a copy of the License at:
   7  *
   8  *     http://www.apache.org/licenses/LICENSE-2.0
   9  *
  10  * Unless required by applicable law or agreed to in writing, software
  11  * distributed under the License is distributed on an "AS IS" BASIS,
  12  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  13  * See the License for the specific language governing permissions and
  14  * limitations under the License.
  15  *------------------------------------------------------------------
  16  */
  17
  18 #include <vppinfra/lock.h>
  19 #include <vlib/log.h>
  20
  21 #define MEMIF_DEFAULT_SOCKET_FILENAME  "memif.sock"
  22 #define MEMIF_DEFAULT_RING_SIZE 1024
  23 #define MEMIF_DEFAULT_RX_QUEUES 1
  24 #define MEMIF_DEFAULT_TX_QUEUES 1
  25 #define MEMIF_DEFAULT_BUFFER_SIZE 2048
  26
  27 #define MEMIF_MAX_M2S_RING              (vec_len (vlib_mains))
  28 #define MEMIF_MAX_S2M_RING              256
  29 #define MEMIF_MAX_REGION                256
  30 #define MEMIF_MAX_LOG2_RING_SIZE        14
  31
  32
  33 #define memif_log_debug(dev, f, ...) do {                               \
  34   memif_if_t *_dev = (memif_if_t *) dev;                                \
  35   if (_dev)                                                             \
  36     vlib_log(VLIB_LOG_LEVEL_DEBUG, memif_main.log_class, "%U: " f,      \
  37              format_vnet_hw_if_index_name, vnet_get_main(),             \
  38              _dev->hw_if_index, ##__VA_ARGS__);                         \
  39   else                                                                  \
  40     vlib_log(VLIB_LOG_LEVEL_DEBUG, memif_main.log_class, f,             \
  41              ##__VA_ARGS__);                                            \
  42 } while (0)
  43
  44 #define memif_log_warn(dev, f, ...) do {                                \
  45   memif_if_t *_dev = (memif_if_t *) dev;                                \
  46   if (_dev)                                                             \
  47     vlib_log(VLIB_LOG_LEVEL_WARNING, memif_main.log_class, "%U: " f,    \
  48              format_vnet_hw_if_index_name, vnet_get_main(),             \
  49              _dev->hw_if_index, ##__VA_ARGS__);                         \
  50   else                                                                  \
  51     vlib_log(VLIB_LOG_LEVEL_WARNING, memif_main.log_class, f,           \
  52              ##__VA_ARGS__);                                            \
  53 } while (0)
  54
  55 #define memif_log_err(dev, f, ...) do {                                 \
  56   memif_if_t *_dev = (memif_if_t *) dev;                                \
  57   if (_dev)                                                             \
  58     vlib_log(VLIB_LOG_LEVEL_ERR, memif_main.log_class, "%U: " f,        \
  59              format_vnet_hw_if_index_name, vnet_get_main(),             \
  60              _dev->hw_if_index, ##__VA_ARGS__);                         \
  61   else                                                                  \
  62     vlib_log(VLIB_LOG_LEVEL_ERR, memif_main.log_class, f,               \
  63              ##__VA_ARGS__);                                            \
  64 } while (0)
  65
  66 #define memif_file_add(a, b) do {                                       \
  67   *a = clib_file_add (&file_main, b);                                   \
  68   memif_log_warn (0, "clib_file_add fd %d private_data %u idx %u",      \
  69                 (b)->file_descriptor, (b)->private_data, *a);           \
  70 } while (0)
  71
  72 #define memif_file_del(a) do {                                          \
  73   memif_log_warn (0, "clib_file_del idx %u", a - file_main.file_pool);  \
  74   clib_file_del (&file_main, a);                                        \
  75 } while (0)
  76
  77 #define memif_file_del_by_index(a) do {                                 \
  78   memif_log_warn (0, "clib_file_del idx %u", a);                        \
  79   clib_file_del_by_index (&file_main, a);                               \
  80 } while (0)
  81
  82 typedef struct
  83 {
  84   u8 *filename;
  85   u32 socket_id;
  86   clib_socket_t *sock;
  87   clib_socket_t **pending_clients;
  88   int ref_cnt;
  89   int is_listener;
  90
  91   /* hash of all registered id */
  92   mhash_t dev_instance_by_id;
  93
  94   /* hash of all registered fds */
  95   uword *dev_instance_by_fd;
  96 } memif_socket_file_t;
  97
  98 typedef struct
  99 {
 100   /* Required for vec_validate_aligned */
 101   CLIB_CACHE_LINE_ALIGN_MARK (cacheline0);
 102   void *shm;
 103   memif_region_size_t region_size;
 104   int fd;
 105   u8 is_external;
 106 } memif_region_t;
 107
 108 typedef struct
 109 {
 110   memif_msg_t msg;
 111   int fd;
 112 } memif_msg_fifo_elt_t;
 113
 114 typedef struct
 115 {
 116   CLIB_CACHE_LINE_ALIGN_MARK (cacheline0);
 117   /* ring data */
 118   memif_ring_t *ring;
 119   memif_log2_ring_size_t log2_ring_size;
 120   memif_region_index_t region;
 121   memif_region_offset_t offset;
 122
 123   u16 last_head;
 124   u16 last_tail;
 125   u32 *buffers;
 126   u8 buffer_pool_index;
 127
 128   /* interrupts */
 129   int int_fd;
 130   uword int_clib_file_index;
 131   u64 int_count;
 132
 133   /* queue type */
 134   memif_ring_type_t type;
 135 } memif_queue_t;
 136
 137 #define foreach_memif_if_flag \
 138   _(0, ADMIN_UP, "admin-up")            \
 139   _(1, IS_SLAVE, "slave")               \
 140   _(2, CONNECTING, "connecting")        \
 141   _(3, CONNECTED, "connected")          \
 142   _(4, DELETING, "deleting")            \
 143   _(5, ZERO_COPY, "zero-copy")          \
 144   _(6, ERROR, "error")
 145
 146 typedef enum
 147 {
 148 #define _(a, b, c) MEMIF_IF_FLAG_##b = (1 << a),
 149   foreach_memif_if_flag
 150 #undef _
 151 } memif_if_flag_t;
 152
 153 typedef struct
 154 {
 155   CLIB_CACHE_LINE_ALIGN_MARK (cacheline0);
 156   clib_spinlock_t lockp;
 157   u32 flags;
 158   memif_interface_id_t id;
 159   u32 hw_if_index;
 160   u32 sw_if_index;
 161   uword dev_instance;
 162   memif_interface_mode_t mode:8;
 163
 164   u32 per_interface_next_index;
 165
 166   /* socket connection */
 167   clib_socket_t *sock;
 168   uword socket_file_index;
 169   memif_msg_fifo_elt_t *msg_queue;
 170   u8 *secret;
 171
 172   memif_region_t *regions;
 173
 174   memif_queue_t *rx_queues;
 175   memif_queue_t *tx_queues;
 176
 177   /* remote info */
 178   u8 *remote_name;
 179   u8 *remote_if_name;
 180
 181   struct
 182   {
 183     memif_log2_ring_size_t log2_ring_size;
 184     u8 num_s2m_rings;
 185     u8 num_m2s_rings;
 186     u16 buffer_size;
 187   } cfg;
 188
 189   struct
 190   {
 191     memif_log2_ring_size_t log2_ring_size;
 192     u8 num_s2m_rings;
 193     u8 num_m2s_rings;
 194     u16 buffer_size;
 195   } run;
 196
 197   /* disconnect strings */
 198   u8 *local_disc_string;
 199   u8 *remote_disc_string;
 200 } memif_if_t;
 201
 202 typedef struct
 203 {
 204   u32 packet_len;
 205   u16 first_buffer_vec_index;
 206 } memif_packet_op_t;
 207
 208 typedef struct
 209 {
 210   CLIB_ALIGN_MARK (pad, 16);    /* align up to 16 bytes for 32bit builds */
 211   void *data;
 212   u32 data_len;
 213   i16 buffer_offset;
 214   u16 buffer_vec_index;
 215 } memif_copy_op_t;
 216
 217 #define MEMIF_RX_VECTOR_SZ VLIB_FRAME_SIZE
 218
 219 typedef struct
 220 {
 221   CLIB_CACHE_LINE_ALIGN_MARK (cacheline0);
 222
 223   /* copy vector */
 224   memif_packet_op_t packet_ops[MEMIF_RX_VECTOR_SZ];
 225   memif_copy_op_t *copy_ops;
 226   u32 *buffers;
 227
 228   /* buffer template */
 229   vlib_buffer_t buffer_template;
 230   memif_desc_t desc_template;
 231 } memif_per_thread_data_t;
 232
 233 typedef struct
 234 {
 235   CLIB_CACHE_LINE_ALIGN_MARK (cacheline0);
 236
 237   /** API message ID base */
 238   u16 msg_id_base;
 239
 240   /* pool of all memory interfaces */
 241   memif_if_t *interfaces;
 242
 243   /* pool of all unix socket files */
 244   memif_socket_file_t *socket_files;
 245   uword *socket_file_index_by_sock_id;  /* map user socket id to pool idx */
 246
 247   /* per thread data */
 248   memif_per_thread_data_t *per_thread_data;
 249
 250   vlib_log_class_t log_class;
 251
 252 } memif_main_t;
 253
 254 extern memif_main_t memif_main;
 255 extern vnet_device_class_t memif_device_class;
 256 extern vlib_node_registration_t memif_input_node;
 257
 258 typedef enum
 259 {
 260   MEMIF_PROCESS_EVENT_START = 1,
 261   MEMIF_PROCESS_EVENT_STOP = 2,
 262 } memif_process_event_t;
 263
 264 typedef struct
 265 {
 266   memif_interface_id_t id;
 267   u32 socket_id;
 268   u8 *secret;
 269   u8 is_master;
 270   u8 is_zero_copy;
 271   memif_interface_mode_t mode:8;
 272   memif_log2_ring_size_t log2_ring_size;
 273   u16 buffer_size;
 274   u8 hw_addr_set;
 275   u8 hw_addr[6];
 276   u8 rx_queues;
 277   u8 tx_queues;
 278
 279   /* return */
 280   u32 sw_if_index;
 281 } memif_create_if_args_t;
 282
 283 int memif_socket_filename_add_del (u8 is_add, u32 sock_id,
 284                                    u8 * sock_filename);
 285 int memif_create_if (vlib_main_t * vm, memif_create_if_args_t * args);
 286 int memif_delete_if (vlib_main_t * vm, memif_if_t * mif);
 287 clib_error_t *memif_plugin_api_hookup (vlib_main_t * vm);
 288
 289 static_always_inline void *
 290 memif_get_buffer (memif_if_t * mif, memif_ring_t * ring, u16 slot)
 291 {
 292   u16 region = ring->desc[slot].region;
 293   return mif->regions[region].shm + ring->desc[slot].offset;
 294 }
 295
 296 /* memif.c */
 297 clib_error_t *memif_init_regions_and_queues (memif_if_t * mif);
 298 clib_error_t *memif_connect (memif_if_t * mif);
 299 void memif_disconnect (memif_if_t * mif, clib_error_t * err);
 300
 301 /* socket.c */
 302 void memif_socket_close (clib_socket_t ** sock);
 303 clib_error_t *memif_conn_fd_accept_ready (clib_file_t * uf);
 304 clib_error_t *memif_master_conn_fd_read_ready (clib_file_t * uf);
 305 clib_error_t *memif_slave_conn_fd_read_ready (clib_file_t * uf);
 306 clib_error_t *memif_master_conn_fd_write_ready (clib_file_t * uf);
 307 clib_error_t *memif_slave_conn_fd_write_ready (clib_file_t * uf);
 308 clib_error_t *memif_master_conn_fd_error (clib_file_t * uf);
 309 clib_error_t *memif_slave_conn_fd_error (clib_file_t * uf);
 310 clib_error_t *memif_msg_send_disconnect (memif_if_t * mif,
 311                                          clib_error_t * err);
 312 u8 *format_memif_device_name (u8 * s, va_list * args);
 313
 314
 315 /*
 316  * fd.io coding-style-patch-verification: ON
 317  *
 318  * Local Variables:
 319  * eval: (c-set-style "gnu")
 320  * End:
 321  */