src/plugins/memif/private.h

   1 /*
   2  *------------------------------------------------------------------
   3  * Copyright (c) 2017 Cisco and/or its affiliates.
   4  * Licensed under the Apache License, Version 2.0 (the "License");
   5  * you may not use this file except in compliance with the License.
   6  * You may obtain a copy of the License at:
   7  *
   8  *     http://www.apache.org/licenses/LICENSE-2.0
   9  *
  10  * Unless required by applicable law or agreed to in writing, software
  11  * distributed under the License is distributed on an "AS IS" BASIS,
  12  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  13  * See the License for the specific language governing permissions and
  14  * limitations under the License.
  15  *------------------------------------------------------------------
  16  */
  17
  18 #include <vppinfra/lock.h>
  19 #include <vlib/log.h>
  20
  21 #define MEMIF_DEFAULT_SOCKET_FILENAME  "memif.sock"
  22 #define MEMIF_DEFAULT_RING_SIZE 1024
  23 #define MEMIF_DEFAULT_RX_QUEUES 1
  24 #define MEMIF_DEFAULT_TX_QUEUES 1
  25 #define MEMIF_DEFAULT_BUFFER_SIZE 2048
  26
  27 #define MEMIF_MAX_M2S_RING              256
  28 #define MEMIF_MAX_S2M_RING              256
  29 #define MEMIF_MAX_REGION                256
  30 #define MEMIF_MAX_LOG2_RING_SIZE        14
  31
  32
  33 #define memif_log_debug(dev, f, ...) do {                               \
  34   memif_if_t *_dev = (memif_if_t *) dev;                                \
  35   if (_dev)                                                             \
  36     vlib_log(VLIB_LOG_LEVEL_DEBUG, memif_main.log_class, "%U: " f,      \
  37              format_vnet_hw_if_index_name, vnet_get_main(),             \
  38              _dev->hw_if_index, ##__VA_ARGS__);                         \
  39   else                                                                  \
  40     vlib_log(VLIB_LOG_LEVEL_DEBUG, memif_main.log_class, f,             \
  41              ##__VA_ARGS__);                                            \
  42 } while (0)
  43
  44 #define memif_log_warn(dev, f, ...) do {                                \
  45   memif_if_t *_dev = (memif_if_t *) dev;                                \
  46   if (_dev)                                                             \
  47     vlib_log(VLIB_LOG_LEVEL_WARNING, memif_main.log_class, "%U: " f,    \
  48              format_vnet_hw_if_index_name, vnet_get_main(),             \
  49              _dev->hw_if_index, ##__VA_ARGS__);                         \
  50   else                                                                  \
  51     vlib_log(VLIB_LOG_LEVEL_WARNING, memif_main.log_class, f,           \
  52              ##__VA_ARGS__);                                            \
  53 } while (0)
  54
  55 #define memif_log_err(dev, f, ...) do {                                 \
  56   memif_if_t *_dev = (memif_if_t *) dev;                                \
  57   if (_dev)                                                             \
  58     vlib_log(VLIB_LOG_LEVEL_ERR, memif_main.log_class, "%U: " f,        \
  59              format_vnet_hw_if_index_name, vnet_get_main(),             \
  60              _dev->hw_if_index, ##__VA_ARGS__);                         \
  61   else                                                                  \
  62     vlib_log(VLIB_LOG_LEVEL_ERR, memif_main.log_class, f,               \
  63              ##__VA_ARGS__);                                            \
  64 } while (0)
  65
  66 #define memif_file_add(a, b)                                                  \
  67   do                                                                          \
  68     {                                                                         \
  69       *a = clib_file_add (&file_main, b);                                     \
  70       memif_log_debug (0, "clib_file_add fd %d private_data %u idx %u",       \
  71                        (b)->file_descriptor, (b)->private_data, *a);          \
  72     }                                                                         \
  73   while (0)
  74
  75 #define memif_file_del(a)                                                     \
  76   do                                                                          \
  77     {                                                                         \
  78       memif_log_debug (0, "clib_file_del idx %u", a - file_main.file_pool);   \
  79       clib_file_del (&file_main, a);                                          \
  80     }                                                                         \
  81   while (0)
  82
  83 #define memif_file_del_by_index(a)                                            \
  84   do                                                                          \
  85     {                                                                         \
  86       memif_log_debug (0, "clib_file_del idx %u", a);                         \
  87       clib_file_del_by_index (&file_main, a);                                 \
  88     }                                                                         \
  89   while (0)
  90
  91 typedef struct
  92 {
  93   u8 *filename;
  94   u32 socket_id;
  95   clib_socket_t *sock;
  96   clib_socket_t **pending_clients;
  97   int ref_cnt;
  98   int is_listener;
  99
 100   /* hash of all registered id */
 101   mhash_t dev_instance_by_id;
 102
 103   /* hash of all registered fds */
 104   uword *dev_instance_by_fd;
 105 } memif_socket_file_t;
 106
 107 typedef struct
 108 {
 109   /* Required for vec_validate_aligned */
 110   CLIB_CACHE_LINE_ALIGN_MARK (cacheline0);
 111   void *shm;
 112   memif_region_size_t region_size;
 113   int fd;
 114   u8 is_external;
 115 } memif_region_t;
 116
 117 typedef struct
 118 {
 119   memif_msg_t msg;
 120   int fd;
 121 } memif_msg_fifo_elt_t;
 122
 123 typedef struct
 124 {
 125   CLIB_CACHE_LINE_ALIGN_MARK (cacheline0);
 126   clib_spinlock_t lockp;
 127   /* ring data */
 128   memif_ring_t *ring;
 129   memif_log2_ring_size_t log2_ring_size;
 130   memif_region_index_t region;
 131   memif_region_offset_t offset;
 132
 133   u16 last_head;
 134   u16 last_tail;
 135   u32 *buffers;
 136   u8 buffer_pool_index;
 137
 138   /* interrupts */
 139   int int_fd;
 140   uword int_clib_file_index;
 141   u64 int_count;
 142
 143   /* queue type */
 144   memif_ring_type_t type;
 145   u32 queue_index;
 146 } memif_queue_t;
 147
 148 #define foreach_memif_if_flag \
 149   _(0, ADMIN_UP, "admin-up")            \
 150   _(1, IS_SLAVE, "slave")               \
 151   _(2, CONNECTING, "connecting")        \
 152   _(3, CONNECTED, "connected")          \
 153   _(4, DELETING, "deleting")            \
 154   _(5, ZERO_COPY, "zero-copy")          \
 155   _(6, ERROR, "error")
 156
 157 typedef enum
 158 {
 159 #define _(a, b, c) MEMIF_IF_FLAG_##b = (1 << a),
 160   foreach_memif_if_flag
 161 #undef _
 162 } memif_if_flag_t;
 163
 164 typedef struct
 165 {
 166   CLIB_CACHE_LINE_ALIGN_MARK (cacheline0);
 167   u32 flags;
 168   memif_interface_id_t id;
 169   u32 hw_if_index;
 170   u32 sw_if_index;
 171   uword dev_instance;
 172   memif_interface_mode_t mode:8;
 173
 174   u32 per_interface_next_index;
 175
 176   /* socket connection */
 177   clib_socket_t *sock;
 178   uword socket_file_index;
 179   memif_msg_fifo_elt_t *msg_queue;
 180   u8 *secret;
 181
 182   memif_region_t *regions;
 183
 184   memif_queue_t *rx_queues;
 185   memif_queue_t *tx_queues;
 186
 187   /* remote info */
 188   u8 *remote_name;
 189   u8 *remote_if_name;
 190
 191   struct
 192   {
 193     memif_log2_ring_size_t log2_ring_size;
 194     u8 num_s2m_rings;
 195     u8 num_m2s_rings;
 196     u16 buffer_size;
 197   } cfg;
 198
 199   struct
 200   {
 201     memif_log2_ring_size_t log2_ring_size;
 202     u8 num_s2m_rings;
 203     u8 num_m2s_rings;
 204     u16 buffer_size;
 205   } run;
 206
 207   /* disconnect strings */
 208   u8 *local_disc_string;
 209   u8 *remote_disc_string;
 210 } memif_if_t;
 211
 212 typedef struct
 213 {
 214   u16 packet_len;
 215   u16 first_buffer_vec_index;
 216 } memif_packet_op_t;
 217
 218 typedef struct
 219 {
 220   CLIB_ALIGN_MARK (pad, 16);    /* align up to 16 bytes for 32bit builds */
 221   void *data;
 222   u32 data_len;
 223   i16 buffer_offset;
 224   u16 buffer_vec_index;
 225 } memif_copy_op_t;
 226
 227 #define MEMIF_RX_VECTOR_SZ VLIB_FRAME_SIZE
 228
 229 typedef enum
 230 {
 231   MEMIF_DESC_STATUS_OK = 0,
 232   MEMIF_DESC_STATUS_ERR_BAD_REGION,
 233   MEMIF_DESC_STATUS_ERR_REGION_OVERRUN,
 234   MEMIF_DESC_STATUS_ERR_DATA_TOO_BIG,
 235   MEMIF_DESC_STATUS_ERR_ZERO_LENGTH
 236 } __clib_packed memif_desc_status_err_code_t;
 237
 238 typedef union
 239 {
 240   struct
 241   {
 242     u8 next : 1;
 243     u8 err : 1;
 244     u8 reserved : 2;
 245     memif_desc_status_err_code_t err_code : 4;
 246   };
 247   u8 as_u8;
 248 } memif_desc_status_t;
 249
 250 STATIC_ASSERT_SIZEOF (memif_desc_status_t, 1);
 251
 252 typedef struct
 253 {
 254   CLIB_CACHE_LINE_ALIGN_MARK (cacheline0);
 255   u16 n_packets;
 256   u16 max_desc_len;
 257   u32 n_rx_bytes;
 258   u8 xor_status;
 259   /* copy vector */
 260   memif_copy_op_t *copy_ops;
 261   u32 *buffers;
 262   memif_packet_op_t packet_ops[MEMIF_RX_VECTOR_SZ];
 263
 264   /* temp storage for compressed descriptors */
 265   void **desc_data;
 266   u16 *desc_len;
 267   memif_desc_status_t *desc_status;
 268
 269   /* buffer template */
 270   vlib_buffer_t buffer_template;
 271 } memif_per_thread_data_t;
 272
 273 typedef struct
 274 {
 275   CLIB_CACHE_LINE_ALIGN_MARK (cacheline0);
 276
 277   /** API message ID base */
 278   u16 msg_id_base;
 279
 280   /* pool of all memory interfaces */
 281   memif_if_t *interfaces;
 282
 283   /* pool of all unix socket files */
 284   memif_socket_file_t *socket_files;
 285   uword *socket_file_index_by_sock_id;  /* map user socket id to pool idx */
 286
 287   /* per thread data */
 288   memif_per_thread_data_t *per_thread_data;
 289
 290   vlib_log_class_t log_class;
 291
 292 } memif_main_t;
 293
 294 extern memif_main_t memif_main;
 295 extern vnet_device_class_t memif_device_class;
 296 extern vlib_node_registration_t memif_input_node;
 297
 298 typedef enum
 299 {
 300   MEMIF_PROCESS_EVENT_START = 1,
 301   MEMIF_PROCESS_EVENT_STOP = 2,
 302   MEMIF_PROCESS_EVENT_ADMIN_UP_DOWN = 3,
 303 } memif_process_event_t;
 304
 305 typedef struct
 306 {
 307   memif_interface_id_t id;
 308   u32 socket_id;
 309   u8 *secret;
 310   u8 is_master;
 311   u8 is_zero_copy;
 312   memif_interface_mode_t mode:8;
 313   memif_log2_ring_size_t log2_ring_size;
 314   u16 buffer_size;
 315   u8 hw_addr_set;
 316   u8 hw_addr[6];
 317   u8 rx_queues;
 318   u8 tx_queues;
 319
 320   /* return */
 321   u32 sw_if_index;
 322 } memif_create_if_args_t;
 323
 324 clib_error_t *memif_socket_filename_add_del (u8 is_add, u32 sock_id,
 325                                              u8 *sock_filename);
 326 clib_error_t *memif_create_if (vlib_main_t *vm, memif_create_if_args_t *args);
 327 clib_error_t *memif_delete_if (vlib_main_t *vm, memif_if_t *mif);
 328 clib_error_t *memif_plugin_api_hookup (vlib_main_t * vm);
 329 clib_error_t *memif_interface_admin_up_down (vnet_main_t *vnm, u32 hw_if_index,
 330                                              u32 flags);
 331
 332 static_always_inline void *
 333 memif_get_buffer (memif_if_t * mif, memif_ring_t * ring, u16 slot)
 334 {
 335   u16 region = ring->desc[slot].region;
 336   return mif->regions[region].shm + ring->desc[slot].offset;
 337 }
 338
 339 /* memif.c */
 340 clib_error_t *memif_init_regions_and_queues (memif_if_t * mif);
 341 clib_error_t *memif_connect (memif_if_t * mif);
 342 void memif_disconnect (memif_if_t * mif, clib_error_t * err);
 343
 344 /* socket.c */
 345 void memif_socket_close (clib_socket_t ** sock);
 346 clib_error_t *memif_conn_fd_accept_ready (clib_file_t * uf);
 347 clib_error_t *memif_master_conn_fd_read_ready (clib_file_t * uf);
 348 clib_error_t *memif_slave_conn_fd_read_ready (clib_file_t * uf);
 349 clib_error_t *memif_master_conn_fd_write_ready (clib_file_t * uf);
 350 clib_error_t *memif_slave_conn_fd_write_ready (clib_file_t * uf);
 351 clib_error_t *memif_master_conn_fd_error (clib_file_t * uf);
 352 clib_error_t *memif_slave_conn_fd_error (clib_file_t * uf);
 353 clib_error_t *memif_msg_send_disconnect (memif_if_t * mif,
 354                                          clib_error_t * err);
 355 u8 *format_memif_device_name (u8 * s, va_list * args);
 356
 357
 358 /*
 359  * fd.io coding-style-patch-verification: ON
 360  *
 361  * Local Variables:
 362  * eval: (c-set-style "gnu")
 363  * End:
 364  */