src/plugins/memif/private.h

   1 /*
   2  *------------------------------------------------------------------
   3  * Copyright (c) 2017 Cisco and/or its affiliates.
   4  * Licensed under the Apache License, Version 2.0 (the "License");
   5  * you may not use this file except in compliance with the License.
   6  * You may obtain a copy of the License at:
   7  *
   8  *     http://www.apache.org/licenses/LICENSE-2.0
   9  *
  10  * Unless required by applicable law or agreed to in writing, software
  11  * distributed under the License is distributed on an "AS IS" BASIS,
  12  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  13  * See the License for the specific language governing permissions and
  14  * limitations under the License.
  15  *------------------------------------------------------------------
  16  */
  17
  18 #include <vppinfra/lock.h>
  19
  20 #define MEMIF_DEFAULT_SOCKET_FILENAME  "memif.sock"
  21 #define MEMIF_DEFAULT_RING_SIZE 1024
  22 #define MEMIF_DEFAULT_RX_QUEUES 1
  23 #define MEMIF_DEFAULT_TX_QUEUES 1
  24 #define MEMIF_DEFAULT_BUFFER_SIZE 2048
  25
  26 #define MEMIF_MAX_M2S_RING              (vec_len (vlib_mains) - 1)
  27 #define MEMIF_MAX_S2M_RING              (vec_len (vlib_mains) - 1)
  28 #define MEMIF_MAX_REGION                255
  29 #define MEMIF_MAX_LOG2_RING_SIZE        14
  30
  31 #define MEMIF_DEBUG 0
  32
  33 #if MEMIF_DEBUG == 1
  34 #define DBG(...) clib_warning(__VA_ARGS__)
  35 #define DBG_UNIX_LOG(...) clib_unix_warning(__VA_ARGS__)
  36 #else
  37 #define DBG(...)
  38 #define DBG_UNIX_LOG(...)
  39 #endif
  40
  41 #if MEMIF_DEBUG == 1
  42 #define memif_file_add(a, b) do {                                       \
  43   *a = clib_file_add (&file_main, b);                                   \
  44   clib_warning ("clib_file_add fd %d private_data %u idx %u",           \
  45                 (b)->file_descriptor, (b)->private_data, *a);           \
  46 } while (0)
  47
  48 #define memif_file_del(a) do {                                          \
  49   clib_warning ("clib_file_del idx %u",a - file_main.file_pool);        \
  50   clib_file_del (&file_main, a);                                        \
  51 } while (0)
  52
  53 #define memif_file_del_by_index(a) do {                                 \
  54   clib_warning ("clib_file_del idx %u", a);                             \
  55   clib_file_del_by_index (&file_main, a);                               \
  56 } while (0)
  57 #else
  58 #define memif_file_add(a, b) do {                                       \
  59   *a = clib_file_add (&file_main, b);                                   \
  60 } while (0)
  61 #define memif_file_del(a) clib_file_del(&file_main, a)
  62 #define memif_file_del_by_index(a) clib_file_del_by_index(&file_main, a)
  63 #endif
  64
  65 typedef struct
  66 {
  67   u8 *filename;
  68   u32 socket_id;
  69   clib_socket_t *sock;
  70   clib_socket_t **pending_clients;
  71   int ref_cnt;
  72   int is_listener;
  73
  74   /* hash of all registered id */
  75   mhash_t dev_instance_by_id;
  76
  77   /* hash of all registered fds */
  78   uword *dev_instance_by_fd;
  79 } memif_socket_file_t;
  80
  81 typedef struct
  82 {
  83   /* Required for vec_validate_aligned */
  84   CLIB_CACHE_LINE_ALIGN_MARK (cacheline0);
  85   void *shm;
  86   memif_region_size_t region_size;
  87   int fd;
  88   u8 is_external;
  89 } memif_region_t;
  90
  91 typedef struct
  92 {
  93   memif_msg_t msg;
  94   int fd;
  95 } memif_msg_fifo_elt_t;
  96
  97 typedef struct
  98 {
  99   /* ring data */
 100   memif_ring_t *ring;
 101   memif_log2_ring_size_t log2_ring_size;
 102   memif_region_index_t region;
 103   memif_region_offset_t offset;
 104
 105   u16 last_head;
 106   u16 last_tail;
 107   u32 *buffers;
 108
 109   /* interrupts */
 110   int int_fd;
 111   uword int_clib_file_index;
 112   u64 int_count;
 113
 114   /* queue type */
 115   memif_ring_type_t type;
 116 } memif_queue_t;
 117
 118 #define foreach_memif_if_flag \
 119   _(0, ADMIN_UP, "admin-up")            \
 120   _(1, IS_SLAVE, "slave")               \
 121   _(2, CONNECTING, "connecting")        \
 122   _(3, CONNECTED, "connected")          \
 123   _(4, DELETING, "deleting")            \
 124   _(5, ZERO_COPY, "zero-copy")          \
 125   _(6, ERROR, "error")
 126
 127 typedef enum
 128 {
 129 #define _(a, b, c) MEMIF_IF_FLAG_##b = (1 << a),
 130   foreach_memif_if_flag
 131 #undef _
 132 } memif_if_flag_t;
 133
 134 typedef struct
 135 {
 136   CLIB_CACHE_LINE_ALIGN_MARK (cacheline0);
 137   clib_spinlock_t lockp;
 138   u32 flags;
 139   memif_interface_id_t id;
 140   u32 hw_if_index;
 141   u32 sw_if_index;
 142   uword dev_instance;
 143   memif_interface_mode_t mode:8;
 144
 145   u32 per_interface_next_index;
 146
 147   /* socket connection */
 148   clib_socket_t *sock;
 149   uword socket_file_index;
 150   memif_msg_fifo_elt_t *msg_queue;
 151   u8 *secret;
 152
 153   memif_region_t *regions;
 154
 155   memif_queue_t *rx_queues;
 156   memif_queue_t *tx_queues;
 157
 158   /* remote info */
 159   u8 *remote_name;
 160   u8 *remote_if_name;
 161
 162   struct
 163   {
 164     memif_log2_ring_size_t log2_ring_size;
 165     u8 num_s2m_rings;
 166     u8 num_m2s_rings;
 167     u16 buffer_size;
 168   } cfg;
 169
 170   struct
 171   {
 172     memif_log2_ring_size_t log2_ring_size;
 173     u8 num_s2m_rings;
 174     u8 num_m2s_rings;
 175     u16 buffer_size;
 176   } run;
 177
 178   /* disconnect strings */
 179   u8 *local_disc_string;
 180   u8 *remote_disc_string;
 181 } memif_if_t;
 182
 183 typedef struct
 184 {
 185   u32 packet_len;
 186   u16 first_buffer_vec_index;
 187 } memif_packet_op_t;
 188
 189 typedef struct
 190 {
 191   void *data;
 192   u32 data_len;
 193   i16 buffer_offset;
 194   u16 buffer_vec_index;
 195 } memif_copy_op_t;
 196
 197 #define MEMIF_RX_VECTOR_SZ VLIB_FRAME_SIZE
 198
 199 typedef struct
 200 {
 201   CLIB_CACHE_LINE_ALIGN_MARK (cacheline0);
 202
 203   /* copy vector */
 204   memif_packet_op_t packet_ops[MEMIF_RX_VECTOR_SZ];
 205   memif_copy_op_t *copy_ops;
 206   u32 *buffers;
 207
 208   /* buffer template */
 209   vlib_buffer_t buffer_template;
 210   memif_desc_t desc_template;
 211 } memif_per_thread_data_t;
 212
 213 typedef struct
 214 {
 215   CLIB_CACHE_LINE_ALIGN_MARK (cacheline0);
 216
 217   /** API message ID base */
 218   u16 msg_id_base;
 219
 220   /* pool of all memory interfaces */
 221   memif_if_t *interfaces;
 222
 223   /* pool of all unix socket files */
 224   memif_socket_file_t *socket_files;
 225   uword *socket_file_index_by_sock_id;  /* map user socket id to pool idx */
 226
 227   /* per thread data */
 228   memif_per_thread_data_t *per_thread_data;
 229
 230 } memif_main_t;
 231
 232 extern memif_main_t memif_main;
 233 extern vnet_device_class_t memif_device_class;
 234 extern vlib_node_registration_t memif_input_node;
 235
 236 enum
 237 {
 238   MEMIF_PROCESS_EVENT_START = 1,
 239   MEMIF_PROCESS_EVENT_STOP = 2,
 240 } memif_process_event_t;
 241
 242 typedef struct
 243 {
 244   memif_interface_id_t id;
 245   u32 socket_id;
 246   u8 *secret;
 247   u8 is_master;
 248   u8 is_zero_copy;
 249   memif_interface_mode_t mode:8;
 250   memif_log2_ring_size_t log2_ring_size;
 251   u16 buffer_size;
 252   u8 hw_addr_set;
 253   u8 hw_addr[6];
 254   u8 rx_queues;
 255   u8 tx_queues;
 256
 257   /* return */
 258   u32 sw_if_index;
 259 } memif_create_if_args_t;
 260
 261 int memif_socket_filename_add_del (u8 is_add, u32 sock_id,
 262                                    u8 * sock_filename);
 263 int memif_create_if (vlib_main_t * vm, memif_create_if_args_t * args);
 264 int memif_delete_if (vlib_main_t * vm, memif_if_t * mif);
 265 clib_error_t *memif_plugin_api_hookup (vlib_main_t * vm);
 266
 267 static_always_inline void *
 268 memif_get_buffer (memif_if_t * mif, memif_ring_t * ring, u16 slot)
 269 {
 270   u16 region = ring->desc[slot].region;
 271   return mif->regions[region].shm + ring->desc[slot].offset;
 272 }
 273
 274 /* memif.c */
 275 clib_error_t *memif_init_regions_and_queues (memif_if_t * mif);
 276 clib_error_t *memif_connect (memif_if_t * mif);
 277 void memif_disconnect (memif_if_t * mif, clib_error_t * err);
 278
 279 /* socket.c */
 280 void memif_socket_close (clib_socket_t ** sock);
 281 clib_error_t *memif_conn_fd_accept_ready (clib_file_t * uf);
 282 clib_error_t *memif_master_conn_fd_read_ready (clib_file_t * uf);
 283 clib_error_t *memif_slave_conn_fd_read_ready (clib_file_t * uf);
 284 clib_error_t *memif_master_conn_fd_write_ready (clib_file_t * uf);
 285 clib_error_t *memif_slave_conn_fd_write_ready (clib_file_t * uf);
 286 clib_error_t *memif_master_conn_fd_error (clib_file_t * uf);
 287 clib_error_t *memif_slave_conn_fd_error (clib_file_t * uf);
 288 clib_error_t *memif_msg_send_disconnect (memif_if_t * mif,
 289                                          clib_error_t * err);
 290 u8 *format_memif_device_name (u8 * s, va_list * args);
 291
 292 /*
 293  * fd.io coding-style-patch-verification: ON
 294  *
 295  * Local Variables:
 296  * eval: (c-set-style "gnu")
 297  * End:
 298  */