src/plugins/memif/private.h

   1 /*
   2  *------------------------------------------------------------------
   3  * Copyright (c) 2017 Cisco and/or its affiliates.
   4  * Licensed under the Apache License, Version 2.0 (the "License");
   5  * you may not use this file except in compliance with the License.
   6  * You may obtain a copy of the License at:
   7  *
   8  *     http://www.apache.org/licenses/LICENSE-2.0
   9  *
  10  * Unless required by applicable law or agreed to in writing, software
  11  * distributed under the License is distributed on an "AS IS" BASIS,
  12  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  13  * See the License for the specific language governing permissions and
  14  * limitations under the License.
  15  *------------------------------------------------------------------
  16  */
  17
  18 #include <vppinfra/lock.h>
  19 #include <vlib/log.h>
  20
  21 #define MEMIF_DEFAULT_SOCKET_FILENAME  "memif.sock"
  22 #define MEMIF_DEFAULT_RING_SIZE 1024
  23 #define MEMIF_DEFAULT_RX_QUEUES 1
  24 #define MEMIF_DEFAULT_TX_QUEUES 1
  25 #define MEMIF_DEFAULT_BUFFER_SIZE 2048
  26
  27 #define MEMIF_MAX_M2S_RING              (vec_len (vlib_mains))
  28 #define MEMIF_MAX_S2M_RING              256
  29 #define MEMIF_MAX_REGION                256
  30 #define MEMIF_MAX_LOG2_RING_SIZE        14
  31
  32
  33 #define memif_file_add(a, b) do {                                       \
  34   *a = clib_file_add (&file_main, b);                                   \
  35   vlib_log_warn ((&memif_main)->log_class,                              \
  36                 "clib_file_add fd %d private_data %u idx %u",           \
  37                 (b)->file_descriptor, (b)->private_data, *a);           \
  38 } while (0)
  39
  40 #define memif_file_del(a) do {                                          \
  41   vlib_log_warn ((&memif_main)->log_class,                              \
  42                 "clib_file_del idx %u",a - file_main.file_pool);        \
  43   clib_file_del (&file_main, a);                                        \
  44 } while (0)
  45
  46 #define memif_file_del_by_index(a) do {                                 \
  47   vlib_log_warn ((&memif_main)->log_class, "clib_file_del idx %u", a);  \
  48   clib_file_del_by_index (&file_main, a);                               \
  49 } while (0)
  50
  51 typedef struct
  52 {
  53   u8 *filename;
  54   u32 socket_id;
  55   clib_socket_t *sock;
  56   clib_socket_t **pending_clients;
  57   int ref_cnt;
  58   int is_listener;
  59
  60   /* hash of all registered id */
  61   mhash_t dev_instance_by_id;
  62
  63   /* hash of all registered fds */
  64   uword *dev_instance_by_fd;
  65 } memif_socket_file_t;
  66
  67 typedef struct
  68 {
  69   /* Required for vec_validate_aligned */
  70   CLIB_CACHE_LINE_ALIGN_MARK (cacheline0);
  71   void *shm;
  72   memif_region_size_t region_size;
  73   int fd;
  74   u8 is_external;
  75 } memif_region_t;
  76
  77 typedef struct
  78 {
  79   memif_msg_t msg;
  80   int fd;
  81 } memif_msg_fifo_elt_t;
  82
  83 typedef struct
  84 {
  85   /* ring data */
  86   memif_ring_t *ring;
  87   memif_log2_ring_size_t log2_ring_size;
  88   memif_region_index_t region;
  89   memif_region_offset_t offset;
  90
  91   u16 last_head;
  92   u16 last_tail;
  93   u32 *buffers;
  94
  95   /* interrupts */
  96   int int_fd;
  97   uword int_clib_file_index;
  98   u64 int_count;
  99
 100   /* queue type */
 101   memif_ring_type_t type;
 102 } memif_queue_t;
 103
 104 #define foreach_memif_if_flag \
 105   _(0, ADMIN_UP, "admin-up")            \
 106   _(1, IS_SLAVE, "slave")               \
 107   _(2, CONNECTING, "connecting")        \
 108   _(3, CONNECTED, "connected")          \
 109   _(4, DELETING, "deleting")            \
 110   _(5, ZERO_COPY, "zero-copy")          \
 111   _(6, ERROR, "error")
 112
 113 typedef enum
 114 {
 115 #define _(a, b, c) MEMIF_IF_FLAG_##b = (1 << a),
 116   foreach_memif_if_flag
 117 #undef _
 118 } memif_if_flag_t;
 119
 120 typedef struct
 121 {
 122   CLIB_CACHE_LINE_ALIGN_MARK (cacheline0);
 123   clib_spinlock_t lockp;
 124   u32 flags;
 125   memif_interface_id_t id;
 126   u32 hw_if_index;
 127   u32 sw_if_index;
 128   uword dev_instance;
 129   memif_interface_mode_t mode:8;
 130
 131   u32 per_interface_next_index;
 132
 133   /* socket connection */
 134   clib_socket_t *sock;
 135   uword socket_file_index;
 136   memif_msg_fifo_elt_t *msg_queue;
 137   u8 *secret;
 138
 139   memif_region_t *regions;
 140
 141   memif_queue_t *rx_queues;
 142   memif_queue_t *tx_queues;
 143
 144   /* remote info */
 145   u8 *remote_name;
 146   u8 *remote_if_name;
 147
 148   struct
 149   {
 150     memif_log2_ring_size_t log2_ring_size;
 151     u8 num_s2m_rings;
 152     u8 num_m2s_rings;
 153     u16 buffer_size;
 154   } cfg;
 155
 156   struct
 157   {
 158     memif_log2_ring_size_t log2_ring_size;
 159     u8 num_s2m_rings;
 160     u8 num_m2s_rings;
 161     u16 buffer_size;
 162   } run;
 163
 164   /* disconnect strings */
 165   u8 *local_disc_string;
 166   u8 *remote_disc_string;
 167 } memif_if_t;
 168
 169 typedef struct
 170 {
 171   u32 packet_len;
 172   u16 first_buffer_vec_index;
 173 } memif_packet_op_t;
 174
 175 typedef struct
 176 {
 177   void *data;
 178   u32 data_len;
 179   i16 buffer_offset;
 180   u16 buffer_vec_index;
 181 } memif_copy_op_t;
 182
 183 #define MEMIF_RX_VECTOR_SZ VLIB_FRAME_SIZE
 184
 185 typedef struct
 186 {
 187   CLIB_CACHE_LINE_ALIGN_MARK (cacheline0);
 188
 189   /* copy vector */
 190   memif_packet_op_t packet_ops[MEMIF_RX_VECTOR_SZ];
 191   memif_copy_op_t *copy_ops;
 192   u32 *buffers;
 193
 194   /* buffer template */
 195   vlib_buffer_t buffer_template;
 196   memif_desc_t desc_template;
 197 } memif_per_thread_data_t;
 198
 199 typedef struct
 200 {
 201   CLIB_CACHE_LINE_ALIGN_MARK (cacheline0);
 202
 203   /** API message ID base */
 204   u16 msg_id_base;
 205
 206   /* pool of all memory interfaces */
 207   memif_if_t *interfaces;
 208
 209   /* pool of all unix socket files */
 210   memif_socket_file_t *socket_files;
 211   uword *socket_file_index_by_sock_id;  /* map user socket id to pool idx */
 212
 213   /* per thread data */
 214   memif_per_thread_data_t *per_thread_data;
 215
 216   vlib_log_class_t log_class;
 217
 218 } memif_main_t;
 219
 220 extern memif_main_t memif_main;
 221 extern vnet_device_class_t memif_device_class;
 222 extern vlib_node_registration_t memif_input_node;
 223
 224 enum
 225 {
 226   MEMIF_PROCESS_EVENT_START = 1,
 227   MEMIF_PROCESS_EVENT_STOP = 2,
 228 } memif_process_event_t;
 229
 230 typedef struct
 231 {
 232   memif_interface_id_t id;
 233   u32 socket_id;
 234   u8 *secret;
 235   u8 is_master;
 236   u8 is_zero_copy;
 237   memif_interface_mode_t mode:8;
 238   memif_log2_ring_size_t log2_ring_size;
 239   u16 buffer_size;
 240   u8 hw_addr_set;
 241   u8 hw_addr[6];
 242   u8 rx_queues;
 243   u8 tx_queues;
 244
 245   /* return */
 246   u32 sw_if_index;
 247 } memif_create_if_args_t;
 248
 249 int memif_socket_filename_add_del (u8 is_add, u32 sock_id,
 250                                    u8 * sock_filename);
 251 int memif_create_if (vlib_main_t * vm, memif_create_if_args_t * args);
 252 int memif_delete_if (vlib_main_t * vm, memif_if_t * mif);
 253 clib_error_t *memif_plugin_api_hookup (vlib_main_t * vm);
 254
 255 static_always_inline void *
 256 memif_get_buffer (memif_if_t * mif, memif_ring_t * ring, u16 slot)
 257 {
 258   u16 region = ring->desc[slot].region;
 259   return mif->regions[region].shm + ring->desc[slot].offset;
 260 }
 261
 262 /* memif.c */
 263 clib_error_t *memif_init_regions_and_queues (memif_if_t * mif);
 264 clib_error_t *memif_connect (memif_if_t * mif);
 265 void memif_disconnect (memif_if_t * mif, clib_error_t * err);
 266
 267 /* socket.c */
 268 void memif_socket_close (clib_socket_t ** sock);
 269 clib_error_t *memif_conn_fd_accept_ready (clib_file_t * uf);
 270 clib_error_t *memif_master_conn_fd_read_ready (clib_file_t * uf);
 271 clib_error_t *memif_slave_conn_fd_read_ready (clib_file_t * uf);
 272 clib_error_t *memif_master_conn_fd_write_ready (clib_file_t * uf);
 273 clib_error_t *memif_slave_conn_fd_write_ready (clib_file_t * uf);
 274 clib_error_t *memif_master_conn_fd_error (clib_file_t * uf);
 275 clib_error_t *memif_slave_conn_fd_error (clib_file_t * uf);
 276 clib_error_t *memif_msg_send_disconnect (memif_if_t * mif,
 277                                          clib_error_t * err);
 278 u8 *format_memif_device_name (u8 * s, va_list * args);
 279
 280 /*
 281  * fd.io coding-style-patch-verification: ON
 282  *
 283  * Local Variables:
 284  * eval: (c-set-style "gnu")
 285  * End:
 286  */