src/svm/fifo_segment.h

   1 /*
   2  * Copyright (c) 2016-2019 Cisco and/or its affiliates.
   3  * Licensed under the Apache License, Version 2.0 (the "License");
   4  * you may not use this file except in compliance with the License.
   5  * You may obtain a copy of the License at:
   6  *
   7  *     http://www.apache.org/licenses/LICENSE-2.0
   8  *
   9  * Unless required by applicable law or agreed to in writing, software
  10  * distributed under the License is distributed on an "AS IS" BASIS,
  11  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  12  * See the License for the specific language governing permissions and
  13  * limitations under the License.
  14  */
  15 #ifndef __included_fifo_segment_h__
  16 #define __included_fifo_segment_h__
  17
  18 #include <svm/ssvm.h>
  19 #include <svm/fifo_types.h>
  20 #include <svm/message_queue.h>
  21 #include <svm/svm_fifo.h>
  22
  23 typedef enum
  24 {
  25   FIFO_SEGMENT_FTYPE_NONE = -1,
  26   FIFO_SEGMENT_RX_FIFO = 0,
  27   FIFO_SEGMENT_TX_FIFO,
  28   FIFO_SEGMENT_N_FTYPES
  29 } fifo_segment_ftype_t;
  30
  31 #define FIFO_SEGMENT_MIN_LOG2_FIFO_SIZE 12      /**< 4kB min fifo size */
  32 #define FIFO_SEGMENT_MIN_FIFO_SIZE 4096         /**< 4kB min fifo size */
  33 #define FIFO_SEGMENT_MAX_FIFO_SIZE (2ULL << 30) /**< 2GB max fifo size */
  34 #define FIFO_SEGMENT_ALLOC_BATCH_SIZE 32        /* Allocation quantum */
  35
  36 typedef enum fifo_segment_flags_
  37 {
  38   FIFO_SEGMENT_F_IS_PREALLOCATED = 1 << 0,
  39   FIFO_SEGMENT_F_WILL_DELETE = 1 << 1,
  40   FIFO_SEGMENT_F_MEM_LIMIT = 1 << 2,
  41 } fifo_segment_flags_t;
  42
  43 #define foreach_segment_mem_status      \
  44 _(NO_PRESSURE, "No pressure")           \
  45 _(LOW_PRESSURE, "Low pressure")         \
  46 _(HIGH_PRESSURE, "High pressure")       \
  47 _(NO_MEMORY, "No memory")
  48
  49 typedef enum
  50 {
  51 #define _(sym,str)  MEMORY_PRESSURE_##sym,
  52   foreach_segment_mem_status
  53 #undef _
  54     MEMORY_N_PRESSURE,
  55 } fifo_segment_mem_status_t;
  56
  57 #if 0
  58 typedef enum fifo_segment_mem_status_
  59 {
  60   MEMORY_PRESSURE_NO_PRESSURE,
  61   MEMORY_PRESSURE_LOW_PRESSURE,
  62   MEMORY_PRESSURE_HIGH_PRESSURE,
  63   MEMORY_PRESSURE_NO_MEMORY,
  64 } fifo_segment_mem_status_t;
  65 #endif
  66
  67 typedef struct
  68 {
  69   ssvm_private_t ssvm;          /**< ssvm segment data */
  70   fifo_segment_header_t *h;     /**< fifo segment data */
  71   uword max_byte_index;
  72   u8 n_slices;                  /**< number of fifo segment slices */
  73   fifo_slice_private_t *slices; /**< private slice information */
  74   svm_msg_q_t *mqs;             /**< private vec of attached mqs */
  75 } fifo_segment_t;
  76
  77 typedef struct
  78 {
  79   fifo_segment_t *segments;     /**< pool of fifo segments */
  80   uword next_baseva;            /**< Where to put the next one */
  81   u32 timeout_in_seconds;       /**< Time to wait during attach */
  82 } fifo_segment_main_t;
  83
  84 typedef struct
  85 {
  86   ssvm_segment_type_t segment_type;     /**< type of segment requested */
  87   u32 segment_size;                     /**< size of the segment */
  88   int memfd_fd;                         /**< fd for memfd segments */
  89   char *segment_name;                   /**< segment name */
  90   u32 *new_segment_indices;             /**< return vec of new seg indices */
  91 } fifo_segment_create_args_t;
  92
  93 #define fifo_segment_flags(_fs) _fs->h->flags
  94
  95 int fifo_segment_init (fifo_segment_t * fs);
  96 int fifo_segment_create (fifo_segment_main_t * sm,
  97                          fifo_segment_create_args_t * a);
  98 int fifo_segment_attach (fifo_segment_main_t * sm,
  99                          fifo_segment_create_args_t * a);
 100 void fifo_segment_delete (fifo_segment_main_t * sm, fifo_segment_t * fs);
 101 void fifo_segment_cleanup (fifo_segment_t *fs);
 102 fifo_segment_t *fifo_segment_get_segment (fifo_segment_main_t * sm,
 103                                           u32 fs_index);
 104 u32 fifo_segment_index (fifo_segment_main_t * sm, fifo_segment_t * fs);
 105 void fifo_segment_info (fifo_segment_t * seg, char **address, size_t * size);
 106
 107 always_inline void *
 108 fifo_segment_ptr (fifo_segment_t *fs, uword offset)
 109 {
 110   return (void *) ((u8 *) fs->h + offset);
 111 }
 112
 113 always_inline uword
 114 fifo_segment_offset (fifo_segment_t *fs, void *p)
 115 {
 116   return (uword) ((u8 *) p - (u8 *) fs->h);
 117 }
 118
 119 /**
 120  * Allocate fifo in fifo segment
 121  *
 122  * @param fs            fifo segment for fifo
 123  * @param data_bytes    size of default fifo chunk in bytes
 124  * @param ftype         fifo type @ref fifo_segment_ftype_t
 125  * @return              new fifo or 0 if alloc failed
 126  */
 127 svm_fifo_t *fifo_segment_alloc_fifo_w_slice (fifo_segment_t * fs,
 128                                              u32 slice_index,
 129                                              u32 data_bytes,
 130                                              fifo_segment_ftype_t ftype);
 131 svm_fifo_t *fifo_segment_alloc_fifo_w_offset (fifo_segment_t *fs,
 132                                               uword offset);
 133
 134 /**
 135  * Free fifo allocated in fifo segment
 136  *
 137  * @param fs            fifo segment for fifo
 138  * @param f             fifo to be freed
 139  */
 140 void fifo_segment_free_fifo (fifo_segment_t * fs, svm_fifo_t * f);
 141
 142 void fifo_segment_detach_fifo (fifo_segment_t *fs, svm_fifo_t **f);
 143 void fifo_segment_attach_fifo (fifo_segment_t *fs, svm_fifo_t **f,
 144                                u32 slice_index);
 145 uword fifo_segment_fifo_offset (svm_fifo_t *f);
 146
 147 /**
 148  * Allocate message queue on segment
 149  *
 150  * @param fs            fifo segment for mq
 151  * @param mq_index      index in private mqs vector to use to attach
 152  * @param cfg           configuration for mq
 153  * @return              attached message queue
 154  */
 155 svm_msg_q_t *fifo_segment_msg_q_alloc (fifo_segment_t *fs, u32 mq_index,
 156                                        svm_msg_q_cfg_t *cfg);
 157
 158 /**
 159  *  Attach message queue at fifo segment offset
 160  *
 161  *  @param fs           fifo segment for mq
 162  *  @param offset       offset for shared mq on the segment
 163  *  @param mq_index     index in private mqs vector to use to attach
 164  *  @return             attached message queue
 165  */
 166 svm_msg_q_t *fifo_segment_msg_q_attach (fifo_segment_t *fs, uword offset,
 167                                         u32 mq_index);
 168
 169 /**
 170  *  Discover mqs on mq only segment
 171  *
 172  *  @param fs           fifo segment for mq
 173  *  @param fds          array of fds is mqs use eventfds
 174  *  @param n_fds        number of fds
 175  */
 176 void fifo_segment_msg_qs_discover (fifo_segment_t *fs, int *fds, u32 n_fds);
 177
 178 /**
 179  * Message queue offset on segment
 180  *
 181  * @param fs            fifo segment for mq
 182  * @param mq_index      index of mq in private mqs vector
 183  * @return              offset of the shared mq the private mq is attached to
 184  */
 185 uword fifo_segment_msg_q_offset (fifo_segment_t *fs, u32 mq_index);
 186
 187 /**
 188  * Try to preallocate fifo headers
 189  *
 190  * Tries to preallocate fifo headers and adds them to freelist.
 191  *
 192  * @param fs            fifo segment
 193  * @param batch_size    number of chunks to be allocated
 194  * @return              0 on success, negative number otherwise
 195  */
 196 int fifo_segment_prealloc_fifo_hdrs (fifo_segment_t * fs, u32 slice_index,
 197                                      u32 batch_size);
 198
 199 /**
 200  * Try to preallocate fifo chunks on segment
 201  *
 202  * Tries to preallocate chunks of requested size on segment and adds them
 203  * to chunk freelist.
 204  *
 205  * @param fs            fifo segment
 206  * @param chunk_size    size of chunks to be allocated in bytes
 207  * @param batch_size    number of chunks to be allocated
 208  * @return              0 on success, negative number otherwise
 209  */
 210 int fifo_segment_prealloc_fifo_chunks (fifo_segment_t * fs, u32 slice_index,
 211                                        u32 chunk_size, u32 batch_size);
 212 /**
 213  * Pre-allocates fifo pairs in fifo segment
 214  *
 215  * The number of fifos pre-allocated is the minimum of the requested number
 216  * of pairs and the maximum number that fit within the segment. If the maximum
 217  * is hit, the number of fifo pairs requested is updated by subtracting the
 218  * number of fifos that have been successfully allocated.
 219  *
 220  * @param fs            fifo segment for fifo
 221  * @param rx_fifo_size  data size of rx fifos
 222  * @param tx_fifo_size  data size of tx fifos
 223  * @param n_fifo_pairs  number of pairs requested. Prior to returning, this
 224  *                      is decremented by the the number of pairs allocated.
 225  */
 226 void fifo_segment_preallocate_fifo_pairs (fifo_segment_t * fs,
 227                                           u32 rx_fifo_size,
 228                                           u32 tx_fifo_size,
 229                                           u32 * n_fifo_pairs);
 230
 231 /**
 232  * Allocate chunks in fifo segment
 233  *
 234  * @param fsh           fifo segment header
 235  * @param slice_index   slice where chunks should be alocated
 236  * @param chunk_size    chunk size needed
 237  * @return              chunk (or chunks) that cover at least chunk_size bytes
 238  *                      on success, 0 on failure.
 239  */
 240 svm_fifo_chunk_t *fsh_alloc_chunk (fifo_segment_header_t * fsh,
 241                                    u32 slice_index, u32 chunk_size);
 242
 243 /**
 244  * Return chunks to fifo segment
 245  *
 246  * @param fsh           fifo segment header
 247  * @param slice_index   slice where chunks should be returned
 248  * @param c             pointer to first chunk in 0 terminated linked list
 249  */
 250 void fsh_collect_chunks (fifo_segment_header_t * fsh, u32 slice_index,
 251                          svm_fifo_chunk_t * c);
 252
 253 /**
 254  * Fifo segment has reached mem limit
 255  *
 256  * @param fsh           fifo segment header
 257  * @return              1 (if reached) or 0 (otherwise)
 258  */
 259 u8 fsh_has_reached_mem_limit (fifo_segment_header_t * fsh);
 260
 261 /**
 262  * Fifo segment reset mem limit flag
 263  *
 264  * @param fs            fifo segment
 265  */
 266 void fsh_reset_mem_limit (fifo_segment_header_t * fsh);
 267
 268 /**
 269  * Fifo segment reset mem limit flag
 270  *
 271  * @param fs            fifo segment
 272  * @param size          size requested
 273  * @return              pointer to memory allocated or 0
 274  */
 275 void *fifo_segment_alloc (fifo_segment_t *fs, uword size);
 276 /**
 277  * Fifo segment allocated size
 278  *
 279  * Returns fifo segment's allocated size
 280  *
 281  * @param fs            fifo segment
 282  * @return              allocated size in bytes
 283  */
 284 uword fifo_segment_size (fifo_segment_t * fs);
 285
 286 /**
 287  * Fifo segment estimate of number of free bytes
 288  *
 289  * Returns fifo segment's internal estimate of the number of free bytes.
 290  * To force a synchronization between the segment and the underlying
 291  * memory allocator, call @ref fifo_segment_update_free_bytes
 292  *
 293  * @param fs            fifo segment
 294  * @return              free bytes estimate
 295  */
 296 uword fifo_segment_free_bytes (fifo_segment_t * fs);
 297
 298 /**
 299  * Fifo segment number of cached bytes
 300  *
 301  * Returns fifo segment's number of cached bytes.
 302  *
 303  * @param fs            fifo segment
 304  * @return              cached bytes
 305  */
 306 uword fifo_segment_cached_bytes (fifo_segment_t * fs);
 307
 308 uword fifo_segment_available_bytes (fifo_segment_t * fs);
 309
 310 /**
 311  * Number of bytes on chunk free lists
 312  *
 313  * @param fs            fifo segment
 314  * @return              free bytes on chunk free lists
 315  */
 316 uword fifo_segment_fl_chunk_bytes (fifo_segment_t * fs);
 317 u8 fifo_segment_has_fifos (fifo_segment_t * fs);
 318 svm_fifo_t *fifo_segment_get_slice_fifo_list (fifo_segment_t * fs,
 319                                               u32 slice_index);
 320 u32 fifo_segment_num_fifos (fifo_segment_t * fs);
 321 u32 fifo_segment_num_free_fifos (fifo_segment_t * fs);
 322 /**
 323  * Find number of free chunks of given size
 324  *
 325  * @param fs    fifo segment
 326  * @param size  chunk size of interest or ~0 if all should be counted
 327  * @return      number of chunks of given size
 328  */
 329 u32 fifo_segment_num_free_chunks (fifo_segment_t * fs, u32 size);
 330
 331 u8 fifo_segment_get_mem_usage (fifo_segment_t * fs);
 332 fifo_segment_mem_status_t fifo_segment_determine_status
 333   (fifo_segment_header_t * fsh, u8 usage);
 334 fifo_segment_mem_status_t fifo_segment_get_mem_status (fifo_segment_t * fs);
 335
 336 void fifo_segment_main_init (fifo_segment_main_t * sm, u64 baseva,
 337                              u32 timeout_in_seconds);
 338
 339 format_function_t format_fifo_segment;
 340 format_function_t format_fifo_segment_type;
 341
 342 #endif /* __included_fifo_segment_h__ */
 343
 344 /*
 345  * fd.io coding-style-patch-verification: ON
 346  *
 347  * Local Variables:
 348  * eval: (c-set-style "gnu")
 349  * End:
 350  */