src/svm/fifo_segment.h

   1 /*
   2  * Copyright (c) 2016-2019 Cisco and/or its affiliates.
   3  * Licensed under the Apache License, Version 2.0 (the "License");
   4  * you may not use this file except in compliance with the License.
   5  * You may obtain a copy of the License at:
   6  *
   7  *     http://www.apache.org/licenses/LICENSE-2.0
   8  *
   9  * Unless required by applicable law or agreed to in writing, software
  10  * distributed under the License is distributed on an "AS IS" BASIS,
  11  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  12  * See the License for the specific language governing permissions and
  13  * limitations under the License.
  14  */
  15 #ifndef __included_fifo_segment_h__
  16 #define __included_fifo_segment_h__
  17
  18 #include <svm/ssvm.h>
  19 #include <svm/fifo_types.h>
  20 #include <svm/message_queue.h>
  21 #include <svm/svm_fifo.h>
  22
  23 #define FIFO_SEGMENT_ALLOC_OVERHEAD (2 * clib_mem_get_page_size ())
  24
  25 typedef enum
  26 {
  27   FIFO_SEGMENT_FTYPE_NONE = -1,
  28   FIFO_SEGMENT_RX_FIFO = 0,
  29   FIFO_SEGMENT_TX_FIFO,
  30   FIFO_SEGMENT_N_FTYPES
  31 } fifo_segment_ftype_t;
  32
  33 #define FIFO_SEGMENT_MIN_LOG2_FIFO_SIZE 12      /**< 4kB min fifo size */
  34 #define FIFO_SEGMENT_MIN_FIFO_SIZE 4096         /**< 4kB min fifo size */
  35 #define FIFO_SEGMENT_MAX_FIFO_SIZE (2ULL << 30) /**< 2GB max fifo size */
  36 #define FIFO_SEGMENT_ALLOC_BATCH_SIZE 32        /* Allocation quantum */
  37
  38 typedef enum fifo_segment_flags_
  39 {
  40   FIFO_SEGMENT_F_IS_PREALLOCATED = 1 << 0,
  41   FIFO_SEGMENT_F_WILL_DELETE = 1 << 1,
  42   FIFO_SEGMENT_F_MEM_LIMIT = 1 << 2,
  43   FIFO_SEGMENT_F_CUSTOM_USE = 1 << 3,
  44 } fifo_segment_flags_t;
  45
  46 #define foreach_segment_mem_status      \
  47 _(NO_PRESSURE, "No pressure")           \
  48 _(LOW_PRESSURE, "Low pressure")         \
  49 _(HIGH_PRESSURE, "High pressure")       \
  50 _(NO_MEMORY, "No memory")
  51
  52 typedef enum
  53 {
  54 #define _(sym,str)  MEMORY_PRESSURE_##sym,
  55   foreach_segment_mem_status
  56 #undef _
  57     MEMORY_N_PRESSURE,
  58 } fifo_segment_mem_status_t;
  59
  60 #if 0
  61 typedef enum fifo_segment_mem_status_
  62 {
  63   MEMORY_PRESSURE_NO_PRESSURE,
  64   MEMORY_PRESSURE_LOW_PRESSURE,
  65   MEMORY_PRESSURE_HIGH_PRESSURE,
  66   MEMORY_PRESSURE_NO_MEMORY,
  67 } fifo_segment_mem_status_t;
  68 #endif
  69
  70 typedef struct
  71 {
  72   ssvm_private_t ssvm;          /**< ssvm segment data */
  73   fifo_segment_header_t *h;     /**< fifo segment data */
  74   fifo_slice_private_t *slices; /**< private slice information */
  75   svm_msg_q_t *mqs;             /**< private vec of attached mqs */
  76   uword max_byte_index;         /**< max byte index for segment */
  77   u32 sm_index;                 /**< owner segment manager index */
  78   u32 fs_index;                 /**< fs index in sm pool */
  79   u8 n_slices;                  /**< number of fifo segment slices */
  80   u8 flags;                     /**< private fifo segment flags */
  81   u8 high_watermark;            /**< memory pressure watermark high */
  82   u8 low_watermark;             /**< memory pressure watermark low */
  83 } fifo_segment_t;
  84
  85 typedef struct
  86 {
  87   fifo_segment_t *segments;     /**< pool of fifo segments */
  88   uword next_baseva;            /**< Where to put the next one */
  89   u32 timeout_in_seconds;       /**< Time to wait during attach */
  90 } fifo_segment_main_t;
  91
  92 typedef struct
  93 {
  94   ssvm_segment_type_t segment_type;     /**< type of segment requested */
  95   u32 segment_size;                     /**< size of the segment */
  96   int memfd_fd;                         /**< fd for memfd segments */
  97   char *segment_name;                   /**< segment name */
  98   u32 *new_segment_indices;             /**< return vec of new seg indices */
  99 } fifo_segment_create_args_t;
 100
 101 #define fifo_segment_flags(_fs) _fs->flags
 102
 103 int fifo_segment_init (fifo_segment_t * fs);
 104 int fifo_segment_create (fifo_segment_main_t * sm,
 105                          fifo_segment_create_args_t * a);
 106 int fifo_segment_attach (fifo_segment_main_t * sm,
 107                          fifo_segment_create_args_t * a);
 108 void fifo_segment_delete (fifo_segment_main_t * sm, fifo_segment_t * fs);
 109 void fifo_segment_cleanup (fifo_segment_t *fs);
 110 fifo_segment_t *fifo_segment_get_segment (fifo_segment_main_t * sm,
 111                                           u32 fs_index);
 112 fifo_segment_t *fifo_segment_get_segment_if_valid (fifo_segment_main_t *sm,
 113                                                    u32 segment_index);
 114 u32 fifo_segment_index (fifo_segment_main_t * sm, fifo_segment_t * fs);
 115 void fifo_segment_info (fifo_segment_t * seg, char **address, size_t * size);
 116
 117 always_inline void *
 118 fifo_segment_ptr (fifo_segment_t *fs, uword offset)
 119 {
 120   return (void *) ((u8 *) fs->h + offset);
 121 }
 122
 123 always_inline uword
 124 fifo_segment_offset (fifo_segment_t *fs, void *p)
 125 {
 126   return (uword) ((u8 *) p - (u8 *) fs->h);
 127 }
 128
 129 /**
 130  * Allocate fifo in fifo segment
 131  *
 132  * @param fs            fifo segment for fifo
 133  * @param data_bytes    size of default fifo chunk in bytes
 134  * @param ftype         fifo type @ref fifo_segment_ftype_t
 135  * @return              new fifo or 0 if alloc failed
 136  */
 137 svm_fifo_t *fifo_segment_alloc_fifo_w_slice (fifo_segment_t * fs,
 138                                              u32 slice_index,
 139                                              u32 data_bytes,
 140                                              fifo_segment_ftype_t ftype);
 141 svm_fifo_t *fifo_segment_alloc_fifo_w_offset (fifo_segment_t *fs,
 142                                               uword offset);
 143 svm_fifo_t *fifo_segment_duplicate_fifo (fifo_segment_t *fs, svm_fifo_t *f);
 144
 145 /**
 146  * Free fifo allocated in fifo segment
 147  *
 148  * @param fs            fifo segment for fifo
 149  * @param f             fifo to be freed
 150  */
 151 void fifo_segment_free_fifo (fifo_segment_t * fs, svm_fifo_t * f);
 152
 153 /**
 154  * Free fifo allocated by external applications
 155  *
 156  * @params fs           fifo segment for fifo
 157  * @param f             fifo to be freed
 158  */
 159 void fifo_segment_free_client_fifo (fifo_segment_t *fs, svm_fifo_t *f);
 160
 161 void fifo_segment_detach_fifo (fifo_segment_t *fs, svm_fifo_t **f);
 162 void fifo_segment_attach_fifo (fifo_segment_t *fs, svm_fifo_t **f,
 163                                u32 slice_index);
 164 uword fifo_segment_fifo_offset (svm_fifo_t *f);
 165
 166 /**
 167  * Allocate message queue on segment
 168  *
 169  * @param fs            fifo segment for mq
 170  * @param mq_index      index in private mqs vector to use to attach
 171  * @param cfg           configuration for mq
 172  * @return              attached message queue
 173  */
 174 svm_msg_q_t *fifo_segment_msg_q_alloc (fifo_segment_t *fs, u32 mq_index,
 175                                        svm_msg_q_cfg_t *cfg);
 176
 177 /**
 178  *  Attach message queue at fifo segment offset
 179  *
 180  *  @param fs           fifo segment for mq
 181  *  @param offset       offset for shared mq on the segment
 182  *  @param mq_index     index in private mqs vector to use to attach
 183  *  @return             attached message queue
 184  */
 185 svm_msg_q_t *fifo_segment_msg_q_attach (fifo_segment_t *fs, uword offset,
 186                                         u32 mq_index);
 187
 188 /**
 189  *  Discover mqs on mq only segment
 190  *
 191  *  @param fs           fifo segment for mq
 192  *  @param fds          array of fds is mqs use eventfds
 193  *  @param n_fds        number of fds
 194  */
 195 void fifo_segment_msg_qs_discover (fifo_segment_t *fs, int *fds, u32 n_fds);
 196
 197 /**
 198  * Message queue offset on segment
 199  *
 200  * @param fs            fifo segment for mq
 201  * @param mq_index      index of mq in private mqs vector
 202  * @return              offset of the shared mq the private mq is attached to
 203  */
 204 uword fifo_segment_msg_q_offset (fifo_segment_t *fs, u32 mq_index);
 205
 206 /**
 207  * Try to preallocate fifo headers
 208  *
 209  * Tries to preallocate fifo headers and adds them to freelist.
 210  *
 211  * @param fs            fifo segment
 212  * @param batch_size    number of chunks to be allocated
 213  * @return              0 on success, negative number otherwise
 214  */
 215 int fifo_segment_prealloc_fifo_hdrs (fifo_segment_t * fs, u32 slice_index,
 216                                      u32 batch_size);
 217
 218 /**
 219  * Try to preallocate fifo chunks on segment
 220  *
 221  * Tries to preallocate chunks of requested size on segment and adds them
 222  * to chunk freelist.
 223  *
 224  * @param fs            fifo segment
 225  * @param chunk_size    size of chunks to be allocated in bytes
 226  * @param batch_size    number of chunks to be allocated
 227  * @return              0 on success, negative number otherwise
 228  */
 229 int fifo_segment_prealloc_fifo_chunks (fifo_segment_t * fs, u32 slice_index,
 230                                        u32 chunk_size, u32 batch_size);
 231 /**
 232  * Pre-allocates fifo pairs in fifo segment
 233  *
 234  * The number of fifos pre-allocated is the minimum of the requested number
 235  * of pairs and the maximum number that fit within the segment. If the maximum
 236  * is hit, the number of fifo pairs requested is updated by subtracting the
 237  * number of fifos that have been successfully allocated.
 238  *
 239  * @param fs            fifo segment for fifo
 240  * @param rx_fifo_size  data size of rx fifos
 241  * @param tx_fifo_size  data size of tx fifos
 242  * @param n_fifo_pairs  number of pairs requested. Prior to returning, this
 243  *                      is decremented by the the number of pairs allocated.
 244  */
 245 void fifo_segment_preallocate_fifo_pairs (fifo_segment_t * fs,
 246                                           u32 rx_fifo_size,
 247                                           u32 tx_fifo_size,
 248                                           u32 * n_fifo_pairs);
 249
 250 /**
 251  * Allocate chunks in fifo segment
 252  *
 253  * @param fsh           fifo segment header
 254  * @param slice_index   slice where chunks should be alocated
 255  * @param chunk_size    chunk size needed
 256  * @return              chunk (or chunks) that cover at least chunk_size bytes
 257  *                      on success, 0 on failure.
 258  */
 259 svm_fifo_chunk_t *fsh_alloc_chunk (fifo_segment_header_t * fsh,
 260                                    u32 slice_index, u32 chunk_size);
 261
 262 /**
 263  * Return chunks to fifo segment
 264  *
 265  * @param fsh           fifo segment header
 266  * @param slice_index   slice where chunks should be returned
 267  * @param c             pointer to first chunk in 0 terminated linked list
 268  */
 269 void fsh_collect_chunks (fifo_segment_header_t * fsh, u32 slice_index,
 270                          svm_fifo_chunk_t * c);
 271
 272 /**
 273  * Fifo segment reset mem limit flag
 274  *
 275  * @param fs            fifo segment
 276  * @param size          size requested
 277  * @return              pointer to memory allocated or 0
 278  */
 279 void *fifo_segment_alloc (fifo_segment_t *fs, uword size);
 280 /**
 281  * Fifo segment allocated size
 282  *
 283  * Returns fifo segment's allocated size
 284  *
 285  * @param fs            fifo segment
 286  * @return              allocated size in bytes
 287  */
 288 uword fifo_segment_size (fifo_segment_t * fs);
 289
 290 /**
 291  * Fifo segment estimate of number of free bytes
 292  *
 293  * Returns fifo segment's internal estimate of the number of free bytes.
 294  * To force a synchronization between the segment and the underlying
 295  * memory allocator, call @ref fifo_segment_update_free_bytes
 296  *
 297  * @param fs            fifo segment
 298  * @return              free bytes estimate
 299  */
 300 uword fifo_segment_free_bytes (fifo_segment_t * fs);
 301
 302 /**
 303  * Fifo segment number of cached bytes
 304  *
 305  * Returns fifo segment's number of cached bytes.
 306  *
 307  * @param fs            fifo segment
 308  * @return              cached bytes
 309  */
 310 uword fifo_segment_cached_bytes (fifo_segment_t * fs);
 311
 312 uword fifo_segment_available_bytes (fifo_segment_t * fs);
 313
 314 /**
 315  * Number of bytes on chunk free lists
 316  *
 317  * @param fs            fifo segment
 318  * @return              free bytes on chunk free lists
 319  */
 320 uword fifo_segment_fl_chunk_bytes (fifo_segment_t * fs);
 321 u8 fifo_segment_has_fifos (fifo_segment_t * fs);
 322 svm_fifo_t *fifo_segment_get_slice_fifo_list (fifo_segment_t * fs,
 323                                               u32 slice_index);
 324 u32 fifo_segment_num_fifos (fifo_segment_t * fs);
 325 u32 fifo_segment_num_free_fifos (fifo_segment_t * fs);
 326
 327 svm_fifo_chunk_t *fifo_segment_alloc_chunk_w_slice (fifo_segment_t *fs,
 328                                                     u32 slice_index,
 329                                                     u32 chunk_size);
 330 void fifo_segment_collect_chunk (fifo_segment_t *fs, u32 slice_index,
 331                                  svm_fifo_chunk_t *c);
 332 uword fifo_segment_chunk_offset (fifo_segment_t *fs, svm_fifo_chunk_t *c);
 333
 334 /**
 335  * Find number of free chunks of given size
 336  *
 337  * @param fs    fifo segment
 338  * @param size  chunk size of interest or ~0 if all should be counted
 339  * @return      number of chunks of given size
 340  */
 341 u32 fifo_segment_num_free_chunks (fifo_segment_t * fs, u32 size);
 342
 343 u8 fifo_segment_get_mem_usage (fifo_segment_t * fs);
 344 fifo_segment_mem_status_t fifo_segment_get_mem_status (fifo_segment_t * fs);
 345
 346 void fifo_segment_main_init (fifo_segment_main_t * sm, u64 baseva,
 347                              u32 timeout_in_seconds);
 348
 349 format_function_t format_fifo_segment;
 350 format_function_t format_fifo_segment_type;
 351
 352 #endif /* __included_fifo_segment_h__ */
 353
 354 /*
 355  * fd.io coding-style-patch-verification: ON
 356  *
 357  * Local Variables:
 358  * eval: (c-set-style "gnu")
 359  * End:
 360  */