src/vppinfra/pmalloc.h

   1 /*
   2  * Copyright (c) 2018 Cisco and/or its affiliates.
   3  * Licensed under the Apache License, Version 2.0 (the "License");
   4  * you may not use this file except in compliance with the License.
   5  * You may obtain a copy of the License at:
   6  *
   7  *     http://www.apache.org/licenses/LICENSE-2.0
   8  *
   9  * Unless required by applicable law or agreed to in writing, software
  10  * distributed under the License is distributed on an "AS IS" BASIS,
  11  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  12  * See the License for the specific language governing permissions and
  13  * limitations under the License.
  14  */
  15
  16 #ifndef included_palloc_h
  17 #define included_palloc_h
  18 #include <vppinfra/format.h>
  19 #include <vppinfra/pool.h>
  20
  21 #define PMALLOC_LOG2_BLOCK_SZ          CLIB_LOG2_CACHE_LINE_BYTES
  22 #define PMALLOC_BLOCK_SZ               (1 << 6)
  23
  24 #define CLIB_PMALLOC_NUMA_LOCAL 0xffffffff
  25
  26 typedef struct
  27 {
  28   u32 start, prev, next;
  29   u32 size:31;
  30   u32 used:1;
  31 } clib_pmalloc_chunk_t;
  32
  33 STATIC_ASSERT_SIZEOF (clib_pmalloc_chunk_t, 16);
  34
  35 typedef struct
  36 {
  37   u32 index;
  38   u32 arena_index;
  39   uword pa;
  40   clib_pmalloc_chunk_t *chunks;
  41   u32 first_chunk_index;
  42   u32 n_free_chunks;
  43   u32 n_free_blocks;
  44 } clib_pmalloc_page_t;
  45
  46 typedef struct
  47 {
  48   u32 index;
  49   u32 flags;
  50 #define CLIB_PMALLOC_ARENA_F_SHARED_MEM (1 << 0)
  51   int fd;
  52   u32 numa_node;
  53   u32 first_page_index;
  54   u32 log2_subpage_sz;
  55   u32 subpages_per_page;
  56   u32 n_pages;
  57   u8 *name;
  58   u32 *page_indices;
  59 } clib_pmalloc_arena_t;
  60
  61 typedef struct
  62 {
  63   /* flags */
  64   u32 flags;
  65 #define CLIB_PMALLOC_F_NO_PAGEMAP (1 << 0)
  66
  67   /* base VA address */
  68   u8 *base;
  69
  70   /* default page size - typically 2M */
  71   u32 def_log2_page_sz;
  72
  73   /* system page size - typically 4K */
  74   u32 sys_log2_page_sz;
  75
  76   /* maximum number of pages, limited by VA preallocation size */
  77   u32 max_pages;
  78
  79   /* vector of pages - each page have own alloc pool and it can be split
  80      into subpages (i.e. 2M page build out of 512 4K pages) */
  81   clib_pmalloc_page_t *pages;
  82
  83   /* hash used to find chunk index out of VA, chunk index is defined
  84      per page */
  85   uword *chunk_index_by_va;
  86
  87   /* alloc arenas are group of pages which share same attributes
  88      shared arenas are represented by FD and they are not grovable
  89      private arenas are growable */
  90   clib_pmalloc_arena_t *arenas;
  91
  92   /* vector of per numa node alloc arena indices
  93      each numa node have own default privat alloc arena */
  94   u32 *default_arena_for_numa_node;
  95
  96   /* VA to PA lookup table */
  97   uword *lookup_table;
  98
  99   /* lookup page size - equals to smalles subpage used */
 100   u32 lookup_log2_page_sz;
 101
 102   /* last error */
 103   clib_error_t *error;
 104 } clib_pmalloc_main_t;
 105
 106
 107 int clib_pmalloc_init (clib_pmalloc_main_t * pm, uword size);
 108 void *clib_pmalloc_alloc_aligned_on_numa (clib_pmalloc_main_t * pm,
 109                                           uword size, uword align,
 110                                           u32 numa_node);
 111 void *clib_pmalloc_alloc_aligned (clib_pmalloc_main_t * pm, uword size,
 112                                   uword align);
 113 void clib_pmalloc_free (clib_pmalloc_main_t * pm, void *va);
 114
 115 void *clib_pmalloc_create_shared_arena (clib_pmalloc_main_t * pm, char *name,
 116                                         uword size, u32 log2_page_sz,
 117                                         u32 numa_node);
 118
 119 void *clib_pmalloc_alloc_from_arena (clib_pmalloc_main_t * pm, void *arena_va,
 120                                      uword size, uword align);
 121
 122 format_function_t format_pmalloc;
 123 format_function_t format_pmalloc_map;
 124
 125 always_inline clib_error_t *
 126 clib_pmalloc_last_error (clib_pmalloc_main_t * pm)
 127 {
 128   return pm->error;
 129 }
 130
 131 always_inline u32
 132 clib_pmalloc_get_page_index (clib_pmalloc_main_t * pm, void *va)
 133 {
 134   uword index = (pointer_to_uword (va) - pointer_to_uword (pm->base)) >>
 135     pm->def_log2_page_sz;
 136
 137   ASSERT (index < vec_len (pm->pages));
 138
 139   return index;
 140 }
 141
 142 always_inline clib_pmalloc_arena_t *
 143 clib_pmalloc_get_arena (clib_pmalloc_main_t * pm, void *va)
 144 {
 145   u32 index = clib_pmalloc_get_page_index (pm, va);
 146   return pm->arenas + pm->pages[index].arena_index;
 147 }
 148
 149 always_inline uword
 150 clib_pmalloc_get_pa (clib_pmalloc_main_t * pm, void *va)
 151 {
 152   uword index = (pointer_to_uword (va) - pointer_to_uword (pm->base)) >>
 153     pm->lookup_log2_page_sz;
 154   return pointer_to_uword (va) - pm->lookup_table[index];
 155 }
 156
 157
 158 #endif /* included_palloc_h */
 159
 160 /*
 161  * fd.io coding-style-patch-verification: ON
 162  *
 163  * Local Variables:
 164  * eval: (c-set-style "gnu")
 165  * End:
 166  */