src/vlib/physmem_funcs.h

   1 /*
   2  * Copyright (c) 2015 Cisco and/or its affiliates.
   3  * Licensed under the Apache License, Version 2.0 (the "License");
   4  * you may not use this file except in compliance with the License.
   5  * You may obtain a copy of the License at:
   6  *
   7  *     http://www.apache.org/licenses/LICENSE-2.0
   8  *
   9  * Unless required by applicable law or agreed to in writing, software
  10  * distributed under the License is distributed on an "AS IS" BASIS,
  11  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  12  * See the License for the specific language governing permissions and
  13  * limitations under the License.
  14  */
  15 /*
  16  * physmem.h: virtual <-> physical memory mapping for VLIB buffers
  17  *
  18  * Copyright (c) 2008 Eliot Dresselhaus
  19  *
  20  * Permission is hereby granted, free of charge, to any person obtaining
  21  * a copy of this software and associated documentation files (the
  22  * "Software"), to deal in the Software without restriction, including
  23  * without limitation the rights to use, copy, modify, merge, publish,
  24  * distribute, sublicense, and/or sell copies of the Software, and to
  25  * permit persons to whom the Software is furnished to do so, subject to
  26  * the following conditions:
  27  *
  28  * The above copyright notice and this permission notice shall be
  29  * included in all copies or substantial portions of the Software.
  30  *
  31  *  THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND,
  32  *  EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF
  33  *  MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND
  34  *  NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE
  35  *  LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION
  36  *  OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION
  37  *  WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.
  38  */
  39
  40 #ifndef included_vlib_physmem_funcs_h
  41 #define included_vlib_physmem_funcs_h
  42
  43 always_inline vlib_physmem_region_t *
  44 vlib_physmem_get_region (vlib_main_t * vm, u8 index)
  45 {
  46   vlib_physmem_main_t *vpm = &physmem_main;
  47   return pool_elt_at_index (vpm->regions, index);
  48 }
  49
  50 always_inline u64
  51 vlib_physmem_offset_to_physical (vlib_main_t * vm,
  52                                  vlib_physmem_region_index_t idx, uword o)
  53 {
  54   vlib_physmem_region_t *pr = vlib_physmem_get_region (vm, idx);
  55   uword page_index = o >> pr->log2_page_size;
  56   ASSERT (o < pr->size);
  57   ASSERT (pr->page_table[page_index] != 0);
  58   return (vec_elt (pr->page_table, page_index) + (o & pr->page_mask));
  59 }
  60
  61 always_inline int
  62 vlib_physmem_is_virtual (vlib_main_t * vm, vlib_physmem_region_index_t idx,
  63                          uword p)
  64 {
  65   vlib_physmem_region_t *pr = vlib_physmem_get_region (vm, idx);
  66   return p >= pointer_to_uword (pr->mem)
  67     && p < (pointer_to_uword (pr->mem) + pr->size);
  68 }
  69
  70 always_inline uword
  71 vlib_physmem_offset_of (vlib_main_t * vm, vlib_physmem_region_index_t idx,
  72                         void *p)
  73 {
  74   vlib_physmem_region_t *pr = vlib_physmem_get_region (vm, idx);
  75   uword a = pointer_to_uword (p);
  76   uword o;
  77
  78   ASSERT (vlib_physmem_is_virtual (vm, idx, a));
  79   o = a - pointer_to_uword (pr->mem);
  80
  81   /* Offset must fit in 32 bits. */
  82   ASSERT ((uword) o == a - pointer_to_uword (pr->mem));
  83
  84   return o;
  85 }
  86
  87 always_inline void *
  88 vlib_physmem_at_offset (vlib_main_t * vm, vlib_physmem_region_index_t idx,
  89                         uword offset)
  90 {
  91   vlib_physmem_region_t *pr = vlib_physmem_get_region (vm, idx);
  92   ASSERT (offset < pr->size);
  93   return uword_to_pointer (pointer_to_uword (pr->mem) + offset, void *);
  94 }
  95
  96 always_inline void *
  97 vlib_physmem_alloc_aligned (vlib_main_t * vm, vlib_physmem_region_index_t idx,
  98                             clib_error_t ** error,
  99                             uword n_bytes, uword alignment)
 100 {
 101   void *r = vm->os_physmem_alloc_aligned (vm, idx, n_bytes, alignment);
 102   if (!r)
 103     *error =
 104       clib_error_return (0, "failed to allocate %wd bytes of I/O memory",
 105                          n_bytes);
 106   else
 107     *error = 0;
 108   return r;
 109 }
 110
 111 /* By default allocate I/O memory with cache line alignment. */
 112 always_inline void *
 113 vlib_physmem_alloc (vlib_main_t * vm, vlib_physmem_region_index_t idx,
 114                     clib_error_t ** error, uword n_bytes)
 115 {
 116   return vlib_physmem_alloc_aligned (vm, idx, error, n_bytes,
 117                                      CLIB_CACHE_LINE_BYTES);
 118 }
 119
 120 always_inline void
 121 vlib_physmem_free (vlib_main_t * vm, vlib_physmem_region_index_t idx,
 122                    void *mem)
 123 {
 124   if (mem)
 125     vm->os_physmem_free (vm, idx, mem);
 126 }
 127
 128 always_inline u64
 129 vlib_physmem_virtual_to_physical (vlib_main_t * vm,
 130                                   vlib_physmem_region_index_t idx, void *mem)
 131 {
 132   vlib_physmem_main_t *vpm = &physmem_main;
 133   vlib_physmem_region_t *pr = pool_elt_at_index (vpm->regions, idx);
 134   uword o = mem - pr->mem;
 135   return vlib_physmem_offset_to_physical (vm, idx, o);
 136 }
 137
 138
 139 always_inline clib_error_t *
 140 vlib_physmem_region_alloc (vlib_main_t * vm, char *name, u32 size,
 141                            u8 numa_node, u32 flags,
 142                            vlib_physmem_region_index_t * idx)
 143 {
 144   return vm->os_physmem_region_alloc (vm, name, size, numa_node, flags, idx);
 145 }
 146
 147 always_inline void
 148 vlib_physmem_region_free (struct vlib_main_t *vm,
 149                           vlib_physmem_region_index_t idx)
 150 {
 151   vm->os_physmem_region_free (vm, idx);
 152 }
 153
 154 #endif /* included_vlib_physmem_funcs_h */
 155
 156 /*
 157  * fd.io coding-style-patch-verification: ON
 158  *
 159  * Local Variables:
 160  * eval: (c-set-style "gnu")
 161  * End:
 162  */