src/vppinfra/vec.c

   1 /* SPDX-License-Identifier: Apache-2.0
   2  * Copyright(c) 2022 Cisco Systems, Inc.
   3  */
   4
   5 #include <vppinfra/vec.h>
   6 #include <vppinfra/mem.h>
   7
   8 #ifndef CLIB_VECTOR_GROW_BY_ONE
   9 #define CLIB_VECTOR_GROW_BY_ONE 0
  10 #endif
  11
  12 __clib_export uword
  13 vec_mem_size (void *v)
  14 {
  15   return v ? clib_mem_size (v - vec_get_header_size (v)) : 0;
  16 }
  17
  18 __clib_export void *
  19 _vec_realloc (void *v, uword n_elts, uword elt_sz, uword hdr_sz, uword align,
  20               void *heap)
  21 {
  22   uword n_data_bytes, alloc_size, new_data_size;
  23   void *p;
  24
  25   /* alignment must be power of 2 */
  26   align = clib_max (align, VEC_MIN_ALIGN);
  27   ASSERT (count_set_bits (align) == 1);
  28
  29   /* mumber of bytes needed to store vector data */
  30   n_data_bytes = n_elts * elt_sz;
  31
  32   if (v)
  33     {
  34       uword data_offset = vec_get_header_size (v);
  35       uword old_data_size = data_offset + _vec_len (v) * elt_sz;
  36       new_data_size = data_offset + n_data_bytes;
  37       heap = _vec_find (v)->default_heap ? 0 : _vec_heap (v);
  38       p = vec_header (v);
  39       alloc_size = clib_mem_size (p);
  40
  41       /* check that we are still dealing with the same vector type */
  42       ASSERT (_vec_find (v)->hdr_size * VEC_MIN_ALIGN == data_offset);
  43       ASSERT (_vec_find (v)->log2_align == min_log2 (align));
  44
  45       /* realloc if new size cannot fit into existing allocation */
  46       if (alloc_size < new_data_size)
  47         {
  48           if (CLIB_VECTOR_GROW_BY_ONE)
  49             alloc_size = n_data_bytes + data_offset;
  50           else
  51             alloc_size = (n_data_bytes * 3) / 2 + data_offset;
  52
  53           p = clib_mem_heap_realloc_aligned (heap, p, alloc_size, align);
  54           alloc_size = clib_mem_size (p);
  55           v = p + data_offset;
  56         }
  57
  58       CLIB_MEM_UNPOISON (p, alloc_size);
  59       clib_memset_u8 (p + old_data_size, 0, alloc_size - old_data_size);
  60     }
  61   else
  62     {
  63       /* new allocation */
  64       uword data_offset = hdr_sz + sizeof (vec_header_t);
  65       data_offset += heap ? sizeof (void *) : 0;
  66       data_offset = round_pow2 (data_offset, align);
  67
  68       new_data_size = data_offset + n_data_bytes;
  69       p = clib_mem_heap_alloc_aligned (heap, new_data_size, align);
  70       alloc_size = clib_mem_size (p);
  71       CLIB_MEM_UNPOISON (p, alloc_size);
  72       clib_memset_u8 (p, 0, alloc_size);
  73       v = p + data_offset;
  74       _vec_find (v)->hdr_size = data_offset / VEC_MIN_ALIGN;
  75       _vec_find (v)->log2_align = min_log2 (align);
  76       if (heap)
  77         {
  78           _vec_find (v)->default_heap = 0;
  79           _vec_heap (v) = heap;
  80         }
  81       else
  82         _vec_find (v)->default_heap = 1;
  83     }
  84
  85   CLIB_MEM_POISON (p + new_data_size, alloc_size - new_data_size);
  86   _vec_find (v)->len = n_elts;
  87   return v;
  88 }
  89
  90 __clib_export u32
  91 vec_len_not_inline (void *v)
  92 {
  93   return vec_len (v);
  94 }
  95
  96 __clib_export void
  97 vec_free_not_inline (void *v)
  98 {
  99   vec_free (v);
 100 }