src/vppinfra/mem_dlmalloc.c

   1 /*
   2  * Copyright (c) 2015 Cisco and/or its affiliates.
   3  * Licensed under the Apache License, Version 2.0 (the "License");
   4  * you may not use this file except in compliance with the License.
   5  * You may obtain a copy of the License at:
   6  *
   7  *     http://www.apache.org/licenses/LICENSE-2.0
   8  *
   9  * Unless required by applicable law or agreed to in writing, software
  10  * distributed under the License is distributed on an "AS IS" BASIS,
  11  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  12  * See the License for the specific language governing permissions and
  13  * limitations under the License.
  14  */
  15
  16 #include <vppinfra/format.h>
  17 #include <vppinfra/dlmalloc.h>
  18 #include <vppinfra/os.h>
  19 #include <vppinfra/lock.h>
  20 #include <vppinfra/hash.h>
  21 #include <vppinfra/elf_clib.h>
  22
  23 typedef struct
  24 {
  25   /* Address of callers: outer first, inner last. */
  26   uword callers[12];
  27
  28   /* Count of allocations with this traceback. */
  29   u32 n_allocations;
  30
  31   /* Count of bytes allocated with this traceback. */
  32   u32 n_bytes;
  33
  34   /* Offset of this item */
  35   uword offset;
  36 } mheap_trace_t;
  37
  38 typedef struct
  39 {
  40   clib_spinlock_t lock;
  41   uword enabled;
  42
  43   mheap_trace_t *traces;
  44
  45   /* Indices of free traces. */
  46   u32 *trace_free_list;
  47
  48   /* Hash table mapping callers to trace index. */
  49   uword *trace_by_callers;
  50
  51   /* Hash table mapping mheap offset to trace index. */
  52   uword *trace_index_by_offset;
  53
  54   /* So we can easily shut off current segment trace, if any */
  55   void *current_traced_mheap;
  56
  57 } mheap_trace_main_t;
  58
  59 mheap_trace_main_t mheap_trace_main;
  60
  61 void
  62 mheap_get_trace (uword offset, uword size)
  63 {
  64   mheap_trace_main_t *tm = &mheap_trace_main;
  65   mheap_trace_t *t;
  66   uword i, n_callers, trace_index, *p;
  67   mheap_trace_t trace;
  68   uword save_enabled;
  69
  70   if (tm->enabled == 0 || (clib_mem_get_heap () != tm->current_traced_mheap))
  71     return;
  72
  73   /* Spurious Coverity warnings be gone. */
  74   clib_memset (&trace, 0, sizeof (trace));
  75
  76   clib_spinlock_lock (&tm->lock);
  77
  78   /* Turn off tracing to avoid embarrassment... */
  79   save_enabled = tm->enabled;
  80   tm->enabled = 0;
  81
  82   /* Skip our frame and mspace_get_aligned's frame */
  83   n_callers = clib_backtrace (trace.callers, ARRAY_LEN (trace.callers), 2);
  84   if (n_callers == 0)
  85     goto out;
  86
  87   if (!tm->trace_by_callers)
  88     tm->trace_by_callers =
  89       hash_create_shmem (0, sizeof (trace.callers), sizeof (uword));
  90
  91   p = hash_get_mem (tm->trace_by_callers, &trace.callers);
  92   if (p)
  93     {
  94       trace_index = p[0];
  95       t = tm->traces + trace_index;
  96     }
  97   else
  98     {
  99       i = vec_len (tm->trace_free_list);
 100       if (i > 0)
 101         {
 102           trace_index = tm->trace_free_list[i - 1];
 103           vec_set_len (tm->trace_free_list, i - 1);
 104         }
 105       else
 106         {
 107           mheap_trace_t *old_start = tm->traces;
 108           mheap_trace_t *old_end = vec_end (tm->traces);
 109
 110           vec_add2 (tm->traces, t, 1);
 111
 112           if (tm->traces != old_start)
 113             {
 114               hash_pair_t *p;
 115               mheap_trace_t *q;
 116             /* *INDENT-OFF* */
 117             hash_foreach_pair (p, tm->trace_by_callers,
 118             ({
 119               q = uword_to_pointer (p->key, mheap_trace_t *);
 120               ASSERT (q >= old_start && q < old_end);
 121               p->key = pointer_to_uword (tm->traces + (q - old_start));
 122             }));
 123             /* *INDENT-ON* */
 124             }
 125           trace_index = t - tm->traces;
 126         }
 127
 128       t = tm->traces + trace_index;
 129       t[0] = trace;
 130       t->n_allocations = 0;
 131       t->n_bytes = 0;
 132       hash_set_mem (tm->trace_by_callers, t->callers, trace_index);
 133     }
 134
 135   t->n_allocations += 1;
 136   t->n_bytes += size;
 137   t->offset = offset;           /* keep a sample to autopsy */
 138   hash_set (tm->trace_index_by_offset, offset, t - tm->traces);
 139
 140 out:
 141   tm->enabled = save_enabled;
 142   clib_spinlock_unlock (&tm->lock);
 143 }
 144
 145 void
 146 mheap_put_trace (uword offset, uword size)
 147 {
 148   mheap_trace_t *t;
 149   uword trace_index, *p;
 150   mheap_trace_main_t *tm = &mheap_trace_main;
 151   uword save_enabled;
 152
 153   if (tm->enabled == 0)
 154     return;
 155
 156   clib_spinlock_lock (&tm->lock);
 157
 158   /* Turn off tracing for a moment */
 159   save_enabled = tm->enabled;
 160   tm->enabled = 0;
 161
 162   p = hash_get (tm->trace_index_by_offset, offset);
 163   if (!p)
 164     {
 165       tm->enabled = save_enabled;
 166       clib_spinlock_unlock (&tm->lock);
 167       return;
 168     }
 169
 170   trace_index = p[0];
 171   hash_unset (tm->trace_index_by_offset, offset);
 172   ASSERT (trace_index < vec_len (tm->traces));
 173
 174   t = tm->traces + trace_index;
 175   ASSERT (t->n_allocations > 0);
 176   ASSERT (t->n_bytes >= size);
 177   t->n_allocations -= 1;
 178   t->n_bytes -= size;
 179   if (t->n_allocations == 0)
 180     {
 181       hash_unset_mem (tm->trace_by_callers, t->callers);
 182       vec_add1 (tm->trace_free_list, trace_index);
 183       clib_memset (t, 0, sizeof (t[0]));
 184     }
 185   tm->enabled = save_enabled;
 186   clib_spinlock_unlock (&tm->lock);
 187 }
 188
 189 always_inline void
 190 mheap_trace_main_free (mheap_trace_main_t * tm)
 191 {
 192   vec_free (tm->traces);
 193   vec_free (tm->trace_free_list);
 194   hash_free (tm->trace_by_callers);
 195   hash_free (tm->trace_index_by_offset);
 196 }
 197
 198 static clib_mem_heap_t *
 199 clib_mem_create_heap_internal (void *base, uword size,
 200                                clib_mem_page_sz_t log2_page_sz, int is_locked,
 201                                char *name)
 202 {
 203   clib_mem_heap_t *h;
 204   u8 flags = 0;
 205   int sz = sizeof (clib_mem_heap_t);
 206
 207   if (base == 0)
 208     {
 209       log2_page_sz = clib_mem_log2_page_size_validate (log2_page_sz);
 210       size = round_pow2 (size, clib_mem_page_bytes (log2_page_sz));
 211       base = clib_mem_vm_map_internal (0, log2_page_sz, size, -1, 0,
 212                                        "main heap");
 213
 214       if (base == CLIB_MEM_VM_MAP_FAILED)
 215         return 0;
 216
 217       flags = CLIB_MEM_HEAP_F_UNMAP_ON_DESTROY;
 218     }
 219   else
 220     log2_page_sz = CLIB_MEM_PAGE_SZ_UNKNOWN;
 221
 222   if (is_locked)
 223     flags |= CLIB_MEM_HEAP_F_LOCKED;
 224
 225   h = base;
 226   h->base = base;
 227   h->size = size;
 228   h->log2_page_sz = log2_page_sz;
 229   h->flags = flags;
 230   sz = strlen (name);
 231   strcpy (h->name, name);
 232   sz = round_pow2 (sz + sizeof (clib_mem_heap_t), 16);
 233   h->mspace = create_mspace_with_base (base + sz, size - sz, is_locked);
 234
 235   mspace_disable_expand (h->mspace);
 236
 237   clib_mem_poison (mspace_least_addr (h->mspace),
 238                    mspace_footprint (h->mspace));
 239
 240   return h;
 241 }
 242
 243 /* Initialize CLIB heap based on memory/size given by user.
 244    Set memory to 0 and CLIB will try to allocate its own heap. */
 245 static void *
 246 clib_mem_init_internal (void *base, uword size,
 247                         clib_mem_page_sz_t log2_page_sz)
 248 {
 249   clib_mem_heap_t *h;
 250
 251   clib_mem_main_init ();
 252
 253   h = clib_mem_create_heap_internal (base, size, log2_page_sz,
 254                                      1 /*is_locked */ , "main heap");
 255
 256   clib_mem_set_heap (h);
 257
 258   if (mheap_trace_main.lock == 0)
 259     clib_spinlock_init (&mheap_trace_main.lock);
 260
 261   return h;
 262 }
 263
 264 __clib_export void *
 265 clib_mem_init (void *memory, uword memory_size)
 266 {
 267   return clib_mem_init_internal (memory, memory_size,
 268                                  CLIB_MEM_PAGE_SZ_DEFAULT);
 269 }
 270
 271 __clib_export void *
 272 clib_mem_init_with_page_size (uword memory_size,
 273                               clib_mem_page_sz_t log2_page_sz)
 274 {
 275   return clib_mem_init_internal (0, memory_size, log2_page_sz);
 276 }
 277
 278 __clib_export void *
 279 clib_mem_init_thread_safe (void *memory, uword memory_size)
 280 {
 281   return clib_mem_init_internal (memory, memory_size,
 282                                  CLIB_MEM_PAGE_SZ_DEFAULT);
 283 }
 284
 285 __clib_export void
 286 clib_mem_destroy (void)
 287 {
 288   mheap_trace_main_t *tm = &mheap_trace_main;
 289   clib_mem_heap_t *heap = clib_mem_get_heap ();
 290
 291   if (tm->enabled && heap->mspace == tm->current_traced_mheap)
 292     tm->enabled = 0;
 293
 294   destroy_mspace (heap->mspace);
 295   clib_mem_vm_unmap (heap);
 296 }
 297
 298 __clib_export u8 *
 299 format_clib_mem_usage (u8 *s, va_list *va)
 300 {
 301   int verbose = va_arg (*va, int);
 302   return format (s, "$$$$ heap at %llx verbose %d", clib_mem_get_heap (),
 303                  verbose);
 304 }
 305
 306 /*
 307  * Magic decoder ring for mallinfo stats (ala dlmalloc):
 308  *
 309  * size_t arena;     / * Non-mmapped space allocated (bytes) * /
 310  * size_t ordblks;   / * Number of free chunks * /
 311  * size_t smblks;    / * Number of free fastbin blocks * /
 312  * size_t hblks;     / * Number of mmapped regions * /
 313  * size_t hblkhd;    / * Space allocated in mmapped regions (bytes) * /
 314  * size_t usmblks;   / * Maximum total allocated space (bytes) * /
 315  * size_t fsmblks;   / * Space in freed fastbin blocks (bytes) * /
 316  * size_t uordblks;  / * Total allocated space (bytes) * /
 317  * size_t fordblks;  / * Total free space (bytes) * /
 318  * size_t keepcost;  / * Top-most, releasable space (bytes) * /
 319  *
 320  */
 321
 322 u8 *
 323 format_msize (u8 * s, va_list * va)
 324 {
 325   uword a = va_arg (*va, uword);
 326
 327   if (a >= 1ULL << 30)
 328     s = format (s, "%.2fG", (((f64) a) / ((f64) (1ULL << 30))));
 329   else if (a >= 1ULL << 20)
 330     s = format (s, "%.2fM", (((f64) a) / ((f64) (1ULL << 20))));
 331   else if (a >= 1ULL << 10)
 332     s = format (s, "%.2fK", (((f64) a) / ((f64) (1ULL << 10))));
 333   else
 334     s = format (s, "%lld", a);
 335   return s;
 336 }
 337
 338 static int
 339 mheap_trace_sort (const void *_t1, const void *_t2)
 340 {
 341   const mheap_trace_t *t1 = _t1;
 342   const mheap_trace_t *t2 = _t2;
 343   word cmp;
 344
 345   cmp = (word) t2->n_bytes - (word) t1->n_bytes;
 346   if (!cmp)
 347     cmp = (word) t2->n_allocations - (word) t1->n_allocations;
 348   return cmp;
 349 }
 350
 351 u8 *
 352 format_mheap_trace (u8 * s, va_list * va)
 353 {
 354   mheap_trace_main_t *tm = va_arg (*va, mheap_trace_main_t *);
 355   int verbose = va_arg (*va, int);
 356   int have_traces = 0;
 357   int i;
 358   int n = 0;
 359
 360   clib_spinlock_lock (&tm->lock);
 361   if (vec_len (tm->traces) > 0 &&
 362       clib_mem_get_heap () == tm->current_traced_mheap)
 363     {
 364       have_traces = 1;
 365
 366       /* Make a copy of traces since we'll be sorting them. */
 367       mheap_trace_t *t, *traces_copy;
 368       u32 indent, total_objects_traced;
 369
 370       traces_copy = vec_dup (tm->traces);
 371
 372       qsort (traces_copy, vec_len (traces_copy), sizeof (traces_copy[0]),
 373              mheap_trace_sort);
 374
 375       total_objects_traced = 0;
 376       s = format (s, "\n");
 377       vec_foreach (t, traces_copy)
 378       {
 379         /* Skip over free elements. */
 380         if (t->n_allocations == 0)
 381           continue;
 382
 383         total_objects_traced += t->n_allocations;
 384
 385         /* When not verbose only report the 50 biggest allocations */
 386         if (!verbose && n >= 50)
 387           continue;
 388         n++;
 389
 390         if (t == traces_copy)
 391           s = format (s, "%=9s%=9s %=10s Traceback\n", "Bytes", "Count",
 392                       "Sample");
 393         s = format (s, "%9d%9d %p", t->n_bytes, t->n_allocations, t->offset);
 394         indent = format_get_indent (s);
 395         for (i = 0; i < ARRAY_LEN (t->callers) && t->callers[i]; i++)
 396           {
 397             if (i > 0)
 398               s = format (s, "%U", format_white_space, indent);
 399 #if defined(CLIB_UNIX) && !defined(__APPLE__)
 400             /* $$$$ does this actually work? */
 401             s =
 402               format (s, " %U\n", format_clib_elf_symbol_with_address,
 403                       t->callers[i]);
 404 #else
 405             s = format (s, " %p\n", t->callers[i]);
 406 #endif
 407           }
 408       }
 409
 410       s = format (s, "%d total traced objects\n", total_objects_traced);
 411
 412       vec_free (traces_copy);
 413     }
 414   clib_spinlock_unlock (&tm->lock);
 415   if (have_traces == 0)
 416     s = format (s, "no traced allocations\n");
 417
 418   return s;
 419 }
 420
 421 __clib_export u8 *
 422 format_clib_mem_heap (u8 * s, va_list * va)
 423 {
 424   clib_mem_heap_t *heap = va_arg (*va, clib_mem_heap_t *);
 425   int verbose = va_arg (*va, int);
 426   struct dlmallinfo mi;
 427   mheap_trace_main_t *tm = &mheap_trace_main;
 428   u32 indent = format_get_indent (s) + 2;
 429
 430   if (heap == 0)
 431     heap = clib_mem_get_heap ();
 432
 433   mi = mspace_mallinfo (heap->mspace);
 434
 435   s = format (s, "base %p, size %U",
 436               heap->base, format_memory_size, heap->size);
 437
 438 #define _(i,v,str) \
 439   if (heap->flags & CLIB_MEM_HEAP_F_##v) s = format (s, ", %s", str);
 440   foreach_clib_mem_heap_flag;
 441 #undef _
 442
 443   s = format (s, ", name '%s'", heap->name);
 444
 445   if (heap->log2_page_sz != CLIB_MEM_PAGE_SZ_UNKNOWN)
 446     {
 447       clib_mem_page_stats_t stats;
 448       clib_mem_get_page_stats (heap->base, heap->log2_page_sz,
 449                                heap->size >> heap->log2_page_sz, &stats);
 450       s = format (s, "\n%U%U", format_white_space, indent,
 451                   format_clib_mem_page_stats, &stats);
 452     }
 453
 454   s = format (s, "\n%Utotal: %U, used: %U, free: %U, trimmable: %U",
 455               format_white_space, indent,
 456               format_msize, mi.arena,
 457               format_msize, mi.uordblks,
 458               format_msize, mi.fordblks, format_msize, mi.keepcost);
 459   if (verbose > 0)
 460     {
 461       s = format (s, "\n%Ufree chunks %llu free fastbin blks %llu",
 462                   format_white_space, indent + 2, mi.ordblks, mi.smblks);
 463       s = format (s, "\n%Umax total allocated %U",
 464                   format_white_space, indent + 2, format_msize, mi.usmblks);
 465     }
 466
 467   if (heap->flags & CLIB_MEM_HEAP_F_TRACED)
 468     s = format (s, "\n%U", format_mheap_trace, tm, verbose);
 469   return s;
 470 }
 471
 472 __clib_export __clib_flatten void
 473 clib_mem_get_heap_usage (clib_mem_heap_t *heap, clib_mem_usage_t *usage)
 474 {
 475   struct dlmallinfo mi = mspace_mallinfo (heap->mspace);
 476
 477   usage->bytes_total = mi.arena; /* non-mmapped space allocated from system */
 478   usage->bytes_used = mi.uordblks;          /* total allocated space */
 479   usage->bytes_free = mi.fordblks;          /* total free space */
 480   usage->bytes_used_mmap = mi.hblkhd;       /* space in mmapped regions */
 481   usage->bytes_max = mi.usmblks;            /* maximum total allocated space */
 482   usage->bytes_free_reclaimed = mi.ordblks; /* number of free chunks */
 483   usage->bytes_overhead = mi.keepcost; /* releasable (via malloc_trim) space */
 484
 485   /* Not supported */
 486   usage->bytes_used_sbrk = 0;
 487   usage->object_count = 0;
 488 }
 489
 490 /* Call serial number for debugger breakpoints. */
 491 uword clib_mem_validate_serial = 0;
 492
 493 __clib_export void
 494 mheap_trace (clib_mem_heap_t * h, int enable)
 495 {
 496   if (enable)
 497     h->flags |= CLIB_MEM_HEAP_F_TRACED;
 498   else
 499     h->flags &= ~CLIB_MEM_HEAP_F_TRACED;
 500
 501   if (enable == 0)
 502     mheap_trace_main_free (&mheap_trace_main);
 503 }
 504
 505 __clib_export void
 506 clib_mem_trace (int enable)
 507 {
 508   mheap_trace_main_t *tm = &mheap_trace_main;
 509   void *current_heap = clib_mem_get_heap ();
 510
 511   tm->enabled = enable;
 512   mheap_trace (current_heap, enable);
 513
 514   if (enable)
 515     tm->current_traced_mheap = current_heap;
 516   else
 517     tm->current_traced_mheap = 0;
 518 }
 519
 520 int
 521 clib_mem_is_traced (void)
 522 {
 523   clib_mem_heap_t *h = clib_mem_get_heap ();
 524   return (h->flags &= CLIB_MEM_HEAP_F_TRACED) != 0;
 525 }
 526
 527 __clib_export uword
 528 clib_mem_trace_enable_disable (uword enable)
 529 {
 530   uword rv;
 531   mheap_trace_main_t *tm = &mheap_trace_main;
 532
 533   rv = tm->enabled;
 534   tm->enabled = enable;
 535   return rv;
 536 }
 537
 538 __clib_export clib_mem_heap_t *
 539 clib_mem_create_heap (void *base, uword size, int is_locked, char *fmt, ...)
 540 {
 541   clib_mem_page_sz_t log2_page_sz = clib_mem_get_log2_page_size ();
 542   clib_mem_heap_t *h;
 543   char *name;
 544   u8 *s = 0;
 545
 546   if (fmt == 0)
 547     {
 548       name = "";
 549     }
 550   else if (strchr (fmt, '%'))
 551     {
 552       va_list va;
 553       va_start (va, fmt);
 554       s = va_format (0, fmt, &va);
 555       vec_add1 (s, 0);
 556       va_end (va);
 557       name = (char *) s;
 558     }
 559   else
 560     name = fmt;
 561
 562   h = clib_mem_create_heap_internal (base, size, log2_page_sz, is_locked,
 563                                      name);
 564   vec_free (s);
 565   return h;
 566 }
 567
 568 __clib_export void
 569 clib_mem_destroy_heap (clib_mem_heap_t * h)
 570 {
 571   mheap_trace_main_t *tm = &mheap_trace_main;
 572
 573   if (tm->enabled && h->mspace == tm->current_traced_mheap)
 574     tm->enabled = 0;
 575
 576   destroy_mspace (h->mspace);
 577   if (h->flags & CLIB_MEM_HEAP_F_UNMAP_ON_DESTROY)
 578     clib_mem_vm_unmap (h->base);
 579 }
 580
 581 __clib_export __clib_flatten uword
 582 clib_mem_get_heap_free_space (clib_mem_heap_t *h)
 583 {
 584   struct dlmallinfo dlminfo = mspace_mallinfo (h->mspace);
 585   return dlminfo.fordblks;
 586 }
 587
 588 __clib_export __clib_flatten void *
 589 clib_mem_get_heap_base (clib_mem_heap_t *h)
 590 {
 591   return h->base;
 592 }
 593
 594 __clib_export __clib_flatten uword
 595 clib_mem_get_heap_size (clib_mem_heap_t *heap)
 596 {
 597   return heap->size;
 598 }
 599
 600 /* Memory allocator which may call os_out_of_memory() if it fails */
 601 static inline void *
 602 clib_mem_heap_alloc_inline (void *heap, uword size, uword align,
 603                             int os_out_of_memory_on_failure)
 604 {
 605   clib_mem_heap_t *h = heap ? heap : clib_mem_get_per_cpu_heap ();
 606   void *p;
 607
 608   align = clib_max (CLIB_MEM_MIN_ALIGN, align);
 609
 610   p = mspace_memalign (h->mspace, align, size);
 611
 612   if (PREDICT_FALSE (0 == p))
 613     {
 614       if (os_out_of_memory_on_failure)
 615         os_out_of_memory ();
 616       return 0;
 617     }
 618
 619   if (PREDICT_FALSE (h->flags & CLIB_MEM_HEAP_F_TRACED))
 620     mheap_get_trace (pointer_to_uword (p), clib_mem_size (p));
 621
 622   clib_mem_unpoison (p, size);
 623   return p;
 624 }
 625
 626 /* Memory allocator which calls os_out_of_memory() when it fails */
 627 __clib_export __clib_flatten void *
 628 clib_mem_alloc (uword size)
 629 {
 630   return clib_mem_heap_alloc_inline (0, size, CLIB_MEM_MIN_ALIGN,
 631                                      /* os_out_of_memory */ 1);
 632 }
 633
 634 __clib_export __clib_flatten void *
 635 clib_mem_alloc_aligned (uword size, uword align)
 636 {
 637   return clib_mem_heap_alloc_inline (0, size, align,
 638                                      /* os_out_of_memory */ 1);
 639 }
 640
 641 /* Memory allocator which calls os_out_of_memory() when it fails */
 642 __clib_export __clib_flatten void *
 643 clib_mem_alloc_or_null (uword size)
 644 {
 645   return clib_mem_heap_alloc_inline (0, size, CLIB_MEM_MIN_ALIGN,
 646                                      /* os_out_of_memory */ 0);
 647 }
 648
 649 __clib_export __clib_flatten void *
 650 clib_mem_alloc_aligned_or_null (uword size, uword align)
 651 {
 652   return clib_mem_heap_alloc_inline (0, size, align,
 653                                      /* os_out_of_memory */ 0);
 654 }
 655
 656 __clib_export __clib_flatten void *
 657 clib_mem_heap_alloc (void *heap, uword size)
 658 {
 659   return clib_mem_heap_alloc_inline (heap, size, CLIB_MEM_MIN_ALIGN,
 660                                      /* os_out_of_memory */ 1);
 661 }
 662
 663 __clib_export __clib_flatten void *
 664 clib_mem_heap_alloc_aligned (void *heap, uword size, uword align)
 665 {
 666   return clib_mem_heap_alloc_inline (heap, size, align,
 667                                      /* os_out_of_memory */ 1);
 668 }
 669
 670 __clib_export __clib_flatten void *
 671 clib_mem_heap_alloc_or_null (void *heap, uword size)
 672 {
 673   return clib_mem_heap_alloc_inline (heap, size, CLIB_MEM_MIN_ALIGN,
 674                                      /* os_out_of_memory */ 0);
 675 }
 676
 677 __clib_export __clib_flatten void *
 678 clib_mem_heap_alloc_aligned_or_null (void *heap, uword size, uword align)
 679 {
 680   return clib_mem_heap_alloc_inline (heap, size, align,
 681                                      /* os_out_of_memory */ 0);
 682 }
 683
 684 __clib_export __clib_flatten void *
 685 clib_mem_heap_realloc_aligned (void *heap, void *p, uword new_size,
 686                                uword align)
 687 {
 688   uword old_alloc_size;
 689   clib_mem_heap_t *h = heap ? heap : clib_mem_get_per_cpu_heap ();
 690   void *new;
 691
 692   ASSERT (count_set_bits (align) == 1);
 693
 694   old_alloc_size = p ? mspace_usable_size (p) : 0;
 695
 696   if (new_size == old_alloc_size)
 697     return p;
 698
 699   if (p && pointer_is_aligned (p, align) &&
 700       mspace_realloc_in_place (h->mspace, p, new_size))
 701     {
 702       clib_mem_unpoison (p, new_size);
 703       if (PREDICT_FALSE (h->flags & CLIB_MEM_HEAP_F_TRACED))
 704         {
 705           mheap_put_trace (pointer_to_uword (p), old_alloc_size);
 706           mheap_get_trace (pointer_to_uword (p), clib_mem_size (p));
 707         }
 708     }
 709   else
 710     {
 711       new = clib_mem_heap_alloc_inline (h, new_size, align, 1);
 712
 713       clib_mem_unpoison (new, new_size);
 714       if (old_alloc_size)
 715         {
 716           clib_mem_unpoison (p, old_alloc_size);
 717           clib_memcpy_fast (new, p, clib_min (new_size, old_alloc_size));
 718           clib_mem_heap_free (h, p);
 719         }
 720       p = new;
 721     }
 722
 723   return p;
 724 }
 725
 726 __clib_export __clib_flatten void *
 727 clib_mem_heap_realloc (void *heap, void *p, uword new_size)
 728 {
 729   return clib_mem_heap_realloc_aligned (heap, p, new_size, CLIB_MEM_MIN_ALIGN);
 730 }
 731
 732 __clib_export __clib_flatten void *
 733 clib_mem_realloc_aligned (void *p, uword new_size, uword align)
 734 {
 735   return clib_mem_heap_realloc_aligned (0, p, new_size, align);
 736 }
 737
 738 __clib_export __clib_flatten void *
 739 clib_mem_realloc (void *p, uword new_size)
 740 {
 741   return clib_mem_heap_realloc_aligned (0, p, new_size, CLIB_MEM_MIN_ALIGN);
 742 }
 743
 744 __clib_export __clib_flatten uword
 745 clib_mem_heap_is_heap_object (void *heap, void *p)
 746 {
 747   clib_mem_heap_t *h = heap ? heap : clib_mem_get_per_cpu_heap ();
 748   return mspace_is_heap_object (h->mspace, p);
 749 }
 750
 751 __clib_export __clib_flatten uword
 752 clib_mem_is_heap_object (void *p)
 753 {
 754   return clib_mem_heap_is_heap_object (0, p);
 755 }
 756
 757 __clib_export __clib_flatten void
 758 clib_mem_heap_free (void *heap, void *p)
 759 {
 760   clib_mem_heap_t *h = heap ? heap : clib_mem_get_per_cpu_heap ();
 761   uword size = clib_mem_size (p);
 762
 763   /* Make sure object is in the correct heap. */
 764   ASSERT (clib_mem_heap_is_heap_object (h, p));
 765
 766   if (PREDICT_FALSE (h->flags & CLIB_MEM_HEAP_F_TRACED))
 767     mheap_put_trace (pointer_to_uword (p), size);
 768   clib_mem_poison (p, clib_mem_size (p));
 769
 770   mspace_free (h->mspace, p);
 771 }
 772
 773 __clib_export __clib_flatten void
 774 clib_mem_free (void *p)
 775 {
 776   clib_mem_heap_free (0, p);
 777 }
 778
 779 __clib_export __clib_flatten uword
 780 clib_mem_size (void *p)
 781 {
 782   return mspace_usable_size (p);
 783 }
 784
 785 __clib_export void
 786 clib_mem_free_s (void *p)
 787 {
 788   uword size = clib_mem_size (p);
 789   clib_mem_unpoison (p, size);
 790   memset_s_inline (p, size, 0, size);
 791   clib_mem_free (p);
 792 }