src/vppinfra/mem_dlmalloc.c

   1 /*
   2  * Copyright (c) 2015 Cisco and/or its affiliates.
   3  * Licensed under the Apache License, Version 2.0 (the "License");
   4  * you may not use this file except in compliance with the License.
   5  * You may obtain a copy of the License at:
   6  *
   7  *     http://www.apache.org/licenses/LICENSE-2.0
   8  *
   9  * Unless required by applicable law or agreed to in writing, software
  10  * distributed under the License is distributed on an "AS IS" BASIS,
  11  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  12  * See the License for the specific language governing permissions and
  13  * limitations under the License.
  14  */
  15
  16 #include <vppinfra/format.h>
  17 #include <vppinfra/dlmalloc.h>
  18 #include <vppinfra/os.h>
  19 #include <vppinfra/lock.h>
  20 #include <vppinfra/hash.h>
  21 #include <vppinfra/elf_clib.h>
  22
  23 void *clib_per_cpu_mheaps[CLIB_MAX_MHEAPS];
  24
  25 typedef struct
  26 {
  27   /* Address of callers: outer first, inner last. */
  28   uword callers[12];
  29
  30   /* Count of allocations with this traceback. */
  31 #if CLIB_VEC64 > 0
  32   u64 n_allocations;
  33 #else
  34   u32 n_allocations;
  35 #endif
  36
  37   /* Count of bytes allocated with this traceback. */
  38   u32 n_bytes;
  39
  40   /* Offset of this item */
  41   uword offset;
  42 } mheap_trace_t;
  43
  44 typedef struct
  45 {
  46   clib_spinlock_t lock;
  47   uword enabled;
  48
  49   mheap_trace_t *traces;
  50
  51   /* Indices of free traces. */
  52   u32 *trace_free_list;
  53
  54   /* Hash table mapping callers to trace index. */
  55   uword *trace_by_callers;
  56
  57   /* Hash table mapping mheap offset to trace index. */
  58   uword *trace_index_by_offset;
  59
  60   /* So we can easily shut off current segment trace, if any */
  61   void *current_traced_mheap;
  62
  63 } mheap_trace_main_t;
  64
  65 mheap_trace_main_t mheap_trace_main;
  66
  67 void
  68 mheap_get_trace (uword offset, uword size)
  69 {
  70   mheap_trace_main_t *tm = &mheap_trace_main;
  71   mheap_trace_t *t;
  72   uword i, n_callers, trace_index, *p;
  73   mheap_trace_t trace;
  74   uword save_enabled;
  75
  76   if (tm->enabled == 0 || (clib_mem_get_heap () != tm->current_traced_mheap))
  77     return;
  78
  79   /* Spurious Coverity warnings be gone. */
  80   clib_memset (&trace, 0, sizeof (trace));
  81
  82   /* Skip our frame and mspace_get_aligned's frame */
  83   n_callers = clib_backtrace (trace.callers, ARRAY_LEN (trace.callers), 2);
  84   if (n_callers == 0)
  85     return;
  86
  87   clib_spinlock_lock (&tm->lock);
  88
  89   /* Turn off tracing to avoid embarrassment... */
  90   save_enabled = tm->enabled;
  91   tm->enabled = 0;
  92
  93   if (!tm->trace_by_callers)
  94     tm->trace_by_callers =
  95       hash_create_shmem (0, sizeof (trace.callers), sizeof (uword));
  96
  97   p = hash_get_mem (tm->trace_by_callers, &trace.callers);
  98   if (p)
  99     {
 100       trace_index = p[0];
 101       t = tm->traces + trace_index;
 102     }
 103   else
 104     {
 105       i = vec_len (tm->trace_free_list);
 106       if (i > 0)
 107         {
 108           trace_index = tm->trace_free_list[i - 1];
 109           _vec_len (tm->trace_free_list) = i - 1;
 110         }
 111       else
 112         {
 113           mheap_trace_t *old_start = tm->traces;
 114           mheap_trace_t *old_end = vec_end (tm->traces);
 115
 116           vec_add2 (tm->traces, t, 1);
 117
 118           if (tm->traces != old_start)
 119             {
 120               hash_pair_t *p;
 121               mheap_trace_t *q;
 122             /* *INDENT-OFF* */
 123             hash_foreach_pair (p, tm->trace_by_callers,
 124             ({
 125               q = uword_to_pointer (p->key, mheap_trace_t *);
 126               ASSERT (q >= old_start && q < old_end);
 127               p->key = pointer_to_uword (tm->traces + (q - old_start));
 128             }));
 129             /* *INDENT-ON* */
 130             }
 131           trace_index = t - tm->traces;
 132         }
 133
 134       t = tm->traces + trace_index;
 135       t[0] = trace;
 136       t->n_allocations = 0;
 137       t->n_bytes = 0;
 138       hash_set_mem (tm->trace_by_callers, t->callers, trace_index);
 139     }
 140
 141   t->n_allocations += 1;
 142   t->n_bytes += size;
 143   t->offset = offset;           /* keep a sample to autopsy */
 144   hash_set (tm->trace_index_by_offset, offset, t - tm->traces);
 145   tm->enabled = save_enabled;
 146   clib_spinlock_unlock (&tm->lock);
 147 }
 148
 149 void
 150 mheap_put_trace (uword offset, uword size)
 151 {
 152   mheap_trace_t *t;
 153   uword trace_index, *p;
 154   mheap_trace_main_t *tm = &mheap_trace_main;
 155   uword save_enabled;
 156
 157   if (tm->enabled == 0)
 158     return;
 159
 160   clib_spinlock_lock (&tm->lock);
 161
 162   /* Turn off tracing for a moment */
 163   save_enabled = tm->enabled;
 164   tm->enabled = 0;
 165
 166   p = hash_get (tm->trace_index_by_offset, offset);
 167   if (!p)
 168     {
 169       tm->enabled = save_enabled;
 170       clib_spinlock_unlock (&tm->lock);
 171       return;
 172     }
 173
 174   trace_index = p[0];
 175   hash_unset (tm->trace_index_by_offset, offset);
 176   ASSERT (trace_index < vec_len (tm->traces));
 177
 178   t = tm->traces + trace_index;
 179   ASSERT (t->n_allocations > 0);
 180   ASSERT (t->n_bytes >= size);
 181   t->n_allocations -= 1;
 182   t->n_bytes -= size;
 183   if (t->n_allocations == 0)
 184     {
 185       hash_unset_mem (tm->trace_by_callers, t->callers);
 186       vec_add1 (tm->trace_free_list, trace_index);
 187       clib_memset (t, 0, sizeof (t[0]));
 188     }
 189   tm->enabled = save_enabled;
 190   clib_spinlock_unlock (&tm->lock);
 191 }
 192
 193 always_inline void
 194 mheap_trace_main_free (mheap_trace_main_t * tm)
 195 {
 196   vec_free (tm->traces);
 197   vec_free (tm->trace_free_list);
 198   hash_free (tm->trace_by_callers);
 199   hash_free (tm->trace_index_by_offset);
 200 }
 201
 202 /* Initialize CLIB heap based on memory/size given by user.
 203    Set memory to 0 and CLIB will try to allocate its own heap. */
 204 void *
 205 clib_mem_init (void *memory, uword memory_size)
 206 {
 207   u8 *heap;
 208
 209   if (memory)
 210     {
 211       heap = create_mspace_with_base (memory, memory_size, 1 /* locked */ );
 212       mspace_disable_expand (heap);
 213     }
 214   else
 215     heap = create_mspace (memory_size, 1 /* locked */ );
 216
 217   clib_mem_set_heap (heap);
 218
 219   if (mheap_trace_main.lock == 0)
 220     clib_spinlock_init (&mheap_trace_main.lock);
 221
 222   return heap;
 223 }
 224
 225 void *
 226 clib_mem_init_thread_safe (void *memory, uword memory_size)
 227 {
 228   return clib_mem_init (memory, memory_size);
 229 }
 230
 231 u8 *
 232 format_clib_mem_usage (u8 * s, va_list * va)
 233 {
 234   int verbose = va_arg (*va, int);
 235   return format (s, "$$$$ heap at %llx verbose %d", clib_mem_get_heap (),
 236                  verbose);
 237 }
 238
 239 /*
 240  * Magic decoder ring for mallinfo stats (ala dlmalloc):
 241  *
 242  * size_t arena;     / * Non-mmapped space allocated (bytes) * /
 243  * size_t ordblks;   / * Number of free chunks * /
 244  * size_t smblks;    / * Number of free fastbin blocks * /
 245  * size_t hblks;     / * Number of mmapped regions * /
 246  * size_t hblkhd;    / * Space allocated in mmapped regions (bytes) * /
 247  * size_t usmblks;   / * Maximum total allocated space (bytes) * /
 248  * size_t fsmblks;   / * Space in freed fastbin blocks (bytes) * /
 249  * size_t uordblks;  / * Total allocated space (bytes) * /
 250  * size_t fordblks;  / * Total free space (bytes) * /
 251  * size_t keepcost;  / * Top-most, releasable space (bytes) * /
 252  *
 253  */
 254
 255 u8 *
 256 format_msize (u8 * s, va_list * va)
 257 {
 258   uword a = va_arg (*va, uword);
 259
 260   if (a >= 1ULL << 30)
 261     s = format (s, "%.2fG", (((f64) a) / ((f64) (1ULL << 30))));
 262   else if (a >= 1ULL << 20)
 263     s = format (s, "%.2fM", (((f64) a) / ((f64) (1ULL << 20))));
 264   else if (a >= 1ULL << 10)
 265     s = format (s, "%.2fK", (((f64) a) / ((f64) (1ULL << 10))));
 266   else
 267     s = format (s, "%lld", a);
 268   return s;
 269 }
 270
 271 static int
 272 mheap_trace_sort (const void *_t1, const void *_t2)
 273 {
 274   const mheap_trace_t *t1 = _t1;
 275   const mheap_trace_t *t2 = _t2;
 276   word cmp;
 277
 278   cmp = (word) t2->n_bytes - (word) t1->n_bytes;
 279   if (!cmp)
 280     cmp = (word) t2->n_allocations - (word) t1->n_allocations;
 281   return cmp;
 282 }
 283
 284 u8 *
 285 format_mheap_trace (u8 * s, va_list * va)
 286 {
 287   mheap_trace_main_t *tm = va_arg (*va, mheap_trace_main_t *);
 288   int verbose = va_arg (*va, int);
 289   int have_traces = 0;
 290   int i;
 291
 292   clib_spinlock_lock (&tm->lock);
 293   if (vec_len (tm->traces) > 0 &&
 294       clib_mem_get_heap () == tm->current_traced_mheap)
 295     {
 296       have_traces = 1;
 297
 298       /* Make a copy of traces since we'll be sorting them. */
 299       mheap_trace_t *t, *traces_copy;
 300       u32 indent, total_objects_traced;
 301
 302       traces_copy = vec_dup (tm->traces);
 303
 304       qsort (traces_copy, vec_len (traces_copy), sizeof (traces_copy[0]),
 305              mheap_trace_sort);
 306
 307       total_objects_traced = 0;
 308       s = format (s, "\n");
 309       vec_foreach (t, traces_copy)
 310       {
 311         /* Skip over free elements. */
 312         if (t->n_allocations == 0)
 313           continue;
 314
 315         total_objects_traced += t->n_allocations;
 316
 317         /* When not verbose only report allocations of more than 1k. */
 318         if (!verbose && t->n_bytes < 1024)
 319           continue;
 320
 321         if (t == traces_copy)
 322           s = format (s, "%=9s%=9s %=10s Traceback\n", "Bytes", "Count",
 323                       "Sample");
 324         s = format (s, "%9d%9d %p", t->n_bytes, t->n_allocations, t->offset);
 325         indent = format_get_indent (s);
 326         for (i = 0; i < ARRAY_LEN (t->callers) && t->callers[i]; i++)
 327           {
 328             if (i > 0)
 329               s = format (s, "%U", format_white_space, indent);
 330 #if defined(CLIB_UNIX) && !defined(__APPLE__)
 331             /* $$$$ does this actually work? */
 332             s =
 333               format (s, " %U\n", format_clib_elf_symbol_with_address,
 334                       t->callers[i]);
 335 #else
 336             s = format (s, " %p\n", t->callers[i]);
 337 #endif
 338           }
 339       }
 340
 341       s = format (s, "%d total traced objects\n", total_objects_traced);
 342
 343       vec_free (traces_copy);
 344     }
 345   clib_spinlock_unlock (&tm->lock);
 346   if (have_traces == 0)
 347     s = format (s, "no traced allocations\n");
 348
 349   return s;
 350 }
 351
 352
 353 u8 *
 354 format_mheap (u8 * s, va_list * va)
 355 {
 356   void *heap = va_arg (*va, u8 *);
 357   int verbose = va_arg (*va, int);
 358   struct dlmallinfo mi;
 359   mheap_trace_main_t *tm = &mheap_trace_main;
 360
 361   mi = mspace_mallinfo (heap);
 362
 363   s = format (s, "total: %U, used: %U, free: %U, trimmable: %U",
 364               format_msize, mi.arena,
 365               format_msize, mi.uordblks,
 366               format_msize, mi.fordblks, format_msize, mi.keepcost);
 367   if (verbose > 0)
 368     {
 369       s = format (s, "\n    free chunks %llu free fastbin blks %llu",
 370                   mi.ordblks, mi.smblks);
 371       s =
 372         format (s, "\n    max total allocated %U", format_msize, mi.usmblks);
 373     }
 374
 375   if (mspace_is_traced (heap))
 376     s = format (s, "\n%U", format_mheap_trace, tm, verbose);
 377   return s;
 378 }
 379
 380 void
 381 clib_mem_usage (clib_mem_usage_t * u)
 382 {
 383   clib_warning ("unimp");
 384 }
 385
 386 void
 387 mheap_usage (void *heap, clib_mem_usage_t * usage)
 388 {
 389   struct dlmallinfo mi = mspace_mallinfo (heap);
 390
 391   /* TODO: Fill in some more values */
 392   usage->object_count = 0;
 393   usage->bytes_total = mi.arena;
 394   usage->bytes_overhead = 0;
 395   usage->bytes_max = 0;
 396   usage->bytes_used = mi.uordblks;
 397   usage->bytes_free = mi.fordblks;
 398   usage->bytes_free_reclaimed = 0;
 399 }
 400
 401 /* Call serial number for debugger breakpoints. */
 402 uword clib_mem_validate_serial = 0;
 403
 404 void
 405 clib_mem_validate (void)
 406 {
 407   clib_warning ("unimp");
 408 }
 409
 410 void
 411 mheap_trace (void *v, int enable)
 412 {
 413   (void) mspace_enable_disable_trace (v, enable);
 414
 415   if (enable == 0)
 416     mheap_trace_main_free (&mheap_trace_main);
 417 }
 418
 419 void
 420 clib_mem_trace (int enable)
 421 {
 422   mheap_trace_main_t *tm = &mheap_trace_main;
 423   void *current_heap = clib_mem_get_heap ();
 424
 425   tm->enabled = enable;
 426   mheap_trace (current_heap, enable);
 427
 428   if (enable)
 429     tm->current_traced_mheap = current_heap;
 430   else
 431     tm->current_traced_mheap = 0;
 432 }
 433
 434 int
 435 clib_mem_is_traced (void)
 436 {
 437   return mspace_is_traced (clib_mem_get_heap ());
 438 }
 439
 440 uword
 441 clib_mem_trace_enable_disable (uword enable)
 442 {
 443   uword rv;
 444   mheap_trace_main_t *tm = &mheap_trace_main;
 445
 446   rv = tm->enabled;
 447   tm->enabled = enable;
 448   return rv;
 449 }
 450
 451 /*
 452  * These API functions seem like layering violations, but
 453  * by introducing them we greatly reduce the number
 454  * of code changes required to use dlmalloc spaces
 455  */
 456 void *
 457 mheap_alloc_with_lock (void *memory, uword size, int locked)
 458 {
 459   void *rv;
 460   if (memory == 0)
 461     return create_mspace (size, locked);
 462   else
 463     {
 464       rv = create_mspace_with_base (memory, size, locked);
 465       if (rv)
 466         mspace_disable_expand (rv);
 467       return rv;
 468     }
 469 }
 470
 471 /*
 472  * fd.io coding-style-patch-verification: ON
 473  *
 474  * Local Variables:
 475  * eval: (c-set-style "gnu")
 476  * End:
 477  */