test/test/test_malloc.c

   1 /*-
   2  *   BSD LICENSE
   3  *
   4  *   Copyright(c) 2010-2014 Intel Corporation. All rights reserved.
   5  *   All rights reserved.
   6  *
   7  *   Redistribution and use in source and binary forms, with or without
   8  *   modification, are permitted provided that the following conditions
   9  *   are met:
  10  *
  11  *     * Redistributions of source code must retain the above copyright
  12  *       notice, this list of conditions and the following disclaimer.
  13  *     * Redistributions in binary form must reproduce the above copyright
  14  *       notice, this list of conditions and the following disclaimer in
  15  *       the documentation and/or other materials provided with the
  16  *       distribution.
  17  *     * Neither the name of Intel Corporation nor the names of its
  18  *       contributors may be used to endorse or promote products derived
  19  *       from this software without specific prior written permission.
  20  *
  21  *   THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
  22  *   "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
  23  *   LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
  24  *   A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
  25  *   OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
  26  *   SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
  27  *   LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
  28  *   DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
  29  *   THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  30  *   (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
  31  *   OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  32  */
  33
  34 #include <stdio.h>
  35 #include <stdint.h>
  36 #include <string.h>
  37 #include <stdarg.h>
  38 #include <errno.h>
  39 #include <stdlib.h>
  40 #include <sys/queue.h>
  41
  42 #include <rte_common.h>
  43 #include <rte_memory.h>
  44 #include <rte_memzone.h>
  45 #include <rte_per_lcore.h>
  46 #include <rte_launch.h>
  47 #include <rte_eal.h>
  48 #include <rte_lcore.h>
  49 #include <rte_malloc.h>
  50 #include <rte_cycles.h>
  51 #include <rte_random.h>
  52 #include <rte_string_fns.h>
  53
  54 #include "test.h"
  55
  56 #define N 10000
  57
  58 /*
  59  * Malloc
  60  * ======
  61  *
  62  * Allocate some dynamic memory from heap (3 areas). Check that areas
  63  * don't overlap and that alignment constraints match. This test is
  64  * done many times on different lcores simultaneously.
  65  */
  66
  67 /* Test if memory overlaps: return 1 if true, or 0 if false. */
  68 static int
  69 is_memory_overlap(void *p1, size_t len1, void *p2, size_t len2)
  70 {
  71         unsigned long ptr1 = (unsigned long)p1;
  72         unsigned long ptr2 = (unsigned long)p2;
  73
  74         if (ptr2 >= ptr1 && (ptr2 - ptr1) < len1)
  75                 return 1;
  76         else if (ptr2 < ptr1 && (ptr1 - ptr2) < len2)
  77                 return 1;
  78         return 0;
  79 }
  80
  81 static int
  82 is_aligned(void *p, int align)
  83 {
  84         unsigned long addr = (unsigned long)p;
  85         unsigned mask = align - 1;
  86
  87         if (addr & mask)
  88                 return 0;
  89         return 1;
  90 }
  91
  92 static int
  93 test_align_overlap_per_lcore(__attribute__((unused)) void *arg)
  94 {
  95         const unsigned align1 = 8,
  96                         align2 = 64,
  97                         align3 = 2048;
  98         unsigned i,j;
  99         void *p1 = NULL, *p2 = NULL, *p3 = NULL;
 100         int ret = 0;
 101
 102         for (i = 0; i < N; i++) {
 103                 p1 = rte_zmalloc("dummy", 1000, align1);
 104                 if (!p1){
 105                         printf("rte_zmalloc returned NULL (i=%u)\n", i);
 106                         ret = -1;
 107                         break;
 108                 }
 109                 for(j = 0; j < 1000 ; j++) {
 110                         if( *(char *)p1 != 0) {
 111                                 printf("rte_zmalloc didn't zero"
 112                                        "the allocated memory\n");
 113                                 ret = -1;
 114                         }
 115                 }
 116                 p2 = rte_malloc("dummy", 1000, align2);
 117                 if (!p2){
 118                         printf("rte_malloc returned NULL (i=%u)\n", i);
 119                         ret = -1;
 120                         rte_free(p1);
 121                         break;
 122                 }
 123                 p3 = rte_malloc("dummy", 1000, align3);
 124                 if (!p3){
 125                         printf("rte_malloc returned NULL (i=%u)\n", i);
 126                         ret = -1;
 127                         rte_free(p1);
 128                         rte_free(p2);
 129                         break;
 130                 }
 131                 if (is_memory_overlap(p1, 1000, p2, 1000)) {
 132                         printf("p1 and p2 overlaps\n");
 133                         ret = -1;
 134                 }
 135                 if (is_memory_overlap(p2, 1000, p3, 1000)) {
 136                         printf("p2 and p3 overlaps\n");
 137                         ret = -1;
 138                 }
 139                 if (is_memory_overlap(p1, 1000, p3, 1000)) {
 140                         printf("p1 and p3 overlaps\n");
 141                         ret = -1;
 142                 }
 143                 if (!is_aligned(p1, align1)) {
 144                         printf("p1 is not aligned\n");
 145                         ret = -1;
 146                 }
 147                 if (!is_aligned(p2, align2)) {
 148                         printf("p2 is not aligned\n");
 149                         ret = -1;
 150                 }
 151                 if (!is_aligned(p3, align3)) {
 152                         printf("p3 is not aligned\n");
 153                         ret = -1;
 154                 }
 155                 rte_free(p1);
 156                 rte_free(p2);
 157                 rte_free(p3);
 158         }
 159         rte_malloc_dump_stats(stdout, "dummy");
 160
 161         return ret;
 162 }
 163
 164 static int
 165 test_reordered_free_per_lcore(__attribute__((unused)) void *arg)
 166 {
 167         const unsigned align1 = 8,
 168                         align2 = 64,
 169                         align3 = 2048;
 170         unsigned i,j;
 171         void *p1, *p2, *p3;
 172         int ret = 0;
 173
 174         for (i = 0; i < 30; i++) {
 175                 p1 = rte_zmalloc("dummy", 1000, align1);
 176                 if (!p1){
 177                         printf("rte_zmalloc returned NULL (i=%u)\n", i);
 178                         ret = -1;
 179                         break;
 180                 }
 181                 for(j = 0; j < 1000 ; j++) {
 182                         if( *(char *)p1 != 0) {
 183                                 printf("rte_zmalloc didn't zero"
 184                                        "the allocated memory\n");
 185                                 ret = -1;
 186                         }
 187                 }
 188                 /* use calloc to allocate 1000 16-byte items this time */
 189                 p2 = rte_calloc("dummy", 1000, 16, align2);
 190                 /* for third request use regular malloc again */
 191                 p3 = rte_malloc("dummy", 1000, align3);
 192                 if (!p2 || !p3){
 193                         printf("rte_malloc returned NULL (i=%u)\n", i);
 194                         ret = -1;
 195                         break;
 196                 }
 197                 if (is_memory_overlap(p1, 1000, p2, 1000)) {
 198                         printf("p1 and p2 overlaps\n");
 199                         ret = -1;
 200                 }
 201                 if (is_memory_overlap(p2, 1000, p3, 1000)) {
 202                         printf("p2 and p3 overlaps\n");
 203                         ret = -1;
 204                 }
 205                 if (is_memory_overlap(p1, 1000, p3, 1000)) {
 206                         printf("p1 and p3 overlaps\n");
 207                         ret = -1;
 208                 }
 209                 if (!is_aligned(p1, align1)) {
 210                         printf("p1 is not aligned\n");
 211                         ret = -1;
 212                 }
 213                 if (!is_aligned(p2, align2)) {
 214                         printf("p2 is not aligned\n");
 215                         ret = -1;
 216                 }
 217                 if (!is_aligned(p3, align3)) {
 218                         printf("p3 is not aligned\n");
 219                         ret = -1;
 220                 }
 221                 /* try freeing in every possible order */
 222                 switch (i%6){
 223                 case 0:
 224                         rte_free(p1);
 225                         rte_free(p2);
 226                         rte_free(p3);
 227                         break;
 228                 case 1:
 229                         rte_free(p1);
 230                         rte_free(p3);
 231                         rte_free(p2);
 232                         break;
 233                 case 2:
 234                         rte_free(p2);
 235                         rte_free(p1);
 236                         rte_free(p3);
 237                         break;
 238                 case 3:
 239                         rte_free(p2);
 240                         rte_free(p3);
 241                         rte_free(p1);
 242                         break;
 243                 case 4:
 244                         rte_free(p3);
 245                         rte_free(p1);
 246                         rte_free(p2);
 247                         break;
 248                 case 5:
 249                         rte_free(p3);
 250                         rte_free(p2);
 251                         rte_free(p1);
 252                         break;
 253                 }
 254         }
 255         rte_malloc_dump_stats(stdout, "dummy");
 256
 257         return ret;
 258 }
 259
 260 /* test function inside the malloc lib*/
 261 static int
 262 test_str_to_size(void)
 263 {
 264         struct {
 265                 const char *str;
 266                 uint64_t value;
 267         } test_values[] =
 268         {{ "5G", (uint64_t)5 * 1024 * 1024 *1024 },
 269                         {"0x20g", (uint64_t)0x20 * 1024 * 1024 *1024},
 270                         {"10M", 10 * 1024 * 1024},
 271                         {"050m", 050 * 1024 * 1024},
 272                         {"8K", 8 * 1024},
 273                         {"15k", 15 * 1024},
 274                         {"0200", 0200},
 275                         {"0x103", 0x103},
 276                         {"432", 432},
 277                         {"-1", 0}, /* negative values return 0 */
 278                         {"  -2", 0},
 279                         {"  -3MB", 0},
 280                         {"18446744073709551616", 0} /* ULLONG_MAX + 1 == out of range*/
 281         };
 282         unsigned i;
 283         for (i = 0; i < sizeof(test_values)/sizeof(test_values[0]); i++)
 284                 if (rte_str_to_size(test_values[i].str) != test_values[i].value)
 285                         return -1;
 286         return 0;
 287 }
 288
 289 static int
 290 test_multi_alloc_statistics(void)
 291 {
 292         int socket = 0;
 293         struct rte_malloc_socket_stats pre_stats, post_stats ,first_stats, second_stats;
 294         size_t size = 2048;
 295         int align = 1024;
 296 #ifndef RTE_LIBRTE_MALLOC_DEBUG
 297         int trailer_size = 0;
 298 #else
 299         int trailer_size = RTE_CACHE_LINE_SIZE;
 300 #endif
 301         int overhead = RTE_CACHE_LINE_SIZE + trailer_size;
 302
 303         rte_malloc_get_socket_stats(socket, &pre_stats);
 304
 305         void *p1 = rte_malloc_socket("stats", size , align, socket);
 306         if (!p1)
 307                 return -1;
 308         rte_free(p1);
 309         rte_malloc_dump_stats(stdout, "stats");
 310
 311         rte_malloc_get_socket_stats(socket,&post_stats);
 312         /* Check statistics reported are correct */
 313         /* All post stats should be equal to pre stats after alloc freed */
 314         if ((post_stats.heap_totalsz_bytes != pre_stats.heap_totalsz_bytes) &&
 315                         (post_stats.heap_freesz_bytes!=pre_stats.heap_freesz_bytes) &&
 316                         (post_stats.heap_allocsz_bytes!=pre_stats.heap_allocsz_bytes)&&
 317                         (post_stats.alloc_count!=pre_stats.alloc_count)&&
 318                         (post_stats.free_count!=pre_stats.free_count)) {
 319                 printf("Malloc statistics are incorrect - freed alloc\n");
 320                 return -1;
 321         }
 322         /* Check two consecutive allocations */
 323         size = 1024;
 324         align = 0;
 325         rte_malloc_get_socket_stats(socket,&pre_stats);
 326         void *p2 = rte_malloc_socket("add", size ,align, socket);
 327         if (!p2)
 328                 return -1;
 329         rte_malloc_get_socket_stats(socket,&first_stats);
 330
 331         void *p3 = rte_malloc_socket("add2", size,align, socket);
 332         if (!p3)
 333                 return -1;
 334
 335         rte_malloc_get_socket_stats(socket,&second_stats);
 336
 337         rte_free(p2);
 338         rte_free(p3);
 339
 340         /* After freeing both allocations check stats return to original */
 341         rte_malloc_get_socket_stats(socket, &post_stats);
 342
 343         if(second_stats.heap_totalsz_bytes != first_stats.heap_totalsz_bytes) {
 344                 printf("Incorrect heap statistics: Total size \n");
 345                 return -1;
 346         }
 347         /* Check allocated size is equal to two additions plus overhead */
 348         if(second_stats.heap_allocsz_bytes !=
 349                         size + overhead + first_stats.heap_allocsz_bytes) {
 350                 printf("Incorrect heap statistics: Allocated size \n");
 351                 return -1;
 352         }
 353         /* Check that allocation count increments correctly i.e. +1 */
 354         if (second_stats.alloc_count != first_stats.alloc_count + 1) {
 355                 printf("Incorrect heap statistics: Allocated count \n");
 356                 return -1;
 357         }
 358
 359         if (second_stats.free_count != first_stats.free_count){
 360                 printf("Incorrect heap statistics: Free count \n");
 361                 return -1;
 362         }
 363
 364         /* Make sure that we didn't touch our greatest chunk: 2 * 11M)  */
 365         if (post_stats.greatest_free_size != pre_stats.greatest_free_size) {
 366                 printf("Incorrect heap statistics: Greatest free size \n");
 367                 return -1;
 368         }
 369         /* Free size must equal the original free size minus the new allocation*/
 370         if (first_stats.heap_freesz_bytes <= second_stats.heap_freesz_bytes) {
 371                 printf("Incorrect heap statistics: Free size \n");
 372                 return -1;
 373         }
 374
 375         if ((post_stats.heap_totalsz_bytes != pre_stats.heap_totalsz_bytes) &&
 376                         (post_stats.heap_freesz_bytes!=pre_stats.heap_freesz_bytes) &&
 377                         (post_stats.heap_allocsz_bytes!=pre_stats.heap_allocsz_bytes)&&
 378                         (post_stats.alloc_count!=pre_stats.alloc_count)&&
 379                         (post_stats.free_count!=pre_stats.free_count)) {
 380                 printf("Malloc statistics are incorrect - freed alloc\n");
 381                 return -1;
 382         }
 383         return 0;
 384 }
 385
 386 static int
 387 test_rte_malloc_type_limits(void)
 388 {
 389         /* The type-limits functionality is not yet implemented,
 390          * so always return 0 no matter what the retval.
 391          */
 392         const char *typename = "limit_test";
 393         rte_malloc_set_limit(typename, 64 * 1024);
 394         rte_malloc_dump_stats(stdout, typename);
 395         return 0;
 396 }
 397
 398 static int
 399 test_realloc(void)
 400 {
 401         const char hello_str[] = "Hello, world!";
 402         const unsigned size1 = 1024;
 403         const unsigned size2 = size1 + 1024;
 404         const unsigned size3 = size2;
 405         const unsigned size4 = size3 + 1024;
 406
 407         /* test data is the same even if element is moved*/
 408         char *ptr1 = rte_zmalloc(NULL, size1, RTE_CACHE_LINE_SIZE);
 409         if (!ptr1){
 410                 printf("NULL pointer returned from rte_zmalloc\n");
 411                 return -1;
 412         }
 413         snprintf(ptr1, size1, "%s" ,hello_str);
 414         char *ptr2 = rte_realloc(ptr1, size2, RTE_CACHE_LINE_SIZE);
 415         if (!ptr2){
 416                 rte_free(ptr1);
 417                 printf("NULL pointer returned from rte_realloc\n");
 418                 return -1;
 419         }
 420         if (ptr1 == ptr2){
 421                 printf("unexpected - ptr1 == ptr2\n");
 422         }
 423         if (strcmp(ptr2, hello_str) != 0){
 424                 printf("Error - lost data from pointed area\n");
 425                 rte_free(ptr2);
 426                 return -1;
 427         }
 428         unsigned i;
 429         for (i = strnlen(hello_str, sizeof(hello_str)); i < size1; i++)
 430                 if (ptr2[i] != 0){
 431                         printf("Bad data in realloc\n");
 432                         rte_free(ptr2);
 433                         return -1;
 434                 }
 435         /* now allocate third element, free the second
 436          * and resize third. It should not move. (ptr1 is now invalid)
 437          */
 438         char *ptr3 = rte_zmalloc(NULL, size3, RTE_CACHE_LINE_SIZE);
 439         if (!ptr3){
 440                 printf("NULL pointer returned from rte_zmalloc\n");
 441                 rte_free(ptr2);
 442                 return -1;
 443         }
 444         for (i = 0; i < size3; i++)
 445                 if (ptr3[i] != 0){
 446                         printf("Bad data in zmalloc\n");
 447                         rte_free(ptr3);
 448                         rte_free(ptr2);
 449                         return -1;
 450                 }
 451         rte_free(ptr2);
 452         /* first resize to half the size of the freed block */
 453         char *ptr4 = rte_realloc(ptr3, size4, RTE_CACHE_LINE_SIZE);
 454         if (!ptr4){
 455                 printf("NULL pointer returned from rte_realloc\n");
 456                 rte_free(ptr3);
 457                 return -1;
 458         }
 459         if (ptr3 != ptr4){
 460                 printf("Unexpected - ptr4 != ptr3\n");
 461                 rte_free(ptr4);
 462                 return -1;
 463         }
 464         /* now resize again to the full size of the freed block */
 465         ptr4 = rte_realloc(ptr3, size3 + size2 + size1, RTE_CACHE_LINE_SIZE);
 466         if (ptr3 != ptr4){
 467                 printf("Unexpected - ptr4 != ptr3 on second resize\n");
 468                 rte_free(ptr4);
 469                 return -1;
 470         }
 471         rte_free(ptr4);
 472
 473         /* now try a resize to a smaller size, see if it works */
 474         const unsigned size5 = 1024;
 475         const unsigned size6 = size5 / 2;
 476         char *ptr5 = rte_malloc(NULL, size5, RTE_CACHE_LINE_SIZE);
 477         if (!ptr5){
 478                 printf("NULL pointer returned from rte_malloc\n");
 479                 return -1;
 480         }
 481         char *ptr6 = rte_realloc(ptr5, size6, RTE_CACHE_LINE_SIZE);
 482         if (!ptr6){
 483                 printf("NULL pointer returned from rte_realloc\n");
 484                 rte_free(ptr5);
 485                 return -1;
 486         }
 487         if (ptr5 != ptr6){
 488                 printf("Error, resizing to a smaller size moved data\n");
 489                 rte_free(ptr6);
 490                 return -1;
 491         }
 492         rte_free(ptr6);
 493
 494         /* check for behaviour changing alignment */
 495         const unsigned size7 = 1024;
 496         const unsigned orig_align = RTE_CACHE_LINE_SIZE;
 497         unsigned new_align = RTE_CACHE_LINE_SIZE * 2;
 498         char *ptr7 = rte_malloc(NULL, size7, orig_align);
 499         if (!ptr7){
 500                 printf("NULL pointer returned from rte_malloc\n");
 501                 return -1;
 502         }
 503         /* calc an alignment we don't already have */
 504         while(RTE_PTR_ALIGN(ptr7, new_align) == ptr7)
 505                 new_align *= 2;
 506         char *ptr8 = rte_realloc(ptr7, size7, new_align);
 507         if (!ptr8){
 508                 printf("NULL pointer returned from rte_realloc\n");
 509                 rte_free(ptr7);
 510                 return -1;
 511         }
 512         if (RTE_PTR_ALIGN(ptr8, new_align) != ptr8){
 513                 printf("Failure to re-align data\n");
 514                 rte_free(ptr8);
 515                 return -1;
 516         }
 517         rte_free(ptr8);
 518
 519         /* test behaviour when there is a free block after current one,
 520          * but its not big enough
 521          */
 522         unsigned size9 = 1024, size10 = 1024;
 523         unsigned size11 = size9 + size10 + 256;
 524         char *ptr9 = rte_malloc(NULL, size9, RTE_CACHE_LINE_SIZE);
 525         if (!ptr9){
 526                 printf("NULL pointer returned from rte_malloc\n");
 527                 return -1;
 528         }
 529         char *ptr10 = rte_malloc(NULL, size10, RTE_CACHE_LINE_SIZE);
 530         if (!ptr10){
 531                 printf("NULL pointer returned from rte_malloc\n");
 532                 return -1;
 533         }
 534         rte_free(ptr9);
 535         char *ptr11 = rte_realloc(ptr10, size11, RTE_CACHE_LINE_SIZE);
 536         if (!ptr11){
 537                 printf("NULL pointer returned from rte_realloc\n");
 538                 rte_free(ptr10);
 539                 return -1;
 540         }
 541         if (ptr11 == ptr10){
 542                 printf("Error, unexpected that realloc has not created new buffer\n");
 543                 rte_free(ptr11);
 544                 return -1;
 545         }
 546         rte_free(ptr11);
 547
 548         /* check we don't crash if we pass null to realloc
 549          * We should get a malloc of the size requested*/
 550         const size_t size12 = 1024;
 551         size_t size12_check;
 552         char *ptr12 = rte_realloc(NULL, size12, RTE_CACHE_LINE_SIZE);
 553         if (!ptr12){
 554                 printf("NULL pointer returned from rte_realloc\n");
 555                 return -1;
 556         }
 557         if (rte_malloc_validate(ptr12, &size12_check) < 0 ||
 558                         size12_check != size12){
 559                 rte_free(ptr12);
 560                 return -1;
 561         }
 562         rte_free(ptr12);
 563         return 0;
 564 }
 565
 566 static int
 567 test_random_alloc_free(void *_ __attribute__((unused)))
 568 {
 569         struct mem_list {
 570                 struct mem_list *next;
 571                 char data[0];
 572         } *list_head = NULL;
 573         unsigned i;
 574         unsigned count = 0;
 575
 576         rte_srand((unsigned)rte_rdtsc());
 577
 578         for (i = 0; i < N; i++){
 579                 unsigned free_mem = 0;
 580                 size_t allocated_size;
 581                 while (!free_mem){
 582                         const unsigned mem_size = sizeof(struct mem_list) + \
 583                                         rte_rand() % (64 * 1024);
 584                         const unsigned align = 1 << (rte_rand() % 12); /* up to 4k alignment */
 585                         struct mem_list *entry = rte_malloc(NULL,
 586                                         mem_size, align);
 587                         if (entry == NULL)
 588                                 return -1;
 589                         if (RTE_PTR_ALIGN(entry, align)!= entry)
 590                                 return -1;
 591                         if (rte_malloc_validate(entry, &allocated_size) == -1
 592                                         || allocated_size < mem_size)
 593                                 return -1;
 594                         memset(entry->data, rte_lcore_id(),
 595                                         mem_size - sizeof(*entry));
 596                         entry->next = list_head;
 597                         if (rte_malloc_validate(entry, NULL) == -1)
 598                                 return -1;
 599                         list_head = entry;
 600
 601                         count++;
 602                         /* switch to freeing the memory with a 20% probability */
 603                         free_mem = ((rte_rand() % 10) >= 8);
 604                 }
 605                 while (list_head){
 606                         struct mem_list *entry = list_head;
 607                         list_head = list_head->next;
 608                         rte_free(entry);
 609                 }
 610         }
 611         printf("Lcore %u allocated/freed %u blocks\n", rte_lcore_id(), count);
 612         return 0;
 613 }
 614
 615 #define err_return() do { \
 616         printf("%s: %d - Error\n", __func__, __LINE__); \
 617         goto err_return; \
 618 } while (0)
 619
 620 static int
 621 test_rte_malloc_validate(void)
 622 {
 623         const size_t request_size = 1024;
 624         size_t allocated_size;
 625         char *data_ptr = rte_malloc(NULL, request_size, RTE_CACHE_LINE_SIZE);
 626 #ifdef RTE_LIBRTE_MALLOC_DEBUG
 627         int retval;
 628         char *over_write_vals = NULL;
 629 #endif
 630
 631         if (data_ptr == NULL) {
 632                 printf("%s: %d - Allocation error\n", __func__, __LINE__);
 633                 return -1;
 634         }
 635
 636         /* check that a null input returns -1 */
 637         if (rte_malloc_validate(NULL, NULL) != -1)
 638                 err_return();
 639
 640         /* check that we get ok on a valid pointer */
 641         if (rte_malloc_validate(data_ptr, &allocated_size) < 0)
 642                 err_return();
 643
 644         /* check that the returned size is ok */
 645         if (allocated_size < request_size)
 646                 err_return();
 647
 648 #ifdef RTE_LIBRTE_MALLOC_DEBUG
 649
 650         /****** change the header to be bad */
 651         char save_buf[64];
 652         over_write_vals = (char *)((uintptr_t)data_ptr - sizeof(save_buf));
 653         /* first save the data as a backup before overwriting it */
 654         memcpy(save_buf, over_write_vals, sizeof(save_buf));
 655         memset(over_write_vals, 1, sizeof(save_buf));
 656         /* then run validate */
 657         retval = rte_malloc_validate(data_ptr, NULL);
 658         /* finally restore the data again */
 659         memcpy(over_write_vals, save_buf, sizeof(save_buf));
 660         /* check we previously had an error */
 661         if (retval != -1)
 662                 err_return();
 663
 664         /* check all ok again */
 665         if (rte_malloc_validate(data_ptr, &allocated_size) < 0)
 666                 err_return();
 667
 668         /**** change the trailer to be bad */
 669         over_write_vals = (char *)((uintptr_t)data_ptr + allocated_size);
 670         /* first save the data as a backup before overwriting it */
 671         memcpy(save_buf, over_write_vals, sizeof(save_buf));
 672         memset(over_write_vals, 1, sizeof(save_buf));
 673         /* then run validate */
 674         retval = rte_malloc_validate(data_ptr, NULL);
 675         /* finally restore the data again */
 676         memcpy(over_write_vals, save_buf, sizeof(save_buf));
 677         if (retval != -1)
 678                 err_return();
 679
 680         /* check all ok again */
 681         if (rte_malloc_validate(data_ptr, &allocated_size) < 0)
 682                 err_return();
 683 #endif
 684
 685         rte_free(data_ptr);
 686         return 0;
 687
 688 err_return:
 689         /*clean up */
 690         rte_free(data_ptr);
 691         return -1;
 692 }
 693
 694 static int
 695 test_zero_aligned_alloc(void)
 696 {
 697         char *p1 = rte_malloc(NULL,1024, 0);
 698         if (!p1)
 699                 goto err_return;
 700         if (!rte_is_aligned(p1, RTE_CACHE_LINE_SIZE))
 701                 goto err_return;
 702         rte_free(p1);
 703         return 0;
 704
 705 err_return:
 706         /*clean up */
 707         if (p1) rte_free(p1);
 708         return -1;
 709 }
 710
 711 static int
 712 test_malloc_bad_params(void)
 713 {
 714         const char *type = NULL;
 715         size_t size = 0;
 716         unsigned align = RTE_CACHE_LINE_SIZE;
 717
 718         /* rte_malloc expected to return null with inappropriate size */
 719         char *bad_ptr = rte_malloc(type, size, align);
 720         if (bad_ptr != NULL)
 721                 goto err_return;
 722
 723         /* rte_malloc expected to return null with inappropriate alignment */
 724         align = 17;
 725         size = 1024;
 726
 727         bad_ptr = rte_malloc(type, size, align);
 728         if (bad_ptr != NULL)
 729                 goto err_return;
 730
 731         return 0;
 732
 733 err_return:
 734         /* clean up pointer */
 735         if (bad_ptr)
 736                 rte_free(bad_ptr);
 737         return -1;
 738 }
 739
 740 /* Check if memory is available on a specific socket */
 741 static int
 742 is_mem_on_socket(int32_t socket)
 743 {
 744         const struct rte_memseg *ms = rte_eal_get_physmem_layout();
 745         unsigned i;
 746
 747         for (i = 0; i < RTE_MAX_MEMSEG; i++) {
 748                 if (socket == ms[i].socket_id)
 749                         return 1;
 750         }
 751         return 0;
 752 }
 753
 754 /*
 755  * Find what socket a memory address is on. Only works for addresses within
 756  * memsegs, not heap or stack...
 757  */
 758 static int32_t
 759 addr_to_socket(void * addr)
 760 {
 761         const struct rte_memseg *ms = rte_eal_get_physmem_layout();
 762         unsigned i;
 763
 764         for (i = 0; i < RTE_MAX_MEMSEG; i++) {
 765                 if ((ms[i].addr <= addr) &&
 766                                 ((uintptr_t)addr <
 767                                 ((uintptr_t)ms[i].addr + (uintptr_t)ms[i].len)))
 768                         return ms[i].socket_id;
 769         }
 770         return -1;
 771 }
 772
 773 /* Test using rte_[c|m|zm]alloc_socket() on a specific socket */
 774 static int
 775 test_alloc_single_socket(int32_t socket)
 776 {
 777         const char *type = NULL;
 778         const size_t size = 10;
 779         const unsigned align = 0;
 780         char *mem = NULL;
 781         int32_t desired_socket = (socket == SOCKET_ID_ANY) ?
 782                         (int32_t)rte_socket_id() : socket;
 783
 784         /* Test rte_calloc_socket() */
 785         mem = rte_calloc_socket(type, size, sizeof(char), align, socket);
 786         if (mem == NULL)
 787                 return -1;
 788         if (addr_to_socket(mem) != desired_socket) {
 789                 rte_free(mem);
 790                 return -1;
 791         }
 792         rte_free(mem);
 793
 794         /* Test rte_malloc_socket() */
 795         mem = rte_malloc_socket(type, size, align, socket);
 796         if (mem == NULL)
 797                 return -1;
 798         if (addr_to_socket(mem) != desired_socket) {
 799                 return -1;
 800         }
 801         rte_free(mem);
 802
 803         /* Test rte_zmalloc_socket() */
 804         mem = rte_zmalloc_socket(type, size, align, socket);
 805         if (mem == NULL)
 806                 return -1;
 807         if (addr_to_socket(mem) != desired_socket) {
 808                 rte_free(mem);
 809                 return -1;
 810         }
 811         rte_free(mem);
 812
 813         return 0;
 814 }
 815
 816 static int
 817 test_alloc_socket(void)
 818 {
 819         unsigned socket_count = 0;
 820         unsigned i;
 821
 822         if (test_alloc_single_socket(SOCKET_ID_ANY) < 0)
 823                 return -1;
 824
 825         for (i = 0; i < RTE_MAX_NUMA_NODES; i++) {
 826                 if (is_mem_on_socket(i)) {
 827                         socket_count++;
 828                         if (test_alloc_single_socket(i) < 0) {
 829                                 printf("Fail: rte_malloc_socket(..., %u) did not succeed\n",
 830                                                 i);
 831                                 return -1;
 832                         }
 833                 }
 834                 else {
 835                         if (test_alloc_single_socket(i) == 0) {
 836                                 printf("Fail: rte_malloc_socket(..., %u) succeeded\n",
 837                                                 i);
 838                                 return -1;
 839                         }
 840                 }
 841         }
 842
 843         /* Print warnign if only a single socket, but don't fail the test */
 844         if (socket_count < 2) {
 845                 printf("WARNING: alloc_socket test needs memory on multiple sockets!\n");
 846         }
 847
 848         return 0;
 849 }
 850
 851 static int
 852 test_malloc(void)
 853 {
 854         unsigned lcore_id;
 855         int ret = 0;
 856
 857         if (test_str_to_size() < 0){
 858                 printf("test_str_to_size() failed\n");
 859                 return -1;
 860         }
 861         else printf("test_str_to_size() passed\n");
 862
 863         if (test_zero_aligned_alloc() < 0){
 864                 printf("test_zero_aligned_alloc() failed\n");
 865                 return -1;
 866         }
 867         else printf("test_zero_aligned_alloc() passed\n");
 868
 869         if (test_malloc_bad_params() < 0){
 870                 printf("test_malloc_bad_params() failed\n");
 871                 return -1;
 872         }
 873         else printf("test_malloc_bad_params() passed\n");
 874
 875         if (test_realloc() < 0){
 876                 printf("test_realloc() failed\n");
 877                 return -1;
 878         }
 879         else printf("test_realloc() passed\n");
 880
 881         /*----------------------------*/
 882         RTE_LCORE_FOREACH_SLAVE(lcore_id) {
 883                 rte_eal_remote_launch(test_align_overlap_per_lcore, NULL, lcore_id);
 884         }
 885
 886         RTE_LCORE_FOREACH_SLAVE(lcore_id) {
 887                 if (rte_eal_wait_lcore(lcore_id) < 0)
 888                         ret = -1;
 889         }
 890         if (ret < 0){
 891                 printf("test_align_overlap_per_lcore() failed\n");
 892                 return ret;
 893         }
 894         else printf("test_align_overlap_per_lcore() passed\n");
 895
 896         /*----------------------------*/
 897         RTE_LCORE_FOREACH_SLAVE(lcore_id) {
 898                 rte_eal_remote_launch(test_reordered_free_per_lcore, NULL, lcore_id);
 899         }
 900
 901         RTE_LCORE_FOREACH_SLAVE(lcore_id) {
 902                 if (rte_eal_wait_lcore(lcore_id) < 0)
 903                         ret = -1;
 904         }
 905         if (ret < 0){
 906                 printf("test_reordered_free_per_lcore() failed\n");
 907                 return ret;
 908         }
 909         else printf("test_reordered_free_per_lcore() passed\n");
 910
 911         /*----------------------------*/
 912         RTE_LCORE_FOREACH_SLAVE(lcore_id) {
 913                 rte_eal_remote_launch(test_random_alloc_free, NULL, lcore_id);
 914         }
 915
 916         RTE_LCORE_FOREACH_SLAVE(lcore_id) {
 917                 if (rte_eal_wait_lcore(lcore_id) < 0)
 918                         ret = -1;
 919         }
 920         if (ret < 0){
 921                 printf("test_random_alloc_free() failed\n");
 922                 return ret;
 923         }
 924         else printf("test_random_alloc_free() passed\n");
 925
 926         /*----------------------------*/
 927         ret = test_rte_malloc_type_limits();
 928         if (ret < 0){
 929                 printf("test_rte_malloc_type_limits() failed\n");
 930                 return ret;
 931         }
 932         /* TODO: uncomment following line once type limits are valid */
 933         /*else printf("test_rte_malloc_type_limits() passed\n");*/
 934
 935         /*----------------------------*/
 936         ret = test_rte_malloc_validate();
 937         if (ret < 0){
 938                 printf("test_rte_malloc_validate() failed\n");
 939                 return ret;
 940         }
 941         else printf("test_rte_malloc_validate() passed\n");
 942
 943         ret = test_alloc_socket();
 944         if (ret < 0){
 945                 printf("test_alloc_socket() failed\n");
 946                 return ret;
 947         }
 948         else printf("test_alloc_socket() passed\n");
 949
 950         ret = test_multi_alloc_statistics();
 951         if (ret < 0) {
 952                 printf("test_multi_alloc_statistics() failed\n");
 953                 return ret;
 954         }
 955         else
 956                 printf("test_multi_alloc_statistics() passed\n");
 957
 958         return 0;
 959 }
 960
 961 REGISTER_TEST_COMMAND(malloc_autotest, test_malloc);