src/plugins/dpdk/buffer.c

   1 /*
   2  * Copyright (c) 2017 Cisco and/or its affiliates.
   3  * Licensed under the Apache License, Version 2.0 (the "License");
   4  * you may not use this file except in compliance with the License.
   5  * You may obtain a copy of the License at:
   6  *
   7  *     http://www.apache.org/licenses/LICENSE-2.0
   8  *
   9  * Unless required by applicable law or agreed to in writing, software
  10  * distributed under the License is distributed on an "AS IS" BASIS,
  11  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  12  * See the License for the specific language governing permissions and
  13  * limitations under the License.
  14  */
  15 /*
  16  * buffer.c: allocate/free network buffers.
  17  *
  18  * Copyright (c) 2008 Eliot Dresselhaus
  19  *
  20  * Permission is hereby granted, free of charge, to any person obtaining
  21  * a copy of this software and associated documentation files (the
  22  * "Software"), to deal in the Software without restriction, including
  23  * without limitation the rights to use, copy, modify, merge, publish,
  24  * distribute, sublicense, and/or sell copies of the Software, and to
  25  * permit persons to whom the Software is furnished to do so, subject to
  26  * the following conditions:
  27  *
  28  * The above copyright notice and this permission notice shall be
  29  * included in all copies or substantial portions of the Software.
  30  *
  31  *  THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND,
  32  *  EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF
  33  *  MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND
  34  *  NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE
  35  *  LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION
  36  *  OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION
  37  *  WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.
  38  */
  39
  40 /**
  41  * @file
  42  *
  43  * Allocate/free network buffers.
  44  */
  45
  46 #include <rte_config.h>
  47
  48 #include <rte_common.h>
  49 #include <rte_log.h>
  50 #include <rte_memory.h>
  51 #include <rte_memzone.h>
  52 #include <rte_tailq.h>
  53 #include <rte_eal.h>
  54 #include <rte_per_lcore.h>
  55 #include <rte_launch.h>
  56 #include <rte_atomic.h>
  57 #include <rte_cycles.h>
  58 #include <rte_prefetch.h>
  59 #include <rte_lcore.h>
  60 #include <rte_per_lcore.h>
  61 #include <rte_branch_prediction.h>
  62 #include <rte_interrupts.h>
  63 #include <rte_pci.h>
  64 #include <rte_random.h>
  65 #include <rte_debug.h>
  66 #include <rte_ether.h>
  67 #include <rte_ethdev.h>
  68 #include <rte_ring.h>
  69 #include <rte_mempool.h>
  70 #include <rte_mbuf.h>
  71 #include <rte_version.h>
  72
  73 #include <vlib/vlib.h>
  74 #include <vnet/vnet.h>
  75 #include <dpdk/device/dpdk.h>
  76 #include <dpdk/device/dpdk_priv.h>
  77
  78
  79 STATIC_ASSERT (VLIB_BUFFER_PRE_DATA_SIZE == RTE_PKTMBUF_HEADROOM,
  80                "VLIB_BUFFER_PRE_DATA_SIZE must be equal to RTE_PKTMBUF_HEADROOM");
  81
  82 static struct rte_mbuf ***mbuf_pending_free_list = 0;
  83
  84 static_always_inline void
  85 dpdk_rte_pktmbuf_free (vlib_main_t * vm, vlib_buffer_t * b)
  86 {
  87   vlib_buffer_t *hb = b;
  88   struct rte_mbuf *mb;
  89   u32 next, flags;
  90   mb = rte_mbuf_from_vlib_buffer (hb);
  91   static struct rte_mempool *last_pool = 0;
  92   static u8 last_buffer_pool_index;
  93
  94 next:
  95   flags = b->flags;
  96   next = b->next_buffer;
  97   mb = rte_mbuf_from_vlib_buffer (b);
  98
  99   if (PREDICT_FALSE (b->n_add_refs))
 100     {
 101       rte_mbuf_refcnt_update (mb, b->n_add_refs);
 102       b->n_add_refs = 0;
 103     }
 104
 105   mb = rte_pktmbuf_prefree_seg (mb);
 106   if (mb)
 107     {
 108       if (mb->pool != last_pool)
 109         {
 110           last_pool = mb->pool;
 111           dpdk_mempool_private_t *privp = rte_mempool_get_priv (last_pool);
 112           last_buffer_pool_index = privp->buffer_pool_index;
 113           vec_validate_aligned (mbuf_pending_free_list,
 114                                 last_buffer_pool_index,
 115                                 CLIB_CACHE_LINE_BYTES);
 116         }
 117       vec_add1 (mbuf_pending_free_list[last_buffer_pool_index], mb);
 118     }
 119
 120   if (flags & VLIB_BUFFER_NEXT_PRESENT)
 121     {
 122       b = vlib_get_buffer (vm, next);
 123       goto next;
 124     }
 125 }
 126
 127 #ifndef CLIB_MULTIARCH_VARIANT
 128 static void
 129 del_free_list (vlib_main_t * vm, vlib_buffer_free_list_t * f)
 130 {
 131   u32 i;
 132   vlib_buffer_t *b;
 133
 134   for (i = 0; i < vec_len (f->buffers); i++)
 135     {
 136       b = vlib_get_buffer (vm, f->buffers[i]);
 137       dpdk_rte_pktmbuf_free (vm, b);
 138     }
 139
 140   vec_free (f->name);
 141   vec_free (f->buffers);
 142 }
 143
 144 /* Add buffer free list. */
 145 static void
 146 dpdk_buffer_delete_free_list (vlib_main_t * vm, u32 free_list_index)
 147 {
 148   vlib_buffer_main_t *bm = vm->buffer_main;
 149   vlib_buffer_free_list_t *f;
 150   u32 merge_index;
 151   int i;
 152
 153   ASSERT (vlib_get_thread_index () == 0);
 154
 155   f = vlib_buffer_get_free_list (vm, free_list_index);
 156
 157   merge_index = vlib_buffer_get_free_list_with_size (vm, f->n_data_bytes);
 158   if (merge_index != ~0 && merge_index != free_list_index)
 159     {
 160       vlib_buffer_merge_free_lists (pool_elt_at_index
 161                                     (bm->buffer_free_list_pool, merge_index),
 162                                     f);
 163     }
 164
 165   del_free_list (vm, f);
 166
 167   /* Poison it. */
 168   memset (f, 0xab, sizeof (f[0]));
 169
 170   pool_put (bm->buffer_free_list_pool, f);
 171
 172   for (i = 1; i < vec_len (vlib_mains); i++)
 173     {
 174       bm = vlib_mains[i]->buffer_main;
 175       f = vlib_buffer_get_free_list (vlib_mains[i], free_list_index);;
 176       memset (f, 0xab, sizeof (f[0]));
 177       pool_put (bm->buffer_free_list_pool, f);
 178     }
 179 }
 180 #endif
 181
 182 /* Make sure free list has at least given number of free buffers. */
 183 static uword
 184 fill_free_list (vlib_main_t * vm,
 185                 vlib_buffer_free_list_t * fl, uword min_free_buffers)
 186 {
 187   dpdk_main_t *dm = &dpdk_main;
 188   vlib_buffer_t *b0, *b1, *b2, *b3;
 189   int n, i;
 190   u32 bi0, bi1, bi2, bi3;
 191   unsigned socket_id = rte_socket_id ();
 192   struct rte_mempool *rmp = dm->pktmbuf_pools[socket_id];
 193   dpdk_mempool_private_t *privp = rte_mempool_get_priv (rmp);
 194   struct rte_mbuf *mb0, *mb1, *mb2, *mb3;
 195   vlib_buffer_t bt;
 196
 197   /* Too early? */
 198   if (PREDICT_FALSE (rmp == 0))
 199     return 0;
 200
 201   /* Already have enough free buffers on free list? */
 202   n = min_free_buffers - vec_len (fl->buffers);
 203   if (n <= 0)
 204     return min_free_buffers;
 205
 206   /* Always allocate round number of buffers. */
 207   n = round_pow2 (n, CLIB_CACHE_LINE_BYTES / sizeof (u32));
 208
 209   /* Always allocate new buffers in reasonably large sized chunks. */
 210   n = clib_max (n, fl->min_n_buffers_each_physmem_alloc);
 211
 212   vec_validate_aligned (vm->mbuf_alloc_list, n - 1, CLIB_CACHE_LINE_BYTES);
 213
 214   if (rte_mempool_get_bulk (rmp, vm->mbuf_alloc_list, n) < 0)
 215     return 0;
 216
 217   memset (&bt, 0, sizeof (vlib_buffer_t));
 218   vlib_buffer_init_for_free_list (&bt, fl);
 219   bt.buffer_pool_index = privp->buffer_pool_index;
 220
 221   _vec_len (vm->mbuf_alloc_list) = n;
 222
 223   i = 0;
 224   int f = vec_len (fl->buffers);
 225   vec_resize_aligned (fl->buffers, n, CLIB_CACHE_LINE_BYTES);
 226
 227   while (i < (n - 7))
 228     {
 229       vlib_prefetch_buffer_header (vlib_buffer_from_rte_mbuf
 230                                    (vm->mbuf_alloc_list[i + 4]), STORE);
 231       vlib_prefetch_buffer_header (vlib_buffer_from_rte_mbuf
 232                                    (vm->mbuf_alloc_list[i + 5]), STORE);
 233       vlib_prefetch_buffer_header (vlib_buffer_from_rte_mbuf
 234                                    (vm->mbuf_alloc_list[i + 6]), STORE);
 235       vlib_prefetch_buffer_header (vlib_buffer_from_rte_mbuf
 236                                    (vm->mbuf_alloc_list[i + 7]), STORE);
 237
 238       mb0 = vm->mbuf_alloc_list[i];
 239       mb1 = vm->mbuf_alloc_list[i + 1];
 240       mb2 = vm->mbuf_alloc_list[i + 2];
 241       mb3 = vm->mbuf_alloc_list[i + 3];
 242
 243       b0 = vlib_buffer_from_rte_mbuf (mb0);
 244       b1 = vlib_buffer_from_rte_mbuf (mb1);
 245       b2 = vlib_buffer_from_rte_mbuf (mb2);
 246       b3 = vlib_buffer_from_rte_mbuf (mb3);
 247
 248       bi0 = vlib_get_buffer_index (vm, b0);
 249       bi1 = vlib_get_buffer_index (vm, b1);
 250       bi2 = vlib_get_buffer_index (vm, b2);
 251       bi3 = vlib_get_buffer_index (vm, b3);
 252
 253       fl->buffers[f++] = bi0;
 254       fl->buffers[f++] = bi1;
 255       fl->buffers[f++] = bi2;
 256       fl->buffers[f++] = bi3;
 257
 258       clib_memcpy64_x4 (b0, b1, b2, b3, &bt);
 259
 260       if (fl->buffer_init_function)
 261         {
 262           fl->buffer_init_function (vm, fl, &bi0, 1);
 263           fl->buffer_init_function (vm, fl, &bi1, 1);
 264           fl->buffer_init_function (vm, fl, &bi2, 1);
 265           fl->buffer_init_function (vm, fl, &bi3, 1);
 266         }
 267       i += 4;
 268     }
 269
 270   while (i < n)
 271     {
 272       mb0 = vm->mbuf_alloc_list[i];
 273
 274       b0 = vlib_buffer_from_rte_mbuf (mb0);
 275       bi0 = vlib_get_buffer_index (vm, b0);
 276
 277       fl->buffers[f++] = bi0;
 278       clib_memcpy (b0, &bt, sizeof (vlib_buffer_t));
 279
 280       if (fl->buffer_init_function)
 281         fl->buffer_init_function (vm, fl, &bi0, 1);
 282       i++;
 283     }
 284
 285   fl->n_alloc += n;
 286
 287   return n;
 288 }
 289
 290 static u32
 291 alloc_from_free_list (vlib_main_t * vm,
 292                       vlib_buffer_free_list_t * free_list,
 293                       u32 * alloc_buffers, u32 n_alloc_buffers)
 294 {
 295   u32 *dst, *src;
 296   uword len, n_filled;
 297
 298   dst = alloc_buffers;
 299
 300   n_filled = fill_free_list (vm, free_list, n_alloc_buffers);
 301   if (n_filled == 0)
 302     return 0;
 303
 304   len = vec_len (free_list->buffers);
 305   ASSERT (len >= n_alloc_buffers);
 306
 307   src = free_list->buffers + len - n_alloc_buffers;
 308   clib_memcpy (dst, src, n_alloc_buffers * sizeof (u32));
 309
 310   _vec_len (free_list->buffers) -= n_alloc_buffers;
 311
 312   return n_alloc_buffers;
 313 }
 314
 315 /* Allocate a given number of buffers into given array.
 316    Returns number actually allocated which will be either zero or
 317    number requested. */
 318 u32
 319 CLIB_MULTIARCH_FN (dpdk_buffer_alloc) (vlib_main_t * vm, u32 * buffers,
 320                                        u32 n_buffers)
 321 {
 322   vlib_buffer_main_t *bm = vm->buffer_main;
 323
 324   return alloc_from_free_list
 325     (vm,
 326      pool_elt_at_index (bm->buffer_free_list_pool,
 327                         VLIB_BUFFER_DEFAULT_FREE_LIST_INDEX),
 328      buffers, n_buffers);
 329 }
 330
 331
 332 u32
 333 CLIB_MULTIARCH_FN (dpdk_buffer_alloc_from_free_list) (vlib_main_t * vm,
 334                                                       u32 * buffers,
 335                                                       u32 n_buffers,
 336                                                       u32 free_list_index)
 337 {
 338   vlib_buffer_main_t *bm = vm->buffer_main;
 339   vlib_buffer_free_list_t *f;
 340   f = pool_elt_at_index (bm->buffer_free_list_pool, free_list_index);
 341   return alloc_from_free_list (vm, f, buffers, n_buffers);
 342 }
 343
 344 static_always_inline void
 345 dpdk_prefetch_buffer_by_index (vlib_main_t * vm, u32 bi)
 346 {
 347   vlib_buffer_t *b;
 348   struct rte_mbuf *mb;
 349   b = vlib_get_buffer (vm, bi);
 350   mb = rte_mbuf_from_vlib_buffer (b);
 351   CLIB_PREFETCH (mb, CLIB_CACHE_LINE_BYTES, STORE);
 352   CLIB_PREFETCH (b, CLIB_CACHE_LINE_BYTES, LOAD);
 353 }
 354
 355 static_always_inline void
 356 recycle_or_free (vlib_main_t * vm, vlib_buffer_main_t * bm, u32 bi,
 357                  vlib_buffer_t * b)
 358 {
 359   vlib_buffer_free_list_t *fl;
 360   u32 fi;
 361   fl = vlib_buffer_get_buffer_free_list (vm, b, &fi);
 362
 363   /* The only current use of this callback: multicast recycle */
 364   if (PREDICT_FALSE (fl->buffers_added_to_freelist_function != 0))
 365     {
 366       int j;
 367
 368       vlib_buffer_add_to_free_list (vm, fl, bi,
 369                                     (b->flags & VLIB_BUFFER_RECYCLE) == 0);
 370
 371       for (j = 0; j < vec_len (bm->announce_list); j++)
 372         {
 373           if (fl == bm->announce_list[j])
 374             goto already_announced;
 375         }
 376       vec_add1 (bm->announce_list, fl);
 377     already_announced:
 378       ;
 379     }
 380   else
 381     {
 382       if (PREDICT_TRUE ((b->flags & VLIB_BUFFER_RECYCLE) == 0))
 383         dpdk_rte_pktmbuf_free (vm, b);
 384     }
 385 }
 386
 387 static_always_inline void
 388 vlib_buffer_free_inline (vlib_main_t * vm,
 389                          u32 * buffers, u32 n_buffers, u32 follow_buffer_next)
 390 {
 391   vlib_buffer_main_t *bm = vm->buffer_main;
 392   vlib_buffer_t *b0, *b1, *b2, *b3;
 393   int i = 0;
 394   u32 (*cb) (vlib_main_t * vm, u32 * buffers, u32 n_buffers,
 395              u32 follow_buffer_next);
 396
 397   cb = bm->buffer_free_callback;
 398
 399   if (PREDICT_FALSE (cb != 0))
 400     n_buffers = (*cb) (vm, buffers, n_buffers, follow_buffer_next);
 401
 402   if (!n_buffers)
 403     return;
 404
 405   while (i + 7 < n_buffers)
 406     {
 407       dpdk_prefetch_buffer_by_index (vm, buffers[i + 4]);
 408       dpdk_prefetch_buffer_by_index (vm, buffers[i + 5]);
 409       dpdk_prefetch_buffer_by_index (vm, buffers[i + 6]);
 410       dpdk_prefetch_buffer_by_index (vm, buffers[i + 7]);
 411
 412       b0 = vlib_get_buffer (vm, buffers[i]);
 413       b1 = vlib_get_buffer (vm, buffers[i + 1]);
 414       b2 = vlib_get_buffer (vm, buffers[i + 2]);
 415       b3 = vlib_get_buffer (vm, buffers[i + 3]);
 416
 417       VLIB_BUFFER_TRACE_TRAJECTORY_INIT (b0);
 418       VLIB_BUFFER_TRACE_TRAJECTORY_INIT (b1);
 419       VLIB_BUFFER_TRACE_TRAJECTORY_INIT (b2);
 420       VLIB_BUFFER_TRACE_TRAJECTORY_INIT (b3);
 421
 422       recycle_or_free (vm, bm, buffers[i], b0);
 423       recycle_or_free (vm, bm, buffers[i + 1], b1);
 424       recycle_or_free (vm, bm, buffers[i + 2], b2);
 425       recycle_or_free (vm, bm, buffers[i + 3], b3);
 426
 427       i += 4;
 428     }
 429   while (i < n_buffers)
 430     {
 431       b0 = vlib_get_buffer (vm, buffers[i]);
 432       VLIB_BUFFER_TRACE_TRAJECTORY_INIT (b);
 433       recycle_or_free (vm, bm, buffers[i], b0);
 434       i++;
 435     }
 436   if (vec_len (bm->announce_list))
 437     {
 438       vlib_buffer_free_list_t *fl;
 439       for (i = 0; i < vec_len (bm->announce_list); i++)
 440         {
 441           fl = bm->announce_list[i];
 442           fl->buffers_added_to_freelist_function (vm, fl);
 443         }
 444       _vec_len (bm->announce_list) = 0;
 445     }
 446
 447   vec_foreach_index (i, mbuf_pending_free_list)
 448   {
 449     int len = vec_len (mbuf_pending_free_list[i]);
 450     if (len)
 451       {
 452         rte_mempool_put_bulk (mbuf_pending_free_list[i][len - 1]->pool,
 453                               (void *) mbuf_pending_free_list[i], len);
 454         vec_reset_length (mbuf_pending_free_list[i]);
 455       }
 456   }
 457 }
 458
 459 void
 460 CLIB_MULTIARCH_FN (dpdk_buffer_free) (vlib_main_t * vm, u32 * buffers,
 461                                       u32 n_buffers)
 462 {
 463   vlib_buffer_free_inline (vm, buffers, n_buffers,      /* follow_buffer_next */
 464                            1);
 465 }
 466
 467 void
 468 CLIB_MULTIARCH_FN (dpdk_buffer_free_no_next) (vlib_main_t * vm, u32 * buffers,
 469                                               u32 n_buffers)
 470 {
 471   vlib_buffer_free_inline (vm, buffers, n_buffers,      /* follow_buffer_next */
 472                            0);
 473 }
 474
 475 #ifndef CLIB_MULTIARCH_VARIANT
 476 static void
 477 dpdk_packet_template_init (vlib_main_t * vm,
 478                            void *vt,
 479                            void *packet_data,
 480                            uword n_packet_data_bytes,
 481                            uword min_n_buffers_each_physmem_alloc, u8 * name)
 482 {
 483   vlib_packet_template_t *t = (vlib_packet_template_t *) vt;
 484
 485   vlib_worker_thread_barrier_sync (vm);
 486   memset (t, 0, sizeof (t[0]));
 487
 488   vec_add (t->packet_data, packet_data, n_packet_data_bytes);
 489
 490   vlib_worker_thread_barrier_release (vm);
 491 }
 492
 493 clib_error_t *
 494 dpdk_pool_create (vlib_main_t * vm, u8 * pool_name, u32 elt_size,
 495                   u32 num_elts, u32 pool_priv_size, u16 cache_size, u8 numa,
 496                   struct rte_mempool **_mp, vlib_physmem_region_index_t * pri)
 497 {
 498   struct rte_mempool *mp;
 499   vlib_physmem_region_t *pr;
 500   clib_error_t *error = 0;
 501   u32 size, obj_size;
 502   i32 ret;
 503
 504   obj_size = rte_mempool_calc_obj_size (elt_size, 0, 0);
 505 #if RTE_VERSION < RTE_VERSION_NUM(17, 11, 0, 0)
 506   size = rte_mempool_xmem_size (num_elts, obj_size, 21);
 507 #else
 508   size = rte_mempool_xmem_size (num_elts, obj_size, 21, 0);
 509 #endif
 510
 511   error =
 512     vlib_physmem_region_alloc (vm, (i8 *) pool_name, size, numa, 0, pri);
 513   if (error)
 514     return error;
 515
 516   pr = vlib_physmem_get_region (vm, pri[0]);
 517
 518   mp =
 519     rte_mempool_create_empty ((i8 *) pool_name, num_elts, elt_size,
 520                               512, pool_priv_size, numa, 0);
 521   if (!mp)
 522     return clib_error_return (0, "failed to create %s", pool_name);
 523
 524   rte_mempool_set_ops_byname (mp, RTE_MBUF_DEFAULT_MEMPOOL_OPS, NULL);
 525
 526 #if RTE_VERSION < RTE_VERSION_NUM(17, 11, 0, 0)
 527   ret =
 528     rte_mempool_populate_phys_tab (mp, pr->mem, pr->page_table, pr->n_pages,
 529                                    pr->log2_page_size, NULL, NULL);
 530 #else
 531   ret =
 532     rte_mempool_populate_iova_tab (mp, pr->mem, pr->page_table, pr->n_pages,
 533                                    pr->log2_page_size, NULL, NULL);
 534 #endif
 535   if (ret != (i32) mp->size)
 536     {
 537       rte_mempool_free (mp);
 538       return clib_error_return (0, "failed to populate %s", pool_name);
 539     }
 540
 541   _mp[0] = mp;
 542
 543   return 0;
 544 }
 545
 546 clib_error_t *
 547 dpdk_buffer_pool_create (vlib_main_t * vm, unsigned num_mbufs,
 548                          unsigned socket_id)
 549 {
 550   dpdk_main_t *dm = &dpdk_main;
 551   struct rte_mempool *rmp;
 552   dpdk_mempool_private_t priv;
 553   vlib_physmem_region_index_t pri;
 554   clib_error_t *error = 0;
 555   u8 *pool_name;
 556   u32 elt_size, i;
 557
 558   vec_validate_aligned (dm->pktmbuf_pools, socket_id, CLIB_CACHE_LINE_BYTES);
 559
 560   /* pool already exists, nothing to do */
 561   if (dm->pktmbuf_pools[socket_id])
 562     return 0;
 563
 564   pool_name = format (0, "dpdk_mbuf_pool_socket%u%c", socket_id, 0);
 565
 566   elt_size = sizeof (struct rte_mbuf) +
 567     VLIB_BUFFER_HDR_SIZE /* priv size */  +
 568     VLIB_BUFFER_PRE_DATA_SIZE + VLIB_BUFFER_DATA_SIZE;  /*data room size */
 569
 570   error =
 571     dpdk_pool_create (vm, pool_name, elt_size, num_mbufs,
 572                       sizeof (dpdk_mempool_private_t), 512, socket_id,
 573                       &rmp, &pri);
 574
 575   vec_free (pool_name);
 576
 577   if (!error)
 578     {
 579       priv.mbp_priv.mbuf_data_room_size = VLIB_BUFFER_PRE_DATA_SIZE +
 580         VLIB_BUFFER_DATA_SIZE;
 581       priv.mbp_priv.mbuf_priv_size = VLIB_BUFFER_HDR_SIZE;
 582
 583       /* call the mempool priv initializer */
 584       rte_pktmbuf_pool_init (rmp, &priv);
 585
 586       /* call the object initializers */
 587       rte_mempool_obj_iter (rmp, rte_pktmbuf_init, 0);
 588
 589       dpdk_mempool_private_t *privp = rte_mempool_get_priv (rmp);
 590       privp->buffer_pool_index = vlib_buffer_add_physmem_region (vm, pri);
 591
 592       dm->pktmbuf_pools[socket_id] = rmp;
 593
 594       return 0;
 595     }
 596
 597   clib_error_report (error);
 598
 599   /* no usable pool for this socket, try to use pool from another one */
 600   for (i = 0; i < vec_len (dm->pktmbuf_pools); i++)
 601     {
 602       if (dm->pktmbuf_pools[i])
 603         {
 604           clib_warning ("WARNING: Failed to allocate mempool for CPU socket "
 605                         "%u. Threads running on socket %u will use socket %u "
 606                         "mempool.", socket_id, socket_id, i);
 607           dm->pktmbuf_pools[socket_id] = dm->pktmbuf_pools[i];
 608           return 0;
 609         }
 610     }
 611
 612   return clib_error_return (0, "failed to allocate mempool on socket %u",
 613                             socket_id);
 614 }
 615
 616 #if CLIB_DEBUG > 0
 617
 618 u32 *vlib_buffer_state_validation_lock;
 619 uword *vlib_buffer_state_validation_hash;
 620 void *vlib_buffer_state_heap;
 621
 622 static clib_error_t *
 623 buffer_state_validation_init (vlib_main_t * vm)
 624 {
 625   void *oldheap;
 626
 627   vlib_buffer_state_heap = mheap_alloc (0, 10 << 20);
 628
 629   oldheap = clib_mem_set_heap (vlib_buffer_state_heap);
 630
 631   vlib_buffer_state_validation_hash = hash_create (0, sizeof (uword));
 632   vec_validate_aligned (vlib_buffer_state_validation_lock, 0,
 633                         CLIB_CACHE_LINE_BYTES);
 634   clib_mem_set_heap (oldheap);
 635   return 0;
 636 }
 637
 638 VLIB_INIT_FUNCTION (buffer_state_validation_init);
 639 #endif
 640
 641 #if CLI_DEBUG
 642 struct dpdk_validate_buf_result
 643 {
 644   u32 invalid;
 645   u32 uninitialized;
 646 };
 647
 648 #define DPDK_TRAJECTORY_POISON 31
 649
 650 static void
 651 dpdk_buffer_validate_trajectory (struct rte_mempool *mp, void *opaque,
 652                                  void *obj, unsigned obj_idx)
 653 {
 654   vlib_buffer_t *b;
 655   struct dpdk_validate_buf_result *counter = opaque;
 656   b = vlib_buffer_from_rte_mbuf ((struct rte_mbuf *) obj);
 657   if (b->pre_data[0] != 0)
 658     {
 659       if (b->pre_data[0] == DPDK_TRAJECTORY_POISON)
 660         counter->uninitialized++;
 661       else
 662         counter->invalid++;
 663     }
 664 }
 665
 666 int
 667 dpdk_buffer_validate_trajectory_all (u32 * uninitialized)
 668 {
 669   dpdk_main_t *dm = &dpdk_main;
 670   struct dpdk_validate_buf_result counter = { 0 };
 671   int i;
 672
 673   for (i = 0; i < vec_len (dm->pktmbuf_pools); i++)
 674     rte_mempool_obj_iter (dm->pktmbuf_pools[i],
 675                           dpdk_buffer_validate_trajectory, &counter);
 676   if (uninitialized)
 677     *uninitialized = counter.uninitialized;
 678   return counter.invalid;
 679 }
 680
 681 static void
 682 dpdk_buffer_poison_trajectory (struct rte_mempool *mp, void *opaque,
 683                                void *obj, unsigned obj_idx)
 684 {
 685   vlib_buffer_t *b;
 686   b = vlib_buffer_from_rte_mbuf ((struct rte_mbuf *) obj);
 687   b->pre_data[0] = DPDK_TRAJECTORY_POISON;
 688 }
 689
 690 void
 691 dpdk_buffer_poison_trajectory_all (void)
 692 {
 693   dpdk_main_t *dm = &dpdk_main;
 694   int i;
 695
 696   for (i = 0; i < vec_len (dm->pktmbuf_pools); i++)
 697     rte_mempool_obj_iter (dm->pktmbuf_pools[i], dpdk_buffer_poison_trajectory,
 698                           0);
 699 }
 700 #endif
 701
 702 /* *INDENT-OFF* */
 703 VLIB_BUFFER_REGISTER_CALLBACKS (dpdk, static) = {
 704   .vlib_buffer_alloc_cb = &dpdk_buffer_alloc,
 705   .vlib_buffer_alloc_from_free_list_cb = &dpdk_buffer_alloc_from_free_list,
 706   .vlib_buffer_free_cb = &dpdk_buffer_free,
 707   .vlib_buffer_free_no_next_cb = &dpdk_buffer_free_no_next,
 708   .vlib_packet_template_init_cb = &dpdk_packet_template_init,
 709   .vlib_buffer_delete_free_list_cb = &dpdk_buffer_delete_free_list,
 710 };
 711 /* *INDENT-ON* */
 712
 713 #if __x86_64__
 714 vlib_buffer_alloc_cb_t __clib_weak dpdk_buffer_alloc_avx512;
 715 vlib_buffer_alloc_cb_t __clib_weak dpdk_buffer_alloc_avx2;
 716 vlib_buffer_alloc_from_free_list_cb_t __clib_weak
 717   dpdk_buffer_alloc_from_free_list_avx512;
 718 vlib_buffer_alloc_from_free_list_cb_t __clib_weak
 719   dpdk_buffer_alloc_from_free_list_avx2;
 720 vlib_buffer_free_cb_t __clib_weak dpdk_buffer_free_avx512;
 721 vlib_buffer_free_cb_t __clib_weak dpdk_buffer_free_avx2;
 722 vlib_buffer_free_no_next_cb_t __clib_weak dpdk_buffer_free_no_next_avx512;
 723 vlib_buffer_free_no_next_cb_t __clib_weak dpdk_buffer_free_no_next_avx2;
 724
 725 static void __clib_constructor
 726 dpdk_input_multiarch_select (void)
 727 {
 728   vlib_buffer_callbacks_t *cb = &__dpdk_buffer_callbacks;
 729   if (dpdk_buffer_alloc_avx512 && clib_cpu_supports_avx512f ())
 730     {
 731       cb->vlib_buffer_alloc_cb = dpdk_buffer_alloc_avx512;
 732       cb->vlib_buffer_alloc_from_free_list_cb =
 733         dpdk_buffer_alloc_from_free_list_avx512;
 734       cb->vlib_buffer_free_cb = dpdk_buffer_free_avx512;
 735       cb->vlib_buffer_free_no_next_cb = dpdk_buffer_free_no_next_avx512;
 736     }
 737   else if (dpdk_buffer_alloc_avx2 && clib_cpu_supports_avx2 ())
 738     {
 739       cb->vlib_buffer_alloc_cb = dpdk_buffer_alloc_avx2;
 740       cb->vlib_buffer_alloc_from_free_list_cb =
 741         dpdk_buffer_alloc_from_free_list_avx2;
 742       cb->vlib_buffer_free_cb = dpdk_buffer_free_avx2;
 743       cb->vlib_buffer_free_no_next_cb = dpdk_buffer_free_no_next_avx2;
 744     }
 745 }
 746 #endif
 747 #endif
 748
 749 /** @endcond */
 750 /*
 751  * fd.io coding-style-patch-verification: ON
 752  *
 753  * Local Variables:
 754  * eval: (c-set-style "gnu")
 755  * End:
 756  */