src/vnet/util/refcount.h

   1 /*
   2  * Copyright (c) 2016 Cisco and/or its affiliates.
   3  * Licensed under the Apache License, Version 2.0 (the "License");
   4  * you may not use this file except in compliance with the License.
   5  * You may obtain a copy of the License at:
   6  *
   7  *     http://www.apache.org/licenses/LICENSE-2.0
   8  *
   9  * Unless required by applicable law or agreed to in writing, software
  10  * distributed under the License is distributed on an "AS IS" BASIS,
  11  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  12  * See the License for the specific language governing permissions and
  13  * limitations under the License.
  14  */
  15
  16 /*
  17  * vlib provides lock-free counters but those
  18  * - Have 16bits per-CPU counter, which may overflow.
  19  * - Would only increment.
  20  *
  21  * This is very similar to vlib counters, but may be used to count reference.
  22  * Such a counter includes an arbitrary number of counters. Each counter
  23  * is identified by its index. This is used to aggregate per-cpu memory.
  24  *
  25  * Warning:
  26  *   This reference counter is lock-free but is not race-condition free.
  27  *   The counting result is approximate and another mechanism needs to be used
  28  *   in order to ensure that an object may be freed.
  29  *
  30  */
  31
  32 #include <vnet/vnet.h>
  33
  34 /*
  35  * Reference counting
  36  * A specific reference counter is used. The design is quite
  37  * similar to vlib counters but:
  38  *   - It is possible to decrease the value
  39  *   - Summing will not zero the per-thread counters
  40  *   - Only the thread can reallocate its own counters vector (to avoid concurrency issues)
  41 */
  42 typedef struct {
  43   u32 *counters;
  44   volatile u32 *counter_lock;
  45   CLIB_CACHE_LINE_ALIGN_MARK(o);
  46 } vlib_refcount_per_cpu_t;
  47
  48 typedef struct {
  49   vlib_refcount_per_cpu_t *per_cpu;
  50 } vlib_refcount_t;
  51
  52 static_always_inline
  53 void vlib_refcount_lock (volatile u32 *counter_lock)
  54 {
  55   while (clib_atomic_test_and_set (counter_lock))
  56     ;
  57 }
  58
  59 static_always_inline
  60 void vlib_refcount_unlock (volatile u32 *counter_lock)
  61 {
  62   clib_atomic_release(counter_lock);
  63 }
  64
  65 void __vlib_refcount_resize(vlib_refcount_per_cpu_t *per_cpu, u32 size);
  66
  67 static_always_inline
  68 void vlib_refcount_add(vlib_refcount_t *r, u32 thread_index, u32 counter_index, i32 v)
  69 {
  70   vlib_refcount_per_cpu_t *per_cpu = &r->per_cpu[thread_index];
  71   if (PREDICT_FALSE(counter_index >= vec_len(per_cpu->counters)))
  72     __vlib_refcount_resize(per_cpu, clib_max(counter_index + 16,(vec_len(per_cpu->counters)) * 2));
  73
  74   per_cpu->counters[counter_index] += v;
  75 }
  76
  77 u64 vlib_refcount_get(vlib_refcount_t *r, u32 index);
  78
  79 static_always_inline
  80 void vlib_refcount_init(vlib_refcount_t *r)
  81 {
  82   vlib_thread_main_t *tm = vlib_get_thread_main ();
  83   u32 thread_index;
  84   r->per_cpu = 0;
  85   vec_validate (r->per_cpu, tm->n_vlib_mains - 1);
  86
  87   for (thread_index = 0; thread_index < tm->n_vlib_mains; thread_index++)
  88     {
  89       r->per_cpu[thread_index].counter_lock =
  90           clib_mem_alloc_aligned(CLIB_CACHE_LINE_BYTES,CLIB_CACHE_LINE_BYTES);
  91       r->per_cpu[thread_index].counter_lock[0] = 0;
  92     }
  93 }
  94
  95