src/vppinfra/lock.h

   1 /*
   2  * Copyright (c) 2017 Cisco and/or its affiliates.
   3  * Licensed under the Apache License, Version 2.0 (the "License");
   4  * you may not use this file except in compliance with the License.
   5  * You may obtain a copy of the License at:
   6  *
   7  *     http://www.apache.org/licenses/LICENSE-2.0
   8  *
   9  * Unless required by applicable law or agreed to in writing, software
  10  * distributed under the License is distributed on an "AS IS" BASIS,
  11  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  12  * See the License for the specific language governing permissions and
  13  * limitations under the License.
  14  */
  15
  16 #ifndef included_clib_lock_h
  17 #define included_clib_lock_h
  18
  19 #include <vppinfra/clib.h>
  20
  21 #if __x86_64__
  22 #define CLIB_PAUSE() __builtin_ia32_pause ()
  23 #else
  24 #define CLIB_PAUSE()
  25 #endif
  26
  27 #if CLIB_DEBUG > 1
  28 #define CLIB_LOCK_DBG(_p)                               \
  29 do {                                                    \
  30     (*_p)->frame_address = __builtin_frame_address (0); \
  31     (*_p)->pid = getpid ();                             \
  32     (*_p)->thread_index = os_get_thread_index ();       \
  33 } while (0)
  34 #define CLIB_LOCK_DBG_CLEAR(_p)                         \
  35 do {                                                    \
  36     (*_p)->frame_address = 0;                           \
  37     (*_p)->pid = 0;                                     \
  38     (*_p)->thread_index = 0;                            \
  39 } while (0)
  40 #else
  41 #define CLIB_LOCK_DBG(_p)
  42 #define CLIB_LOCK_DBG_CLEAR(_p)
  43 #endif
  44
  45 typedef struct
  46 {
  47   CLIB_CACHE_LINE_ALIGN_MARK (cacheline0);
  48   u32 lock;
  49 #if CLIB_DEBUG > 0
  50   pid_t pid;
  51   uword thread_index;
  52   void *frame_address;
  53 #endif
  54 } *clib_spinlock_t;
  55
  56 static inline void
  57 clib_spinlock_init (clib_spinlock_t * p)
  58 {
  59   *p = clib_mem_alloc_aligned (CLIB_CACHE_LINE_BYTES, CLIB_CACHE_LINE_BYTES);
  60   clib_memset ((void *) *p, 0, CLIB_CACHE_LINE_BYTES);
  61 }
  62
  63 static inline void
  64 clib_spinlock_free (clib_spinlock_t * p)
  65 {
  66   if (*p)
  67     {
  68       clib_mem_free ((void *) *p);
  69       *p = 0;
  70     }
  71 }
  72
  73 static_always_inline void
  74 clib_spinlock_lock (clib_spinlock_t * p)
  75 {
  76   while (clib_atomic_test_and_set (&(*p)->lock))
  77     CLIB_PAUSE ();
  78   CLIB_LOCK_DBG (p);
  79 }
  80
  81 static_always_inline void
  82 clib_spinlock_lock_if_init (clib_spinlock_t * p)
  83 {
  84   if (PREDICT_FALSE (*p != 0))
  85     clib_spinlock_lock (p);
  86 }
  87
  88 static_always_inline void
  89 clib_spinlock_unlock (clib_spinlock_t * p)
  90 {
  91   CLIB_LOCK_DBG_CLEAR (p);
  92   /* Make sure all writes are complete before releasing the lock */
  93   CLIB_MEMORY_BARRIER ();
  94   (*p)->lock = 0;
  95 }
  96
  97 static_always_inline void
  98 clib_spinlock_unlock_if_init (clib_spinlock_t * p)
  99 {
 100   if (PREDICT_FALSE (*p != 0))
 101     clib_spinlock_unlock (p);
 102 }
 103
 104 /*
 105  * Readers-Writer Lock
 106  */
 107
 108 typedef struct clib_rw_lock_
 109 {
 110   CLIB_CACHE_LINE_ALIGN_MARK (cacheline0);
 111   volatile u32 n_readers;
 112   volatile u32 n_readers_lock;
 113   volatile u32 writer_lock;
 114 #if CLIB_DEBUG > 0
 115   pid_t pid;
 116   uword thread_index;
 117   void *frame_address;
 118 #endif
 119 } *clib_rwlock_t;
 120
 121 always_inline void
 122 clib_rwlock_init (clib_rwlock_t * p)
 123 {
 124   *p = clib_mem_alloc_aligned (CLIB_CACHE_LINE_BYTES, CLIB_CACHE_LINE_BYTES);
 125   clib_memset ((void *) *p, 0, CLIB_CACHE_LINE_BYTES);
 126 }
 127
 128 always_inline void
 129 clib_rwlock_free (clib_rwlock_t * p)
 130 {
 131   if (*p)
 132     {
 133       clib_mem_free ((void *) *p);
 134       *p = 0;
 135     }
 136 }
 137
 138 always_inline void
 139 clib_rwlock_reader_lock (clib_rwlock_t * p)
 140 {
 141   while (clib_atomic_test_and_set (&(*p)->n_readers_lock))
 142     CLIB_PAUSE ();
 143
 144   (*p)->n_readers += 1;
 145   if ((*p)->n_readers == 1)
 146     {
 147       while (clib_atomic_test_and_set (&(*p)->writer_lock))
 148         CLIB_PAUSE ();
 149     }
 150   CLIB_MEMORY_BARRIER ();
 151   (*p)->n_readers_lock = 0;
 152
 153   CLIB_LOCK_DBG (p);
 154 }
 155
 156 always_inline void
 157 clib_rwlock_reader_unlock (clib_rwlock_t * p)
 158 {
 159   ASSERT ((*p)->n_readers > 0);
 160   CLIB_LOCK_DBG_CLEAR (p);
 161
 162   while (clib_atomic_test_and_set (&(*p)->n_readers_lock))
 163     CLIB_PAUSE ();
 164
 165   (*p)->n_readers -= 1;
 166   if ((*p)->n_readers == 0)
 167     {
 168       CLIB_MEMORY_BARRIER ();
 169       (*p)->writer_lock = 0;
 170     }
 171
 172   CLIB_MEMORY_BARRIER ();
 173   (*p)->n_readers_lock = 0;
 174 }
 175
 176 always_inline void
 177 clib_rwlock_writer_lock (clib_rwlock_t * p)
 178 {
 179   while (clib_atomic_test_and_set (&(*p)->writer_lock))
 180     CLIB_PAUSE ();
 181   CLIB_LOCK_DBG (p);
 182 }
 183
 184 always_inline void
 185 clib_rwlock_writer_unlock (clib_rwlock_t * p)
 186 {
 187   CLIB_LOCK_DBG_CLEAR (p);
 188   CLIB_MEMORY_BARRIER ();
 189   (*p)->writer_lock = 0;
 190 }
 191
 192 #endif
 193
 194 /*
 195  * fd.io coding-style-patch-verification: ON
 196  *
 197  * Local Variables:
 198  * eval: (c-set-style "gnu")
 199  * End:
 200  */