src/vlib/counter.h

   1 /*
   2  * Copyright (c) 2015 Cisco and/or its affiliates.
   3  * Licensed under the Apache License, Version 2.0 (the "License");
   4  * you may not use this file except in compliance with the License.
   5  * You may obtain a copy of the License at:
   6  *
   7  *     http://www.apache.org/licenses/LICENSE-2.0
   8  *
   9  * Unless required by applicable law or agreed to in writing, software
  10  * distributed under the License is distributed on an "AS IS" BASIS,
  11  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  12  * See the License for the specific language governing permissions and
  13  * limitations under the License.
  14  */
  15 /*
  16  * counter.h: simple and packet/byte counters
  17  *
  18  * Copyright (c) 2008 Eliot Dresselhaus
  19  *
  20  * Permission is hereby granted, free of charge, to any person obtaining
  21  * a copy of this software and associated documentation files (the
  22  * "Software"), to deal in the Software without restriction, including
  23  * without limitation the rights to use, copy, modify, merge, publish,
  24  * distribute, sublicense, and/or sell copies of the Software, and to
  25  * permit persons to whom the Software is furnished to do so, subject to
  26  * the following conditions:
  27  *
  28  * The above copyright notice and this permission notice shall be
  29  * included in all copies or substantial portions of the Software.
  30  *
  31  *  THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND,
  32  *  EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF
  33  *  MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND
  34  *  NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE
  35  *  LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION
  36  *  OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION
  37  *  WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.
  38  */
  39
  40 #ifndef included_vlib_counter_h
  41 #define included_vlib_counter_h
  42
  43 #include <vlib/counter_types.h>
  44
  45 /** \file
  46
  47     Optimized thread-safe counters.
  48
  49     Each vlib_[simple|combined]_counter_main_t consists of a per-thread
  50     vector of per-object counters.
  51
  52     The idea is to drastically eliminate atomic operations.
  53 */
  54
  55 /** A collection of simple counters */
  56
  57 typedef struct
  58 {
  59   counter_t **counters;  /**< Per-thread u64 non-atomic counters */
  60   char *name;                   /**< The counter collection's name. */
  61   char *stat_segment_name;    /**< Name in stat segment directory */
  62 } vlib_simple_counter_main_t;
  63
  64 /** The number of counters (not the number of per-thread counters) */
  65 u32 vlib_simple_counter_n_counters (const vlib_simple_counter_main_t * cm);
  66
  67 /** Pre-fetch a per-thread simple counter for the given object index */
  68 always_inline void
  69 vlib_prefetch_simple_counter (const vlib_simple_counter_main_t *cm,
  70                               u32 thread_index, u32 index)
  71 {
  72   counter_t *my_counters;
  73
  74   /*
  75    * This CPU's index is assumed to already be in cache
  76    */
  77   my_counters = cm->counters[thread_index];
  78   clib_prefetch_store (my_counters + index);
  79 }
  80
  81 /** Increment a simple counter
  82     @param cm - (vlib_simple_counter_main_t *) simple counter main pointer
  83     @param thread_index - (u32) the current cpu index
  84     @param index - (u32) index of the counter to increment
  85     @param increment - (u64) quantitiy to add to the counter
  86 */
  87 always_inline void
  88 vlib_increment_simple_counter (vlib_simple_counter_main_t * cm,
  89                                u32 thread_index, u32 index, u64 increment)
  90 {
  91   counter_t *my_counters;
  92
  93   my_counters = cm->counters[thread_index];
  94   my_counters[index] += increment;
  95 }
  96
  97 /** Decrement a simple counter
  98     @param cm - (vlib_simple_counter_main_t *) simple counter main pointer
  99     @param thread_index - (u32) the current cpu index
 100     @param index - (u32) index of the counter to increment
 101     @param increment - (u64) quantitiy remove from the counter value
 102 */
 103 always_inline void
 104 vlib_decrement_simple_counter (vlib_simple_counter_main_t * cm,
 105                                u32 thread_index, u32 index, u64 decrement)
 106 {
 107   counter_t *my_counters;
 108
 109   my_counters = cm->counters[thread_index];
 110
 111   ASSERT (my_counters[index] >= decrement);
 112
 113   my_counters[index] -= decrement;
 114 }
 115
 116 /** Set a simple counter
 117     @param cm - (vlib_simple_counter_main_t *) simple counter main pointer
 118     @param thread_index - (u32) the current cpu index
 119     @param index - (u32) index of the counter to increment
 120     @param value - (u64) quantitiy to set to the counter
 121 */
 122 always_inline void
 123 vlib_set_simple_counter (vlib_simple_counter_main_t * cm,
 124                          u32 thread_index, u32 index, u64 value)
 125 {
 126   counter_t *my_counters;
 127
 128   my_counters = cm->counters[thread_index];
 129   my_counters[index] = value;
 130 }
 131
 132 /** Get the value of a simple counter
 133     Scrapes the entire set of per-thread counters. Innacurate unless
 134     worker threads which might increment the counter are
 135     barrier-synchronized
 136
 137     @param cm - (vlib_simple_counter_main_t *) simple counter main pointer
 138     @param index - (u32) index of the counter to fetch
 139     @returns - (u64) current counter value
 140 */
 141 always_inline counter_t
 142 vlib_get_simple_counter (vlib_simple_counter_main_t * cm, u32 index)
 143 {
 144   counter_t *my_counters;
 145   counter_t v;
 146   int i;
 147
 148   ASSERT (index < vlib_simple_counter_n_counters (cm));
 149
 150   v = 0;
 151
 152   for (i = 0; i < vec_len (cm->counters); i++)
 153     {
 154       my_counters = cm->counters[i];
 155       v += my_counters[index];
 156     }
 157
 158   return v;
 159 }
 160
 161 /** Clear a simple counter
 162     Clears the set of per-thread u16 counters, and the u64 counter
 163
 164     @param cm - (vlib_simple_counter_main_t *) simple counter main pointer
 165     @param index - (u32) index of the counter to clear
 166 */
 167 always_inline void
 168 vlib_zero_simple_counter (vlib_simple_counter_main_t * cm, u32 index)
 169 {
 170   counter_t *my_counters;
 171   int i;
 172
 173   ASSERT (index < vlib_simple_counter_n_counters (cm));
 174
 175   for (i = 0; i < vec_len (cm->counters); i++)
 176     {
 177       my_counters = cm->counters[i];
 178       my_counters[index] = 0;
 179     }
 180 }
 181
 182 /** Add two combined counters, results in the first counter
 183     @param [in,out] a - (vlib_counter_t *) dst counter
 184     @param b - (vlib_counter_t *) src counter
 185 */
 186
 187 always_inline void
 188 vlib_counter_add (vlib_counter_t * a, vlib_counter_t * b)
 189 {
 190   a->packets += b->packets;
 191   a->bytes += b->bytes;
 192 }
 193
 194 /** Subtract combined counters, results in the first counter
 195     @param [in,out] a - (vlib_counter_t *) dst counter
 196     @param b - (vlib_counter_t *) src counter
 197 */
 198 always_inline void
 199 vlib_counter_sub (vlib_counter_t * a, vlib_counter_t * b)
 200 {
 201   ASSERT (a->packets >= b->packets);
 202   ASSERT (a->bytes >= b->bytes);
 203   a->packets -= b->packets;
 204   a->bytes -= b->bytes;
 205 }
 206
 207 /** Clear a combined counter
 208     @param a - (vlib_counter_t *) counter to clear
 209 */
 210 always_inline void
 211 vlib_counter_zero (vlib_counter_t * a)
 212 {
 213   a->packets = a->bytes = 0;
 214 }
 215
 216 /** A collection of combined counters */
 217 typedef struct
 218 {
 219   vlib_counter_t **counters;    /**< Per-thread u64 non-atomic counter pairs */
 220   char *name; /**< The counter collection's name. */
 221   char *stat_segment_name;      /**< Name in stat segment directory */
 222 } vlib_combined_counter_main_t;
 223
 224 /** The number of counters (not the number of per-thread counters) */
 225 u32 vlib_combined_counter_n_counters (const vlib_combined_counter_main_t *
 226                                       cm);
 227
 228 /** Clear a collection of simple counters
 229     @param cm - (vlib_simple_counter_main_t *) collection to clear
 230 */
 231 void vlib_clear_simple_counters (vlib_simple_counter_main_t * cm);
 232
 233 /** Clear a collection of combined counters
 234     @param cm - (vlib_combined_counter_main_t *) collection to clear
 235 */
 236 void vlib_clear_combined_counters (vlib_combined_counter_main_t * cm);
 237
 238 /** Increment a combined counter
 239     @param cm - (vlib_combined_counter_main_t *) comined counter main pointer
 240     @param thread_index - (u32) the current cpu index
 241     @param index - (u32) index of the counter to increment
 242     @param packet_increment - (u64) number of packets to add to the counter
 243     @param byte_increment - (u64) number of bytes to add to the counter
 244 */
 245
 246 always_inline void
 247 vlib_increment_combined_counter (vlib_combined_counter_main_t * cm,
 248                                  u32 thread_index,
 249                                  u32 index, u64 n_packets, u64 n_bytes)
 250 {
 251   vlib_counter_t *my_counters;
 252
 253   /* Use this CPU's counter array */
 254   my_counters = cm->counters[thread_index];
 255
 256   my_counters[index].packets += n_packets;
 257   my_counters[index].bytes += n_bytes;
 258 }
 259
 260 /** Pre-fetch a per-thread combined counter for the given object index */
 261 always_inline void
 262 vlib_prefetch_combined_counter (const vlib_combined_counter_main_t * cm,
 263                                 u32 thread_index, u32 index)
 264 {
 265   vlib_counter_t *cpu_counters;
 266
 267   /*
 268    * This CPU's index is assumed to already be in cache
 269    */
 270   cpu_counters = cm->counters[thread_index];
 271   clib_prefetch_store (cpu_counters + index);
 272 }
 273
 274
 275 /** Get the value of a combined counter, never called in the speed path
 276     Scrapes the entire set of per-thread counters. Innacurate unless
 277     worker threads which might increment the counter are
 278     barrier-synchronized
 279
 280     @param cm - (vlib_combined_counter_main_t *) combined counter main pointer
 281     @param index - (u32) index of the combined counter to fetch
 282     @param result [out] - (vlib_counter_t *) result stored here
 283 */
 284
 285 static inline void
 286 vlib_get_combined_counter (const vlib_combined_counter_main_t * cm,
 287                            u32 index, vlib_counter_t * result)
 288 {
 289   vlib_counter_t *my_counters, *counter;
 290   int i;
 291
 292   result->packets = 0;
 293   result->bytes = 0;
 294
 295   for (i = 0; i < vec_len (cm->counters); i++)
 296     {
 297       my_counters = cm->counters[i];
 298
 299       counter = vec_elt_at_index (my_counters, index);
 300       result->packets += counter->packets;
 301       result->bytes += counter->bytes;
 302     }
 303 }
 304
 305 /** Clear a combined counter
 306     Clears the set of per-thread counters.
 307
 308     @param cm - (vlib_combined_counter_main_t *) combined counter main pointer
 309     @param index - (u32) index of the counter to clear
 310 */
 311 always_inline void
 312 vlib_zero_combined_counter (vlib_combined_counter_main_t * cm, u32 index)
 313 {
 314   vlib_counter_t *my_counters, *counter;
 315   int i;
 316
 317   for (i = 0; i < vec_len (cm->counters); i++)
 318     {
 319       my_counters = cm->counters[i];
 320
 321       counter = vec_elt_at_index (my_counters, index);
 322       counter->packets = 0;
 323       counter->bytes = 0;
 324     }
 325 }
 326
 327 /** validate a simple counter
 328     @param cm - (vlib_simple_counter_main_t *) pointer to the counter collection
 329     @param index - (u32) index of the counter to validate
 330 */
 331
 332 void vlib_validate_simple_counter (vlib_simple_counter_main_t * cm,
 333                                    u32 index);
 334 void vlib_free_simple_counter (vlib_simple_counter_main_t * cm);
 335
 336 /** validate a combined counter
 337     @param cm - (vlib_combined_counter_main_t *) pointer to the counter
 338     collection
 339     @param index - (u32) index of the counter to validate
 340 */
 341
 342 void vlib_validate_combined_counter (vlib_combined_counter_main_t * cm,
 343                                      u32 index);
 344 int vlib_validate_combined_counter_will_expand
 345   (vlib_combined_counter_main_t * cm, u32 index);
 346
 347 void vlib_free_combined_counter (vlib_combined_counter_main_t * cm);
 348
 349 /** Obtain the number of simple or combined counters allocated.
 350     A macro which reduces to to vec_len(cm->maxi), the answer in either
 351     case.
 352
 353     @param cm - (vlib_simple_counter_main_t) or
 354     (vlib_combined_counter_main_t) the counter collection to interrogate
 355     @returns vec_len(cm->maxi)
 356 */
 357 #define vlib_counter_len(cm) vec_len((cm)->maxi)
 358
 359 #endif /* included_vlib_counter_h */
 360
 361 /*
 362  * fd.io coding-style-patch-verification: ON
 363  *
 364  * Local Variables:
 365  * eval: (c-set-style "gnu")
 366  * End:
 367  */