src/vlib/threads.h

   1 /*
   2  * Copyright (c) 2015 Cisco and/or its affiliates.
   3  * Licensed under the Apache License, Version 2.0 (the "License");
   4  * you may not use this file except in compliance with the License.
   5  * You may obtain a copy of the License at:
   6  *
   7  *     http://www.apache.org/licenses/LICENSE-2.0
   8  *
   9  * Unless required by applicable law or agreed to in writing, software
  10  * distributed under the License is distributed on an "AS IS" BASIS,
  11  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  12  * See the License for the specific language governing permissions and
  13  * limitations under the License.
  14  */
  15 #ifndef included_vlib_threads_h
  16 #define included_vlib_threads_h
  17
  18 #include <vlib/main.h>
  19 #include <vppinfra/callback.h>
  20 #include <linux/sched.h>
  21
  22 void vlib_set_thread_name (char *name);
  23
  24 /* arg is actually a vlib__thread_t * */
  25 typedef void (vlib_thread_function_t) (void *arg);
  26
  27 typedef struct vlib_thread_registration_
  28 {
  29   /* constructor generated list of thread registrations */
  30   struct vlib_thread_registration_ *next;
  31
  32   /* config parameters */
  33   char *name;
  34   char *short_name;
  35   vlib_thread_function_t *function;
  36   uword mheap_size;
  37   int fixed_count;
  38   u32 count;
  39   int no_data_structure_clone;
  40   u32 frame_queue_nelts;
  41
  42   /* All threads of this type run on pthreads */
  43   int use_pthreads;
  44   u32 first_index;
  45   uword *coremask;
  46 } vlib_thread_registration_t;
  47
  48 /*
  49  * Frames have their cpu / vlib_main_t index in the low-order N bits
  50  * Make VLIB_MAX_CPUS a power-of-two, please...
  51  */
  52
  53 #ifndef VLIB_MAX_CPUS
  54 #define VLIB_MAX_CPUS 256
  55 #endif
  56
  57 #if VLIB_MAX_CPUS > CLIB_MAX_MHEAPS
  58 #error Please increase number of per-cpu mheaps
  59 #endif
  60
  61 #define VLIB_CPU_MASK (VLIB_MAX_CPUS - 1)       /* 0x3f, max */
  62 #define VLIB_OFFSET_MASK (~VLIB_CPU_MASK)
  63
  64 #define VLIB_LOG2_THREAD_STACK_SIZE (21)
  65 #define VLIB_THREAD_STACK_SIZE (1<<VLIB_LOG2_THREAD_STACK_SIZE)
  66
  67 typedef struct
  68 {
  69   CLIB_CACHE_LINE_ALIGN_MARK (cacheline0);
  70   volatile u32 valid;
  71   u32 maybe_trace : 1;
  72   u32 n_vectors;
  73   u32 offset;
  74   STRUCT_MARK (end_of_reset);
  75
  76   CLIB_CACHE_LINE_ALIGN_MARK (cacheline1);
  77   u32 buffer_index[VLIB_FRAME_SIZE];
  78 }
  79 vlib_frame_queue_elt_t;
  80
  81 typedef struct
  82 {
  83   /* First cache line */
  84   CLIB_CACHE_LINE_ALIGN_MARK (cacheline0);
  85   volatile u32 *wait_at_barrier;
  86   volatile u32 *workers_at_barrier;
  87
  88   /* Second Cache Line */
  89     CLIB_CACHE_LINE_ALIGN_MARK (cacheline1);
  90   void *thread_mheap;
  91   u8 *thread_stack;
  92   void (*thread_function) (void *);
  93   void *thread_function_arg;
  94   i64 recursion_level;
  95   elog_track_t elog_track;
  96   u32 instance_id;
  97   vlib_thread_registration_t *registration;
  98   u8 *name;
  99   u64 barrier_sync_count;
 100   u8 barrier_elog_enabled;
 101   const char *barrier_caller;
 102   const char *barrier_context;
 103   volatile u32 *node_reforks_required;
 104
 105   long lwp;
 106   int cpu_id;
 107   int core_id;
 108   int numa_id;
 109   pthread_t thread_id;
 110 } vlib_worker_thread_t;
 111
 112 extern vlib_worker_thread_t *vlib_worker_threads;
 113
 114 typedef struct
 115 {
 116   /* static data */
 117   CLIB_CACHE_LINE_ALIGN_MARK (cacheline0);
 118   vlib_frame_queue_elt_t *elts;
 119   u64 vector_threshold;
 120   u64 trace;
 121   u32 nelts;
 122
 123   /* modified by enqueue side  */
 124   CLIB_CACHE_LINE_ALIGN_MARK (cacheline1);
 125   volatile u64 tail;
 126
 127   /* modified by dequeue side  */
 128   CLIB_CACHE_LINE_ALIGN_MARK (cacheline2);
 129   volatile u64 head;
 130 }
 131 vlib_frame_queue_t;
 132
 133 typedef struct
 134 {
 135   u32 node_index;
 136   u32 frame_queue_nelts;
 137
 138   vlib_frame_queue_t **vlib_frame_queues;
 139
 140   /* for frame queue tracing */
 141   frame_queue_trace_t *frame_queue_traces;
 142   frame_queue_nelt_counter_t *frame_queue_histogram;
 143 } vlib_frame_queue_main_t;
 144
 145 typedef struct
 146 {
 147   uword node_index;
 148   uword type_opaque;
 149   uword data;
 150 } vlib_process_signal_event_mt_args_t;
 151
 152 /* Called early, in thread 0's context */
 153 clib_error_t *vlib_thread_init (vlib_main_t * vm);
 154
 155 void vlib_worker_thread_node_runtime_update (void);
 156
 157 void vlib_create_worker_threads (vlib_main_t * vm, int n,
 158                                  void (*thread_function) (void *));
 159
 160 void vlib_worker_thread_init (vlib_worker_thread_t * w);
 161 u32 vlib_frame_queue_main_init (u32 node_index, u32 frame_queue_nelts);
 162
 163 /* Check for a barrier sync request every 30ms */
 164 #define BARRIER_SYNC_DELAY (0.030000)
 165
 166 #if CLIB_DEBUG > 0
 167 /* long barrier timeout, for gdb... */
 168 #define BARRIER_SYNC_TIMEOUT (600.1)
 169 #else
 170 #define BARRIER_SYNC_TIMEOUT (1.0)
 171 #endif
 172
 173 #define vlib_worker_thread_barrier_sync(X) {vlib_worker_thread_barrier_sync_int(X, __FUNCTION__);}
 174
 175 void vlib_worker_thread_barrier_sync_int (vlib_main_t * vm,
 176                                           const char *func_name);
 177 void vlib_worker_thread_barrier_release (vlib_main_t * vm);
 178 u8 vlib_worker_thread_barrier_held (void);
 179 void vlib_worker_thread_initial_barrier_sync_and_release (vlib_main_t * vm);
 180 void vlib_worker_thread_node_refork (void);
 181 /**
 182  * Wait until each of the workers has been once around the track
 183  */
 184 void vlib_worker_wait_one_loop (void);
 185
 186 static_always_inline uword
 187 vlib_get_thread_index (void)
 188 {
 189   return __os_thread_index;
 190 }
 191
 192 always_inline void
 193 vlib_smp_unsafe_warning (void)
 194 {
 195   if (CLIB_DEBUG > 0)
 196     {
 197       if (vlib_get_thread_index ())
 198         fformat (stderr, "%s: SMP unsafe warning...\n", __FUNCTION__);
 199     }
 200 }
 201
 202 always_inline int
 203 __foreach_vlib_main_helper (vlib_main_t *ii, vlib_main_t **p)
 204 {
 205   vlib_main_t *vm;
 206   u32 index = ii - (vlib_main_t *) 0;
 207
 208   if (index >= vec_len (vlib_global_main.vlib_mains))
 209     return 0;
 210
 211   *p = vm = vlib_global_main.vlib_mains[index];
 212   ASSERT (index == 0 || vm->parked_at_barrier == 1);
 213   return 1;
 214 }
 215
 216 #define foreach_vlib_main()                                                   \
 217   for (vlib_main_t *ii = 0, *this_vlib_main;                                  \
 218        __foreach_vlib_main_helper (ii, &this_vlib_main); ii++)                \
 219     if (this_vlib_main)
 220
 221 #define foreach_sched_policy \
 222   _(SCHED_OTHER, OTHER, "other") \
 223   _(SCHED_BATCH, BATCH, "batch") \
 224   _(SCHED_IDLE, IDLE, "idle")   \
 225   _(SCHED_FIFO, FIFO, "fifo")   \
 226   _(SCHED_RR, RR, "rr")
 227
 228 typedef enum
 229 {
 230 #define _(v,f,s) SCHED_POLICY_##f = v,
 231   foreach_sched_policy
 232 #undef _
 233     SCHED_POLICY_N,
 234 } sched_policy_t;
 235
 236 typedef struct
 237 {
 238   clib_error_t *(*vlib_launch_thread_cb) (void *fp, vlib_worker_thread_t * w,
 239                                           unsigned cpu_id);
 240   clib_error_t *(*vlib_thread_set_lcore_cb) (u32 thread, u16 cpu);
 241 } vlib_thread_callbacks_t;
 242
 243 typedef struct
 244 {
 245   /* Link list of registrations, built by constructors */
 246   vlib_thread_registration_t *next;
 247
 248   /* Vector of registrations, w/ non-data-structure clones at the top */
 249   vlib_thread_registration_t **registrations;
 250
 251   uword *thread_registrations_by_name;
 252
 253   vlib_worker_thread_t *worker_threads;
 254
 255   /*
 256    * Launch all threads as pthreads,
 257    * not eal_rte_launch (strict affinity) threads
 258    */
 259   int use_pthreads;
 260
 261   /* Number of vlib_main / vnet_main clones */
 262   u32 n_vlib_mains;
 263
 264   /* Number of thread stacks to create */
 265   u32 n_thread_stacks;
 266
 267   /* Number of pthreads */
 268   u32 n_pthreads;
 269
 270   /* Number of threads */
 271   u32 n_threads;
 272
 273   /* Number of cores to skip, must match the core mask */
 274   u32 skip_cores;
 275
 276   /* Thread prefix name */
 277   u8 *thread_prefix;
 278
 279   /* main thread lcore */
 280   u32 main_lcore;
 281
 282   /* Bitmap of available CPU cores */
 283   uword *cpu_core_bitmap;
 284
 285   /* Bitmap of available CPU sockets (NUMA nodes) */
 286   uword *cpu_socket_bitmap;
 287
 288   /* Worker handoff queues */
 289   vlib_frame_queue_main_t *frame_queue_mains;
 290
 291   /* worker thread initialization barrier */
 292   volatile u32 worker_thread_release;
 293
 294   /* scheduling policy */
 295   u32 sched_policy;
 296
 297   /* scheduling policy priority */
 298   u32 sched_priority;
 299
 300   /* callbacks */
 301   vlib_thread_callbacks_t cb;
 302   int extern_thread_mgmt;
 303
 304   /* NUMA-bound heap size */
 305   uword numa_heap_size;
 306
 307 } vlib_thread_main_t;
 308
 309 extern vlib_thread_main_t vlib_thread_main;
 310
 311 #include <vlib/global_funcs.h>
 312
 313 #define VLIB_REGISTER_THREAD(x,...)                     \
 314   __VA_ARGS__ vlib_thread_registration_t x;             \
 315 static void __vlib_add_thread_registration_##x (void)   \
 316   __attribute__((__constructor__)) ;                    \
 317 static void __vlib_add_thread_registration_##x (void)   \
 318 {                                                       \
 319   vlib_thread_main_t * tm = &vlib_thread_main;          \
 320   x.next = tm->next;                                    \
 321   tm->next = &x;                                        \
 322 }                                                       \
 323 static void __vlib_rm_thread_registration_##x (void)    \
 324   __attribute__((__destructor__)) ;                     \
 325 static void __vlib_rm_thread_registration_##x (void)    \
 326 {                                                       \
 327   vlib_thread_main_t * tm = &vlib_thread_main;          \
 328   VLIB_REMOVE_FROM_LINKED_LIST (tm->next, &x, next);    \
 329 }                                                       \
 330 __VA_ARGS__ vlib_thread_registration_t x
 331
 332 always_inline u32
 333 vlib_num_workers ()
 334 {
 335   return vlib_thread_main.n_vlib_mains - 1;
 336 }
 337
 338 always_inline u32
 339 vlib_get_worker_thread_index (u32 worker_index)
 340 {
 341   return worker_index + 1;
 342 }
 343
 344 always_inline u32
 345 vlib_get_worker_index (u32 thread_index)
 346 {
 347   return thread_index - 1;
 348 }
 349
 350 always_inline u32
 351 vlib_get_current_worker_index ()
 352 {
 353   return vlib_get_thread_index () - 1;
 354 }
 355
 356 static inline void
 357 vlib_worker_thread_barrier_check (void)
 358 {
 359   if (PREDICT_FALSE (*vlib_worker_threads->wait_at_barrier))
 360     {
 361       vlib_global_main_t *vgm = vlib_get_global_main ();
 362       vlib_main_t *vm = vlib_get_main ();
 363       u32 thread_index = vm->thread_index;
 364       f64 t = vlib_time_now (vm);
 365
 366       if (PREDICT_FALSE (vec_len (vm->barrier_perf_callbacks) != 0))
 367         clib_call_callbacks (vm->barrier_perf_callbacks, vm,
 368                              vm->clib_time.last_cpu_time, 0 /* enter */ );
 369
 370       if (PREDICT_FALSE (vlib_worker_threads->barrier_elog_enabled))
 371         {
 372           vlib_worker_thread_t *w = vlib_worker_threads + thread_index;
 373           /* *INDENT-OFF* */
 374           ELOG_TYPE_DECLARE (e) = {
 375             .format = "barrier-wait-thread-%d",
 376             .format_args = "i4",
 377           };
 378           /* *INDENT-ON* */
 379
 380           struct
 381           {
 382             u32 thread_index;
 383           } __clib_packed *ed;
 384
 385           ed = ELOG_TRACK_DATA (&vlib_global_main.elog_main, e, w->elog_track);
 386           ed->thread_index = thread_index;
 387         }
 388
 389       if (CLIB_DEBUG > 0)
 390         {
 391           vm = vlib_get_main ();
 392           vm->parked_at_barrier = 1;
 393         }
 394       clib_atomic_fetch_add (vlib_worker_threads->workers_at_barrier, 1);
 395       while (*vlib_worker_threads->wait_at_barrier)
 396         ;
 397
 398       /*
 399        * Recompute the offset from thread-0 time.
 400        * Note that vlib_time_now adds vm->time_offset, so
 401        * clear it first. Save the resulting idea of "now", to
 402        * see how well we're doing. See show_clock_command_fn(...)
 403        */
 404       {
 405         f64 now;
 406         vm->time_offset = 0.0;
 407         now = vlib_time_now (vm);
 408         vm->time_offset = vgm->vlib_mains[0]->time_last_barrier_release - now;
 409         vm->time_last_barrier_release = vlib_time_now (vm);
 410       }
 411
 412       if (CLIB_DEBUG > 0)
 413         vm->parked_at_barrier = 0;
 414       clib_atomic_fetch_add (vlib_worker_threads->workers_at_barrier, -1);
 415
 416       if (PREDICT_FALSE (*vlib_worker_threads->node_reforks_required))
 417         {
 418           if (PREDICT_FALSE (vlib_worker_threads->barrier_elog_enabled))
 419             {
 420               t = vlib_time_now (vm) - t;
 421               vlib_worker_thread_t *w = vlib_worker_threads + thread_index;
 422               /* *INDENT-OFF* */
 423               ELOG_TYPE_DECLARE (e) = {
 424                 .format = "barrier-refork-thread-%d",
 425                 .format_args = "i4",
 426               };
 427               /* *INDENT-ON* */
 428
 429               struct
 430               {
 431                 u32 thread_index;
 432               } __clib_packed *ed;
 433
 434               ed = ELOG_TRACK_DATA (&vlib_global_main.elog_main, e,
 435                                     w->elog_track);
 436               ed->thread_index = thread_index;
 437             }
 438
 439           vlib_worker_thread_node_refork ();
 440           clib_atomic_fetch_add (vlib_worker_threads->node_reforks_required,
 441                                  -1);
 442           while (*vlib_worker_threads->node_reforks_required)
 443             ;
 444         }
 445       if (PREDICT_FALSE (vlib_worker_threads->barrier_elog_enabled))
 446         {
 447           t = vlib_time_now (vm) - t;
 448           vlib_worker_thread_t *w = vlib_worker_threads + thread_index;
 449           /* *INDENT-OFF* */
 450           ELOG_TYPE_DECLARE (e) = {
 451             .format = "barrier-released-thread-%d: %dus",
 452             .format_args = "i4i4",
 453           };
 454           /* *INDENT-ON* */
 455
 456           struct
 457           {
 458             u32 thread_index;
 459             u32 duration;
 460           } __clib_packed *ed;
 461
 462           ed = ELOG_TRACK_DATA (&vlib_global_main.elog_main, e, w->elog_track);
 463           ed->thread_index = thread_index;
 464           ed->duration = (int) (1000000.0 * t);
 465         }
 466
 467       if (PREDICT_FALSE (vec_len (vm->barrier_perf_callbacks) != 0))
 468         clib_call_callbacks (vm->barrier_perf_callbacks, vm,
 469                              vm->clib_time.last_cpu_time, 1 /* leave */ );
 470     }
 471 }
 472
 473 always_inline vlib_main_t *
 474 vlib_get_worker_vlib_main (u32 worker_index)
 475 {
 476   vlib_main_t *vm;
 477   vlib_thread_main_t *tm = &vlib_thread_main;
 478   ASSERT (worker_index < tm->n_vlib_mains - 1);
 479   vm = vlib_get_main_by_index (worker_index + 1);
 480   ASSERT (vm);
 481   return vm;
 482 }
 483
 484 static inline u8
 485 vlib_thread_is_main_w_barrier (void)
 486 {
 487   return (!vlib_num_workers ()
 488           || ((vlib_get_thread_index () == 0
 489                && vlib_worker_threads->wait_at_barrier[0])));
 490 }
 491
 492 u8 *vlib_thread_stack_init (uword thread_index);
 493 int vlib_thread_cb_register (struct vlib_main_t *vm,
 494                              vlib_thread_callbacks_t * cb);
 495 extern void *rpc_call_main_thread_cb_fn;
 496
 497 void
 498 vlib_process_signal_event_mt_helper (vlib_process_signal_event_mt_args_t *
 499                                      args);
 500 void vlib_rpc_call_main_thread (void *function, u8 * args, u32 size);
 501 void vlib_get_thread_core_numa (vlib_worker_thread_t * w, unsigned cpu_id);
 502 vlib_thread_main_t *vlib_get_thread_main_not_inline (void);
 503
 504 #endif /* included_vlib_threads_h */
 505
 506 /*
 507  * fd.io coding-style-patch-verification: ON
 508  *
 509  * Local Variables:
 510  * eval: (c-set-style "gnu")
 511  * End:
 512  */