src/vlib/threads.h

   1 /*
   2  * Copyright (c) 2015 Cisco and/or its affiliates.
   3  * Licensed under the Apache License, Version 2.0 (the "License");
   4  * you may not use this file except in compliance with the License.
   5  * You may obtain a copy of the License at:
   6  *
   7  *     http://www.apache.org/licenses/LICENSE-2.0
   8  *
   9  * Unless required by applicable law or agreed to in writing, software
  10  * distributed under the License is distributed on an "AS IS" BASIS,
  11  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  12  * See the License for the specific language governing permissions and
  13  * limitations under the License.
  14  */
  15 #ifndef included_vlib_threads_h
  16 #define included_vlib_threads_h
  17
  18 #include <vlib/main.h>
  19 #include <linux/sched.h>
  20
  21 extern vlib_main_t **vlib_mains;
  22
  23 void vlib_set_thread_name (char *name);
  24
  25 /* arg is actually a vlib__thread_t * */
  26 typedef void (vlib_thread_function_t) (void *arg);
  27
  28 typedef struct vlib_thread_registration_
  29 {
  30   /* constructor generated list of thread registrations */
  31   struct vlib_thread_registration_ *next;
  32
  33   /* config parameters */
  34   char *name;
  35   char *short_name;
  36   vlib_thread_function_t *function;
  37   uword mheap_size;
  38   int fixed_count;
  39   u32 count;
  40   int no_data_structure_clone;
  41   u32 frame_queue_nelts;
  42
  43   /* All threads of this type run on pthreads */
  44   int use_pthreads;
  45   u32 first_index;
  46   uword *coremask;
  47 } vlib_thread_registration_t;
  48
  49 /*
  50  * Frames have their cpu / vlib_main_t index in the low-order N bits
  51  * Make VLIB_MAX_CPUS a power-of-two, please...
  52  */
  53
  54 #ifndef VLIB_MAX_CPUS
  55 #define VLIB_MAX_CPUS 256
  56 #endif
  57
  58 #if VLIB_MAX_CPUS > CLIB_MAX_MHEAPS
  59 #error Please increase number of per-cpu mheaps
  60 #endif
  61
  62 #define VLIB_CPU_MASK (VLIB_MAX_CPUS - 1)       /* 0x3f, max */
  63 #define VLIB_OFFSET_MASK (~VLIB_CPU_MASK)
  64
  65 #define VLIB_LOG2_THREAD_STACK_SIZE (21)
  66 #define VLIB_THREAD_STACK_SIZE (1<<VLIB_LOG2_THREAD_STACK_SIZE)
  67
  68 typedef enum
  69 {
  70   VLIB_FRAME_QUEUE_ELT_DISPATCH_FRAME,
  71 } vlib_frame_queue_msg_type_t;
  72
  73 typedef struct
  74 {
  75   CLIB_CACHE_LINE_ALIGN_MARK (cacheline0);
  76   volatile u32 valid;
  77   u32 msg_type;
  78   u32 n_vectors;
  79   u32 last_n_vectors;
  80
  81   /* 256 * 4 = 1024 bytes, even mult of cache line size */
  82   u32 buffer_index[VLIB_FRAME_SIZE];
  83 }
  84 vlib_frame_queue_elt_t;
  85
  86 typedef struct
  87 {
  88   /* First cache line */
  89   CLIB_CACHE_LINE_ALIGN_MARK (cacheline0);
  90   volatile u32 *wait_at_barrier;
  91   volatile u32 *workers_at_barrier;
  92
  93   /* Second Cache Line */
  94     CLIB_CACHE_LINE_ALIGN_MARK (cacheline1);
  95   void *thread_mheap;
  96   u8 *thread_stack;
  97   void (*thread_function) (void *);
  98   void *thread_function_arg;
  99   i64 recursion_level;
 100   elog_track_t elog_track;
 101   u32 instance_id;
 102   vlib_thread_registration_t *registration;
 103   u8 *name;
 104   u64 barrier_sync_count;
 105   volatile u32 *node_reforks_required;
 106
 107   long lwp;
 108   int lcore_id;
 109   pthread_t thread_id;
 110 } vlib_worker_thread_t;
 111
 112 extern vlib_worker_thread_t *vlib_worker_threads;
 113
 114 typedef struct
 115 {
 116   /* enqueue side */
 117   CLIB_CACHE_LINE_ALIGN_MARK (cacheline0);
 118   volatile u64 tail;
 119   u64 enqueues;
 120   u64 enqueue_ticks;
 121   u64 enqueue_vectors;
 122   u32 enqueue_full_events;
 123
 124   /* dequeue side */
 125     CLIB_CACHE_LINE_ALIGN_MARK (cacheline1);
 126   volatile u64 head;
 127   u64 dequeues;
 128   u64 dequeue_ticks;
 129   u64 dequeue_vectors;
 130   u64 trace;
 131   u64 vector_threshold;
 132
 133   /* dequeue hint to enqueue side */
 134     CLIB_CACHE_LINE_ALIGN_MARK (cacheline2);
 135   volatile u64 head_hint;
 136
 137   /* read-only, constant, shared */
 138     CLIB_CACHE_LINE_ALIGN_MARK (cacheline3);
 139   vlib_frame_queue_elt_t *elts;
 140   u32 nelts;
 141 }
 142 vlib_frame_queue_t;
 143
 144 typedef struct
 145 {
 146   u32 node_index;
 147   vlib_frame_queue_t **vlib_frame_queues;
 148
 149   /* for frame queue tracing */
 150   frame_queue_trace_t *frame_queue_traces;
 151   frame_queue_nelt_counter_t *frame_queue_histogram;
 152 } vlib_frame_queue_main_t;
 153
 154 /* Called early, in thread 0's context */
 155 clib_error_t *vlib_thread_init (vlib_main_t * vm);
 156
 157 int vlib_frame_queue_enqueue (vlib_main_t * vm, u32 node_runtime_index,
 158                               u32 frame_queue_index, vlib_frame_t * frame,
 159                               vlib_frame_queue_msg_type_t type);
 160
 161 int
 162 vlib_frame_queue_dequeue (vlib_main_t * vm, vlib_frame_queue_main_t * fqm);
 163
 164 void vlib_worker_thread_node_runtime_update (void);
 165
 166 void vlib_create_worker_threads (vlib_main_t * vm, int n,
 167                                  void (*thread_function) (void *));
 168
 169 void vlib_worker_thread_init (vlib_worker_thread_t * w);
 170 u32 vlib_frame_queue_main_init (u32 node_index, u32 frame_queue_nelts);
 171
 172 /* Check for a barrier sync request every 30ms */
 173 #define BARRIER_SYNC_DELAY (0.030000)
 174
 175 #if CLIB_DEBUG > 0
 176 /* long barrier timeout, for gdb... */
 177 #define BARRIER_SYNC_TIMEOUT (600.1)
 178 #else
 179 #define BARRIER_SYNC_TIMEOUT (1.0)
 180 #endif
 181
 182 void vlib_worker_thread_barrier_sync (vlib_main_t * vm);
 183 void vlib_worker_thread_barrier_release (vlib_main_t * vm);
 184 void vlib_worker_thread_node_refork (void);
 185
 186 static_always_inline uword
 187 vlib_get_thread_index (void)
 188 {
 189   return __os_thread_index;
 190 }
 191
 192 always_inline void
 193 vlib_smp_unsafe_warning (void)
 194 {
 195   if (CLIB_DEBUG > 0)
 196     {
 197       if (vlib_get_thread_index ())
 198         fformat (stderr, "%s: SMP unsafe warning...\n", __FUNCTION__);
 199     }
 200 }
 201
 202 typedef enum
 203 {
 204   VLIB_WORKER_THREAD_FORK_FIXUP_ILLEGAL = 0,
 205   VLIB_WORKER_THREAD_FORK_FIXUP_NEW_SW_IF_INDEX,
 206 } vlib_fork_fixup_t;
 207
 208 void vlib_worker_thread_fork_fixup (vlib_fork_fixup_t which);
 209
 210 #define foreach_vlib_main(body)                         \
 211 do {                                                    \
 212   vlib_main_t ** __vlib_mains = 0, *this_vlib_main;     \
 213   int ii;                                               \
 214                                                         \
 215   for (ii = 0; ii < vec_len (vlib_mains); ii++)         \
 216     {                                                   \
 217       this_vlib_main = vlib_mains[ii];                  \
 218       ASSERT (ii == 0 ||                                \
 219               this_vlib_main->parked_at_barrier == 1);  \
 220       if (this_vlib_main)                               \
 221         vec_add1 (__vlib_mains, this_vlib_main);        \
 222     }                                                   \
 223                                                         \
 224   for (ii = 0; ii < vec_len (__vlib_mains); ii++)       \
 225     {                                                   \
 226       this_vlib_main = __vlib_mains[ii];                \
 227       /* body uses this_vlib_main... */                 \
 228       (body);                                           \
 229     }                                                   \
 230   vec_free (__vlib_mains);                              \
 231 } while (0);
 232
 233 #define foreach_sched_policy \
 234   _(SCHED_OTHER, OTHER, "other") \
 235   _(SCHED_BATCH, BATCH, "batch") \
 236   _(SCHED_IDLE, IDLE, "idle")   \
 237   _(SCHED_FIFO, FIFO, "fifo")   \
 238   _(SCHED_RR, RR, "rr")
 239
 240 typedef enum
 241 {
 242 #define _(v,f,s) SCHED_POLICY_##f = v,
 243   foreach_sched_policy
 244 #undef _
 245     SCHED_POLICY_N,
 246 } sched_policy_t;
 247
 248 typedef struct
 249 {
 250   clib_error_t *(*vlib_launch_thread_cb) (void *fp, vlib_worker_thread_t * w,
 251                                           unsigned lcore_id);
 252   clib_error_t *(*vlib_thread_set_lcore_cb) (u32 thread, u16 lcore);
 253 } vlib_thread_callbacks_t;
 254
 255 typedef struct
 256 {
 257   /* Link list of registrations, built by constructors */
 258   vlib_thread_registration_t *next;
 259
 260   /* Vector of registrations, w/ non-data-structure clones at the top */
 261   vlib_thread_registration_t **registrations;
 262
 263   uword *thread_registrations_by_name;
 264
 265   vlib_worker_thread_t *worker_threads;
 266
 267   /*
 268    * Launch all threads as pthreads,
 269    * not eal_rte_launch (strict affinity) threads
 270    */
 271   int use_pthreads;
 272
 273   /* Number of vlib_main / vnet_main clones */
 274   u32 n_vlib_mains;
 275
 276   /* Number of thread stacks to create */
 277   u32 n_thread_stacks;
 278
 279   /* Number of pthreads */
 280   u32 n_pthreads;
 281
 282   /* Number of threads */
 283   u32 n_threads;
 284
 285   /* Number of cores to skip, must match the core mask */
 286   u32 skip_cores;
 287
 288   /* Thread prefix name */
 289   u8 *thread_prefix;
 290
 291   /* main thread lcore */
 292   u8 main_lcore;
 293
 294   /* Bitmap of available CPU cores */
 295   uword *cpu_core_bitmap;
 296
 297   /* Bitmap of available CPU sockets (NUMA nodes) */
 298   uword *cpu_socket_bitmap;
 299
 300   /* Worker handoff queues */
 301   vlib_frame_queue_main_t *frame_queue_mains;
 302
 303   /* worker thread initialization barrier */
 304   volatile u32 worker_thread_release;
 305
 306   /* scheduling policy */
 307   u32 sched_policy;
 308
 309   /* scheduling policy priority */
 310   u32 sched_priority;
 311
 312   /* callbacks */
 313   vlib_thread_callbacks_t cb;
 314   int extern_thread_mgmt;
 315 } vlib_thread_main_t;
 316
 317 extern vlib_thread_main_t vlib_thread_main;
 318
 319 #include <vlib/global_funcs.h>
 320
 321 #define VLIB_REGISTER_THREAD(x,...)                     \
 322   __VA_ARGS__ vlib_thread_registration_t x;             \
 323 static void __vlib_add_thread_registration_##x (void)   \
 324   __attribute__((__constructor__)) ;                    \
 325 static void __vlib_add_thread_registration_##x (void)   \
 326 {                                                       \
 327   vlib_thread_main_t * tm = &vlib_thread_main;          \
 328   x.next = tm->next;                                    \
 329   tm->next = &x;                                        \
 330 }                                                       \
 331 __VA_ARGS__ vlib_thread_registration_t x
 332
 333 always_inline u32
 334 vlib_num_workers ()
 335 {
 336   return vlib_thread_main.n_vlib_mains - 1;
 337 }
 338
 339 always_inline u32
 340 vlib_get_worker_thread_index (u32 worker_index)
 341 {
 342   return worker_index + 1;
 343 }
 344
 345 always_inline u32
 346 vlib_get_worker_index (u32 thread_index)
 347 {
 348   return thread_index - 1;
 349 }
 350
 351 always_inline u32
 352 vlib_get_current_worker_index ()
 353 {
 354   return vlib_get_thread_index () - 1;
 355 }
 356
 357 static inline void
 358 vlib_worker_thread_barrier_check (void)
 359 {
 360   if (PREDICT_FALSE (*vlib_worker_threads->wait_at_barrier))
 361     {
 362       vlib_main_t *vm;
 363       clib_smp_atomic_add (vlib_worker_threads->workers_at_barrier, 1);
 364       if (CLIB_DEBUG > 0)
 365         {
 366           vm = vlib_get_main ();
 367           vm->parked_at_barrier = 1;
 368         }
 369       while (*vlib_worker_threads->wait_at_barrier)
 370         ;
 371       if (CLIB_DEBUG > 0)
 372         vm->parked_at_barrier = 0;
 373       clib_smp_atomic_add (vlib_worker_threads->workers_at_barrier, -1);
 374
 375       if (PREDICT_FALSE (*vlib_worker_threads->node_reforks_required))
 376         {
 377           vlib_worker_thread_node_refork ();
 378           clib_smp_atomic_add (vlib_worker_threads->node_reforks_required,
 379                                -1);
 380           while (*vlib_worker_threads->node_reforks_required)
 381             ;
 382         }
 383     }
 384 }
 385
 386 always_inline vlib_main_t *
 387 vlib_get_worker_vlib_main (u32 worker_index)
 388 {
 389   vlib_main_t *vm;
 390   vlib_thread_main_t *tm = &vlib_thread_main;
 391   ASSERT (worker_index < tm->n_vlib_mains - 1);
 392   vm = vlib_mains[worker_index + 1];
 393   ASSERT (vm);
 394   return vm;
 395 }
 396
 397 static inline void
 398 vlib_put_frame_queue_elt (vlib_frame_queue_elt_t * hf)
 399 {
 400   CLIB_MEMORY_BARRIER ();
 401   hf->valid = 1;
 402 }
 403
 404 static inline vlib_frame_queue_elt_t *
 405 vlib_get_frame_queue_elt (u32 frame_queue_index, u32 index)
 406 {
 407   vlib_frame_queue_t *fq;
 408   vlib_frame_queue_elt_t *elt;
 409   vlib_thread_main_t *tm = &vlib_thread_main;
 410   vlib_frame_queue_main_t *fqm =
 411     vec_elt_at_index (tm->frame_queue_mains, frame_queue_index);
 412   u64 new_tail;
 413
 414   fq = fqm->vlib_frame_queues[index];
 415   ASSERT (fq);
 416
 417   new_tail = __sync_add_and_fetch (&fq->tail, 1);
 418
 419   /* Wait until a ring slot is available */
 420   while (new_tail >= fq->head_hint + fq->nelts)
 421     vlib_worker_thread_barrier_check ();
 422
 423   elt = fq->elts + (new_tail & (fq->nelts - 1));
 424
 425   /* this would be very bad... */
 426   while (elt->valid)
 427     ;
 428
 429   elt->msg_type = VLIB_FRAME_QUEUE_ELT_DISPATCH_FRAME;
 430   elt->last_n_vectors = elt->n_vectors = 0;
 431
 432   return elt;
 433 }
 434
 435 static inline vlib_frame_queue_t *
 436 is_vlib_frame_queue_congested (u32 frame_queue_index,
 437                                u32 index,
 438                                u32 queue_hi_thresh,
 439                                vlib_frame_queue_t **
 440                                handoff_queue_by_worker_index)
 441 {
 442   vlib_frame_queue_t *fq;
 443   vlib_thread_main_t *tm = &vlib_thread_main;
 444   vlib_frame_queue_main_t *fqm =
 445     vec_elt_at_index (tm->frame_queue_mains, frame_queue_index);
 446
 447   fq = handoff_queue_by_worker_index[index];
 448   if (fq != (vlib_frame_queue_t *) (~0))
 449     return fq;
 450
 451   fq = fqm->vlib_frame_queues[index];
 452   ASSERT (fq);
 453
 454   if (PREDICT_FALSE (fq->tail >= (fq->head_hint + queue_hi_thresh)))
 455     {
 456       /* a valid entry in the array will indicate the queue has reached
 457        * the specified threshold and is congested
 458        */
 459       handoff_queue_by_worker_index[index] = fq;
 460       fq->enqueue_full_events++;
 461       return fq;
 462     }
 463
 464   return NULL;
 465 }
 466
 467 static inline vlib_frame_queue_elt_t *
 468 vlib_get_worker_handoff_queue_elt (u32 frame_queue_index,
 469                                    u32 vlib_worker_index,
 470                                    vlib_frame_queue_elt_t **
 471                                    handoff_queue_elt_by_worker_index)
 472 {
 473   vlib_frame_queue_elt_t *elt;
 474
 475   if (handoff_queue_elt_by_worker_index[vlib_worker_index])
 476     return handoff_queue_elt_by_worker_index[vlib_worker_index];
 477
 478   elt = vlib_get_frame_queue_elt (frame_queue_index, vlib_worker_index);
 479
 480   handoff_queue_elt_by_worker_index[vlib_worker_index] = elt;
 481
 482   return elt;
 483 }
 484
 485 u8 *vlib_thread_stack_init (uword thread_index);
 486
 487 int vlib_thread_cb_register (struct vlib_main_t *vm,
 488                              vlib_thread_callbacks_t * cb);
 489
 490 #endif /* included_vlib_threads_h */
 491
 492 /*
 493  * fd.io coding-style-patch-verification: ON
 494  *
 495  * Local Variables:
 496  * eval: (c-set-style "gnu")
 497  * End:
 498  */