src/vlib/threads.h

   1 /*
   2  * Copyright (c) 2015 Cisco and/or its affiliates.
   3  * Licensed under the Apache License, Version 2.0 (the "License");
   4  * you may not use this file except in compliance with the License.
   5  * You may obtain a copy of the License at:
   6  *
   7  *     http://www.apache.org/licenses/LICENSE-2.0
   8  *
   9  * Unless required by applicable law or agreed to in writing, software
  10  * distributed under the License is distributed on an "AS IS" BASIS,
  11  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  12  * See the License for the specific language governing permissions and
  13  * limitations under the License.
  14  */
  15 #ifndef included_vlib_threads_h
  16 #define included_vlib_threads_h
  17
  18 #include <vlib/main.h>
  19 #include <linux/sched.h>
  20
  21 /*
  22  * To enable detailed tracing of barrier usage, including call stacks and
  23  * timings, define BARRIER_TRACING here or in relevant TAGS.  If also used
  24  * with CLIB_DEBUG, timing will _not_ be representative of normal code
  25  * execution.
  26  *
  27  */
  28
  29 // #define BARRIER_TRACING 1
  30
  31 /*
  32  * Two options for barrier tracing output: syslog & elog.
  33  */
  34
  35 // #define BARRIER_TRACING_ELOG 1
  36
  37 extern vlib_main_t **vlib_mains;
  38
  39 void vlib_set_thread_name (char *name);
  40
  41 /* arg is actually a vlib__thread_t * */
  42 typedef void (vlib_thread_function_t) (void *arg);
  43
  44 typedef struct vlib_thread_registration_
  45 {
  46   /* constructor generated list of thread registrations */
  47   struct vlib_thread_registration_ *next;
  48
  49   /* config parameters */
  50   char *name;
  51   char *short_name;
  52   vlib_thread_function_t *function;
  53   uword mheap_size;
  54   int fixed_count;
  55   u32 count;
  56   int no_data_structure_clone;
  57   u32 frame_queue_nelts;
  58
  59   /* All threads of this type run on pthreads */
  60   int use_pthreads;
  61   u32 first_index;
  62   uword *coremask;
  63 } vlib_thread_registration_t;
  64
  65 /*
  66  * Frames have their cpu / vlib_main_t index in the low-order N bits
  67  * Make VLIB_MAX_CPUS a power-of-two, please...
  68  */
  69
  70 #ifndef VLIB_MAX_CPUS
  71 #define VLIB_MAX_CPUS 256
  72 #endif
  73
  74 #if VLIB_MAX_CPUS > CLIB_MAX_MHEAPS
  75 #error Please increase number of per-cpu mheaps
  76 #endif
  77
  78 #define VLIB_CPU_MASK (VLIB_MAX_CPUS - 1)       /* 0x3f, max */
  79 #define VLIB_OFFSET_MASK (~VLIB_CPU_MASK)
  80
  81 #define VLIB_LOG2_THREAD_STACK_SIZE (21)
  82 #define VLIB_THREAD_STACK_SIZE (1<<VLIB_LOG2_THREAD_STACK_SIZE)
  83
  84 typedef enum
  85 {
  86   VLIB_FRAME_QUEUE_ELT_DISPATCH_FRAME,
  87 } vlib_frame_queue_msg_type_t;
  88
  89 typedef struct
  90 {
  91   CLIB_CACHE_LINE_ALIGN_MARK (cacheline0);
  92   volatile u32 valid;
  93   u32 msg_type;
  94   u32 n_vectors;
  95   u32 last_n_vectors;
  96
  97   /* 256 * 4 = 1024 bytes, even mult of cache line size */
  98   u32 buffer_index[VLIB_FRAME_SIZE];
  99 }
 100 vlib_frame_queue_elt_t;
 101
 102 typedef struct
 103 {
 104   /* First cache line */
 105   CLIB_CACHE_LINE_ALIGN_MARK (cacheline0);
 106   volatile u32 *wait_at_barrier;
 107   volatile u32 *workers_at_barrier;
 108
 109   /* Second Cache Line */
 110     CLIB_CACHE_LINE_ALIGN_MARK (cacheline1);
 111   void *thread_mheap;
 112   u8 *thread_stack;
 113   void (*thread_function) (void *);
 114   void *thread_function_arg;
 115   i64 recursion_level;
 116   elog_track_t elog_track;
 117   u32 instance_id;
 118   vlib_thread_registration_t *registration;
 119   u8 *name;
 120   u64 barrier_sync_count;
 121 #ifdef BARRIER_TRACING
 122   const char *barrier_caller;
 123   const char *barrier_context;
 124 #endif
 125   volatile u32 *node_reforks_required;
 126
 127   long lwp;
 128   int lcore_id;
 129   pthread_t thread_id;
 130 } vlib_worker_thread_t;
 131
 132 extern vlib_worker_thread_t *vlib_worker_threads;
 133
 134 typedef struct
 135 {
 136   /* enqueue side */
 137   CLIB_CACHE_LINE_ALIGN_MARK (cacheline0);
 138   volatile u64 tail;
 139   u64 enqueues;
 140   u64 enqueue_ticks;
 141   u64 enqueue_vectors;
 142   u32 enqueue_full_events;
 143
 144   /* dequeue side */
 145     CLIB_CACHE_LINE_ALIGN_MARK (cacheline1);
 146   volatile u64 head;
 147   u64 dequeues;
 148   u64 dequeue_ticks;
 149   u64 dequeue_vectors;
 150   u64 trace;
 151   u64 vector_threshold;
 152
 153   /* dequeue hint to enqueue side */
 154     CLIB_CACHE_LINE_ALIGN_MARK (cacheline2);
 155   volatile u64 head_hint;
 156
 157   /* read-only, constant, shared */
 158     CLIB_CACHE_LINE_ALIGN_MARK (cacheline3);
 159   vlib_frame_queue_elt_t *elts;
 160   u32 nelts;
 161 }
 162 vlib_frame_queue_t;
 163
 164 typedef struct
 165 {
 166   u32 node_index;
 167   vlib_frame_queue_t **vlib_frame_queues;
 168
 169   /* for frame queue tracing */
 170   frame_queue_trace_t *frame_queue_traces;
 171   frame_queue_nelt_counter_t *frame_queue_histogram;
 172 } vlib_frame_queue_main_t;
 173
 174 typedef struct
 175 {
 176   uword node_index;
 177   uword type_opaque;
 178   uword data;
 179 } vlib_process_signal_event_mt_args_t;
 180
 181 /* Called early, in thread 0's context */
 182 clib_error_t *vlib_thread_init (vlib_main_t * vm);
 183
 184 int vlib_frame_queue_enqueue (vlib_main_t * vm, u32 node_runtime_index,
 185                               u32 frame_queue_index, vlib_frame_t * frame,
 186                               vlib_frame_queue_msg_type_t type);
 187
 188 int
 189 vlib_frame_queue_dequeue (vlib_main_t * vm, vlib_frame_queue_main_t * fqm);
 190
 191 void vlib_worker_thread_node_runtime_update (void);
 192
 193 void vlib_create_worker_threads (vlib_main_t * vm, int n,
 194                                  void (*thread_function) (void *));
 195
 196 void vlib_worker_thread_init (vlib_worker_thread_t * w);
 197 u32 vlib_frame_queue_main_init (u32 node_index, u32 frame_queue_nelts);
 198
 199 /* Check for a barrier sync request every 30ms */
 200 #define BARRIER_SYNC_DELAY (0.030000)
 201
 202 #if CLIB_DEBUG > 0
 203 /* long barrier timeout, for gdb... */
 204 #define BARRIER_SYNC_TIMEOUT (600.1)
 205 #else
 206 #define BARRIER_SYNC_TIMEOUT (1.0)
 207 #endif
 208
 209 #ifdef BARRIER_TRACING
 210 #define vlib_worker_thread_barrier_sync(X) {vlib_worker_threads[0].barrier_caller=__FUNCTION__;vlib_worker_thread_barrier_sync_int(X);}
 211 #else
 212 #define vlib_worker_thread_barrier_sync(X) vlib_worker_thread_barrier_sync_int(X)
 213 #endif
 214
 215
 216 void vlib_worker_thread_barrier_sync_int (vlib_main_t * vm);
 217 void vlib_worker_thread_barrier_release (vlib_main_t * vm);
 218 void vlib_worker_thread_node_refork (void);
 219
 220 static_always_inline uword
 221 vlib_get_thread_index (void)
 222 {
 223   return __os_thread_index;
 224 }
 225
 226 always_inline void
 227 vlib_smp_unsafe_warning (void)
 228 {
 229   if (CLIB_DEBUG > 0)
 230     {
 231       if (vlib_get_thread_index ())
 232         fformat (stderr, "%s: SMP unsafe warning...\n", __FUNCTION__);
 233     }
 234 }
 235
 236 typedef enum
 237 {
 238   VLIB_WORKER_THREAD_FORK_FIXUP_ILLEGAL = 0,
 239   VLIB_WORKER_THREAD_FORK_FIXUP_NEW_SW_IF_INDEX,
 240 } vlib_fork_fixup_t;
 241
 242 void vlib_worker_thread_fork_fixup (vlib_fork_fixup_t which);
 243
 244 #define foreach_vlib_main(body)                         \
 245 do {                                                    \
 246   vlib_main_t ** __vlib_mains = 0, *this_vlib_main;     \
 247   int ii;                                               \
 248                                                         \
 249   for (ii = 0; ii < vec_len (vlib_mains); ii++)         \
 250     {                                                   \
 251       this_vlib_main = vlib_mains[ii];                  \
 252       ASSERT (ii == 0 ||                                \
 253               this_vlib_main->parked_at_barrier == 1);  \
 254       if (this_vlib_main)                               \
 255         vec_add1 (__vlib_mains, this_vlib_main);        \
 256     }                                                   \
 257                                                         \
 258   for (ii = 0; ii < vec_len (__vlib_mains); ii++)       \
 259     {                                                   \
 260       this_vlib_main = __vlib_mains[ii];                \
 261       /* body uses this_vlib_main... */                 \
 262       (body);                                           \
 263     }                                                   \
 264   vec_free (__vlib_mains);                              \
 265 } while (0);
 266
 267 #define foreach_sched_policy \
 268   _(SCHED_OTHER, OTHER, "other") \
 269   _(SCHED_BATCH, BATCH, "batch") \
 270   _(SCHED_IDLE, IDLE, "idle")   \
 271   _(SCHED_FIFO, FIFO, "fifo")   \
 272   _(SCHED_RR, RR, "rr")
 273
 274 typedef enum
 275 {
 276 #define _(v,f,s) SCHED_POLICY_##f = v,
 277   foreach_sched_policy
 278 #undef _
 279     SCHED_POLICY_N,
 280 } sched_policy_t;
 281
 282 typedef struct
 283 {
 284   clib_error_t *(*vlib_launch_thread_cb) (void *fp, vlib_worker_thread_t * w,
 285                                           unsigned lcore_id);
 286   clib_error_t *(*vlib_thread_set_lcore_cb) (u32 thread, u16 lcore);
 287 } vlib_thread_callbacks_t;
 288
 289 typedef struct
 290 {
 291   /* Link list of registrations, built by constructors */
 292   vlib_thread_registration_t *next;
 293
 294   /* Vector of registrations, w/ non-data-structure clones at the top */
 295   vlib_thread_registration_t **registrations;
 296
 297   uword *thread_registrations_by_name;
 298
 299   vlib_worker_thread_t *worker_threads;
 300
 301   /*
 302    * Launch all threads as pthreads,
 303    * not eal_rte_launch (strict affinity) threads
 304    */
 305   int use_pthreads;
 306
 307   /* Number of vlib_main / vnet_main clones */
 308   u32 n_vlib_mains;
 309
 310   /* Number of thread stacks to create */
 311   u32 n_thread_stacks;
 312
 313   /* Number of pthreads */
 314   u32 n_pthreads;
 315
 316   /* Number of threads */
 317   u32 n_threads;
 318
 319   /* Number of cores to skip, must match the core mask */
 320   u32 skip_cores;
 321
 322   /* Thread prefix name */
 323   u8 *thread_prefix;
 324
 325   /* main thread lcore */
 326   u32 main_lcore;
 327
 328   /* Bitmap of available CPU cores */
 329   uword *cpu_core_bitmap;
 330
 331   /* Bitmap of available CPU sockets (NUMA nodes) */
 332   uword *cpu_socket_bitmap;
 333
 334   /* Worker handoff queues */
 335   vlib_frame_queue_main_t *frame_queue_mains;
 336
 337   /* worker thread initialization barrier */
 338   volatile u32 worker_thread_release;
 339
 340   /* scheduling policy */
 341   u32 sched_policy;
 342
 343   /* scheduling policy priority */
 344   u32 sched_priority;
 345
 346   /* callbacks */
 347   vlib_thread_callbacks_t cb;
 348   int extern_thread_mgmt;
 349 } vlib_thread_main_t;
 350
 351 extern vlib_thread_main_t vlib_thread_main;
 352
 353 #include <vlib/global_funcs.h>
 354
 355 #define VLIB_REGISTER_THREAD(x,...)                     \
 356   __VA_ARGS__ vlib_thread_registration_t x;             \
 357 static void __vlib_add_thread_registration_##x (void)   \
 358   __attribute__((__constructor__)) ;                    \
 359 static void __vlib_add_thread_registration_##x (void)   \
 360 {                                                       \
 361   vlib_thread_main_t * tm = &vlib_thread_main;          \
 362   x.next = tm->next;                                    \
 363   tm->next = &x;                                        \
 364 }                                                       \
 365 static void __vlib_rm_thread_registration_##x (void)    \
 366   __attribute__((__destructor__)) ;                     \
 367 static void __vlib_rm_thread_registration_##x (void)    \
 368 {                                                       \
 369   vlib_thread_main_t * tm = &vlib_thread_main;          \
 370   VLIB_REMOVE_FROM_LINKED_LIST (tm->next, &x, next);    \
 371 }                                                       \
 372 __VA_ARGS__ vlib_thread_registration_t x
 373
 374 always_inline u32
 375 vlib_num_workers ()
 376 {
 377   return vlib_thread_main.n_vlib_mains - 1;
 378 }
 379
 380 always_inline u32
 381 vlib_get_worker_thread_index (u32 worker_index)
 382 {
 383   return worker_index + 1;
 384 }
 385
 386 always_inline u32
 387 vlib_get_worker_index (u32 thread_index)
 388 {
 389   return thread_index - 1;
 390 }
 391
 392 always_inline u32
 393 vlib_get_current_worker_index ()
 394 {
 395   return vlib_get_thread_index () - 1;
 396 }
 397
 398 static inline void
 399 vlib_worker_thread_barrier_check (void)
 400 {
 401   if (PREDICT_FALSE (*vlib_worker_threads->wait_at_barrier))
 402     {
 403       vlib_main_t *vm;
 404       clib_smp_atomic_add (vlib_worker_threads->workers_at_barrier, 1);
 405       if (CLIB_DEBUG > 0)
 406         {
 407           vm = vlib_get_main ();
 408           vm->parked_at_barrier = 1;
 409         }
 410       while (*vlib_worker_threads->wait_at_barrier)
 411         ;
 412       if (CLIB_DEBUG > 0)
 413         vm->parked_at_barrier = 0;
 414       clib_smp_atomic_add (vlib_worker_threads->workers_at_barrier, -1);
 415
 416       if (PREDICT_FALSE (*vlib_worker_threads->node_reforks_required))
 417         {
 418           vlib_worker_thread_node_refork ();
 419           clib_smp_atomic_add (vlib_worker_threads->node_reforks_required,
 420                                -1);
 421           while (*vlib_worker_threads->node_reforks_required)
 422             ;
 423         }
 424     }
 425 }
 426
 427 always_inline vlib_main_t *
 428 vlib_get_worker_vlib_main (u32 worker_index)
 429 {
 430   vlib_main_t *vm;
 431   vlib_thread_main_t *tm = &vlib_thread_main;
 432   ASSERT (worker_index < tm->n_vlib_mains - 1);
 433   vm = vlib_mains[worker_index + 1];
 434   ASSERT (vm);
 435   return vm;
 436 }
 437
 438 static inline void
 439 vlib_put_frame_queue_elt (vlib_frame_queue_elt_t * hf)
 440 {
 441   CLIB_MEMORY_BARRIER ();
 442   hf->valid = 1;
 443 }
 444
 445 static inline vlib_frame_queue_elt_t *
 446 vlib_get_frame_queue_elt (u32 frame_queue_index, u32 index)
 447 {
 448   vlib_frame_queue_t *fq;
 449   vlib_frame_queue_elt_t *elt;
 450   vlib_thread_main_t *tm = &vlib_thread_main;
 451   vlib_frame_queue_main_t *fqm =
 452     vec_elt_at_index (tm->frame_queue_mains, frame_queue_index);
 453   u64 new_tail;
 454
 455   fq = fqm->vlib_frame_queues[index];
 456   ASSERT (fq);
 457
 458   new_tail = __sync_add_and_fetch (&fq->tail, 1);
 459
 460   /* Wait until a ring slot is available */
 461   while (new_tail >= fq->head_hint + fq->nelts)
 462     vlib_worker_thread_barrier_check ();
 463
 464   elt = fq->elts + (new_tail & (fq->nelts - 1));
 465
 466   /* this would be very bad... */
 467   while (elt->valid)
 468     ;
 469
 470   elt->msg_type = VLIB_FRAME_QUEUE_ELT_DISPATCH_FRAME;
 471   elt->last_n_vectors = elt->n_vectors = 0;
 472
 473   return elt;
 474 }
 475
 476 static inline vlib_frame_queue_t *
 477 is_vlib_frame_queue_congested (u32 frame_queue_index,
 478                                u32 index,
 479                                u32 queue_hi_thresh,
 480                                vlib_frame_queue_t **
 481                                handoff_queue_by_worker_index)
 482 {
 483   vlib_frame_queue_t *fq;
 484   vlib_thread_main_t *tm = &vlib_thread_main;
 485   vlib_frame_queue_main_t *fqm =
 486     vec_elt_at_index (tm->frame_queue_mains, frame_queue_index);
 487
 488   fq = handoff_queue_by_worker_index[index];
 489   if (fq != (vlib_frame_queue_t *) (~0))
 490     return fq;
 491
 492   fq = fqm->vlib_frame_queues[index];
 493   ASSERT (fq);
 494
 495   if (PREDICT_FALSE (fq->tail >= (fq->head_hint + queue_hi_thresh)))
 496     {
 497       /* a valid entry in the array will indicate the queue has reached
 498        * the specified threshold and is congested
 499        */
 500       handoff_queue_by_worker_index[index] = fq;
 501       fq->enqueue_full_events++;
 502       return fq;
 503     }
 504
 505   return NULL;
 506 }
 507
 508 static inline vlib_frame_queue_elt_t *
 509 vlib_get_worker_handoff_queue_elt (u32 frame_queue_index,
 510                                    u32 vlib_worker_index,
 511                                    vlib_frame_queue_elt_t **
 512                                    handoff_queue_elt_by_worker_index)
 513 {
 514   vlib_frame_queue_elt_t *elt;
 515
 516   if (handoff_queue_elt_by_worker_index[vlib_worker_index])
 517     return handoff_queue_elt_by_worker_index[vlib_worker_index];
 518
 519   elt = vlib_get_frame_queue_elt (frame_queue_index, vlib_worker_index);
 520
 521   handoff_queue_elt_by_worker_index[vlib_worker_index] = elt;
 522
 523   return elt;
 524 }
 525
 526 u8 *vlib_thread_stack_init (uword thread_index);
 527 int vlib_thread_cb_register (struct vlib_main_t *vm,
 528                              vlib_thread_callbacks_t * cb);
 529 extern void *rpc_call_main_thread_cb_fn;
 530
 531 void
 532 vlib_process_signal_event_mt_helper (vlib_process_signal_event_mt_args_t *
 533                                      args);
 534 void vlib_rpc_call_main_thread (void *function, u8 * args, u32 size);
 535
 536 #endif /* included_vlib_threads_h */
 537
 538 /*
 539  * fd.io coding-style-patch-verification: ON
 540  *
 541  * Local Variables:
 542  * eval: (c-set-style "gnu")
 543  * End:
 544  */