vlib/vlib/threads.h

   1 /*
   2  * Copyright (c) 2015 Cisco and/or its affiliates.
   3  * Licensed under the Apache License, Version 2.0 (the "License");
   4  * you may not use this file except in compliance with the License.
   5  * You may obtain a copy of the License at:
   6  *
   7  *     http://www.apache.org/licenses/LICENSE-2.0
   8  *
   9  * Unless required by applicable law or agreed to in writing, software
  10  * distributed under the License is distributed on an "AS IS" BASIS,
  11  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  12  * See the License for the specific language governing permissions and
  13  * limitations under the License.
  14  */
  15 #ifndef included_vlib_threads_h
  16 #define included_vlib_threads_h
  17
  18 #include <vlib/main.h>
  19 #include <linux/sched.h>
  20
  21 vlib_main_t **vlib_mains;
  22
  23 void vlib_set_thread_name (char *name);
  24
  25 /* arg is actually a vlib__thread_t * */
  26 typedef void (vlib_thread_function_t) (void *arg);
  27
  28 typedef struct vlib_thread_registration_
  29 {
  30   /* constructor generated list of thread registrations */
  31   struct vlib_thread_registration_ *next;
  32
  33   /* config parameters */
  34   char *name;
  35   char *short_name;
  36   vlib_thread_function_t *function;
  37   uword mheap_size;
  38   int fixed_count;
  39   u32 count;
  40   int no_data_structure_clone;
  41   u32 frame_queue_nelts;
  42
  43   /* All threads of this type run on pthreads */
  44   int use_pthreads;
  45   u32 first_index;
  46   uword *coremask;
  47 } vlib_thread_registration_t;
  48
  49 /*
  50  * Frames have their cpu / vlib_main_t index in the low-order N bits
  51  * Make VLIB_MAX_CPUS a power-of-two, please...
  52  */
  53
  54 #ifndef VLIB_MAX_CPUS
  55 #define VLIB_MAX_CPUS 256
  56 #endif
  57
  58 #if VLIB_MAX_CPUS > CLIB_MAX_MHEAPS
  59 #error Please increase number of per-cpu mheaps
  60 #endif
  61
  62 #define VLIB_CPU_MASK (VLIB_MAX_CPUS - 1)       /* 0x3f, max */
  63 #define VLIB_OFFSET_MASK (~VLIB_CPU_MASK)
  64
  65 #define VLIB_LOG2_THREAD_STACK_SIZE (20)
  66 #define VLIB_THREAD_STACK_SIZE (1<<VLIB_LOG2_THREAD_STACK_SIZE)
  67
  68 typedef enum
  69 {
  70   VLIB_FRAME_QUEUE_ELT_DISPATCH_FRAME,
  71 } vlib_frame_queue_msg_type_t;
  72
  73 typedef struct
  74 {
  75   volatile u32 valid;
  76   u32 msg_type;
  77   u32 n_vectors;
  78   u32 last_n_vectors;
  79
  80   /* 256 * 4 = 1024 bytes, even mult of cache line size */
  81   u32 buffer_index[VLIB_FRAME_SIZE];
  82
  83   /* Pad to a cache line boundary */
  84   u8 pad[CLIB_CACHE_LINE_BYTES - 4 * sizeof (u32)];
  85 }
  86 vlib_frame_queue_elt_t;
  87
  88 typedef struct
  89 {
  90   /* First cache line */
  91   volatile u32 *wait_at_barrier;
  92   volatile u32 *workers_at_barrier;
  93   u8 pad0[CLIB_CACHE_LINE_BYTES - (2 * sizeof (u32 *))];
  94
  95   /* Second Cache Line */
  96   void *thread_mheap;
  97   u8 *thread_stack;
  98   void (*thread_function) (void *);
  99   void *thread_function_arg;
 100   i64 recursion_level;
 101   elog_track_t elog_track;
 102   u32 instance_id;
 103   vlib_thread_registration_t *registration;
 104   u8 *name;
 105   u64 barrier_sync_count;
 106
 107   long lwp;
 108   int lcore_id;
 109   pthread_t thread_id;
 110 } vlib_worker_thread_t;
 111
 112 vlib_worker_thread_t *vlib_worker_threads;
 113
 114 typedef struct
 115 {
 116   /* enqueue side */
 117   volatile u64 tail;
 118   u64 enqueues;
 119   u64 enqueue_ticks;
 120   u64 enqueue_vectors;
 121   u32 enqueue_full_events;
 122   u32 enqueue_efd_discards;
 123   u8 pad2[CLIB_CACHE_LINE_BYTES - (2 * sizeof (u32)) - (4 * sizeof (u64))];
 124
 125   /* dequeue side */
 126   volatile u64 head;
 127   u64 dequeues;
 128   u64 dequeue_ticks;
 129   u64 dequeue_vectors;
 130   u64 trace;
 131   u64 vector_threshold;
 132   u8 pad4[CLIB_CACHE_LINE_BYTES - (6 * sizeof (u64))];
 133
 134   /* dequeue hint to enqueue side */
 135   volatile u64 head_hint;
 136   u8 pad5[CLIB_CACHE_LINE_BYTES - sizeof (u64)];
 137
 138   /* read-only, constant, shared */
 139   vlib_frame_queue_elt_t *elts;
 140   u32 nelts;
 141 }
 142 vlib_frame_queue_t;
 143
 144 vlib_frame_queue_t **vlib_frame_queues;
 145
 146 /* Called early, in thread 0's context */
 147 clib_error_t *vlib_thread_init (vlib_main_t * vm);
 148
 149 vlib_worker_thread_t *vlib_alloc_thread (vlib_main_t * vm);
 150
 151 int vlib_frame_queue_enqueue (vlib_main_t * vm, u32 node_runtime_index,
 152                               u32 frame_queue_index, vlib_frame_t * frame,
 153                               vlib_frame_queue_msg_type_t type);
 154
 155 int vlib_frame_queue_dequeue (int thread_id,
 156                               vlib_main_t * vm, vlib_node_main_t * nm);
 157
 158 u64 dispatch_node (vlib_main_t * vm,
 159                    vlib_node_runtime_t * node,
 160                    vlib_node_type_t type,
 161                    vlib_node_state_t dispatch_state,
 162                    vlib_frame_t * frame, u64 last_time_stamp);
 163
 164 u64 dispatch_pending_node (vlib_main_t * vm,
 165                            vlib_pending_frame_t * p, u64 last_time_stamp);
 166
 167 void vlib_worker_thread_node_runtime_update (void);
 168
 169 void vlib_create_worker_threads (vlib_main_t * vm, int n,
 170                                  void (*thread_function) (void *));
 171
 172 void vlib_worker_thread_init (vlib_worker_thread_t * w);
 173
 174 /* Check for a barrier sync request every 30ms */
 175 #define BARRIER_SYNC_DELAY (0.030000)
 176
 177 #if CLIB_DEBUG > 0
 178 /* long barrier timeout, for gdb... */
 179 #define BARRIER_SYNC_TIMEOUT (600.1)
 180 #else
 181 #define BARRIER_SYNC_TIMEOUT (1.0)
 182 #endif
 183
 184 void vlib_worker_thread_barrier_sync (vlib_main_t * vm);
 185 void vlib_worker_thread_barrier_release (vlib_main_t * vm);
 186
 187 always_inline void
 188 vlib_smp_unsafe_warning (void)
 189 {
 190   if (CLIB_DEBUG > 0)
 191     {
 192       if (os_get_cpu_number ())
 193         fformat (stderr, "%s: SMP unsafe warning...\n", __FUNCTION__);
 194     }
 195 }
 196
 197 typedef enum
 198 {
 199   VLIB_WORKER_THREAD_FORK_FIXUP_ILLEGAL = 0,
 200   VLIB_WORKER_THREAD_FORK_FIXUP_NEW_SW_IF_INDEX,
 201 } vlib_fork_fixup_t;
 202
 203 void vlib_worker_thread_fork_fixup (vlib_fork_fixup_t which);
 204
 205 static inline void
 206 vlib_worker_thread_barrier_check (void)
 207 {
 208   if (PREDICT_FALSE (*vlib_worker_threads->wait_at_barrier))
 209     {
 210       clib_smp_atomic_add (vlib_worker_threads->workers_at_barrier, 1);
 211       while (*vlib_worker_threads->wait_at_barrier)
 212         ;
 213       clib_smp_atomic_add (vlib_worker_threads->workers_at_barrier, -1);
 214     }
 215 }
 216
 217 #define foreach_vlib_main(body)                                         \
 218 do {                                                                    \
 219     vlib_main_t ** __vlib_mains = 0, *this_vlib_main;                   \
 220     int ii;                                                             \
 221                                                                         \
 222     if (vec_len (vlib_mains) == 0)                                      \
 223         vec_add1 (__vlib_mains, &vlib_global_main);                     \
 224     else                                                                \
 225     {                                                                   \
 226         for (ii = 0; ii < vec_len (vlib_mains); ii++)                   \
 227         {                                                               \
 228             this_vlib_main = vlib_mains[ii];                            \
 229             if (this_vlib_main)                                         \
 230                 vec_add1 (__vlib_mains, this_vlib_main);                \
 231         }                                                               \
 232     }                                                                   \
 233                                                                         \
 234     for (ii = 0; ii < vec_len (__vlib_mains); ii++)                     \
 235     {                                                                   \
 236         this_vlib_main = __vlib_mains[ii];                              \
 237         /* body uses this_vlib_main... */                               \
 238         (body);                                                         \
 239     }                                                                   \
 240     vec_free (__vlib_mains);                                            \
 241 } while (0);
 242
 243
 244 /* Early-Fast-Discard (EFD) */
 245 #define VLIB_EFD_DISABLED                   0
 246 #define VLIB_EFD_DISCARD_ENABLED            (1 << 0)
 247 #define VLIB_EFD_MONITOR_ENABLED            (1 << 1)
 248
 249 #define VLIB_EFD_DEF_WORKER_HI_THRESH_PCT   90
 250
 251 /* EFD worker thread settings */
 252 typedef struct vlib_efd_t
 253 {
 254   u16 enabled;
 255   u16 queue_hi_thresh;
 256   u8 ip_prec_bitmap;
 257   u8 mpls_exp_bitmap;
 258   u8 vlan_cos_bitmap;
 259   u8 pad;
 260 } vlib_efd_t;
 261
 262 #define foreach_sched_policy \
 263   _(SCHED_OTHER, OTHER, "other") \
 264   _(SCHED_BATCH, BATCH, "batch") \
 265   _(SCHED_IDLE, IDLE, "idle")   \
 266   _(SCHED_FIFO, FIFO, "fifo")   \
 267   _(SCHED_RR, RR, "rr")
 268
 269 typedef enum
 270 {
 271 #define _(v,f,s) SCHED_POLICY_##f = v,
 272   foreach_sched_policy
 273 #undef _
 274     SCHED_POLICY_N,
 275 } sched_policy_t;
 276
 277 typedef struct
 278 {
 279   /* Link list of registrations, built by constructors */
 280   vlib_thread_registration_t *next;
 281
 282   /* Vector of registrations, w/ non-data-structure clones at the top */
 283   vlib_thread_registration_t **registrations;
 284
 285   uword *thread_registrations_by_name;
 286
 287   vlib_worker_thread_t *worker_threads;
 288
 289   /*
 290    * Launch all threads as pthreads,
 291    * not eal_rte_launch (strict affinity) threads
 292    */
 293   int use_pthreads;
 294
 295   /* Number of vlib_main / vnet_main clones */
 296   u32 n_vlib_mains;
 297
 298   /* Number of thread stacks to create */
 299   u32 n_thread_stacks;
 300
 301   /* Number of pthreads */
 302   u32 n_pthreads;
 303
 304   /* Number of DPDK eal threads */
 305   u32 n_eal_threads;
 306
 307   /* Number of cores to skip, must match the core mask */
 308   u32 skip_cores;
 309
 310   /* Thread prefix name */
 311   u8 *thread_prefix;
 312
 313   /* main thread lcore */
 314   u8 main_lcore;
 315
 316   /* Bitmap of available CPU cores */
 317   uword *cpu_core_bitmap;
 318
 319   /* Bitmap of available CPU sockets (NUMA nodes) */
 320   uword *cpu_socket_bitmap;
 321
 322   vlib_efd_t efd;
 323
 324   /* handoff node index */
 325   u32 handoff_dispatch_node_index;
 326
 327   /* for frame queue tracing */
 328   frame_queue_trace_t *frame_queue_traces;
 329   frame_queue_nelt_counter_t *frame_queue_histogram;
 330
 331   /* worker thread initialization barrier */
 332   volatile u32 worker_thread_release;
 333
 334   /* scheduling policy */
 335   u32 sched_policy;
 336
 337   /* scheduling policy priority */
 338   u32 sched_priority;
 339
 340 } vlib_thread_main_t;
 341
 342 vlib_thread_main_t vlib_thread_main;
 343
 344 #define VLIB_REGISTER_THREAD(x,...)                     \
 345   __VA_ARGS__ vlib_thread_registration_t x;             \
 346 static void __vlib_add_thread_registration_##x (void)   \
 347   __attribute__((__constructor__)) ;                    \
 348 static void __vlib_add_thread_registration_##x (void)   \
 349 {                                                       \
 350   vlib_thread_main_t * tm = &vlib_thread_main;          \
 351   x.next = tm->next;                                    \
 352   tm->next = &x;                                        \
 353 }                                                       \
 354 __VA_ARGS__ vlib_thread_registration_t x
 355
 356 #endif /* included_vlib_threads_h */
 357
 358 /*
 359  * fd.io coding-style-patch-verification: ON
 360  *
 361  * Local Variables:
 362  * eval: (c-set-style "gnu")
 363  * End:
 364  */