examples/performance-thread/common/lthread_sched.h

   1 /*-
   2  *   BSD LICENSE
   3  *
   4  *   Copyright(c) 2015  Intel Corporation. All rights reserved.
   5  *   All rights reserved.
   6  *
   7  *   Redistribution and use in source and binary forms, with or without
   8  *   modification, are permitted provided that the following conditions
   9  *   are met:
  10  *
  11  *     * Redistributions of source code must retain the above copyright
  12  *       notice, this list of conditions and the following disclaimer.
  13  *     * Redistributions in binary form must reproduce the above copyright
  14  *       notice, this list of conditions and the following disclaimer in
  15  *       the documentation and/or other materials provided with the
  16  *       distribution.
  17  *     * Neither the name of Intel Corporation nor the names of its
  18  *       contributors may be used to endorse or promote products derived
  19  *       from this software without specific prior written permission.
  20  *
  21  *   THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
  22  *   "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
  23  *   LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
  24  *   A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
  25  *   OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
  26  *   SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
  27  *   LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
  28  *   DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
  29  *   THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  30  *   (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
  31  *   OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  32  */
  33
  34 /*
  35  * Some portions of this software is derived from the
  36  * https://github.com/halayli/lthread which carrys the following license.
  37  *
  38  * Copyright (C) 2012, Hasan Alayli <halayli@gmail.com>
  39  *
  40  * Redistribution and use in source and binary forms, with or without
  41  * modification, are permitted provided that the following conditions
  42  * are met:
  43  * 1. Redistributions of source code must retain the above copyright
  44  *    notice, this list of conditions and the following disclaimer.
  45  * 2. Redistributions in binary form must reproduce the above copyright
  46  *    notice, this list of conditions and the following disclaimer in the
  47  *    documentation and/or other materials provided with the distribution.
  48  *
  49  * THIS SOFTWARE IS PROVIDED BY AUTHOR AND CONTRIBUTORS ``AS IS'' AND
  50  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  51  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  52  * ARE DISCLAIMED.  IN NO EVENT SHALL AUTHOR OR CONTRIBUTORS BE LIABLE
  53  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  54  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  55  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  56  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  57  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  58  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  59  * SUCH DAMAGE.
  60  */
  61
  62 #ifndef LTHREAD_SCHED_H_
  63 #define LTHREAD_SCHED_H_
  64
  65 #include "lthread_int.h"
  66 #include "lthread_queue.h"
  67 #include "lthread_objcache.h"
  68 #include "lthread_diag.h"
  69 #include "ctx.h"
  70
  71 /*
  72  * insert an lthread into a queue
  73  */
  74 static inline void
  75 _ready_queue_insert(struct lthread_sched *sched, struct lthread *lt)
  76 {
  77         if (sched == THIS_SCHED)
  78                 _lthread_queue_insert_sp((THIS_SCHED)->ready, lt);
  79         else
  80                 _lthread_queue_insert_mp(sched->pready, lt);
  81 }
  82
  83 /*
  84  * remove an lthread from a queue
  85  */
  86 static inline struct lthread *_ready_queue_remove(struct lthread_queue *q)
  87 {
  88         return _lthread_queue_remove(q);
  89 }
  90
  91 /**
  92  * Return true if the ready queue is empty
  93  */
  94 static inline int _ready_queue_empty(struct lthread_queue *q)
  95 {
  96         return _lthread_queue_empty(q);
  97 }
  98
  99 static inline uint64_t _sched_now(void)
 100 {
 101         uint64_t now = rte_rdtsc();
 102
 103         if (now > (THIS_SCHED)->birth)
 104                 return now - (THIS_SCHED)->birth;
 105         if (now < (THIS_SCHED)->birth)
 106                 return (THIS_SCHED)->birth - now;
 107         /* never return 0 because this means sleep forever */
 108         return 1;
 109 }
 110
 111 static inline void
 112 _affinitize(void) __attribute__ ((always_inline));
 113 static inline void
 114 _affinitize(void)
 115 {
 116         struct lthread *lt = THIS_LTHREAD;
 117
 118         DIAG_EVENT(lt, LT_DIAG_LTHREAD_SUSPENDED, 0, 0);
 119         ctx_switch(&(THIS_SCHED)->ctx, &lt->ctx);
 120 }
 121
 122 static inline void
 123 _suspend(void) __attribute__ ((always_inline));
 124 static inline void
 125 _suspend(void)
 126 {
 127         struct lthread *lt = THIS_LTHREAD;
 128
 129         (THIS_SCHED)->nb_blocked_threads++;
 130         DIAG_EVENT(lt, LT_DIAG_LTHREAD_SUSPENDED, 0, 0);
 131         ctx_switch(&(THIS_SCHED)->ctx, &lt->ctx);
 132         (THIS_SCHED)->nb_blocked_threads--;
 133 }
 134
 135 static inline void
 136 _reschedule(void) __attribute__ ((always_inline));
 137 static inline void
 138 _reschedule(void)
 139 {
 140         struct lthread *lt = THIS_LTHREAD;
 141
 142         DIAG_EVENT(lt, LT_DIAG_LTHREAD_RESCHEDULED, 0, 0);
 143         _ready_queue_insert(THIS_SCHED, lt);
 144         ctx_switch(&(THIS_SCHED)->ctx, &lt->ctx);
 145 }
 146
 147 extern struct lthread_sched *schedcore[];
 148 void _sched_timer_cb(struct rte_timer *tim, void *arg);
 149 void _sched_shutdown(__rte_unused void *arg);
 150
 151
 152 #endif                          /* LTHREAD_SCHED_H_ */