src/vnet/devices/devices.c

   1 /*
   2  * Copyright (c) 2015 Cisco and/or its affiliates.
   3  * Licensed under the Apache License, Version 2.0 (the "License");
   4  * you may not use this file except in compliance with the License.
   5  * You may obtain a copy of the License at:
   6  *
   7  *     http://www.apache.org/licenses/LICENSE-2.0
   8  *
   9  * Unless required by applicable law or agreed to in writing, software
  10  * distributed under the License is distributed on an "AS IS" BASIS,
  11  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  12  * See the License for the specific language governing permissions and
  13  * limitations under the License.
  14  */
  15
  16 #include <vnet/vnet.h>
  17 #include <vnet/devices/devices.h>
  18 #include <vnet/feature/feature.h>
  19 #include <vnet/ip/ip.h>
  20 #include <vnet/ethernet/ethernet.h>
  21
  22 vnet_device_main_t vnet_device_main;
  23
  24 static uword
  25 device_input_fn (vlib_main_t * vm, vlib_node_runtime_t * node,
  26                  vlib_frame_t * frame)
  27 {
  28   return 0;
  29 }
  30
  31 /* *INDENT-OFF* */
  32 VLIB_REGISTER_NODE (device_input_node) = {
  33   .function = device_input_fn,
  34   .name = "device-input",
  35   .runtime_data_bytes = sizeof (vnet_device_input_runtime_t),
  36   .type = VLIB_NODE_TYPE_INPUT,
  37   .state = VLIB_NODE_STATE_DISABLED,
  38   .n_next_nodes = VNET_DEVICE_INPUT_N_NEXT_NODES,
  39   .next_nodes = VNET_DEVICE_INPUT_NEXT_NODES,
  40 };
  41
  42 /* Table defines how much we need to advance current data pointer
  43    in the buffer if we shortcut to l3 nodes */
  44
  45 const u32 __attribute__((aligned (CLIB_CACHE_LINE_BYTES)))
  46 device_input_next_node_advance[((VNET_DEVICE_INPUT_N_NEXT_NODES /
  47                                 CLIB_CACHE_LINE_BYTES) +1) * CLIB_CACHE_LINE_BYTES] =
  48 {
  49       [VNET_DEVICE_INPUT_NEXT_IP4_INPUT] = sizeof (ethernet_header_t),
  50       [VNET_DEVICE_INPUT_NEXT_IP4_NCS_INPUT] = sizeof (ethernet_header_t),
  51       [VNET_DEVICE_INPUT_NEXT_IP6_INPUT] = sizeof (ethernet_header_t),
  52       [VNET_DEVICE_INPUT_NEXT_MPLS_INPUT] = sizeof (ethernet_header_t),
  53 };
  54
  55 VNET_FEATURE_ARC_INIT (device_input, static) =
  56 {
  57   .arc_name  = "device-input",
  58   .start_nodes = VNET_FEATURES ("device-input"),
  59   .arc_index_ptr = &feature_main.device_input_feature_arc_index,
  60 };
  61
  62 VNET_FEATURE_INIT (l2_patch, static) = {
  63   .arc_name = "device-input",
  64   .node_name = "l2-patch",
  65   .runs_before = VNET_FEATURES ("ethernet-input"),
  66 };
  67
  68 VNET_FEATURE_INIT (worker_handoff, static) = {
  69   .arc_name = "device-input",
  70   .node_name = "worker-handoff",
  71   .runs_before = VNET_FEATURES ("ethernet-input"),
  72 };
  73
  74 VNET_FEATURE_INIT (span_input, static) = {
  75   .arc_name = "device-input",
  76   .node_name = "span-input",
  77   .runs_before = VNET_FEATURES ("ethernet-input"),
  78 };
  79
  80 VNET_FEATURE_INIT (p2p_ethernet_node, static) = {
  81   .arc_name = "device-input",
  82   .node_name = "p2p-ethernet-input",
  83   .runs_before = VNET_FEATURES ("ethernet-input"),
  84 };
  85
  86 VNET_FEATURE_INIT (ethernet_input, static) = {
  87   .arc_name = "device-input",
  88   .node_name = "ethernet-input",
  89   .runs_before = 0, /* not before any other features */
  90 };
  91 /* *INDENT-ON* */
  92
  93 static int
  94 vnet_device_queue_sort (void *a1, void *a2)
  95 {
  96   vnet_device_and_queue_t *dq1 = a1;
  97   vnet_device_and_queue_t *dq2 = a2;
  98
  99   if (dq1->dev_instance > dq2->dev_instance)
 100     return 1;
 101   else if (dq1->dev_instance < dq2->dev_instance)
 102     return -1;
 103   else if (dq1->queue_id > dq2->queue_id)
 104     return 1;
 105   else if (dq1->queue_id < dq2->queue_id)
 106     return -1;
 107   else
 108     return 0;
 109 }
 110
 111 static void
 112 vnet_device_queue_update (vnet_main_t * vnm, vnet_device_input_runtime_t * rt)
 113 {
 114   vnet_device_and_queue_t *dq;
 115   vnet_hw_interface_t *hw;
 116
 117   vec_sort_with_function (rt->devices_and_queues, vnet_device_queue_sort);
 118
 119   vec_foreach (dq, rt->devices_and_queues)
 120   {
 121     hw = vnet_get_hw_interface (vnm, dq->hw_if_index);
 122     vec_validate (hw->dq_runtime_index_by_queue, dq->queue_id);
 123     hw->dq_runtime_index_by_queue[dq->queue_id] = dq - rt->devices_and_queues;
 124   }
 125 }
 126
 127 void
 128 vnet_hw_interface_assign_rx_thread (vnet_main_t * vnm, u32 hw_if_index,
 129                                     u16 queue_id, uword thread_index)
 130 {
 131   vnet_device_main_t *vdm = &vnet_device_main;
 132   vlib_main_t *vm, *vm0;
 133   vnet_device_input_runtime_t *rt;
 134   vnet_device_and_queue_t *dq;
 135   vnet_hw_interface_t *hw = vnet_get_hw_interface (vnm, hw_if_index);
 136
 137   ASSERT (hw->input_node_index > 0);
 138
 139   if (vdm->first_worker_thread_index == 0)
 140     thread_index = 0;
 141
 142   if (thread_index != 0 &&
 143       (thread_index < vdm->first_worker_thread_index ||
 144        thread_index > vdm->last_worker_thread_index))
 145     {
 146       thread_index = vdm->next_worker_thread_index++;
 147       if (vdm->next_worker_thread_index > vdm->last_worker_thread_index)
 148         vdm->next_worker_thread_index = vdm->first_worker_thread_index;
 149     }
 150
 151   vm = vlib_mains[thread_index];
 152   vm0 = vlib_get_main ();
 153
 154   vlib_worker_thread_barrier_sync (vm0);
 155
 156   rt = vlib_node_get_runtime_data (vm, hw->input_node_index);
 157
 158   vec_add2 (rt->devices_and_queues, dq, 1);
 159   dq->hw_if_index = hw_if_index;
 160   dq->dev_instance = hw->dev_instance;
 161   dq->queue_id = queue_id;
 162   dq->mode = VNET_HW_INTERFACE_RX_MODE_POLLING;
 163   rt->enabled_node_state = VLIB_NODE_STATE_POLLING;
 164
 165   vnet_device_queue_update (vnm, rt);
 166   vec_validate (hw->input_node_thread_index_by_queue, queue_id);
 167   vec_validate (hw->rx_mode_by_queue, queue_id);
 168   hw->input_node_thread_index_by_queue[queue_id] = thread_index;
 169   hw->rx_mode_by_queue[queue_id] = VNET_HW_INTERFACE_RX_MODE_POLLING;
 170
 171   vlib_worker_thread_barrier_release (vm0);
 172
 173   vlib_node_set_state (vm, hw->input_node_index, rt->enabled_node_state);
 174 }
 175
 176 int
 177 vnet_hw_interface_unassign_rx_thread (vnet_main_t * vnm, u32 hw_if_index,
 178                                       u16 queue_id)
 179 {
 180   vlib_main_t *vm, *vm0;
 181   vnet_hw_interface_t *hw = vnet_get_hw_interface (vnm, hw_if_index);
 182   vnet_device_input_runtime_t *rt;
 183   vnet_device_and_queue_t *dq;
 184   uword old_thread_index;
 185   vnet_hw_interface_rx_mode mode;
 186
 187   if (hw->input_node_thread_index_by_queue == 0)
 188     return VNET_API_ERROR_INVALID_INTERFACE;
 189
 190   if (vec_len (hw->input_node_thread_index_by_queue) < queue_id + 1)
 191     return VNET_API_ERROR_INVALID_INTERFACE;
 192
 193   old_thread_index = hw->input_node_thread_index_by_queue[queue_id];
 194
 195   vm = vlib_mains[old_thread_index];
 196
 197   rt = vlib_node_get_runtime_data (vm, hw->input_node_index);
 198
 199   vec_foreach (dq, rt->devices_and_queues)
 200     if (dq->hw_if_index == hw_if_index && dq->queue_id == queue_id)
 201     {
 202       mode = dq->mode;
 203       goto delete;
 204     }
 205
 206   return VNET_API_ERROR_INVALID_INTERFACE;
 207
 208 delete:
 209
 210   vm0 = vlib_get_main ();
 211   vlib_worker_thread_barrier_sync (vm0);
 212   vec_del1 (rt->devices_and_queues, dq - rt->devices_and_queues);
 213   vnet_device_queue_update (vnm, rt);
 214   hw->rx_mode_by_queue[queue_id] = VNET_HW_INTERFACE_RX_MODE_UNKNOWN;
 215   vlib_worker_thread_barrier_release (vm0);
 216
 217   if (vec_len (rt->devices_and_queues) == 0)
 218     vlib_node_set_state (vm, hw->input_node_index, VLIB_NODE_STATE_DISABLED);
 219   else if (mode == VNET_HW_INTERFACE_RX_MODE_POLLING)
 220     {
 221       /*
 222        * if the deleted interface is polling, we may need to set the node state
 223        * to interrupt if there is no more polling interface for this device's
 224        * corresponding thread. This is because mixed interfaces
 225        * (polling and interrupt), assigned to the same thread, set the
 226        * thread to polling prior to the deletion.
 227        */
 228       vec_foreach (dq, rt->devices_and_queues)
 229       {
 230         if (dq->mode == VNET_HW_INTERFACE_RX_MODE_POLLING)
 231           return 0;
 232       }
 233       rt->enabled_node_state = VLIB_NODE_STATE_INTERRUPT;
 234       vlib_node_set_state (vm, hw->input_node_index, rt->enabled_node_state);
 235     }
 236
 237   return 0;
 238 }
 239
 240
 241 int
 242 vnet_hw_interface_set_rx_mode (vnet_main_t * vnm, u32 hw_if_index,
 243                                u16 queue_id, vnet_hw_interface_rx_mode mode)
 244 {
 245   vlib_main_t *vm;
 246   uword thread_index;
 247   vnet_device_and_queue_t *dq;
 248   vlib_node_state_t enabled_node_state;
 249   ASSERT (mode < VNET_HW_INTERFACE_NUM_RX_MODES);
 250   vnet_hw_interface_t *hw = vnet_get_hw_interface (vnm, hw_if_index);
 251   vnet_device_input_runtime_t *rt;
 252   int is_polling = 0;
 253
 254   if (mode == VNET_HW_INTERFACE_RX_MODE_DEFAULT)
 255     mode = hw->default_rx_mode;
 256
 257   if (hw->input_node_thread_index_by_queue == 0 || hw->rx_mode_by_queue == 0)
 258     return VNET_API_ERROR_INVALID_INTERFACE;
 259
 260   if (hw->rx_mode_by_queue[queue_id] == mode)
 261     return 0;
 262
 263   if (mode != VNET_HW_INTERFACE_RX_MODE_POLLING &&
 264       (hw->flags & VNET_HW_INTERFACE_FLAG_SUPPORTS_INT_MODE) == 0)
 265     return VNET_API_ERROR_UNSUPPORTED;
 266
 267   hw->rx_mode_by_queue[queue_id] = mode;
 268   thread_index = hw->input_node_thread_index_by_queue[queue_id];
 269   vm = vlib_mains[thread_index];
 270
 271   rt = vlib_node_get_runtime_data (vm, hw->input_node_index);
 272
 273   vec_foreach (dq, rt->devices_and_queues)
 274   {
 275     if (dq->hw_if_index == hw_if_index && dq->queue_id == queue_id)
 276       dq->mode = mode;
 277     if (dq->mode == VNET_HW_INTERFACE_RX_MODE_POLLING)
 278       is_polling = 1;
 279   }
 280
 281   if (is_polling)
 282     enabled_node_state = VLIB_NODE_STATE_POLLING;
 283   else
 284     enabled_node_state = VLIB_NODE_STATE_INTERRUPT;
 285
 286   if (rt->enabled_node_state != enabled_node_state)
 287     {
 288       rt->enabled_node_state = enabled_node_state;
 289       if (vlib_node_get_state (vm, hw->input_node_index) !=
 290           VLIB_NODE_STATE_DISABLED)
 291         vlib_node_set_state (vm, hw->input_node_index, enabled_node_state);
 292     }
 293
 294   return 0;
 295 }
 296
 297 int
 298 vnet_hw_interface_get_rx_mode (vnet_main_t * vnm, u32 hw_if_index,
 299                                u16 queue_id, vnet_hw_interface_rx_mode * mode)
 300 {
 301   vlib_main_t *vm;
 302   uword thread_index;
 303   vnet_device_and_queue_t *dq;
 304   vnet_hw_interface_t *hw = vnet_get_hw_interface (vnm, hw_if_index);
 305   vnet_device_input_runtime_t *rt;
 306
 307   if (hw->input_node_thread_index_by_queue == 0)
 308     return VNET_API_ERROR_INVALID_INTERFACE;
 309
 310   thread_index = hw->input_node_thread_index_by_queue[queue_id];
 311   vm = vlib_mains[thread_index];
 312
 313   rt = vlib_node_get_runtime_data (vm, hw->input_node_index);
 314
 315   vec_foreach (dq, rt->devices_and_queues)
 316     if (dq->hw_if_index == hw_if_index && dq->queue_id == queue_id)
 317     {
 318       *mode = dq->mode;
 319       return 0;
 320     }
 321
 322   return VNET_API_ERROR_INVALID_INTERFACE;
 323 }
 324
 325
 326
 327 static clib_error_t *
 328 vnet_device_init (vlib_main_t * vm)
 329 {
 330   vnet_device_main_t *vdm = &vnet_device_main;
 331   vlib_thread_main_t *tm = vlib_get_thread_main ();
 332   vlib_thread_registration_t *tr;
 333   uword *p;
 334
 335   vec_validate_aligned (vdm->workers, tm->n_vlib_mains - 1,
 336                         CLIB_CACHE_LINE_BYTES);
 337
 338   p = hash_get_mem (tm->thread_registrations_by_name, "workers");
 339   tr = p ? (vlib_thread_registration_t *) p[0] : 0;
 340   if (tr && tr->count > 0)
 341     {
 342       vdm->first_worker_thread_index = tr->first_index;
 343       vdm->next_worker_thread_index = tr->first_index;
 344       vdm->last_worker_thread_index = tr->first_index + tr->count - 1;
 345     }
 346   return 0;
 347 }
 348
 349 VLIB_INIT_FUNCTION (vnet_device_init);
 350
 351 /*
 352  * fd.io coding-style-patch-verification: ON
 353  *
 354  * Local Variables:
 355  * eval: (c-set-style "gnu")
 356  * End:
 357  */