src/plugins/dpdk/main.c

   1 /*
   2  * Copyright (c) 2017 Cisco and/or its affiliates.
   3  * Licensed under the Apache License, Version 2.0 (the "License");
   4  * you may not use this file except in compliance with the License.
   5  * You may obtain a copy of the License at:
   6  *
   7  *     http://www.apache.org/licenses/LICENSE-2.0
   8  *
   9  * Unless required by applicable law or agreed to in writing, software
  10  * distributed under the License is distributed on an "AS IS" BASIS,
  11  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  12  * See the License for the specific language governing permissions and
  13  * limitations under the License.
  14  */
  15
  16 #include <unistd.h>
  17 #include <sys/types.h>
  18 #include <sys/stat.h>
  19 #include <fcntl.h>
  20 #include <linux/vfio.h>
  21 #include <sys/ioctl.h>
  22
  23 #include <vnet/vnet.h>
  24 #include <vnet/plugin/plugin.h>
  25 #include <dpdk/device/dpdk.h>
  26 #include <vpp/app/version.h>
  27
  28 /*
  29  * Called by the dpdk driver's rte_delay_us() function.
  30  * Return 0 to have the dpdk do a regular delay loop.
  31  * Return 1 if to skip the delay loop because we are suspending
  32  * the calling vlib process instead.
  33  */
  34 static int
  35 rte_delay_us_override (unsigned us)
  36 {
  37   vlib_main_t *vm;
  38
  39   /* Don't bother intercepting for short delays */
  40   if (us < 10)
  41     return 0;
  42
  43   /*
  44    * Only intercept if we are in a vlib process.
  45    * If we are called from a vlib worker thread or the vlib main
  46    * thread then do not intercept. (Must not be called from an
  47    * independent pthread).
  48    */
  49   if (vlib_get_thread_index () == 0)
  50     {
  51       /*
  52        * We're in the vlib main thread or a vlib process. Make sure
  53        * the process is running and we're not still initializing.
  54        */
  55       vm = vlib_get_main ();
  56       if (vlib_in_process_context (vm))
  57         {
  58           /* Only suspend for the admin_down_process */
  59           vlib_process_t *proc = vlib_get_current_process (vm);
  60           if (!(proc->flags & VLIB_PROCESS_IS_RUNNING) ||
  61               (proc->node_runtime.node_index !=
  62                admin_up_down_process_node.index))
  63             return 0;
  64
  65           f64 delay = 1e-6 * us;
  66           vlib_process_suspend (vm, delay);
  67           return 1;
  68         }
  69     }
  70   return 0;                     // no override
  71 }
  72
  73 static void
  74 rte_delay_us_override_cb (unsigned us)
  75 {
  76   if (rte_delay_us_override (us) == 0)
  77     rte_delay_us_block (us);
  78 }
  79
  80 static clib_error_t * dpdk_main_init (vlib_main_t * vm)
  81 {
  82   dpdk_main_t * dm = &dpdk_main;
  83   clib_error_t * error = 0;
  84
  85   dm->vlib_main = vm;
  86   dm->vnet_main = vnet_get_main ();
  87
  88   if ((error = vlib_call_init_function (vm, dpdk_init)))
  89     return error;
  90
  91   /* register custom delay function */
  92   rte_delay_us_callback_register (rte_delay_us_override_cb);
  93
  94   return error;
  95 }
  96
  97 VLIB_INIT_FUNCTION (dpdk_main_init);
  98
  99
 100 clib_error_t *
 101 dpdk_early_init (vlib_main_t *vm)
 102 {
 103   int fd = -1;
 104   u64 *pt = 0;
 105   clib_error_t *err = 0;
 106   clib_mem_vm_alloc_t alloc = { 0 };
 107
 108   /* check if pagemap is accessible - if we get zero result
 109      dpdk will not be able to get physical memory address and game is over
 110      unless we have IOMMU */
 111   pt = clib_mem_vm_get_paddr (&pt, min_log2 (sysconf (_SC_PAGESIZE)), 1);
 112   if (pt && pt[0])
 113     goto check_hugetlb;
 114
 115   if ((fd = open ("/dev/vfio/vfio", O_RDWR)) == -1)
 116       goto error;
 117
 118   if (ioctl (fd, VFIO_GET_API_VERSION) != VFIO_API_VERSION)
 119       goto error;
 120
 121   /* if we have type 1 IOMMU page map is not needed */
 122   if (ioctl (fd, VFIO_CHECK_EXTENSION, VFIO_TYPE1_IOMMU) != 1)
 123     goto error;
 124
 125 check_hugetlb:
 126   alloc.flags = CLIB_MEM_VM_F_SHARED | CLIB_MEM_VM_F_HUGETLB | CLIB_MEM_VM_F_HUGETLB_PREALLOC;
 127   alloc.size = 1;
 128
 129   if ((err = clib_mem_vm_ext_alloc (&alloc)))
 130     {
 131       clib_error_free (err);
 132       goto error;
 133     }
 134   else
 135     clib_mem_vm_ext_free (&alloc);
 136
 137   goto done;
 138
 139 error:
 140   err = clib_error_return (0, "access to physical devices is not allowed");
 141
 142 done:
 143   if (fd != -1)
 144     close (fd);
 145   vec_free (pt);
 146   return err;
 147 }
 148
 149 /* *INDENT-OFF* */
 150 VLIB_PLUGIN_REGISTER () = {
 151     .version = VPP_BUILD_VER,
 152     .description = "Data Plane Development Kit (DPDK)",
 153     .early_init = "dpdk_early_init",
 154 };
 155 /* *INDENT-ON* */