src/plugins/dpdk/main.c

   1 /*
   2  * Copyright (c) 2017 Cisco and/or its affiliates.
   3  * Licensed under the Apache License, Version 2.0 (the "License");
   4  * you may not use this file except in compliance with the License.
   5  * You may obtain a copy of the License at:
   6  *
   7  *     http://www.apache.org/licenses/LICENSE-2.0
   8  *
   9  * Unless required by applicable law or agreed to in writing, software
  10  * distributed under the License is distributed on an "AS IS" BASIS,
  11  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  12  * See the License for the specific language governing permissions and
  13  * limitations under the License.
  14  */
  15
  16 #include <unistd.h>
  17 #include <sys/types.h>
  18 #include <sys/stat.h>
  19 #include <fcntl.h>
  20 #include <linux/vfio.h>
  21 #include <sys/ioctl.h>
  22
  23 #include <vnet/vnet.h>
  24 #include <vnet/plugin/plugin.h>
  25 #include <dpdk/device/dpdk.h>
  26 #include <vpp/app/version.h>
  27
  28 /*
  29  * Called by the dpdk driver's rte_delay_us() function.
  30  * Return 0 to have the dpdk do a regular delay loop.
  31  * Return 1 if to skip the delay loop because we are suspending
  32  * the calling vlib process instead.
  33  */
  34 static int
  35 rte_delay_us_override (unsigned us)
  36 {
  37   vlib_main_t *vm;
  38
  39   /* Don't bother intercepting for short delays */
  40   if (us < 10)
  41     return 0;
  42
  43   /*
  44    * Only intercept if we are in a vlib process.
  45    * If we are called from a vlib worker thread or the vlib main
  46    * thread then do not intercept. (Must not be called from an
  47    * independent pthread).
  48    */
  49   if (vlib_get_thread_index () == 0)
  50     {
  51       /*
  52        * We're in the vlib main thread or a vlib process. Make sure
  53        * the process is running and we're not still initializing.
  54        */
  55       vm = vlib_get_main ();
  56       if (vlib_in_process_context (vm))
  57         {
  58           /* Only suspend for the admin_down_process */
  59           vlib_process_t *proc = vlib_get_current_process (vm);
  60           if (!(proc->flags & VLIB_PROCESS_IS_RUNNING) ||
  61               (proc->node_runtime.node_index !=
  62                admin_up_down_process_node.index))
  63             return 0;
  64
  65           f64 delay = 1e-6 * us;
  66           vlib_process_suspend (vm, delay);
  67           return 1;
  68         }
  69     }
  70   return 0;                     // no override
  71 }
  72
  73 static void
  74 rte_delay_us_override_cb (unsigned us)
  75 {
  76   if (rte_delay_us_override (us) == 0)
  77     rte_delay_us_block (us);
  78 }
  79
  80 static clib_error_t * dpdk_main_init (vlib_main_t * vm)
  81 {
  82   dpdk_main_t * dm = &dpdk_main;
  83   clib_error_t * error = 0;
  84
  85   dm->vlib_main = vm;
  86   dm->vnet_main = vnet_get_main ();
  87
  88   /* register custom delay function */
  89   rte_delay_us_callback_register (rte_delay_us_override_cb);
  90
  91   return error;
  92 }
  93
  94 /* *INDENT-OFF* */
  95 VLIB_INIT_FUNCTION (dpdk_main_init) =
  96 {
  97     .runs_after = VLIB_INITS("dpdk_init"),
  98 };
  99 /* *INDENT-ON* */
 100
 101
 102 __clib_export clib_error_t *
 103 dpdk_early_init (vlib_main_t *vm)
 104 {
 105   int fd = -1;
 106   u64 *pt = 0;
 107   clib_error_t *err = 0;
 108
 109   /* check if pagemap is accessible - if we get zero result
 110      dpdk will not be able to get physical memory address and game is over
 111      unless we have IOMMU */
 112   pt = clib_mem_vm_get_paddr (&pt, CLIB_MEM_PAGE_SZ_DEFAULT, 1);
 113   if (pt && pt[0])
 114     goto check_hugetlb;
 115
 116   if ((fd = open ("/dev/vfio/vfio", O_RDWR)) == -1)
 117       goto error;
 118
 119   if (ioctl (fd, VFIO_GET_API_VERSION) != VFIO_API_VERSION)
 120       goto error;
 121
 122   /* if we have type 1 IOMMU page map is not needed */
 123   if (ioctl (fd, VFIO_CHECK_EXTENSION, VFIO_TYPE1_IOMMU) != 1)
 124     goto error;
 125
 126 check_hugetlb:
 127   fd = clib_mem_vm_create_fd (CLIB_MEM_PAGE_SZ_DEFAULT_HUGE,
 128                               "dpdk early init");
 129
 130   if (fd != -1)
 131     {
 132       u8 *page = clib_mem_vm_map_shared (0, 1, fd, 0, "dpdk_early_init");
 133       if (page != CLIB_MEM_VM_MAP_FAILED)
 134         {
 135           clib_mem_vm_unmap (page);
 136           goto done;
 137         }
 138     }
 139
 140 error:
 141   err = clib_error_return (0, "access to physical devices is not allowed");
 142
 143 done:
 144   if (fd != -1)
 145     close (fd);
 146   vec_free (pt);
 147   return err;
 148 }
 149
 150 /* *INDENT-OFF* */
 151 VLIB_PLUGIN_REGISTER () = {
 152     .version = VPP_BUILD_VER,
 153     .description = "Data Plane Development Kit (DPDK)",
 154     .early_init = "dpdk_early_init",
 155 };
 156 /* *INDENT-ON* */