lib/librte_eal/linuxapp/igb_uio/igb_uio.c

   1 // SPDX-License-Identifier: GPL-2.0
   2 /*-
   3  * Copyright(c) 2010-2017 Intel Corporation. All rights reserved.
   4  */
   5
   6 #define pr_fmt(fmt) KBUILD_MODNAME ": " fmt
   7
   8 #include <linux/device.h>
   9 #include <linux/module.h>
  10 #include <linux/pci.h>
  11 #include <linux/uio_driver.h>
  12 #include <linux/io.h>
  13 #include <linux/irq.h>
  14 #include <linux/msi.h>
  15 #include <linux/version.h>
  16 #include <linux/slab.h>
  17
  18 #include <rte_pci_dev_features.h>
  19
  20 #include "compat.h"
  21
  22 /**
  23  * A structure describing the private information for a uio device.
  24  */
  25 struct rte_uio_pci_dev {
  26         struct uio_info info;
  27         struct pci_dev *pdev;
  28         enum rte_intr_mode mode;
  29         struct mutex lock;
  30         int refcnt;
  31 };
  32
  33 static char *intr_mode;
  34 static enum rte_intr_mode igbuio_intr_mode_preferred = RTE_INTR_MODE_MSIX;
  35 /* sriov sysfs */
  36 static ssize_t
  37 show_max_vfs(struct device *dev, struct device_attribute *attr,
  38              char *buf)
  39 {
  40         return snprintf(buf, 10, "%u\n", dev_num_vf(dev));
  41 }
  42
  43 static ssize_t
  44 store_max_vfs(struct device *dev, struct device_attribute *attr,
  45               const char *buf, size_t count)
  46 {
  47         int err = 0;
  48         unsigned long max_vfs;
  49         struct pci_dev *pdev = to_pci_dev(dev);
  50
  51         if (0 != kstrtoul(buf, 0, &max_vfs))
  52                 return -EINVAL;
  53
  54         if (0 == max_vfs)
  55                 pci_disable_sriov(pdev);
  56         else if (0 == pci_num_vf(pdev))
  57                 err = pci_enable_sriov(pdev, max_vfs);
  58         else /* do nothing if change max_vfs number */
  59                 err = -EINVAL;
  60
  61         return err ? err : count;
  62 }
  63
  64 static DEVICE_ATTR(max_vfs, S_IRUGO | S_IWUSR, show_max_vfs, store_max_vfs);
  65
  66 static struct attribute *dev_attrs[] = {
  67         &dev_attr_max_vfs.attr,
  68         NULL,
  69 };
  70
  71 static const struct attribute_group dev_attr_grp = {
  72         .attrs = dev_attrs,
  73 };
  74
  75 #ifndef HAVE_PCI_MSI_MASK_IRQ
  76 /*
  77  * It masks the msix on/off of generating MSI-X messages.
  78  */
  79 static void
  80 igbuio_msix_mask_irq(struct msi_desc *desc, s32 state)
  81 {
  82         u32 mask_bits = desc->masked;
  83         unsigned int offset = desc->msi_attrib.entry_nr * PCI_MSIX_ENTRY_SIZE +
  84                                                 PCI_MSIX_ENTRY_VECTOR_CTRL;
  85
  86         if (state != 0)
  87                 mask_bits &= ~PCI_MSIX_ENTRY_CTRL_MASKBIT;
  88         else
  89                 mask_bits |= PCI_MSIX_ENTRY_CTRL_MASKBIT;
  90
  91         if (mask_bits != desc->masked) {
  92                 writel(mask_bits, desc->mask_base + offset);
  93                 readl(desc->mask_base);
  94                 desc->masked = mask_bits;
  95         }
  96 }
  97
  98 /*
  99  * It masks the msi on/off of generating MSI messages.
 100  */
 101 static void
 102 igbuio_msi_mask_irq(struct pci_dev *pdev, struct msi_desc *desc, int32_t state)
 103 {
 104         u32 mask_bits = desc->masked;
 105         u32 offset = desc->irq - pdev->irq;
 106         u32 mask = 1 << offset;
 107
 108         if (!desc->msi_attrib.maskbit)
 109                 return;
 110
 111         if (state != 0)
 112                 mask_bits &= ~mask;
 113         else
 114                 mask_bits |= mask;
 115
 116         if (mask_bits != desc->masked) {
 117                 pci_write_config_dword(pdev, desc->mask_pos, mask_bits);
 118                 desc->masked = mask_bits;
 119         }
 120 }
 121
 122 static void
 123 igbuio_mask_irq(struct pci_dev *pdev, enum rte_intr_mode mode, s32 irq_state)
 124 {
 125         struct msi_desc *desc;
 126         struct list_head *msi_list;
 127
 128 #ifdef HAVE_MSI_LIST_IN_GENERIC_DEVICE
 129         msi_list = &pdev->dev.msi_list;
 130 #else
 131         msi_list = &pdev->msi_list;
 132 #endif
 133
 134         if (mode == RTE_INTR_MODE_MSIX) {
 135                 list_for_each_entry(desc, msi_list, list)
 136                         igbuio_msix_mask_irq(desc, irq_state);
 137         } else if (mode == RTE_INTR_MODE_MSI) {
 138                 list_for_each_entry(desc, msi_list, list)
 139                         igbuio_msi_mask_irq(pdev, desc, irq_state);
 140         }
 141 }
 142 #endif
 143
 144 /**
 145  * This is the irqcontrol callback to be registered to uio_info.
 146  * It can be used to disable/enable interrupt from user space processes.
 147  *
 148  * @param info
 149  *  pointer to uio_info.
 150  * @param irq_state
 151  *  state value. 1 to enable interrupt, 0 to disable interrupt.
 152  *
 153  * @return
 154  *  - On success, 0.
 155  *  - On failure, a negative value.
 156  */
 157 static int
 158 igbuio_pci_irqcontrol(struct uio_info *info, s32 irq_state)
 159 {
 160         struct rte_uio_pci_dev *udev = info->priv;
 161         struct pci_dev *pdev = udev->pdev;
 162
 163 #ifdef HAVE_PCI_MSI_MASK_IRQ
 164         struct irq_data *irq = irq_get_irq_data(udev->info.irq);
 165 #endif
 166
 167         pci_cfg_access_lock(pdev);
 168
 169         if (udev->mode == RTE_INTR_MODE_MSIX || udev->mode == RTE_INTR_MODE_MSI) {
 170 #ifdef HAVE_PCI_MSI_MASK_IRQ
 171                 if (irq_state == 1)
 172                         pci_msi_unmask_irq(irq);
 173                 else
 174                         pci_msi_mask_irq(irq);
 175 #else
 176                 igbuio_mask_irq(pdev, udev->mode, irq_state);
 177 #endif
 178         }
 179
 180         if (udev->mode == RTE_INTR_MODE_LEGACY)
 181                 pci_intx(pdev, !!irq_state);
 182
 183         pci_cfg_access_unlock(pdev);
 184
 185         return 0;
 186 }
 187
 188 /**
 189  * This is interrupt handler which will check if the interrupt is for the right device.
 190  * If yes, disable it here and will be enable later.
 191  */
 192 static irqreturn_t
 193 igbuio_pci_irqhandler(int irq, void *dev_id)
 194 {
 195         struct rte_uio_pci_dev *udev = (struct rte_uio_pci_dev *)dev_id;
 196         struct uio_info *info = &udev->info;
 197
 198         /* Legacy mode need to mask in hardware */
 199         if (udev->mode == RTE_INTR_MODE_LEGACY &&
 200             !pci_check_and_mask_intx(udev->pdev))
 201                 return IRQ_NONE;
 202
 203         uio_event_notify(info);
 204
 205         /* Message signal mode, no share IRQ and automasked */
 206         return IRQ_HANDLED;
 207 }
 208
 209 static int
 210 igbuio_pci_enable_interrupts(struct rte_uio_pci_dev *udev)
 211 {
 212         int err = 0;
 213 #ifndef HAVE_ALLOC_IRQ_VECTORS
 214         struct msix_entry msix_entry;
 215 #endif
 216
 217         switch (igbuio_intr_mode_preferred) {
 218         case RTE_INTR_MODE_MSIX:
 219                 /* Only 1 msi-x vector needed */
 220 #ifndef HAVE_ALLOC_IRQ_VECTORS
 221                 msix_entry.entry = 0;
 222                 if (pci_enable_msix(udev->pdev, &msix_entry, 1) == 0) {
 223                         dev_dbg(&udev->pdev->dev, "using MSI-X");
 224                         udev->info.irq_flags = IRQF_NO_THREAD;
 225                         udev->info.irq = msix_entry.vector;
 226                         udev->mode = RTE_INTR_MODE_MSIX;
 227                         break;
 228                 }
 229 #else
 230                 if (pci_alloc_irq_vectors(udev->pdev, 1, 1, PCI_IRQ_MSIX) == 1) {
 231                         dev_dbg(&udev->pdev->dev, "using MSI-X");
 232                         udev->info.irq_flags = IRQF_NO_THREAD;
 233                         udev->info.irq = pci_irq_vector(udev->pdev, 0);
 234                         udev->mode = RTE_INTR_MODE_MSIX;
 235                         break;
 236                 }
 237 #endif
 238
 239         /* fall back to MSI */
 240         case RTE_INTR_MODE_MSI:
 241 #ifndef HAVE_ALLOC_IRQ_VECTORS
 242                 if (pci_enable_msi(udev->pdev) == 0) {
 243                         dev_dbg(&udev->pdev->dev, "using MSI");
 244                         udev->info.irq_flags = IRQF_NO_THREAD;
 245                         udev->info.irq = udev->pdev->irq;
 246                         udev->mode = RTE_INTR_MODE_MSI;
 247                         break;
 248                 }
 249 #else
 250                 if (pci_alloc_irq_vectors(udev->pdev, 1, 1, PCI_IRQ_MSI) == 1) {
 251                         dev_dbg(&udev->pdev->dev, "using MSI");
 252                         udev->info.irq_flags = IRQF_NO_THREAD;
 253                         udev->info.irq = pci_irq_vector(udev->pdev, 0);
 254                         udev->mode = RTE_INTR_MODE_MSI;
 255                         break;
 256                 }
 257 #endif
 258         /* fall back to INTX */
 259         case RTE_INTR_MODE_LEGACY:
 260                 if (pci_intx_mask_supported(udev->pdev)) {
 261                         dev_dbg(&udev->pdev->dev, "using INTX");
 262                         udev->info.irq_flags = IRQF_SHARED | IRQF_NO_THREAD;
 263                         udev->info.irq = udev->pdev->irq;
 264                         udev->mode = RTE_INTR_MODE_LEGACY;
 265                         break;
 266                 }
 267                 dev_notice(&udev->pdev->dev, "PCI INTX mask not supported\n");
 268         /* fall back to no IRQ */
 269         case RTE_INTR_MODE_NONE:
 270                 udev->mode = RTE_INTR_MODE_NONE;
 271                 udev->info.irq = UIO_IRQ_NONE;
 272                 break;
 273
 274         default:
 275                 dev_err(&udev->pdev->dev, "invalid IRQ mode %u",
 276                         igbuio_intr_mode_preferred);
 277                 udev->info.irq = UIO_IRQ_NONE;
 278                 err = -EINVAL;
 279         }
 280
 281         if (udev->info.irq != UIO_IRQ_NONE)
 282                 err = request_irq(udev->info.irq, igbuio_pci_irqhandler,
 283                                   udev->info.irq_flags, udev->info.name,
 284                                   udev);
 285         dev_info(&udev->pdev->dev, "uio device registered with irq %ld\n",
 286                  udev->info.irq);
 287
 288         return err;
 289 }
 290
 291 static void
 292 igbuio_pci_disable_interrupts(struct rte_uio_pci_dev *udev)
 293 {
 294         if (udev->info.irq) {
 295                 free_irq(udev->info.irq, udev);
 296                 udev->info.irq = 0;
 297         }
 298
 299 #ifndef HAVE_ALLOC_IRQ_VECTORS
 300         if (udev->mode == RTE_INTR_MODE_MSIX)
 301                 pci_disable_msix(udev->pdev);
 302         if (udev->mode == RTE_INTR_MODE_MSI)
 303                 pci_disable_msi(udev->pdev);
 304 #else
 305         if (udev->mode == RTE_INTR_MODE_MSIX ||
 306             udev->mode == RTE_INTR_MODE_MSI)
 307                 pci_free_irq_vectors(udev->pdev);
 308 #endif
 309 }
 310
 311
 312 /**
 313  * This gets called while opening uio device file.
 314  */
 315 static int
 316 igbuio_pci_open(struct uio_info *info, struct inode *inode)
 317 {
 318         struct rte_uio_pci_dev *udev = info->priv;
 319         struct pci_dev *dev = udev->pdev;
 320         int err;
 321
 322         mutex_lock(&udev->lock);
 323         if (++udev->refcnt > 1) {
 324                 mutex_unlock(&udev->lock);
 325                 return 0;
 326         }
 327
 328         /* set bus master, which was cleared by the reset function */
 329         pci_set_master(dev);
 330
 331         /* enable interrupts */
 332         err = igbuio_pci_enable_interrupts(udev);
 333         mutex_unlock(&udev->lock);
 334         if (err) {
 335                 dev_err(&dev->dev, "Enable interrupt fails\n");
 336                 return err;
 337         }
 338         return 0;
 339 }
 340
 341 static int
 342 igbuio_pci_release(struct uio_info *info, struct inode *inode)
 343 {
 344         struct rte_uio_pci_dev *udev = info->priv;
 345         struct pci_dev *dev = udev->pdev;
 346
 347         mutex_lock(&udev->lock);
 348         if (--udev->refcnt > 0) {
 349                 mutex_unlock(&udev->lock);
 350                 return 0;
 351         }
 352
 353         /* disable interrupts */
 354         igbuio_pci_disable_interrupts(udev);
 355
 356         /* stop the device from further DMA */
 357         pci_clear_master(dev);
 358
 359         mutex_unlock(&udev->lock);
 360         return 0;
 361 }
 362
 363 /* Remap pci resources described by bar #pci_bar in uio resource n. */
 364 static int
 365 igbuio_pci_setup_iomem(struct pci_dev *dev, struct uio_info *info,
 366                        int n, int pci_bar, const char *name)
 367 {
 368         unsigned long addr, len;
 369         void *internal_addr;
 370
 371         if (n >= ARRAY_SIZE(info->mem))
 372                 return -EINVAL;
 373
 374         addr = pci_resource_start(dev, pci_bar);
 375         len = pci_resource_len(dev, pci_bar);
 376         if (addr == 0 || len == 0)
 377                 return -1;
 378         internal_addr = ioremap(addr, len);
 379         if (internal_addr == NULL)
 380                 return -1;
 381         info->mem[n].name = name;
 382         info->mem[n].addr = addr;
 383         info->mem[n].internal_addr = internal_addr;
 384         info->mem[n].size = len;
 385         info->mem[n].memtype = UIO_MEM_PHYS;
 386         return 0;
 387 }
 388
 389 /* Get pci port io resources described by bar #pci_bar in uio resource n. */
 390 static int
 391 igbuio_pci_setup_ioport(struct pci_dev *dev, struct uio_info *info,
 392                 int n, int pci_bar, const char *name)
 393 {
 394         unsigned long addr, len;
 395
 396         if (n >= ARRAY_SIZE(info->port))
 397                 return -EINVAL;
 398
 399         addr = pci_resource_start(dev, pci_bar);
 400         len = pci_resource_len(dev, pci_bar);
 401         if (addr == 0 || len == 0)
 402                 return -EINVAL;
 403
 404         info->port[n].name = name;
 405         info->port[n].start = addr;
 406         info->port[n].size = len;
 407         info->port[n].porttype = UIO_PORT_X86;
 408
 409         return 0;
 410 }
 411
 412 /* Unmap previously ioremap'd resources */
 413 static void
 414 igbuio_pci_release_iomem(struct uio_info *info)
 415 {
 416         int i;
 417
 418         for (i = 0; i < MAX_UIO_MAPS; i++) {
 419                 if (info->mem[i].internal_addr)
 420                         iounmap(info->mem[i].internal_addr);
 421         }
 422 }
 423
 424 static int
 425 igbuio_setup_bars(struct pci_dev *dev, struct uio_info *info)
 426 {
 427         int i, iom, iop, ret;
 428         unsigned long flags;
 429         static const char *bar_names[PCI_STD_RESOURCE_END + 1]  = {
 430                 "BAR0",
 431                 "BAR1",
 432                 "BAR2",
 433                 "BAR3",
 434                 "BAR4",
 435                 "BAR5",
 436         };
 437
 438         iom = 0;
 439         iop = 0;
 440
 441         for (i = 0; i < ARRAY_SIZE(bar_names); i++) {
 442                 if (pci_resource_len(dev, i) != 0 &&
 443                                 pci_resource_start(dev, i) != 0) {
 444                         flags = pci_resource_flags(dev, i);
 445                         if (flags & IORESOURCE_MEM) {
 446                                 ret = igbuio_pci_setup_iomem(dev, info, iom,
 447                                                              i, bar_names[i]);
 448                                 if (ret != 0)
 449                                         return ret;
 450                                 iom++;
 451                         } else if (flags & IORESOURCE_IO) {
 452                                 ret = igbuio_pci_setup_ioport(dev, info, iop,
 453                                                               i, bar_names[i]);
 454                                 if (ret != 0)
 455                                         return ret;
 456                                 iop++;
 457                         }
 458                 }
 459         }
 460
 461         return (iom != 0 || iop != 0) ? ret : -ENOENT;
 462 }
 463
 464 #if LINUX_VERSION_CODE < KERNEL_VERSION(3, 8, 0)
 465 static int __devinit
 466 #else
 467 static int
 468 #endif
 469 igbuio_pci_probe(struct pci_dev *dev, const struct pci_device_id *id)
 470 {
 471         struct rte_uio_pci_dev *udev;
 472         dma_addr_t map_dma_addr;
 473         void *map_addr;
 474         int err;
 475
 476         udev = kzalloc(sizeof(struct rte_uio_pci_dev), GFP_KERNEL);
 477         if (!udev)
 478                 return -ENOMEM;
 479
 480         mutex_init(&udev->lock);
 481         /*
 482          * enable device: ask low-level code to enable I/O and
 483          * memory
 484          */
 485         err = pci_enable_device(dev);
 486         if (err != 0) {
 487                 dev_err(&dev->dev, "Cannot enable PCI device\n");
 488                 goto fail_free;
 489         }
 490
 491         /* enable bus mastering on the device */
 492         pci_set_master(dev);
 493
 494         /* remap IO memory */
 495         err = igbuio_setup_bars(dev, &udev->info);
 496         if (err != 0)
 497                 goto fail_release_iomem;
 498
 499         /* set 64-bit DMA mask */
 500         err = pci_set_dma_mask(dev,  DMA_BIT_MASK(64));
 501         if (err != 0) {
 502                 dev_err(&dev->dev, "Cannot set DMA mask\n");
 503                 goto fail_release_iomem;
 504         }
 505
 506         err = pci_set_consistent_dma_mask(dev, DMA_BIT_MASK(64));
 507         if (err != 0) {
 508                 dev_err(&dev->dev, "Cannot set consistent DMA mask\n");
 509                 goto fail_release_iomem;
 510         }
 511
 512         /* fill uio infos */
 513         udev->info.name = "igb_uio";
 514         udev->info.version = "0.1";
 515         udev->info.irqcontrol = igbuio_pci_irqcontrol;
 516         udev->info.open = igbuio_pci_open;
 517         udev->info.release = igbuio_pci_release;
 518         udev->info.priv = udev;
 519         udev->pdev = dev;
 520
 521         err = sysfs_create_group(&dev->dev.kobj, &dev_attr_grp);
 522         if (err != 0)
 523                 goto fail_release_iomem;
 524
 525         /* register uio driver */
 526         err = uio_register_device(&dev->dev, &udev->info);
 527         if (err != 0)
 528                 goto fail_remove_group;
 529
 530         pci_set_drvdata(dev, udev);
 531
 532         /*
 533          * Doing a harmless dma mapping for attaching the device to
 534          * the iommu identity mapping if kernel boots with iommu=pt.
 535          * Note this is not a problem if no IOMMU at all.
 536          */
 537         map_addr = dma_alloc_coherent(&dev->dev, 1024, &map_dma_addr,
 538                         GFP_KERNEL);
 539         if (map_addr)
 540                 memset(map_addr, 0, 1024);
 541
 542         if (!map_addr)
 543                 dev_info(&dev->dev, "dma mapping failed\n");
 544         else {
 545                 dev_info(&dev->dev, "mapping 1K dma=%#llx host=%p\n",
 546                          (unsigned long long)map_dma_addr, map_addr);
 547
 548                 dma_free_coherent(&dev->dev, 1024, map_addr, map_dma_addr);
 549                 dev_info(&dev->dev, "unmapping 1K dma=%#llx host=%p\n",
 550                          (unsigned long long)map_dma_addr, map_addr);
 551         }
 552
 553         return 0;
 554
 555 fail_remove_group:
 556         sysfs_remove_group(&dev->dev.kobj, &dev_attr_grp);
 557 fail_release_iomem:
 558         igbuio_pci_release_iomem(&udev->info);
 559         pci_disable_device(dev);
 560 fail_free:
 561         kfree(udev);
 562
 563         return err;
 564 }
 565
 566 static void
 567 igbuio_pci_remove(struct pci_dev *dev)
 568 {
 569         struct rte_uio_pci_dev *udev = pci_get_drvdata(dev);
 570
 571         mutex_destroy(&udev->lock);
 572         sysfs_remove_group(&dev->dev.kobj, &dev_attr_grp);
 573         uio_unregister_device(&udev->info);
 574         igbuio_pci_release_iomem(&udev->info);
 575         pci_disable_device(dev);
 576         pci_set_drvdata(dev, NULL);
 577         kfree(udev);
 578 }
 579
 580 static int
 581 igbuio_config_intr_mode(char *intr_str)
 582 {
 583         if (!intr_str) {
 584                 pr_info("Use MSIX interrupt by default\n");
 585                 return 0;
 586         }
 587
 588         if (!strcmp(intr_str, RTE_INTR_MODE_MSIX_NAME)) {
 589                 igbuio_intr_mode_preferred = RTE_INTR_MODE_MSIX;
 590                 pr_info("Use MSIX interrupt\n");
 591         } else if (!strcmp(intr_str, RTE_INTR_MODE_MSI_NAME)) {
 592                 igbuio_intr_mode_preferred = RTE_INTR_MODE_MSI;
 593                 pr_info("Use MSI interrupt\n");
 594         } else if (!strcmp(intr_str, RTE_INTR_MODE_LEGACY_NAME)) {
 595                 igbuio_intr_mode_preferred = RTE_INTR_MODE_LEGACY;
 596                 pr_info("Use legacy interrupt\n");
 597         } else {
 598                 pr_info("Error: bad parameter - %s\n", intr_str);
 599                 return -EINVAL;
 600         }
 601
 602         return 0;
 603 }
 604
 605 static struct pci_driver igbuio_pci_driver = {
 606         .name = "igb_uio",
 607         .id_table = NULL,
 608         .probe = igbuio_pci_probe,
 609         .remove = igbuio_pci_remove,
 610 };
 611
 612 static int __init
 613 igbuio_pci_init_module(void)
 614 {
 615         int ret;
 616
 617         ret = igbuio_config_intr_mode(intr_mode);
 618         if (ret < 0)
 619                 return ret;
 620
 621         return pci_register_driver(&igbuio_pci_driver);
 622 }
 623
 624 static void __exit
 625 igbuio_pci_exit_module(void)
 626 {
 627         pci_unregister_driver(&igbuio_pci_driver);
 628 }
 629
 630 module_init(igbuio_pci_init_module);
 631 module_exit(igbuio_pci_exit_module);
 632
 633 module_param(intr_mode, charp, S_IRUGO);
 634 MODULE_PARM_DESC(intr_mode,
 635 "igb_uio interrupt mode (default=msix):\n"
 636 "    " RTE_INTR_MODE_MSIX_NAME "       Use MSIX interrupt\n"
 637 "    " RTE_INTR_MODE_MSI_NAME "        Use MSI interrupt\n"
 638 "    " RTE_INTR_MODE_LEGACY_NAME "     Use Legacy interrupt\n"
 639 "\n");
 640
 641 MODULE_DESCRIPTION("UIO driver for Intel IGB PCI cards");
 642 MODULE_LICENSE("GPL");
 643 MODULE_AUTHOR("Intel Corporation");