Trivial: Clean up some typos.
[vpp.git] / src / plugins / dpdk / device / init.c
index 461bae0..5479f81 100644 (file)
@@ -46,19 +46,6 @@ dpdk_config_main_t dpdk_config_main;
 
 /* Port configuration, mildly modified Intel app values */
 
-static struct rte_eth_conf port_conf_template = {
-  .rxmode = {
-            .split_hdr_size = 0,
-            .header_split = 0,         /**< Header Split disabled */
-            .hw_ip_checksum = 0,       /**< IP checksum offload disabled */
-            .hw_vlan_filter = 0,       /**< VLAN filtering disabled */
-            .hw_strip_crc = 0,         /**< CRC stripped by hardware */
-            },
-  .txmode = {
-            .mq_mode = ETH_MQ_TX_NONE,
-            },
-};
-
 static dpdk_port_type_t
 port_type_from_speed_capa (struct rte_eth_dev_info *dev_info)
 {
@@ -187,6 +174,18 @@ dpdk_ring_alloc (struct rte_mempool *mp)
   return 0;
 }
 
+static int
+dpdk_port_crc_strip_enabled (dpdk_device_t * xd)
+{
+#if RTE_VERSION < RTE_VERSION_NUM(18, 8, 0, 0)
+  if (xd->port_conf.rxmode.hw_strip_crc)
+#else
+  if (xd->port_conf.rxmode.offloads & DEV_RX_OFFLOAD_CRC_STRIP)
+#endif
+    return 1;
+  return 0;
+}
+
 static clib_error_t *
 dpdk_lib_init (dpdk_main_t * dm)
 {
@@ -227,11 +226,7 @@ dpdk_lib_init (dpdk_main_t * dm)
   vec_validate_aligned (dm->devices_by_hqos_cpu, tm->n_vlib_mains - 1,
                        CLIB_CACHE_LINE_BYTES);
 
-#if RTE_VERSION < RTE_VERSION_NUM(18, 5, 0, 0)
-  nports = rte_eth_dev_count ();
-#else
   nports = rte_eth_dev_count_avail ();
-#endif
 
   if (nports < 1)
     {
@@ -277,17 +272,13 @@ dpdk_lib_init (dpdk_main_t * dm)
       rte_eth_link_get_nowait (i, &l);
       rte_eth_dev_info_get (i, &dev_info);
 
-#if RTE_VERSION < RTE_VERSION_NUM(18, 5, 0, 0)
-      pci_dev = dev_info.pci_dev;
-#else
       if (dev_info.device == 0)
        {
-         clib_warning ("DPDK bug: missing device info. Skipping  %s device",
+         clib_warning ("DPDK bug: missing device info. Skipping %s device",
                        dev_info.driver_name);
          continue;
        }
       pci_dev = RTE_DEV_TO_PCI (dev_info.device);
-#endif
 
       if (pci_dev)     /* bonded interface has no pci info */
        {
@@ -295,9 +286,8 @@ dpdk_lib_init (dpdk_main_t * dm)
          pci_addr.bus = pci_dev->addr.bus;
          pci_addr.slot = pci_dev->addr.devid;
          pci_addr.function = pci_dev->addr.function;
-         p =
-           hash_get (dm->conf->device_config_index_by_pci_addr,
-                     pci_addr.as_u32);
+         p = hash_get (dm->conf->device_config_index_by_pci_addr,
+                       pci_addr.as_u32);
        }
 
       if (p)
@@ -317,11 +307,7 @@ dpdk_lib_init (dpdk_main_t * dm)
          struct rte_eth_dev_info di = { 0 };
          struct rte_pci_device *next_pci_dev;
          rte_eth_dev_info_get (i + 1, &di);
-#if RTE_VERSION < RTE_VERSION_NUM(18, 5, 0, 0)
-         next_pci_dev = di.pci_dev;
-#else
          next_pci_dev = di.device ? RTE_DEV_TO_PCI (di.device) : 0;
-#endif
          if (pci_dev && next_pci_dev &&
              pci_addr.as_u32 != last_pci_addr.as_u32 &&
              memcmp (&pci_dev->addr, &next_pci_dev->addr,
@@ -349,21 +335,30 @@ dpdk_lib_init (dpdk_main_t * dm)
 
       if (dm->conf->no_multi_seg)
        {
+#if RTE_VERSION < RTE_VERSION_NUM(18, 8, 0, 0)
          xd->tx_conf.txq_flags |= ETH_TXQ_FLAGS_NOMULTSEGS;
-         port_conf_template.rxmode.jumbo_frame = 0;
-         port_conf_template.rxmode.enable_scatter = 0;
+         xd->port_conf.rxmode.jumbo_frame = 0;
+         xd->port_conf.rxmode.enable_scatter = 0;
+#else
+         xd->port_conf.txmode.offloads &= ~DEV_TX_OFFLOAD_MULTI_SEGS;
+         xd->port_conf.rxmode.offloads &= ~DEV_RX_OFFLOAD_JUMBO_FRAME;
+         xd->port_conf.rxmode.offloads &= ~DEV_RX_OFFLOAD_SCATTER;
+#endif
        }
       else
        {
+#if RTE_VERSION < RTE_VERSION_NUM(18, 8, 0, 0)
          xd->tx_conf.txq_flags &= ~ETH_TXQ_FLAGS_NOMULTSEGS;
-         port_conf_template.rxmode.jumbo_frame = 1;
-         port_conf_template.rxmode.enable_scatter = 1;
+         xd->port_conf.rxmode.jumbo_frame = 1;
+         xd->port_conf.rxmode.enable_scatter = 1;
+#else
+         xd->port_conf.txmode.offloads |= DEV_TX_OFFLOAD_MULTI_SEGS;
+         xd->port_conf.rxmode.offloads |= DEV_RX_OFFLOAD_JUMBO_FRAME;
+         xd->port_conf.rxmode.offloads |= DEV_RX_OFFLOAD_SCATTER;
+#endif
          xd->flags |= DPDK_DEVICE_FLAG_MAYBE_MULTISEG;
        }
 
-      clib_memcpy (&xd->port_conf, &port_conf_template,
-                  sizeof (struct rte_eth_conf));
-
       xd->tx_q_used = clib_min (dev_info.max_tx_queues, tm->n_vlib_mains);
 
       if (devconf->num_tx_queues > 0
@@ -379,7 +374,17 @@ dpdk_lib_init (dpdk_main_t * dm)
            xd->port_conf.rx_adv_conf.rss_conf.rss_hf =
              ETH_RSS_IP | ETH_RSS_UDP | ETH_RSS_TCP;
          else
-           xd->port_conf.rx_adv_conf.rss_conf.rss_hf = devconf->rss_fn;
+           {
+             u64 unsupported_bits;
+             xd->port_conf.rx_adv_conf.rss_conf.rss_hf = devconf->rss_fn;
+             unsupported_bits = xd->port_conf.rx_adv_conf.rss_conf.rss_hf;
+             unsupported_bits &= ~dev_info.flow_type_rss_offloads;
+             if (unsupported_bits)
+               dpdk_log_warn ("Unsupported RSS hash functions: %U",
+                              format_dpdk_rss_hf_name, unsupported_bits);
+           }
+         xd->port_conf.rx_adv_conf.rss_conf.rss_hf &=
+           dev_info.flow_type_rss_offloads;
        }
       else
        xd->rx_q_used = 1;
@@ -425,7 +430,13 @@ dpdk_lib_init (dpdk_main_t * dm)
 
              if (dm->conf->no_tx_checksum_offload == 0)
                {
-                 xd->tx_conf.txq_flags &= ~ETH_TXQ_FLAGS_NOXSUMS;
+#if RTE_VERSION < RTE_VERSION_NUM(18, 8, 0, 0)
+                 xd->tx_conf.txq_flags &= ~(ETH_TXQ_FLAGS_NOXSUMUDP |
+                                                    ETH_TXQ_FLAGS_NOXSUMTCP);
+#else
+                 xd->port_conf.txmode.offloads |= DEV_TX_OFFLOAD_TCP_CKSUM;
+                 xd->port_conf.txmode.offloads |= DEV_TX_OFFLOAD_UDP_CKSUM;
+#endif
                  xd->flags |=
                    DPDK_DEVICE_FLAG_TX_OFFLOAD |
                    DPDK_DEVICE_FLAG_INTEL_PHDR_CKSUM;
@@ -436,6 +447,7 @@ dpdk_lib_init (dpdk_main_t * dm)
            case VNET_DPDK_PMD_CXGBE:
            case VNET_DPDK_PMD_MLX4:
            case VNET_DPDK_PMD_MLX5:
+           case VNET_DPDK_PMD_QEDE:
              xd->port_type = port_type_from_speed_capa (&dev_info);
              break;
 
@@ -444,17 +456,29 @@ dpdk_lib_init (dpdk_main_t * dm)
            case VNET_DPDK_PMD_IXGBEVF:
            case VNET_DPDK_PMD_I40EVF:
              xd->port_type = VNET_DPDK_PORT_TYPE_ETH_VF;
+#if RTE_VERSION < RTE_VERSION_NUM(18, 8, 0, 0)
              xd->port_conf.rxmode.hw_strip_crc = 1;
+#else
+             xd->port_conf.rxmode.offloads |= DEV_RX_OFFLOAD_CRC_STRIP;
+#endif
              break;
 
            case VNET_DPDK_PMD_THUNDERX:
              xd->port_type = VNET_DPDK_PORT_TYPE_ETH_VF;
+#if RTE_VERSION < RTE_VERSION_NUM(18, 8, 0, 0)
              xd->port_conf.rxmode.hw_strip_crc = 1;
+#else
+             xd->port_conf.rxmode.offloads |= DEV_RX_OFFLOAD_CRC_STRIP;
+#endif
              break;
 
            case VNET_DPDK_PMD_ENA:
              xd->port_type = VNET_DPDK_PORT_TYPE_ETH_VF;
+#if RTE_VERSION < RTE_VERSION_NUM(18, 8, 0, 0)
              xd->port_conf.rxmode.enable_scatter = 0;
+#else
+             xd->port_conf.rxmode.offloads &= ~DEV_RX_OFFLOAD_SCATTER;
+#endif
              break;
 
            case VNET_DPDK_PMD_DPAA2:
@@ -472,7 +496,11 @@ dpdk_lib_init (dpdk_main_t * dm)
              /* Intel Red Rock Canyon */
            case VNET_DPDK_PMD_FM10K:
              xd->port_type = VNET_DPDK_PORT_TYPE_ETH_SWITCH;
+#if RTE_VERSION < RTE_VERSION_NUM(18, 8, 0, 0)
              xd->port_conf.rxmode.hw_strip_crc = 1;
+#else
+             xd->port_conf.rxmode.offloads |= DEV_RX_OFFLOAD_CRC_STRIP;
+#endif
              break;
 
              /* virtio */
@@ -485,7 +513,11 @@ dpdk_lib_init (dpdk_main_t * dm)
              /* vmxnet3 */
            case VNET_DPDK_PMD_VMXNET3:
              xd->port_type = VNET_DPDK_PORT_TYPE_ETH_1G;
+#if RTE_VERSION < RTE_VERSION_NUM(18, 8, 0, 0)
              xd->tx_conf.txq_flags |= ETH_TXQ_FLAGS_NOMULTSEGS;
+#else
+             xd->port_conf.txmode.offloads |= DEV_TX_OFFLOAD_MULTI_SEGS;
+#endif
              break;
 
            case VNET_DPDK_PMD_AF_PACKET:
@@ -624,7 +656,7 @@ dpdk_lib_init (dpdk_main_t * dm)
               * MTU calculations. To interop with them increase mru but only
               * if the device's settings can support it.
               */
-             if (xd->port_conf.rxmode.hw_strip_crc &&
+             if (dpdk_port_crc_strip_enabled (xd) &&
                  (dev_info.max_rx_pktlen >= (ETHERNET_MAX_PACKET_BYTES +
                                              sizeof (ethernet_header_t) +
                                              4)))
@@ -637,7 +669,7 @@ dpdk_lib_init (dpdk_main_t * dm)
              max_rx_frame = ETHERNET_MAX_PACKET_BYTES;
              mtu = ETHERNET_MAX_PACKET_BYTES - sizeof (ethernet_header_t);
 
-             if (xd->port_conf.rxmode.hw_strip_crc &&
+             if (dpdk_port_crc_strip_enabled (xd) &&
                  (dev_info.max_rx_pktlen >= (ETHERNET_MAX_PACKET_BYTES + 4)))
                {
                  max_rx_frame += 4;
@@ -657,7 +689,7 @@ dpdk_lib_init (dpdk_main_t * dm)
              mtu = dev_mtu;
              max_rx_frame = mtu + sizeof (ethernet_header_t);
 
-             if (xd->port_conf.rxmode.hw_strip_crc)
+             if (dpdk_port_crc_strip_enabled (xd))
                {
                  max_rx_frame += 4;
                }
@@ -700,7 +732,7 @@ dpdk_lib_init (dpdk_main_t * dm)
        }
 
       if (dm->conf->no_tx_checksum_offload == 0)
-       if (xd->flags & DPDK_DEVICE_FLAG_TX_OFFLOAD)
+       if (xd->flags & DPDK_DEVICE_FLAG_TX_OFFLOAD && hi != NULL)
          hi->flags |= VNET_HW_INTERFACE_FLAG_SUPPORTS_TX_L4_CKSUM_OFFLOAD;
 
       dpdk_device_setup (xd);
@@ -722,7 +754,7 @@ dpdk_lib_init (dpdk_main_t * dm)
        * For cisco VIC vNIC, set default to VLAN strip enabled, unless
        * specified otherwise in the startup config.
        * For other NICs default to VLAN strip disabled, unless specified
-       * otherwis in the startup config.
+       * otherwise in the startup config.
        */
       if (xd->pmd == VNET_DPDK_PMD_ENIC)
        {
@@ -739,7 +771,14 @@ dpdk_lib_init (dpdk_main_t * dm)
          int vlan_off;
          vlan_off = rte_eth_dev_get_vlan_offload (xd->port_id);
          vlan_off |= ETH_VLAN_STRIP_OFFLOAD;
+#if RTE_VERSION < RTE_VERSION_NUM(18, 8, 0, 0)
          xd->port_conf.rxmode.hw_vlan_strip = vlan_off;
+#else
+          if (vlan_off)
+           xd->port_conf.rxmode.offloads |= DEV_RX_OFFLOAD_VLAN_STRIP;
+         else
+           xd->port_conf.rxmode.offloads &= ~DEV_RX_OFFLOAD_VLAN_STRIP;
+#endif
          if (rte_eth_dev_set_vlan_offload (xd->port_id, vlan_off) == 0)
            dpdk_log_info ("VLAN strip enabled for interface\n");
          else
@@ -834,7 +873,15 @@ dpdk_bind_devices_to_uio (dpdk_config_main_t * conf)
     /* Cavium Network Adapter */
     else if (d->vendor_id == 0x177d && d->device_id == 0x9712)
       ;
-    /* Mellanox  */
+    /* Cavium FastlinQ QL41000 Series */
+    else if (d->vendor_id == 0x1077 && d->device_id >= 0x8070 && d->device_id <= 0x8090)
+      ;
+    /* Mellanox mlx4 */
+    else if (d->vendor_id == 0x15b3 && d->device_id >= 0x1003 && d->device_id <= 0x1004)
+      {
+        continue;
+      }
+    /* Mellanox mlx5 */
     else if (d->vendor_id == 0x15b3 && d->device_id >= 0x1013 && d->device_id <= 0x101a)
       {
         continue;
@@ -960,7 +1007,7 @@ dpdk_device_config (dpdk_config_main_t * conf, vlib_pci_addr_t pci_addr,
           devconf->num_rx_queues)
     error =
       clib_error_return (0,
-                        "%U: number of worker threadds must be "
+                        "%U: number of worker threads must be "
                         "equal to number of rx queues", format_vlib_pci_addr,
                         &pci_addr);
 
@@ -1002,7 +1049,6 @@ static clib_error_t *
 dpdk_config (vlib_main_t * vm, unformat_input_t * input)
 {
   clib_error_t *error = 0;
-  dpdk_main_t *dm = &dpdk_main;
   dpdk_config_main_t *conf = &dpdk_config_main;
   vlib_thread_main_t *tm = vlib_get_thread_main ();
   dpdk_device_config_t *devconf;
@@ -1010,7 +1056,6 @@ dpdk_config (vlib_main_t * vm, unformat_input_t * input)
   unformat_input_t sub_input;
   uword x;
   u8 *s, *tmp = 0;
-  u8 *rte_cmd = 0, *ethname = 0;
   u32 log_level;
   int ret, i;
   int num_whitelisted = 0;
@@ -1032,7 +1077,7 @@ dpdk_config (vlib_main_t * vm, unformat_input_t * input)
       /* Prime the pump */
       if (unformat (input, "no-hugetlb"))
        {
-         vec_add1 (conf->eal_init_args, (u8 *) "no-huge");
+         vec_add1 (conf->eal_init_args, (u8 *) "--no-huge");
          no_huge = 1;
        }
 
@@ -1082,6 +1127,8 @@ dpdk_config (vlib_main_t * vm, unformat_input_t * input)
 
          num_whitelisted++;
        }
+      else if (unformat (input, "num-mem-channels %d", &conf->nchannels))
+       conf->nchannels_set_manually = 0;
       else if (unformat (input, "num-mbufs %d", &conf->num_mbufs))
        ;
       else if (unformat (input, "uio-driver %s", &conf->uio_driver_name))
@@ -1094,8 +1141,6 @@ dpdk_config (vlib_main_t * vm, unformat_input_t * input)
          tmp = format (0, "--no-pci%c", 0);
          vec_add1 (conf->eal_init_args, tmp);
        }
-      else if (unformat (input, "poll-sleep %d", &dm->poll_sleep_usec))
-       ;
 
 #define _(a)                                    \
       else if (unformat(input, #a))             \
@@ -1259,9 +1304,6 @@ dpdk_config (vlib_main_t * vm, unformat_input_t * input)
        }
     }
 
-  vec_free (rte_cmd);
-  vec_free (ethname);
-
   if (error)
     return error;
 
@@ -1336,10 +1378,13 @@ dpdk_config (vlib_main_t * vm, unformat_input_t * input)
   vec_add1 (conf->eal_init_args, tmp);
 
   /* set socket-mem */
-  tmp = format (0, "--socket-mem%c", 0);
-  vec_add1 (conf->eal_init_args, tmp);
-  tmp = format (0, "%s%c", socket_mem, 0);
-  vec_add1 (conf->eal_init_args, tmp);
+  if (!no_huge)
+    {
+      tmp = format (0, "--socket-mem%c", 0);
+      vec_add1 (conf->eal_init_args, tmp);
+      tmp = format (0, "%s%c", socket_mem, 0);
+      vec_add1 (conf->eal_init_args, tmp);
+    }
 
   /* NULL terminate the "argv" vector, in case of stupidity */
   vec_add1 (conf->eal_init_args, 0);
@@ -1351,14 +1396,22 @@ dpdk_config (vlib_main_t * vm, unformat_input_t * input)
   int log_fds[2] = { 0 };
   if (pipe (log_fds) == 0)
     {
-      FILE *f = fdopen (log_fds[1], "a");
-      if (f && rte_openlog_stream (f) == 0)
+      if (fcntl (log_fds[1], F_SETFL, O_NONBLOCK) == 0)
+       {
+         FILE *f = fdopen (log_fds[1], "a");
+         if (f && rte_openlog_stream (f) == 0)
+           {
+             clib_file_t t = { 0 };
+             t.read_function = dpdk_log_read_ready;
+             t.file_descriptor = log_fds[0];
+             t.description = format (0, "DPDK logging pipe");
+             clib_file_add (&file_main, &t);
+           }
+       }
+      else
        {
-         clib_file_t t = { 0 };
-         t.read_function = dpdk_log_read_ready;
-         t.file_descriptor = log_fds[0];
-         t.description = format (0, "DPDK logging pipe");
-         clib_file_add (&file_main, &t);
+         close (log_fds[0]);
+         close (log_fds[1]);
        }
     }
 
@@ -1587,11 +1640,7 @@ dpdk_process (vlib_main_t * vm, vlib_node_runtime_t * rt, vlib_frame_t * f)
      *  2. Set up info and register slave link state change callback handling.
      *  3. Set up info for bond interface related CLI support.
      */
-#if RTE_VERSION < RTE_VERSION_NUM(18, 5, 0, 0)
-    int nports = rte_eth_dev_count ();
-#else
     int nports = rte_eth_dev_count_avail ();
-#endif
     if (nports > 0)
       {
        /* *INDENT-OFF* */
@@ -1605,9 +1654,7 @@ dpdk_process (vlib_main_t * vm, vlib_node_runtime_t * rt, vlib_frame_t * f)
                    xd = &dm->devices[j];
                  }
              }
-           ASSERT (xd != NULL);
-
-           if (xd->pmd == VNET_DPDK_PMD_BOND)
+           if (xd != NULL && xd->pmd == VNET_DPDK_PMD_BOND)
              {
                u8 addr[6];
                dpdk_portid_t slink[16];
@@ -1678,10 +1725,6 @@ dpdk_process (vlib_main_t * vm, vlib_node_runtime_t * rt, vlib_frame_t * f)
                        clib_memcpy (shi->hw_address, addr, 6);
                        clib_memcpy (sei->address, addr, 6);
                        /* Set l3 packet size allowed as the lowest of slave */
-                       if (bhi->max_packet_bytes > shi->max_packet_bytes)
-                         bhi->max_packet_bytes = bhi->max_packet_bytes;
-
-                       /* Set max packet size allowed as the lowest of slave */
                        if (bhi->max_packet_bytes > shi->max_packet_bytes)
                          bhi->max_packet_bytes = shi->max_packet_bytes;
                      }
@@ -1734,7 +1777,6 @@ dpdk_init (vlib_main_t * vm)
 {
   dpdk_main_t *dm = &dpdk_main;
   clib_error_t *error = 0;
-  vlib_thread_main_t *tm = vlib_get_thread_main ();
 
   /* verify that structs are cacheline aligned */
   STATIC_ASSERT (offsetof (dpdk_device_t, cacheline0) == 0,
@@ -1755,8 +1797,6 @@ dpdk_init (vlib_main_t * vm)
   dm->conf->num_mbufs = dm->conf->num_mbufs ? dm->conf->num_mbufs : NB_MBUF;
   vec_add1 (dm->conf->eal_init_args, (u8 *) "vnet");
 
-  vec_validate (dm->recycle, tm->n_thread_stacks - 1);
-
   /* Default vlib_buffer_t flags, DISABLES tcp/udp checksumming... */
   dm->buffer_flags_template =
     (VLIB_BUFFER_TOTAL_LENGTH_VALID | VLIB_BUFFER_EXT_HDR_VALID