New upstream version 18.02
[deb_dpdk.git] / lib / librte_kni / rte_kni.c
index ea9baf4..2867411 100644 (file)
@@ -1,34 +1,5 @@
-/*-
- *   BSD LICENSE
- *
- *   Copyright(c) 2010-2014 Intel Corporation. All rights reserved.
- *   All rights reserved.
- *
- *   Redistribution and use in source and binary forms, with or without
- *   modification, are permitted provided that the following conditions
- *   are met:
- *
- *     * Redistributions of source code must retain the above copyright
- *       notice, this list of conditions and the following disclaimer.
- *     * Redistributions in binary form must reproduce the above copyright
- *       notice, this list of conditions and the following disclaimer in
- *       the documentation and/or other materials provided with the
- *       distribution.
- *     * Neither the name of Intel Corporation nor the names of its
- *       contributors may be used to endorse or promote products derived
- *       from this software without specific prior written permission.
- *
- *   THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
- *   "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
- *   LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
- *   A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
- *   OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
- *   SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
- *   LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
- *   DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
- *   THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
- *   (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
- *   OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
+/* SPDX-License-Identifier: BSD-3-Clause
+ * Copyright(c) 2010-2014 Intel Corporation
  */
 
 #ifndef RTE_EXEC_ENV_LINUXAPP
@@ -119,7 +90,7 @@ struct rte_kni_memzone_pool {
 
        uint32_t max_ifaces;                /**< Max. num of KNI ifaces */
        struct rte_kni_memzone_slot *slots;        /**< Pool slots */
-       rte_spinlock_t mutex;               /**< alloc/relase mutex */
+       rte_spinlock_t mutex;               /**< alloc/release mutex */
 
        /* Free memzone slots linked-list */
        struct rte_kni_memzone_slot *free;         /**< First empty slot */
@@ -210,14 +181,18 @@ rte_kni_init(unsigned int max_kni_ifaces)
        if (max_kni_ifaces == 0) {
                RTE_LOG(ERR, KNI, "Invalid number of max_kni_ifaces %d\n",
                                                        max_kni_ifaces);
-               rte_panic("Unable to initialize KNI\n");
+               RTE_LOG(ERR, KNI, "Unable to initialize KNI\n");
+               return;
        }
 
        /* Check FD and open */
        if (kni_fd < 0) {
                kni_fd = open("/dev/" KNI_DEVICE, O_RDWR);
-               if (kni_fd < 0)
-                       rte_panic("Can not open /dev/%s\n", KNI_DEVICE);
+               if (kni_fd < 0) {
+                       RTE_LOG(ERR, KNI,
+                               "Can not open /dev/%s\n", KNI_DEVICE);
+                       return;
+               }
        }
 
        /* Allocate slot objects */
@@ -307,8 +282,8 @@ rte_kni_init(unsigned int max_kni_ifaces)
        return;
 
 kni_fail:
-       rte_panic("Unable to allocate memory for max_kni_ifaces:%d. Increase the amount of hugepages memory\n",
-                        max_kni_ifaces);
+       RTE_LOG(ERR, KNI, "Unable to allocate memory for max_kni_ifaces:%d."
+               "Increase the amount of hugepages memory\n", max_kni_ifaces);
 }
 
 
@@ -321,7 +296,6 @@ rte_kni_alloc(struct rte_mempool *pktmbuf_pool,
        struct rte_kni_device_info dev_info;
        struct rte_kni *ctx;
        char intf_name[RTE_KNI_NAMESIZE];
-       char mz_name[RTE_MEMZONE_NAMESIZE];
        const struct rte_memzone *mz;
        struct rte_kni_memzone_slot *slot = NULL;
 
@@ -337,7 +311,7 @@ rte_kni_alloc(struct rte_mempool *pktmbuf_pool,
        /* Get an available slot from the pool */
        slot = kni_memzone_pool_alloc();
        if (!slot) {
-               RTE_LOG(ERR, KNI, "Cannot allocate more KNI interfaces; increase the number of max_kni_ifaces(current %d) or release unusued ones.\n",
+               RTE_LOG(ERR, KNI, "Cannot allocate more KNI interfaces; increase the number of max_kni_ifaces(current %d) or release unused ones.\n",
                        kni_memzone_pool.max_ifaces);
                return NULL;
        }
@@ -353,6 +327,8 @@ rte_kni_alloc(struct rte_mempool *pktmbuf_pool,
        memset(ctx, 0, sizeof(struct rte_kni));
        if (ops)
                memcpy(&ctx->ops, ops, sizeof(struct rte_kni_ops));
+       else
+               ctx->ops.port_id = UINT16_MAX;
 
        memset(&dev_info, 0, sizeof(dev_info));
        dev_info.bus = conf->addr.bus;
@@ -364,6 +340,9 @@ rte_kni_alloc(struct rte_mempool *pktmbuf_pool,
        dev_info.force_bind = conf->force_bind;
        dev_info.group_id = conf->group_id;
        dev_info.mbuf_size = conf->mbuf_size;
+       dev_info.mtu = conf->mtu;
+
+       memcpy(dev_info.mac_addr, conf->mac_addr, ETHER_ADDR_LEN);
 
        snprintf(ctx->name, RTE_KNI_NAMESIZE, "%s", intf_name);
        snprintf(dev_info.name, RTE_KNI_NAMESIZE, "%s", intf_name);
@@ -413,14 +392,6 @@ rte_kni_alloc(struct rte_mempool *pktmbuf_pool,
        dev_info.sync_va = mz->addr;
        dev_info.sync_phys = mz->phys_addr;
 
-
-       /* MBUF mempool */
-       snprintf(mz_name, sizeof(mz_name), RTE_MEMPOOL_OBJ_NAME,
-               pktmbuf_pool->name);
-       mz = rte_memzone_lookup(mz_name);
-       KNI_MEM_CHECK(mz == NULL);
-       dev_info.mbuf_va = mz->addr;
-       dev_info.mbuf_phys = mz->phys_addr;
        ctx->pktmbuf_pool = pktmbuf_pool;
        ctx->group_id = conf->group_id;
        ctx->slot_id = slot->id;
@@ -456,11 +427,44 @@ kni_free_fifo(struct rte_kni_fifo *fifo)
        } while (ret);
 }
 
+static void *
+va2pa(struct rte_mbuf *m)
+{
+       return (void *)((unsigned long)m -
+                       ((unsigned long)m->buf_addr -
+                        (unsigned long)m->buf_iova));
+}
+
+static void
+obj_free(struct rte_mempool *mp __rte_unused, void *opaque, void *obj,
+               unsigned obj_idx __rte_unused)
+{
+       struct rte_mbuf *m = obj;
+       void *mbuf_phys = opaque;
+
+       if (va2pa(m) == mbuf_phys)
+               rte_pktmbuf_free(m);
+}
+
+static void
+kni_free_fifo_phy(struct rte_mempool *mp, struct rte_kni_fifo *fifo)
+{
+       void *mbuf_phys;
+       int ret;
+
+       do {
+               ret = kni_fifo_get(fifo, &mbuf_phys, 1);
+               if (ret)
+                       rte_mempool_obj_iter(mp, obj_free, mbuf_phys);
+       } while (ret);
+}
+
 int
 rte_kni_release(struct rte_kni *kni)
 {
        struct rte_kni_device_info dev_info;
        uint32_t slot_id;
+       uint32_t retry = 5;
 
        if (!kni || !kni->in_use)
                return -1;
@@ -472,9 +476,16 @@ rte_kni_release(struct rte_kni *kni)
        }
 
        /* mbufs in all fifo should be released, except request/response */
+
+       /* wait until all rxq packets processed by kernel */
+       while (kni_fifo_count(kni->rx_q) && retry--)
+               usleep(1000);
+
+       if (kni_fifo_count(kni->rx_q))
+               RTE_LOG(ERR, KNI, "Fail to free all Rx-q items\n");
+
+       kni_free_fifo_phy(kni->pktmbuf_pool, kni->alloc_q);
        kni_free_fifo(kni->tx_q);
-       kni_free_fifo(kni->rx_q);
-       kni_free_fifo(kni->alloc_q);
        kni_free_fifo(kni->free_q);
 
        slot_id = kni->slot_id;
@@ -484,14 +495,57 @@ rte_kni_release(struct rte_kni *kni)
 
        /* Release memzone */
        if (slot_id > kni_memzone_pool.max_ifaces) {
-               rte_panic("KNI pool: corrupted slot ID: %d, max: %d\n",
+               RTE_LOG(ERR, KNI, "KNI pool: corrupted slot ID: %d, max: %d\n",
                        slot_id, kni_memzone_pool.max_ifaces);
+               return -1;
        }
        kni_memzone_pool_release(&kni_memzone_pool.slots[slot_id]);
 
        return 0;
 }
 
+/* default callback for request of configuring device mac address */
+static int
+kni_config_mac_address(uint16_t port_id, uint8_t mac_addr[])
+{
+       int ret = 0;
+
+       if (port_id >= rte_eth_dev_count() || port_id >= RTE_MAX_ETHPORTS) {
+               RTE_LOG(ERR, KNI, "Invalid port id %d\n", port_id);
+               return -EINVAL;
+       }
+
+       RTE_LOG(INFO, KNI, "Configure mac address of %d", port_id);
+
+       ret = rte_eth_dev_default_mac_addr_set(port_id,
+                                              (struct ether_addr *)mac_addr);
+       if (ret < 0)
+               RTE_LOG(ERR, KNI, "Failed to config mac_addr for port %d\n",
+                       port_id);
+
+       return ret;
+}
+
+/* default callback for request of configuring promiscuous mode */
+static int
+kni_config_promiscusity(uint16_t port_id, uint8_t to_on)
+{
+       if (port_id >= rte_eth_dev_count() || port_id >= RTE_MAX_ETHPORTS) {
+               RTE_LOG(ERR, KNI, "Invalid port id %d\n", port_id);
+               return -EINVAL;
+       }
+
+       RTE_LOG(INFO, KNI, "Configure promiscuous mode of %d to %d\n",
+               port_id, to_on);
+
+       if (to_on)
+               rte_eth_promiscuous_enable(port_id);
+       else
+               rte_eth_promiscuous_disable(port_id);
+
+       return 0;
+}
+
 int
 rte_kni_handle_request(struct rte_kni *kni)
 {
@@ -507,7 +561,8 @@ rte_kni_handle_request(struct rte_kni *kni)
                return 0; /* It is OK of can not getting the request mbuf */
 
        if (req != kni->sync_addr) {
-               rte_panic("Wrong req pointer %p\n", req);
+               RTE_LOG(ERR, KNI, "Wrong req pointer %p\n", req);
+               return -1;
        }
 
        /* Analyze the request and call the relevant actions for it */
@@ -522,6 +577,22 @@ rte_kni_handle_request(struct rte_kni *kni)
                        req->result = kni->ops.config_network_if(\
                                        kni->ops.port_id, req->if_up);
                break;
+       case RTE_KNI_REQ_CHANGE_MAC_ADDR: /* Change MAC Address */
+               if (kni->ops.config_mac_address)
+                       req->result = kni->ops.config_mac_address(
+                                       kni->ops.port_id, req->mac_addr);
+               else if (kni->ops.port_id != UINT16_MAX)
+                       req->result = kni_config_mac_address(
+                                       kni->ops.port_id, req->mac_addr);
+               break;
+       case RTE_KNI_REQ_CHANGE_PROMISC: /* Change PROMISCUOUS MODE */
+               if (kni->ops.config_promiscusity)
+                       req->result = kni->ops.config_promiscusity(
+                                       kni->ops.port_id, req->promiscusity);
+               else if (kni->ops.port_id != UINT16_MAX)
+                       req->result = kni_config_promiscusity(
+                                       kni->ops.port_id, req->promiscusity);
+               break;
        default:
                RTE_LOG(ERR, KNI, "Unknown request id %u\n", req->req_id);
                req->result = -EINVAL;
@@ -541,7 +612,14 @@ rte_kni_handle_request(struct rte_kni *kni)
 unsigned
 rte_kni_tx_burst(struct rte_kni *kni, struct rte_mbuf **mbufs, unsigned num)
 {
-       unsigned ret = kni_fifo_put(kni->rx_q, (void **)mbufs, num);
+       void *phy_mbufs[num];
+       unsigned int ret;
+       unsigned int i;
+
+       for (i = 0; i < num; i++)
+               phy_mbufs[i] = va2pa(mbufs[i]);
+
+       ret = kni_fifo_put(kni->rx_q, phy_mbufs, num);
 
        /* Get mbufs from free_q and then free them */
        kni_free_mbufs(kni);
@@ -579,6 +657,8 @@ kni_allocate_mbufs(struct rte_kni *kni)
 {
        int i, ret;
        struct rte_mbuf *pkts[MAX_MBUF_BURST_NUM];
+       void *phys[MAX_MBUF_BURST_NUM];
+       int allocq_free;
 
        RTE_BUILD_BUG_ON(offsetof(struct rte_mbuf, pool) !=
                         offsetof(struct rte_kni_mbuf, pool));
@@ -601,20 +681,23 @@ kni_allocate_mbufs(struct rte_kni *kni)
                return;
        }
 
-       for (i = 0; i < MAX_MBUF_BURST_NUM; i++) {
+       allocq_free = (kni->alloc_q->read - kni->alloc_q->write - 1) \
+                       & (MAX_MBUF_BURST_NUM - 1);
+       for (i = 0; i < allocq_free; i++) {
                pkts[i] = rte_pktmbuf_alloc(kni->pktmbuf_pool);
                if (unlikely(pkts[i] == NULL)) {
                        /* Out of memory */
                        RTE_LOG(ERR, KNI, "Out of memory\n");
                        break;
                }
+               phys[i] = va2pa(pkts[i]);
        }
 
-       /* No pkt mbuf alocated */
+       /* No pkt mbuf allocated */
        if (i <= 0)
                return;
 
-       ret = kni_fifo_put(kni->alloc_q, (void **)pkts, i);
+       ret = kni_fifo_put(kni->alloc_q, phys, i);
 
        /* Check if any mbufs not put into alloc_q, and then free them */
        if (ret >= 0 && ret < i && ret < MAX_MBUF_BURST_NUM) {
@@ -658,7 +741,10 @@ kni_check_request_register(struct rte_kni_ops *ops)
        if( NULL == ops )
                return KNI_REQ_NO_REGISTER;
 
-       if((NULL == ops->change_mtu) && (NULL == ops->config_network_if))
+       if ((ops->change_mtu == NULL)
+               && (ops->config_network_if == NULL)
+               && (ops->config_mac_address == NULL)
+               && (ops->config_promiscusity == NULL))
                return KNI_REQ_NO_REGISTER;
 
        return KNI_REQ_REGISTERED;
@@ -697,8 +783,8 @@ rte_kni_unregister_handlers(struct rte_kni *kni)
                return -1;
        }
 
-       kni->ops.change_mtu = NULL;
-       kni->ops.config_network_if = NULL;
+       memset(&kni->ops, 0, sizeof(struct rte_kni_ops));
+
        return 0;
 }
 void