src/plugins/dpdk/device/flow.c

   1 /*
   2  * Copyright (c) 2019 Cisco and/or its affiliates.
   3  * Licensed under the Apache License, Version 2.0 (the "License");
   4  * you may not use this file except in compliance with the License.
   5  * You may obtain a copy of the License at:
   6  *
   7  *     http://www.apache.org/licenses/LICENSE-2.0
   8  *
   9  * Unless required by applicable law or agreed to in writing, software
  10  * distributed under the License is distributed on an "AS IS" BASIS,
  11  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  12  * See the License for the specific language governing permissions and
  13  * limitations under the License.
  14  */
  15
  16 #include <vnet/vnet.h>
  17 #include <vppinfra/vec.h>
  18 #include <vppinfra/format.h>
  19 #include <vlib/unix/cj.h>
  20 #include <assert.h>
  21
  22 #include <vnet/ip/ip.h>
  23 #include <vnet/ethernet/ethernet.h>
  24 #include <vnet/ethernet/arp_packet.h>
  25 #include <vnet/vxlan/vxlan.h>
  26 #include <dpdk/device/dpdk.h>
  27
  28 #include <dpdk/device/dpdk_priv.h>
  29 #include <vppinfra/error.h>
  30
  31 /* constant structs */
  32 static const struct rte_flow_attr ingress = {.ingress = 1 };
  33 static const struct rte_flow_item_eth any_eth[2] = { };
  34 static const struct rte_flow_item_vlan any_vlan[2] = { };
  35
  36 static int
  37 dpdk_flow_add (dpdk_device_t * xd, vnet_flow_t * f, dpdk_flow_entry_t * fe)
  38 {
  39   struct rte_flow_item_ipv4 ip4[2] = { };
  40   struct rte_flow_item_ipv6 ip6[2] = { };
  41   struct rte_flow_item_udp udp[2] = { };
  42   struct rte_flow_item_tcp tcp[2] = { };
  43   struct rte_flow_action_mark mark = { 0 };
  44   struct rte_flow_item *item, *items = 0;
  45   struct rte_flow_action *action, *actions = 0;
  46
  47   enum
  48   {
  49     vxlan_hdr_sz = sizeof (vxlan_header_t),
  50     raw_sz = sizeof (struct rte_flow_item_raw)
  51   };
  52
  53   union
  54   {
  55     struct rte_flow_item_raw item;
  56     u8 val[raw_sz + vxlan_hdr_sz];
  57   } raw[2];
  58
  59   u16 src_port, dst_port, src_port_mask, dst_port_mask;
  60   u8 protocol;
  61   int rv = 0;
  62
  63   if (f->actions & (~xd->supported_flow_actions))
  64     return VNET_FLOW_ERROR_NOT_SUPPORTED;
  65
  66   /* Match items */
  67   /* Ethernet */
  68   vec_add2 (items, item, 1);
  69   item->type = RTE_FLOW_ITEM_TYPE_ETH;
  70   item->spec = any_eth;
  71   item->mask = any_eth + 1;
  72
  73   /* VLAN */
  74   if (f->type != VNET_FLOW_TYPE_IP4_VXLAN)
  75     {
  76       vec_add2 (items, item, 1);
  77       item->type = RTE_FLOW_ITEM_TYPE_VLAN;
  78       item->spec = any_vlan;
  79       item->mask = any_vlan + 1;
  80     }
  81
  82   /* IP */
  83   vec_add2 (items, item, 1);
  84   if (f->type == VNET_FLOW_TYPE_IP6_N_TUPLE)
  85     {
  86       vnet_flow_ip6_n_tuple_t *t6 = &f->ip6_n_tuple;
  87       clib_memcpy (ip6[0].hdr.src_addr, &t6->src_addr.addr, 16);
  88       clib_memcpy (ip6[1].hdr.src_addr, &t6->src_addr.mask, 16);
  89       clib_memcpy (ip6[0].hdr.dst_addr, &t6->dst_addr.addr, 16);
  90       clib_memcpy (ip6[1].hdr.dst_addr, &t6->dst_addr.mask, 16);
  91       item->type = RTE_FLOW_ITEM_TYPE_IPV6;
  92       item->spec = ip6;
  93       item->mask = ip6 + 1;
  94
  95       src_port = t6->src_port.port;
  96       dst_port = t6->dst_port.port;
  97       src_port_mask = t6->src_port.mask;
  98       dst_port_mask = t6->dst_port.mask;
  99       protocol = t6->protocol;
 100     }
 101   else if (f->type == VNET_FLOW_TYPE_IP4_N_TUPLE)
 102     {
 103       vnet_flow_ip4_n_tuple_t *t4 = &f->ip4_n_tuple;
 104       ip4[0].hdr.src_addr = t4->src_addr.addr.as_u32;
 105       ip4[1].hdr.src_addr = t4->src_addr.mask.as_u32;
 106       ip4[0].hdr.dst_addr = t4->dst_addr.addr.as_u32;
 107       ip4[1].hdr.dst_addr = t4->dst_addr.mask.as_u32;
 108       item->type = RTE_FLOW_ITEM_TYPE_IPV4;
 109       item->spec = ip4;
 110       item->mask = ip4 + 1;
 111
 112       src_port = t4->src_port.port;
 113       dst_port = t4->dst_port.port;
 114       src_port_mask = t4->src_port.mask;
 115       dst_port_mask = t4->dst_port.mask;
 116       protocol = t4->protocol;
 117     }
 118   else if (f->type == VNET_FLOW_TYPE_IP4_VXLAN)
 119     {
 120       vnet_flow_ip4_vxlan_t *v4 = &f->ip4_vxlan;
 121       ip4[0].hdr.src_addr = v4->src_addr.as_u32;
 122       ip4[1].hdr.src_addr = -1;
 123       ip4[0].hdr.dst_addr = v4->dst_addr.as_u32;
 124       ip4[1].hdr.dst_addr = -1;
 125       item->type = RTE_FLOW_ITEM_TYPE_IPV4;
 126       item->spec = ip4;
 127       item->mask = ip4 + 1;
 128
 129       dst_port = v4->dst_port;
 130       dst_port_mask = -1;
 131       src_port = 0;
 132       src_port_mask = 0;
 133       protocol = IP_PROTOCOL_UDP;
 134     }
 135   else
 136     {
 137       rv = VNET_FLOW_ERROR_NOT_SUPPORTED;
 138       goto done;
 139     }
 140
 141   /* Layer 4 */
 142   vec_add2 (items, item, 1);
 143   if (protocol == IP_PROTOCOL_UDP)
 144     {
 145       udp[0].hdr.src_port = clib_host_to_net_u16 (src_port);
 146       udp[1].hdr.src_port = clib_host_to_net_u16 (src_port_mask);
 147       udp[0].hdr.dst_port = clib_host_to_net_u16 (dst_port);
 148       udp[1].hdr.dst_port = clib_host_to_net_u16 (dst_port_mask);
 149       item->type = RTE_FLOW_ITEM_TYPE_UDP;
 150       item->spec = udp;
 151       item->mask = udp + 1;
 152     }
 153   else if (protocol == IP_PROTOCOL_TCP)
 154     {
 155       tcp[0].hdr.src_port = clib_host_to_net_u16 (src_port);
 156       tcp[1].hdr.src_port = clib_host_to_net_u16 (src_port_mask);
 157       tcp[0].hdr.dst_port = clib_host_to_net_u16 (dst_port);
 158       tcp[1].hdr.dst_port = clib_host_to_net_u16 (dst_port_mask);
 159       item->type = RTE_FLOW_ITEM_TYPE_TCP;
 160       item->spec = tcp;
 161       item->mask = tcp + 1;
 162     }
 163   else
 164     {
 165       rv = VNET_FLOW_ERROR_NOT_SUPPORTED;
 166       goto done;
 167     }
 168
 169   /* Tunnel header match */
 170   if (f->type == VNET_FLOW_TYPE_IP4_VXLAN)
 171     {
 172       u32 vni = f->ip4_vxlan.vni;
 173       vxlan_header_t spec_hdr = {
 174         .flags = VXLAN_FLAGS_I,
 175         .vni_reserved = clib_host_to_net_u32 (vni << 8)
 176       };
 177       vxlan_header_t mask_hdr = {
 178         .flags = 0xff,
 179         .vni_reserved = clib_host_to_net_u32 (((u32) - 1) << 8)
 180       };
 181
 182       memset (raw, 0, sizeof raw);
 183       raw[0].item.relative = 1;
 184       raw[0].item.length = vxlan_hdr_sz;
 185
 186       clib_memcpy (raw[0].val + raw_sz, &spec_hdr, vxlan_hdr_sz);
 187       clib_memcpy (raw[1].val + raw_sz, &mask_hdr, vxlan_hdr_sz);;
 188
 189       vec_add2 (items, item, 1);
 190       item->type = RTE_FLOW_ITEM_TYPE_RAW;
 191       item->spec = raw;
 192       item->mask = raw + 1;
 193     }
 194
 195   vec_add2 (items, item, 1);
 196   item->type = RTE_FLOW_ITEM_TYPE_END;
 197
 198   /* Actions */
 199   vec_add2 (actions, action, 1);
 200   action->type = RTE_FLOW_ACTION_TYPE_PASSTHRU;
 201
 202   vec_add2 (actions, action, 1);
 203   mark.id = fe->mark;
 204   action->type = RTE_FLOW_ACTION_TYPE_MARK;
 205   action->conf = &mark;
 206
 207   vec_add2 (actions, action, 1);
 208   action->type = RTE_FLOW_ACTION_TYPE_END;
 209
 210   fe->handle = rte_flow_create (xd->device_index, &ingress, items, actions,
 211                                 &xd->last_flow_error);
 212
 213   if (!fe->handle)
 214     rv = VNET_FLOW_ERROR_NOT_SUPPORTED;
 215
 216 done:
 217   vec_free (items);
 218   vec_free (actions);
 219   return rv;
 220 }
 221
 222 int
 223 dpdk_flow_ops_fn (vnet_main_t * vnm, vnet_flow_dev_op_t op, u32 dev_instance,
 224                   u32 flow_index, uword * private_data)
 225 {
 226   dpdk_main_t *dm = &dpdk_main;
 227   vnet_flow_t *flow = vnet_get_flow (flow_index);
 228   dpdk_device_t *xd = vec_elt_at_index (dm->devices, dev_instance);
 229   dpdk_flow_entry_t *fe;
 230   dpdk_flow_lookup_entry_t *fle = 0;
 231   int rv;
 232
 233   if (op == VNET_FLOW_DEV_OP_DEL_FLOW)
 234     {
 235       ASSERT (*private_data >= vec_len (xd->flow_entries));
 236
 237       fe = vec_elt_at_index (xd->flow_entries, *private_data);
 238
 239       if ((rv = rte_flow_destroy (xd->device_index, fe->handle,
 240                                   &xd->last_flow_error)))
 241         return VNET_FLOW_ERROR_INTERNAL;
 242
 243       memset (fe, 0, sizeof (*fe));
 244       pool_put (xd->flow_entries, fe);
 245
 246       goto disable_rx_offload;
 247     }
 248
 249   if (op != VNET_FLOW_DEV_OP_ADD_FLOW)
 250     return VNET_FLOW_ERROR_NOT_SUPPORTED;
 251
 252   pool_get (xd->flow_entries, fe);
 253   fe->flow_index = flow->index;
 254
 255   if (flow->actions == 0)
 256     {
 257       rv = VNET_FLOW_ERROR_NOT_SUPPORTED;
 258       goto done;
 259     }
 260
 261   /* if we need to mark packets, assign one mark */
 262   if (flow->actions & (VNET_FLOW_ACTION_MARK |
 263                        VNET_FLOW_ACTION_REDIRECT_TO_NODE |
 264                        VNET_FLOW_ACTION_BUFFER_ADVANCE))
 265     {
 266       /* reserve slot 0 */
 267       if (xd->flow_lookup_entries == 0)
 268         pool_get_aligned (xd->flow_lookup_entries, fle,
 269                           CLIB_CACHE_LINE_BYTES);
 270       pool_get_aligned (xd->flow_lookup_entries, fle, CLIB_CACHE_LINE_BYTES);
 271       fe->mark = fle - xd->flow_lookup_entries;
 272     }
 273   else
 274     fe->mark = 0;
 275
 276   if ((xd->flags & DPDK_DEVICE_FLAG_RX_FLOW_OFFLOAD) == 0)
 277     {
 278       xd->flags |= DPDK_DEVICE_FLAG_RX_FLOW_OFFLOAD;
 279       dpdk_device_setup (xd);
 280     }
 281
 282   switch (flow->type)
 283     {
 284     case VNET_FLOW_TYPE_IP4_N_TUPLE:
 285     case VNET_FLOW_TYPE_IP6_N_TUPLE:
 286     case VNET_FLOW_TYPE_IP4_VXLAN:
 287       if ((rv = dpdk_flow_add (xd, flow, fe)))
 288         goto done;
 289       break;
 290     default:
 291       rv = VNET_FLOW_ERROR_NOT_SUPPORTED;
 292       goto done;
 293     }
 294
 295   *private_data = fe - xd->flow_entries;
 296
 297   /* install entry in the lookup table */
 298   memset (fle, -1, sizeof (*fle));
 299   if (flow->actions & VNET_FLOW_ACTION_MARK)
 300     fle->flow_id = flow->mark_flow_id;
 301   if (flow->actions & VNET_FLOW_ACTION_REDIRECT_TO_NODE)
 302     fle->next_index = flow->redirect_device_input_next_index;
 303   if (flow->actions & VNET_FLOW_ACTION_BUFFER_ADVANCE)
 304     fle->buffer_advance = flow->buffer_advance;
 305
 306 done:
 307   if (rv)
 308     {
 309       memset (fe, 0, sizeof (*fe));
 310       pool_put (xd->flow_entries, fe);
 311       if (fle)
 312         {
 313           memset (fle, 0, sizeof (*fle));
 314           pool_put (xd->flow_lookup_entries, fle);
 315         }
 316     }
 317 disable_rx_offload:
 318   if ((xd->flags & DPDK_DEVICE_FLAG_RX_FLOW_OFFLOAD) != 0
 319       && pool_elts (xd->flow_entries) == 0)
 320     {
 321       xd->flags &= ~DPDK_DEVICE_FLAG_RX_FLOW_OFFLOAD;
 322       dpdk_device_setup (xd);
 323     }
 324
 325   return rv;
 326 }
 327
 328 u8 *
 329 format_dpdk_flow (u8 * s, va_list * args)
 330 {
 331   u32 dev_instance = va_arg (*args, u32);
 332   u32 flow_index = va_arg (*args, u32);
 333   uword private_data = va_arg (*args, uword);
 334   dpdk_main_t *dm = &dpdk_main;
 335   dpdk_device_t *xd = vec_elt_at_index (dm->devices, dev_instance);
 336   dpdk_flow_entry_t *fe;
 337
 338   if (flow_index == ~0)
 339     {
 340       s = format (s, "%-25s: %U\n", "supported flow actions",
 341                   format_flow_actions, xd->supported_flow_actions);
 342       s = format (s, "%-25s: %d\n", "last DPDK error type",
 343                   xd->last_flow_error.type);
 344       s = format (s, "%-25s: %s\n", "last DPDK error message",
 345                   xd->last_flow_error.message ? xd->last_flow_error.message :
 346                   "n/a");
 347       return s;
 348     }
 349
 350   fe = vec_elt_at_index (xd->flow_entries, private_data);
 351
 352   if (!fe)
 353     return format (s, "unknown flow");
 354
 355   s = format (s, "mark %u", fe->mark);
 356   return s;
 357 }
 358
 359 /*
 360  * fd.io coding-style-patch-verification: ON
 361  *
 362  * Local Variables:
 363  * eval: (c-set-style "gnu")
 364  * End:
 365  */