src/vnet/vxlan/vxlan.c

   1 /*
   2  * Copyright (c) 2015 Cisco and/or its affiliates.
   3  * Licensed under the Apache License, Version 2.0 (the "License");
   4  * you may not use this file except in compliance with the License.
   5  * You may obtain a copy of the License at:
   6  *
   7  *     http://www.apache.org/licenses/LICENSE-2.0
   8  *
   9  * Unless required by applicable law or agreed to in writing, software
  10  * distributed under the License is distributed on an "AS IS" BASIS,
  11  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  12  * See the License for the specific language governing permissions and
  13  * limitations under the License.
  14  */
  15 #include <vnet/vxlan/vxlan.h>
  16 #include <vnet/ip/format.h>
  17 #include <vnet/fib/fib_entry.h>
  18 #include <vnet/fib/fib_table.h>
  19 #include <vnet/mfib/mfib_table.h>
  20 #include <vnet/adj/adj_mcast.h>
  21 #include <vlib/vlib.h>
  22
  23 /**
  24  * @file
  25  * @brief VXLAN.
  26  *
  27  * VXLAN provides the features needed to allow L2 bridge domains (BDs)
  28  * to span multiple servers. This is done by building an L2 overlay on
  29  * top of an L3 network underlay using VXLAN tunnels.
  30  *
  31  * This makes it possible for servers to be co-located in the same data
  32  * center or be separated geographically as long as they are reachable
  33  * through the underlay L3 network.
  34  *
  35  * You can refer to this kind of L2 overlay bridge domain as a VXLAN
  36  * (Virtual eXtensible VLAN) segment.
  37  */
  38
  39
  40 vxlan_main_t vxlan_main;
  41
  42 static u8 * format_decap_next (u8 * s, va_list * args)
  43 {
  44   u32 next_index = va_arg (*args, u32);
  45
  46   switch (next_index)
  47     {
  48     case VXLAN_INPUT_NEXT_DROP:
  49       return format (s, "drop");
  50     case VXLAN_INPUT_NEXT_L2_INPUT:
  51       return format (s, "l2");
  52     default:
  53       return format (s, "index %d", next_index);
  54     }
  55   return s;
  56 }
  57
  58 u8 * format_vxlan_tunnel (u8 * s, va_list * args)
  59 {
  60   vxlan_tunnel_t * t = va_arg (*args, vxlan_tunnel_t *);
  61   vxlan_main_t * ngm = &vxlan_main;
  62
  63   s = format (s, "[%d] src %U dst %U vni %d sw_if_index %d ",
  64               t - ngm->tunnels,
  65               format_ip46_address, &t->src, IP46_TYPE_ANY,
  66               format_ip46_address, &t->dst, IP46_TYPE_ANY,
  67               t->vni, t->sw_if_index);
  68
  69   if (ip46_address_is_multicast (&t->dst))
  70     s = format (s, "mcast_sw_if_index %d ", t->mcast_sw_if_index);
  71
  72   s = format (s, "encap_fib_index %d fib_entry_index %d decap_next %U\n",
  73               t->encap_fib_index, t->fib_entry_index,
  74               format_decap_next, t->decap_next_index);
  75   return s;
  76 }
  77
  78 static u8 * format_vxlan_name (u8 * s, va_list * args)
  79 {
  80   u32 dev_instance = va_arg (*args, u32);
  81   return format (s, "vxlan_tunnel%d", dev_instance);
  82 }
  83
  84 static uword dummy_interface_tx (vlib_main_t * vm,
  85                                  vlib_node_runtime_t * node,
  86                                  vlib_frame_t * frame)
  87 {
  88   clib_warning ("you shouldn't be here, leaking buffers...");
  89   return frame->n_vectors;
  90 }
  91
  92 static clib_error_t *
  93 vxlan_interface_admin_up_down (vnet_main_t * vnm, u32 hw_if_index, u32 flags)
  94 {
  95   u32 hw_flags = (flags & VNET_SW_INTERFACE_FLAG_ADMIN_UP) ?
  96     VNET_HW_INTERFACE_FLAG_LINK_UP : 0;
  97   vnet_hw_interface_set_flags (vnm, hw_if_index, hw_flags);
  98
  99   return /* no error */ 0;
 100 }
 101
 102 VNET_DEVICE_CLASS (vxlan_device_class,static) = {
 103   .name = "VXLAN",
 104   .format_device_name = format_vxlan_name,
 105   .format_tx_trace = format_vxlan_encap_trace,
 106   .tx_function = dummy_interface_tx,
 107   .admin_up_down_function = vxlan_interface_admin_up_down,
 108 };
 109
 110 static u8 * format_vxlan_header_with_length (u8 * s, va_list * args)
 111 {
 112   u32 dev_instance = va_arg (*args, u32);
 113   s = format (s, "unimplemented dev %u", dev_instance);
 114   return s;
 115 }
 116
 117 VNET_HW_INTERFACE_CLASS (vxlan_hw_class) = {
 118   .name = "VXLAN",
 119   .format_header = format_vxlan_header_with_length,
 120   .build_rewrite = default_build_rewrite,
 121 };
 122
 123 static void
 124 vxlan_tunnel_restack_dpo(vxlan_tunnel_t * t)
 125 {
 126     dpo_id_t dpo = DPO_INVALID;
 127     u32 encap_index = ip46_address_is_ip4(&t->dst) ?
 128         vxlan4_encap_node.index : vxlan6_encap_node.index;
 129     fib_forward_chain_type_t forw_type = ip46_address_is_ip4(&t->dst) ?
 130         FIB_FORW_CHAIN_TYPE_UNICAST_IP4 : FIB_FORW_CHAIN_TYPE_UNICAST_IP6;
 131
 132     fib_entry_contribute_forwarding (t->fib_entry_index, forw_type, &dpo);
 133     dpo_stack_from_node (encap_index, &t->next_dpo, &dpo);
 134     dpo_reset(&dpo);
 135 }
 136
 137 static vxlan_tunnel_t *
 138 vxlan_tunnel_from_fib_node (fib_node_t *node)
 139 {
 140 #if (CLIB_DEBUG > 0)
 141     ASSERT(FIB_NODE_TYPE_VXLAN_TUNNEL == node->fn_type);
 142 #endif
 143     return ((vxlan_tunnel_t*) (((char*)node) -
 144                                STRUCT_OFFSET_OF(vxlan_tunnel_t, node)));
 145 }
 146
 147 /**
 148  * Function definition to backwalk a FIB node -
 149  * Here we will restack the new dpo of VXLAN DIP to encap node.
 150  */
 151 static fib_node_back_walk_rc_t
 152 vxlan_tunnel_back_walk (fib_node_t *node,
 153                         fib_node_back_walk_ctx_t *ctx)
 154 {
 155     vxlan_tunnel_restack_dpo(vxlan_tunnel_from_fib_node(node));
 156     return (FIB_NODE_BACK_WALK_CONTINUE);
 157 }
 158
 159 /**
 160  * Function definition to get a FIB node from its index
 161  */
 162 static fib_node_t*
 163 vxlan_tunnel_fib_node_get (fib_node_index_t index)
 164 {
 165     vxlan_tunnel_t * t;
 166     vxlan_main_t * vxm = &vxlan_main;
 167
 168     t = pool_elt_at_index(vxm->tunnels, index);
 169
 170     return (&t->node);
 171 }
 172
 173 /**
 174  * Function definition to inform the FIB node that its last lock has gone.
 175  */
 176 static void
 177 vxlan_tunnel_last_lock_gone (fib_node_t *node)
 178 {
 179     /*
 180      * The VXLAN tunnel is a root of the graph. As such
 181      * it never has children and thus is never locked.
 182      */
 183     ASSERT(0);
 184 }
 185
 186 /*
 187  * Virtual function table registered by VXLAN tunnels
 188  * for participation in the FIB object graph.
 189  */
 190 const static fib_node_vft_t vxlan_vft = {
 191     .fnv_get = vxlan_tunnel_fib_node_get,
 192     .fnv_last_lock = vxlan_tunnel_last_lock_gone,
 193     .fnv_back_walk = vxlan_tunnel_back_walk,
 194 };
 195
 196
 197 #define foreach_copy_field                      \
 198 _(vni)                                          \
 199 _(mcast_sw_if_index)                            \
 200 _(encap_fib_index)                              \
 201 _(decap_next_index)                             \
 202 _(src)                                          \
 203 _(dst)
 204
 205 static int
 206 vxlan_rewrite (vxlan_tunnel_t * t, bool is_ip6)
 207 {
 208   union {
 209     ip4_vxlan_header_t * h4;
 210     ip6_vxlan_header_t * h6;
 211     u8 *rw;
 212   } r = { .rw = 0 };
 213   int len = is_ip6 ? sizeof *r.h6 : sizeof *r.h4;
 214
 215   vec_validate_aligned (r.rw, len-1, CLIB_CACHE_LINE_BYTES);
 216
 217   udp_header_t * udp;
 218   vxlan_header_t * vxlan;
 219   /* Fixed portion of the (outer) ip header */
 220   if (!is_ip6)
 221     {
 222       ip4_header_t * ip = &r.h4->ip4;
 223       udp = &r.h4->udp, vxlan = &r.h4->vxlan;
 224       ip->ip_version_and_header_length = 0x45;
 225       ip->ttl = 254;
 226       ip->protocol = IP_PROTOCOL_UDP;
 227
 228       ip->src_address = t->src.ip4;
 229       ip->dst_address = t->dst.ip4;
 230
 231       /* we fix up the ip4 header length and checksum after-the-fact */
 232       ip->checksum = ip4_header_checksum (ip);
 233     }
 234   else
 235     {
 236       ip6_header_t * ip = &r.h6->ip6;
 237       udp = &r.h6->udp, vxlan = &r.h6->vxlan;
 238       ip->ip_version_traffic_class_and_flow_label = clib_host_to_net_u32(6 << 28);
 239       ip->hop_limit = 255;
 240       ip->protocol = IP_PROTOCOL_UDP;
 241
 242       ip->src_address = t->src.ip6;
 243       ip->dst_address = t->dst.ip6;
 244     }
 245
 246   /* UDP header, randomize src port on something, maybe? */
 247   udp->src_port = clib_host_to_net_u16 (4789);
 248   udp->dst_port = clib_host_to_net_u16 (UDP_DST_PORT_vxlan);
 249
 250   /* VXLAN header */
 251   vnet_set_vni_and_flags(vxlan, t->vni);
 252
 253   t->rewrite = r.rw;
 254   return (0);
 255 }
 256
 257 static bool
 258 vxlan_decap_next_is_valid (vxlan_main_t * vxm, u32 is_ip6, u32 decap_next_index)
 259 {
 260   vlib_main_t * vm = vxm->vlib_main;
 261   u32 input_idx = (!is_ip6) ? vxlan4_input_node.index : vxlan6_input_node.index;
 262   vlib_node_runtime_t *r = vlib_node_get_runtime (vm, input_idx);
 263
 264   return decap_next_index < r->n_next_nodes;
 265 }
 266
 267 static void
 268 hash_set_key_copy (uword ** h, void * key, uword v) {
 269         size_t ksz = hash_header(*h)->user;
 270         void * copy = clib_mem_alloc (ksz);
 271         clib_memcpy (copy, key, ksz);
 272         hash_set_mem (*h, copy, v);
 273 }
 274
 275 static void
 276 hash_unset_key_free (uword ** h, void * key) {
 277         hash_pair_t * hp = hash_get_pair_mem (*h, key);
 278         ASSERT (hp);
 279         key = uword_to_pointer (hp->key, void *);
 280         hash_unset_mem (*h, key);
 281         clib_mem_free (key);
 282 }
 283
 284 static uword
 285 vtep_addr_ref(ip46_address_t *ip)
 286 {
 287         uword *vtep = ip46_address_is_ip4(ip) ?
 288                          hash_get (vxlan_main.vtep4, ip->ip4.as_u32) :
 289                          hash_get_mem (vxlan_main.vtep6, &ip->ip6);
 290         if (vtep)
 291                 return ++(*vtep);
 292         ip46_address_is_ip4(ip) ?
 293                          hash_set (vxlan_main.vtep4, ip->ip4.as_u32, 1) :
 294                          hash_set_key_copy (&vxlan_main.vtep6, &ip->ip6, 1);
 295         return 1;
 296 }
 297
 298 static uword
 299 vtep_addr_unref(ip46_address_t *ip)
 300 {
 301         uword *vtep = ip46_address_is_ip4(ip) ?
 302                          hash_get (vxlan_main.vtep4, ip->ip4.as_u32) :
 303                          hash_get_mem (vxlan_main.vtep6, &ip->ip6);
 304         ASSERT(vtep);
 305         if (--(*vtep) != 0)
 306                 return *vtep;
 307         ip46_address_is_ip4(ip) ?
 308                 hash_unset (vxlan_main.vtep4, ip->ip4.as_u32) :
 309                 hash_unset_key_free (&vxlan_main.vtep6, &ip->ip6);
 310         return 0;
 311 }
 312
 313 typedef CLIB_PACKED(union {
 314   struct {
 315     fib_node_index_t mfib_entry_index;
 316     adj_index_t mcast_adj_index;
 317   };
 318   u64 as_u64;
 319 }) mcast_shared_t;
 320
 321 static inline mcast_shared_t
 322 mcast_shared_get(ip46_address_t * ip)
 323 {
 324         ASSERT(ip46_address_is_multicast(ip));
 325         uword * p = hash_get_mem (vxlan_main.mcast_shared, ip);
 326         ASSERT(p);
 327         return (mcast_shared_t) { .as_u64 = *p };
 328 }
 329
 330 static inline void
 331 mcast_shared_add(ip46_address_t *dst,
 332                  fib_node_index_t mfei,
 333                  adj_index_t ai)
 334 {
 335     mcast_shared_t new_ep = {
 336         .mcast_adj_index = ai,
 337         .mfib_entry_index = mfei,
 338     };
 339
 340     hash_set_key_copy (&vxlan_main.mcast_shared, dst, new_ep.as_u64);
 341 }
 342
 343 static inline void
 344 mcast_shared_remove(ip46_address_t *dst)
 345 {
 346     mcast_shared_t ep = mcast_shared_get(dst);
 347
 348     adj_unlock(ep.mcast_adj_index);
 349     mfib_table_entry_delete_index(ep.mfib_entry_index,
 350                                   MFIB_SOURCE_VXLAN);
 351
 352     hash_unset_key_free (&vxlan_main.mcast_shared, dst);
 353 }
 354
 355 static inline fib_protocol_t
 356 fib_ip_proto(bool is_ip6)
 357 {
 358   return (is_ip6) ? FIB_PROTOCOL_IP6 : FIB_PROTOCOL_IP4;
 359 }
 360
 361 int vnet_vxlan_add_del_tunnel
 362 (vnet_vxlan_add_del_tunnel_args_t *a, u32 * sw_if_indexp)
 363 {
 364   vxlan_main_t * vxm = &vxlan_main;
 365   vxlan_tunnel_t *t = 0;
 366   vnet_main_t * vnm = vxm->vnet_main;
 367   uword * p;
 368   u32 hw_if_index = ~0;
 369   u32 sw_if_index = ~0;
 370   int rv;
 371   vxlan4_tunnel_key_t key4;
 372   vxlan6_tunnel_key_t key6;
 373   u32 is_ip6 = a->is_ip6;
 374
 375   if (!is_ip6)
 376     {
 377       key4.src = a->dst.ip4.as_u32; /* decap src in key is encap dst in config */
 378       key4.vni = clib_host_to_net_u32 (a->vni << 8);
 379       p = hash_get (vxm->vxlan4_tunnel_by_key, key4.as_u64);
 380     }
 381   else
 382     {
 383       key6.src = a->dst.ip6;
 384       key6.vni = clib_host_to_net_u32 (a->vni << 8);
 385       p = hash_get_mem (vxm->vxlan6_tunnel_by_key, &key6);
 386     }
 387
 388   if (a->is_add)
 389     {
 390       l2input_main_t * l2im = &l2input_main;
 391
 392       /* adding a tunnel: tunnel must not already exist */
 393       if (p)
 394         return VNET_API_ERROR_TUNNEL_EXIST;
 395
 396       /*if not set explicitly, default to l2 */
 397       if(a->decap_next_index == ~0)
 398         a->decap_next_index = VXLAN_INPUT_NEXT_L2_INPUT;
 399       if (!vxlan_decap_next_is_valid(vxm, is_ip6, a->decap_next_index))
 400           return VNET_API_ERROR_INVALID_DECAP_NEXT;
 401
 402       pool_get_aligned (vxm->tunnels, t, CLIB_CACHE_LINE_BYTES);
 403       memset (t, 0, sizeof (*t));
 404
 405       /* copy from arg structure */
 406 #define _(x) t->x = a->x;
 407       foreach_copy_field;
 408 #undef _
 409
 410       rv = vxlan_rewrite (t, is_ip6);
 411       if (rv)
 412         {
 413           pool_put (vxm->tunnels, t);
 414           return rv;
 415         }
 416
 417       /* copy the key */
 418       if (is_ip6)
 419         hash_set_key_copy (&vxm->vxlan6_tunnel_by_key, &key6, t - vxm->tunnels);
 420       else
 421         hash_set (vxm->vxlan4_tunnel_by_key, key4.as_u64, t - vxm->tunnels);
 422
 423       vnet_hw_interface_t * hi;
 424       if (vec_len (vxm->free_vxlan_tunnel_hw_if_indices) > 0)
 425         {
 426           vnet_interface_main_t * im = &vnm->interface_main;
 427           hw_if_index = vxm->free_vxlan_tunnel_hw_if_indices
 428             [vec_len (vxm->free_vxlan_tunnel_hw_if_indices)-1];
 429           _vec_len (vxm->free_vxlan_tunnel_hw_if_indices) -= 1;
 430
 431           hi = vnet_get_hw_interface (vnm, hw_if_index);
 432           hi->dev_instance = t - vxm->tunnels;
 433           hi->hw_instance = hi->dev_instance;
 434
 435           /* clear old stats of freed tunnel before reuse */
 436           sw_if_index = hi->sw_if_index;
 437           vnet_interface_counter_lock(im);
 438           vlib_zero_combined_counter
 439             (&im->combined_sw_if_counters[VNET_INTERFACE_COUNTER_TX], sw_if_index);
 440           vlib_zero_combined_counter
 441             (&im->combined_sw_if_counters[VNET_INTERFACE_COUNTER_RX], sw_if_index);
 442           vlib_zero_simple_counter
 443             (&im->sw_if_counters[VNET_INTERFACE_COUNTER_DROP], sw_if_index);
 444           vnet_interface_counter_unlock(im);
 445         }
 446       else
 447         {
 448           hw_if_index = vnet_register_interface
 449             (vnm, vxlan_device_class.index, t - vxm->tunnels,
 450              vxlan_hw_class.index, t - vxm->tunnels);
 451           hi = vnet_get_hw_interface (vnm, hw_if_index);
 452         }
 453
 454       t->hw_if_index = hw_if_index;
 455       t->sw_if_index = sw_if_index = hi->sw_if_index;
 456
 457       vec_validate_init_empty (vxm->tunnel_index_by_sw_if_index, sw_if_index, ~0);
 458       vxm->tunnel_index_by_sw_if_index[sw_if_index] = t - vxm->tunnels;
 459
 460       /* setup l2 input config with l2 feature and bd 0 to drop packet */
 461       vec_validate (l2im->configs, sw_if_index);
 462       l2im->configs[sw_if_index].feature_bitmap = L2INPUT_FEAT_DROP;
 463       l2im->configs[sw_if_index].bd_index = 0;
 464
 465       vnet_sw_interface_set_flags (vnm, sw_if_index,
 466                                    VNET_SW_INTERFACE_FLAG_ADMIN_UP);
 467       fib_node_init(&t->node, FIB_NODE_TYPE_VXLAN_TUNNEL);
 468       fib_prefix_t tun_dst_pfx;
 469       u32 encap_index = !is_ip6 ?
 470           vxlan4_encap_node.index : vxlan6_encap_node.index;
 471       vnet_flood_class_t flood_class = VNET_FLOOD_CLASS_TUNNEL_NORMAL;
 472
 473       fib_prefix_from_ip46_addr(&t->dst, &tun_dst_pfx);
 474       if (!ip46_address_is_multicast(&t->dst))
 475         {
 476           /* Unicast tunnel -
 477            * source the FIB entry for the tunnel's destination
 478            * and become a child thereof. The tunnel will then get poked
 479            * when the forwarding for the entry updates, and the tunnel can
 480            * re-stack accordingly
 481            */
 482           vtep_addr_ref(&t->src);
 483           t->fib_entry_index = fib_table_entry_special_add
 484             (t->encap_fib_index, &tun_dst_pfx, FIB_SOURCE_RR,
 485              FIB_ENTRY_FLAG_NONE, ADJ_INDEX_INVALID);
 486           t->sibling_index = fib_entry_child_add
 487             (t->fib_entry_index, FIB_NODE_TYPE_VXLAN_TUNNEL, t - vxm->tunnels);
 488           vxlan_tunnel_restack_dpo(t);
 489         }
 490       else
 491         {
 492           /* Multicast tunnel -
 493            * as the same mcast group can be used for mutiple mcast tunnels
 494            * with different VNIs, create the output fib adjecency only if
 495            * it does not already exist
 496            */
 497           fib_protocol_t fp = fib_ip_proto(is_ip6);
 498
 499           if (vtep_addr_ref(&t->dst) == 1)
 500           {
 501               fib_node_index_t mfei;
 502               adj_index_t ai;
 503               fib_route_path_t path = {
 504                   .frp_proto = fp,
 505                   .frp_addr = zero_addr,
 506                   .frp_sw_if_index = 0xffffffff,
 507                   .frp_fib_index = ~0,
 508                   .frp_weight = 0,
 509                   .frp_flags = FIB_ROUTE_PATH_LOCAL,
 510               };
 511               const mfib_prefix_t mpfx = {
 512                   .fp_proto = fp,
 513                   .fp_len = (is_ip6 ? 128 : 32),
 514                   .fp_grp_addr = tun_dst_pfx.fp_addr,
 515               };
 516
 517               /*
 518                * Setup the (*,G) to receive traffic on the mcast group
 519                *  - the forwarding interface is for-us
 520                *  - the accepting interface is that from the API
 521                */
 522               mfib_table_entry_path_update(t->encap_fib_index,
 523                                            &mpfx,
 524                                            MFIB_SOURCE_VXLAN,
 525                                            &path,
 526                                            MFIB_ITF_FLAG_FORWARD);
 527
 528               path.frp_sw_if_index = a->mcast_sw_if_index;
 529               path.frp_flags = FIB_ROUTE_PATH_FLAG_NONE;
 530               mfei = mfib_table_entry_path_update(t->encap_fib_index,
 531                                                   &mpfx,
 532                                                   MFIB_SOURCE_VXLAN,
 533                                                   &path,
 534                                                   MFIB_ITF_FLAG_ACCEPT);
 535
 536               /*
 537                * Create the mcast adjacency to send traffic to the group
 538                */
 539               ai = adj_mcast_add_or_lock(fp,
 540                                          fib_proto_to_link(fp),
 541                                          a->mcast_sw_if_index);
 542
 543               /*
 544                * create a new end-point
 545                */
 546               mcast_shared_add(&t->dst, mfei, ai);
 547           }
 548
 549           dpo_id_t dpo = DPO_INVALID;
 550           mcast_shared_t ep = mcast_shared_get(&t->dst);
 551
 552           /* Stack shared mcast dst mac addr rewrite on encap */
 553           dpo_set (&dpo, DPO_ADJACENCY_MCAST,
 554                    fib_proto_to_dpo(fp),
 555                    ep.mcast_adj_index);
 556
 557           dpo_stack_from_node (encap_index, &t->next_dpo, &dpo);
 558           dpo_reset (&dpo);
 559           flood_class = VNET_FLOOD_CLASS_TUNNEL_MASTER;
 560         }
 561
 562       /* Set vxlan tunnel output node */
 563       hi->output_node_index = encap_index;
 564
 565       vnet_get_sw_interface (vnet_get_main(), sw_if_index)->flood_class = flood_class;
 566     }
 567   else
 568     {
 569       /* deleting a tunnel: tunnel must exist */
 570       if (!p)
 571         return VNET_API_ERROR_NO_SUCH_ENTRY;
 572
 573       t = pool_elt_at_index (vxm->tunnels, p[0]);
 574
 575       vnet_sw_interface_set_flags (vnm, t->sw_if_index, 0 /* down */);
 576       /* make sure tunnel is removed from l2 bd or xconnect */
 577       set_int_l2_mode(vxm->vlib_main, vnm, MODE_L3, t->sw_if_index, 0, 0, 0, 0);
 578       vec_add1 (vxm->free_vxlan_tunnel_hw_if_indices, t->hw_if_index);
 579
 580       vxm->tunnel_index_by_sw_if_index[t->sw_if_index] = ~0;
 581
 582       if (!is_ip6)
 583         hash_unset (vxm->vxlan4_tunnel_by_key, key4.as_u64);
 584       else
 585         hash_unset_key_free (&vxm->vxlan6_tunnel_by_key, &key6);
 586
 587       if (!ip46_address_is_multicast(&t->dst))
 588         {
 589           vtep_addr_unref(&t->src);
 590           fib_entry_child_remove(t->fib_entry_index, t->sibling_index);
 591           fib_table_entry_delete_index(t->fib_entry_index, FIB_SOURCE_RR);
 592         }
 593       else if (vtep_addr_unref(&t->dst) == 0)
 594         {
 595           mcast_shared_remove(&t->dst);
 596         }
 597
 598       fib_node_deinit(&t->node);
 599       vec_free (t->rewrite);
 600       pool_put (vxm->tunnels, t);
 601     }
 602
 603   if (sw_if_indexp)
 604       *sw_if_indexp = sw_if_index;
 605
 606   return 0;
 607 }
 608
 609 static uword get_decap_next_for_node(u32 node_index, u32 ipv4_set)
 610 {
 611   vxlan_main_t * vxm = &vxlan_main;
 612   vlib_main_t * vm = vxm->vlib_main;
 613   uword input_node = (ipv4_set) ? vxlan4_input_node.index :
 614     vxlan6_input_node.index;
 615
 616   return vlib_node_add_next (vm, input_node, node_index);
 617 }
 618
 619 static uword unformat_decap_next (unformat_input_t * input, va_list * args)
 620 {
 621   u32 * result = va_arg (*args, u32 *);
 622   u32 ipv4_set = va_arg (*args, int);
 623   vxlan_main_t * vxm = &vxlan_main;
 624   vlib_main_t * vm = vxm->vlib_main;
 625   u32 node_index;
 626   u32 tmp;
 627
 628   if (unformat (input, "l2"))
 629     *result = VXLAN_INPUT_NEXT_L2_INPUT;
 630   else if (unformat (input, "node %U", unformat_vlib_node, vm, &node_index))
 631     *result = get_decap_next_for_node(node_index, ipv4_set);
 632   else if (unformat (input, "%d", &tmp))
 633     *result = tmp;
 634   else
 635     return 0;
 636   return 1;
 637 }
 638
 639 static clib_error_t *
 640 vxlan_add_del_tunnel_command_fn (vlib_main_t * vm,
 641                                    unformat_input_t * input,
 642                                    vlib_cli_command_t * cmd)
 643 {
 644   unformat_input_t _line_input, * line_input = &_line_input;
 645   ip46_address_t src , dst;
 646   u8 is_add = 1;
 647   u8 src_set = 0;
 648   u8 dst_set = 0;
 649   u8 grp_set = 0;
 650   u8 ipv4_set = 0;
 651   u8 ipv6_set = 0;
 652   u32 encap_fib_index = 0;
 653   u32 mcast_sw_if_index = ~0;
 654   u32 decap_next_index = VXLAN_INPUT_NEXT_L2_INPUT;
 655   u32 vni = 0;
 656   u32 tmp;
 657   int rv;
 658   vnet_vxlan_add_del_tunnel_args_t _a, * a = &_a;
 659   u32 tunnel_sw_if_index;
 660   clib_error_t *error = NULL;
 661
 662   /* Cant "universally zero init" (={0}) due to GCC bug 53119 */
 663   memset(&src, 0, sizeof src);
 664   memset(&dst, 0, sizeof dst);
 665
 666   /* Get a line of input. */
 667   if (! unformat_user (input, unformat_line_input, line_input))
 668     return 0;
 669
 670   while (unformat_check_input (line_input) != UNFORMAT_END_OF_INPUT) {
 671     if (unformat (line_input, "del"))
 672       {
 673         is_add = 0;
 674       }
 675     else if (unformat (line_input, "src %U",
 676                        unformat_ip4_address, &src.ip4))
 677       {
 678         src_set = 1;
 679         ipv4_set = 1;
 680       }
 681     else if (unformat (line_input, "dst %U",
 682                        unformat_ip4_address, &dst.ip4))
 683       {
 684         dst_set = 1;
 685         ipv4_set = 1;
 686       }
 687     else if (unformat (line_input, "src %U",
 688                        unformat_ip6_address, &src.ip6))
 689       {
 690         src_set = 1;
 691         ipv6_set = 1;
 692       }
 693     else if (unformat (line_input, "dst %U",
 694                        unformat_ip6_address, &dst.ip6))
 695       {
 696         dst_set = 1;
 697         ipv6_set = 1;
 698       }
 699     else if (unformat (line_input, "group %U %U",
 700                        unformat_ip4_address, &dst.ip4,
 701                        unformat_vnet_sw_interface,
 702                        vnet_get_main(), &mcast_sw_if_index))
 703       {
 704         grp_set = dst_set = 1;
 705         ipv4_set = 1;
 706       }
 707     else if (unformat (line_input, "group %U %U",
 708                        unformat_ip6_address, &dst.ip6,
 709                        unformat_vnet_sw_interface,
 710                        vnet_get_main(), &mcast_sw_if_index))
 711       {
 712         grp_set = dst_set = 1;
 713         ipv6_set = 1;
 714       }
 715     else if (unformat (line_input, "encap-vrf-id %d", &tmp))
 716       {
 717         encap_fib_index = fib_table_find (fib_ip_proto (ipv6_set), tmp);
 718         if (encap_fib_index == ~0)
 719           {
 720             error = clib_error_return (0, "nonexistent encap-vrf-id %d", tmp);
 721             goto done;
 722           }
 723       }
 724     else if (unformat (line_input, "decap-next %U", unformat_decap_next,
 725                        &decap_next_index, ipv4_set))
 726       ;
 727     else if (unformat (line_input, "vni %d", &vni))
 728       {
 729         if (vni >> 24)
 730           {
 731             error = clib_error_return (0, "vni %d out of range", vni);
 732             goto done;
 733           }
 734       }
 735     else
 736       {
 737         error = clib_error_return (0, "parse error: '%U'",
 738                                    format_unformat_error, line_input);
 739         goto done;
 740       }
 741   }
 742
 743   if (src_set == 0)
 744     {
 745       error = clib_error_return (0, "tunnel src address not specified");
 746       goto done;
 747     }
 748
 749   if (dst_set == 0)
 750     {
 751       error = clib_error_return (0, "tunnel dst address not specified");
 752       goto done;
 753     }
 754
 755   if (grp_set && !ip46_address_is_multicast(&dst))
 756     {
 757       error = clib_error_return (0, "tunnel group address not multicast");
 758       goto done;
 759     }
 760
 761   if (grp_set == 0 && ip46_address_is_multicast(&dst))
 762     {
 763       error = clib_error_return (0, "dst address must be unicast");
 764       goto done;
 765     }
 766
 767   if (grp_set && mcast_sw_if_index == ~0)
 768     {
 769       error = clib_error_return (0, "tunnel nonexistent multicast device");
 770       goto done;
 771     }
 772
 773   if (ipv4_set && ipv6_set)
 774     {
 775       error = clib_error_return (0, "both IPv4 and IPv6 addresses specified");
 776       goto done;
 777     }
 778
 779   if (ip46_address_cmp(&src, &dst) == 0)
 780     {
 781       error = clib_error_return (0, "src and dst addresses are identical");
 782       goto done;
 783     }
 784
 785   if (decap_next_index == ~0)
 786     {
 787       error = clib_error_return (0, "next node not found");
 788       goto done;
 789     }
 790
 791   if (vni == 0)
 792     {
 793       error = clib_error_return (0, "vni not specified");
 794       goto done;
 795     }
 796
 797   memset (a, 0, sizeof (*a));
 798
 799   a->is_add = is_add;
 800   a->is_ip6 = ipv6_set;
 801
 802 #define _(x) a->x = x;
 803   foreach_copy_field;
 804 #undef _
 805
 806   rv = vnet_vxlan_add_del_tunnel (a, &tunnel_sw_if_index);
 807
 808   switch(rv)
 809     {
 810     case 0:
 811       if (is_add)
 812         vlib_cli_output(vm, "%U\n", format_vnet_sw_if_index_name,
 813                         vnet_get_main(), tunnel_sw_if_index);
 814       break;
 815
 816     case VNET_API_ERROR_TUNNEL_EXIST:
 817       error = clib_error_return (0, "tunnel already exists...");
 818       goto done;
 819
 820     case VNET_API_ERROR_NO_SUCH_ENTRY:
 821       error = clib_error_return (0, "tunnel does not exist...");
 822       goto done;
 823
 824     default:
 825       error = clib_error_return
 826         (0, "vnet_vxlan_add_del_tunnel returned %d", rv);
 827       goto done;
 828     }
 829
 830 done:
 831   unformat_free (line_input);
 832
 833   return error;
 834 }
 835
 836 /*?
 837  * Add or delete a VXLAN Tunnel.
 838  *
 839  * VXLAN provides the features needed to allow L2 bridge domains (BDs)
 840  * to span multiple servers. This is done by building an L2 overlay on
 841  * top of an L3 network underlay using VXLAN tunnels.
 842  *
 843  * This makes it possible for servers to be co-located in the same data
 844  * center or be separated geographically as long as they are reachable
 845  * through the underlay L3 network.
 846  *
 847  * You can refer to this kind of L2 overlay bridge domain as a VXLAN
 848  * (Virtual eXtensible VLAN) segment.
 849  *
 850  * @cliexpar
 851  * Example of how to create a VXLAN Tunnel:
 852  * @cliexcmd{create vxlan tunnel src 10.0.3.1 dst 10.0.3.3 vni 13 encap-vrf-id 7}
 853  * Example of how to delete a VXLAN Tunnel:
 854  * @cliexcmd{create vxlan tunnel src 10.0.3.1 dst 10.0.3.3 vni 13 del}
 855  ?*/
 856 /* *INDENT-OFF* */
 857 VLIB_CLI_COMMAND (create_vxlan_tunnel_command, static) = {
 858   .path = "create vxlan tunnel",
 859   .short_help =
 860   "create vxlan tunnel src <local-vtep-addr>"
 861   " {dst <remote-vtep-addr>|group <mcast-vtep-addr> <intf-name>} vni <nn>"
 862   " [encap-vrf-id <nn>] [decap-next [l2|node <name>]] [del]",
 863   .function = vxlan_add_del_tunnel_command_fn,
 864 };
 865 /* *INDENT-ON* */
 866
 867 static clib_error_t *
 868 show_vxlan_tunnel_command_fn (vlib_main_t * vm,
 869                                 unformat_input_t * input,
 870                                 vlib_cli_command_t * cmd)
 871 {
 872   vxlan_main_t * vxm = &vxlan_main;
 873   vxlan_tunnel_t * t;
 874
 875   if (pool_elts (vxm->tunnels) == 0)
 876     vlib_cli_output (vm, "No vxlan tunnels configured...");
 877
 878   pool_foreach (t, vxm->tunnels,
 879   ({
 880     vlib_cli_output (vm, "%U", format_vxlan_tunnel, t);
 881   }));
 882
 883   return 0;
 884 }
 885
 886 /*?
 887  * Display all the VXLAN Tunnel entries.
 888  *
 889  * @cliexpar
 890  * Example of how to display the VXLAN Tunnel entries:
 891  * @cliexstart{show vxlan tunnel}
 892  * [0] src 10.0.3.1 dst 10.0.3.3 vni 13 encap_fib_index 0 sw_if_index 5 decap_next l2
 893  * @cliexend
 894  ?*/
 895 /* *INDENT-OFF* */
 896 VLIB_CLI_COMMAND (show_vxlan_tunnel_command, static) = {
 897     .path = "show vxlan tunnel",
 898     .short_help = "show vxlan tunnel",
 899     .function = show_vxlan_tunnel_command_fn,
 900 };
 901 /* *INDENT-ON* */
 902
 903
 904 void vnet_int_vxlan_bypass_mode (u32 sw_if_index,
 905                                  u8 is_ip6,
 906                                  u8 is_enable)
 907 {
 908   if (is_ip6)
 909     vnet_feature_enable_disable ("ip6-unicast", "ip6-vxlan-bypass",
 910                                  sw_if_index, is_enable, 0, 0);
 911   else
 912     vnet_feature_enable_disable ("ip4-unicast", "ip4-vxlan-bypass",
 913                                  sw_if_index, is_enable, 0, 0);
 914 }
 915
 916
 917 static clib_error_t *
 918 set_ip_vxlan_bypass (u32 is_ip6,
 919                      unformat_input_t * input,
 920                      vlib_cli_command_t * cmd)
 921 {
 922   unformat_input_t _line_input, * line_input = &_line_input;
 923   vnet_main_t * vnm = vnet_get_main();
 924   clib_error_t * error = 0;
 925   u32 sw_if_index, is_enable;
 926
 927   sw_if_index = ~0;
 928   is_enable = 1;
 929
 930   if (! unformat_user (input, unformat_line_input, line_input))
 931     return 0;
 932
 933   while (unformat_check_input (line_input) != UNFORMAT_END_OF_INPUT)
 934     {
 935       if (unformat_user (line_input, unformat_vnet_sw_interface, vnm, &sw_if_index))
 936           ;
 937       else if (unformat (line_input, "del"))
 938         is_enable = 0;
 939       else
 940         {
 941           error = unformat_parse_error (line_input);
 942           goto done;
 943         }
 944     }
 945
 946   if (~0 == sw_if_index)
 947     {
 948       error = clib_error_return (0, "unknown interface `%U'",
 949                                  format_unformat_error, line_input);
 950       goto done;
 951     }
 952
 953   vnet_int_vxlan_bypass_mode (sw_if_index, is_ip6, is_enable);
 954
 955  done:
 956   unformat_free (line_input);
 957
 958   return error;
 959 }
 960
 961 static clib_error_t *
 962 set_ip4_vxlan_bypass (vlib_main_t * vm,
 963                       unformat_input_t * input,
 964                       vlib_cli_command_t * cmd)
 965 {
 966   return set_ip_vxlan_bypass (0, input, cmd);
 967 }
 968
 969 /*?
 970  * This command adds the 'ip4-vxlan-bypass' graph node for a given interface.
 971  * By adding the IPv4 vxlan-bypass graph node to an interface, the node checks
 972  *  for and validate input vxlan packet and bypass ip4-lookup, ip4-local,
 973  * ip4-udp-lookup nodes to speedup vxlan packet forwarding. This node will
 974  * cause extra overhead to for non-vxlan packets which is kept at a minimum.
 975  *
 976  * @cliexpar
 977  * @parblock
 978  * Example of graph node before ip4-vxlan-bypass is enabled:
 979  * @cliexstart{show vlib graph ip4-vxlan-bypass}
 980  *            Name                      Next                    Previous
 981  * ip4-vxlan-bypass                error-drop [0]
 982  *                                vxlan4-input [1]
 983  *                                 ip4-lookup [2]
 984  * @cliexend
 985  *
 986  * Example of how to enable ip4-vxlan-bypass on an interface:
 987  * @cliexcmd{set interface ip vxlan-bypass GigabitEthernet2/0/0}
 988  *
 989  * Example of graph node after ip4-vxlan-bypass is enabled:
 990  * @cliexstart{show vlib graph ip4-vxlan-bypass}
 991  *            Name                      Next                    Previous
 992  * ip4-vxlan-bypass                error-drop [0]               ip4-input
 993  *                                vxlan4-input [1]        ip4-input-no-checksum
 994  *                                 ip4-lookup [2]
 995  * @cliexend
 996  *
 997  * Example of how to display the feature enabed on an interface:
 998  * @cliexstart{show ip interface features GigabitEthernet2/0/0}
 999  * IP feature paths configured on GigabitEthernet2/0/0...
1000  * ...
1001  * ipv4 unicast:
1002  *   ip4-vxlan-bypass
1003  *   ip4-lookup
1004  * ...
1005  * @cliexend
1006  *
1007  * Example of how to disable ip4-vxlan-bypass on an interface:
1008  * @cliexcmd{set interface ip vxlan-bypass GigabitEthernet2/0/0 del}
1009  * @endparblock
1010 ?*/
1011 /* *INDENT-OFF* */
1012 VLIB_CLI_COMMAND (set_interface_ip_vxlan_bypass_command, static) = {
1013   .path = "set interface ip vxlan-bypass",
1014   .function = set_ip4_vxlan_bypass,
1015   .short_help = "set interface ip vxlan-bypass <interface> [del]",
1016 };
1017 /* *INDENT-ON* */
1018
1019 static clib_error_t *
1020 set_ip6_vxlan_bypass (vlib_main_t * vm,
1021                       unformat_input_t * input,
1022                       vlib_cli_command_t * cmd)
1023 {
1024   return set_ip_vxlan_bypass (1, input, cmd);
1025 }
1026
1027 /*?
1028  * This command adds the 'ip6-vxlan-bypass' graph node for a given interface.
1029  * By adding the IPv6 vxlan-bypass graph node to an interface, the node checks
1030  *  for and validate input vxlan packet and bypass ip6-lookup, ip6-local,
1031  * ip6-udp-lookup nodes to speedup vxlan packet forwarding. This node will
1032  * cause extra overhead to for non-vxlan packets which is kept at a minimum.
1033  *
1034  * @cliexpar
1035  * @parblock
1036  * Example of graph node before ip6-vxlan-bypass is enabled:
1037  * @cliexstart{show vlib graph ip6-vxlan-bypass}
1038  *            Name                      Next                    Previous
1039  * ip6-vxlan-bypass                error-drop [0]
1040  *                                vxlan6-input [1]
1041  *                                 ip6-lookup [2]
1042  * @cliexend
1043  *
1044  * Example of how to enable ip6-vxlan-bypass on an interface:
1045  * @cliexcmd{set interface ip6 vxlan-bypass GigabitEthernet2/0/0}
1046  *
1047  * Example of graph node after ip6-vxlan-bypass is enabled:
1048  * @cliexstart{show vlib graph ip6-vxlan-bypass}
1049  *            Name                      Next                    Previous
1050  * ip6-vxlan-bypass                error-drop [0]               ip6-input
1051  *                                vxlan6-input [1]        ip4-input-no-checksum
1052  *                                 ip6-lookup [2]
1053  * @cliexend
1054  *
1055  * Example of how to display the feature enabed on an interface:
1056  * @cliexstart{show ip interface features GigabitEthernet2/0/0}
1057  * IP feature paths configured on GigabitEthernet2/0/0...
1058  * ...
1059  * ipv6 unicast:
1060  *   ip6-vxlan-bypass
1061  *   ip6-lookup
1062  * ...
1063  * @cliexend
1064  *
1065  * Example of how to disable ip6-vxlan-bypass on an interface:
1066  * @cliexcmd{set interface ip6 vxlan-bypass GigabitEthernet2/0/0 del}
1067  * @endparblock
1068 ?*/
1069 /* *INDENT-OFF* */
1070 VLIB_CLI_COMMAND (set_interface_ip6_vxlan_bypass_command, static) = {
1071   .path = "set interface ip6 vxlan-bypass",
1072   .function = set_ip6_vxlan_bypass,
1073   .short_help = "set interface ip vxlan-bypass <interface> [del]",
1074 };
1075 /* *INDENT-ON* */
1076
1077 clib_error_t *vxlan_init (vlib_main_t *vm)
1078 {
1079   vxlan_main_t * vxm = &vxlan_main;
1080
1081   vxm->vnet_main = vnet_get_main();
1082   vxm->vlib_main = vm;
1083
1084   /* initialize the ip6 hash */
1085   vxm->vxlan6_tunnel_by_key = hash_create_mem(0,
1086         sizeof(vxlan6_tunnel_key_t),
1087         sizeof(uword));
1088   vxm->vtep6 = hash_create_mem(0,
1089         sizeof(ip6_address_t),
1090         sizeof(uword));
1091   vxm->mcast_shared = hash_create_mem(0,
1092         sizeof(ip46_address_t),
1093         sizeof(mcast_shared_t));
1094
1095   udp_register_dst_port (vm, UDP_DST_PORT_vxlan,
1096                          vxlan4_input_node.index, /* is_ip4 */ 1);
1097   udp_register_dst_port (vm, UDP_DST_PORT_vxlan6,
1098                          vxlan6_input_node.index, /* is_ip4 */ 0);
1099
1100   fib_node_register_type(FIB_NODE_TYPE_VXLAN_TUNNEL, &vxlan_vft);
1101
1102   return 0;
1103 }
1104
1105 VLIB_INIT_FUNCTION(vxlan_init);