300aae4e0ba03712640c63e45d76d55344a355aa
[vpp.git] / src / vnet / vxlan / vxlan.c
1 /*
2  * Copyright (c) 2015 Cisco and/or its affiliates.
3  * Licensed under the Apache License, Version 2.0 (the "License");
4  * you may not use this file except in compliance with the License.
5  * You may obtain a copy of the License at:
6  *
7  *     http://www.apache.org/licenses/LICENSE-2.0
8  *
9  * Unless required by applicable law or agreed to in writing, software
10  * distributed under the License is distributed on an "AS IS" BASIS,
11  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
12  * See the License for the specific language governing permissions and
13  * limitations under the License.
14  */
15 #include <vnet/vxlan/vxlan.h>
16 #include <vnet/ip/format.h>
17 #include <vnet/fib/fib_entry.h>
18 #include <vnet/fib/fib_table.h>
19 #include <vnet/fib/fib_entry_track.h>
20 #include <vnet/mfib/mfib_table.h>
21 #include <vnet/adj/adj_mcast.h>
22 #include <vnet/adj/rewrite.h>
23 #include <vnet/dpo/drop_dpo.h>
24 #include <vnet/interface.h>
25 #include <vnet/flow/flow.h>
26 #include <vnet/udp/udp_local.h>
27 #include <vlib/vlib.h>
28
29 /**
30  * @file
31  * @brief VXLAN.
32  *
33  * VXLAN provides the features needed to allow L2 bridge domains (BDs)
34  * to span multiple servers. This is done by building an L2 overlay on
35  * top of an L3 network underlay using VXLAN tunnels.
36  *
37  * This makes it possible for servers to be co-located in the same data
38  * center or be separated geographically as long as they are reachable
39  * through the underlay L3 network.
40  *
41  * You can refer to this kind of L2 overlay bridge domain as a VXLAN
42  * (Virtual eXtensible VLAN) segment.
43  */
44
45
46 vxlan_main_t vxlan_main;
47
48 static u32
49 vxlan_eth_flag_change (vnet_main_t *vnm, vnet_hw_interface_t *hi, u32 flags)
50 {
51   /* nothing for now */
52   return 0;
53 }
54
55 static u8 *
56 format_decap_next (u8 * s, va_list * args)
57 {
58   u32 next_index = va_arg (*args, u32);
59
60   if (next_index == VXLAN_INPUT_NEXT_DROP)
61     return format (s, "drop");
62   else
63     return format (s, "index %d", next_index);
64   return s;
65 }
66
67 u8 *
68 format_vxlan_tunnel (u8 * s, va_list * args)
69 {
70   vxlan_tunnel_t *t = va_arg (*args, vxlan_tunnel_t *);
71
72   s = format (s,
73               "[%d] instance %d src %U dst %U vni %d fib-idx %d sw-if-idx %d ",
74               t->dev_instance, t->user_instance,
75               format_ip46_address, &t->src, IP46_TYPE_ANY,
76               format_ip46_address, &t->dst, IP46_TYPE_ANY,
77               t->vni, t->encap_fib_index, t->sw_if_index);
78
79   s = format (s, "encap-dpo-idx %d ", t->next_dpo.dpoi_index);
80
81   if (PREDICT_FALSE (t->decap_next_index != VXLAN_INPUT_NEXT_L2_INPUT))
82     s = format (s, "decap-next-%U ", format_decap_next, t->decap_next_index);
83
84   if (PREDICT_FALSE (ip46_address_is_multicast (&t->dst)))
85     s = format (s, "mcast-sw-if-idx %d ", t->mcast_sw_if_index);
86
87   if (t->flow_index != ~0)
88     s = format (s, "flow-index %d [%U]", t->flow_index,
89                 format_flow_enabled_hw, t->flow_index);
90
91   return s;
92 }
93
94 static u8 *
95 format_vxlan_name (u8 * s, va_list * args)
96 {
97   u32 dev_instance = va_arg (*args, u32);
98   vxlan_main_t *vxm = &vxlan_main;
99   vxlan_tunnel_t *t;
100
101   if (dev_instance == ~0)
102     return format (s, "<cached-unused>");
103
104   if (dev_instance >= vec_len (vxm->tunnels))
105     return format (s, "<improperly-referenced>");
106
107   t = pool_elt_at_index (vxm->tunnels, dev_instance);
108
109   return format (s, "vxlan_tunnel%d", t->user_instance);
110 }
111
112 static clib_error_t *
113 vxlan_interface_admin_up_down (vnet_main_t * vnm, u32 hw_if_index, u32 flags)
114 {
115   u32 hw_flags = (flags & VNET_SW_INTERFACE_FLAG_ADMIN_UP) ?
116     VNET_HW_INTERFACE_FLAG_LINK_UP : 0;
117   vnet_hw_interface_set_flags (vnm, hw_if_index, hw_flags);
118
119   return /* no error */ 0;
120 }
121
122 /* *INDENT-OFF* */
123 VNET_DEVICE_CLASS (vxlan_device_class, static) = {
124   .name = "VXLAN",
125   .format_device_name = format_vxlan_name,
126   .format_tx_trace = format_vxlan_encap_trace,
127   .admin_up_down_function = vxlan_interface_admin_up_down,
128 };
129 /* *INDENT-ON* */
130
131 static u8 *
132 format_vxlan_header_with_length (u8 * s, va_list * args)
133 {
134   u32 dev_instance = va_arg (*args, u32);
135   s = format (s, "unimplemented dev %u", dev_instance);
136   return s;
137 }
138
139 /* *INDENT-OFF* */
140 VNET_HW_INTERFACE_CLASS (vxlan_hw_class) = {
141   .name = "VXLAN",
142   .format_header = format_vxlan_header_with_length,
143   .build_rewrite = default_build_rewrite,
144 };
145 /* *INDENT-ON* */
146
147 static void
148 vxlan_tunnel_restack_dpo (vxlan_tunnel_t * t)
149 {
150   u8 is_ip4 = ip46_address_is_ip4 (&t->dst);
151   dpo_id_t dpo = DPO_INVALID;
152   fib_forward_chain_type_t forw_type = is_ip4 ?
153     FIB_FORW_CHAIN_TYPE_UNICAST_IP4 : FIB_FORW_CHAIN_TYPE_UNICAST_IP6;
154
155   fib_entry_contribute_forwarding (t->fib_entry_index, forw_type, &dpo);
156
157   /* vxlan uses the payload hash as the udp source port
158    * hence the packet's hash is unknown
159    * skip single bucket load balance dpo's */
160   while (DPO_LOAD_BALANCE == dpo.dpoi_type)
161     {
162       const load_balance_t *lb;
163       const dpo_id_t *choice;
164
165       lb = load_balance_get (dpo.dpoi_index);
166       if (lb->lb_n_buckets > 1)
167         break;
168
169       choice = load_balance_get_bucket_i (lb, 0);
170
171       if (DPO_RECEIVE == choice->dpoi_type)
172         dpo_copy (&dpo, drop_dpo_get (choice->dpoi_proto));
173       else
174         dpo_copy (&dpo, choice);
175     }
176
177   u32 encap_index = is_ip4 ?
178     vxlan4_encap_node.index : vxlan6_encap_node.index;
179   dpo_stack_from_node (encap_index, &t->next_dpo, &dpo);
180   dpo_reset (&dpo);
181 }
182
183 static vxlan_tunnel_t *
184 vxlan_tunnel_from_fib_node (fib_node_t * node)
185 {
186   ASSERT (FIB_NODE_TYPE_VXLAN_TUNNEL == node->fn_type);
187   return ((vxlan_tunnel_t *) (((char *) node) -
188                               STRUCT_OFFSET_OF (vxlan_tunnel_t, node)));
189 }
190
191 /**
192  * Function definition to backwalk a FIB node -
193  * Here we will restack the new dpo of VXLAN DIP to encap node.
194  */
195 static fib_node_back_walk_rc_t
196 vxlan_tunnel_back_walk (fib_node_t * node, fib_node_back_walk_ctx_t * ctx)
197 {
198   vxlan_tunnel_restack_dpo (vxlan_tunnel_from_fib_node (node));
199   return (FIB_NODE_BACK_WALK_CONTINUE);
200 }
201
202 /**
203  * Function definition to get a FIB node from its index
204  */
205 static fib_node_t *
206 vxlan_tunnel_fib_node_get (fib_node_index_t index)
207 {
208   vxlan_tunnel_t *t;
209   vxlan_main_t *vxm = &vxlan_main;
210
211   t = pool_elt_at_index (vxm->tunnels, index);
212
213   return (&t->node);
214 }
215
216 /**
217  * Function definition to inform the FIB node that its last lock has gone.
218  */
219 static void
220 vxlan_tunnel_last_lock_gone (fib_node_t * node)
221 {
222   /*
223    * The VXLAN tunnel is a root of the graph. As such
224    * it never has children and thus is never locked.
225    */
226   ASSERT (0);
227 }
228
229 /*
230  * Virtual function table registered by VXLAN tunnels
231  * for participation in the FIB object graph.
232  */
233 const static fib_node_vft_t vxlan_vft = {
234   .fnv_get = vxlan_tunnel_fib_node_get,
235   .fnv_last_lock = vxlan_tunnel_last_lock_gone,
236   .fnv_back_walk = vxlan_tunnel_back_walk,
237 };
238
239
240 #define foreach_copy_field                      \
241 _(vni)                                          \
242 _(mcast_sw_if_index)                            \
243 _(encap_fib_index)                              \
244 _(decap_next_index)                             \
245 _(src)                                          \
246 _(dst)
247
248 static void
249 vxlan_rewrite (vxlan_tunnel_t * t, bool is_ip6)
250 {
251   union
252   {
253     ip4_vxlan_header_t h4;
254     ip6_vxlan_header_t h6;
255   } h;
256   int len = is_ip6 ? sizeof h.h6 : sizeof h.h4;
257
258   udp_header_t *udp;
259   vxlan_header_t *vxlan;
260   /* Fixed portion of the (outer) ip header */
261
262   clib_memset (&h, 0, sizeof (h));
263   if (!is_ip6)
264     {
265       ip4_header_t *ip = &h.h4.ip4;
266       udp = &h.h4.udp, vxlan = &h.h4.vxlan;
267       ip->ip_version_and_header_length = 0x45;
268       ip->ttl = 254;
269       ip->protocol = IP_PROTOCOL_UDP;
270
271       ip->src_address = t->src.ip4;
272       ip->dst_address = t->dst.ip4;
273
274       /* we fix up the ip4 header length and checksum after-the-fact */
275       ip->checksum = ip4_header_checksum (ip);
276     }
277   else
278     {
279       ip6_header_t *ip = &h.h6.ip6;
280       udp = &h.h6.udp, vxlan = &h.h6.vxlan;
281       ip->ip_version_traffic_class_and_flow_label =
282         clib_host_to_net_u32 (6 << 28);
283       ip->hop_limit = 255;
284       ip->protocol = IP_PROTOCOL_UDP;
285
286       ip->src_address = t->src.ip6;
287       ip->dst_address = t->dst.ip6;
288     }
289
290   /* UDP header, randomize src port on something, maybe? */
291   udp->src_port = clib_host_to_net_u16 (4789);
292   udp->dst_port = clib_host_to_net_u16 (UDP_DST_PORT_vxlan);
293
294   /* VXLAN header */
295   vnet_set_vni_and_flags (vxlan, t->vni);
296   vnet_rewrite_set_data (*t, &h, len);
297 }
298
299 static bool
300 vxlan_decap_next_is_valid (vxlan_main_t * vxm, u32 is_ip6,
301                            u32 decap_next_index)
302 {
303   vlib_main_t *vm = vxm->vlib_main;
304   u32 input_idx = (!is_ip6) ?
305     vxlan4_input_node.index : vxlan6_input_node.index;
306   vlib_node_runtime_t *r = vlib_node_get_runtime (vm, input_idx);
307
308   return decap_next_index < r->n_next_nodes;
309 }
310
311 /* *INDENT-OFF* */
312 typedef CLIB_PACKED(union
313 {
314   struct
315   {
316     fib_node_index_t mfib_entry_index;
317     adj_index_t mcast_adj_index;
318   };
319   u64 as_u64;
320 }) mcast_shared_t;
321 /* *INDENT-ON* */
322
323 static inline mcast_shared_t
324 mcast_shared_get (ip46_address_t * ip)
325 {
326   ASSERT (ip46_address_is_multicast (ip));
327   uword *p = hash_get_mem (vxlan_main.mcast_shared, ip);
328   ALWAYS_ASSERT (p);
329   mcast_shared_t ret = {.as_u64 = *p };
330   return ret;
331 }
332
333 static inline void
334 mcast_shared_add (ip46_address_t * dst, fib_node_index_t mfei, adj_index_t ai)
335 {
336   mcast_shared_t new_ep = {
337     .mcast_adj_index = ai,
338     .mfib_entry_index = mfei,
339   };
340
341   hash_set_mem_alloc (&vxlan_main.mcast_shared, dst, new_ep.as_u64);
342 }
343
344 static inline void
345 mcast_shared_remove (ip46_address_t * dst)
346 {
347   mcast_shared_t ep = mcast_shared_get (dst);
348
349   adj_unlock (ep.mcast_adj_index);
350   mfib_table_entry_delete_index (ep.mfib_entry_index, MFIB_SOURCE_VXLAN);
351
352   hash_unset_mem_free (&vxlan_main.mcast_shared, dst);
353 }
354
355 int vnet_vxlan_add_del_tunnel
356   (vnet_vxlan_add_del_tunnel_args_t * a, u32 * sw_if_indexp)
357 {
358   vxlan_main_t *vxm = &vxlan_main;
359   vnet_main_t *vnm = vxm->vnet_main;
360   vxlan_decap_info_t *p;
361   u32 sw_if_index = ~0;
362   vxlan4_tunnel_key_t key4;
363   vxlan6_tunnel_key_t key6;
364   u32 is_ip6 = a->is_ip6;
365   vlib_main_t *vm = vlib_get_main ();
366   u8 hw_addr[6];
367
368   int not_found;
369   if (!is_ip6)
370     {
371       /* ip4 mcast is indexed by mcast addr only */
372       key4.key[0] = ip46_address_is_multicast (&a->dst) ?
373         a->dst.ip4.as_u32 :
374         a->dst.ip4.as_u32 | (((u64) a->src.ip4.as_u32) << 32);
375       key4.key[1] = (((u64) a->encap_fib_index) << 32)
376         | clib_host_to_net_u32 (a->vni << 8);
377       not_found =
378         clib_bihash_search_inline_16_8 (&vxm->vxlan4_tunnel_by_key, &key4);
379       p = (void *) &key4.value;
380     }
381   else
382     {
383       key6.key[0] = a->dst.ip6.as_u64[0];
384       key6.key[1] = a->dst.ip6.as_u64[1];
385       key6.key[2] = (((u64) a->encap_fib_index) << 32)
386         | clib_host_to_net_u32 (a->vni << 8);
387       not_found =
388         clib_bihash_search_inline_24_8 (&vxm->vxlan6_tunnel_by_key, &key6);
389       p = (void *) &key6.value;
390     }
391
392   if (not_found)
393     p = 0;
394
395   if (a->is_add)
396     {
397       l2input_main_t *l2im = &l2input_main;
398       u32 dev_instance;         /* real dev instance tunnel index */
399       u32 user_instance;        /* request and actual instance number */
400
401       /* adding a tunnel: tunnel must not already exist */
402       if (p)
403         return VNET_API_ERROR_TUNNEL_EXIST;
404
405       /*if not set explicitly, default to l2 */
406       if (a->decap_next_index == ~0)
407         a->decap_next_index = VXLAN_INPUT_NEXT_L2_INPUT;
408       if (!vxlan_decap_next_is_valid (vxm, is_ip6, a->decap_next_index))
409         return VNET_API_ERROR_INVALID_DECAP_NEXT;
410
411       vxlan_tunnel_t *t;
412       pool_get_aligned (vxm->tunnels, t, CLIB_CACHE_LINE_BYTES);
413       clib_memset (t, 0, sizeof (*t));
414       dev_instance = t - vxm->tunnels;
415
416       /* copy from arg structure */
417 #define _(x) t->x = a->x;
418       foreach_copy_field;
419 #undef _
420
421       vxlan_rewrite (t, is_ip6);
422       /*
423        * Reconcile the real dev_instance and a possible requested instance.
424        */
425       user_instance = a->instance;
426       if (user_instance == ~0)
427         user_instance = dev_instance;
428       if (hash_get (vxm->instance_used, user_instance))
429         {
430           pool_put (vxm->tunnels, t);
431           return VNET_API_ERROR_INSTANCE_IN_USE;
432         }
433
434       f64 now = vlib_time_now (vm);
435       u32 rnd;
436       rnd = (u32) (now * 1e6);
437       rnd = random_u32 (&rnd);
438
439       memcpy (hw_addr + 2, &rnd, sizeof (rnd));
440       hw_addr[0] = 2;
441       hw_addr[1] = 0xfe;
442
443       if (ethernet_register_interface (vnm, vxlan_device_class.index,
444                                        dev_instance, hw_addr, &t->hw_if_index,
445                                        vxlan_eth_flag_change))
446         {
447           pool_put (vxm->tunnels, t);
448           return VNET_API_ERROR_SYSCALL_ERROR_2;
449         }
450
451       hash_set (vxm->instance_used, user_instance, 1);
452
453       t->dev_instance = dev_instance;   /* actual */
454       t->user_instance = user_instance; /* name */
455       t->flow_index = ~0;
456
457       vnet_hw_interface_t *hi = vnet_get_hw_interface (vnm, t->hw_if_index);
458
459       /* Set vxlan tunnel output node */
460       u32 encap_index = !is_ip6 ?
461         vxlan4_encap_node.index : vxlan6_encap_node.index;
462       vnet_set_interface_output_node (vnm, t->hw_if_index, encap_index);
463
464       t->sw_if_index = sw_if_index = hi->sw_if_index;
465
466       /* copy the key */
467       int add_failed;
468       if (is_ip6)
469         {
470           key6.value = (u64) dev_instance;
471           add_failed = clib_bihash_add_del_24_8 (&vxm->vxlan6_tunnel_by_key,
472                                                  &key6, 1 /*add */ );
473         }
474       else
475         {
476           vxlan_decap_info_t di = {.sw_if_index = t->sw_if_index, };
477           if (ip46_address_is_multicast (&t->dst))
478             di.local_ip = t->src.ip4;
479           else
480             di.next_index = t->decap_next_index;
481           key4.value = di.as_u64;
482           add_failed = clib_bihash_add_del_16_8 (&vxm->vxlan4_tunnel_by_key,
483                                                  &key4, 1 /*add */ );
484         }
485
486       if (add_failed)
487         {
488           ethernet_delete_interface (vnm, t->hw_if_index);
489           hash_unset (vxm->instance_used, t->user_instance);
490           pool_put (vxm->tunnels, t);
491           return VNET_API_ERROR_INVALID_REGISTRATION;
492         }
493
494       vec_validate_init_empty (vxm->tunnel_index_by_sw_if_index, sw_if_index,
495                                ~0);
496       vxm->tunnel_index_by_sw_if_index[sw_if_index] = dev_instance;
497
498       /* setup l2 input config with l2 feature and bd 0 to drop packet */
499       vec_validate (l2im->configs, sw_if_index);
500       l2im->configs[sw_if_index].feature_bitmap = L2INPUT_FEAT_DROP;
501       l2im->configs[sw_if_index].bd_index = 0;
502
503       vnet_sw_interface_t *si = vnet_get_sw_interface (vnm, sw_if_index);
504       si->flags &= ~VNET_SW_INTERFACE_FLAG_HIDDEN;
505       vnet_sw_interface_set_flags (vnm, sw_if_index,
506                                    VNET_SW_INTERFACE_FLAG_ADMIN_UP);
507
508       fib_node_init (&t->node, FIB_NODE_TYPE_VXLAN_TUNNEL);
509       fib_prefix_t tun_dst_pfx;
510       vnet_flood_class_t flood_class = VNET_FLOOD_CLASS_TUNNEL_NORMAL;
511
512       fib_prefix_from_ip46_addr (&t->dst, &tun_dst_pfx);
513       if (!ip46_address_is_multicast (&t->dst))
514         {
515           /* Unicast tunnel -
516            * source the FIB entry for the tunnel's destination
517            * and become a child thereof. The tunnel will then get poked
518            * when the forwarding for the entry updates, and the tunnel can
519            * re-stack accordingly
520            */
521           vtep_addr_ref (&vxm->vtep_table, t->encap_fib_index, &t->src);
522           t->fib_entry_index = fib_entry_track (t->encap_fib_index,
523                                                 &tun_dst_pfx,
524                                                 FIB_NODE_TYPE_VXLAN_TUNNEL,
525                                                 dev_instance,
526                                                 &t->sibling_index);
527           vxlan_tunnel_restack_dpo (t);
528         }
529       else
530         {
531           /* Multicast tunnel -
532            * as the same mcast group can be used for multiple mcast tunnels
533            * with different VNIs, create the output fib adjacency only if
534            * it does not already exist
535            */
536           fib_protocol_t fp = fib_ip_proto (is_ip6);
537
538           if (vtep_addr_ref (&vxm->vtep_table,
539                              t->encap_fib_index, &t->dst) == 1)
540             {
541               fib_node_index_t mfei;
542               adj_index_t ai;
543               fib_route_path_t path = {
544                 .frp_proto = fib_proto_to_dpo (fp),
545                 .frp_addr = zero_addr,
546                 .frp_sw_if_index = 0xffffffff,
547                 .frp_fib_index = ~0,
548                 .frp_weight = 1,
549                 .frp_flags = FIB_ROUTE_PATH_LOCAL,
550                 .frp_mitf_flags = MFIB_ITF_FLAG_FORWARD,
551               };
552               const mfib_prefix_t mpfx = {
553                 .fp_proto = fp,
554                 .fp_len = (is_ip6 ? 128 : 32),
555                 .fp_grp_addr = tun_dst_pfx.fp_addr,
556               };
557
558               /*
559                * Setup the (*,G) to receive traffic on the mcast group
560                *  - the forwarding interface is for-us
561                *  - the accepting interface is that from the API
562                */
563               mfib_table_entry_path_update (t->encap_fib_index,
564                                             &mpfx, MFIB_SOURCE_VXLAN, &path);
565
566               path.frp_sw_if_index = a->mcast_sw_if_index;
567               path.frp_flags = FIB_ROUTE_PATH_FLAG_NONE;
568               path.frp_mitf_flags = MFIB_ITF_FLAG_ACCEPT;
569               mfei = mfib_table_entry_path_update (t->encap_fib_index,
570                                                    &mpfx,
571                                                    MFIB_SOURCE_VXLAN, &path);
572
573               /*
574                * Create the mcast adjacency to send traffic to the group
575                */
576               ai = adj_mcast_add_or_lock (fp,
577                                           fib_proto_to_link (fp),
578                                           a->mcast_sw_if_index);
579
580               /*
581                * create a new end-point
582                */
583               mcast_shared_add (&t->dst, mfei, ai);
584             }
585
586           dpo_id_t dpo = DPO_INVALID;
587           mcast_shared_t ep = mcast_shared_get (&t->dst);
588
589           /* Stack shared mcast dst mac addr rewrite on encap */
590           dpo_set (&dpo, DPO_ADJACENCY_MCAST,
591                    fib_proto_to_dpo (fp), ep.mcast_adj_index);
592
593           dpo_stack_from_node (encap_index, &t->next_dpo, &dpo);
594           dpo_reset (&dpo);
595           flood_class = VNET_FLOOD_CLASS_TUNNEL_MASTER;
596         }
597
598       vnet_get_sw_interface (vnet_get_main (), sw_if_index)->flood_class =
599         flood_class;
600     }
601   else
602     {
603       /* deleting a tunnel: tunnel must exist */
604       if (!p)
605         return VNET_API_ERROR_NO_SUCH_ENTRY;
606
607       u32 instance = is_ip6 ? key6.value :
608         vxm->tunnel_index_by_sw_if_index[p->sw_if_index];
609       vxlan_tunnel_t *t = pool_elt_at_index (vxm->tunnels, instance);
610
611       sw_if_index = t->sw_if_index;
612       vnet_sw_interface_set_flags (vnm, sw_if_index, 0 /* down */ );
613
614       vxm->tunnel_index_by_sw_if_index[sw_if_index] = ~0;
615
616       if (!is_ip6)
617         clib_bihash_add_del_16_8 (&vxm->vxlan4_tunnel_by_key, &key4,
618                                   0 /*del */ );
619       else
620         clib_bihash_add_del_24_8 (&vxm->vxlan6_tunnel_by_key, &key6,
621                                   0 /*del */ );
622
623       if (!ip46_address_is_multicast (&t->dst))
624         {
625           if (t->flow_index != ~0)
626             vnet_flow_del (vnm, t->flow_index);
627
628           vtep_addr_unref (&vxm->vtep_table, t->encap_fib_index, &t->src);
629           fib_entry_untrack (t->fib_entry_index, t->sibling_index);
630         }
631       else if (vtep_addr_unref (&vxm->vtep_table,
632                                 t->encap_fib_index, &t->dst) == 0)
633         {
634           mcast_shared_remove (&t->dst);
635         }
636
637       ethernet_delete_interface (vnm, t->hw_if_index);
638       hash_unset (vxm->instance_used, t->user_instance);
639
640       fib_node_deinit (&t->node);
641       pool_put (vxm->tunnels, t);
642     }
643
644   if (sw_if_indexp)
645     *sw_if_indexp = sw_if_index;
646
647   if (a->is_add)
648     {
649       /* register udp ports */
650       if (!is_ip6 && !udp_is_valid_dst_port (UDP_DST_PORT_vxlan, 1))
651         udp_register_dst_port (vxm->vlib_main, UDP_DST_PORT_vxlan,
652                                vxlan4_input_node.index, 1);
653       if (is_ip6 && !udp_is_valid_dst_port (UDP_DST_PORT_vxlan6, 0))
654         udp_register_dst_port (vxm->vlib_main, UDP_DST_PORT_vxlan6,
655                                vxlan6_input_node.index, 0);
656     }
657
658   return 0;
659 }
660
661 static uword
662 get_decap_next_for_node (u32 node_index, u32 ipv4_set)
663 {
664   vxlan_main_t *vxm = &vxlan_main;
665   vlib_main_t *vm = vxm->vlib_main;
666   uword input_node = (ipv4_set) ? vxlan4_input_node.index :
667     vxlan6_input_node.index;
668
669   return vlib_node_add_next (vm, input_node, node_index);
670 }
671
672 static uword
673 unformat_decap_next (unformat_input_t * input, va_list * args)
674 {
675   u32 *result = va_arg (*args, u32 *);
676   u32 ipv4_set = va_arg (*args, int);
677   vxlan_main_t *vxm = &vxlan_main;
678   vlib_main_t *vm = vxm->vlib_main;
679   u32 node_index;
680   u32 tmp;
681
682   if (unformat (input, "l2"))
683     *result = VXLAN_INPUT_NEXT_L2_INPUT;
684   else if (unformat (input, "node %U", unformat_vlib_node, vm, &node_index))
685     *result = get_decap_next_for_node (node_index, ipv4_set);
686   else if (unformat (input, "%d", &tmp))
687     *result = tmp;
688   else
689     return 0;
690   return 1;
691 }
692
693 static clib_error_t *
694 vxlan_add_del_tunnel_command_fn (vlib_main_t * vm,
695                                  unformat_input_t * input,
696                                  vlib_cli_command_t * cmd)
697 {
698   unformat_input_t _line_input, *line_input = &_line_input;
699   ip46_address_t src = ip46_address_initializer, dst =
700     ip46_address_initializer;
701   u8 is_add = 1;
702   u8 src_set = 0;
703   u8 dst_set = 0;
704   u8 grp_set = 0;
705   u8 ipv4_set = 0;
706   u8 ipv6_set = 0;
707   u32 instance = ~0;
708   u32 encap_fib_index = 0;
709   u32 mcast_sw_if_index = ~0;
710   u32 decap_next_index = VXLAN_INPUT_NEXT_L2_INPUT;
711   u32 vni = 0;
712   u32 table_id;
713   clib_error_t *parse_error = NULL;
714
715   /* Get a line of input. */
716   if (!unformat_user (input, unformat_line_input, line_input))
717     return 0;
718
719   while (unformat_check_input (line_input) != UNFORMAT_END_OF_INPUT)
720     {
721       if (unformat (line_input, "del"))
722         {
723           is_add = 0;
724         }
725       else if (unformat (line_input, "instance %d", &instance))
726         ;
727       else if (unformat (line_input, "src %U",
728                          unformat_ip46_address, &src, IP46_TYPE_ANY))
729         {
730           src_set = 1;
731           ip46_address_is_ip4 (&src) ? (ipv4_set = 1) : (ipv6_set = 1);
732         }
733       else if (unformat (line_input, "dst %U",
734                          unformat_ip46_address, &dst, IP46_TYPE_ANY))
735         {
736           dst_set = 1;
737           ip46_address_is_ip4 (&dst) ? (ipv4_set = 1) : (ipv6_set = 1);
738         }
739       else if (unformat (line_input, "group %U %U",
740                          unformat_ip46_address, &dst, IP46_TYPE_ANY,
741                          unformat_vnet_sw_interface,
742                          vnet_get_main (), &mcast_sw_if_index))
743         {
744           grp_set = dst_set = 1;
745           ip46_address_is_ip4 (&dst) ? (ipv4_set = 1) : (ipv6_set = 1);
746         }
747       else if (unformat (line_input, "encap-vrf-id %d", &table_id))
748         {
749           encap_fib_index =
750             fib_table_find (fib_ip_proto (ipv6_set), table_id);
751         }
752       else if (unformat (line_input, "decap-next %U", unformat_decap_next,
753                          &decap_next_index, ipv4_set))
754         ;
755       else if (unformat (line_input, "vni %d", &vni))
756         ;
757       else
758         {
759           parse_error = clib_error_return (0, "parse error: '%U'",
760                                            format_unformat_error, line_input);
761           break;
762         }
763     }
764
765   unformat_free (line_input);
766
767   if (parse_error)
768     return parse_error;
769
770   if (encap_fib_index == ~0)
771     return clib_error_return (0, "nonexistent encap-vrf-id %d", table_id);
772
773   if (src_set == 0)
774     return clib_error_return (0, "tunnel src address not specified");
775
776   if (dst_set == 0)
777     return clib_error_return (0, "tunnel dst address not specified");
778
779   if (grp_set && !ip46_address_is_multicast (&dst))
780     return clib_error_return (0, "tunnel group address not multicast");
781
782   if (grp_set == 0 && ip46_address_is_multicast (&dst))
783     return clib_error_return (0, "dst address must be unicast");
784
785   if (grp_set && mcast_sw_if_index == ~0)
786     return clib_error_return (0, "tunnel nonexistent multicast device");
787
788   if (ipv4_set && ipv6_set)
789     return clib_error_return (0, "both IPv4 and IPv6 addresses specified");
790
791   if (ip46_address_cmp (&src, &dst) == 0)
792     return clib_error_return (0, "src and dst addresses are identical");
793
794   if (decap_next_index == ~0)
795     return clib_error_return (0, "next node not found");
796
797   if (vni == 0)
798     return clib_error_return (0, "vni not specified");
799
800   if (vni >> 24)
801     return clib_error_return (0, "vni %d out of range", vni);
802
803   vnet_vxlan_add_del_tunnel_args_t a = {
804     .is_add = is_add,
805     .is_ip6 = ipv6_set,
806     .instance = instance,
807 #define _(x) .x = x,
808     foreach_copy_field
809 #undef _
810   };
811
812   u32 tunnel_sw_if_index;
813   int rv = vnet_vxlan_add_del_tunnel (&a, &tunnel_sw_if_index);
814
815   switch (rv)
816     {
817     case 0:
818       if (is_add)
819         vlib_cli_output (vm, "%U\n", format_vnet_sw_if_index_name,
820                          vnet_get_main (), tunnel_sw_if_index);
821       break;
822
823     case VNET_API_ERROR_TUNNEL_EXIST:
824       return clib_error_return (0, "tunnel already exists...");
825
826     case VNET_API_ERROR_NO_SUCH_ENTRY:
827       return clib_error_return (0, "tunnel does not exist...");
828
829     case VNET_API_ERROR_INSTANCE_IN_USE:
830       return clib_error_return (0, "Instance is in use");
831
832     default:
833       return clib_error_return
834         (0, "vnet_vxlan_add_del_tunnel returned %d", rv);
835     }
836
837   return 0;
838 }
839
840 /*?
841  * Add or delete a VXLAN Tunnel.
842  *
843  * VXLAN provides the features needed to allow L2 bridge domains (BDs)
844  * to span multiple servers. This is done by building an L2 overlay on
845  * top of an L3 network underlay using VXLAN tunnels.
846  *
847  * This makes it possible for servers to be co-located in the same data
848  * center or be separated geographically as long as they are reachable
849  * through the underlay L3 network.
850  *
851  * You can refer to this kind of L2 overlay bridge domain as a VXLAN
852  * (Virtual eXtensible VLAN) segment.
853  *
854  * @cliexpar
855  * Example of how to create a VXLAN Tunnel:
856  * @cliexcmd{create vxlan tunnel src 10.0.3.1 dst 10.0.3.3 vni 13 encap-vrf-id 7}
857  * Example of how to create a VXLAN Tunnel with a known name, vxlan_tunnel42:
858  * @cliexcmd{create vxlan tunnel src 10.0.3.1 dst 10.0.3.3 instance 42}
859  * Example of how to create a multicast VXLAN Tunnel with a known name, vxlan_tunnel23:
860  * @cliexcmd{create vxlan tunnel src 10.0.3.1 group 239.1.1.1 GigabitEthernet0/8/0 instance 23}
861  * Example of how to delete a VXLAN Tunnel:
862  * @cliexcmd{create vxlan tunnel src 10.0.3.1 dst 10.0.3.3 vni 13 del}
863  ?*/
864 /* *INDENT-OFF* */
865 VLIB_CLI_COMMAND (create_vxlan_tunnel_command, static) = {
866   .path = "create vxlan tunnel",
867   .short_help =
868   "create vxlan tunnel src <local-vtep-addr>"
869   " {dst <remote-vtep-addr>|group <mcast-vtep-addr> <intf-name>} vni <nn>"
870   " [instance <id>]"
871   " [encap-vrf-id <nn>] [decap-next [l2|node <name>]] [del]",
872   .function = vxlan_add_del_tunnel_command_fn,
873 };
874 /* *INDENT-ON* */
875
876 static clib_error_t *
877 show_vxlan_tunnel_command_fn (vlib_main_t * vm,
878                               unformat_input_t * input,
879                               vlib_cli_command_t * cmd)
880 {
881   vxlan_main_t *vxm = &vxlan_main;
882   vxlan_tunnel_t *t;
883   int raw = 0;
884
885   while (unformat_check_input (input) != UNFORMAT_END_OF_INPUT)
886     {
887       if (unformat (input, "raw"))
888         raw = 1;
889       else
890         return clib_error_return (0, "parse error: '%U'",
891                                   format_unformat_error, input);
892     }
893
894   if (pool_elts (vxm->tunnels) == 0)
895     vlib_cli_output (vm, "No vxlan tunnels configured...");
896
897 /* *INDENT-OFF* */
898   pool_foreach (t, vxm->tunnels)
899    {
900     vlib_cli_output (vm, "%U", format_vxlan_tunnel, t);
901   }
902 /* *INDENT-ON* */
903
904   if (raw)
905     {
906       vlib_cli_output (vm, "Raw IPv4 Hash Table:\n%U\n",
907                        format_bihash_16_8, &vxm->vxlan4_tunnel_by_key,
908                        1 /* verbose */ );
909       vlib_cli_output (vm, "Raw IPv6 Hash Table:\n%U\n",
910                        format_bihash_24_8, &vxm->vxlan6_tunnel_by_key,
911                        1 /* verbose */ );
912     }
913
914   return 0;
915 }
916
917 /*?
918  * Display all the VXLAN Tunnel entries.
919  *
920  * @cliexpar
921  * Example of how to display the VXLAN Tunnel entries:
922  * @cliexstart{show vxlan tunnel}
923  * [0] src 10.0.3.1 dst 10.0.3.3 vni 13 encap_fib_index 0 sw_if_index 5 decap_next l2
924  * @cliexend
925  ?*/
926 /* *INDENT-OFF* */
927 VLIB_CLI_COMMAND (show_vxlan_tunnel_command, static) = {
928     .path = "show vxlan tunnel",
929     .short_help = "show vxlan tunnel [raw]",
930     .function = show_vxlan_tunnel_command_fn,
931 };
932 /* *INDENT-ON* */
933
934
935 void
936 vnet_int_vxlan_bypass_mode (u32 sw_if_index, u8 is_ip6, u8 is_enable)
937 {
938   vxlan_main_t *vxm = &vxlan_main;
939
940   if (pool_is_free_index (vxm->vnet_main->interface_main.sw_interfaces,
941                           sw_if_index))
942     return;
943
944   is_enable = ! !is_enable;
945
946   if (is_ip6)
947     {
948       if (clib_bitmap_get (vxm->bm_ip6_bypass_enabled_by_sw_if, sw_if_index)
949           != is_enable)
950         {
951           vnet_feature_enable_disable ("ip6-unicast", "ip6-vxlan-bypass",
952                                        sw_if_index, is_enable, 0, 0);
953           vxm->bm_ip6_bypass_enabled_by_sw_if =
954             clib_bitmap_set (vxm->bm_ip6_bypass_enabled_by_sw_if,
955                              sw_if_index, is_enable);
956         }
957     }
958   else
959     {
960       if (clib_bitmap_get (vxm->bm_ip4_bypass_enabled_by_sw_if, sw_if_index)
961           != is_enable)
962         {
963           vnet_feature_enable_disable ("ip4-unicast", "ip4-vxlan-bypass",
964                                        sw_if_index, is_enable, 0, 0);
965           vxm->bm_ip4_bypass_enabled_by_sw_if =
966             clib_bitmap_set (vxm->bm_ip4_bypass_enabled_by_sw_if,
967                              sw_if_index, is_enable);
968         }
969     }
970 }
971
972
973 static clib_error_t *
974 set_ip_vxlan_bypass (u32 is_ip6,
975                      unformat_input_t * input, vlib_cli_command_t * cmd)
976 {
977   unformat_input_t _line_input, *line_input = &_line_input;
978   vnet_main_t *vnm = vnet_get_main ();
979   clib_error_t *error = 0;
980   u32 sw_if_index, is_enable;
981
982   sw_if_index = ~0;
983   is_enable = 1;
984
985   if (!unformat_user (input, unformat_line_input, line_input))
986     return 0;
987
988   while (unformat_check_input (line_input) != UNFORMAT_END_OF_INPUT)
989     {
990       if (unformat_user
991           (line_input, unformat_vnet_sw_interface, vnm, &sw_if_index))
992         ;
993       else if (unformat (line_input, "del"))
994         is_enable = 0;
995       else
996         {
997           error = unformat_parse_error (line_input);
998           goto done;
999         }
1000     }
1001
1002   if (~0 == sw_if_index)
1003     {
1004       error = clib_error_return (0, "unknown interface `%U'",
1005                                  format_unformat_error, line_input);
1006       goto done;
1007     }
1008
1009   vnet_int_vxlan_bypass_mode (sw_if_index, is_ip6, is_enable);
1010
1011 done:
1012   unformat_free (line_input);
1013
1014   return error;
1015 }
1016
1017 static clib_error_t *
1018 set_ip4_vxlan_bypass (vlib_main_t * vm,
1019                       unformat_input_t * input, vlib_cli_command_t * cmd)
1020 {
1021   return set_ip_vxlan_bypass (0, input, cmd);
1022 }
1023
1024 /*?
1025  * This command adds the 'ip4-vxlan-bypass' graph node for a given interface.
1026  * By adding the IPv4 vxlan-bypass graph node to an interface, the node checks
1027  *  for and validate input vxlan packet and bypass ip4-lookup, ip4-local,
1028  * ip4-udp-lookup nodes to speedup vxlan packet forwarding. This node will
1029  * cause extra overhead to for non-vxlan packets which is kept at a minimum.
1030  *
1031  * @cliexpar
1032  * @parblock
1033  * Example of graph node before ip4-vxlan-bypass is enabled:
1034  * @cliexstart{show vlib graph ip4-vxlan-bypass}
1035  *            Name                      Next                    Previous
1036  * ip4-vxlan-bypass                error-drop [0]
1037  *                                vxlan4-input [1]
1038  *                                 ip4-lookup [2]
1039  * @cliexend
1040  *
1041  * Example of how to enable ip4-vxlan-bypass on an interface:
1042  * @cliexcmd{set interface ip vxlan-bypass GigabitEthernet2/0/0}
1043  *
1044  * Example of graph node after ip4-vxlan-bypass is enabled:
1045  * @cliexstart{show vlib graph ip4-vxlan-bypass}
1046  *            Name                      Next                    Previous
1047  * ip4-vxlan-bypass                error-drop [0]               ip4-input
1048  *                                vxlan4-input [1]        ip4-input-no-checksum
1049  *                                 ip4-lookup [2]
1050  * @cliexend
1051  *
1052  * Example of how to display the feature enabled on an interface:
1053  * @cliexstart{show ip interface features GigabitEthernet2/0/0}
1054  * IP feature paths configured on GigabitEthernet2/0/0...
1055  * ...
1056  * ipv4 unicast:
1057  *   ip4-vxlan-bypass
1058  *   ip4-lookup
1059  * ...
1060  * @cliexend
1061  *
1062  * Example of how to disable ip4-vxlan-bypass on an interface:
1063  * @cliexcmd{set interface ip vxlan-bypass GigabitEthernet2/0/0 del}
1064  * @endparblock
1065 ?*/
1066 /* *INDENT-OFF* */
1067 VLIB_CLI_COMMAND (set_interface_ip_vxlan_bypass_command, static) = {
1068   .path = "set interface ip vxlan-bypass",
1069   .function = set_ip4_vxlan_bypass,
1070   .short_help = "set interface ip vxlan-bypass <interface> [del]",
1071 };
1072 /* *INDENT-ON* */
1073
1074 static clib_error_t *
1075 set_ip6_vxlan_bypass (vlib_main_t * vm,
1076                       unformat_input_t * input, vlib_cli_command_t * cmd)
1077 {
1078   return set_ip_vxlan_bypass (1, input, cmd);
1079 }
1080
1081 /*?
1082  * This command adds the 'ip6-vxlan-bypass' graph node for a given interface.
1083  * By adding the IPv6 vxlan-bypass graph node to an interface, the node checks
1084  *  for and validate input vxlan packet and bypass ip6-lookup, ip6-local,
1085  * ip6-udp-lookup nodes to speedup vxlan packet forwarding. This node will
1086  * cause extra overhead to for non-vxlan packets which is kept at a minimum.
1087  *
1088  * @cliexpar
1089  * @parblock
1090  * Example of graph node before ip6-vxlan-bypass is enabled:
1091  * @cliexstart{show vlib graph ip6-vxlan-bypass}
1092  *            Name                      Next                    Previous
1093  * ip6-vxlan-bypass                error-drop [0]
1094  *                                vxlan6-input [1]
1095  *                                 ip6-lookup [2]
1096  * @cliexend
1097  *
1098  * Example of how to enable ip6-vxlan-bypass on an interface:
1099  * @cliexcmd{set interface ip6 vxlan-bypass GigabitEthernet2/0/0}
1100  *
1101  * Example of graph node after ip6-vxlan-bypass is enabled:
1102  * @cliexstart{show vlib graph ip6-vxlan-bypass}
1103  *            Name                      Next                    Previous
1104  * ip6-vxlan-bypass                error-drop [0]               ip6-input
1105  *                                vxlan6-input [1]        ip4-input-no-checksum
1106  *                                 ip6-lookup [2]
1107  * @cliexend
1108  *
1109  * Example of how to display the feature enabled on an interface:
1110  * @cliexstart{show ip interface features GigabitEthernet2/0/0}
1111  * IP feature paths configured on GigabitEthernet2/0/0...
1112  * ...
1113  * ipv6 unicast:
1114  *   ip6-vxlan-bypass
1115  *   ip6-lookup
1116  * ...
1117  * @cliexend
1118  *
1119  * Example of how to disable ip6-vxlan-bypass on an interface:
1120  * @cliexcmd{set interface ip6 vxlan-bypass GigabitEthernet2/0/0 del}
1121  * @endparblock
1122 ?*/
1123 /* *INDENT-OFF* */
1124 VLIB_CLI_COMMAND (set_interface_ip6_vxlan_bypass_command, static) = {
1125   .path = "set interface ip6 vxlan-bypass",
1126   .function = set_ip6_vxlan_bypass,
1127   .short_help = "set interface ip6 vxlan-bypass <interface> [del]",
1128 };
1129 /* *INDENT-ON* */
1130
1131 int
1132 vnet_vxlan_add_del_rx_flow (u32 hw_if_index, u32 t_index, int is_add)
1133 {
1134   vxlan_main_t *vxm = &vxlan_main;
1135   vxlan_tunnel_t *t = pool_elt_at_index (vxm->tunnels, t_index);
1136   vnet_main_t *vnm = vnet_get_main ();
1137   if (is_add)
1138     {
1139       if (t->flow_index == ~0)
1140         {
1141           vxlan_main_t *vxm = &vxlan_main;
1142           vnet_flow_t flow = {
1143             .actions =
1144               VNET_FLOW_ACTION_REDIRECT_TO_NODE | VNET_FLOW_ACTION_MARK |
1145               VNET_FLOW_ACTION_BUFFER_ADVANCE,
1146             .mark_flow_id = t->dev_instance + vxm->flow_id_start,
1147             .redirect_node_index = vxlan4_flow_input_node.index,
1148             .buffer_advance = sizeof (ethernet_header_t),
1149             .type = VNET_FLOW_TYPE_IP4_VXLAN,
1150             .ip4_vxlan = {
1151                           .protocol.prot = IP_PROTOCOL_UDP,
1152                           .src_addr.addr = t->dst.ip4,
1153                           .dst_addr.addr = t->src.ip4,
1154                           .src_addr.mask.as_u32 = ~0,
1155                           .dst_addr.mask.as_u32 = ~0,
1156                           .dst_port.port = UDP_DST_PORT_vxlan,
1157                           .dst_port.mask = 0xFF,
1158                           .vni = t->vni,
1159                           }
1160             ,
1161           };
1162           vnet_flow_add (vnm, &flow, &t->flow_index);
1163         }
1164       return vnet_flow_enable (vnm, t->flow_index, hw_if_index);
1165     }
1166   /* flow index is removed when the tunnel is deleted */
1167   return vnet_flow_disable (vnm, t->flow_index, hw_if_index);
1168 }
1169
1170 u32
1171 vnet_vxlan_get_tunnel_index (u32 sw_if_index)
1172 {
1173   vxlan_main_t *vxm = &vxlan_main;
1174
1175   if (sw_if_index >= vec_len (vxm->tunnel_index_by_sw_if_index))
1176     return ~0;
1177   return vxm->tunnel_index_by_sw_if_index[sw_if_index];
1178 }
1179
1180 static clib_error_t *
1181 vxlan_offload_command_fn (vlib_main_t * vm,
1182                           unformat_input_t * input, vlib_cli_command_t * cmd)
1183 {
1184   unformat_input_t _line_input, *line_input = &_line_input;
1185
1186   /* Get a line of input. */
1187   if (!unformat_user (input, unformat_line_input, line_input))
1188     return 0;
1189
1190   vnet_main_t *vnm = vnet_get_main ();
1191   u32 rx_sw_if_index = ~0;
1192   u32 hw_if_index = ~0;
1193   int is_add = 1;
1194
1195   while (unformat_check_input (line_input) != UNFORMAT_END_OF_INPUT)
1196     {
1197       if (unformat (line_input, "hw %U", unformat_vnet_hw_interface, vnm,
1198                     &hw_if_index))
1199         continue;
1200       if (unformat (line_input, "rx %U", unformat_vnet_sw_interface, vnm,
1201                     &rx_sw_if_index))
1202         continue;
1203       if (unformat (line_input, "del"))
1204         {
1205           is_add = 0;
1206           continue;
1207         }
1208       return clib_error_return (0, "unknown input `%U'",
1209                                 format_unformat_error, line_input);
1210     }
1211
1212   if (rx_sw_if_index == ~0)
1213     return clib_error_return (0, "missing rx interface");
1214   if (hw_if_index == ~0)
1215     return clib_error_return (0, "missing hw interface");
1216
1217   u32 t_index = vnet_vxlan_get_tunnel_index (rx_sw_if_index);;
1218   if (t_index == ~0)
1219     return clib_error_return (0, "%U is not a vxlan tunnel",
1220                               format_vnet_sw_if_index_name, vnm,
1221                               rx_sw_if_index);
1222
1223   vxlan_main_t *vxm = &vxlan_main;
1224   vxlan_tunnel_t *t = pool_elt_at_index (vxm->tunnels, t_index);
1225
1226   if (!ip46_address_is_ip4 (&t->dst))
1227     return clib_error_return (0, "currently only IPV4 tunnels are supported");
1228
1229   vnet_hw_interface_t *hw_if = vnet_get_hw_interface (vnm, hw_if_index);
1230   ip4_main_t *im = &ip4_main;
1231   u32 rx_fib_index =
1232     vec_elt (im->fib_index_by_sw_if_index, hw_if->sw_if_index);
1233
1234   if (t->encap_fib_index != rx_fib_index)
1235     return clib_error_return (0, "interface/tunnel fib mismatch");
1236
1237   if (vnet_vxlan_add_del_rx_flow (hw_if_index, t_index, is_add))
1238     return clib_error_return (0, "error %s flow",
1239                               is_add ? "enabling" : "disabling");
1240
1241   return 0;
1242 }
1243
1244 /* *INDENT-OFF* */
1245 VLIB_CLI_COMMAND (vxlan_offload_command, static) = {
1246     .path = "set flow-offload vxlan",
1247     .short_help =
1248     "set flow-offload vxlan hw <interface-name> rx <tunnel-name> [del]",
1249     .function = vxlan_offload_command_fn,
1250 };
1251 /* *INDENT-ON* */
1252
1253 #define VXLAN_HASH_NUM_BUCKETS (2 * 1024)
1254 #define VXLAN_HASH_MEMORY_SIZE (1 << 20)
1255
1256 clib_error_t *
1257 vxlan_init (vlib_main_t * vm)
1258 {
1259   vxlan_main_t *vxm = &vxlan_main;
1260
1261   vxm->vnet_main = vnet_get_main ();
1262   vxm->vlib_main = vm;
1263
1264   vnet_flow_get_range (vxm->vnet_main, "vxlan", 1024 * 1024,
1265                        &vxm->flow_id_start);
1266
1267   vxm->bm_ip4_bypass_enabled_by_sw_if = 0;
1268   vxm->bm_ip6_bypass_enabled_by_sw_if = 0;
1269
1270   /* initialize the ip6 hash */
1271   clib_bihash_init_16_8 (&vxm->vxlan4_tunnel_by_key, "vxlan4",
1272                          VXLAN_HASH_NUM_BUCKETS, VXLAN_HASH_MEMORY_SIZE);
1273   clib_bihash_init_24_8 (&vxm->vxlan6_tunnel_by_key, "vxlan6",
1274                          VXLAN_HASH_NUM_BUCKETS, VXLAN_HASH_MEMORY_SIZE);
1275   vxm->vtep_table = vtep_table_create ();
1276   vxm->mcast_shared = hash_create_mem (0,
1277                                        sizeof (ip46_address_t),
1278                                        sizeof (mcast_shared_t));
1279
1280   fib_node_register_type (FIB_NODE_TYPE_VXLAN_TUNNEL, &vxlan_vft);
1281
1282   return 0;
1283 }
1284
1285 VLIB_INIT_FUNCTION (vxlan_init);
1286
1287 /*
1288  * fd.io coding-style-patch-verification: ON
1289  *
1290  * Local Variables:
1291  * eval: (c-set-style "gnu")
1292  * End:
1293  */