gtpu: offload RX flow
[vpp.git] / src / vnet / adj / adj_nbr.c
1 /*
2  * Copyright (c) 2016 Cisco and/or its affiliates.
3  * Licensed under the Apache License, Version 2.0 (the "License");
4  * you may not use this file except in compliance with the License.
5  * You may obtain a copy of the License at:
6  *
7  *     http://www.apache.org/licenses/LICENSE-2.0
8  *
9  * Unless required by applicable law or agreed to in writing, software
10  * distributed under the License is distributed on an "AS IS" BASIS,
11  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
12  * See the License for the specific language governing permissions and
13  * limitations under the License.
14  */
15
16 #include <vnet/adj/adj_nbr.h>
17 #include <vnet/adj/adj_internal.h>
18 #include <vnet/ethernet/arp_packet.h>
19 #include <vnet/fib/fib_walk.h>
20
21 #include <vppinfra/bihash_24_8.h>
22
23 /*
24  * Vector Hash tables of neighbour (traditional) adjacencies
25  *  Key: interface(for the vector index), address (and its proto),
26  *       link-type/ether-type.
27  */
28 static BVT(clib_bihash) **adj_nbr_tables[FIB_PROTOCOL_MAX];
29
30 // FIXME SIZE APPROPRIATELY. ASK DAVEB.
31 #define ADJ_NBR_DEFAULT_HASH_NUM_BUCKETS (64 * 64)
32 #define ADJ_NBR_DEFAULT_HASH_MEMORY_SIZE (32<<20)
33
34
35 #define ADJ_NBR_SET_KEY(_key, _lt, _nh)         \
36 {                                               \
37     _key.key[0] = (_nh)->as_u64[0];             \
38     _key.key[1] = (_nh)->as_u64[1];             \
39     _key.key[2] = (_lt);                        \
40 }
41
42 #define ADJ_NBR_ITF_OK(_proto, _itf)                    \
43     (((_itf) < vec_len(adj_nbr_tables[_proto])) &&      \
44      (NULL != adj_nbr_tables[_proto][sw_if_index]))
45
46 static void
47 adj_nbr_insert (fib_protocol_t nh_proto,
48                 vnet_link_t link_type,
49                 const ip46_address_t *nh_addr,
50                 u32 sw_if_index,
51                 adj_index_t adj_index)
52 {
53     BVT(clib_bihash_kv) kv;
54
55     if (sw_if_index >= vec_len(adj_nbr_tables[nh_proto]))
56     {
57         vec_validate(adj_nbr_tables[nh_proto], sw_if_index);
58     }
59     if (NULL == adj_nbr_tables[nh_proto][sw_if_index])
60     {
61         adj_nbr_tables[nh_proto][sw_if_index] =
62             clib_mem_alloc_aligned(sizeof(BVT(clib_bihash)),
63                                    CLIB_CACHE_LINE_BYTES);
64         clib_memset(adj_nbr_tables[nh_proto][sw_if_index],
65                0,
66                sizeof(BVT(clib_bihash)));
67
68         BV(clib_bihash_init) (adj_nbr_tables[nh_proto][sw_if_index],
69                               "Adjacency Neighbour table",
70                               ADJ_NBR_DEFAULT_HASH_NUM_BUCKETS,
71                               ADJ_NBR_DEFAULT_HASH_MEMORY_SIZE);
72     }
73
74     ADJ_NBR_SET_KEY(kv, link_type, nh_addr);
75     kv.value = adj_index;
76
77     BV(clib_bihash_add_del) (adj_nbr_tables[nh_proto][sw_if_index], &kv, 1);
78 }
79
80 void
81 adj_nbr_remove (adj_index_t ai,
82                 fib_protocol_t nh_proto,
83                 vnet_link_t link_type,
84                 const ip46_address_t *nh_addr,
85                 u32 sw_if_index)
86 {
87     BVT(clib_bihash_kv) kv;
88
89     if (!ADJ_NBR_ITF_OK(nh_proto, sw_if_index))
90         return;
91
92     ADJ_NBR_SET_KEY(kv, link_type, nh_addr);
93     kv.value = ai;
94
95     BV(clib_bihash_add_del) (adj_nbr_tables[nh_proto][sw_if_index], &kv, 0);
96 }
97
98 adj_index_t
99 adj_nbr_find (fib_protocol_t nh_proto,
100               vnet_link_t link_type,
101               const ip46_address_t *nh_addr,
102               u32 sw_if_index)
103 {
104     BVT(clib_bihash_kv) kv;
105
106     ADJ_NBR_SET_KEY(kv, link_type, nh_addr);
107
108     if (!ADJ_NBR_ITF_OK(nh_proto, sw_if_index))
109         return (ADJ_INDEX_INVALID);
110
111     if (BV(clib_bihash_search)(adj_nbr_tables[nh_proto][sw_if_index],
112                                &kv, &kv) < 0)
113     {
114         return (ADJ_INDEX_INVALID);
115     }
116     else
117     {
118         return (kv.value);
119     }
120 }
121
122 static inline u32
123 adj_get_nd_node (fib_protocol_t proto)
124 {
125     switch (proto) {
126     case FIB_PROTOCOL_IP4:
127         return (ip4_arp_node.index);
128     case FIB_PROTOCOL_IP6:
129         return (ip6_discover_neighbor_node.index);
130     case FIB_PROTOCOL_MPLS:
131         break;
132     }
133     ASSERT(0);
134     return (ip4_arp_node.index);
135 }
136
137 /**
138  * @brief Check and set feature flags if o/p interface has any o/p features.
139  */
140 static void
141 adj_nbr_evaluate_feature (adj_index_t ai)
142 {
143     ip_adjacency_t *adj;
144     vnet_feature_main_t *fm = &feature_main;
145     i16 feature_count;
146     u8 arc_index;
147     u32 sw_if_index;
148
149     adj = adj_get(ai);
150
151     switch (adj->ia_link)
152     {
153     case VNET_LINK_IP4:
154         arc_index = ip4_main.lookup_main.output_feature_arc_index;
155         break;
156     case VNET_LINK_IP6:
157         arc_index = ip6_main.lookup_main.output_feature_arc_index;
158         break;
159     case VNET_LINK_MPLS:
160         arc_index = mpls_main.output_feature_arc_index;
161         break;
162     default:
163         return;
164     }
165
166     sw_if_index = adj->rewrite_header.sw_if_index;
167     if (vec_len(fm->feature_count_by_sw_if_index[arc_index]) > sw_if_index)
168     {
169         feature_count = fm->feature_count_by_sw_if_index[arc_index][sw_if_index];
170         if (feature_count > 0)
171             adj->rewrite_header.flags |= VNET_REWRITE_HAS_FEATURES;
172     }
173
174     return;
175 }
176
177 static ip_adjacency_t*
178 adj_nbr_alloc (fib_protocol_t nh_proto,
179                vnet_link_t link_type,
180                const ip46_address_t *nh_addr,
181                u32 sw_if_index)
182 {
183     ip_adjacency_t *adj;
184
185     adj = adj_alloc(nh_proto);
186
187     adj_nbr_insert(nh_proto, link_type, nh_addr,
188                    sw_if_index,
189                    adj_get_index(adj));
190
191     /*
192      * since we just added the ADJ we have no rewrite string for it,
193      * so its for ARP
194      */
195     adj->lookup_next_index = IP_LOOKUP_NEXT_ARP;
196     adj->sub_type.nbr.next_hop = *nh_addr;
197     adj->ia_link = link_type;
198     adj->ia_nh_proto = nh_proto;
199     adj->rewrite_header.sw_if_index = sw_if_index;
200     vnet_rewrite_update_mtu(vnet_get_main(), adj->ia_link,
201                             &adj->rewrite_header);
202
203     adj_nbr_evaluate_feature (adj_get_index(adj));
204     return (adj);
205 }
206
207 /*
208  * adj_nbr_add_or_lock
209  *
210  * Add an adjacency for the neighbour requested.
211  *
212  * The key for an adj is:
213  *   - the Next-hops protocol (i.e. v4 or v6)
214  *   - the address of the next-hop
215  *   - the interface the next-hop is reachable through
216  */
217 adj_index_t
218 adj_nbr_add_or_lock (fib_protocol_t nh_proto,
219                      vnet_link_t link_type,
220                      const ip46_address_t *nh_addr,
221                      u32 sw_if_index)
222 {
223     adj_index_t adj_index;
224
225     adj_index = adj_nbr_find(nh_proto, link_type, nh_addr, sw_if_index);
226
227     if (ADJ_INDEX_INVALID == adj_index)
228     {
229         ip_adjacency_t *adj;
230         vnet_main_t *vnm;
231
232         vnm = vnet_get_main();
233         adj = adj_nbr_alloc(nh_proto, link_type, nh_addr, sw_if_index);
234         adj_index = adj_get_index(adj);
235         adj_lock(adj_index);
236
237         if (ip46_address_is_equal(&ADJ_BCAST_ADDR, nh_addr))
238         {
239             adj->lookup_next_index = IP_LOOKUP_NEXT_BCAST;
240         }
241
242         vnet_rewrite_init(vnm, sw_if_index, link_type,
243                           adj_get_nd_node(nh_proto),
244                           vnet_tx_node_index_for_sw_interface(vnm, sw_if_index),
245                           &adj->rewrite_header);
246
247         /*
248          * we need a rewrite where the destination IP address is converted
249          * to the appropriate link-layer address. This is interface specific.
250          * So ask the interface to do it.
251          */
252         vnet_update_adjacency_for_sw_interface(vnm, sw_if_index, adj_index);
253     }
254     else
255     {
256         adj_lock(adj_index);
257     }
258
259     adj_delegate_adj_created(adj_get(adj_index));
260     return (adj_index);
261 }
262
263 adj_index_t
264 adj_nbr_add_or_lock_w_rewrite (fib_protocol_t nh_proto,
265                                vnet_link_t link_type,
266                                const ip46_address_t *nh_addr,
267                                u32 sw_if_index,
268                                u8 *rewrite)
269 {
270     adj_index_t adj_index;
271
272     adj_index = adj_nbr_find(nh_proto, link_type, nh_addr, sw_if_index);
273
274     if (ADJ_INDEX_INVALID == adj_index)
275     {
276         ip_adjacency_t *adj;
277
278         adj = adj_nbr_alloc(nh_proto, link_type, nh_addr, sw_if_index);
279         adj->rewrite_header.sw_if_index = sw_if_index;
280         adj_index = adj_get_index(adj);
281     }
282
283     adj_lock(adj_index);
284     adj_nbr_update_rewrite(adj_index,
285                            ADJ_NBR_REWRITE_FLAG_COMPLETE,
286                            rewrite);
287
288     adj_delegate_adj_created(adj_get(adj_index));
289
290     return (adj_index);
291 }
292
293 /**
294  * adj_nbr_update_rewrite
295  *
296  * Update the adjacency's rewrite string. A NULL string implies the
297  * rewrite is reset (i.e. when ARP/ND entry is gone).
298  * NB: the adj being updated may be handling traffic in the DP.
299  */
300 void
301 adj_nbr_update_rewrite (adj_index_t adj_index,
302                         adj_nbr_rewrite_flag_t flags,
303                         u8 *rewrite)
304 {
305     ip_adjacency_t *adj;
306
307     ASSERT(ADJ_INDEX_INVALID != adj_index);
308
309     adj = adj_get(adj_index);
310
311     if (flags & ADJ_NBR_REWRITE_FLAG_COMPLETE)
312     {
313         /*
314          * update the adj's rewrite string and build the arc
315          * from the rewrite node to the interface's TX node
316          */
317         adj_nbr_update_rewrite_internal(adj, IP_LOOKUP_NEXT_REWRITE,
318                                         adj_get_rewrite_node(adj->ia_link),
319                                         vnet_tx_node_index_for_sw_interface(
320                                             vnet_get_main(),
321                                             adj->rewrite_header.sw_if_index),
322                                         rewrite);
323     }
324     else
325     {
326         adj_nbr_update_rewrite_internal(adj, IP_LOOKUP_NEXT_ARP,
327                                         adj_get_nd_node(adj->ia_nh_proto),
328                                         vnet_tx_node_index_for_sw_interface(
329                                             vnet_get_main(),
330                                             adj->rewrite_header.sw_if_index),
331                                         rewrite);
332     }
333 }
334
335 /**
336  * adj_nbr_update_rewrite_internal
337  *
338  * Update the adjacency's rewrite string. A NULL string implies the
339  * rewrite is reset (i.e. when ARP/ND entry is gone).
340  * NB: the adj being updated may be handling traffic in the DP.
341  */
342 void
343 adj_nbr_update_rewrite_internal (ip_adjacency_t *adj,
344                                  ip_lookup_next_t adj_next_index,
345                                  u32 this_node,
346                                  u32 next_node,
347                                  u8 *rewrite)
348 {
349     ip_adjacency_t *walk_adj;
350     adj_index_t walk_ai, ai;
351     vlib_main_t * vm;
352     u32 old_next;
353     int do_walk;
354
355     vm = vlib_get_main();
356     old_next = adj->lookup_next_index;
357
358     ai = walk_ai = adj_get_index(adj);
359     if (VNET_LINK_MPLS == adj->ia_link)
360     {
361         /*
362          * The link type MPLS has no children in the control plane graph, it only
363          * has children in the data-plane graph. The backwalk is up the former.
364          * So we need to walk from its IP cousin.
365          */
366         walk_ai = adj_nbr_find(adj->ia_nh_proto,
367                                fib_proto_to_link(adj->ia_nh_proto),
368                                &adj->sub_type.nbr.next_hop,
369                                adj->rewrite_header.sw_if_index);
370     }
371
372     /*
373      * Don't call the walk re-entrantly
374      */
375     if (ADJ_INDEX_INVALID != walk_ai)
376     {
377         walk_adj = adj_get(walk_ai);
378         if (ADJ_FLAG_SYNC_WALK_ACTIVE & walk_adj->ia_flags)
379         {
380             do_walk = 0;
381         }
382         else
383         {
384             /*
385              * Prevent re-entrant walk of the same adj
386              */
387             walk_adj->ia_flags |= ADJ_FLAG_SYNC_WALK_ACTIVE;
388             do_walk = 1;
389         }
390     }
391     else
392     {
393         do_walk = 0;
394     }
395
396     /*
397      * lock the adjacencies that are affected by updates this walk will provoke.
398      * Since the aim of the walk is to update children to link to a different
399      * DPO, this adj will no longer be in use and its lock count will drop to 0.
400      * We don't want it to be deleted as part of this endeavour.
401      */
402     adj_lock(ai);
403     adj_lock(walk_ai);
404
405     /*
406      * Updating a rewrite string is not atomic;
407      *  - the rewrite string is too long to write in one instruction
408      *  - when swapping from incomplete to complete, we also need to update
409      *    the VLIB graph next-index of the adj.
410      * ideally we would only want to suspend forwarding via this adj whilst we
411      * do this, but we do not have that level of granularity - it's suspend all
412      * worker threads or nothing.
413      * The other choices are:
414      *  - to mark the adj down and back walk so child load-balances drop this adj
415      *    from the set.
416      *  - update the next_node index of this adj to point to error-drop
417      * both of which will mean for MAC change we will drop for this adj
418      * which is not acceptable. However, when the adj changes type (from
419      * complete to incomplete and vice-versa) the child DPOs, which have the
420      * VLIB graph next node index, will be sending packets to the wrong graph
421      * node. So from the options above, updating the next_node of the adj to
422      * be drop will work, but it relies on each graph node v4/v6/mpls, rewrite/
423      * arp/midchain always be valid w.r.t. a mis-match of adj type and node type
424      * (i.e. a rewrite adj in the arp node). This is not enforceable. Getting it
425      * wrong will lead to hard to find bugs since its a race condition. So we
426      * choose the more reliable method of updating the children to use the drop,
427      * then switching adj's type, then updating the children again. Did I mention
428      * that this doesn't happen often...
429      * So we need to distinguish between the two cases:
430      *  1 - mac change
431      *  2 - adj type change
432      */
433     if (do_walk &&
434         old_next != adj_next_index &&
435         ADJ_INDEX_INVALID != walk_ai)
436     {
437         /*
438          * the adj is changing type. we need to fix all children so that they
439          * stack momentarily on a drop, while the adj changes. If we don't do
440          * this  the children will send packets to a VLIB graph node that does
441          * not correspond to the adj's type - and it goes downhill from there.
442          */
443         fib_node_back_walk_ctx_t bw_ctx = {
444             .fnbw_reason = FIB_NODE_BW_REASON_FLAG_ADJ_DOWN,
445             /*
446              * force this walk to be synchronous. if we don't and a node in the graph
447              * (a heavily shared path-list) chooses to back-ground the walk (make it
448              * async) then it will pause and we will do the adj update below, before
449              * all the children are updated. not good.
450              */
451             .fnbw_flags = FIB_NODE_BW_FLAG_FORCE_SYNC,
452         };
453
454         fib_walk_sync(FIB_NODE_TYPE_ADJ, walk_ai, &bw_ctx);
455         /*
456          * fib_walk_sync may allocate a new adjacency and potentially cuase a
457          * realloc for adj_pool. When that happens, adj pointer is no longer
458          * valid here. We refresh the adj pointer accordingly.
459          */
460         adj = adj_get (ai);
461     }
462
463     /*
464      * If we are just updating the MAC string of the adj (which we also can't
465      * do atomically), then we need to stop packets switching through the adj.
466      * We can't do that on a per-adj basis, so it's all the packets.
467      * If we are updating the type, and we walked back to the children above,
468      * then this barrier serves to flush the queues/frames.
469      */
470     vlib_worker_thread_barrier_sync(vm);
471
472     adj->lookup_next_index = adj_next_index;
473     adj->ia_node_index = this_node;
474
475     if (NULL != rewrite)
476     {
477         /*
478          * new rewrite provided.
479          * fill in the adj's rewrite string, and build the VLIB graph arc.
480          */
481         vnet_rewrite_set_data_internal(&adj->rewrite_header,
482                                        sizeof(adj->rewrite_data),
483                                        rewrite,
484                                        vec_len(rewrite));
485         vec_free(rewrite);
486     }
487     else
488     {
489         vnet_rewrite_clear_data_internal(&adj->rewrite_header,
490                                          sizeof(adj->rewrite_data));
491     }
492     adj->rewrite_header.next_index = vlib_node_add_next(vlib_get_main(),
493                                                         this_node,
494                                                         next_node);
495
496     /*
497      * done with the rewrite update - let the workers loose.
498      */
499     vlib_worker_thread_barrier_release(vm);
500
501     if (do_walk &&
502         (old_next != adj->lookup_next_index) &&
503         (ADJ_INDEX_INVALID != walk_ai))
504     {
505         /*
506          * backwalk to the children so they can stack on the now updated
507          * adjacency
508          */
509         fib_node_back_walk_ctx_t bw_ctx = {
510             .fnbw_reason = FIB_NODE_BW_REASON_FLAG_ADJ_UPDATE,
511         };
512
513         fib_walk_sync(FIB_NODE_TYPE_ADJ, walk_ai, &bw_ctx);
514     }
515     /*
516      * Prevent re-entrant walk of the same adj
517      */
518     if (do_walk)
519     {
520         walk_adj = adj_get(walk_ai);
521         walk_adj->ia_flags &= ~ADJ_FLAG_SYNC_WALK_ACTIVE;
522     }
523
524     adj_unlock(ai);
525     adj_unlock(walk_ai);
526 }
527
528 typedef struct adj_db_count_ctx_t_ {
529     u64 count;
530 } adj_db_count_ctx_t;
531
532 static int
533 adj_db_count (BVT(clib_bihash_kv) * kvp,
534               void *arg)
535 {
536     adj_db_count_ctx_t * ctx = arg;
537     ctx->count++;
538     return (BIHASH_WALK_CONTINUE);
539 }
540
541 u32
542 adj_nbr_db_size (void)
543 {
544     adj_db_count_ctx_t ctx = {
545         .count = 0,
546     };
547     fib_protocol_t proto;
548     u32 sw_if_index = 0;
549
550     for (proto = FIB_PROTOCOL_IP4; proto <= FIB_PROTOCOL_IP6; proto++)
551     {
552         vec_foreach_index(sw_if_index, adj_nbr_tables[proto])
553         {
554             if (NULL != adj_nbr_tables[proto][sw_if_index])
555             {
556                 BV(clib_bihash_foreach_key_value_pair) (
557                     adj_nbr_tables[proto][sw_if_index],
558                     adj_db_count,
559                     &ctx);
560             }
561         }
562     }
563     return (ctx.count);
564 }
565
566 /**
567  * @brief Context for a walk of the adjacency neighbour DB
568  */
569 typedef struct adj_walk_ctx_t_
570 {
571     adj_walk_cb_t awc_cb;
572     void *awc_ctx;
573 } adj_walk_ctx_t;
574
575 static int
576 adj_nbr_walk_cb (BVT(clib_bihash_kv) * kvp,
577                  void *arg)
578 {
579     adj_walk_ctx_t *ctx = arg;
580
581     // FIXME: can't stop early...
582     if (ADJ_WALK_RC_STOP == ctx->awc_cb(kvp->value, ctx->awc_ctx))
583         return (BIHASH_WALK_STOP);
584     return (BIHASH_WALK_CONTINUE);
585 }
586
587 void
588 adj_nbr_walk (u32 sw_if_index,
589               fib_protocol_t adj_nh_proto,
590               adj_walk_cb_t cb,
591               void *ctx)
592 {
593     if (!ADJ_NBR_ITF_OK(adj_nh_proto, sw_if_index))
594         return;
595
596     adj_walk_ctx_t awc = {
597         .awc_ctx = ctx,
598         .awc_cb = cb,
599     };
600
601     BV(clib_bihash_foreach_key_value_pair) (
602         adj_nbr_tables[adj_nh_proto][sw_if_index],
603         adj_nbr_walk_cb,
604         &awc);
605 }
606
607 /**
608  * @brief Walk adjacencies on a link with a given v4 next-hop.
609  * that is visit the adjacencies with different link types.
610  */
611 void
612 adj_nbr_walk_nh4 (u32 sw_if_index,
613                  const ip4_address_t *addr,
614                  adj_walk_cb_t cb,
615                  void *ctx)
616 {
617     if (!ADJ_NBR_ITF_OK(FIB_PROTOCOL_IP4, sw_if_index))
618         return;
619
620     ip46_address_t nh = {
621         .ip4 = *addr,
622     };
623     vnet_link_t linkt;
624     adj_index_t ai;
625
626     FOR_EACH_VNET_LINK(linkt)
627     {
628         ai = adj_nbr_find (FIB_PROTOCOL_IP4, linkt, &nh, sw_if_index);
629
630         if (INDEX_INVALID != ai)
631             cb(ai, ctx);
632     }
633 }
634
635 /**
636  * @brief Walk adjacencies on a link with a given v6 next-hop.
637  * that is visit the adjacencies with different link types.
638  */
639 void
640 adj_nbr_walk_nh6 (u32 sw_if_index,
641                  const ip6_address_t *addr,
642                  adj_walk_cb_t cb,
643                  void *ctx)
644 {
645     if (!ADJ_NBR_ITF_OK(FIB_PROTOCOL_IP6, sw_if_index))
646         return;
647
648     ip46_address_t nh = {
649         .ip6 = *addr,
650     };
651     vnet_link_t linkt;
652     adj_index_t ai;
653
654     FOR_EACH_VNET_LINK(linkt)
655     {
656         ai = adj_nbr_find (FIB_PROTOCOL_IP6, linkt, &nh, sw_if_index);
657
658         if (INDEX_INVALID != ai)
659             cb(ai, ctx);
660     }
661 }
662
663 /**
664  * @brief Walk adjacencies on a link with a given next-hop.
665  * that is visit the adjacencies with different link types.
666  */
667 void
668 adj_nbr_walk_nh (u32 sw_if_index,
669                  fib_protocol_t adj_nh_proto,
670                  const ip46_address_t *nh,
671                  adj_walk_cb_t cb,
672                  void *ctx)
673 {
674     if (!ADJ_NBR_ITF_OK(adj_nh_proto, sw_if_index))
675         return;
676
677     switch (adj_nh_proto)
678     {
679     case FIB_PROTOCOL_IP4:
680         adj_nbr_walk_nh4(sw_if_index, &nh->ip4, cb, ctx);
681         break; 
682     case FIB_PROTOCOL_IP6:
683         adj_nbr_walk_nh6(sw_if_index, &nh->ip6, cb, ctx);
684         break;
685     case FIB_PROTOCOL_MPLS:
686         ASSERT(0);
687         break;
688     }
689 }
690
691 /**
692  * Flags associated with the interface state walks
693  */
694 typedef enum adj_nbr_interface_flags_t_
695 {
696     ADJ_NBR_INTERFACE_UP = (1 << 0),
697 } adj_nbr_interface_flags_t;
698
699 /**
700  * Context for the state change walk of the DB
701  */
702 typedef struct adj_nbr_interface_state_change_ctx_t_
703 {
704     /**
705      * Flags on the interface
706      */
707     adj_nbr_interface_flags_t flags;
708 } adj_nbr_interface_state_change_ctx_t;
709
710 static adj_walk_rc_t
711 adj_nbr_interface_state_change_one (adj_index_t ai,
712                                     void *arg)
713 {
714     /*
715      * Back walk the graph to inform the forwarding entries
716      * that this interface state has changed. Do this synchronously
717      * since this is the walk that provides convergence
718      */
719     adj_nbr_interface_state_change_ctx_t *ctx = arg;
720     fib_node_back_walk_ctx_t bw_ctx = {
721         .fnbw_reason = ((ctx->flags & ADJ_NBR_INTERFACE_UP) ?
722                         FIB_NODE_BW_REASON_FLAG_INTERFACE_UP :
723                         FIB_NODE_BW_REASON_FLAG_INTERFACE_DOWN),
724         /*
725          * the force sync applies only as far as the first fib_entry.
726          * And it's the fib_entry's we need to converge away from
727          * the adjacencies on the now down link
728          */
729         .fnbw_flags = (!(ctx->flags & ADJ_NBR_INTERFACE_UP) ?
730                        FIB_NODE_BW_FLAG_FORCE_SYNC :
731                        FIB_NODE_BW_FLAG_NONE),
732     };
733     ip_adjacency_t *adj;
734
735     adj = adj_get(ai);
736
737     adj->ia_flags |= ADJ_FLAG_SYNC_WALK_ACTIVE;
738     fib_walk_sync(FIB_NODE_TYPE_ADJ, ai, &bw_ctx);
739     adj->ia_flags &= ~ADJ_FLAG_SYNC_WALK_ACTIVE;
740
741     return (ADJ_WALK_RC_CONTINUE);
742 }
743
744 /**
745  * @brief Registered function for SW interface state changes
746  */
747 static clib_error_t *
748 adj_nbr_sw_interface_state_change (vnet_main_t * vnm,
749                                    u32 sw_if_index,
750                                    u32 flags)
751 {
752     fib_protocol_t proto;
753
754     /*
755      * walk each adj on the interface and trigger a walk from that adj
756      */
757     for (proto = FIB_PROTOCOL_IP4; proto <= FIB_PROTOCOL_IP6; proto++)
758     {
759         adj_nbr_interface_state_change_ctx_t ctx = {
760             .flags = ((flags & VNET_SW_INTERFACE_FLAG_ADMIN_UP) ?
761                       ADJ_NBR_INTERFACE_UP :
762                       0),
763         };
764
765         adj_nbr_walk(sw_if_index, proto,
766                      adj_nbr_interface_state_change_one,
767                      &ctx);
768     }
769
770     return (NULL);
771 }
772
773 VNET_SW_INTERFACE_ADMIN_UP_DOWN_FUNCTION_PRIO(
774     adj_nbr_sw_interface_state_change,
775     VNET_ITF_FUNC_PRIORITY_HIGH);
776
777 /**
778  * @brief Invoked on each SW interface of a HW interface when the
779  * HW interface state changes
780  */
781 static walk_rc_t
782 adj_nbr_hw_sw_interface_state_change (vnet_main_t * vnm,
783                                       u32 sw_if_index,
784                                       void *arg)
785 {
786     adj_nbr_interface_state_change_ctx_t *ctx = arg;
787     fib_protocol_t proto;
788
789     /*
790      * walk each adj on the interface and trigger a walk from that adj
791      */
792     for (proto = FIB_PROTOCOL_IP4; proto <= FIB_PROTOCOL_IP6; proto++)
793     {
794         adj_nbr_walk(sw_if_index, proto,
795                      adj_nbr_interface_state_change_one,
796                      ctx);
797     }
798     return (WALK_CONTINUE);
799 }
800
801 /**
802  * @brief Registered callback for HW interface state changes
803  */
804 static clib_error_t *
805 adj_nbr_hw_interface_state_change (vnet_main_t * vnm,
806                                    u32 hw_if_index,
807                                    u32 flags)
808 {
809     /*
810      * walk SW interface on the HW
811      */
812     adj_nbr_interface_state_change_ctx_t ctx = {
813         .flags = ((flags & VNET_HW_INTERFACE_FLAG_LINK_UP) ?
814                   ADJ_NBR_INTERFACE_UP :
815                   0),
816     };
817
818     vnet_hw_interface_walk_sw(vnm, hw_if_index,
819                               adj_nbr_hw_sw_interface_state_change,
820                               &ctx);
821
822     return (NULL);
823 }
824
825 VNET_HW_INTERFACE_LINK_UP_DOWN_FUNCTION_PRIO(
826     adj_nbr_hw_interface_state_change,
827     VNET_ITF_FUNC_PRIORITY_HIGH);
828
829 static adj_walk_rc_t
830 adj_nbr_interface_delete_one (adj_index_t ai,
831                               void *arg)
832 {
833     /*
834      * Back walk the graph to inform the forwarding entries
835      * that this interface has been deleted.
836      */
837     fib_node_back_walk_ctx_t bw_ctx = {
838         .fnbw_reason = FIB_NODE_BW_REASON_FLAG_INTERFACE_DELETE,
839     };
840     ip_adjacency_t *adj;
841
842     adj_lock(ai);
843
844     adj = adj_get(ai);
845
846     adj->ia_flags |= ADJ_FLAG_SYNC_WALK_ACTIVE;
847     fib_walk_sync(FIB_NODE_TYPE_ADJ, ai, &bw_ctx);
848     adj->ia_flags &= ~ADJ_FLAG_SYNC_WALK_ACTIVE;
849
850     adj_unlock(ai);
851     return (ADJ_WALK_RC_CONTINUE);
852 }
853
854 /**
855  * adj_nbr_interface_add_del
856  *
857  * Registered to receive interface Add and delete notifications
858  */
859 static clib_error_t *
860 adj_nbr_interface_add_del (vnet_main_t * vnm,
861                            u32 sw_if_index,
862                            u32 is_add)
863 {
864     fib_protocol_t proto;
865
866     if (is_add)
867     {
868         /*
869          * not interested in interface additions. we will not back walk
870          * to resolve paths through newly added interfaces. Why? The control
871          * plane should have the brains to add interfaces first, then routes.
872          * So the case where there are paths with a interface that matches
873          * one just created is the case where the path resolved through an
874          * interface that was deleted, and still has not been removed. The
875          * new interface added, is NO GUARANTEE that the interface being
876          * added now, even though it may have the same sw_if_index, is the
877          * same interface that the path needs. So tough!
878          * If the control plane wants these routes to resolve it needs to
879          * remove and add them again.
880          */
881         return (NULL);
882     }
883
884     for (proto = FIB_PROTOCOL_IP4; proto <= FIB_PROTOCOL_IP6; proto++)
885     {
886         adj_nbr_walk(sw_if_index, proto,
887                      adj_nbr_interface_delete_one,
888                      NULL);
889     }
890
891     return (NULL);
892    
893 }
894
895 VNET_SW_INTERFACE_ADD_DEL_FUNCTION(adj_nbr_interface_add_del);
896
897
898 static adj_walk_rc_t
899 adj_nbr_show_one (adj_index_t ai,
900                   void *arg)
901 {
902     vlib_cli_output (arg, "[@%d]  %U",
903                      ai,
904                      format_ip_adjacency, ai,
905                      FORMAT_IP_ADJACENCY_NONE);
906
907     return (ADJ_WALK_RC_CONTINUE);
908 }
909
910 static clib_error_t *
911 adj_nbr_show (vlib_main_t * vm,
912               unformat_input_t * input,
913               vlib_cli_command_t * cmd)
914 {
915     adj_index_t ai = ADJ_INDEX_INVALID;
916     ip46_address_t nh = ip46_address_initializer;
917     u32 sw_if_index = ~0;
918
919     while (unformat_check_input (input) != UNFORMAT_END_OF_INPUT)
920     {
921         if (unformat (input, "%U",
922                       unformat_vnet_sw_interface, vnet_get_main(),
923                       &sw_if_index))
924             ;
925         else if (unformat (input, "%U",
926                            unformat_ip46_address, &nh, IP46_TYPE_ANY))
927             ;
928         else if (unformat (input, "%d", &ai))
929             ;
930         else
931             break;
932     }
933
934     if (ADJ_INDEX_INVALID != ai)
935     {
936         vlib_cli_output (vm, "[@%d] %U",
937                          ai,
938                          format_ip_adjacency, ai,
939                          FORMAT_IP_ADJACENCY_DETAIL);
940     }
941     else if (~0 != sw_if_index)
942     {
943         fib_protocol_t proto;
944
945         if (ip46_address_is_zero(&nh))
946         {
947             for (proto = FIB_PROTOCOL_IP4; proto <= FIB_PROTOCOL_IP6; proto++)
948             {
949                 adj_nbr_walk(sw_if_index, proto,
950                              adj_nbr_show_one,
951                              vm);
952             }
953         }
954         else
955         {
956             proto = (ip46_address_is_ip4(&nh) ?
957                      FIB_PROTOCOL_IP4 :
958                      FIB_PROTOCOL_IP6);
959             adj_nbr_walk_nh(sw_if_index, proto, &nh,
960                             adj_nbr_show_one,
961                             vm);
962         }
963     }
964     else
965     {
966         fib_protocol_t proto;
967
968         for (proto = FIB_PROTOCOL_IP4; proto <= FIB_PROTOCOL_IP6; proto++)
969         {
970             vec_foreach_index(sw_if_index, adj_nbr_tables[proto])
971             {
972                 adj_nbr_walk(sw_if_index, proto,
973                              adj_nbr_show_one,
974                              vm);
975             }
976         }
977     }
978
979     return 0;
980 }
981
982 /*?
983  * Show all neighbour adjacencies.
984  * @cliexpar
985  * @cliexstart{sh adj nbr}
986  * [@2] ipv4 via 1.0.0.2 loop0: IP4: 00:00:22:aa:bb:cc -> 00:00:11:aa:bb:cc
987  * [@3] mpls via 1.0.0.2 loop0: MPLS_UNICAST: 00:00:22:aa:bb:cc -> 00:00:11:aa:bb:cc
988  * [@4] ipv4 via 1.0.0.3 loop0: IP4: 00:00:22:aa:bb:cc -> 00:00:11:aa:bb:cc
989  * [@5] mpls via 1.0.0.3 loop0: MPLS_UNICAST: 00:00:22:aa:bb:cc -> 00:00:11:aa:bb:cc
990  * @cliexend
991  ?*/
992 VLIB_CLI_COMMAND (ip4_show_fib_command, static) = {
993     .path = "show adj nbr",
994     .short_help = "show adj nbr [<adj_index>] [interface]",
995     .function = adj_nbr_show,
996 };
997
998 u8*
999 format_adj_nbr_incomplete (u8* s, va_list *ap)
1000 {
1001     index_t index = va_arg(*ap, index_t);
1002     CLIB_UNUSED(u32 indent) = va_arg(*ap, u32);
1003     vnet_main_t * vnm = vnet_get_main();
1004     ip_adjacency_t * adj = adj_get(index);
1005
1006     s = format (s, "arp-%U", format_vnet_link, adj->ia_link);
1007     s = format (s, ": via %U",
1008                 format_ip46_address, &adj->sub_type.nbr.next_hop,
1009                 adj_proto_to_46(adj->ia_nh_proto));
1010     s = format (s, " %U",
1011                 format_vnet_sw_if_index_name,
1012                 vnm, adj->rewrite_header.sw_if_index);
1013
1014     return (s);
1015 }
1016
1017 u8*
1018 format_adj_nbr (u8* s, va_list *ap)
1019 {
1020     index_t index = va_arg(*ap, index_t);
1021     CLIB_UNUSED(u32 indent) = va_arg(*ap, u32);
1022     ip_adjacency_t * adj = adj_get(index);
1023
1024     s = format (s, "%U", format_vnet_link, adj->ia_link);
1025     s = format (s, " via %U ",
1026                 format_ip46_address, &adj->sub_type.nbr.next_hop,
1027                 adj_proto_to_46(adj->ia_nh_proto));
1028     s = format (s, "%U",
1029                 format_vnet_rewrite,
1030                 &adj->rewrite_header, sizeof (adj->rewrite_data), 0);
1031
1032     return (s);
1033 }
1034
1035 static void
1036 adj_dpo_lock (dpo_id_t *dpo)
1037 {
1038     adj_lock(dpo->dpoi_index);
1039 }
1040 static void
1041 adj_dpo_unlock (dpo_id_t *dpo)
1042 {
1043     adj_unlock(dpo->dpoi_index);
1044 }
1045
1046 static void
1047 adj_mem_show (void)
1048 {
1049     fib_show_memory_usage("Adjacency",
1050                           pool_elts(adj_pool),
1051                           pool_len(adj_pool),
1052                           sizeof(ip_adjacency_t));
1053 }
1054
1055 const static dpo_vft_t adj_nbr_dpo_vft = {
1056     .dv_lock = adj_dpo_lock,
1057     .dv_unlock = adj_dpo_unlock,
1058     .dv_format = format_adj_nbr,
1059     .dv_mem_show = adj_mem_show,
1060     .dv_get_urpf = adj_dpo_get_urpf,
1061 };
1062 const static dpo_vft_t adj_nbr_incompl_dpo_vft = {
1063     .dv_lock = adj_dpo_lock,
1064     .dv_unlock = adj_dpo_unlock,
1065     .dv_format = format_adj_nbr_incomplete,
1066     .dv_get_urpf = adj_dpo_get_urpf,
1067 };
1068
1069 /**
1070  * @brief The per-protocol VLIB graph nodes that are assigned to an adjacency
1071  *        object.
1072  *
1073  * this means that these graph nodes are ones from which a nbr is the
1074  * parent object in the DPO-graph.
1075  */
1076 const static char* const nbr_ip4_nodes[] =
1077 {
1078     "ip4-rewrite",
1079     NULL,
1080 };
1081 const static char* const nbr_ip6_nodes[] =
1082 {
1083     "ip6-rewrite",
1084     NULL,
1085 };
1086 const static char* const nbr_mpls_nodes[] =
1087 {
1088     "mpls-output",
1089     NULL,
1090 };
1091 const static char* const nbr_ethernet_nodes[] =
1092 {
1093     "adj-l2-rewrite",
1094     NULL,
1095 };
1096 const static char* const * const nbr_nodes[DPO_PROTO_NUM] =
1097 {
1098     [DPO_PROTO_IP4]  = nbr_ip4_nodes,
1099     [DPO_PROTO_IP6]  = nbr_ip6_nodes,
1100     [DPO_PROTO_MPLS] = nbr_mpls_nodes,
1101     [DPO_PROTO_ETHERNET] = nbr_ethernet_nodes,
1102 };
1103
1104 const static char* const nbr_incomplete_ip4_nodes[] =
1105 {
1106     "ip4-arp",
1107     NULL,
1108 };
1109 const static char* const nbr_incomplete_ip6_nodes[] =
1110 {
1111     "ip6-discover-neighbor",
1112     NULL,
1113 };
1114 const static char* const nbr_incomplete_mpls_nodes[] =
1115 {
1116     "mpls-adj-incomplete",
1117     NULL,
1118 };
1119
1120 const static char* const * const nbr_incomplete_nodes[DPO_PROTO_NUM] =
1121 {
1122     [DPO_PROTO_IP4]  = nbr_incomplete_ip4_nodes,
1123     [DPO_PROTO_IP6]  = nbr_incomplete_ip6_nodes,
1124     [DPO_PROTO_MPLS] = nbr_incomplete_mpls_nodes,
1125 };
1126
1127 void
1128 adj_nbr_module_init (void)
1129 {
1130     dpo_register(DPO_ADJACENCY,
1131                  &adj_nbr_dpo_vft,
1132                  nbr_nodes);
1133     dpo_register(DPO_ADJACENCY_INCOMPLETE,
1134                  &adj_nbr_incompl_dpo_vft,
1135                  nbr_incomplete_nodes);
1136 }