fib: adjacency midchain teardown (VPP-1841)
[vpp.git] / src / vnet / adj / adj.c
1 /*
2  * Copyright (c) 2016 Cisco and/or its affiliates.
3  * Licensed under the Apache License, Version 2.0 (the "License");
4  * you may not use this file except in compliance with the License.
5  * You may obtain a copy of the License at:
6  *
7  *     http://www.apache.org/licenses/LICENSE-2.0
8  *
9  * Unless required by applicable law or agreed to in writing, software
10  * distributed under the License is distributed on an "AS IS" BASIS,
11  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
12  * See the License for the specific language governing permissions and
13  * limitations under the License.
14  */
15
16 #include <vnet/adj/adj.h>
17 #include <vnet/adj/adj_internal.h>
18 #include <vnet/adj/adj_glean.h>
19 #include <vnet/adj/adj_midchain.h>
20 #include <vnet/adj/adj_mcast.h>
21 #include <vnet/adj/adj_delegate.h>
22 #include <vnet/fib/fib_node_list.h>
23
24 /* Adjacency packet/byte counters indexed by adjacency index. */
25 vlib_combined_counter_main_t adjacency_counters = {
26     .name = "adjacency",
27     .stat_segment_name = "/net/adjacency",
28 };
29
30 /*
31  * the single adj pool
32  */
33 ip_adjacency_t *adj_pool;
34
35 /**
36  * @brief Global Config for enabling per-adjacency counters.
37  * By default these are disabled.
38  */
39 int adj_per_adj_counters;
40
41 const ip46_address_t ADJ_BCAST_ADDR = {
42     .ip6 = {
43         .as_u64[0] = 0xffffffffffffffff,
44         .as_u64[1] = 0xffffffffffffffff,
45     },
46 };
47
48 /**
49  * Adj flag names
50  */
51 static const char *adj_attr_names[] = ADJ_ATTR_NAMES;
52
53 always_inline void
54 adj_poison (ip_adjacency_t * adj)
55 {
56     if (CLIB_DEBUG > 0)
57     {
58         clib_memset (adj, 0xfe, sizeof (adj[0]));
59     }
60 }
61
62 ip_adjacency_t *
63 adj_alloc (fib_protocol_t proto)
64 {
65     ip_adjacency_t *adj;
66
67     pool_get_aligned(adj_pool, adj, CLIB_CACHE_LINE_BYTES);
68
69     adj_poison(adj);
70
71     /* Make sure certain fields are always initialized. */
72     /* Validate adjacency counters. */
73     vlib_validate_combined_counter(&adjacency_counters,
74                                    adj_get_index(adj));
75     vlib_zero_combined_counter(&adjacency_counters,
76                                adj_get_index(adj));
77     fib_node_init(&adj->ia_node,
78                   FIB_NODE_TYPE_ADJ);
79
80     adj->ia_nh_proto = proto;
81     adj->ia_flags = 0;
82     adj->rewrite_header.sw_if_index = ~0;
83     adj->rewrite_header.flags = 0;
84     adj->lookup_next_index = 0;
85     adj->ia_delegates = NULL;
86
87     /* lest it become a midchain in the future */
88     clib_memset(&adj->sub_type.midchain.next_dpo, 0,
89            sizeof(adj->sub_type.midchain.next_dpo));
90
91     return (adj);
92 }
93
94 static int
95 adj_index_is_special (adj_index_t adj_index)
96 {
97     if (ADJ_INDEX_INVALID == adj_index)
98         return (!0);
99
100     return (0);
101 }
102
103 u8*
104 format_adj_flags (u8 * s, va_list * args)
105 {
106     adj_flags_t af;
107     adj_attr_t at;
108
109     af = va_arg (*args, int);
110
111     if (ADJ_FLAG_NONE == af)
112     {
113         return (format(s, "None"));
114     }
115     FOR_EACH_ADJ_ATTR(at)
116     {
117         if (af & (1 << at))
118         {
119             s = format(s, "%s ", adj_attr_names[at]);
120         }
121     }
122     return (s);
123 }
124
125 /**
126  * @brief Pretty print helper function for formatting specific adjacencies.
127  * @param s - input string to format
128  * @param args - other args passed to format function such as:
129  *                 - vnet_main_t
130  *                 - ip_lookup_main_t
131  *                 - adj_index
132  */
133 u8 *
134 format_ip_adjacency (u8 * s, va_list * args)
135 {
136     format_ip_adjacency_flags_t fiaf;
137     ip_adjacency_t * adj;
138     u32 adj_index;
139
140     adj_index = va_arg (*args, u32);
141     fiaf = va_arg (*args, format_ip_adjacency_flags_t);
142
143     if (!adj_is_valid(adj_index))
144       return format(s, "<invalid adjacency>");
145
146     adj = adj_get(adj_index);
147
148     switch (adj->lookup_next_index)
149     {
150     case IP_LOOKUP_NEXT_REWRITE:
151     case IP_LOOKUP_NEXT_BCAST:
152         s = format (s, "%U", format_adj_nbr, adj_index, 0);
153         break;
154     case IP_LOOKUP_NEXT_ARP:
155         s = format (s, "%U", format_adj_nbr_incomplete, adj_index, 0);
156         break;
157     case IP_LOOKUP_NEXT_GLEAN:
158         s = format (s, "%U", format_adj_glean, adj_index, 0);
159         break;
160     case IP_LOOKUP_NEXT_MIDCHAIN:
161         s = format (s, "%U", format_adj_midchain, adj_index, 2);
162         break;
163     case IP_LOOKUP_NEXT_MCAST:
164         s = format (s, "%U", format_adj_mcast, adj_index, 0);
165         break;
166     case IP_LOOKUP_NEXT_MCAST_MIDCHAIN:
167         s = format (s, "%U", format_adj_mcast_midchain, adj_index, 0);
168         break;
169     case IP_LOOKUP_NEXT_DROP:
170     case IP_LOOKUP_NEXT_PUNT:
171     case IP_LOOKUP_NEXT_LOCAL:
172     case IP_LOOKUP_NEXT_ICMP_ERROR:
173     case IP_LOOKUP_N_NEXT:
174         break;
175     }
176
177     if (fiaf & FORMAT_IP_ADJACENCY_DETAIL)
178     {
179         vlib_counter_t counts;
180
181         vlib_get_combined_counter(&adjacency_counters, adj_index, &counts);
182         s = format (s, "\n   flags:%U", format_adj_flags, adj->ia_flags);
183         s = format (s, "\n   counts:[%Ld:%Ld]", counts.packets, counts.bytes);
184         s = format (s, "\n   locks:%d", adj->ia_node.fn_locks);
185         s = format(s, "\n delegates:");
186         s = adj_delegate_format(s, adj);
187
188         s = format(s, "\n children:");
189         if (fib_node_list_get_size(adj->ia_node.fn_children))
190         {
191             s = format(s, "\n  ");
192             s = fib_node_children_format(adj->ia_node.fn_children, s);
193         }
194     }
195
196     return s;
197 }
198
199 int
200 adj_recursive_loop_detect (adj_index_t ai,
201                            fib_node_index_t **entry_indicies)
202 {
203     ip_adjacency_t * adj;
204
205     adj = adj_get(ai);
206
207     switch (adj->lookup_next_index)
208     {
209     case IP_LOOKUP_NEXT_REWRITE:
210     case IP_LOOKUP_NEXT_ARP:
211     case IP_LOOKUP_NEXT_GLEAN:
212     case IP_LOOKUP_NEXT_MCAST:
213     case IP_LOOKUP_NEXT_BCAST:
214     case IP_LOOKUP_NEXT_DROP:
215     case IP_LOOKUP_NEXT_PUNT:
216     case IP_LOOKUP_NEXT_LOCAL:
217     case IP_LOOKUP_NEXT_ICMP_ERROR:
218     case IP_LOOKUP_N_NEXT:
219         /*
220          * these adjacency types are terminal graph nodes, so there's no
221          * possibility of a loop down here.
222          */
223         break;
224     case IP_LOOKUP_NEXT_MIDCHAIN:
225     case IP_LOOKUP_NEXT_MCAST_MIDCHAIN:
226         return (adj_ndr_midchain_recursive_loop_detect(ai, entry_indicies));
227     }
228
229     return (0);
230 }
231
232 /*
233  * adj_last_lock_gone
234  *
235  * last lock/reference to the adj has gone, we no longer need it.
236  */
237 static void
238 adj_last_lock_gone (ip_adjacency_t *adj)
239 {
240     vlib_main_t * vm = vlib_get_main();
241
242     ASSERT(0 == fib_node_list_get_size(adj->ia_node.fn_children));
243     ADJ_DBG(adj, "last-lock-gone");
244
245     adj_delegate_adj_deleted(adj);
246
247     vlib_worker_thread_barrier_sync (vm);
248
249     switch (adj->lookup_next_index)
250     {
251     case IP_LOOKUP_NEXT_MIDCHAIN:
252         adj_midchain_teardown(adj);
253         /* FALL THROUGH */
254     case IP_LOOKUP_NEXT_ARP:
255     case IP_LOOKUP_NEXT_REWRITE:
256     case IP_LOOKUP_NEXT_BCAST:
257         /*
258          * complete and incomplete nbr adjs
259          */
260         adj_nbr_remove(adj_get_index(adj),
261                        adj->ia_nh_proto,
262                        adj->ia_link,
263                        &adj->sub_type.nbr.next_hop,
264                        adj->rewrite_header.sw_if_index);
265         break;
266     case IP_LOOKUP_NEXT_GLEAN:
267         adj_glean_remove(adj->ia_nh_proto,
268                          adj->rewrite_header.sw_if_index);
269         break;
270     case IP_LOOKUP_NEXT_MCAST_MIDCHAIN:
271         adj_midchain_teardown(adj);
272         /* FALL THROUGH */
273     case IP_LOOKUP_NEXT_MCAST:
274         adj_mcast_remove(adj->ia_nh_proto,
275                          adj->rewrite_header.sw_if_index);
276         break;
277     case IP_LOOKUP_NEXT_DROP:
278     case IP_LOOKUP_NEXT_PUNT:
279     case IP_LOOKUP_NEXT_LOCAL:
280     case IP_LOOKUP_NEXT_ICMP_ERROR:
281     case IP_LOOKUP_N_NEXT:
282         /*
283          * type not stored in any DB from which we need to remove it
284          */
285         break;
286     }
287
288     vlib_worker_thread_barrier_release(vm);
289
290     fib_node_deinit(&adj->ia_node);
291     ASSERT(0 == vec_len(adj->ia_delegates));
292     vec_free(adj->ia_delegates);
293     pool_put(adj_pool, adj);
294 }
295
296 u32
297 adj_dpo_get_urpf (const dpo_id_t *dpo)
298 {
299     ip_adjacency_t *adj;
300
301     adj = adj_get(dpo->dpoi_index);
302
303     return (adj->rewrite_header.sw_if_index);
304 }
305
306 void
307 adj_lock (adj_index_t adj_index)
308 {
309     ip_adjacency_t *adj;
310
311     if (adj_index_is_special(adj_index))
312     {
313         return;
314     }
315
316     adj = adj_get(adj_index);
317     ASSERT(adj);
318
319     ADJ_DBG(adj, "lock");
320     fib_node_lock(&adj->ia_node);
321 }
322
323 void
324 adj_unlock (adj_index_t adj_index)
325 {
326     ip_adjacency_t *adj;
327
328     if (adj_index_is_special(adj_index))
329     {
330         return;
331     }
332
333     adj = adj_get(adj_index);
334     ASSERT(adj);
335
336     ADJ_DBG(adj, "unlock");
337     ASSERT(adj);
338
339     fib_node_unlock(&adj->ia_node);
340 }
341
342 u32
343 adj_child_add (adj_index_t adj_index,
344                fib_node_type_t child_type,
345                fib_node_index_t child_index)
346 {
347     ASSERT(ADJ_INDEX_INVALID != adj_index);
348     if (adj_index_is_special(adj_index))
349     {
350         return (~0);
351     }
352
353     return (fib_node_child_add(FIB_NODE_TYPE_ADJ,
354                                adj_index,
355                                child_type,
356                                child_index));
357 }
358
359 void
360 adj_child_remove (adj_index_t adj_index,
361                   u32 sibling_index)
362 {
363     if (adj_index_is_special(adj_index))
364     {
365         return;
366     }
367
368     fib_node_child_remove(FIB_NODE_TYPE_ADJ,
369                           adj_index,
370                           sibling_index);
371 }
372
373 /*
374  * Context for the walk to update the cached feature flags.
375  */
376 typedef struct adj_feature_update_t_
377 {
378     u8 arc;
379     u8 enable;
380 } adj_feature_update_ctx_t;
381
382 static adj_walk_rc_t
383 adj_feature_update_walk_cb (adj_index_t ai,
384                             void *arg)
385 {
386     adj_feature_update_ctx_t *ctx = arg;
387     ip_adjacency_t *adj;
388
389     adj = adj_get(ai);
390
391     /*
392      * this ugly mess matches the feature arc that is changing with affected
393      * adjacencies
394      */
395     if (((ctx->arc == ip6_main.lookup_main.output_feature_arc_index) &&
396          (VNET_LINK_IP6 == adj->ia_link)) ||
397         ((ctx->arc == ip4_main.lookup_main.output_feature_arc_index) &&
398          (VNET_LINK_IP4 == adj->ia_link)) ||
399         ((ctx->arc == mpls_main.output_feature_arc_index) &&
400          (VNET_LINK_MPLS == adj->ia_link)))
401     {
402         if (ctx->enable)
403             adj->rewrite_header.flags |= VNET_REWRITE_HAS_FEATURES;
404         else
405             adj->rewrite_header.flags &= ~VNET_REWRITE_HAS_FEATURES;
406     }
407     return (ADJ_WALK_RC_CONTINUE);
408 }
409
410 static void
411 adj_feature_update (u32 sw_if_index,
412                     u8 arc_index,
413                     u8 is_enable,
414                     void *data)
415 {
416     /*
417      * Walk all the adjacencies on the interface to update the cached
418      * 'has-features' flag
419      */
420     adj_feature_update_ctx_t ctx = {
421         .arc = arc_index,
422         .enable = is_enable,
423     };
424     adj_walk (sw_if_index, adj_feature_update_walk_cb, &ctx);
425 }
426
427 static adj_walk_rc_t
428 adj_mtu_update_walk_cb (adj_index_t ai,
429                         void *arg)
430 {
431     ip_adjacency_t *adj;
432
433     adj = adj_get(ai);
434
435     vnet_rewrite_update_mtu (vnet_get_main(), adj->ia_link,
436                              &adj->rewrite_header);
437
438     return (ADJ_WALK_RC_CONTINUE);
439 }
440
441 static clib_error_t *
442 adj_mtu_update (vnet_main_t * vnm, u32 sw_if_index, u32 flags)
443 {
444   adj_walk (sw_if_index, adj_mtu_update_walk_cb, NULL);
445
446   return (NULL);
447 }
448
449 VNET_SW_INTERFACE_MTU_CHANGE_FUNCTION(adj_mtu_update);
450
451 /**
452  * @brief Walk the Adjacencies on a given interface
453  */
454 void
455 adj_walk (u32 sw_if_index,
456           adj_walk_cb_t cb,
457           void *ctx)
458 {
459     /*
460      * walk all the neighbor adjacencies
461      */
462     fib_protocol_t proto;
463
464     FOR_EACH_FIB_IP_PROTOCOL(proto)
465     {
466         adj_nbr_walk(sw_if_index, proto, cb, ctx);
467         adj_mcast_walk(sw_if_index, proto, cb, ctx);
468     }
469 }
470
471 /**
472  * @brief Return the link type of the adjacency
473  */
474 vnet_link_t
475 adj_get_link_type (adj_index_t ai)
476 {
477     const ip_adjacency_t *adj;
478
479     adj = adj_get(ai);
480
481     return (adj->ia_link);
482 }
483
484 /**
485  * @brief Return the sw interface index of the adjacency.
486  */
487 u32
488 adj_get_sw_if_index (adj_index_t ai)
489 {
490     const ip_adjacency_t *adj;
491
492     adj = adj_get(ai);
493
494     return (adj->rewrite_header.sw_if_index);
495 }
496
497 /**
498  * @brief Return true if the adjacency is 'UP', i.e. can be used for forwarding
499  * 0 is down, !0 is up.
500  */
501 int
502 adj_is_up (adj_index_t ai)
503 {
504     return (adj_bfd_is_up(ai));
505 }
506
507 /**
508  * @brief Return the rewrite string of the adjacency
509  */
510 const u8*
511 adj_get_rewrite (adj_index_t ai)
512 {
513     vnet_rewrite_header_t *rw;
514     ip_adjacency_t *adj;
515
516     adj = adj_get(ai);
517     rw = &adj->rewrite_header;
518
519     ASSERT (rw->data_bytes != 0xfefe);
520
521     return (rw->data - rw->data_bytes);
522 }
523
524 static fib_node_t *
525 adj_get_node (fib_node_index_t index)
526 {
527     ip_adjacency_t *adj;
528
529     adj = adj_get(index);
530
531     return (&adj->ia_node);
532 }
533
534 #define ADJ_FROM_NODE(_node)                                            \
535     ((ip_adjacency_t*)((char*)_node - STRUCT_OFFSET_OF(ip_adjacency_t, ia_node)))
536
537 static void
538 adj_node_last_lock_gone (fib_node_t *node)
539 {
540     adj_last_lock_gone(ADJ_FROM_NODE(node));
541 }
542
543 static fib_node_back_walk_rc_t
544 adj_back_walk_notify (fib_node_t *node,
545                       fib_node_back_walk_ctx_t *ctx)
546 {
547     ip_adjacency_t *adj;
548
549     adj = ADJ_FROM_NODE(node);
550
551     switch (adj->lookup_next_index)
552     {
553     case IP_LOOKUP_NEXT_MIDCHAIN:
554         adj_midchain_delegate_restack(adj_get_index(adj));
555         break;
556     case IP_LOOKUP_NEXT_ARP:
557     case IP_LOOKUP_NEXT_REWRITE:
558     case IP_LOOKUP_NEXT_BCAST:
559     case IP_LOOKUP_NEXT_GLEAN:
560     case IP_LOOKUP_NEXT_MCAST:
561     case IP_LOOKUP_NEXT_MCAST_MIDCHAIN:
562     case IP_LOOKUP_NEXT_DROP:
563     case IP_LOOKUP_NEXT_PUNT:
564     case IP_LOOKUP_NEXT_LOCAL:
565     case IP_LOOKUP_NEXT_ICMP_ERROR:
566     case IP_LOOKUP_N_NEXT:
567         /*
568          * Que pasa. yo soj en el final!
569          */
570         ASSERT(0);
571         break;
572     }
573
574     return (FIB_NODE_BACK_WALK_CONTINUE);
575 }
576
577 /*
578  * Adjacency's graph node virtual function table
579  */
580 static const fib_node_vft_t adj_vft = {
581     .fnv_get = adj_get_node,
582     .fnv_last_lock = adj_node_last_lock_gone,
583     .fnv_back_walk = adj_back_walk_notify,
584 };
585
586 static clib_error_t *
587 adj_module_init (vlib_main_t * vm)
588 {
589     fib_node_register_type(FIB_NODE_TYPE_ADJ, &adj_vft);
590
591     adj_nbr_module_init();
592     adj_glean_module_init();
593     adj_midchain_module_init();
594     adj_mcast_module_init();
595
596     vnet_feature_register(adj_feature_update, NULL);
597
598     return (NULL);
599 }
600
601 VLIB_INIT_FUNCTION (adj_module_init);
602
603 static clib_error_t *
604 adj_show (vlib_main_t * vm,
605           unformat_input_t * input,
606           vlib_cli_command_t * cmd)
607 {
608     adj_index_t ai = ADJ_INDEX_INVALID;
609     u32 sw_if_index = ~0;
610     int summary = 0;
611
612     while (unformat_check_input (input) != UNFORMAT_END_OF_INPUT)
613     {
614         if (unformat (input, "%d", &ai))
615             ;
616         else if (unformat (input, "sum"))
617             summary = 1;
618         else if (unformat (input, "summary"))
619             summary = 1;
620         else if (unformat (input, "%U",
621                            unformat_vnet_sw_interface, vnet_get_main(),
622                            &sw_if_index))
623             ;
624         else
625             break;
626     }
627
628     if (summary)
629     {
630         vlib_cli_output (vm, "Number of adjacencies: %d", pool_elts(adj_pool));
631         vlib_cli_output (vm, "Per-adjacency counters: %s",
632                          (adj_are_counters_enabled() ?
633                           "enabled":
634                           "disabled"));
635     }
636     else
637     {
638         if (ADJ_INDEX_INVALID != ai)
639         {
640             if (pool_is_free_index(adj_pool, ai))
641             {
642                 vlib_cli_output (vm, "adjacency %d invalid", ai);
643                 return 0;
644             }
645
646             vlib_cli_output (vm, "[@%d] %U",
647                              ai,
648                              format_ip_adjacency,  ai,
649                              FORMAT_IP_ADJACENCY_DETAIL);
650         }
651         else
652         {
653             /* *INDENT-OFF* */
654             pool_foreach_index(ai, adj_pool,
655             ({
656                 if (~0 != sw_if_index &&
657                     sw_if_index != adj_get_sw_if_index(ai))
658                 {
659                 }
660                 else
661                 {
662                     vlib_cli_output (vm, "[@%d] %U",
663                                      ai,
664                                      format_ip_adjacency, ai,
665                                      FORMAT_IP_ADJACENCY_NONE);
666                 }
667             }));
668             /* *INDENT-ON* */
669         }
670     }
671     return 0;
672 }
673
674 /*?
675  * Show all adjacencies.
676  * @cliexpar
677  * @cliexstart{sh adj}
678  * [@0]
679  * [@1]  glean: loop0
680  * [@2] ipv4 via 1.0.0.2 loop0: IP4: 00:00:22:aa:bb:cc -> 00:00:11:aa:bb:cc
681  * [@3] mpls via 1.0.0.2 loop0: MPLS: 00:00:22:aa:bb:cc -> 00:00:11:aa:bb:cc
682  * [@4] ipv4 via 1.0.0.3 loop0: IP4: 00:00:22:aa:bb:cc -> 00:00:11:aa:bb:cc
683  * [@5] mpls via 1.0.0.3 loop0: MPLS: 00:00:22:aa:bb:cc -> 00:00:11:aa:bb:cc
684  * @cliexend
685  ?*/
686 VLIB_CLI_COMMAND (adj_show_command, static) = {
687     .path = "show adj",
688     .short_help = "show adj [<adj_index>] [interface] [summary]",
689     .function = adj_show,
690 };
691
692 /**
693  * @brief CLI invoked function to enable/disable per-adj counters
694  */
695 static clib_error_t *
696 adj_cli_counters_set (vlib_main_t * vm,
697                       unformat_input_t * input,
698                       vlib_cli_command_t * cmd)
699 {
700     clib_error_t *error = NULL;
701     int enable = ~0;
702
703     while (unformat_check_input (input) != UNFORMAT_END_OF_INPUT)
704     {
705         if (unformat (input, "enable"))
706             enable = 1;
707         else if (unformat (input, "disable"))
708             enable = 0;
709         else
710             break;
711     }
712
713     if (enable != ~0)
714     {
715         /* user requested something sensible */
716         adj_per_adj_counters = enable;
717     }
718     else
719     {
720         error = clib_error_return (0, "specify 'enable' or 'disable'");
721     }
722
723     return (error);
724 }
725
726 /*?
727  * Enable/disable per-adjacency counters. This is optional because it comes
728  * with a non-negligible performance cost.
729  ?*/
730 VLIB_CLI_COMMAND (adj_cli_counters_set_command, static) = {
731     .path = "adjacency counters",
732     .short_help = "adjacency counters [enable|disable]",
733     .function = adj_cli_counters_set,
734 };