fib: fix adj pool expand cases
[vpp.git] / src / vnet / adj / adj.c
1 /*
2  * Copyright (c) 2016 Cisco and/or its affiliates.
3  * Licensed under the Apache License, Version 2.0 (the "License");
4  * you may not use this file except in compliance with the License.
5  * You may obtain a copy of the License at:
6  *
7  *     http://www.apache.org/licenses/LICENSE-2.0
8  *
9  * Unless required by applicable law or agreed to in writing, software
10  * distributed under the License is distributed on an "AS IS" BASIS,
11  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
12  * See the License for the specific language governing permissions and
13  * limitations under the License.
14  */
15
16 #include <vnet/adj/adj.h>
17 #include <vnet/adj/adj_internal.h>
18 #include <vnet/adj/adj_glean.h>
19 #include <vnet/adj/adj_midchain.h>
20 #include <vnet/adj/adj_mcast.h>
21 #include <vnet/adj/adj_delegate.h>
22 #include <vnet/fib/fib_node_list.h>
23
24 /* Adjacency packet/byte counters indexed by adjacency index. */
25 vlib_combined_counter_main_t adjacency_counters = {
26     .name = "adjacency",
27     .stat_segment_name = "/net/adjacency",
28 };
29
30 /*
31  * the single adj pool
32  */
33 ip_adjacency_t *adj_pool;
34
35 /**
36  * @brief Global Config for enabling per-adjacency counters.
37  * By default these are disabled.
38  */
39 int adj_per_adj_counters;
40
41 const ip46_address_t ADJ_BCAST_ADDR = {
42     .ip6 = {
43         .as_u64[0] = 0xffffffffffffffff,
44         .as_u64[1] = 0xffffffffffffffff,
45     },
46 };
47
48 /**
49  * Adj flag names
50  */
51 static const char *adj_attr_names[] = ADJ_ATTR_NAMES;
52
53 always_inline void
54 adj_poison (ip_adjacency_t * adj)
55 {
56     if (CLIB_DEBUG > 0)
57     {
58         clib_memset (adj, 0xfe, sizeof (adj[0]));
59     }
60 }
61
62 ip_adjacency_t *
63 adj_alloc (fib_protocol_t proto)
64 {
65     ip_adjacency_t *adj;
66     u8 need_barrier_sync = 0;
67     vlib_main_t *vm;
68     vm = vlib_get_main();
69
70     ASSERT (vm->thread_index == 0);
71
72     pool_get_aligned_will_expand (adj_pool, need_barrier_sync,
73                                   CLIB_CACHE_LINE_BYTES);
74     /* If the adj_pool will expand, stop the parade. */
75     if (need_barrier_sync)
76         vlib_worker_thread_barrier_sync (vm);
77
78     pool_get_aligned(adj_pool, adj, CLIB_CACHE_LINE_BYTES);
79
80     adj_poison(adj);
81
82     /* Validate adjacency counters. */
83     if (need_barrier_sync == 0)
84     {
85         /* If the adj counter pool will expand, stop the parade */
86         need_barrier_sync = vlib_validate_combined_counter_will_expand
87             (&adjacency_counters, adj_get_index (adj));
88         if (need_barrier_sync)
89             vlib_worker_thread_barrier_sync (vm);
90     }
91     vlib_validate_combined_counter(&adjacency_counters,
92                                    adj_get_index(adj));
93
94     /* Make sure certain fields are always initialized. */
95     vlib_zero_combined_counter(&adjacency_counters,
96                                adj_get_index(adj));
97     fib_node_init(&adj->ia_node,
98                   FIB_NODE_TYPE_ADJ);
99
100     adj->ia_nh_proto = proto;
101     adj->ia_flags = 0;
102     adj->rewrite_header.sw_if_index = ~0;
103     adj->rewrite_header.flags = 0;
104     adj->lookup_next_index = 0;
105     adj->ia_delegates = NULL;
106
107     /* lest it become a midchain in the future */
108     clib_memset(&adj->sub_type.midchain.next_dpo, 0,
109            sizeof(adj->sub_type.midchain.next_dpo));
110
111     if (need_barrier_sync)
112         vlib_worker_thread_barrier_release (vm);
113
114     return (adj);
115 }
116
117 static int
118 adj_index_is_special (adj_index_t adj_index)
119 {
120     if (ADJ_INDEX_INVALID == adj_index)
121         return (!0);
122
123     return (0);
124 }
125
126 u8*
127 format_adj_flags (u8 * s, va_list * args)
128 {
129     adj_flags_t af;
130     adj_attr_t at;
131
132     af = va_arg (*args, int);
133
134     if (ADJ_FLAG_NONE == af)
135     {
136         return (format(s, "None"));
137     }
138     FOR_EACH_ADJ_ATTR(at)
139     {
140         if (af & (1 << at))
141         {
142             s = format(s, "%s ", adj_attr_names[at]);
143         }
144     }
145     return (s);
146 }
147
148 /**
149  * @brief Pretty print helper function for formatting specific adjacencies.
150  * @param s - input string to format
151  * @param args - other args passed to format function such as:
152  *                 - vnet_main_t
153  *                 - ip_lookup_main_t
154  *                 - adj_index
155  */
156 u8 *
157 format_ip_adjacency (u8 * s, va_list * args)
158 {
159     format_ip_adjacency_flags_t fiaf;
160     ip_adjacency_t * adj;
161     u32 adj_index;
162
163     adj_index = va_arg (*args, u32);
164     fiaf = va_arg (*args, format_ip_adjacency_flags_t);
165
166     if (!adj_is_valid(adj_index))
167       return format(s, "<invalid adjacency>");
168
169     adj = adj_get(adj_index);
170
171     switch (adj->lookup_next_index)
172     {
173     case IP_LOOKUP_NEXT_REWRITE:
174     case IP_LOOKUP_NEXT_BCAST:
175         s = format (s, "%U", format_adj_nbr, adj_index, 0);
176         break;
177     case IP_LOOKUP_NEXT_ARP:
178         s = format (s, "%U", format_adj_nbr_incomplete, adj_index, 0);
179         break;
180     case IP_LOOKUP_NEXT_GLEAN:
181         s = format (s, "%U", format_adj_glean, adj_index, 0);
182         break;
183     case IP_LOOKUP_NEXT_MIDCHAIN:
184         s = format (s, "%U", format_adj_midchain, adj_index, 2);
185         break;
186     case IP_LOOKUP_NEXT_MCAST:
187         s = format (s, "%U", format_adj_mcast, adj_index, 0);
188         break;
189     case IP_LOOKUP_NEXT_MCAST_MIDCHAIN:
190         s = format (s, "%U", format_adj_mcast_midchain, adj_index, 0);
191         break;
192     case IP_LOOKUP_NEXT_DROP:
193     case IP_LOOKUP_NEXT_PUNT:
194     case IP_LOOKUP_NEXT_LOCAL:
195     case IP_LOOKUP_NEXT_ICMP_ERROR:
196     case IP_LOOKUP_N_NEXT:
197         break;
198     }
199
200     if (fiaf & FORMAT_IP_ADJACENCY_DETAIL)
201     {
202         vlib_counter_t counts;
203
204         vlib_get_combined_counter(&adjacency_counters, adj_index, &counts);
205         s = format (s, "\n   flags:%U", format_adj_flags, adj->ia_flags);
206         s = format (s, "\n   counts:[%Ld:%Ld]", counts.packets, counts.bytes);
207         s = format (s, "\n   locks:%d", adj->ia_node.fn_locks);
208         s = format(s, "\n delegates:\n  ");
209         s = adj_delegate_format(s, adj);
210
211         s = format(s, "\n children:");
212         if (fib_node_list_get_size(adj->ia_node.fn_children))
213         {
214             s = format(s, "\n  ");
215             s = fib_node_children_format(adj->ia_node.fn_children, s);
216         }
217     }
218
219     return s;
220 }
221
222 int
223 adj_recursive_loop_detect (adj_index_t ai,
224                            fib_node_index_t **entry_indicies)
225 {
226     ip_adjacency_t * adj;
227
228     adj = adj_get(ai);
229
230     switch (adj->lookup_next_index)
231     {
232     case IP_LOOKUP_NEXT_REWRITE:
233     case IP_LOOKUP_NEXT_ARP:
234     case IP_LOOKUP_NEXT_GLEAN:
235     case IP_LOOKUP_NEXT_MCAST:
236     case IP_LOOKUP_NEXT_BCAST:
237     case IP_LOOKUP_NEXT_DROP:
238     case IP_LOOKUP_NEXT_PUNT:
239     case IP_LOOKUP_NEXT_LOCAL:
240     case IP_LOOKUP_NEXT_ICMP_ERROR:
241     case IP_LOOKUP_N_NEXT:
242         /*
243          * these adjacency types are terminal graph nodes, so there's no
244          * possibility of a loop down here.
245          */
246         break;
247     case IP_LOOKUP_NEXT_MIDCHAIN:
248     case IP_LOOKUP_NEXT_MCAST_MIDCHAIN:
249         return (adj_ndr_midchain_recursive_loop_detect(ai, entry_indicies));
250     }
251
252     return (0);
253 }
254
255 /*
256  * adj_last_lock_gone
257  *
258  * last lock/reference to the adj has gone, we no longer need it.
259  */
260 static void
261 adj_last_lock_gone (ip_adjacency_t *adj)
262 {
263     vlib_main_t * vm = vlib_get_main();
264
265     ASSERT(0 == fib_node_list_get_size(adj->ia_node.fn_children));
266     ADJ_DBG(adj, "last-lock-gone");
267
268     adj_delegate_adj_deleted(adj);
269
270     vlib_worker_thread_barrier_sync (vm);
271
272     switch (adj->lookup_next_index)
273     {
274     case IP_LOOKUP_NEXT_MIDCHAIN:
275         adj_midchain_teardown(adj);
276         /* FALL THROUGH */
277     case IP_LOOKUP_NEXT_ARP:
278     case IP_LOOKUP_NEXT_REWRITE:
279     case IP_LOOKUP_NEXT_BCAST:
280         /*
281          * complete and incomplete nbr adjs
282          */
283         adj_nbr_remove(adj_get_index(adj),
284                        adj->ia_nh_proto,
285                        adj->ia_link,
286                        &adj->sub_type.nbr.next_hop,
287                        adj->rewrite_header.sw_if_index);
288         break;
289     case IP_LOOKUP_NEXT_GLEAN:
290         adj_glean_remove(adj->ia_nh_proto,
291                          adj->rewrite_header.sw_if_index);
292         break;
293     case IP_LOOKUP_NEXT_MCAST_MIDCHAIN:
294         adj_midchain_teardown(adj);
295         /* FALL THROUGH */
296     case IP_LOOKUP_NEXT_MCAST:
297         adj_mcast_remove(adj->ia_nh_proto,
298                          adj->rewrite_header.sw_if_index);
299         break;
300     case IP_LOOKUP_NEXT_DROP:
301     case IP_LOOKUP_NEXT_PUNT:
302     case IP_LOOKUP_NEXT_LOCAL:
303     case IP_LOOKUP_NEXT_ICMP_ERROR:
304     case IP_LOOKUP_N_NEXT:
305         /*
306          * type not stored in any DB from which we need to remove it
307          */
308         break;
309     }
310
311     vlib_worker_thread_barrier_release(vm);
312
313     fib_node_deinit(&adj->ia_node);
314     ASSERT(0 == vec_len(adj->ia_delegates));
315     vec_free(adj->ia_delegates);
316     pool_put(adj_pool, adj);
317 }
318
319 u32
320 adj_dpo_get_urpf (const dpo_id_t *dpo)
321 {
322     ip_adjacency_t *adj;
323
324     adj = adj_get(dpo->dpoi_index);
325
326     return (adj->rewrite_header.sw_if_index);
327 }
328
329 void
330 adj_lock (adj_index_t adj_index)
331 {
332     ip_adjacency_t *adj;
333
334     if (adj_index_is_special(adj_index))
335     {
336         return;
337     }
338
339     adj = adj_get(adj_index);
340     ASSERT(adj);
341
342     ADJ_DBG(adj, "lock");
343     fib_node_lock(&adj->ia_node);
344 }
345
346 void
347 adj_unlock (adj_index_t adj_index)
348 {
349     ip_adjacency_t *adj;
350
351     if (adj_index_is_special(adj_index))
352     {
353         return;
354     }
355
356     adj = adj_get(adj_index);
357     ASSERT(adj);
358
359     ADJ_DBG(adj, "unlock");
360     ASSERT(adj);
361
362     fib_node_unlock(&adj->ia_node);
363 }
364
365 u32
366 adj_child_add (adj_index_t adj_index,
367                fib_node_type_t child_type,
368                fib_node_index_t child_index)
369 {
370     ASSERT(ADJ_INDEX_INVALID != adj_index);
371     if (adj_index_is_special(adj_index))
372     {
373         return (~0);
374     }
375
376     return (fib_node_child_add(FIB_NODE_TYPE_ADJ,
377                                adj_index,
378                                child_type,
379                                child_index));
380 }
381
382 void
383 adj_child_remove (adj_index_t adj_index,
384                   u32 sibling_index)
385 {
386     if (adj_index_is_special(adj_index))
387     {
388         return;
389     }
390
391     fib_node_child_remove(FIB_NODE_TYPE_ADJ,
392                           adj_index,
393                           sibling_index);
394 }
395
396 /*
397  * Context for the walk to update the cached feature flags.
398  */
399 typedef struct adj_feature_update_t_
400 {
401     u8 arc;
402     u8 enable;
403 } adj_feature_update_ctx_t;
404
405 static adj_walk_rc_t
406 adj_feature_update_walk_cb (adj_index_t ai,
407                             void *arg)
408 {
409     adj_feature_update_ctx_t *ctx = arg;
410     ip_adjacency_t *adj;
411
412     adj = adj_get(ai);
413
414     /*
415      * this ugly mess matches the feature arc that is changing with affected
416      * adjacencies
417      */
418     if (((ctx->arc == ip6_main.lookup_main.output_feature_arc_index) &&
419          (VNET_LINK_IP6 == adj->ia_link)) ||
420         ((ctx->arc == ip4_main.lookup_main.output_feature_arc_index) &&
421          (VNET_LINK_IP4 == adj->ia_link)) ||
422         ((ctx->arc == mpls_main.output_feature_arc_index) &&
423          (VNET_LINK_MPLS == adj->ia_link)))
424     {
425         if (ctx->enable)
426             adj->rewrite_header.flags |= VNET_REWRITE_HAS_FEATURES;
427         else
428             adj->rewrite_header.flags &= ~VNET_REWRITE_HAS_FEATURES;
429     }
430     return (ADJ_WALK_RC_CONTINUE);
431 }
432
433 void
434 adj_feature_update (u32 sw_if_index,
435                     u8 arc_index,
436                     u8 is_enable)
437 {
438     /*
439      * Walk all the adjacencies on the interface to update the cached
440      * 'has-features' flag
441      */
442     adj_feature_update_ctx_t ctx = {
443         .arc = arc_index,
444         .enable = is_enable,
445     };
446     adj_walk (sw_if_index, adj_feature_update_walk_cb, &ctx);
447 }
448
449 static adj_walk_rc_t
450 adj_mtu_update_walk_cb (adj_index_t ai,
451                         void *arg)
452 {
453     ip_adjacency_t *adj;
454
455     adj = adj_get(ai);
456
457     vnet_rewrite_update_mtu (vnet_get_main(), adj->ia_link,
458                              &adj->rewrite_header);
459
460     return (ADJ_WALK_RC_CONTINUE);
461 }
462
463 static clib_error_t *
464 adj_mtu_update (vnet_main_t * vnm, u32 sw_if_index, u32 flags)
465 {
466   adj_walk (sw_if_index, adj_mtu_update_walk_cb, NULL);
467
468   return (NULL);
469 }
470
471 VNET_SW_INTERFACE_MTU_CHANGE_FUNCTION(adj_mtu_update);
472
473 /**
474  * @brief Walk the Adjacencies on a given interface
475  */
476 void
477 adj_walk (u32 sw_if_index,
478           adj_walk_cb_t cb,
479           void *ctx)
480 {
481     /*
482      * walk all the neighbor adjacencies
483      */
484     fib_protocol_t proto;
485
486     FOR_EACH_FIB_IP_PROTOCOL(proto)
487     {
488         adj_nbr_walk(sw_if_index, proto, cb, ctx);
489         adj_mcast_walk(sw_if_index, proto, cb, ctx);
490     }
491 }
492
493 /**
494  * @brief Return the link type of the adjacency
495  */
496 vnet_link_t
497 adj_get_link_type (adj_index_t ai)
498 {
499     const ip_adjacency_t *adj;
500
501     adj = adj_get(ai);
502
503     return (adj->ia_link);
504 }
505
506 /**
507  * @brief Return the sw interface index of the adjacency.
508  */
509 u32
510 adj_get_sw_if_index (adj_index_t ai)
511 {
512     const ip_adjacency_t *adj;
513
514     adj = adj_get(ai);
515
516     return (adj->rewrite_header.sw_if_index);
517 }
518
519 /**
520  * @brief Return true if the adjacency is 'UP', i.e. can be used for forwarding
521  * 0 is down, !0 is up.
522  */
523 int
524 adj_is_up (adj_index_t ai)
525 {
526     return (adj_bfd_is_up(ai));
527 }
528
529 /**
530  * @brief Return the rewrite string of the adjacency
531  */
532 const u8*
533 adj_get_rewrite (adj_index_t ai)
534 {
535     vnet_rewrite_header_t *rw;
536     ip_adjacency_t *adj;
537
538     adj = adj_get(ai);
539     rw = &adj->rewrite_header;
540
541     ASSERT (rw->data_bytes != 0xfefe);
542
543     return (rw->data - rw->data_bytes);
544 }
545
546 static fib_node_t *
547 adj_get_node (fib_node_index_t index)
548 {
549     ip_adjacency_t *adj;
550
551     adj = adj_get(index);
552
553     return (&adj->ia_node);
554 }
555
556 #define ADJ_FROM_NODE(_node)                                            \
557     ((ip_adjacency_t*)((char*)_node - STRUCT_OFFSET_OF(ip_adjacency_t, ia_node)))
558
559 static void
560 adj_node_last_lock_gone (fib_node_t *node)
561 {
562     adj_last_lock_gone(ADJ_FROM_NODE(node));
563 }
564
565 static fib_node_back_walk_rc_t
566 adj_back_walk_notify (fib_node_t *node,
567                       fib_node_back_walk_ctx_t *ctx)
568 {
569     ip_adjacency_t *adj;
570
571     adj = ADJ_FROM_NODE(node);
572
573     switch (adj->lookup_next_index)
574     {
575     case IP_LOOKUP_NEXT_MIDCHAIN:
576         adj_midchain_delegate_restack(adj_get_index(adj));
577         break;
578     case IP_LOOKUP_NEXT_ARP:
579     case IP_LOOKUP_NEXT_REWRITE:
580     case IP_LOOKUP_NEXT_BCAST:
581     case IP_LOOKUP_NEXT_GLEAN:
582     case IP_LOOKUP_NEXT_MCAST:
583     case IP_LOOKUP_NEXT_MCAST_MIDCHAIN:
584     case IP_LOOKUP_NEXT_DROP:
585     case IP_LOOKUP_NEXT_PUNT:
586     case IP_LOOKUP_NEXT_LOCAL:
587     case IP_LOOKUP_NEXT_ICMP_ERROR:
588     case IP_LOOKUP_N_NEXT:
589         /*
590          * Que pasa. yo soj en el final!
591          */
592         ASSERT(0);
593         break;
594     }
595
596     return (FIB_NODE_BACK_WALK_CONTINUE);
597 }
598
599 /*
600  * Adjacency's graph node virtual function table
601  */
602 static const fib_node_vft_t adj_vft = {
603     .fnv_get = adj_get_node,
604     .fnv_last_lock = adj_node_last_lock_gone,
605     .fnv_back_walk = adj_back_walk_notify,
606 };
607
608 static clib_error_t *
609 adj_module_init (vlib_main_t * vm)
610 {
611     fib_node_register_type(FIB_NODE_TYPE_ADJ, &adj_vft);
612
613     adj_nbr_module_init();
614     adj_glean_module_init();
615     adj_midchain_module_init();
616     adj_mcast_module_init();
617
618     return (NULL);
619 }
620
621 VLIB_INIT_FUNCTION (adj_module_init);
622
623 static clib_error_t *
624 adj_show (vlib_main_t * vm,
625           unformat_input_t * input,
626           vlib_cli_command_t * cmd)
627 {
628     adj_index_t ai = ADJ_INDEX_INVALID;
629     u32 sw_if_index = ~0;
630     int summary = 0;
631
632     while (unformat_check_input (input) != UNFORMAT_END_OF_INPUT)
633     {
634         if (unformat (input, "%d", &ai))
635             ;
636         else if (unformat (input, "summary") || unformat (input, "sum"))
637             summary = 1;
638         else if (unformat (input, "%U",
639                            unformat_vnet_sw_interface, vnet_get_main(),
640                            &sw_if_index))
641             ;
642         else
643             break;
644     }
645
646     if (summary)
647     {
648         vlib_cli_output (vm, "Number of adjacencies: %d", pool_elts(adj_pool));
649         vlib_cli_output (vm, "Per-adjacency counters: %s",
650                          (adj_are_counters_enabled() ?
651                           "enabled":
652                           "disabled"));
653     }
654     else
655     {
656         if (ADJ_INDEX_INVALID != ai)
657         {
658             if (pool_is_free_index(adj_pool, ai))
659             {
660                 vlib_cli_output (vm, "adjacency %d invalid", ai);
661                 return 0;
662             }
663
664             vlib_cli_output (vm, "[@%d] %U",
665                              ai,
666                              format_ip_adjacency,  ai,
667                              FORMAT_IP_ADJACENCY_DETAIL);
668         }
669         else
670         {
671             /* *INDENT-OFF* */
672             pool_foreach_index(ai, adj_pool,
673             ({
674                 if (~0 != sw_if_index &&
675                     sw_if_index != adj_get_sw_if_index(ai))
676                 {
677                 }
678                 else
679                 {
680                     vlib_cli_output (vm, "[@%d] %U",
681                                      ai,
682                                      format_ip_adjacency, ai,
683                                      FORMAT_IP_ADJACENCY_NONE);
684                 }
685             }));
686             /* *INDENT-ON* */
687         }
688     }
689     return 0;
690 }
691
692 /*?
693  * Show all adjacencies.
694  * @cliexpar
695  * @cliexstart{sh adj}
696  * [@0]
697  * [@1]  glean: loop0
698  * [@2] ipv4 via 1.0.0.2 loop0: IP4: 00:00:22:aa:bb:cc -> 00:00:11:aa:bb:cc
699  * [@3] mpls via 1.0.0.2 loop0: MPLS: 00:00:22:aa:bb:cc -> 00:00:11:aa:bb:cc
700  * [@4] ipv4 via 1.0.0.3 loop0: IP4: 00:00:22:aa:bb:cc -> 00:00:11:aa:bb:cc
701  * [@5] mpls via 1.0.0.3 loop0: MPLS: 00:00:22:aa:bb:cc -> 00:00:11:aa:bb:cc
702  * @cliexend
703  ?*/
704 VLIB_CLI_COMMAND (adj_show_command, static) = {
705     .path = "show adj",
706     .short_help = "show adj [<adj_index>] [interface] [summary]",
707     .function = adj_show,
708 };
709
710 /**
711  * @brief CLI invoked function to enable/disable per-adj counters
712  */
713 static clib_error_t *
714 adj_cli_counters_set (vlib_main_t * vm,
715                       unformat_input_t * input,
716                       vlib_cli_command_t * cmd)
717 {
718     clib_error_t *error = NULL;
719     int enable = ~0;
720
721     while (unformat_check_input (input) != UNFORMAT_END_OF_INPUT)
722     {
723         if (unformat (input, "enable"))
724             enable = 1;
725         else if (unformat (input, "disable"))
726             enable = 0;
727         else
728             break;
729     }
730
731     if (enable != ~0)
732     {
733         /* user requested something sensible */
734         adj_per_adj_counters = enable;
735     }
736     else
737     {
738         error = clib_error_return (0, "specify 'enable' or 'disable'");
739     }
740
741     return (error);
742 }
743
744 /*?
745  * Enable/disable per-adjacency counters. This is optional because it comes
746  * with a non-negligible performance cost.
747  ?*/
748 VLIB_CLI_COMMAND (adj_cli_counters_set_command, static) = {
749     .path = "adjacency counters",
750     .short_help = "adjacency counters [enable|disable]",
751     .function = adj_cli_counters_set,
752 };