8461798e02ad652d69184d6f6dbad23074300fe0
[vpp.git] / src / plugins / vrrp / vrrp.c
1 /*
2  * vrrp.c - vrrp plugin action functions
3  *
4  * Copyright 2019-2020 Rubicon Communications, LLC (Netgate)
5  *
6  * SPDX-License-Identifier: Apache-2.0
7  *
8  */
9
10 #include <vnet/vnet.h>
11 #include <vnet/plugin/plugin.h>
12 #include <vnet/mfib/mfib_entry.h>
13 #include <vnet/mfib/mfib_table.h>
14 #include <vnet/adj/adj.h>
15 #include <vnet/adj/adj_mcast.h>
16 #include <vnet/fib/fib_table.h>
17 #include <vnet/ip/igmp_packet.h>
18 #include <vnet/ip/ip6_link.h>
19
20 #include <vrrp/vrrp.h>
21 #include <vrrp/vrrp_packet.h>
22
23 #include <vpp/app/version.h>
24
25 vrrp_main_t vrrp_main;
26
27 static const mac_address_t ipv4_vmac = {
28   .bytes = {0x00, 0x00, 0x5e, 0x00, 0x01, 0x00}
29 };
30
31 static const mac_address_t ipv6_vmac = {
32   .bytes = {0x00, 0x00, 0x5e, 0x00, 0x02, 0x00}
33 };
34
35 typedef struct
36 {
37   vrrp_vr_key_t key;
38   u32 count;
39 } vrrp_hwif_vr_count_t;
40
41 typedef enum
42 {
43   VRRP_IF_UPDATE_IP,
44   VRRP_IF_UPDATE_HW_LINK,
45   VRRP_IF_UPDATE_SW_ADMIN,
46 } vrrp_intf_update_type_t;
47
48 typedef struct
49 {
50   vrrp_intf_update_type_t type;
51   u32 sw_if_index;
52   u32 hw_if_index;
53   int intf_up;
54 } vrrp_intf_update_t;
55
56 static int vrrp_intf_is_up (u32 sw_if_index, u8 is_ipv6,
57                             vrrp_intf_update_t * pending);
58
59 static walk_rc_t
60 vrrp_hwif_master_count_walk (vnet_main_t * vnm, u32 sw_if_index, void *arg)
61 {
62   vrrp_hwif_vr_count_t *vr_count = arg;
63   vrrp_vr_t *vr;
64
65   vr = vrrp_vr_lookup (sw_if_index, vr_count->key.vr_id,
66                        vr_count->key.is_ipv6);
67
68   if (vr && (vr->runtime.state == VRRP_VR_STATE_MASTER))
69     vr_count->count++;
70
71   return WALK_CONTINUE;
72 }
73
74 /*
75  * Get a count of VRs in master state on a given hardware interface with
76  * the provided VR ID and AF.
77  */
78 static u32
79 vrrp_vr_hwif_master_vrs_by_vrid (u32 hw_if_index, u8 vr_id, u8 is_ipv6)
80 {
81   vnet_main_t *vnm = vnet_get_main ();
82   vrrp_hwif_vr_count_t vr_count;
83
84   clib_memset (&vr_count, 0, sizeof (vr_count));
85
86   vr_count.key.vr_id = vr_id;
87   vr_count.key.is_ipv6 = is_ipv6;
88
89   vnet_hw_interface_walk_sw (vnm, hw_if_index,
90                              vrrp_hwif_master_count_walk, &vr_count);
91
92   return vr_count.count;
93 }
94
95 /*
96  * Add or delete the VR virtual MAC address on the hardware interface
97  * when a VR enters or leaves the master state.
98  *
99  * Multiple subinterfaces may host the same VR ID. We should only add or
100  * delete the virtual MAC if this is the first VR being enabled on the
101  * hardware interface or the last one being disabled, respectively.
102  */
103 void
104 vrrp_vr_transition_vmac (vrrp_vr_t * vr, vrrp_vr_state_t new_state)
105 {
106   vnet_main_t *vnm = vnet_get_main ();
107   clib_error_t *error = 0;
108   vnet_hw_interface_t *hw;
109   u8 enable = (new_state == VRRP_VR_STATE_MASTER);
110   u32 n_master_vrs;
111
112   hw = vnet_get_sup_hw_interface (vnm, vr->config.sw_if_index);
113   n_master_vrs =
114     vrrp_vr_hwif_master_vrs_by_vrid (hw->hw_if_index, vr->config.vr_id,
115                                      vrrp_vr_is_ipv6 (vr));
116
117   /* enable only if current master vrs is 0, disable only if 0 or 1 */
118   if ((enable && !n_master_vrs) || (!enable && (n_master_vrs < 2)))
119     {
120       clib_warning ("%s virtual MAC address %U on hardware interface %u",
121                     (enable) ? "Adding" : "Deleting",
122                     format_ethernet_address, vr->runtime.mac.bytes,
123                     hw->hw_if_index);
124
125       error = vnet_hw_interface_add_del_mac_address
126         (vnm, hw->hw_if_index, vr->runtime.mac.bytes, enable);
127     }
128
129   if (error)
130     clib_error_report (error);
131 }
132
133 /*
134  * Manage VR interface data on transition to/from master:
135  *  - enable or disable ARP/ND input feature if appropriate
136  *  - update count of VRs in master state
137  */
138 static void
139 vrrp_vr_transition_intf (vrrp_vr_t * vr, vrrp_vr_state_t new_state)
140 {
141   vrrp_intf_t *intf;
142   const char *arc_name = 0, *node_name = 0;
143   const char *mc_arc_name = 0, *mc_node_name = 0;
144   u8 is_ipv6 = vrrp_vr_is_ipv6 (vr);
145   u32 *vr_index;
146   int n_master_accept = 0;
147   int n_started = 0;
148
149   if (is_ipv6)
150     {
151       arc_name = "ip6-local";
152       node_name = "vrrp6-nd-input";
153       mc_arc_name = "ip6-multicast";
154       mc_node_name = "vrrp6-accept-owner-input";
155     }
156   else
157     {
158       arc_name = "arp";
159       node_name = "vrrp4-arp-input";
160       mc_arc_name = "ip4-multicast";
161       mc_node_name = "vrrp4-accept-owner-input";
162     }
163
164   intf = vrrp_intf_get (vr->config.sw_if_index);
165
166   /* Check other VRs on this intf to see if features need to be toggled */
167   vec_foreach (vr_index, intf->vr_indices[is_ipv6])
168   {
169     vrrp_vr_t *intf_vr = vrrp_vr_lookup_index (*vr_index);
170
171     if (intf_vr == vr)
172       continue;
173
174     if (intf_vr->runtime.state == VRRP_VR_STATE_INIT)
175       continue;
176
177     n_started++;
178
179     if ((intf_vr->runtime.state == VRRP_VR_STATE_MASTER) &&
180         vrrp_vr_accept_mode_enabled (intf_vr))
181       n_master_accept++;
182   }
183
184   /* If entering/leaving init state, start/stop ARP or ND feature if no other
185    * VRs are active on the interface.
186    */
187   if (((vr->runtime.state == VRRP_VR_STATE_INIT) ||
188        (new_state == VRRP_VR_STATE_INIT)) && (n_started == 0))
189     vnet_feature_enable_disable (arc_name, node_name,
190                                  vr->config.sw_if_index,
191                                  (new_state != VRRP_VR_STATE_INIT), NULL, 0);
192
193   /* Special housekeeping when entering/leaving master mode */
194   if ((vr->runtime.state == VRRP_VR_STATE_MASTER) ||
195       (new_state == VRRP_VR_STATE_MASTER))
196     {
197       /* Maintain count of master state VRs on interface */
198       if (new_state == VRRP_VR_STATE_MASTER)
199         intf->n_master_vrs[is_ipv6]++;
200       else if (intf->n_master_vrs[is_ipv6] > 0)
201         intf->n_master_vrs[is_ipv6]--;
202
203       /* If accept mode is enabled and no other master on intf has accept
204        * mode enabled, enable/disable feature node to avoid spurious drops by
205        * spoofing check.
206        */
207       if (vrrp_vr_accept_mode_enabled (vr) && !n_master_accept)
208         vnet_feature_enable_disable (mc_arc_name, mc_node_name,
209                                      vr->config.sw_if_index,
210                                      (new_state == VRRP_VR_STATE_MASTER),
211                                      NULL, 0);
212     }
213 }
214
215 /* If accept mode enabled, add/remove VR addresses from interface */
216 static void
217 vrrp_vr_transition_addrs (vrrp_vr_t * vr, vrrp_vr_state_t new_state)
218 {
219   vlib_main_t *vm = vlib_get_main ();
220   u8 is_del;
221   ip46_address_t *vr_addr;
222
223   if (!vrrp_vr_accept_mode_enabled (vr))
224     return;
225
226   /* owner always has VR addresses configured, should never remove them */
227   if (vrrp_vr_is_owner (vr))
228     return;
229
230   /* only need to do something if entering or leaving master state */
231   if ((vr->runtime.state != VRRP_VR_STATE_MASTER) &&
232       (new_state != VRRP_VR_STATE_MASTER))
233     return;
234
235   is_del = (new_state != VRRP_VR_STATE_MASTER);
236
237   clib_warning ("%s VR addresses on sw_if_index %u",
238                 (is_del) ? "Deleting" : "Adding", vr->config.sw_if_index);
239
240   vec_foreach (vr_addr, vr->config.vr_addrs)
241   {
242     ip_interface_address_t *ia = NULL;
243
244     /* We need to know the address length to use, find it from another
245      * address on the interface. Or use a default (/24, /64).
246      */
247     if (!vrrp_vr_is_ipv6 (vr))
248       {
249         ip4_main_t *im = &ip4_main;
250         ip4_address_t *intf4;
251
252         intf4 =
253           ip4_interface_address_matching_destination
254           (im, &vr_addr->ip4, vr->config.sw_if_index, &ia);
255
256         ip4_add_del_interface_address (vm, vr->config.sw_if_index,
257                                        &vr_addr->ip4,
258                                        (intf4 ? ia->address_length : 24),
259                                        is_del);
260       }
261     else
262       {
263         ip6_main_t *im = &ip6_main;
264         ip6_address_t *intf6;
265
266         intf6 =
267           ip6_interface_address_matching_destination
268           (im, &vr_addr->ip6, vr->config.sw_if_index, &ia);
269
270         ip6_add_del_interface_address (vm, vr->config.sw_if_index,
271                                        &vr_addr->ip6,
272                                        (intf6 ? ia->address_length : 64),
273                                        is_del);
274       }
275   }
276 }
277
278 void
279 vrrp_vr_transition (vrrp_vr_t * vr, vrrp_vr_state_t new_state, void *data)
280 {
281
282   clib_warning ("VR %U transitioning to %U", format_vrrp_vr_key, vr,
283                 format_vrrp_vr_state, new_state);
284
285   /* Don't do anything if transitioning to the state VR is already in.
286    * This should never happen, just covering our bases.
287    */
288   if (new_state == vr->runtime.state)
289     return;
290
291   if (new_state == VRRP_VR_STATE_MASTER)
292     {
293       /* RFC 5798 sec 6.4.1 (105) - startup event for VR with priority 255
294        *          sec 6.4.2 (365) - master down timer fires on backup VR
295        */
296
297       vrrp_vr_multicast_group_join (vr);
298       vrrp_adv_send (vr, 0);
299       vrrp_garp_or_na_send (vr);
300
301       vrrp_vr_timer_set (vr, VRRP_VR_TIMER_ADV);
302     }
303   else if (new_state == VRRP_VR_STATE_BACKUP)
304     {
305       /* RFC 5798 sec 6.4.1 (150) - startup event for VR with priority < 255
306        *          sec 6.4.3 (735) - master preempted by higher priority VR
307        */
308
309       vrrp_vr_multicast_group_join (vr);
310
311       if (vr->runtime.state == VRRP_VR_STATE_MASTER)
312         {
313           vrrp_header_t *pkt = data;
314           vr->runtime.master_adv_int = vrrp_adv_int_from_packet (pkt);
315
316         }
317       else                      /* INIT, INTF_DOWN */
318         vr->runtime.master_adv_int = vr->config.adv_interval;
319
320       vrrp_vr_skew_compute (vr);
321       vrrp_vr_master_down_compute (vr);
322       vrrp_vr_timer_set (vr, VRRP_VR_TIMER_MASTER_DOWN);
323
324     }
325   else if (new_state == VRRP_VR_STATE_INIT)
326     {
327       /* RFC 5798 sec 6.4.2 (345) - shutdown event for backup VR
328        *          sec 6.4.3 (655) - shutdown event for master VR
329        */
330
331       vrrp_vr_timer_cancel (vr);
332       if (vr->runtime.state == VRRP_VR_STATE_MASTER)
333         vrrp_adv_send (vr, 1);
334     }
335   else if (new_state == VRRP_VR_STATE_INTF_DOWN)
336     /* State is not specified by RFC. This is to avoid attempting to
337      * send packets on an interface that's down and to avoid having a
338      * VR believe it is already the master when an interface is brought up
339      */
340     vrrp_vr_timer_cancel (vr);
341
342   /* add/delete virtual IP addrs if accept_mode is true */
343   vrrp_vr_transition_addrs (vr, new_state);
344
345   /* enable/disable input features if necessary */
346   vrrp_vr_transition_intf (vr, new_state);
347
348   /* add/delete virtual MAC address on NIC if necessary */
349   vrrp_vr_transition_vmac (vr, new_state);
350
351   vrrp_vr_event (vr, new_state);
352
353   vr->runtime.state = new_state;
354 }
355
356 #define VRRP4_MCAST_ADDR_AS_U8 { 224, 0, 0, 18 }
357 #define VRRP6_MCAST_ADDR_AS_U8 \
358 { 0xff, 0x2, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0x12 }
359
360 static const mfib_prefix_t all_vrrp4_routers = {
361   .fp_proto = FIB_PROTOCOL_IP4,
362   .fp_len = 32,
363   .fp_grp_addr = {
364                   .ip4 = {
365                           .as_u8 = VRRP4_MCAST_ADDR_AS_U8,
366                           },
367                   },
368 };
369
370 static const mfib_prefix_t all_vrrp6_routers = {
371   .fp_proto = FIB_PROTOCOL_IP6,
372   .fp_len = 128,
373   .fp_grp_addr = {
374                   .ip6 = {
375                           .as_u8 = VRRP6_MCAST_ADDR_AS_U8,
376                           },
377                   },
378 };
379
380 static int
381 vrrp_intf_enable_disable_mcast (u8 enable, u32 sw_if_index, u8 is_ipv6)
382 {
383   vrrp_main_t *vrm = &vrrp_main;
384   vrrp_intf_t *intf;
385   u32 fib_index, i;
386   u32 n_vrs_in_fib = 0;
387   const mfib_prefix_t *vrrp_prefix;
388   fib_protocol_t proto;
389   vnet_link_t link_type;
390   fib_route_path_t for_us = {
391     .frp_sw_if_index = 0xffffffff,
392     .frp_weight = 1,
393     .frp_flags = FIB_ROUTE_PATH_LOCAL,
394     .frp_mitf_flags = MFIB_ITF_FLAG_FORWARD,
395   };
396   fib_route_path_t via_itf = {
397     .frp_sw_if_index = sw_if_index,
398     .frp_weight = 1,
399     .frp_mitf_flags = MFIB_ITF_FLAG_ACCEPT,
400   };
401
402   intf = vrrp_intf_get (sw_if_index);
403
404   if (is_ipv6)
405     {
406       proto = FIB_PROTOCOL_IP6;
407       link_type = VNET_LINK_IP6;
408       vrrp_prefix = &all_vrrp6_routers;
409     }
410   else
411     {
412       proto = FIB_PROTOCOL_IP4;
413       link_type = VNET_LINK_IP4;
414       vrrp_prefix = &all_vrrp4_routers;
415     }
416
417   for_us.frp_proto = fib_proto_to_dpo (proto);
418   via_itf.frp_proto = fib_proto_to_dpo (proto);
419   fib_index = mfib_table_get_index_for_sw_if_index (proto, sw_if_index);
420
421   vec_foreach_index (i, vrm->vrrp_intfs)
422     {
423       if (mfib_table_get_index_for_sw_if_index (proto, i) != fib_index)
424         continue;
425
426       n_vrs_in_fib += vrrp_intf_num_vrs (i, is_ipv6);
427     }
428
429   if (enable)
430     {
431       /* ensure that the local mcast route exists */
432       mfib_table_entry_path_update (fib_index, vrrp_prefix, MFIB_SOURCE_API,
433                                     MFIB_ENTRY_FLAG_NONE, &for_us);
434
435       mfib_table_entry_path_update (fib_index, vrrp_prefix, MFIB_SOURCE_API,
436                                     MFIB_ENTRY_FLAG_NONE, &via_itf);
437       intf->mcast_adj_index[! !is_ipv6] =
438         adj_mcast_add_or_lock (proto, link_type, sw_if_index);
439     }
440   else
441     {
442       /* Remove mcast local routes if this is the last VR being deleted */
443       if (n_vrs_in_fib == 0)
444         mfib_table_entry_path_remove (fib_index, vrrp_prefix, MFIB_SOURCE_API,
445                                       &for_us);
446
447       mfib_table_entry_path_remove (fib_index, vrrp_prefix, MFIB_SOURCE_API,
448                                     &via_itf);
449     }
450
451   return 0;
452 }
453
454 static int
455 vrrp_intf_vr_add_del (u8 is_add, u32 sw_if_index, u32 vr_index, u8 is_ipv6)
456 {
457   vrrp_intf_t *vr_intf;
458
459   vr_intf = vrrp_intf_get (sw_if_index);
460   if (!vr_intf)
461     return -1;
462
463   if (is_add)
464     {
465       if (!vec_len (vr_intf->vr_indices[is_ipv6]))
466         vrrp_intf_enable_disable_mcast (1, sw_if_index, is_ipv6);
467
468       vec_add1 (vr_intf->vr_indices[is_ipv6], vr_index);
469     }
470   else
471     {
472       u32 per_intf_index =
473         vec_search (vr_intf->vr_indices[is_ipv6], vr_index);
474
475       if (per_intf_index != ~0)
476         vec_del1 (vr_intf->vr_indices[is_ipv6], per_intf_index);
477
478       /* no more VRs on this interface, disable multicast */
479       if (!vec_len (vr_intf->vr_indices[is_ipv6]))
480         vrrp_intf_enable_disable_mcast (0, sw_if_index, is_ipv6);
481     }
482
483   return 0;
484 }
485
486 /* RFC 5798 section 8.3.2 says to take care not to configure more than
487  * one VRRP router as the "IPvX address owner" of a VRID. Make sure that
488  * all of the addresses configured for this VR are configured on the
489  * interface.
490  */
491 static int
492 vrrp_vr_valid_addrs_owner (vrrp_vr_config_t * vr_conf)
493 {
494   ip46_address_t *addr;
495   u8 is_ipv6 = (vr_conf->flags & VRRP_VR_IPV6) != 0;
496
497   vec_foreach (addr, vr_conf->vr_addrs)
498   {
499     if (!ip_interface_has_address (vr_conf->sw_if_index, addr, !is_ipv6))
500       return VNET_API_ERROR_ADDRESS_NOT_FOUND_FOR_INTERFACE;
501   }
502
503   return 0;
504 }
505
506 static int
507 vrrp_vr_valid_addrs_unused (vrrp_vr_config_t * vr_conf)
508 {
509   ip46_address_t *vr_addr;
510   u8 is_ipv6 = (vr_conf->flags & VRRP_VR_IPV6) != 0;
511
512   vec_foreach (vr_addr, vr_conf->vr_addrs)
513   {
514     u32 vr_index;
515     void *addr;
516
517     addr = (is_ipv6) ? (void *) &vr_addr->ip6 : (void *) &vr_addr->ip4;
518     vr_index = vrrp_vr_lookup_address (vr_conf->sw_if_index, is_ipv6, addr);
519     if (vr_index != ~0)
520       return VNET_API_ERROR_ADDRESS_IN_USE;
521   }
522
523   return 0;
524 }
525
526 static int
527 vrrp_vr_valid_addrs (vrrp_vr_config_t * vr_conf)
528 {
529   int ret = 0;
530
531   /* If the VR owns the addresses, make sure they are configured */
532   if (vr_conf->priority == 255 &&
533       (ret = vrrp_vr_valid_addrs_owner (vr_conf)) < 0)
534     return ret;
535
536   /* make sure no other VR has already configured any of the VR addresses */
537   ret = vrrp_vr_valid_addrs_unused (vr_conf);
538
539   return ret;
540 }
541
542 int
543 vrrp_vr_addr_add_del (vrrp_vr_t * vr, u8 is_add, ip46_address_t * vr_addr)
544 {
545   vrrp_main_t *vmp = &vrrp_main;
546   u32 vr_index;
547   vrrp4_arp_key_t key4;
548   vrrp6_nd_key_t key6;
549   ip46_address_t *addr;
550
551   if (!vr || !vr_addr)
552     return VNET_API_ERROR_INVALID_ARGUMENT;
553
554   vr_index = vr - vmp->vrs;
555
556   if (vrrp_vr_is_ipv6 (vr))
557     {
558       key6.sw_if_index = vr->config.sw_if_index;
559       key6.addr = vr_addr->ip6;
560       if (is_add)
561         {
562           hash_set_mem_alloc (&vmp->vrrp6_nd_lookup, &key6, vr_index);
563           vec_add1 (vr->config.vr_addrs, vr_addr[0]);
564         }
565       else
566         {
567           hash_unset_mem_free (&vmp->vrrp6_nd_lookup, &key6);
568           vec_foreach (addr, vr->config.vr_addrs)
569           {
570             if (!ip46_address_cmp (addr, vr_addr))
571               {
572                 vec_del1 (vr->config.vr_addrs, vr->config.vr_addrs - addr);
573                 break;
574               }
575           }
576         }
577     }
578   else
579     {
580       key4.sw_if_index = vr->config.sw_if_index;
581       key4.addr = vr_addr->ip4;
582       if (is_add)
583         {
584           hash_set (vmp->vrrp4_arp_lookup, key4.as_u64, vr_index);
585           vec_add1 (vr->config.vr_addrs, vr_addr[0]);
586         }
587       else
588         {
589           hash_unset (vmp->vrrp4_arp_lookup, key4.as_u64);
590           vec_foreach (addr, vr->config.vr_addrs)
591           {
592             if (!ip46_address_cmp (addr, vr_addr))
593               {
594                 vec_del1 (vr->config.vr_addrs, vr->config.vr_addrs - addr);
595                 break;
596               }
597           }
598         }
599     }
600
601   return 0;
602 }
603
604 static void
605 vrrp_vr_addrs_add_del (vrrp_vr_t * vr, u8 is_add, ip46_address_t * vr_addrs)
606 {
607   ip46_address_t *vr_addr;
608
609   vec_foreach (vr_addr, vr_addrs)
610   {
611     vrrp_vr_addr_add_del (vr, is_add, vr_addr);
612   }
613 }
614
615 /* Action function shared between message handler and debug CLI */
616 int
617 vrrp_vr_add_del (u8 is_add, vrrp_vr_config_t * vr_conf)
618 {
619   vrrp_main_t *vrm = &vrrp_main;
620   vnet_main_t *vnm = vnet_get_main ();
621   vrrp_vr_key_t key;
622   uword *p;
623   u32 vr_index;
624   vrrp_vr_t *vr = 0;
625   int ret;
626
627   if (vr_conf->sw_if_index == ~0 ||
628       !vnet_sw_interface_is_valid (vnm, vr_conf->sw_if_index))
629     return VNET_API_ERROR_INVALID_SW_IF_INDEX;
630
631   clib_memset (&key, 0, sizeof (key));
632
633   key.sw_if_index = vr_conf->sw_if_index;
634   key.vr_id = vr_conf->vr_id;
635   key.is_ipv6 = ((vr_conf->flags & VRRP_VR_IPV6) != 0);
636
637   p = mhash_get (&vrm->vr_index_by_key, &key);
638
639   if (is_add)
640     {
641       /* does a VR matching this key already exist ? */
642       if (p)
643         {
644           clib_warning ("VR %u for IPv%d already exists on sw_if_index %u",
645                         key.vr_id, (key.is_ipv6) ? 6 : 4, key.sw_if_index);
646           return VNET_API_ERROR_ENTRY_ALREADY_EXISTS;
647         }
648
649       /* were IPvX addresses included ? */
650       if (!vec_len (vr_conf->vr_addrs))
651         {
652           clib_warning ("Conf of VR %u for IPv%d on sw_if_index %u "
653                         " does not contain IP addresses",
654                         key.vr_id, (key.is_ipv6) ? 6 : 4, key.sw_if_index);
655           return VNET_API_ERROR_INVALID_SRC_ADDRESS;
656         }
657
658       /* Make sure the addresses are ok to use */
659       if ((ret = vrrp_vr_valid_addrs (vr_conf)) < 0)
660         return ret;
661
662       pool_get_zero (vrm->vrs, vr);
663       vr_index = vr - vrm->vrs;
664
665       clib_memcpy (&vr->config, vr_conf, sizeof (vrrp_vr_config_t));
666
667       vr->config.vr_addrs = 0;  /* allocate our own memory */
668       vrrp_vr_addrs_add_del (vr, is_add, vr_conf->vr_addrs);
669
670       vr->runtime.state = VRRP_VR_STATE_INIT;
671       vr->runtime.timer_index = ~0;
672
673       /* set virtual MAC based on IP version and VR ID */
674       vr->runtime.mac = (key.is_ipv6) ? ipv6_vmac : ipv4_vmac;
675       vr->runtime.mac.bytes[5] = vr_conf->vr_id;
676
677       mhash_set (&vrm->vr_index_by_key, &key, vr_index, 0);
678     }
679   else
680     {
681       if (!p)
682         {
683           clib_warning ("No VR %u for IPv%d exists on sw_if_index %u",
684                         key.vr_id, (key.is_ipv6) ? 6 : 4, key.sw_if_index);
685           return VNET_API_ERROR_NO_SUCH_ENTRY;
686         }
687
688       vr_index = p[0];
689       vr = pool_elt_at_index (vrm->vrs, vr_index);
690
691       vrrp_vr_tracking_ifs_add_del (vr, vr->tracking.interfaces, is_add);
692       vrrp_vr_addrs_add_del (vr, is_add, vr->config.vr_addrs);
693       mhash_unset (&vrm->vr_index_by_key, &key, 0);
694       vec_free (vr->config.peer_addrs);
695       vec_free (vr->config.vr_addrs);
696       vec_free (vr->tracking.interfaces);
697       pool_put (vrm->vrs, vr);
698     }
699
700   vrrp_intf_vr_add_del (is_add, vr_conf->sw_if_index, vr_index, key.is_ipv6);
701
702   return 0;
703 }
704
705 int
706 vrrp_vr_start_stop (u8 is_start, vrrp_vr_key_t * vr_key)
707 {
708   vrrp_main_t *vmp = &vrrp_main;
709   uword *p;
710   vrrp_vr_t *vr = 0;
711
712   p = mhash_get (&vmp->vr_index_by_key, vr_key);
713   if (!p)
714     return VNET_API_ERROR_NO_SUCH_ENTRY;
715
716   vr = pool_elt_at_index (vmp->vrs, p[0]);
717
718   /* return success if already in the desired state */
719   switch (vr->runtime.state)
720     {
721     case VRRP_VR_STATE_INIT:
722       if (!is_start)
723         {
724           clib_warning ("Attempting to stop already stopped VR (%U)",
725                         format_vrrp_vr_key, vr);
726           return 0;
727         }
728       break;
729     default:
730       if (is_start)
731         {
732           clib_warning ("Attempting to start already started VR (%U)",
733                         format_vrrp_vr_key, vr);
734           return 0;
735         }
736       break;
737     }
738
739   if (is_start)
740     {
741       if (vrrp_vr_is_unicast (vr) && vec_len (vr->config.peer_addrs) == 0)
742         {
743           clib_warning ("Cannot start unicast VR without peers");
744           return VNET_API_ERROR_INIT_FAILED;
745         }
746
747       vmp->n_vrs_started++;
748
749       if (!vrrp_intf_is_up (vr->config.sw_if_index, vrrp_vr_is_ipv6 (vr),
750                             NULL))
751         {
752           clib_warning ("VRRP VR started on down interface (%U)",
753                         format_vrrp_vr_key, vr);
754           vrrp_vr_transition (vr, VRRP_VR_STATE_INTF_DOWN, NULL);
755         }
756       else if (vrrp_vr_is_owner (vr))
757         vrrp_vr_transition (vr, VRRP_VR_STATE_MASTER, NULL);
758       else
759         vrrp_vr_transition (vr, VRRP_VR_STATE_BACKUP, NULL);
760     }
761   else
762     {
763       vmp->n_vrs_started--;
764
765       vrrp_vr_transition (vr, VRRP_VR_STATE_INIT, NULL);
766     }
767
768   clib_warning ("%d VRs configured, %d VRs running",
769                 pool_elts (vmp->vrs), vmp->n_vrs_started);
770
771   return 0;
772 }
773
774 static int
775 vrrp_vr_set_peers_validate (vrrp_vr_t * vr, ip46_address_t * peers)
776 {
777   if (!vrrp_vr_is_unicast (vr))
778     {
779       clib_warning ("Peers can only be set on a unicast VR");
780       return VNET_API_ERROR_INVALID_ARGUMENT;
781     }
782
783   if (vr->runtime.state != VRRP_VR_STATE_INIT)
784     {
785       clib_warning ("Cannot set peers on a running VR");
786       return VNET_API_ERROR_RSRC_IN_USE;
787     }
788
789   if (vec_len (peers) == 0)
790     {
791       clib_warning ("No peer addresses provided");
792       return VNET_API_ERROR_INVALID_DST_ADDRESS;
793     }
794
795   return 0;
796 }
797
798 int
799 vrrp_vr_set_peers (vrrp_vr_key_t * vr_key, ip46_address_t * peers)
800 {
801   vrrp_main_t *vmp = &vrrp_main;
802   uword *p;
803   vrrp_vr_t *vr = 0;
804   int ret = 0;
805
806   p = mhash_get (&vmp->vr_index_by_key, vr_key);
807   if (!p)
808     return VNET_API_ERROR_NO_SUCH_ENTRY;
809
810   vr = pool_elt_at_index (vmp->vrs, p[0]);
811
812   ret = vrrp_vr_set_peers_validate (vr, peers);
813   if (ret < 0)
814     return ret;
815
816   if (vr->config.peer_addrs)
817     vec_free (vr->config.peer_addrs);
818
819   vr->config.peer_addrs = vec_dup (peers);
820
821   return 0;
822 }
823
824 /* Manage reference on the interface to the VRs which track that interface */
825 static void
826 vrrp_intf_tracking_vr_add_del (u32 sw_if_index, vrrp_vr_t * vr, u8 is_add)
827 {
828   vrrp_intf_t *intf;
829   u32 vr_index;
830   u8 is_ipv6 = vrrp_vr_is_ipv6 (vr);
831   int i;
832
833   intf = vrrp_intf_get (sw_if_index);
834   vr_index = vrrp_vr_index (vr);
835
836   /* Try to find the VR index in the list of tracking VRs */
837   vec_foreach_index (i, intf->tracking_vrs[is_ipv6])
838   {
839     if (vec_elt (intf->tracking_vrs[is_ipv6], i) != vr_index)
840       continue;
841
842     /* Current index matches VR index */
843     if (!is_add)
844       vec_delete (intf->tracking_vrs[is_ipv6], 1, i);
845
846     /* If deleting, the job is done. If adding, it's already here */
847     return;
848   }
849
850   /* vr index was not found. */
851   if (is_add)
852     vec_add1 (intf->tracking_vrs[is_ipv6], vr_index);
853 }
854
855 /* Check if sw intf admin state is up or in the process of coming up */
856 static int
857 vrrp_intf_sw_admin_up (u32 sw_if_index, vrrp_intf_update_t * pending)
858 {
859   vnet_main_t *vnm = vnet_get_main ();
860   int admin_up;
861
862   if (pending && (pending->type == VRRP_IF_UPDATE_SW_ADMIN))
863     admin_up = pending->intf_up;
864   else
865     admin_up = vnet_sw_interface_is_admin_up (vnm, sw_if_index);
866
867   return admin_up;
868 }
869
870 /* Check if hw intf link state is up or int the process of coming up */
871 static int
872 vrrp_intf_hw_link_up (u32 sw_if_index, vrrp_intf_update_t * pending)
873 {
874   vnet_main_t *vnm = vnet_get_main ();
875   vnet_sw_interface_t *sup_sw;
876   int link_up;
877
878   sup_sw = vnet_get_sup_sw_interface (vnm, sw_if_index);
879
880   if (pending && (pending->type == VRRP_IF_UPDATE_HW_LINK) &&
881       (pending->hw_if_index == sup_sw->hw_if_index))
882     link_up = pending->intf_up;
883   else
884     link_up = vnet_hw_interface_is_link_up (vnm, sup_sw->hw_if_index);
885
886   return link_up;
887 }
888
889 /* Check if interface has ability to send IP packets. */
890 static int
891 vrrp_intf_ip_up (u32 sw_if_index, u8 is_ipv6, vrrp_intf_update_t * pending)
892 {
893   int ip_up;
894
895   if (pending && pending->type == VRRP_IF_UPDATE_IP)
896     ip_up = pending->intf_up;
897   else
898     /* Either a unicast address has to be explicitly assigned, or
899      * for IPv6 only, a link local assigned and multicast/ND enabled
900      */
901     ip_up =
902       ((ip_interface_get_first_ip (sw_if_index, !is_ipv6) != 0) ||
903        (is_ipv6 && ip6_link_is_enabled (sw_if_index)));
904
905   return ip_up;
906 }
907
908 static int
909 vrrp_intf_is_up (u32 sw_if_index, u8 is_ipv6, vrrp_intf_update_t * pending)
910 {
911   int admin_up, link_up, ip_up;
912
913   admin_up = vrrp_intf_sw_admin_up (sw_if_index, pending);
914   link_up = vrrp_intf_hw_link_up (sw_if_index, pending);
915   ip_up = vrrp_intf_ip_up (sw_if_index, is_ipv6, pending);
916
917   return (admin_up && link_up && ip_up);
918 }
919
920 /* Examine the state of interfaces tracked by a VR and compute the priority
921  * adjustment that should be applied to the VR. If this is being called
922  * by the hw_link_up_down callback, the pending new flags on the sup hw
923  * interface have not been updated yet, so accept those as an optional
924  * argument.
925  */
926 void
927 vrrp_vr_tracking_ifs_compute (vrrp_vr_t * vr, vrrp_intf_update_t * pending)
928 {
929   vrrp_vr_tracking_if_t *intf;
930   u32 total_priority = 0;
931
932   vec_foreach (intf, vr->tracking.interfaces)
933   {
934     if (vrrp_intf_is_up (intf->sw_if_index, vrrp_vr_is_ipv6 (vr), pending))
935       continue;
936
937     total_priority += intf->priority;
938   }
939
940   if (total_priority != vr->tracking.interfaces_dec)
941     {
942       clib_warning ("VR %U interface track adjustment change from %u to %u",
943                     format_vrrp_vr_key, vr, vr->tracking.interfaces_dec,
944                     total_priority);
945       vr->tracking.interfaces_dec = total_priority;
946     }
947 }
948
949 /* Manage tracked interfaces on a VR */
950 int
951 vrrp_vr_tracking_if_add_del (vrrp_vr_t * vr, u32 sw_if_index, u8 prio,
952                              u8 is_add)
953 {
954   vnet_main_t *vnm = vnet_get_main ();
955   vrrp_vr_tracking_if_t *track_intf;
956
957   /* VR can't track non-existent interface */
958   if (!vnet_sw_interface_is_valid (vnm, sw_if_index))
959     return VNET_API_ERROR_INVALID_SW_IF_INDEX;
960
961   /* VR can't track it's own interface */
962   if (sw_if_index == vr->config.sw_if_index)
963     return VNET_API_ERROR_INVALID_SW_IF_INDEX_2;
964
965   /* update intf vector of tracking VRs */
966   vrrp_intf_tracking_vr_add_del (sw_if_index, vr, is_add);
967
968   /* update VR vector of tracked interfaces */
969   vec_foreach (track_intf, vr->tracking.interfaces)
970   {
971     if (track_intf->sw_if_index != sw_if_index)
972       continue;
973
974     /* found it */
975     if (!is_add)
976       vec_delete
977         (vr->tracking.interfaces, 1, track_intf - vr->tracking.interfaces);
978
979     return 0;
980   }
981
982   if (is_add)
983     {
984       vec_add2 (vr->tracking.interfaces, track_intf, 1);
985
986       track_intf->sw_if_index = sw_if_index;
987       track_intf->priority = prio;
988     }
989
990   return 0;
991 }
992
993 int
994 vrrp_vr_tracking_ifs_add_del (vrrp_vr_t * vr,
995                               vrrp_vr_tracking_if_t * track_ifs, u8 is_add)
996 {
997   vrrp_vr_tracking_if_t *track_if, *ifs_copy;
998   int rv = 0;
999
1000   /* if deleting & track_ifs points to the VR list of tracked intfs, the
1001    * vector could be modified as we iterate it. make a copy instead */
1002   ifs_copy = vec_dup (track_ifs);
1003
1004   /* add each tracked interface in the vector */
1005   vec_foreach (track_if, ifs_copy)
1006   {
1007     rv = vrrp_vr_tracking_if_add_del (vr, track_if->sw_if_index,
1008                                       track_if->priority, (is_add != 0));
1009
1010     /* if operation failed, undo the previous changes */
1011     if (rv)
1012       {
1013         vrrp_vr_tracking_if_t *rb_if;
1014
1015         for (rb_if = track_if - 1; rb_if >= track_ifs; rb_if -= 1)
1016           vrrp_vr_tracking_if_add_del (vr, rb_if->sw_if_index,
1017                                        rb_if->priority, !(is_add != 0));
1018         break;
1019       }
1020   }
1021
1022   vec_free (ifs_copy);
1023
1024   vrrp_vr_tracking_ifs_compute (vr, 0);
1025
1026   return rv;
1027 }
1028
1029 /* Compute priority to advertise on all VRs which track the given interface
1030  * and address family. The flags on an HW interface are not updated until
1031  * after link up/down callbacks are invoked, so if this function is called
1032  * by the link up/down callback, the flags about to be set will be passed
1033  * via the 'pending' argument. Otherwise, pending will be NULL.
1034  */
1035 static void
1036 vrrp_intf_tracking_vrs_compute (u32 sw_if_index,
1037                                 vrrp_intf_update_t * pending, u8 is_ipv6)
1038 {
1039   u32 *vr_index;
1040   vrrp_vr_t *vr;
1041   vrrp_intf_t *intf = vrrp_intf_get (sw_if_index);
1042
1043   vec_foreach (vr_index, intf->tracking_vrs[is_ipv6])
1044   {
1045     vr = vrrp_vr_lookup_index (*vr_index);
1046     if (vr)
1047       vrrp_vr_tracking_ifs_compute (vr, pending);
1048   }
1049 }
1050
1051 /* Interface being brought up/down is a quasi-{startup/shutdown} event.
1052  * Execute an appropriate state transition for all VRs on the interface.
1053  * This function may be invoked by:
1054  *    sw interface admin up/down event
1055  *    hw interface link up/down event
1056  */
1057 clib_error_t *
1058 vrrp_sw_interface_up_down (vrrp_intf_update_t * pending)
1059 {
1060   vrrp_intf_t *intf;
1061   int i;
1062   u32 *vr_index;
1063   vrrp_vr_t *vr;
1064
1065   intf = vrrp_intf_get (pending->sw_if_index);
1066   if (!intf)
1067     return 0;
1068
1069   /* adjust state of VR's configured on this interface */
1070   for (i = 0; i < 2; i++)
1071     {
1072       int is_up;
1073
1074       if (!intf->vr_indices[i])
1075         continue;
1076
1077       is_up = vrrp_intf_is_up (pending->sw_if_index, i, pending);
1078
1079       vec_foreach (vr_index, intf->vr_indices[i])
1080       {
1081         vrrp_vr_state_t vr_state;
1082
1083         vr = vrrp_vr_lookup_index (*vr_index);
1084         if (!vr)
1085           continue;
1086
1087         if (vr->runtime.state == VRRP_VR_STATE_INIT)
1088           continue;             /* VR not started yet, no transition */
1089
1090         if (!is_up)
1091           vr_state = VRRP_VR_STATE_INTF_DOWN;
1092         else
1093           {
1094             if (vr->runtime.state != VRRP_VR_STATE_INTF_DOWN)
1095               continue;         /* shouldn't happen */
1096
1097             vr_state = (vrrp_vr_is_owner (vr)) ?
1098               VRRP_VR_STATE_MASTER : VRRP_VR_STATE_BACKUP;
1099           }
1100
1101         vrrp_vr_transition (vr, vr_state, NULL);
1102       }
1103     }
1104
1105   /* compute adjustments on any VR's tracking this interface */
1106   vrrp_intf_tracking_vrs_compute (pending->sw_if_index, pending,
1107                                   0 /* is_ipv6 */ );
1108   vrrp_intf_tracking_vrs_compute (pending->sw_if_index, pending,
1109                                   1 /* is_ipv6 */ );
1110
1111   return 0;
1112 }
1113
1114 /* Process change in admin status on an interface */
1115 clib_error_t *
1116 vrrp_sw_interface_admin_up_down (vnet_main_t * vnm, u32 sw_if_index,
1117                                  u32 flags)
1118 {
1119   vrrp_intf_update_t pending = {
1120     .type = VRRP_IF_UPDATE_SW_ADMIN,
1121     .sw_if_index = sw_if_index,
1122     .intf_up = ((flags & VNET_SW_INTERFACE_FLAG_ADMIN_UP) != 0),
1123   };
1124
1125   return vrrp_sw_interface_up_down (&pending);
1126 }
1127
1128 VNET_SW_INTERFACE_ADMIN_UP_DOWN_FUNCTION (vrrp_sw_interface_admin_up_down);
1129
1130 static walk_rc_t
1131 vrrp_hw_interface_link_up_down_walk (vnet_main_t * vnm,
1132                                      u32 sw_if_index, void *arg)
1133 {
1134   vrrp_intf_update_t *pending = arg;
1135
1136   pending->sw_if_index = sw_if_index;
1137   vrrp_sw_interface_up_down (pending);
1138
1139   return WALK_CONTINUE;
1140 }
1141
1142 static clib_error_t *
1143 vrrp_hw_interface_link_up_down (vnet_main_t * vnm, u32 hw_if_index, u32 flags)
1144 {
1145   vrrp_intf_update_t pending = {
1146     .type = VRRP_IF_UPDATE_HW_LINK,
1147     .hw_if_index = hw_if_index,
1148     .intf_up = ((flags & VNET_HW_INTERFACE_FLAG_LINK_UP) != 0),
1149   };
1150
1151   /* walk the sw interface and sub interfaces to adjust interface tracking */
1152   vnet_hw_interface_walk_sw (vnm, hw_if_index,
1153                              vrrp_hw_interface_link_up_down_walk, &pending);
1154
1155   return 0;
1156 }
1157
1158 VNET_HW_INTERFACE_LINK_UP_DOWN_FUNCTION (vrrp_hw_interface_link_up_down);
1159
1160 static void
1161 vrrp_ip4_add_del_interface_addr (ip4_main_t * im,
1162                                  uword opaque,
1163                                  u32 sw_if_index,
1164                                  ip4_address_t * address,
1165                                  u32 address_length,
1166                                  u32 if_address_index, u32 is_del)
1167 {
1168   vrrp_intf_tracking_vrs_compute (sw_if_index, NULL, 0 /* is_ipv6 */ );
1169 }
1170
1171 static ip6_link_delegate_id_t vrrp_ip6_delegate_id;
1172
1173 static u8 *
1174 format_vrrp_ip6_link (u8 * s, va_list * args)
1175 {
1176   index_t indi = va_arg (*args, index_t);
1177   u32 indent = va_arg (*args, u32);
1178   vrrp_intf_t *intf;
1179   u32 *vr_index;
1180
1181   intf = vrrp_intf_get ((u32) indi);
1182
1183   s = format (s, "%UVRRP VRs monitoring this link:\n",
1184               format_white_space, indent);
1185
1186   vec_foreach (vr_index, intf->tracking_vrs[1])
1187   {
1188     vrrp_vr_t *vr = vrrp_vr_lookup_index (*vr_index);
1189
1190     s = format (s, "%U%U\n", format_white_space, indent + 2,
1191                 format_vrrp_vr_key, vr);
1192   }
1193
1194   return s;
1195 }
1196
1197 static void
1198 vrrp_intf_ip6_enable_disable (u32 sw_if_index, int enable)
1199 {
1200   vrrp_intf_update_t pending = {
1201     .type = VRRP_IF_UPDATE_IP,
1202     .sw_if_index = sw_if_index,
1203     .intf_up = enable,
1204   };
1205
1206   vrrp_intf_tracking_vrs_compute (sw_if_index, &pending, 1 /* is_ipv6 */ );
1207 }
1208
1209 static void
1210 vrrp_intf_ip6_enable (u32 sw_if_index)
1211 {
1212   vrrp_intf_ip6_enable_disable (sw_if_index, 1 /* enable */ );
1213   ip6_link_delegate_update (sw_if_index, vrrp_ip6_delegate_id, sw_if_index);
1214 }
1215
1216 static void
1217 vrrp_intf_ip6_disable (index_t indi)
1218 {
1219   vrrp_intf_ip6_enable_disable (indi, 0 /* enable */ );
1220 }
1221
1222 const static ip6_link_delegate_vft_t vrrp_ip6_delegate_vft = {
1223   .ildv_enable = vrrp_intf_ip6_enable,
1224   .ildv_disable = vrrp_intf_ip6_disable,
1225   .ildv_format = format_vrrp_ip6_link,
1226 };
1227
1228 static clib_error_t *
1229 vrrp_init (vlib_main_t * vm)
1230 {
1231   vrrp_main_t *vmp = &vrrp_main;
1232   clib_error_t *error = 0;
1233   ip4_main_t *im4 = &ip4_main;
1234   ip4_add_del_interface_address_callback_t cb4;
1235   vlib_node_t *intf_output_node;
1236
1237   clib_memset (vmp, 0, sizeof (*vmp));
1238
1239   if ((error = vlib_call_init_function (vm, ip4_lookup_init)) ||
1240       (error = vlib_call_init_function (vm, ip6_lookup_init)))
1241     return error;
1242
1243   vmp->vlib_main = vm;
1244   vmp->vnet_main = vnet_get_main ();
1245
1246   intf_output_node = vlib_get_node_by_name (vm, (u8 *) "interface-output");
1247   vmp->intf_output_node_idx = intf_output_node->index;
1248
1249   error = vrrp_plugin_api_hookup (vm);
1250
1251   if (error)
1252     return error;
1253
1254   mhash_init (&vmp->vr_index_by_key, sizeof (u32), sizeof (vrrp_vr_key_t));
1255   vmp->vrrp4_arp_lookup = hash_create (0, sizeof (uword));
1256   vmp->vrrp6_nd_lookup = hash_create_mem (0, sizeof (vrrp6_nd_key_t),
1257                                           sizeof (uword));
1258
1259   cb4.function = vrrp_ip4_add_del_interface_addr;
1260   cb4.function_opaque = 0;
1261   vec_add1 (im4->add_del_interface_address_callbacks, cb4);
1262
1263   vrrp_ip6_delegate_id = ip6_link_delegate_register (&vrrp_ip6_delegate_vft);
1264
1265   return error;
1266 }
1267
1268 VLIB_INIT_FUNCTION (vrrp_init);
1269
1270
1271 /* *INDENT-OFF* */
1272 VLIB_PLUGIN_REGISTER () =
1273 {
1274   .version = VPP_BUILD_VER,
1275   .description = "VRRP v3 (RFC 5798)",
1276 };
1277 /* *INDENT-ON* */
1278
1279 /*
1280  * fd.io coding-style-patch-verification: ON
1281  *
1282  * Local Variables:
1283  * eval: (c-set-style "gnu")
1284  * End:
1285  */