src/vnet/ethernet/arp.c

   1 /*
   2  * ethernet/arp.c: IP v4 ARP node
   3  *
   4  * Copyright (c) 2010 Cisco and/or its affiliates.
   5  * Licensed under the Apache License, Version 2.0 (the "License");
   6  * you may not use this file except in compliance with the License.
   7  * You may obtain a copy of the License at:
   8  *
   9  *     http://www.apache.org/licenses/LICENSE-2.0
  10  *
  11  * Unless required by applicable law or agreed to in writing, software
  12  * distributed under the License is distributed on an "AS IS" BASIS,
  13  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  14  * See the License for the specific language governing permissions and
  15  * limitations under the License.
  16  */
  17
  18 #include <vnet/ip/ip.h>
  19 #include <vnet/ip/ip6.h>
  20 #include <vnet/ethernet/ethernet.h>
  21 #include <vnet/ethernet/arp_packet.h>
  22 #include <vnet/l2/l2_input.h>
  23 #include <vppinfra/mhash.h>
  24 #include <vnet/fib/ip4_fib.h>
  25 #include <vnet/adj/adj_nbr.h>
  26 #include <vnet/adj/adj_mcast.h>
  27 #include <vnet/mpls/mpls.h>
  28
  29 /**
  30  * @file
  31  * @brief IPv4 ARP.
  32  *
  33  * This file contains code to manage the IPv4 ARP tables (IP Address
  34  * to MAC Address lookup).
  35  */
  36
  37
  38 void vl_api_rpc_call_main_thread (void *fp, u8 * data, u32 data_length);
  39
  40 /**
  41  * @brief Per-interface ARP configuration and state
  42  */
  43 typedef struct ethernet_arp_interface_t_
  44 {
  45   /**
  46    * Hash table of ARP entries.
  47    * Since this hash table is per-interface, the key is only the IPv4 address.
  48    */
  49   uword *arp_entries;
  50 } ethernet_arp_interface_t;
  51
  52 typedef struct
  53 {
  54   u32 lo_addr;
  55   u32 hi_addr;
  56   u32 fib_index;
  57 } ethernet_proxy_arp_t;
  58
  59 typedef struct
  60 {
  61   u32 next_index;
  62   uword node_index;
  63   uword type_opaque;
  64   uword data;
  65   /* Used for arp event notification only */
  66   void *data_callback;
  67   u32 pid;
  68 } pending_resolution_t;
  69
  70 typedef struct
  71 {
  72   /* Hash tables mapping name to opcode. */
  73   uword *opcode_by_name;
  74
  75   /* lite beer "glean" adjacency handling */
  76   uword *pending_resolutions_by_address;
  77   pending_resolution_t *pending_resolutions;
  78
  79   /* Mac address change notification */
  80   uword *mac_changes_by_address;
  81   pending_resolution_t *mac_changes;
  82
  83   ethernet_arp_ip4_entry_t *ip4_entry_pool;
  84
  85   /* ARP attack mitigation */
  86   u32 arp_delete_rotor;
  87   u32 limit_arp_cache_size;
  88
  89   /** Per interface state */
  90   ethernet_arp_interface_t *ethernet_arp_by_sw_if_index;
  91
  92   /* Proxy arp vector */
  93   ethernet_proxy_arp_t *proxy_arps;
  94 } ethernet_arp_main_t;
  95
  96 static ethernet_arp_main_t ethernet_arp_main;
  97
  98 typedef struct
  99 {
 100   u32 sw_if_index;
 101   ethernet_arp_ip4_over_ethernet_address_t a;
 102   int is_static;
 103   int is_no_fib_entry;
 104   int flags;
 105 #define ETHERNET_ARP_ARGS_REMOVE (1<<0)
 106 #define ETHERNET_ARP_ARGS_FLUSH  (1<<1)
 107 #define ETHERNET_ARP_ARGS_POPULATE  (1<<2)
 108 } vnet_arp_set_ip4_over_ethernet_rpc_args_t;
 109
 110 static const u8 vrrp_prefix[] = { 0x00, 0x00, 0x5E, 0x00, 0x01 };
 111
 112 static void
 113 set_ip4_over_ethernet_rpc_callback (vnet_arp_set_ip4_over_ethernet_rpc_args_t
 114                                     * a);
 115
 116 static u8 *
 117 format_ethernet_arp_hardware_type (u8 * s, va_list * va)
 118 {
 119   ethernet_arp_hardware_type_t h = va_arg (*va, ethernet_arp_hardware_type_t);
 120   char *t = 0;
 121   switch (h)
 122     {
 123 #define _(n,f) case n: t = #f; break;
 124       foreach_ethernet_arp_hardware_type;
 125 #undef _
 126
 127     default:
 128       return format (s, "unknown 0x%x", h);
 129     }
 130
 131   return format (s, "%s", t);
 132 }
 133
 134 static u8 *
 135 format_ethernet_arp_opcode (u8 * s, va_list * va)
 136 {
 137   ethernet_arp_opcode_t o = va_arg (*va, ethernet_arp_opcode_t);
 138   char *t = 0;
 139   switch (o)
 140     {
 141 #define _(f) case ETHERNET_ARP_OPCODE_##f: t = #f; break;
 142       foreach_ethernet_arp_opcode;
 143 #undef _
 144
 145     default:
 146       return format (s, "unknown 0x%x", o);
 147     }
 148
 149   return format (s, "%s", t);
 150 }
 151
 152 static uword
 153 unformat_ethernet_arp_opcode_host_byte_order (unformat_input_t * input,
 154                                               va_list * args)
 155 {
 156   int *result = va_arg (*args, int *);
 157   ethernet_arp_main_t *am = &ethernet_arp_main;
 158   int x, i;
 159
 160   /* Numeric opcode. */
 161   if (unformat (input, "0x%x", &x) || unformat (input, "%d", &x))
 162     {
 163       if (x >= (1 << 16))
 164         return 0;
 165       *result = x;
 166       return 1;
 167     }
 168
 169   /* Named type. */
 170   if (unformat_user (input, unformat_vlib_number_by_name,
 171                      am->opcode_by_name, &i))
 172     {
 173       *result = i;
 174       return 1;
 175     }
 176
 177   return 0;
 178 }
 179
 180 static uword
 181 unformat_ethernet_arp_opcode_net_byte_order (unformat_input_t * input,
 182                                              va_list * args)
 183 {
 184   int *result = va_arg (*args, int *);
 185   if (!unformat_user
 186       (input, unformat_ethernet_arp_opcode_host_byte_order, result))
 187     return 0;
 188
 189   *result = clib_host_to_net_u16 ((u16) * result);
 190   return 1;
 191 }
 192
 193 static u8 *
 194 format_ethernet_arp_header (u8 * s, va_list * va)
 195 {
 196   ethernet_arp_header_t *a = va_arg (*va, ethernet_arp_header_t *);
 197   u32 max_header_bytes = va_arg (*va, u32);
 198   uword indent;
 199   u16 l2_type, l3_type;
 200
 201   if (max_header_bytes != 0 && sizeof (a[0]) > max_header_bytes)
 202     return format (s, "ARP header truncated");
 203
 204   l2_type = clib_net_to_host_u16 (a->l2_type);
 205   l3_type = clib_net_to_host_u16 (a->l3_type);
 206
 207   indent = format_get_indent (s);
 208
 209   s = format (s, "%U, type %U/%U, address size %d/%d",
 210               format_ethernet_arp_opcode, clib_net_to_host_u16 (a->opcode),
 211               format_ethernet_arp_hardware_type, l2_type,
 212               format_ethernet_type, l3_type,
 213               a->n_l2_address_bytes, a->n_l3_address_bytes);
 214
 215   if (l2_type == ETHERNET_ARP_HARDWARE_TYPE_ethernet
 216       && l3_type == ETHERNET_TYPE_IP4)
 217     {
 218       s = format (s, "\n%U%U/%U -> %U/%U",
 219                   format_white_space, indent,
 220                   format_ethernet_address, a->ip4_over_ethernet[0].ethernet,
 221                   format_ip4_address, &a->ip4_over_ethernet[0].ip4,
 222                   format_ethernet_address, a->ip4_over_ethernet[1].ethernet,
 223                   format_ip4_address, &a->ip4_over_ethernet[1].ip4);
 224     }
 225   else
 226     {
 227       uword n2 = a->n_l2_address_bytes;
 228       uword n3 = a->n_l3_address_bytes;
 229       s = format (s, "\n%U%U/%U -> %U/%U",
 230                   format_white_space, indent,
 231                   format_hex_bytes, a->data + 0 * n2 + 0 * n3, n2,
 232                   format_hex_bytes, a->data + 1 * n2 + 0 * n3, n3,
 233                   format_hex_bytes, a->data + 1 * n2 + 1 * n3, n2,
 234                   format_hex_bytes, a->data + 2 * n2 + 1 * n3, n3);
 235     }
 236
 237   return s;
 238 }
 239
 240 u8 *
 241 format_ethernet_arp_ip4_entry (u8 * s, va_list * va)
 242 {
 243   vnet_main_t *vnm = va_arg (*va, vnet_main_t *);
 244   ethernet_arp_ip4_entry_t *e = va_arg (*va, ethernet_arp_ip4_entry_t *);
 245   vnet_sw_interface_t *si;
 246   u8 *flags = 0;
 247
 248   if (!e)
 249     return format (s, "%=12s%=16s%=6s%=20s%=24s", "Time", "IP4",
 250                    "Flags", "Ethernet", "Interface");
 251
 252   si = vnet_get_sw_interface (vnm, e->sw_if_index);
 253
 254   if (e->flags & ETHERNET_ARP_IP4_ENTRY_FLAG_STATIC)
 255     flags = format (flags, "S");
 256
 257   if (e->flags & ETHERNET_ARP_IP4_ENTRY_FLAG_DYNAMIC)
 258     flags = format (flags, "D");
 259
 260   if (e->flags & ETHERNET_ARP_IP4_ENTRY_FLAG_NO_FIB_ENTRY)
 261     flags = format (flags, "N");
 262
 263   s = format (s, "%=12U%=16U%=6s%=20U%=24U",
 264               format_vlib_cpu_time, vnm->vlib_main, e->cpu_time_last_updated,
 265               format_ip4_address, &e->ip4_address,
 266               flags ? (char *) flags : "",
 267               format_ethernet_address, e->ethernet_address,
 268               format_vnet_sw_interface_name, vnm, si);
 269
 270   vec_free (flags);
 271   return s;
 272 }
 273
 274 typedef struct
 275 {
 276   u8 packet_data[64];
 277 } ethernet_arp_input_trace_t;
 278
 279 static u8 *
 280 format_ethernet_arp_input_trace (u8 * s, va_list * va)
 281 {
 282   CLIB_UNUSED (vlib_main_t * vm) = va_arg (*va, vlib_main_t *);
 283   CLIB_UNUSED (vlib_node_t * node) = va_arg (*va, vlib_node_t *);
 284   ethernet_arp_input_trace_t *t = va_arg (*va, ethernet_arp_input_trace_t *);
 285
 286   s = format (s, "%U",
 287               format_ethernet_arp_header,
 288               t->packet_data, sizeof (t->packet_data));
 289
 290   return s;
 291 }
 292
 293 static u8 *
 294 format_arp_term_input_trace (u8 * s, va_list * va)
 295 {
 296   CLIB_UNUSED (vlib_main_t * vm) = va_arg (*va, vlib_main_t *);
 297   CLIB_UNUSED (vlib_node_t * node) = va_arg (*va, vlib_node_t *);
 298   ethernet_arp_input_trace_t *t = va_arg (*va, ethernet_arp_input_trace_t *);
 299
 300   /* arp-term trace data saved is either arp or ip6/icmp6 packet:
 301      - for arp, the 1st 16-bit field is hw type of value of 0x0001.
 302      - for ip6, the first nibble has value of 6. */
 303   s = format (s, "%U", t->packet_data[0] == 0 ?
 304               format_ethernet_arp_header : format_ip6_header,
 305               t->packet_data, sizeof (t->packet_data));
 306
 307   return s;
 308 }
 309
 310 static void
 311 arp_nbr_probe (ip_adjacency_t * adj)
 312 {
 313   vnet_main_t *vnm = vnet_get_main ();
 314   ip4_main_t *im = &ip4_main;
 315   ip_interface_address_t *ia;
 316   ethernet_arp_header_t *h;
 317   vnet_hw_interface_t *hi;
 318   vnet_sw_interface_t *si;
 319   ip4_address_t *src;
 320   vlib_buffer_t *b;
 321   vlib_main_t *vm;
 322   u32 bi = 0;
 323
 324   vm = vlib_get_main ();
 325
 326   si = vnet_get_sw_interface (vnm, adj->rewrite_header.sw_if_index);
 327
 328   if (!(si->flags & VNET_SW_INTERFACE_FLAG_ADMIN_UP))
 329     {
 330       return;
 331     }
 332
 333   src =
 334     ip4_interface_address_matching_destination (im,
 335                                                 &adj->sub_type.nbr.next_hop.
 336                                                 ip4,
 337                                                 adj->rewrite_header.
 338                                                 sw_if_index, &ia);
 339   if (!src)
 340     {
 341       return;
 342     }
 343
 344   h =
 345     vlib_packet_template_get_packet (vm, &im->ip4_arp_request_packet_template,
 346                                      &bi);
 347
 348   hi = vnet_get_sup_hw_interface (vnm, adj->rewrite_header.sw_if_index);
 349
 350   clib_memcpy (h->ip4_over_ethernet[0].ethernet,
 351                hi->hw_address, sizeof (h->ip4_over_ethernet[0].ethernet));
 352
 353   h->ip4_over_ethernet[0].ip4 = src[0];
 354   h->ip4_over_ethernet[1].ip4 = adj->sub_type.nbr.next_hop.ip4;
 355
 356   b = vlib_get_buffer (vm, bi);
 357   vnet_buffer (b)->sw_if_index[VLIB_RX] =
 358     vnet_buffer (b)->sw_if_index[VLIB_TX] = adj->rewrite_header.sw_if_index;
 359
 360   /* Add encapsulation string for software interface (e.g. ethernet header). */
 361   vnet_rewrite_one_header (adj[0], h, sizeof (ethernet_header_t));
 362   vlib_buffer_advance (b, -adj->rewrite_header.data_bytes);
 363
 364   {
 365     vlib_frame_t *f = vlib_get_frame_to_node (vm, hi->output_node_index);
 366     u32 *to_next = vlib_frame_vector_args (f);
 367     to_next[0] = bi;
 368     f->n_vectors = 1;
 369     vlib_put_frame_to_node (vm, hi->output_node_index, f);
 370   }
 371 }
 372
 373 static void
 374 arp_mk_complete (adj_index_t ai, ethernet_arp_ip4_entry_t * e)
 375 {
 376   adj_nbr_update_rewrite
 377     (ai, ADJ_NBR_REWRITE_FLAG_COMPLETE,
 378      ethernet_build_rewrite (vnet_get_main (),
 379                              e->sw_if_index,
 380                              adj_get_link_type (ai), e->ethernet_address));
 381 }
 382
 383 static void
 384 arp_mk_incomplete (adj_index_t ai)
 385 {
 386   ip_adjacency_t *adj = adj_get (ai);
 387
 388   adj_nbr_update_rewrite
 389     (ai,
 390      ADJ_NBR_REWRITE_FLAG_INCOMPLETE,
 391      ethernet_build_rewrite (vnet_get_main (),
 392                              adj->rewrite_header.sw_if_index,
 393                              VNET_LINK_ARP,
 394                              VNET_REWRITE_FOR_SW_INTERFACE_ADDRESS_BROADCAST));
 395 }
 396
 397 static ethernet_arp_ip4_entry_t *
 398 arp_entry_find (ethernet_arp_interface_t * eai, const ip4_address_t * addr)
 399 {
 400   ethernet_arp_main_t *am = &ethernet_arp_main;
 401   ethernet_arp_ip4_entry_t *e = NULL;
 402   uword *p;
 403
 404   if (NULL != eai->arp_entries)
 405     {
 406       p = hash_get (eai->arp_entries, addr->as_u32);
 407       if (!p)
 408         return (NULL);
 409
 410       e = pool_elt_at_index (am->ip4_entry_pool, p[0]);
 411     }
 412
 413   return (e);
 414 }
 415
 416 static adj_walk_rc_t
 417 arp_mk_complete_walk (adj_index_t ai, void *ctx)
 418 {
 419   ethernet_arp_ip4_entry_t *e = ctx;
 420
 421   arp_mk_complete (ai, e);
 422
 423   return (ADJ_WALK_RC_CONTINUE);
 424 }
 425
 426 static adj_walk_rc_t
 427 arp_mk_incomplete_walk (adj_index_t ai, void *ctx)
 428 {
 429   arp_mk_incomplete (ai);
 430
 431   return (ADJ_WALK_RC_CONTINUE);
 432 }
 433
 434 void
 435 arp_update_adjacency (vnet_main_t * vnm, u32 sw_if_index, u32 ai)
 436 {
 437   ethernet_arp_main_t *am = &ethernet_arp_main;
 438   ethernet_arp_interface_t *arp_int;
 439   ethernet_arp_ip4_entry_t *e;
 440   ip_adjacency_t *adj;
 441
 442   adj = adj_get (ai);
 443
 444   vec_validate (am->ethernet_arp_by_sw_if_index, sw_if_index);
 445   arp_int = &am->ethernet_arp_by_sw_if_index[sw_if_index];
 446   e = arp_entry_find (arp_int, &adj->sub_type.nbr.next_hop.ip4);
 447
 448   switch (adj->lookup_next_index)
 449     {
 450     case IP_LOOKUP_NEXT_ARP:
 451     case IP_LOOKUP_NEXT_GLEAN:
 452       if (NULL != e)
 453         {
 454           adj_nbr_walk_nh4 (sw_if_index,
 455                             &e->ip4_address, arp_mk_complete_walk, e);
 456         }
 457       else
 458         {
 459           /*
 460            * no matching ARP entry.
 461            * construct the rewrite required to for an ARP packet, and stick
 462            * that in the adj's pipe to smoke.
 463            */
 464           adj_nbr_update_rewrite
 465             (ai,
 466              ADJ_NBR_REWRITE_FLAG_INCOMPLETE,
 467              ethernet_build_rewrite
 468              (vnm,
 469               sw_if_index,
 470               VNET_LINK_ARP,
 471               VNET_REWRITE_FOR_SW_INTERFACE_ADDRESS_BROADCAST));
 472
 473           /*
 474            * since the FIB has added this adj for a route, it makes sense it
 475            * may want to forward traffic sometime soon. Let's send a
 476            * speculative ARP. just one. If we were to do periodically that
 477            * wouldn't be bad either, but that's more code than i'm prepared to
 478            * write at this time for relatively little reward.
 479            */
 480           arp_nbr_probe (adj);
 481         }
 482       break;
 483     case IP_LOOKUP_NEXT_MCAST:
 484       {
 485         /*
 486          * Construct a partial rewrite from the known ethernet mcast dest MAC
 487          */
 488         u8 *rewrite;
 489         u8 offset;
 490
 491         rewrite = ethernet_build_rewrite (vnm,
 492                                           sw_if_index,
 493                                           adj->ia_link,
 494                                           ethernet_ip4_mcast_dst_addr ());
 495         offset = vec_len (rewrite) - 2;
 496
 497         /*
 498          * Complete the remaining fields of the adj's rewrite to direct the
 499          * complete of the rewrite at switch time by copying in the IP
 500          * dst address's bytes.
 501          * Ofset is 2 bytes into the MAC desintation address. And we copy 23 bits
 502          * from the address.
 503          */
 504         adj_mcast_update_rewrite (ai, rewrite, offset, 0x007fffff);
 505
 506         break;
 507       }
 508     case IP_LOOKUP_NEXT_DROP:
 509     case IP_LOOKUP_NEXT_PUNT:
 510     case IP_LOOKUP_NEXT_LOCAL:
 511     case IP_LOOKUP_NEXT_REWRITE:
 512     case IP_LOOKUP_NEXT_MCAST_MIDCHAIN:
 513     case IP_LOOKUP_NEXT_MIDCHAIN:
 514     case IP_LOOKUP_NEXT_ICMP_ERROR:
 515     case IP_LOOKUP_N_NEXT:
 516       ASSERT (0);
 517       break;
 518     }
 519 }
 520
 521 int
 522 vnet_arp_set_ip4_over_ethernet_internal (vnet_main_t * vnm,
 523                                          vnet_arp_set_ip4_over_ethernet_rpc_args_t
 524                                          * args)
 525 {
 526   ethernet_arp_ip4_entry_t *e = 0;
 527   ethernet_arp_main_t *am = &ethernet_arp_main;
 528   ethernet_arp_ip4_over_ethernet_address_t *a = &args->a;
 529   vlib_main_t *vm = vlib_get_main ();
 530   int make_new_arp_cache_entry = 1;
 531   uword *p;
 532   pending_resolution_t *pr, *mc;
 533   ethernet_arp_interface_t *arp_int;
 534   int is_static = args->is_static;
 535   u32 sw_if_index = args->sw_if_index;
 536   int is_no_fib_entry = args->is_no_fib_entry;
 537
 538   vec_validate (am->ethernet_arp_by_sw_if_index, sw_if_index);
 539
 540   arp_int = &am->ethernet_arp_by_sw_if_index[sw_if_index];
 541
 542   if (NULL != arp_int->arp_entries)
 543     {
 544       p = hash_get (arp_int->arp_entries, a->ip4.as_u32);
 545       if (p)
 546         {
 547           e = pool_elt_at_index (am->ip4_entry_pool, p[0]);
 548
 549           /* Refuse to over-write static arp. */
 550           if (!is_static && (e->flags & ETHERNET_ARP_IP4_ENTRY_FLAG_STATIC))
 551             return -2;
 552           make_new_arp_cache_entry = 0;
 553         }
 554     }
 555
 556   if (make_new_arp_cache_entry)
 557     {
 558       pool_get (am->ip4_entry_pool, e);
 559
 560       if (NULL == arp_int->arp_entries)
 561         {
 562           arp_int->arp_entries = hash_create (0, sizeof (u32));
 563         }
 564
 565       hash_set (arp_int->arp_entries, a->ip4.as_u32, e - am->ip4_entry_pool);
 566
 567       e->sw_if_index = sw_if_index;
 568       e->ip4_address = a->ip4;
 569       e->fib_entry_index = FIB_NODE_INDEX_INVALID;
 570       clib_memcpy (e->ethernet_address,
 571                    a->ethernet, sizeof (e->ethernet_address));
 572
 573       if (!is_no_fib_entry)
 574         {
 575           fib_prefix_t pfx = {
 576             .fp_len = 32,
 577             .fp_proto = FIB_PROTOCOL_IP4,
 578             .fp_addr.ip4 = a->ip4,
 579           };
 580           u32 fib_index;
 581
 582           fib_index =
 583             ip4_fib_table_get_index_for_sw_if_index (e->sw_if_index);
 584           e->fib_entry_index =
 585             fib_table_entry_path_add (fib_index, &pfx, FIB_SOURCE_ADJ,
 586                                       FIB_ENTRY_FLAG_ATTACHED,
 587                                       FIB_PROTOCOL_IP4, &pfx.fp_addr,
 588                                       e->sw_if_index, ~0, 1, NULL,
 589                                       FIB_ROUTE_PATH_FLAG_NONE);
 590         }
 591       else
 592         {
 593           e->flags |= ETHERNET_ARP_IP4_ENTRY_FLAG_NO_FIB_ENTRY;
 594         }
 595     }
 596   else
 597     {
 598       /*
 599        * prevent a DoS attack from the data-plane that
 600        * spams us with no-op updates to the MAC address
 601        */
 602       if (0 == memcmp (e->ethernet_address,
 603                        a->ethernet, sizeof (e->ethernet_address)))
 604         return -1;
 605
 606       /* Update time stamp and ethernet address. */
 607       clib_memcpy (e->ethernet_address, a->ethernet,
 608                    sizeof (e->ethernet_address));
 609     }
 610
 611   e->cpu_time_last_updated = clib_cpu_time_now ();
 612   if (is_static)
 613     e->flags |= ETHERNET_ARP_IP4_ENTRY_FLAG_STATIC;
 614   else
 615     e->flags |= ETHERNET_ARP_IP4_ENTRY_FLAG_DYNAMIC;
 616
 617   adj_nbr_walk_nh4 (sw_if_index, &e->ip4_address, arp_mk_complete_walk, e);
 618
 619   /* Customer(s) waiting for this address to be resolved? */
 620   p = hash_get (am->pending_resolutions_by_address, a->ip4.as_u32);
 621   if (p)
 622     {
 623       u32 next_index;
 624       next_index = p[0];
 625
 626       while (next_index != (u32) ~ 0)
 627         {
 628           pr = pool_elt_at_index (am->pending_resolutions, next_index);
 629           vlib_process_signal_event (vm, pr->node_index,
 630                                      pr->type_opaque, pr->data);
 631           next_index = pr->next_index;
 632           pool_put (am->pending_resolutions, pr);
 633         }
 634
 635       hash_unset (am->pending_resolutions_by_address, a->ip4.as_u32);
 636     }
 637
 638   /* Customer(s) requesting ARP event for this address? */
 639   p = hash_get (am->mac_changes_by_address, a->ip4.as_u32);
 640   if (p)
 641     {
 642       u32 next_index;
 643       next_index = p[0];
 644
 645       while (next_index != (u32) ~ 0)
 646         {
 647           int (*fp) (u32, u8 *, u32, u32);
 648           int rv = 1;
 649           mc = pool_elt_at_index (am->mac_changes, next_index);
 650           fp = mc->data_callback;
 651
 652           /* Call the user's data callback, return 1 to suppress dup events */
 653           if (fp)
 654             rv = (*fp) (mc->data, a->ethernet, sw_if_index, 0);
 655
 656           /*
 657            * Signal the resolver process, as long as the user
 658            * says they want to be notified
 659            */
 660           if (rv == 0)
 661             vlib_process_signal_event (vm, mc->node_index,
 662                                        mc->type_opaque, mc->data);
 663           next_index = mc->next_index;
 664         }
 665     }
 666
 667   return 0;
 668 }
 669
 670 void
 671 vnet_register_ip4_arp_resolution_event (vnet_main_t * vnm,
 672                                         void *address_arg,
 673                                         uword node_index,
 674                                         uword type_opaque, uword data)
 675 {
 676   ethernet_arp_main_t *am = &ethernet_arp_main;
 677   ip4_address_t *address = address_arg;
 678   uword *p;
 679   pending_resolution_t *pr;
 680
 681   pool_get (am->pending_resolutions, pr);
 682
 683   pr->next_index = ~0;
 684   pr->node_index = node_index;
 685   pr->type_opaque = type_opaque;
 686   pr->data = data;
 687   pr->data_callback = 0;
 688
 689   p = hash_get (am->pending_resolutions_by_address, address->as_u32);
 690   if (p)
 691     {
 692       /* Insert new resolution at the head of the list */
 693       pr->next_index = p[0];
 694       hash_unset (am->pending_resolutions_by_address, address->as_u32);
 695     }
 696
 697   hash_set (am->pending_resolutions_by_address, address->as_u32,
 698             pr - am->pending_resolutions);
 699 }
 700
 701 int
 702 vnet_add_del_ip4_arp_change_event (vnet_main_t * vnm,
 703                                    void *data_callback,
 704                                    u32 pid,
 705                                    void *address_arg,
 706                                    uword node_index,
 707                                    uword type_opaque, uword data, int is_add)
 708 {
 709   ethernet_arp_main_t *am = &ethernet_arp_main;
 710   ip4_address_t *address = address_arg;
 711
 712   /* Try to find an existing entry */
 713   u32 *first = (u32 *) hash_get (am->mac_changes_by_address, address->as_u32);
 714   u32 *p = first;
 715   pending_resolution_t *mc;
 716   while (p && *p != ~0)
 717     {
 718       mc = pool_elt_at_index (am->mac_changes, *p);
 719       if (mc->node_index == node_index && mc->type_opaque == type_opaque
 720           && mc->pid == pid)
 721         break;
 722       p = &mc->next_index;
 723     }
 724
 725   int found = p && *p != ~0;
 726   if (is_add)
 727     {
 728       if (found)
 729         return VNET_API_ERROR_ENTRY_ALREADY_EXISTS;
 730
 731       pool_get (am->mac_changes, mc);
 732       *mc = (pending_resolution_t)
 733       {
 734       .next_index = ~0,.node_index = node_index,.type_opaque =
 735           type_opaque,.data = data,.data_callback = data_callback,.pid =
 736           pid,};
 737
 738       /* Insert new resolution at the end of the list */
 739       u32 new_idx = mc - am->mac_changes;
 740       if (p)
 741         p[0] = new_idx;
 742       else
 743         hash_set (am->mac_changes_by_address, address->as_u32, new_idx);
 744     }
 745   else
 746     {
 747       if (!found)
 748         return VNET_API_ERROR_NO_SUCH_ENTRY;
 749
 750       /* Clients may need to clean up pool entries, too */
 751       void (*fp) (u32, u8 *) = data_callback;
 752       if (fp)
 753         (*fp) (mc->data, 0 /* no new mac addrs */ );
 754
 755       /* Remove the entry from the list and delete the entry */
 756       *p = mc->next_index;
 757       pool_put (am->mac_changes, mc);
 758
 759       /* Remove from hash if we deleted the last entry */
 760       if (*p == ~0 && p == first)
 761         hash_unset (am->mac_changes_by_address, address->as_u32);
 762     }
 763   return 0;
 764 }
 765
 766 /* Either we drop the packet or we send a reply to the sender. */
 767 typedef enum
 768 {
 769   ARP_INPUT_NEXT_DROP,
 770   ARP_INPUT_NEXT_REPLY_TX,
 771   ARP_INPUT_N_NEXT,
 772 } arp_input_next_t;
 773
 774 #define foreach_ethernet_arp_error                                      \
 775   _ (replies_sent, "ARP replies sent")                                  \
 776   _ (l2_type_not_ethernet, "L2 type not ethernet")                      \
 777   _ (l3_type_not_ip4, "L3 type not IP4")                                \
 778   _ (l3_src_address_not_local, "IP4 source address not local to subnet") \
 779   _ (l3_dst_address_not_local, "IP4 destination address not local to subnet") \
 780   _ (l3_src_address_is_local, "IP4 source address matches local interface") \
 781   _ (l3_src_address_learned, "ARP request IP4 source address learned")  \
 782   _ (replies_received, "ARP replies received")                          \
 783   _ (opcode_not_request, "ARP opcode not request")                      \
 784   _ (proxy_arp_replies_sent, "Proxy ARP replies sent")                  \
 785   _ (l2_address_mismatch, "ARP hw addr does not match L2 frame src addr") \
 786   _ (missing_interface_address, "ARP missing interface address") \
 787   _ (gratuitous_arp, "ARP probe or announcement dropped") \
 788   _ (interface_no_table, "Interface is not mapped to an IP table") \
 789   _ (interface_not_ip_enabled, "Interface is not IP enabled") \
 790
 791 typedef enum
 792 {
 793 #define _(sym,string) ETHERNET_ARP_ERROR_##sym,
 794   foreach_ethernet_arp_error
 795 #undef _
 796     ETHERNET_ARP_N_ERROR,
 797 } ethernet_arp_input_error_t;
 798
 799
 800 static void
 801 unset_random_arp_entry (void)
 802 {
 803   ethernet_arp_main_t *am = &ethernet_arp_main;
 804   ethernet_arp_ip4_entry_t *e;
 805   vnet_main_t *vnm = vnet_get_main ();
 806   ethernet_arp_ip4_over_ethernet_address_t delme;
 807   u32 index;
 808
 809   index = pool_next_index (am->ip4_entry_pool, am->arp_delete_rotor);
 810   am->arp_delete_rotor = index;
 811
 812   /* Try again from elt 0, could happen if an intfc goes down */
 813   if (index == ~0)
 814     {
 815       index = pool_next_index (am->ip4_entry_pool, am->arp_delete_rotor);
 816       am->arp_delete_rotor = index;
 817     }
 818
 819   /* Nothing left in the pool */
 820   if (index == ~0)
 821     return;
 822
 823   e = pool_elt_at_index (am->ip4_entry_pool, index);
 824
 825   clib_memcpy (&delme.ethernet, e->ethernet_address, 6);
 826   delme.ip4.as_u32 = e->ip4_address.as_u32;
 827
 828   vnet_arp_unset_ip4_over_ethernet (vnm, e->sw_if_index, &delme);
 829 }
 830
 831 static int
 832 arp_unnumbered (vlib_buffer_t * p0,
 833                 u32 pi0,
 834                 ethernet_header_t * eth0,
 835                 u32 input_sw_if_index, u32 conn_sw_if_index)
 836 {
 837   vlib_main_t *vm = vlib_get_main ();
 838   vnet_main_t *vnm = vnet_get_main ();
 839   vnet_interface_main_t *vim = &vnm->interface_main;
 840   vnet_sw_interface_t *si;
 841   vnet_hw_interface_t *hi;
 842   u32 *buffers = 0;
 843   vlib_buffer_t *b0;
 844   int i;
 845   u8 dst_mac_address[6];
 846   i16 header_size;
 847   ethernet_arp_header_t *arp0;
 848
 849   /* verify that the input interface is unnumbered to the connected.
 850    * the connected interface is the interface on which the subnet is
 851    * configured */
 852   si = &vim->sw_interfaces[input_sw_if_index];
 853
 854   if (!(si->flags & VNET_SW_INTERFACE_FLAG_UNNUMBERED &&
 855         (si->unnumbered_sw_if_index == conn_sw_if_index)))
 856     {
 857       /* the input interface is not unnumbered to the interface on which
 858        * the sub-net is configured that covers the ARP request.
 859        * So this is not the case for unnumbered.. */
 860       return 0;
 861     }
 862
 863   /* Save the dst mac address */
 864   clib_memcpy (dst_mac_address, eth0->dst_address, sizeof (dst_mac_address));
 865
 866   vec_insert (buffers, 1, 0);
 867   buffers[0] = pi0;
 868
 869   for (i = 0; i < vec_len (buffers); i++)
 870     {
 871       b0 = vlib_get_buffer (vm, buffers[i]);
 872       arp0 = vlib_buffer_get_current (b0);
 873
 874       hi = vnet_get_sup_hw_interface (vnm, input_sw_if_index);
 875       si = vnet_get_sw_interface (vnm, input_sw_if_index);
 876
 877       /* For decoration, most likely */
 878       vnet_buffer (b0)->sw_if_index[VLIB_TX] = hi->sw_if_index;
 879
 880       /* Fix ARP pkt src address */
 881       clib_memcpy (arp0->ip4_over_ethernet[0].ethernet, hi->hw_address, 6);
 882
 883       /* Build L2 encaps for this swif */
 884       header_size = sizeof (ethernet_header_t);
 885       if (si->sub.eth.flags.one_tag)
 886         header_size += 4;
 887       else if (si->sub.eth.flags.two_tags)
 888         header_size += 8;
 889
 890       vlib_buffer_advance (b0, -header_size);
 891       eth0 = vlib_buffer_get_current (b0);
 892
 893       if (si->sub.eth.flags.one_tag)
 894         {
 895           ethernet_vlan_header_t *outer = (void *) (eth0 + 1);
 896
 897           eth0->type = si->sub.eth.flags.dot1ad ?
 898             clib_host_to_net_u16 (ETHERNET_TYPE_DOT1AD) :
 899             clib_host_to_net_u16 (ETHERNET_TYPE_VLAN);
 900           outer->priority_cfi_and_id =
 901             clib_host_to_net_u16 (si->sub.eth.outer_vlan_id);
 902           outer->type = clib_host_to_net_u16 (ETHERNET_TYPE_ARP);
 903
 904         }
 905       else if (si->sub.eth.flags.two_tags)
 906         {
 907           ethernet_vlan_header_t *outer = (void *) (eth0 + 1);
 908           ethernet_vlan_header_t *inner = (void *) (outer + 1);
 909
 910           eth0->type = si->sub.eth.flags.dot1ad ?
 911             clib_host_to_net_u16 (ETHERNET_TYPE_DOT1AD) :
 912             clib_host_to_net_u16 (ETHERNET_TYPE_VLAN);
 913           outer->priority_cfi_and_id =
 914             clib_host_to_net_u16 (si->sub.eth.outer_vlan_id);
 915           outer->type = clib_host_to_net_u16 (ETHERNET_TYPE_VLAN);
 916           inner->priority_cfi_and_id =
 917             clib_host_to_net_u16 (si->sub.eth.inner_vlan_id);
 918           inner->type = clib_host_to_net_u16 (ETHERNET_TYPE_ARP);
 919
 920         }
 921       else
 922         {
 923           eth0->type = clib_host_to_net_u16 (ETHERNET_TYPE_ARP);
 924         }
 925
 926       /* Restore the original dst address, set src address */
 927       clib_memcpy (eth0->dst_address, dst_mac_address,
 928                    sizeof (eth0->dst_address));
 929       clib_memcpy (eth0->src_address, hi->hw_address,
 930                    sizeof (eth0->src_address));
 931
 932       /* Transmit replicas */
 933       if (i > 0)
 934         {
 935           vlib_frame_t *f =
 936             vlib_get_frame_to_node (vm, hi->output_node_index);
 937           u32 *to_next = vlib_frame_vector_args (f);
 938           to_next[0] = buffers[i];
 939           f->n_vectors = 1;
 940           vlib_put_frame_to_node (vm, hi->output_node_index, f);
 941         }
 942     }
 943
 944   /* The regular path outputs the original pkt.. */
 945   vnet_buffer (p0)->sw_if_index[VLIB_TX] = input_sw_if_index;
 946
 947   vec_free (buffers);
 948
 949   return !0;
 950 }
 951
 952 static u32
 953 arp_learn (vnet_main_t * vnm,
 954            ethernet_arp_main_t * am, u32 sw_if_index, void *addr)
 955 {
 956   if (am->limit_arp_cache_size &&
 957       pool_elts (am->ip4_entry_pool) >= am->limit_arp_cache_size)
 958     unset_random_arp_entry ();
 959
 960   vnet_arp_set_ip4_over_ethernet (vnm, sw_if_index, addr, 0, 0);
 961   return (ETHERNET_ARP_ERROR_l3_src_address_learned);
 962 }
 963
 964 static uword
 965 arp_input (vlib_main_t * vm, vlib_node_runtime_t * node, vlib_frame_t * frame)
 966 {
 967   ethernet_arp_main_t *am = &ethernet_arp_main;
 968   vnet_main_t *vnm = vnet_get_main ();
 969   ip4_main_t *im4 = &ip4_main;
 970   u32 n_left_from, next_index, *from, *to_next;
 971   u32 n_replies_sent = 0, n_proxy_arp_replies_sent = 0;
 972
 973   from = vlib_frame_vector_args (frame);
 974   n_left_from = frame->n_vectors;
 975   next_index = node->cached_next_index;
 976
 977   if (node->flags & VLIB_NODE_FLAG_TRACE)
 978     vlib_trace_frame_buffers_only (vm, node, from, frame->n_vectors,
 979                                    /* stride */ 1,
 980                                    sizeof (ethernet_arp_input_trace_t));
 981
 982   while (n_left_from > 0)
 983     {
 984       u32 n_left_to_next;
 985
 986       vlib_get_next_frame (vm, node, next_index, to_next, n_left_to_next);
 987
 988       while (n_left_from > 0 && n_left_to_next > 0)
 989         {
 990           vlib_buffer_t *p0;
 991           vnet_hw_interface_t *hw_if0;
 992           ethernet_arp_header_t *arp0;
 993           ethernet_header_t *eth0;
 994           ip4_address_t *if_addr0, proxy_src;
 995           u32 pi0, error0, next0, sw_if_index0, conn_sw_if_index0, fib_index0;
 996           u8 is_request0, dst_is_local0, is_unnum0, is_vrrp_reply0;
 997           ethernet_proxy_arp_t *pa;
 998           fib_node_index_t dst_fei, src_fei;
 999           fib_prefix_t pfx0;
1000           fib_entry_flag_t src_flags, dst_flags;
1001
1002           pi0 = from[0];
1003           to_next[0] = pi0;
1004           from += 1;
1005           to_next += 1;
1006           n_left_from -= 1;
1007           n_left_to_next -= 1;
1008           pa = 0;
1009
1010           p0 = vlib_get_buffer (vm, pi0);
1011           arp0 = vlib_buffer_get_current (p0);
1012
1013           is_request0 = arp0->opcode
1014             == clib_host_to_net_u16 (ETHERNET_ARP_OPCODE_request);
1015
1016           error0 = ETHERNET_ARP_ERROR_replies_sent;
1017
1018           error0 =
1019             (arp0->l2_type !=
1020              clib_net_to_host_u16 (ETHERNET_ARP_HARDWARE_TYPE_ethernet) ?
1021              ETHERNET_ARP_ERROR_l2_type_not_ethernet : error0);
1022           error0 =
1023             (arp0->l3_type !=
1024              clib_net_to_host_u16 (ETHERNET_TYPE_IP4) ?
1025              ETHERNET_ARP_ERROR_l3_type_not_ip4 : error0);
1026
1027           sw_if_index0 = vnet_buffer (p0)->sw_if_index[VLIB_RX];
1028
1029           /* not playing the ARP game if the interface is not IPv4 enabled */
1030           error0 =
1031             (im4->ip_enabled_by_sw_if_index[sw_if_index0] == 0 ?
1032              ETHERNET_ARP_ERROR_interface_not_ip_enabled : error0);
1033
1034           if (error0)
1035             goto drop2;
1036
1037           /* Check that IP address is local and matches incoming interface. */
1038           fib_index0 = ip4_fib_table_get_index_for_sw_if_index (sw_if_index0);
1039           if (~0 == fib_index0)
1040             {
1041               error0 = ETHERNET_ARP_ERROR_interface_no_table;
1042               goto drop2;
1043
1044             }
1045           dst_fei = ip4_fib_table_lookup (ip4_fib_get (fib_index0),
1046                                           &arp0->ip4_over_ethernet[1].ip4,
1047                                           32);
1048           dst_flags = fib_entry_get_flags (dst_fei);
1049
1050           src_fei = ip4_fib_table_lookup (ip4_fib_get (fib_index0),
1051                                           &arp0->ip4_over_ethernet[0].ip4,
1052                                           32);
1053           src_flags = fib_entry_get_flags (src_fei);
1054
1055           conn_sw_if_index0 = fib_entry_get_resolving_interface (dst_fei);
1056
1057           if (!(FIB_ENTRY_FLAG_CONNECTED & dst_flags))
1058             {
1059               error0 = ETHERNET_ARP_ERROR_l3_dst_address_not_local;
1060               goto drop1;
1061             }
1062
1063           /* Honor unnumbered interface, if any */
1064           is_unnum0 = sw_if_index0 != conn_sw_if_index0;
1065
1066           /* Source must also be local to subnet of matching interface address. */
1067           if (!((FIB_ENTRY_FLAG_ATTACHED & src_flags) ||
1068                 (FIB_ENTRY_FLAG_CONNECTED & src_flags)))
1069             {
1070               /*
1071                * The packet was sent from an address that is not connected nor attached
1072                * i.e. it is not from an address that is covered by a link's sub-net,
1073                * nor is it a already learned host resp.
1074                */
1075               error0 = ETHERNET_ARP_ERROR_l3_src_address_not_local;
1076               goto drop2;
1077             }
1078           if (sw_if_index0 != fib_entry_get_resolving_interface (src_fei))
1079             {
1080               /*
1081                * The interface the ARP was received on is not the interface
1082                * on which the covering prefix is configured. Maybe this is a case
1083                * for unnumbered.
1084                */
1085               is_unnum0 = 1;
1086             }
1087
1088           /* Reject requests/replies with our local interface address. */
1089           if (FIB_ENTRY_FLAG_LOCAL & src_flags)
1090             {
1091               error0 = ETHERNET_ARP_ERROR_l3_src_address_is_local;
1092               goto drop2;
1093             }
1094
1095           dst_is_local0 = (FIB_ENTRY_FLAG_LOCAL & dst_flags);
1096           fib_entry_get_prefix (dst_fei, &pfx0);
1097           if_addr0 = &pfx0.fp_addr.ip4;
1098
1099           /* Fill in ethernet header. */
1100           eth0 = ethernet_buffer_get_header (p0);
1101
1102           is_vrrp_reply0 =
1103             ((arp0->opcode ==
1104               clib_host_to_net_u16 (ETHERNET_ARP_OPCODE_reply))
1105              &&
1106              (!memcmp
1107               (arp0->ip4_over_ethernet[0].ethernet, vrrp_prefix,
1108                sizeof (vrrp_prefix))));
1109
1110           /* Trash ARP packets whose ARP-level source addresses do not
1111              match their L2-frame-level source addresses, unless it's
1112              a reply from a VRRP virtual router */
1113           if (memcmp (eth0->src_address, arp0->ip4_over_ethernet[0].ethernet,
1114                       sizeof (eth0->src_address)) && !is_vrrp_reply0)
1115             {
1116               error0 = ETHERNET_ARP_ERROR_l2_address_mismatch;
1117               goto drop2;
1118             }
1119
1120           /* Learn or update sender's mapping only for replies to addresses
1121            * that are local to the subnet */
1122           if (arp0->opcode ==
1123               clib_host_to_net_u16 (ETHERNET_ARP_OPCODE_reply) &&
1124               dst_is_local0)
1125             {
1126               error0 = arp_learn (vnm, am, sw_if_index0,
1127                                   &arp0->ip4_over_ethernet[0]);
1128               goto drop1;
1129             }
1130
1131           /* Send a reply. */
1132         send_reply:
1133           vnet_buffer (p0)->sw_if_index[VLIB_TX] = sw_if_index0;
1134           hw_if0 = vnet_get_sup_hw_interface (vnm, sw_if_index0);
1135
1136           /* Send reply back through input interface */
1137           vnet_buffer (p0)->sw_if_index[VLIB_TX] = sw_if_index0;
1138           next0 = ARP_INPUT_NEXT_REPLY_TX;
1139
1140           arp0->opcode = clib_host_to_net_u16 (ETHERNET_ARP_OPCODE_reply);
1141
1142           arp0->ip4_over_ethernet[1] = arp0->ip4_over_ethernet[0];
1143
1144           clib_memcpy (arp0->ip4_over_ethernet[0].ethernet,
1145                        hw_if0->hw_address, 6);
1146           clib_mem_unaligned (&arp0->ip4_over_ethernet[0].ip4.data_u32, u32) =
1147             if_addr0->data_u32;
1148
1149           /* Hardware must be ethernet-like. */
1150           ASSERT (vec_len (hw_if0->hw_address) == 6);
1151
1152           clib_memcpy (eth0->dst_address, eth0->src_address, 6);
1153           clib_memcpy (eth0->src_address, hw_if0->hw_address, 6);
1154
1155           /* Figure out how much to rewind current data from adjacency. */
1156           /* get the adj from the destination's covering connected */
1157           if (NULL == pa)
1158             {
1159               if (is_unnum0)
1160                 {
1161                   if (!arp_unnumbered (p0, pi0, eth0,
1162                                        sw_if_index0, conn_sw_if_index0))
1163                     goto drop2;
1164                 }
1165               else
1166                 {
1167                   ip_adjacency_t *adj0 = NULL;
1168                   adj_index_t ai;
1169
1170                   if (FIB_ENTRY_FLAG_ATTACHED & src_flags)
1171                     {
1172                       /*
1173                        * If the source is attached use the adj from that source.
1174                        */
1175                       ai = fib_entry_get_adj (src_fei);
1176                       if (ADJ_INDEX_INVALID != ai)
1177                         {
1178                           adj0 = adj_get (ai);
1179                         }
1180                     }
1181                   else
1182                     {
1183                       /*
1184                        * Get the glean adj from the cover. This is presumably interface
1185                        * sourced, and therefre needs to be a glean adj.
1186                        */
1187                       ai = fib_entry_get_adj_for_source
1188                         (ip4_fib_table_lookup
1189                          (ip4_fib_get (fib_index0),
1190                           &arp0->ip4_over_ethernet[1].ip4, 31),
1191                          FIB_SOURCE_INTERFACE);
1192
1193                       if (ADJ_INDEX_INVALID != ai)
1194                         {
1195                           adj0 = adj_get (ai);
1196
1197                           if (adj0->lookup_next_index == IP_LOOKUP_NEXT_GLEAN)
1198                             {
1199                               adj0 = NULL;
1200                             }
1201                         }
1202                     }
1203                   if (NULL != adj0)
1204                     {
1205                       vlib_buffer_advance (p0,
1206                                            -adj0->rewrite_header.data_bytes);
1207                     }
1208                   else
1209                     {
1210                       error0 = ETHERNET_ARP_ERROR_missing_interface_address;
1211                       goto drop2;
1212                     }
1213                 }
1214             }
1215
1216           /* We are going to reply to this request, so learn the sender */
1217           error0 = arp_learn (vnm, am, sw_if_index0,
1218                               &arp0->ip4_over_ethernet[1]);
1219
1220           vlib_validate_buffer_enqueue_x1 (vm, node, next_index, to_next,
1221                                            n_left_to_next, pi0, next0);
1222
1223           n_replies_sent += 1;
1224           continue;
1225
1226         drop1:
1227           if (0 == arp0->ip4_over_ethernet[0].ip4.as_u32 ||
1228               (arp0->ip4_over_ethernet[0].ip4.as_u32 ==
1229                arp0->ip4_over_ethernet[1].ip4.as_u32))
1230             {
1231               error0 = ETHERNET_ARP_ERROR_gratuitous_arp;
1232               goto drop2;
1233             }
1234           /* See if proxy arp is configured for the address */
1235           if (is_request0)
1236             {
1237               vnet_sw_interface_t *si;
1238               u32 this_addr = clib_net_to_host_u32
1239                 (arp0->ip4_over_ethernet[1].ip4.as_u32);
1240               u32 fib_index0;
1241
1242               si = vnet_get_sw_interface (vnm, sw_if_index0);
1243
1244               if (!(si->flags & VNET_SW_INTERFACE_FLAG_PROXY_ARP))
1245                 goto drop2;
1246
1247               fib_index0 = vec_elt (im4->fib_index_by_sw_if_index,
1248                                     sw_if_index0);
1249
1250               vec_foreach (pa, am->proxy_arps)
1251               {
1252                 u32 lo_addr = clib_net_to_host_u32 (pa->lo_addr);
1253                 u32 hi_addr = clib_net_to_host_u32 (pa->hi_addr);
1254
1255                 /* an ARP request hit in the proxy-arp table? */
1256                 if ((this_addr >= lo_addr && this_addr <= hi_addr) &&
1257                     (fib_index0 == pa->fib_index))
1258                   {
1259                     eth0 = ethernet_buffer_get_header (p0);
1260                     proxy_src.as_u32 =
1261                       arp0->ip4_over_ethernet[1].ip4.data_u32;
1262
1263                     /*
1264                      * Rewind buffer, direct code above not to
1265                      * think too hard about it.
1266                      */
1267                     if_addr0 = &proxy_src;
1268                     is_unnum0 = 0;
1269                     i32 ethernet_start =
1270                       vnet_buffer (p0)->ethernet.start_of_ethernet_header;
1271                     i32 rewind = p0->current_data - ethernet_start;
1272                     vlib_buffer_advance (p0, -rewind);
1273                     n_proxy_arp_replies_sent++;
1274                     goto send_reply;
1275                   }
1276               }
1277             }
1278
1279         drop2:
1280
1281           next0 = ARP_INPUT_NEXT_DROP;
1282           p0->error = node->errors[error0];
1283
1284           vlib_validate_buffer_enqueue_x1 (vm, node, next_index, to_next,
1285                                            n_left_to_next, pi0, next0);
1286         }
1287
1288       vlib_put_next_frame (vm, node, next_index, n_left_to_next);
1289     }
1290
1291   vlib_error_count (vm, node->node_index,
1292                     ETHERNET_ARP_ERROR_replies_sent,
1293                     n_replies_sent - n_proxy_arp_replies_sent);
1294
1295   vlib_error_count (vm, node->node_index,
1296                     ETHERNET_ARP_ERROR_proxy_arp_replies_sent,
1297                     n_proxy_arp_replies_sent);
1298   return frame->n_vectors;
1299 }
1300
1301 static char *ethernet_arp_error_strings[] = {
1302 #define _(sym,string) string,
1303   foreach_ethernet_arp_error
1304 #undef _
1305 };
1306
1307 /* *INDENT-OFF* */
1308 VLIB_REGISTER_NODE (arp_input_node, static) =
1309 {
1310   .function = arp_input,
1311   .name = "arp-input",
1312   .vector_size = sizeof (u32),
1313   .n_errors = ETHERNET_ARP_N_ERROR,
1314   .error_strings = ethernet_arp_error_strings,
1315   .n_next_nodes = ARP_INPUT_N_NEXT,
1316   .next_nodes = {
1317     [ARP_INPUT_NEXT_DROP] = "error-drop",
1318     [ARP_INPUT_NEXT_REPLY_TX] = "interface-output",
1319   },
1320   .format_buffer = format_ethernet_arp_header,
1321   .format_trace = format_ethernet_arp_input_trace,
1322 };
1323 /* *INDENT-ON* */
1324
1325 static int
1326 ip4_arp_entry_sort (void *a1, void *a2)
1327 {
1328   ethernet_arp_ip4_entry_t *e1 = a1;
1329   ethernet_arp_ip4_entry_t *e2 = a2;
1330
1331   int cmp;
1332   vnet_main_t *vnm = vnet_get_main ();
1333
1334   cmp = vnet_sw_interface_compare (vnm, e1->sw_if_index, e2->sw_if_index);
1335   if (!cmp)
1336     cmp = ip4_address_compare (&e1->ip4_address, &e2->ip4_address);
1337   return cmp;
1338 }
1339
1340 ethernet_arp_ip4_entry_t *
1341 ip4_neighbor_entries (u32 sw_if_index)
1342 {
1343   ethernet_arp_main_t *am = &ethernet_arp_main;
1344   ethernet_arp_ip4_entry_t *n, *ns = 0;
1345
1346   /* *INDENT-OFF* */
1347   pool_foreach (n, am->ip4_entry_pool, ({
1348     if (sw_if_index != ~0 && n->sw_if_index != sw_if_index)
1349       continue;
1350     vec_add1 (ns, n[0]);
1351   }));
1352   /* *INDENT-ON* */
1353
1354   if (ns)
1355     vec_sort_with_function (ns, ip4_arp_entry_sort);
1356   return ns;
1357 }
1358
1359 static clib_error_t *
1360 show_ip4_arp (vlib_main_t * vm,
1361               unformat_input_t * input, vlib_cli_command_t * cmd)
1362 {
1363   vnet_main_t *vnm = vnet_get_main ();
1364   ethernet_arp_main_t *am = &ethernet_arp_main;
1365   ethernet_arp_ip4_entry_t *e, *es;
1366   ethernet_proxy_arp_t *pa;
1367   clib_error_t *error = 0;
1368   u32 sw_if_index;
1369
1370   /* Filter entries by interface if given. */
1371   sw_if_index = ~0;
1372   (void) unformat_user (input, unformat_vnet_sw_interface, vnm, &sw_if_index);
1373
1374   es = ip4_neighbor_entries (sw_if_index);
1375   if (es)
1376     {
1377       vlib_cli_output (vm, "%U", format_ethernet_arp_ip4_entry, vnm, 0);
1378       vec_foreach (e, es)
1379       {
1380         vlib_cli_output (vm, "%U", format_ethernet_arp_ip4_entry, vnm, e);
1381       }
1382       vec_free (es);
1383     }
1384
1385   if (vec_len (am->proxy_arps))
1386     {
1387       vlib_cli_output (vm, "Proxy arps enabled for:");
1388       vec_foreach (pa, am->proxy_arps)
1389       {
1390         vlib_cli_output (vm, "Fib_index %d   %U - %U ",
1391                          pa->fib_index,
1392                          format_ip4_address, &pa->lo_addr,
1393                          format_ip4_address, &pa->hi_addr);
1394       }
1395     }
1396
1397   return error;
1398 }
1399
1400 /*?
1401  * Display all the IPv4 ARP entries.
1402  *
1403  * @cliexpar
1404  * Example of how to display the IPv4 ARP table:
1405  * @cliexstart{show ip arp}
1406  *    Time      FIB        IP4       Flags      Ethernet              Interface
1407  *    346.3028   0       6.1.1.3            de:ad:be:ef:ba:be   GigabitEthernet2/0/0
1408  *   3077.4271   0       6.1.1.4       S    de:ad:be:ef:ff:ff   GigabitEthernet2/0/0
1409  *   2998.6409   1       6.2.2.3            de:ad:be:ef:00:01   GigabitEthernet2/0/0
1410  * Proxy arps enabled for:
1411  * Fib_index 0   6.0.0.1 - 6.0.0.11
1412  * @cliexend
1413  ?*/
1414 /* *INDENT-OFF* */
1415 VLIB_CLI_COMMAND (show_ip4_arp_command, static) = {
1416   .path = "show ip arp",
1417   .function = show_ip4_arp,
1418   .short_help = "show ip arp",
1419 };
1420 /* *INDENT-ON* */
1421
1422 typedef struct
1423 {
1424   pg_edit_t l2_type, l3_type;
1425   pg_edit_t n_l2_address_bytes, n_l3_address_bytes;
1426   pg_edit_t opcode;
1427   struct
1428   {
1429     pg_edit_t ethernet;
1430     pg_edit_t ip4;
1431   } ip4_over_ethernet[2];
1432 } pg_ethernet_arp_header_t;
1433
1434 static inline void
1435 pg_ethernet_arp_header_init (pg_ethernet_arp_header_t * p)
1436 {
1437   /* Initialize fields that are not bit fields in the IP header. */
1438 #define _(f) pg_edit_init (&p->f, ethernet_arp_header_t, f);
1439   _(l2_type);
1440   _(l3_type);
1441   _(n_l2_address_bytes);
1442   _(n_l3_address_bytes);
1443   _(opcode);
1444   _(ip4_over_ethernet[0].ethernet);
1445   _(ip4_over_ethernet[0].ip4);
1446   _(ip4_over_ethernet[1].ethernet);
1447   _(ip4_over_ethernet[1].ip4);
1448 #undef _
1449 }
1450
1451 uword
1452 unformat_pg_arp_header (unformat_input_t * input, va_list * args)
1453 {
1454   pg_stream_t *s = va_arg (*args, pg_stream_t *);
1455   pg_ethernet_arp_header_t *p;
1456   u32 group_index;
1457
1458   p = pg_create_edit_group (s, sizeof (p[0]), sizeof (ethernet_arp_header_t),
1459                             &group_index);
1460   pg_ethernet_arp_header_init (p);
1461
1462   /* Defaults. */
1463   pg_edit_set_fixed (&p->l2_type, ETHERNET_ARP_HARDWARE_TYPE_ethernet);
1464   pg_edit_set_fixed (&p->l3_type, ETHERNET_TYPE_IP4);
1465   pg_edit_set_fixed (&p->n_l2_address_bytes, 6);
1466   pg_edit_set_fixed (&p->n_l3_address_bytes, 4);
1467
1468   if (!unformat (input, "%U: %U/%U -> %U/%U",
1469                  unformat_pg_edit,
1470                  unformat_ethernet_arp_opcode_net_byte_order, &p->opcode,
1471                  unformat_pg_edit,
1472                  unformat_ethernet_address, &p->ip4_over_ethernet[0].ethernet,
1473                  unformat_pg_edit,
1474                  unformat_ip4_address, &p->ip4_over_ethernet[0].ip4,
1475                  unformat_pg_edit,
1476                  unformat_ethernet_address, &p->ip4_over_ethernet[1].ethernet,
1477                  unformat_pg_edit,
1478                  unformat_ip4_address, &p->ip4_over_ethernet[1].ip4))
1479     {
1480       /* Free up any edits we may have added. */
1481       pg_free_edit_group (s);
1482       return 0;
1483     }
1484   return 1;
1485 }
1486
1487 clib_error_t *
1488 ip4_set_arp_limit (u32 arp_limit)
1489 {
1490   ethernet_arp_main_t *am = &ethernet_arp_main;
1491
1492   am->limit_arp_cache_size = arp_limit;
1493   return 0;
1494 }
1495
1496 /**
1497  * @brief Control Plane hook to remove an ARP entry
1498  */
1499 int
1500 vnet_arp_unset_ip4_over_ethernet (vnet_main_t * vnm,
1501                                   u32 sw_if_index, void *a_arg)
1502 {
1503   ethernet_arp_ip4_over_ethernet_address_t *a = a_arg;
1504   vnet_arp_set_ip4_over_ethernet_rpc_args_t args;
1505
1506   args.sw_if_index = sw_if_index;
1507   args.flags = ETHERNET_ARP_ARGS_REMOVE;
1508   clib_memcpy (&args.a, a, sizeof (*a));
1509
1510   vl_api_rpc_call_main_thread (set_ip4_over_ethernet_rpc_callback,
1511                                (u8 *) & args, sizeof (args));
1512   return 0;
1513 }
1514
1515 /**
1516  * @brief Internally generated event to flush the ARP cache on an
1517  * interface state change event.
1518  * A flush will remove dynamic ARP entries, and for statics remove the MAC
1519  * address from the corresponding adjacencies.
1520  */
1521 static int
1522 vnet_arp_flush_ip4_over_ethernet (vnet_main_t * vnm,
1523                                   u32 sw_if_index, void *a_arg)
1524 {
1525   ethernet_arp_ip4_over_ethernet_address_t *a = a_arg;
1526   vnet_arp_set_ip4_over_ethernet_rpc_args_t args;
1527
1528   args.sw_if_index = sw_if_index;
1529   args.flags = ETHERNET_ARP_ARGS_FLUSH;
1530   clib_memcpy (&args.a, a, sizeof (*a));
1531
1532   vl_api_rpc_call_main_thread (set_ip4_over_ethernet_rpc_callback,
1533                                (u8 *) & args, sizeof (args));
1534   return 0;
1535 }
1536
1537 /**
1538  * @brief Internally generated event to populate the ARP cache on an
1539  * interface state change event.
1540  * For static entries this will re-source the adjacencies.
1541  *
1542  * @param sw_if_index The interface on which the ARP entires are acted
1543  */
1544 static int
1545 vnet_arp_populate_ip4_over_ethernet (vnet_main_t * vnm,
1546                                      u32 sw_if_index, void *a_arg)
1547 {
1548   ethernet_arp_ip4_over_ethernet_address_t *a = a_arg;
1549   vnet_arp_set_ip4_over_ethernet_rpc_args_t args;
1550
1551   args.sw_if_index = sw_if_index;
1552   args.flags = ETHERNET_ARP_ARGS_POPULATE;
1553   clib_memcpy (&args.a, a, sizeof (*a));
1554
1555   vl_api_rpc_call_main_thread (set_ip4_over_ethernet_rpc_callback,
1556                                (u8 *) & args, sizeof (args));
1557   return 0;
1558 }
1559
1560 /*
1561  * arp_add_del_interface_address
1562  *
1563  * callback when an interface address is added or deleted
1564  */
1565 static void
1566 arp_add_del_interface_address (ip4_main_t * im,
1567                                uword opaque,
1568                                u32 sw_if_index,
1569                                ip4_address_t * address,
1570                                u32 address_length,
1571                                u32 if_address_index, u32 is_del)
1572 {
1573   /*
1574    * Flush the ARP cache of all entries covered by the address
1575    * that is being removed.
1576    */
1577   ethernet_arp_main_t *am = &ethernet_arp_main;
1578   ethernet_arp_ip4_entry_t *e;
1579
1580   if (vec_len (am->ethernet_arp_by_sw_if_index) <= sw_if_index)
1581     return;
1582
1583   if (is_del)
1584     {
1585       ethernet_arp_interface_t *eai;
1586       u32 i, *to_delete = 0;
1587       hash_pair_t *pair;
1588
1589       eai = &am->ethernet_arp_by_sw_if_index[sw_if_index];
1590
1591       /* *INDENT-OFF* */
1592       hash_foreach_pair (pair, eai->arp_entries,
1593       ({
1594         e = pool_elt_at_index(am->ip4_entry_pool,
1595                               pair->value[0]);
1596         if (ip4_destination_matches_route (im, &e->ip4_address,
1597                                            address, address_length))
1598           {
1599             vec_add1 (to_delete, e - am->ip4_entry_pool);
1600           }
1601       }));
1602       /* *INDENT-ON* */
1603
1604       for (i = 0; i < vec_len (to_delete); i++)
1605         {
1606           ethernet_arp_ip4_over_ethernet_address_t delme;
1607           e = pool_elt_at_index (am->ip4_entry_pool, to_delete[i]);
1608
1609           clib_memcpy (&delme.ethernet, e->ethernet_address, 6);
1610           delme.ip4.as_u32 = e->ip4_address.as_u32;
1611
1612           vnet_arp_flush_ip4_over_ethernet (vnet_get_main (),
1613                                             e->sw_if_index, &delme);
1614         }
1615
1616       vec_free (to_delete);
1617     }
1618 }
1619
1620 static clib_error_t *
1621 ethernet_arp_init (vlib_main_t * vm)
1622 {
1623   ethernet_arp_main_t *am = &ethernet_arp_main;
1624   ip4_main_t *im = &ip4_main;
1625   clib_error_t *error;
1626   pg_node_t *pn;
1627
1628   if ((error = vlib_call_init_function (vm, ethernet_init)))
1629     return error;
1630
1631   ethernet_register_input_type (vm, ETHERNET_TYPE_ARP, arp_input_node.index);
1632
1633   pn = pg_get_node (arp_input_node.index);
1634   pn->unformat_edit = unformat_pg_arp_header;
1635
1636   am->opcode_by_name = hash_create_string (0, sizeof (uword));
1637 #define _(o) hash_set_mem (am->opcode_by_name, #o, ETHERNET_ARP_OPCODE_##o);
1638   foreach_ethernet_arp_opcode;
1639 #undef _
1640
1641   /* $$$ configurable */
1642   am->limit_arp_cache_size = 50000;
1643
1644   am->pending_resolutions_by_address = hash_create (0, sizeof (uword));
1645   am->mac_changes_by_address = hash_create (0, sizeof (uword));
1646
1647   /* don't trace ARP error packets */
1648   {
1649     vlib_node_runtime_t *rt =
1650       vlib_node_get_runtime (vm, arp_input_node.index);
1651
1652 #define _(a,b)                                  \
1653     vnet_pcap_drop_trace_filter_add_del         \
1654         (rt->errors[ETHERNET_ARP_ERROR_##a],    \
1655          1 /* is_add */);
1656     foreach_ethernet_arp_error
1657 #undef _
1658   }
1659
1660   ip4_add_del_interface_address_callback_t cb;
1661   cb.function = arp_add_del_interface_address;
1662   cb.function_opaque = 0;
1663   vec_add1 (im->add_del_interface_address_callbacks, cb);
1664
1665   return 0;
1666 }
1667
1668 VLIB_INIT_FUNCTION (ethernet_arp_init);
1669
1670 static void
1671 arp_entry_free (ethernet_arp_interface_t * eai, ethernet_arp_ip4_entry_t * e)
1672 {
1673   ethernet_arp_main_t *am = &ethernet_arp_main;
1674
1675   if (FIB_NODE_INDEX_INVALID != e->fib_entry_index)
1676     {
1677       fib_prefix_t pfx = {
1678         .fp_len = 32,
1679         .fp_proto = FIB_PROTOCOL_IP4,
1680         .fp_addr.ip4 = e->ip4_address,
1681       };
1682       u32 fib_index;
1683
1684       fib_index = ip4_fib_table_get_index_for_sw_if_index (e->sw_if_index);
1685
1686       fib_table_entry_path_remove (fib_index, &pfx,
1687                                    FIB_SOURCE_ADJ,
1688                                    FIB_PROTOCOL_IP4,
1689                                    &pfx.fp_addr,
1690                                    e->sw_if_index, ~0, 1,
1691                                    FIB_ROUTE_PATH_FLAG_NONE);
1692     }
1693   hash_unset (eai->arp_entries, e->ip4_address.as_u32);
1694   pool_put (am->ip4_entry_pool, e);
1695 }
1696
1697 static inline int
1698 vnet_arp_unset_ip4_over_ethernet_internal (vnet_main_t * vnm,
1699                                            vnet_arp_set_ip4_over_ethernet_rpc_args_t
1700                                            * args)
1701 {
1702   ethernet_arp_main_t *am = &ethernet_arp_main;
1703   ethernet_arp_ip4_entry_t *e;
1704   ethernet_arp_interface_t *eai;
1705
1706   eai = &am->ethernet_arp_by_sw_if_index[args->sw_if_index];
1707
1708   e = arp_entry_find (eai, &args->a.ip4);
1709
1710   if (NULL != e)
1711     {
1712       arp_entry_free (eai, e);
1713
1714       adj_nbr_walk_nh4 (e->sw_if_index,
1715                         &e->ip4_address, arp_mk_incomplete_walk, NULL);
1716     }
1717
1718   return 0;
1719 }
1720
1721 static int
1722 vnet_arp_flush_ip4_over_ethernet_internal (vnet_main_t * vnm,
1723                                            vnet_arp_set_ip4_over_ethernet_rpc_args_t
1724                                            * args)
1725 {
1726   ethernet_arp_main_t *am = &ethernet_arp_main;
1727   ethernet_arp_ip4_entry_t *e;
1728   ethernet_arp_interface_t *eai;
1729
1730   eai = &am->ethernet_arp_by_sw_if_index[args->sw_if_index];
1731
1732   e = arp_entry_find (eai, &args->a.ip4);
1733
1734   if (NULL != e)
1735     {
1736       adj_nbr_walk_nh4 (e->sw_if_index,
1737                         &e->ip4_address, arp_mk_incomplete_walk, e);
1738
1739       /*
1740        * The difference between flush and unset, is that an unset
1741        * means delete for static and dynamic entries. A flush
1742        * means delete only for dynamic. Flushing is what the DP
1743        * does in response to interface events. unset is only done
1744        * by the control plane.
1745        */
1746       if (e->flags & ETHERNET_ARP_IP4_ENTRY_FLAG_DYNAMIC)
1747         {
1748           arp_entry_free (eai, e);
1749         }
1750     }
1751   return (0);
1752 }
1753
1754 static int
1755 vnet_arp_populate_ip4_over_ethernet_internal (vnet_main_t * vnm,
1756                                               vnet_arp_set_ip4_over_ethernet_rpc_args_t
1757                                               * args)
1758 {
1759   ethernet_arp_main_t *am = &ethernet_arp_main;
1760   ethernet_arp_ip4_entry_t *e;
1761   ethernet_arp_interface_t *eai;
1762
1763   eai = &am->ethernet_arp_by_sw_if_index[args->sw_if_index];
1764
1765   e = arp_entry_find (eai, &args->a.ip4);
1766
1767   if (NULL != e)
1768     {
1769       adj_nbr_walk_nh4 (e->sw_if_index,
1770                         &e->ip4_address, arp_mk_complete_walk, e);
1771     }
1772   return (0);
1773 }
1774
1775 static void
1776 set_ip4_over_ethernet_rpc_callback (vnet_arp_set_ip4_over_ethernet_rpc_args_t
1777                                     * a)
1778 {
1779   vnet_main_t *vm = vnet_get_main ();
1780   ASSERT (vlib_get_thread_index () == 0);
1781
1782   if (a->flags & ETHERNET_ARP_ARGS_REMOVE)
1783     vnet_arp_unset_ip4_over_ethernet_internal (vm, a);
1784   else if (a->flags & ETHERNET_ARP_ARGS_FLUSH)
1785     vnet_arp_flush_ip4_over_ethernet_internal (vm, a);
1786   else if (a->flags & ETHERNET_ARP_ARGS_POPULATE)
1787     vnet_arp_populate_ip4_over_ethernet_internal (vm, a);
1788   else
1789     vnet_arp_set_ip4_over_ethernet_internal (vm, a);
1790 }
1791
1792 /**
1793  * @brief Invoked when the interface's admin state changes
1794  */
1795 static clib_error_t *
1796 ethernet_arp_sw_interface_up_down (vnet_main_t * vnm,
1797                                    u32 sw_if_index, u32 flags)
1798 {
1799   ethernet_arp_main_t *am = &ethernet_arp_main;
1800   ethernet_arp_ip4_entry_t *e;
1801   u32 i, *to_delete = 0;
1802
1803   /* *INDENT-OFF* */
1804   pool_foreach (e, am->ip4_entry_pool,
1805   ({
1806     if (e->sw_if_index == sw_if_index)
1807       vec_add1 (to_delete,
1808                 e - am->ip4_entry_pool);
1809   }));
1810   /* *INDENT-ON* */
1811
1812   for (i = 0; i < vec_len (to_delete); i++)
1813     {
1814       ethernet_arp_ip4_over_ethernet_address_t delme;
1815       e = pool_elt_at_index (am->ip4_entry_pool, to_delete[i]);
1816
1817       clib_memcpy (&delme.ethernet, e->ethernet_address, 6);
1818       delme.ip4.as_u32 = e->ip4_address.as_u32;
1819
1820       if (flags & VNET_SW_INTERFACE_FLAG_ADMIN_UP)
1821         {
1822           vnet_arp_populate_ip4_over_ethernet (vnm, e->sw_if_index, &delme);
1823         }
1824       else
1825         {
1826           vnet_arp_flush_ip4_over_ethernet (vnm, e->sw_if_index, &delme);
1827         }
1828
1829     }
1830   vec_free (to_delete);
1831
1832   return 0;
1833 }
1834
1835 VNET_SW_INTERFACE_ADMIN_UP_DOWN_FUNCTION (ethernet_arp_sw_interface_up_down);
1836
1837 static void
1838 increment_ip4_and_mac_address (ethernet_arp_ip4_over_ethernet_address_t * a)
1839 {
1840   u8 old;
1841   int i;
1842
1843   for (i = 3; i >= 0; i--)
1844     {
1845       old = a->ip4.as_u8[i];
1846       a->ip4.as_u8[i] += 1;
1847       if (old < a->ip4.as_u8[i])
1848         break;
1849     }
1850
1851   for (i = 5; i >= 0; i--)
1852     {
1853       old = a->ethernet[i];
1854       a->ethernet[i] += 1;
1855       if (old < a->ethernet[i])
1856         break;
1857     }
1858 }
1859
1860 int
1861 vnet_arp_set_ip4_over_ethernet (vnet_main_t * vnm,
1862                                 u32 sw_if_index, void *a_arg,
1863                                 int is_static, int is_no_fib_entry)
1864 {
1865   ethernet_arp_ip4_over_ethernet_address_t *a = a_arg;
1866   vnet_arp_set_ip4_over_ethernet_rpc_args_t args;
1867
1868   args.sw_if_index = sw_if_index;
1869   args.is_static = is_static;
1870   args.is_no_fib_entry = is_no_fib_entry;
1871   args.flags = 0;
1872   clib_memcpy (&args.a, a, sizeof (*a));
1873
1874   vl_api_rpc_call_main_thread (set_ip4_over_ethernet_rpc_callback,
1875                                (u8 *) & args, sizeof (args));
1876   return 0;
1877 }
1878
1879 int
1880 vnet_proxy_arp_add_del (ip4_address_t * lo_addr,
1881                         ip4_address_t * hi_addr, u32 fib_index, int is_del)
1882 {
1883   ethernet_arp_main_t *am = &ethernet_arp_main;
1884   ethernet_proxy_arp_t *pa;
1885   u32 found_at_index = ~0;
1886
1887   vec_foreach (pa, am->proxy_arps)
1888   {
1889     if (pa->lo_addr == lo_addr->as_u32
1890         && pa->hi_addr == hi_addr->as_u32 && pa->fib_index == fib_index)
1891       {
1892         found_at_index = pa - am->proxy_arps;
1893         break;
1894       }
1895   }
1896
1897   if (found_at_index != ~0)
1898     {
1899       /* Delete, otherwise it's already in the table */
1900       if (is_del)
1901         vec_delete (am->proxy_arps, 1, found_at_index);
1902       return 0;
1903     }
1904   /* delete, no such entry */
1905   if (is_del)
1906     return VNET_API_ERROR_NO_SUCH_ENTRY;
1907
1908   /* add, not in table */
1909   vec_add2 (am->proxy_arps, pa, 1);
1910   pa->lo_addr = lo_addr->as_u32;
1911   pa->hi_addr = hi_addr->as_u32;
1912   pa->fib_index = fib_index;
1913   return 0;
1914 }
1915
1916 /*
1917  * Remove any proxy arp entries asdociated with the
1918  * specificed fib.
1919  */
1920 int
1921 vnet_proxy_arp_fib_reset (u32 fib_id)
1922 {
1923   ethernet_arp_main_t *am = &ethernet_arp_main;
1924   ethernet_proxy_arp_t *pa;
1925   u32 *entries_to_delete = 0;
1926   u32 fib_index;
1927   int i;
1928
1929   fib_index = fib_table_find (FIB_PROTOCOL_IP4, fib_id);
1930   if (~0 == fib_index)
1931     return VNET_API_ERROR_NO_SUCH_ENTRY;
1932
1933   vec_foreach (pa, am->proxy_arps)
1934   {
1935     if (pa->fib_index == fib_index)
1936       {
1937         vec_add1 (entries_to_delete, pa - am->proxy_arps);
1938       }
1939   }
1940
1941   for (i = 0; i < vec_len (entries_to_delete); i++)
1942     {
1943       vec_delete (am->proxy_arps, 1, entries_to_delete[i]);
1944     }
1945
1946   vec_free (entries_to_delete);
1947
1948   return 0;
1949 }
1950
1951 static clib_error_t *
1952 ip_arp_add_del_command_fn (vlib_main_t * vm,
1953                            unformat_input_t * input, vlib_cli_command_t * cmd)
1954 {
1955   vnet_main_t *vnm = vnet_get_main ();
1956   u32 sw_if_index;
1957   ethernet_arp_ip4_over_ethernet_address_t lo_addr, hi_addr, addr;
1958   int addr_valid = 0;
1959   int is_del = 0;
1960   int count = 1;
1961   u32 fib_index = 0;
1962   u32 fib_id;
1963   int is_static = 0;
1964   int is_no_fib_entry = 0;
1965   int is_proxy = 0;
1966
1967   while (unformat_check_input (input) != UNFORMAT_END_OF_INPUT)
1968     {
1969       /* set ip arp TenGigE1/1/0/1 1.2.3.4 aa:bb:... or aabb.ccdd... */
1970       if (unformat (input, "%U %U %U",
1971                     unformat_vnet_sw_interface, vnm, &sw_if_index,
1972                     unformat_ip4_address, &addr.ip4,
1973                     unformat_ethernet_address, &addr.ethernet))
1974         addr_valid = 1;
1975
1976       else if (unformat (input, "delete") || unformat (input, "del"))
1977         is_del = 1;
1978
1979       else if (unformat (input, "static"))
1980         is_static = 1;
1981
1982       else if (unformat (input, "no-fib-entry"))
1983         is_no_fib_entry = 1;
1984
1985       else if (unformat (input, "count %d", &count))
1986         ;
1987
1988       else if (unformat (input, "fib-id %d", &fib_id))
1989         {
1990           fib_index = fib_table_find (FIB_PROTOCOL_IP4, fib_id);
1991
1992           if (~0 == fib_index)
1993             return clib_error_return (0, "fib ID %d doesn't exist\n", fib_id);
1994         }
1995
1996       else if (unformat (input, "proxy %U - %U",
1997                          unformat_ip4_address, &lo_addr.ip4,
1998                          unformat_ip4_address, &hi_addr.ip4))
1999         is_proxy = 1;
2000       else
2001         break;
2002     }
2003
2004   if (is_proxy)
2005     {
2006       (void) vnet_proxy_arp_add_del (&lo_addr.ip4, &hi_addr.ip4,
2007                                      fib_index, is_del);
2008       return 0;
2009     }
2010
2011   if (addr_valid)
2012     {
2013       int i;
2014
2015       for (i = 0; i < count; i++)
2016         {
2017           if (is_del == 0)
2018             {
2019               uword event_type, *event_data = 0;
2020
2021               /* Park the debug CLI until the arp entry is installed */
2022               vnet_register_ip4_arp_resolution_event
2023                 (vnm, &addr.ip4, vlib_current_process (vm),
2024                  1 /* type */ , 0 /* data */ );
2025
2026               vnet_arp_set_ip4_over_ethernet
2027                 (vnm, sw_if_index, &addr, is_static, is_no_fib_entry);
2028
2029               vlib_process_wait_for_event (vm);
2030               event_type = vlib_process_get_events (vm, &event_data);
2031               vec_reset_length (event_data);
2032               if (event_type != 1)
2033                 clib_warning ("event type %d unexpected", event_type);
2034             }
2035           else
2036             vnet_arp_unset_ip4_over_ethernet (vnm, sw_if_index, &addr);
2037
2038           increment_ip4_and_mac_address (&addr);
2039         }
2040     }
2041   else
2042     {
2043       return clib_error_return (0, "unknown input `%U'",
2044                                 format_unformat_error, input);
2045     }
2046
2047   return 0;
2048 }
2049
2050 /* *INDENT-OFF* */
2051 /*?
2052  * Add or delete IPv4 ARP cache entries.
2053  *
2054  * @note 'set ip arp' options (e.g. delete, static, 'fib-id <id>',
2055  * 'count <number>', 'interface ip4_addr mac_addr') can be added in
2056  * any order and combination.
2057  *
2058  * @cliexpar
2059  * @parblock
2060  * Add or delete IPv4 ARP cache entries as follows. MAC Address can be in
2061  * either aa:bb:cc:dd:ee:ff format or aabb.ccdd.eeff format.
2062  * @cliexcmd{set ip arp GigabitEthernet2/0/0 6.0.0.3 dead.beef.babe}
2063  * @cliexcmd{set ip arp delete GigabitEthernet2/0/0 6.0.0.3 de:ad:be:ef:ba:be}
2064  *
2065  * To add or delete an IPv4 ARP cache entry to or from a specific fib
2066  * table:
2067  * @cliexcmd{set ip arp fib-id 1 GigabitEthernet2/0/0 6.0.0.3 dead.beef.babe}
2068  * @cliexcmd{set ip arp fib-id 1 delete GigabitEthernet2/0/0 6.0.0.3 dead.beef.babe}
2069  *
2070  * Add or delete IPv4 static ARP cache entries as follows:
2071  * @cliexcmd{set ip arp static GigabitEthernet2/0/0 6.0.0.3 dead.beef.babe}
2072  * @cliexcmd{set ip arp static delete GigabitEthernet2/0/0 6.0.0.3 dead.beef.babe}
2073  *
2074  * For testing / debugging purposes, the 'set ip arp' command can add or
2075  * delete multiple entries. Supply the 'count N' parameter:
2076  * @cliexcmd{set ip arp count 10 GigabitEthernet2/0/0 6.0.0.3 dead.beef.babe}
2077  * @endparblock
2078  ?*/
2079 VLIB_CLI_COMMAND (ip_arp_add_del_command, static) = {
2080   .path = "set ip arp",
2081   .short_help =
2082   "set ip arp [del] <intfc> <ip-address> <mac-address> [static] [no-fib-entry] [count <count>] [fib-id <fib-id>] [proxy <lo-addr> - <hi-addr>]",
2083   .function = ip_arp_add_del_command_fn,
2084 };
2085 /* *INDENT-ON* */
2086
2087 static clib_error_t *
2088 set_int_proxy_arp_command_fn (vlib_main_t * vm,
2089                               unformat_input_t *
2090                               input, vlib_cli_command_t * cmd)
2091 {
2092   vnet_main_t *vnm = vnet_get_main ();
2093   u32 sw_if_index;
2094   vnet_sw_interface_t *si;
2095   int enable = 0;
2096   int intfc_set = 0;
2097
2098   while (unformat_check_input (input) != UNFORMAT_END_OF_INPUT)
2099     {
2100       if (unformat (input, "%U", unformat_vnet_sw_interface,
2101                     vnm, &sw_if_index))
2102         intfc_set = 1;
2103       else if (unformat (input, "enable") || unformat (input, "on"))
2104         enable = 1;
2105       else if (unformat (input, "disable") || unformat (input, "off"))
2106         enable = 0;
2107       else
2108         break;
2109     }
2110
2111   if (intfc_set == 0)
2112     return clib_error_return (0, "unknown input '%U'",
2113                               format_unformat_error, input);
2114
2115   si = vnet_get_sw_interface (vnm, sw_if_index);
2116   ASSERT (si);
2117   if (enable)
2118     si->flags |= VNET_SW_INTERFACE_FLAG_PROXY_ARP;
2119   else
2120     si->flags &= ~VNET_SW_INTERFACE_FLAG_PROXY_ARP;
2121
2122   return 0;
2123 }
2124
2125 /* *INDENT-OFF* */
2126 /*?
2127  * Enable proxy-arp on an interface. The vpp stack will answer ARP
2128  * requests for the indicated address range. Multiple proxy-arp
2129  * ranges may be provisioned.
2130  *
2131  * @note Proxy ARP as a technology is infamous for blackholing traffic.
2132  * Also, the underlying implementation has not been performance-tuned.
2133  * Avoid creating an unnecessarily large set of ranges.
2134  *
2135  * @cliexpar
2136  * To enable proxy arp on a range of addresses, use:
2137  * @cliexcmd{set ip arp proxy 6.0.0.1 - 6.0.0.11}
2138  * Append 'del' to delete a range of proxy ARP addresses:
2139  * @cliexcmd{set ip arp proxy 6.0.0.1 - 6.0.0.11 del}
2140  * You must then specifically enable proxy arp on individual interfaces:
2141  * @cliexcmd{set interface proxy-arp GigabitEthernet0/8/0 enable}
2142  * To disable proxy arp on an individual interface:
2143  * @cliexcmd{set interface proxy-arp GigabitEthernet0/8/0 disable}
2144  ?*/
2145 VLIB_CLI_COMMAND (set_int_proxy_enable_command, static) = {
2146   .path = "set interface proxy-arp",
2147   .short_help =
2148   "set interface proxy-arp <intfc> [enable|disable]",
2149   .function = set_int_proxy_arp_command_fn,
2150 };
2151 /* *INDENT-ON* */
2152
2153
2154 /*
2155  * ARP/ND Termination in a L2 Bridge Domain based on IP4/IP6 to MAC
2156  * hash tables mac_by_ip4 and mac_by_ip6 for each BD.
2157  */
2158 typedef enum
2159 {
2160   ARP_TERM_NEXT_L2_OUTPUT,
2161   ARP_TERM_NEXT_DROP,
2162   ARP_TERM_N_NEXT,
2163 } arp_term_next_t;
2164
2165 u32 arp_term_next_node_index[32];
2166
2167 static uword
2168 arp_term_l2bd (vlib_main_t * vm,
2169                vlib_node_runtime_t * node, vlib_frame_t * frame)
2170 {
2171   l2input_main_t *l2im = &l2input_main;
2172   u32 n_left_from, next_index, *from, *to_next;
2173   u32 n_replies_sent = 0;
2174   u16 last_bd_index = ~0;
2175   l2_bridge_domain_t *last_bd_config = 0;
2176   l2_input_config_t *cfg0;
2177
2178   from = vlib_frame_vector_args (frame);
2179   n_left_from = frame->n_vectors;
2180   next_index = node->cached_next_index;
2181
2182   while (n_left_from > 0)
2183     {
2184       u32 n_left_to_next;
2185
2186       vlib_get_next_frame (vm, node, next_index, to_next, n_left_to_next);
2187
2188       while (n_left_from > 0 && n_left_to_next > 0)
2189         {
2190           vlib_buffer_t *p0;
2191           ethernet_header_t *eth0;
2192           ethernet_arp_header_t *arp0;
2193           ip6_header_t *iph0;
2194           u8 *l3h0;
2195           u32 pi0, error0, next0, sw_if_index0;
2196           u16 ethertype0;
2197           u16 bd_index0;
2198           u32 ip0;
2199           u8 *macp0;
2200           u8 is_vrrp_reply0;
2201
2202           pi0 = from[0];
2203           to_next[0] = pi0;
2204           from += 1;
2205           to_next += 1;
2206           n_left_from -= 1;
2207           n_left_to_next -= 1;
2208
2209           p0 = vlib_get_buffer (vm, pi0);
2210           // Terminate only local (SHG == 0) ARP
2211           if (vnet_buffer (p0)->l2.shg != 0)
2212             goto next_l2_feature;
2213
2214           eth0 = vlib_buffer_get_current (p0);
2215           l3h0 = (u8 *) eth0 + vnet_buffer (p0)->l2.l2_len;
2216           ethertype0 = clib_net_to_host_u16 (*(u16 *) (l3h0 - 2));
2217           arp0 = (ethernet_arp_header_t *) l3h0;
2218
2219           if (PREDICT_FALSE ((ethertype0 != ETHERNET_TYPE_ARP) ||
2220                              (arp0->opcode !=
2221                               clib_host_to_net_u16
2222                               (ETHERNET_ARP_OPCODE_request))))
2223             goto check_ip6_nd;
2224
2225           /* Must be ARP request packet here */
2226           if (PREDICT_FALSE ((node->flags & VLIB_NODE_FLAG_TRACE) &&
2227                              (p0->flags & VLIB_BUFFER_IS_TRACED)))
2228             {
2229               u8 *t0 = vlib_add_trace (vm, node, p0,
2230                                        sizeof (ethernet_arp_input_trace_t));
2231               clib_memcpy (t0, l3h0, sizeof (ethernet_arp_input_trace_t));
2232             }
2233
2234           error0 = ETHERNET_ARP_ERROR_replies_sent;
2235           error0 =
2236             (arp0->l2_type !=
2237              clib_net_to_host_u16 (ETHERNET_ARP_HARDWARE_TYPE_ethernet)
2238              ? ETHERNET_ARP_ERROR_l2_type_not_ethernet : error0);
2239           error0 =
2240             (arp0->l3_type !=
2241              clib_net_to_host_u16 (ETHERNET_TYPE_IP4) ?
2242              ETHERNET_ARP_ERROR_l3_type_not_ip4 : error0);
2243
2244           sw_if_index0 = vnet_buffer (p0)->sw_if_index[VLIB_RX];
2245
2246           if (error0)
2247             goto drop;
2248
2249           is_vrrp_reply0 =
2250             ((arp0->opcode ==
2251               clib_host_to_net_u16 (ETHERNET_ARP_OPCODE_reply))
2252              &&
2253              (!memcmp
2254               (arp0->ip4_over_ethernet[0].ethernet, vrrp_prefix,
2255                sizeof (vrrp_prefix))));
2256
2257           /* Trash ARP packets whose ARP-level source addresses do not
2258              match their L2-frame-level source addresses, unless it's
2259              a reply from a VRRP virtual router */
2260           if (PREDICT_FALSE
2261               (memcmp (eth0->src_address, arp0->ip4_over_ethernet[0].ethernet,
2262                        sizeof (eth0->src_address)) && !is_vrrp_reply0))
2263             {
2264               error0 = ETHERNET_ARP_ERROR_l2_address_mismatch;
2265               goto drop;
2266             }
2267
2268           /* Check if anyone want ARP request events for L2 BDs */
2269           {
2270             pending_resolution_t *mc;
2271             ethernet_arp_main_t *am = &ethernet_arp_main;
2272             uword *p = hash_get (am->mac_changes_by_address, 0);
2273             if (p)
2274               {
2275                 u32 next_index = p[0];
2276                 while (next_index != (u32) ~ 0)
2277                   {
2278                     int (*fp) (u32, u8 *, u32, u32);
2279                     int rv = 1;
2280                     mc = pool_elt_at_index (am->mac_changes, next_index);
2281                     fp = mc->data_callback;
2282                     /* Call the callback, return 1 to suppress dup events */
2283                     if (fp)
2284                       rv = (*fp) (mc->data,
2285                                   arp0->ip4_over_ethernet[0].ethernet,
2286                                   sw_if_index0,
2287                                   arp0->ip4_over_ethernet[0].ip4.as_u32);
2288                     /* Signal the resolver process */
2289                     if (rv == 0)
2290                       vlib_process_signal_event (vm, mc->node_index,
2291                                                  mc->type_opaque, mc->data);
2292                     next_index = mc->next_index;
2293                   }
2294               }
2295           }
2296
2297           /* lookup BD mac_by_ip4 hash table for MAC entry */
2298           ip0 = arp0->ip4_over_ethernet[1].ip4.as_u32;
2299           bd_index0 = vnet_buffer (p0)->l2.bd_index;
2300           if (PREDICT_FALSE ((bd_index0 != last_bd_index)
2301                              || (last_bd_index == (u16) ~ 0)))
2302             {
2303               last_bd_index = bd_index0;
2304               last_bd_config = vec_elt_at_index (l2im->bd_configs, bd_index0);
2305             }
2306           macp0 = (u8 *) hash_get (last_bd_config->mac_by_ip4, ip0);
2307
2308           if (PREDICT_FALSE (!macp0))
2309             goto next_l2_feature;       /* MAC not found */
2310
2311           /* MAC found, send ARP reply -
2312              Convert ARP request packet to ARP reply */
2313           arp0->opcode = clib_host_to_net_u16 (ETHERNET_ARP_OPCODE_reply);
2314           arp0->ip4_over_ethernet[1] = arp0->ip4_over_ethernet[0];
2315           arp0->ip4_over_ethernet[0].ip4.as_u32 = ip0;
2316           clib_memcpy (arp0->ip4_over_ethernet[0].ethernet, macp0, 6);
2317           clib_memcpy (eth0->dst_address, eth0->src_address, 6);
2318           clib_memcpy (eth0->src_address, macp0, 6);
2319           n_replies_sent += 1;
2320
2321         output_response:
2322           /* For BVI, need to use l2-fwd node to send ARP reply as
2323              l2-output node cannot output packet to BVI properly */
2324           cfg0 = vec_elt_at_index (l2im->configs, sw_if_index0);
2325           if (PREDICT_FALSE (cfg0->bvi))
2326             {
2327               vnet_buffer (p0)->l2.feature_bitmap |= L2INPUT_FEAT_FWD;
2328               vnet_buffer (p0)->sw_if_index[VLIB_RX] = 0;
2329               goto next_l2_feature;
2330             }
2331
2332           /* Send ARP/ND reply back out input interface through l2-output */
2333           vnet_buffer (p0)->sw_if_index[VLIB_TX] = sw_if_index0;
2334           next0 = ARP_TERM_NEXT_L2_OUTPUT;
2335           vlib_validate_buffer_enqueue_x1 (vm, node, next_index,
2336                                            to_next, n_left_to_next, pi0,
2337                                            next0);
2338           continue;
2339
2340         check_ip6_nd:
2341           /* IP6 ND event notification or solicitation handling to generate
2342              local response instead of flooding */
2343           iph0 = (ip6_header_t *) l3h0;
2344           if (PREDICT_FALSE (ethertype0 == ETHERNET_TYPE_IP6 &&
2345                              iph0->protocol == IP_PROTOCOL_ICMP6 &&
2346                              !ip6_address_is_unspecified
2347                              (&iph0->src_address)))
2348             {
2349               sw_if_index0 = vnet_buffer (p0)->sw_if_index[VLIB_RX];
2350               if (vnet_ip6_nd_term
2351                   (vm, node, p0, eth0, iph0, sw_if_index0,
2352                    vnet_buffer (p0)->l2.bd_index))
2353                 goto output_response;
2354             }
2355
2356         next_l2_feature:
2357           {
2358             u32 feature_bitmap0 =
2359               vnet_buffer (p0)->l2.feature_bitmap & ~L2INPUT_FEAT_ARP_TERM;
2360             vnet_buffer (p0)->l2.feature_bitmap = feature_bitmap0;
2361             next0 =
2362               feat_bitmap_get_next_node_index (arp_term_next_node_index,
2363                                                feature_bitmap0);
2364             vlib_validate_buffer_enqueue_x1 (vm, node, next_index,
2365                                              to_next, n_left_to_next,
2366                                              pi0, next0);
2367             continue;
2368           }
2369
2370         drop:
2371           if (0 == arp0->ip4_over_ethernet[0].ip4.as_u32 ||
2372               (arp0->ip4_over_ethernet[0].ip4.as_u32 ==
2373                arp0->ip4_over_ethernet[1].ip4.as_u32))
2374             {
2375               error0 = ETHERNET_ARP_ERROR_gratuitous_arp;
2376             }
2377           next0 = ARP_TERM_NEXT_DROP;
2378           p0->error = node->errors[error0];
2379
2380           vlib_validate_buffer_enqueue_x1 (vm, node, next_index,
2381                                            to_next, n_left_to_next, pi0,
2382                                            next0);
2383         }
2384
2385       vlib_put_next_frame (vm, node, next_index, n_left_to_next);
2386     }
2387
2388   vlib_error_count (vm, node->node_index,
2389                     ETHERNET_ARP_ERROR_replies_sent, n_replies_sent);
2390   return frame->n_vectors;
2391 }
2392
2393 /* *INDENT-OFF* */
2394 VLIB_REGISTER_NODE (arp_term_l2bd_node, static) = {
2395   .function = arp_term_l2bd,
2396   .name = "arp-term-l2bd",
2397   .vector_size = sizeof (u32),
2398   .n_errors = ETHERNET_ARP_N_ERROR,
2399   .error_strings = ethernet_arp_error_strings,
2400   .n_next_nodes = ARP_TERM_N_NEXT,
2401   .next_nodes = {
2402     [ARP_TERM_NEXT_L2_OUTPUT] = "l2-output",
2403     [ARP_TERM_NEXT_DROP] = "error-drop",
2404   },
2405   .format_buffer = format_ethernet_arp_header,
2406   .format_trace = format_arp_term_input_trace,
2407 };
2408 /* *INDENT-ON* */
2409
2410 clib_error_t *
2411 arp_term_init (vlib_main_t * vm)
2412 {
2413   // Initialize the feature next-node indexes
2414   feat_bitmap_init_next_nodes (vm,
2415                                arp_term_l2bd_node.index,
2416                                L2INPUT_N_FEAT,
2417                                l2input_get_feat_names (),
2418                                arp_term_next_node_index);
2419   return 0;
2420 }
2421
2422 VLIB_INIT_FUNCTION (arp_term_init);
2423
2424 void
2425 change_arp_mac (u32 sw_if_index, ethernet_arp_ip4_entry_t * e)
2426 {
2427   if (e->sw_if_index == sw_if_index)
2428     {
2429       adj_nbr_walk_nh4 (e->sw_if_index,
2430                         &e->ip4_address, arp_mk_complete_walk, e);
2431     }
2432 }
2433
2434 void
2435 ethernet_arp_change_mac (u32 sw_if_index)
2436 {
2437   ethernet_arp_main_t *am = &ethernet_arp_main;
2438   ethernet_arp_ip4_entry_t *e;
2439
2440   /* *INDENT-OFF* */
2441   pool_foreach (e, am->ip4_entry_pool,
2442   ({
2443     change_arp_mac (sw_if_index, e);
2444   }));
2445   /* *INDENT-ON* */
2446 }
2447
2448 /*
2449  * fd.io coding-style-patch-verification: ON
2450  *
2451  * Local Variables:
2452  * eval: (c-set-style "gnu")
2453  * End:
2454  */