src/vnet/ethernet/arp.c

   1 /*
   2  * ethernet/arp.c: IP v4 ARP node
   3  *
   4  * Copyright (c) 2010 Cisco and/or its affiliates.
   5  * Licensed under the Apache License, Version 2.0 (the "License");
   6  * you may not use this file except in compliance with the License.
   7  * You may obtain a copy of the License at:
   8  *
   9  *     http://www.apache.org/licenses/LICENSE-2.0
  10  *
  11  * Unless required by applicable law or agreed to in writing, software
  12  * distributed under the License is distributed on an "AS IS" BASIS,
  13  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  14  * See the License for the specific language governing permissions and
  15  * limitations under the License.
  16  */
  17
  18 #include <vnet/ip/ip.h>
  19 #include <vnet/ip/ip_neighbor.h>
  20 #include <vnet/ip/ip6.h>
  21 #include <vnet/ethernet/ethernet.h>
  22 #include <vnet/ethernet/arp.h>
  23 #include <vnet/l2/l2_input.h>
  24 #include <vppinfra/mhash.h>
  25 #include <vnet/fib/ip4_fib.h>
  26 #include <vnet/fib/fib_entry_src.h>
  27 #include <vnet/adj/adj_nbr.h>
  28 #include <vnet/adj/adj_mcast.h>
  29 #include <vnet/mpls/mpls.h>
  30 #include <vnet/l2/feat_bitmap.h>
  31
  32 #include <vlibmemory/api.h>
  33
  34 /**
  35  * @file
  36  * @brief IPv4 ARP.
  37  *
  38  * This file contains code to manage the IPv4 ARP tables (IP Address
  39  * to MAC Address lookup).
  40  */
  41
  42
  43 /**
  44  * @brief Per-interface ARP configuration and state
  45  */
  46 typedef struct ethernet_arp_interface_t_
  47 {
  48   /**
  49    * Hash table of ARP entries.
  50    * Since this hash table is per-interface, the key is only the IPv4 address.
  51    */
  52   uword *arp_entries;
  53   /**
  54    * Is ARP enabled on this interface
  55    */
  56   u32 enabled;
  57   /**
  58    * Is Proxy ARP enabled on this interface
  59    */
  60   u32 proxy_enabled;
  61 } ethernet_arp_interface_t;
  62
  63 typedef struct
  64 {
  65   ip4_address_t lo_addr;
  66   ip4_address_t hi_addr;
  67   u32 fib_index;
  68 } ethernet_proxy_arp_t;
  69
  70 typedef struct
  71 {
  72   u32 next_index;
  73   uword node_index;
  74   uword type_opaque;
  75   uword data;
  76   /* Used for arp event notification only */
  77   arp_change_event_cb_t data_callback;
  78   u32 pid;
  79 } pending_resolution_t;
  80
  81 typedef struct
  82 {
  83   /* Hash tables mapping name to opcode. */
  84   uword *opcode_by_name;
  85
  86   /* lite beer "glean" adjacency handling */
  87   uword *pending_resolutions_by_address;
  88   pending_resolution_t *pending_resolutions;
  89
  90   /* Mac address change notification */
  91   uword *mac_changes_by_address;
  92   pending_resolution_t *mac_changes;
  93
  94   ethernet_arp_ip4_entry_t *ip4_entry_pool;
  95
  96   /* ARP attack mitigation */
  97   u32 arp_delete_rotor;
  98   u32 limit_arp_cache_size;
  99
 100   /** Per interface state */
 101   ethernet_arp_interface_t *ethernet_arp_by_sw_if_index;
 102
 103   /* Proxy arp vector */
 104   ethernet_proxy_arp_t *proxy_arps;
 105
 106   uword wc_ip4_arp_publisher_node;
 107   uword wc_ip4_arp_publisher_et;
 108
 109   /* ARP feature arc index */
 110   u8 feature_arc_index;
 111 } ethernet_arp_main_t;
 112
 113 static ethernet_arp_main_t ethernet_arp_main;
 114
 115 typedef struct
 116 {
 117   u32 sw_if_index;
 118   ip4_address_t ip4;
 119   mac_address_t mac;
 120   ip_neighbor_flags_t nbr_flags;
 121   u32 flags;
 122 #define ETHERNET_ARP_ARGS_REMOVE (1<<0)
 123 #define ETHERNET_ARP_ARGS_FLUSH  (1<<1)
 124 #define ETHERNET_ARP_ARGS_POPULATE  (1<<2)
 125 #define ETHERNET_ARP_ARGS_WC_PUB  (1<<3)
 126 } vnet_arp_set_ip4_over_ethernet_rpc_args_t;
 127
 128 static const u8 vrrp_prefix[] = { 0x00, 0x00, 0x5E, 0x00, 0x01 };
 129
 130 /* Node index for send_garp_na_process */
 131 u32 send_garp_na_process_node_index;
 132
 133 static void
 134 set_ip4_over_ethernet_rpc_callback (vnet_arp_set_ip4_over_ethernet_rpc_args_t
 135                                     * a);
 136
 137 static u8 *
 138 format_ethernet_arp_hardware_type (u8 * s, va_list * va)
 139 {
 140   ethernet_arp_hardware_type_t h = va_arg (*va, ethernet_arp_hardware_type_t);
 141   char *t = 0;
 142   switch (h)
 143     {
 144 #define _(n,f) case n: t = #f; break;
 145       foreach_ethernet_arp_hardware_type;
 146 #undef _
 147
 148     default:
 149       return format (s, "unknown 0x%x", h);
 150     }
 151
 152   return format (s, "%s", t);
 153 }
 154
 155 static u8 *
 156 format_ethernet_arp_opcode (u8 * s, va_list * va)
 157 {
 158   ethernet_arp_opcode_t o = va_arg (*va, ethernet_arp_opcode_t);
 159   char *t = 0;
 160   switch (o)
 161     {
 162 #define _(f) case ETHERNET_ARP_OPCODE_##f: t = #f; break;
 163       foreach_ethernet_arp_opcode;
 164 #undef _
 165
 166     default:
 167       return format (s, "unknown 0x%x", o);
 168     }
 169
 170   return format (s, "%s", t);
 171 }
 172
 173 static uword
 174 unformat_ethernet_arp_opcode_host_byte_order (unformat_input_t * input,
 175                                               va_list * args)
 176 {
 177   int *result = va_arg (*args, int *);
 178   ethernet_arp_main_t *am = &ethernet_arp_main;
 179   int x, i;
 180
 181   /* Numeric opcode. */
 182   if (unformat (input, "0x%x", &x) || unformat (input, "%d", &x))
 183     {
 184       if (x >= (1 << 16))
 185         return 0;
 186       *result = x;
 187       return 1;
 188     }
 189
 190   /* Named type. */
 191   if (unformat_user (input, unformat_vlib_number_by_name,
 192                      am->opcode_by_name, &i))
 193     {
 194       *result = i;
 195       return 1;
 196     }
 197
 198   return 0;
 199 }
 200
 201 static uword
 202 unformat_ethernet_arp_opcode_net_byte_order (unformat_input_t * input,
 203                                              va_list * args)
 204 {
 205   int *result = va_arg (*args, int *);
 206   if (!unformat_user
 207       (input, unformat_ethernet_arp_opcode_host_byte_order, result))
 208     return 0;
 209
 210   *result = clib_host_to_net_u16 ((u16) * result);
 211   return 1;
 212 }
 213
 214 static u8 *
 215 format_ethernet_arp_header (u8 * s, va_list * va)
 216 {
 217   ethernet_arp_header_t *a = va_arg (*va, ethernet_arp_header_t *);
 218   u32 max_header_bytes = va_arg (*va, u32);
 219   u32 indent;
 220   u16 l2_type, l3_type;
 221
 222   if (max_header_bytes != 0 && sizeof (a[0]) > max_header_bytes)
 223     return format (s, "ARP header truncated");
 224
 225   l2_type = clib_net_to_host_u16 (a->l2_type);
 226   l3_type = clib_net_to_host_u16 (a->l3_type);
 227
 228   indent = format_get_indent (s);
 229
 230   s = format (s, "%U, type %U/%U, address size %d/%d",
 231               format_ethernet_arp_opcode, clib_net_to_host_u16 (a->opcode),
 232               format_ethernet_arp_hardware_type, l2_type,
 233               format_ethernet_type, l3_type,
 234               a->n_l2_address_bytes, a->n_l3_address_bytes);
 235
 236   if (l2_type == ETHERNET_ARP_HARDWARE_TYPE_ethernet
 237       && l3_type == ETHERNET_TYPE_IP4)
 238     {
 239       s = format (s, "\n%U%U/%U -> %U/%U",
 240                   format_white_space, indent,
 241                   format_mac_address_t, &a->ip4_over_ethernet[0].mac,
 242                   format_ip4_address, &a->ip4_over_ethernet[0].ip4,
 243                   format_mac_address_t, &a->ip4_over_ethernet[1].mac,
 244                   format_ip4_address, &a->ip4_over_ethernet[1].ip4);
 245     }
 246   else
 247     {
 248       uword n2 = a->n_l2_address_bytes;
 249       uword n3 = a->n_l3_address_bytes;
 250       s = format (s, "\n%U%U/%U -> %U/%U",
 251                   format_white_space, indent,
 252                   format_hex_bytes, a->data + 0 * n2 + 0 * n3, n2,
 253                   format_hex_bytes, a->data + 1 * n2 + 0 * n3, n3,
 254                   format_hex_bytes, a->data + 1 * n2 + 1 * n3, n2,
 255                   format_hex_bytes, a->data + 2 * n2 + 1 * n3, n3);
 256     }
 257
 258   return s;
 259 }
 260
 261 u8 *
 262 format_ethernet_arp_ip4_entry (u8 * s, va_list * va)
 263 {
 264   vnet_main_t *vnm = va_arg (*va, vnet_main_t *);
 265   ethernet_arp_ip4_entry_t *e = va_arg (*va, ethernet_arp_ip4_entry_t *);
 266   vnet_sw_interface_t *si;
 267   u8 *flags = 0;
 268
 269   if (!e)
 270     return format (s, "%=12s%=16s%=6s%=20s%=24s", "Time", "IP4",
 271                    "Flags", "Ethernet", "Interface");
 272
 273   si = vnet_get_sw_interface (vnm, e->sw_if_index);
 274
 275   if (e->flags & IP_NEIGHBOR_FLAG_STATIC)
 276     flags = format (flags, "S");
 277
 278   if (e->flags & IP_NEIGHBOR_FLAG_DYNAMIC)
 279     flags = format (flags, "D");
 280
 281   if (e->flags & IP_NEIGHBOR_FLAG_NO_FIB_ENTRY)
 282     flags = format (flags, "N");
 283
 284   s = format (s, "%=12U%=16U%=6s%=20U%U",
 285               format_vlib_time, vnm->vlib_main, e->time_last_updated,
 286               format_ip4_address, &e->ip4_address,
 287               flags ? (char *) flags : "",
 288               format_mac_address_t, &e->mac,
 289               format_vnet_sw_interface_name, vnm, si);
 290
 291   vec_free (flags);
 292   return s;
 293 }
 294
 295 typedef struct
 296 {
 297   u8 packet_data[64];
 298 } ethernet_arp_input_trace_t;
 299
 300 static u8 *
 301 format_ethernet_arp_input_trace (u8 * s, va_list * va)
 302 {
 303   CLIB_UNUSED (vlib_main_t * vm) = va_arg (*va, vlib_main_t *);
 304   CLIB_UNUSED (vlib_node_t * node) = va_arg (*va, vlib_node_t *);
 305   ethernet_arp_input_trace_t *t = va_arg (*va, ethernet_arp_input_trace_t *);
 306
 307   s = format (s, "%U",
 308               format_ethernet_arp_header,
 309               t->packet_data, sizeof (t->packet_data));
 310
 311   return s;
 312 }
 313
 314 static u8 *
 315 format_arp_term_input_trace (u8 * s, va_list * va)
 316 {
 317   CLIB_UNUSED (vlib_main_t * vm) = va_arg (*va, vlib_main_t *);
 318   CLIB_UNUSED (vlib_node_t * node) = va_arg (*va, vlib_node_t *);
 319   ethernet_arp_input_trace_t *t = va_arg (*va, ethernet_arp_input_trace_t *);
 320
 321   /* arp-term trace data saved is either arp or ip6/icmp6 packet:
 322      - for arp, the 1st 16-bit field is hw type of value of 0x0001.
 323      - for ip6, the first nibble has value of 6. */
 324   s = format (s, "%U", t->packet_data[0] == 0 ?
 325               format_ethernet_arp_header : format_ip6_header,
 326               t->packet_data, sizeof (t->packet_data));
 327
 328   return s;
 329 }
 330
 331 static void
 332 arp_nbr_probe (ip_adjacency_t * adj)
 333 {
 334   vnet_main_t *vnm = vnet_get_main ();
 335   ip4_main_t *im = &ip4_main;
 336   ip_interface_address_t *ia;
 337   ethernet_arp_header_t *h;
 338   vnet_hw_interface_t *hi;
 339   vnet_sw_interface_t *si;
 340   ip4_address_t *src;
 341   vlib_buffer_t *b;
 342   vlib_main_t *vm;
 343   u32 bi = 0;
 344
 345   vm = vlib_get_main ();
 346
 347   si = vnet_get_sw_interface (vnm, adj->rewrite_header.sw_if_index);
 348
 349   if (!(si->flags & VNET_SW_INTERFACE_FLAG_ADMIN_UP))
 350     {
 351       return;
 352     }
 353
 354   src =
 355     ip4_interface_address_matching_destination (im,
 356                                                 &adj->sub_type.nbr.next_hop.
 357                                                 ip4,
 358                                                 adj->rewrite_header.
 359                                                 sw_if_index, &ia);
 360   if (!src)
 361     {
 362       return;
 363     }
 364
 365   h =
 366     vlib_packet_template_get_packet (vm, &im->ip4_arp_request_packet_template,
 367                                      &bi);
 368   if (!h)
 369     return;
 370
 371   hi = vnet_get_sup_hw_interface (vnm, adj->rewrite_header.sw_if_index);
 372
 373   mac_address_from_bytes (&h->ip4_over_ethernet[0].mac, hi->hw_address);
 374
 375   h->ip4_over_ethernet[0].ip4 = src[0];
 376   h->ip4_over_ethernet[1].ip4 = adj->sub_type.nbr.next_hop.ip4;
 377
 378   b = vlib_get_buffer (vm, bi);
 379   vnet_buffer (b)->sw_if_index[VLIB_RX] =
 380     vnet_buffer (b)->sw_if_index[VLIB_TX] = adj->rewrite_header.sw_if_index;
 381
 382   /* Add encapsulation string for software interface (e.g. ethernet header). */
 383   vnet_rewrite_one_header (adj[0], h, sizeof (ethernet_header_t));
 384   vlib_buffer_advance (b, -adj->rewrite_header.data_bytes);
 385
 386   {
 387     vlib_frame_t *f = vlib_get_frame_to_node (vm, hi->output_node_index);
 388     u32 *to_next = vlib_frame_vector_args (f);
 389     to_next[0] = bi;
 390     f->n_vectors = 1;
 391     vlib_put_frame_to_node (vm, hi->output_node_index, f);
 392   }
 393 }
 394
 395 static void
 396 arp_mk_complete (adj_index_t ai, ethernet_arp_ip4_entry_t * e)
 397 {
 398   adj_nbr_update_rewrite
 399     (ai, ADJ_NBR_REWRITE_FLAG_COMPLETE,
 400      ethernet_build_rewrite (vnet_get_main (),
 401                              e->sw_if_index,
 402                              adj_get_link_type (ai), &e->mac));
 403 }
 404
 405 static void
 406 arp_mk_incomplete (adj_index_t ai)
 407 {
 408   ip_adjacency_t *adj = adj_get (ai);
 409
 410   adj_nbr_update_rewrite
 411     (ai,
 412      ADJ_NBR_REWRITE_FLAG_INCOMPLETE,
 413      ethernet_build_rewrite (vnet_get_main (),
 414                              adj->rewrite_header.sw_if_index,
 415                              VNET_LINK_ARP,
 416                              VNET_REWRITE_FOR_SW_INTERFACE_ADDRESS_BROADCAST));
 417 }
 418
 419 static ethernet_arp_ip4_entry_t *
 420 arp_entry_find (ethernet_arp_interface_t * eai, const ip4_address_t * addr)
 421 {
 422   ethernet_arp_main_t *am = &ethernet_arp_main;
 423   ethernet_arp_ip4_entry_t *e = NULL;
 424   uword *p;
 425
 426   if (NULL != eai->arp_entries)
 427     {
 428       p = hash_get (eai->arp_entries, addr->as_u32);
 429       if (!p)
 430         return (NULL);
 431
 432       e = pool_elt_at_index (am->ip4_entry_pool, p[0]);
 433     }
 434
 435   return (e);
 436 }
 437
 438 static adj_walk_rc_t
 439 arp_mk_complete_walk (adj_index_t ai, void *ctx)
 440 {
 441   ethernet_arp_ip4_entry_t *e = ctx;
 442
 443   arp_mk_complete (ai, e);
 444
 445   return (ADJ_WALK_RC_CONTINUE);
 446 }
 447
 448 static adj_walk_rc_t
 449 arp_mk_incomplete_walk (adj_index_t ai, void *ctx)
 450 {
 451   arp_mk_incomplete (ai);
 452
 453   return (ADJ_WALK_RC_CONTINUE);
 454 }
 455
 456 static int
 457 arp_is_enabled (ethernet_arp_main_t * am, u32 sw_if_index)
 458 {
 459   if (vec_len (am->ethernet_arp_by_sw_if_index) <= sw_if_index)
 460     return 0;
 461
 462   return (am->ethernet_arp_by_sw_if_index[sw_if_index].enabled);
 463 }
 464
 465 static void
 466 arp_enable (ethernet_arp_main_t * am, u32 sw_if_index)
 467 {
 468   if (arp_is_enabled (am, sw_if_index))
 469     return;
 470
 471   vec_validate (am->ethernet_arp_by_sw_if_index, sw_if_index);
 472
 473   am->ethernet_arp_by_sw_if_index[sw_if_index].enabled = 1;
 474
 475   vnet_feature_enable_disable ("arp", "arp-reply", sw_if_index, 1, NULL, 0);
 476 }
 477
 478 static int
 479 vnet_arp_flush_ip4_over_ethernet_internal (vnet_main_t * vnm,
 480                                            vnet_arp_set_ip4_over_ethernet_rpc_args_t
 481                                            * args);
 482
 483 static void
 484 arp_disable (ethernet_arp_main_t * am, u32 sw_if_index)
 485 {
 486   ethernet_arp_interface_t *eai;
 487   ethernet_arp_ip4_entry_t *e;
 488   u32 i, *to_delete = 0;
 489   hash_pair_t *pair;
 490
 491   if (!arp_is_enabled (am, sw_if_index))
 492     return;
 493
 494   vnet_feature_enable_disable ("arp", "arp-reply", sw_if_index, 0, NULL, 0);
 495
 496   eai = &am->ethernet_arp_by_sw_if_index[sw_if_index];
 497
 498
 499   /* *INDENT-OFF* */
 500   hash_foreach_pair (pair, eai->arp_entries,
 501   ({
 502     e = pool_elt_at_index(am->ip4_entry_pool,
 503                           pair->value[0]);
 504     vec_add1 (to_delete, e - am->ip4_entry_pool);
 505   }));
 506   /* *INDENT-ON* */
 507
 508   for (i = 0; i < vec_len (to_delete); i++)
 509     {
 510       e = pool_elt_at_index (am->ip4_entry_pool, to_delete[i]);
 511
 512       vnet_arp_set_ip4_over_ethernet_rpc_args_t delme = {
 513         .ip4.as_u32 = e->ip4_address.as_u32,
 514         .sw_if_index = e->sw_if_index,
 515         .flags = ETHERNET_ARP_ARGS_FLUSH,
 516       };
 517       mac_address_copy (&delme.mac, &e->mac);
 518
 519       vnet_arp_flush_ip4_over_ethernet_internal (vnet_get_main (), &delme);
 520     }
 521
 522   vec_free (to_delete);
 523
 524   eai->enabled = 0;
 525 }
 526
 527 void
 528 arp_update_adjacency (vnet_main_t * vnm, u32 sw_if_index, u32 ai)
 529 {
 530   ethernet_arp_main_t *am = &ethernet_arp_main;
 531   ethernet_arp_interface_t *arp_int;
 532   ethernet_arp_ip4_entry_t *e;
 533   ip_adjacency_t *adj;
 534
 535   adj = adj_get (ai);
 536
 537   arp_enable (am, sw_if_index);
 538   arp_int = &am->ethernet_arp_by_sw_if_index[sw_if_index];
 539   e = arp_entry_find (arp_int, &adj->sub_type.nbr.next_hop.ip4);
 540
 541   switch (adj->lookup_next_index)
 542     {
 543     case IP_LOOKUP_NEXT_GLEAN:
 544       adj_glean_update_rewrite (ai);
 545       break;
 546     case IP_LOOKUP_NEXT_ARP:
 547       if (NULL != e)
 548         {
 549           adj_nbr_walk_nh4 (sw_if_index,
 550                             &e->ip4_address, arp_mk_complete_walk, e);
 551         }
 552       else
 553         {
 554           /*
 555            * no matching ARP entry.
 556            * construct the rewrite required to for an ARP packet, and stick
 557            * that in the adj's pipe to smoke.
 558            */
 559           adj_nbr_update_rewrite
 560             (ai,
 561              ADJ_NBR_REWRITE_FLAG_INCOMPLETE,
 562              ethernet_build_rewrite
 563              (vnm,
 564               sw_if_index,
 565               VNET_LINK_ARP,
 566               VNET_REWRITE_FOR_SW_INTERFACE_ADDRESS_BROADCAST));
 567
 568           /*
 569            * since the FIB has added this adj for a route, it makes sense it
 570            * may want to forward traffic sometime soon. Let's send a
 571            * speculative ARP. just one. If we were to do periodically that
 572            * wouldn't be bad either, but that's more code than i'm prepared to
 573            * write at this time for relatively little reward.
 574            */
 575           arp_nbr_probe (adj);
 576         }
 577       break;
 578     case IP_LOOKUP_NEXT_BCAST:
 579       adj_nbr_update_rewrite (ai,
 580                               ADJ_NBR_REWRITE_FLAG_COMPLETE,
 581                               ethernet_build_rewrite
 582                               (vnm,
 583                                sw_if_index,
 584                                VNET_LINK_IP4,
 585                                VNET_REWRITE_FOR_SW_INTERFACE_ADDRESS_BROADCAST));
 586       break;
 587     case IP_LOOKUP_NEXT_MCAST:
 588       {
 589         /*
 590          * Construct a partial rewrite from the known ethernet mcast dest MAC
 591          */
 592         u8 *rewrite;
 593         u8 offset;
 594
 595         rewrite = ethernet_build_rewrite (vnm,
 596                                           sw_if_index,
 597                                           adj->ia_link,
 598                                           ethernet_ip4_mcast_dst_addr ());
 599         offset = vec_len (rewrite) - 2;
 600
 601         /*
 602          * Complete the remaining fields of the adj's rewrite to direct the
 603          * complete of the rewrite at switch time by copying in the IP
 604          * dst address's bytes.
 605          * Offset is 2 bytes into the MAC destination address.
 606          */
 607         adj_mcast_update_rewrite (ai, rewrite, offset);
 608
 609         break;
 610       }
 611     case IP_LOOKUP_NEXT_DROP:
 612     case IP_LOOKUP_NEXT_PUNT:
 613     case IP_LOOKUP_NEXT_LOCAL:
 614     case IP_LOOKUP_NEXT_REWRITE:
 615     case IP_LOOKUP_NEXT_MCAST_MIDCHAIN:
 616     case IP_LOOKUP_NEXT_MIDCHAIN:
 617     case IP_LOOKUP_NEXT_ICMP_ERROR:
 618     case IP_LOOKUP_N_NEXT:
 619       ASSERT (0);
 620       break;
 621     }
 622 }
 623
 624 static void
 625 arp_adj_fib_add (ethernet_arp_ip4_entry_t * e, u32 fib_index)
 626 {
 627   fib_prefix_t pfx = {
 628     .fp_len = 32,
 629     .fp_proto = FIB_PROTOCOL_IP4,
 630     .fp_addr.ip4 = e->ip4_address,
 631   };
 632
 633   e->fib_entry_index =
 634     fib_table_entry_path_add (fib_index, &pfx, FIB_SOURCE_ADJ,
 635                               FIB_ENTRY_FLAG_ATTACHED,
 636                               DPO_PROTO_IP4, &pfx.fp_addr,
 637                               e->sw_if_index, ~0, 1, NULL,
 638                               FIB_ROUTE_PATH_FLAG_NONE);
 639   fib_table_lock (fib_index, FIB_PROTOCOL_IP4, FIB_SOURCE_ADJ);
 640 }
 641
 642 static void
 643 arp_adj_fib_remove (ethernet_arp_ip4_entry_t * e, u32 fib_index)
 644 {
 645   if (FIB_NODE_INDEX_INVALID != e->fib_entry_index)
 646     {
 647       fib_prefix_t pfx = {
 648         .fp_len = 32,
 649         .fp_proto = FIB_PROTOCOL_IP4,
 650         .fp_addr.ip4 = e->ip4_address,
 651       };
 652       u32 fib_index;
 653
 654       fib_index = ip4_fib_table_get_index_for_sw_if_index (e->sw_if_index);
 655
 656       fib_table_entry_path_remove (fib_index, &pfx,
 657                                    FIB_SOURCE_ADJ,
 658                                    DPO_PROTO_IP4,
 659                                    &pfx.fp_addr,
 660                                    e->sw_if_index, ~0, 1,
 661                                    FIB_ROUTE_PATH_FLAG_NONE);
 662       fib_table_unlock (fib_index, FIB_PROTOCOL_IP4, FIB_SOURCE_ADJ);
 663     }
 664 }
 665
 666 static ethernet_arp_ip4_entry_t *
 667 force_reuse_arp_entry (void)
 668 {
 669   ethernet_arp_ip4_entry_t *e;
 670   ethernet_arp_main_t *am = &ethernet_arp_main;
 671   u32 count = 0;
 672   u32 index = pool_next_index (am->ip4_entry_pool, am->arp_delete_rotor);
 673   if (index == ~0)              /* Try again from elt 0 */
 674     index = pool_next_index (am->ip4_entry_pool, index);
 675
 676   /* Find a non-static random entry to free up for reuse */
 677   do
 678     {
 679       if ((count++ == 100) || (index == ~0))
 680         return NULL;            /* give up after 100 entries */
 681       e = pool_elt_at_index (am->ip4_entry_pool, index);
 682       am->arp_delete_rotor = index;
 683       index = pool_next_index (am->ip4_entry_pool, index);
 684     }
 685   while (e->flags & IP_NEIGHBOR_FLAG_STATIC);
 686
 687   /* Remove ARP entry from its interface and update fib */
 688   hash_unset
 689     (am->ethernet_arp_by_sw_if_index[e->sw_if_index].arp_entries,
 690      e->ip4_address.as_u32);
 691   arp_adj_fib_remove
 692     (e, ip4_fib_table_get_index_for_sw_if_index (e->sw_if_index));
 693   adj_nbr_walk_nh4 (e->sw_if_index,
 694                     &e->ip4_address, arp_mk_incomplete_walk, e);
 695   return e;
 696 }
 697
 698 static int
 699 vnet_arp_set_ip4_over_ethernet_internal (vnet_main_t * vnm,
 700                                          vnet_arp_set_ip4_over_ethernet_rpc_args_t
 701                                          * args)
 702 {
 703   ethernet_arp_ip4_entry_t *e = 0;
 704   ethernet_arp_main_t *am = &ethernet_arp_main;
 705   vlib_main_t *vm = vlib_get_main ();
 706   int make_new_arp_cache_entry = 1;
 707   uword *p;
 708   pending_resolution_t *pr, *mc;
 709   ethernet_arp_interface_t *arp_int;
 710   u32 sw_if_index = args->sw_if_index;
 711
 712   arp_enable (am, sw_if_index);
 713
 714   arp_int = &am->ethernet_arp_by_sw_if_index[sw_if_index];
 715
 716   if (NULL != arp_int->arp_entries)
 717     {
 718       p = hash_get (arp_int->arp_entries, args->ip4.as_u32);
 719       if (p)
 720         {
 721           e = pool_elt_at_index (am->ip4_entry_pool, p[0]);
 722
 723           /* Refuse to over-write static arp. */
 724           if (!(args->nbr_flags & IP_NEIGHBOR_FLAG_STATIC) &&
 725               (e->flags & IP_NEIGHBOR_FLAG_STATIC))
 726             {
 727               /* if MAC address match, still check to send event */
 728               if (mac_address_equal (&e->mac, &args->mac))
 729                 goto check_customers;
 730               return -2;
 731             }
 732           make_new_arp_cache_entry = 0;
 733         }
 734     }
 735
 736   if (make_new_arp_cache_entry)
 737     {
 738       if (am->limit_arp_cache_size &&
 739           pool_elts (am->ip4_entry_pool) >= am->limit_arp_cache_size)
 740         {
 741           e = force_reuse_arp_entry ();
 742           if (NULL == e)
 743             return -2;
 744         }
 745       else
 746         pool_get (am->ip4_entry_pool, e);
 747
 748       if (NULL == arp_int->arp_entries)
 749         arp_int->arp_entries = hash_create (0, sizeof (u32));
 750
 751       hash_set (arp_int->arp_entries, args->ip4.as_u32,
 752                 e - am->ip4_entry_pool);
 753
 754       e->sw_if_index = sw_if_index;
 755       e->ip4_address = args->ip4;
 756       e->fib_entry_index = FIB_NODE_INDEX_INVALID;
 757       mac_address_copy (&e->mac, &args->mac);
 758
 759       if (!(args->nbr_flags & IP_NEIGHBOR_FLAG_NO_FIB_ENTRY))
 760         {
 761           arp_adj_fib_add (e,
 762                            ip4_fib_table_get_index_for_sw_if_index
 763                            (e->sw_if_index));
 764         }
 765       else
 766         {
 767           e->flags |= IP_NEIGHBOR_FLAG_NO_FIB_ENTRY;
 768         }
 769     }
 770   else
 771     {
 772       /*
 773        * prevent a DoS attack from the data-plane that
 774        * spams us with no-op updates to the MAC address
 775        */
 776       if (mac_address_equal (&e->mac, &args->mac))
 777         {
 778           e->time_last_updated = vlib_time_now (vm);
 779           goto check_customers;
 780         }
 781
 782       /* Update ethernet address. */
 783       mac_address_copy (&e->mac, &args->mac);
 784     }
 785
 786   /* Update time stamp and flags. */
 787   e->time_last_updated = vlib_time_now (vm);
 788   if (args->nbr_flags & IP_NEIGHBOR_FLAG_STATIC)
 789     {
 790       e->flags &= ~IP_NEIGHBOR_FLAG_DYNAMIC;
 791       e->flags |= IP_NEIGHBOR_FLAG_STATIC;
 792     }
 793   else
 794     {
 795       e->flags &= ~IP_NEIGHBOR_FLAG_STATIC;
 796       e->flags |= IP_NEIGHBOR_FLAG_DYNAMIC;
 797     }
 798
 799   adj_nbr_walk_nh4 (sw_if_index, &e->ip4_address, arp_mk_complete_walk, e);
 800
 801 check_customers:
 802   /* Customer(s) waiting for this address to be resolved? */
 803   p = hash_get (am->pending_resolutions_by_address, args->ip4.as_u32);
 804   if (p)
 805     {
 806       u32 next_index;
 807       next_index = p[0];
 808
 809       while (next_index != (u32) ~ 0)
 810         {
 811           pr = pool_elt_at_index (am->pending_resolutions, next_index);
 812           vlib_process_signal_event (vm, pr->node_index,
 813                                      pr->type_opaque, pr->data);
 814           next_index = pr->next_index;
 815           pool_put (am->pending_resolutions, pr);
 816         }
 817
 818       hash_unset (am->pending_resolutions_by_address, args->ip4.as_u32);
 819     }
 820
 821   /* Customer(s) requesting ARP event for this address? */
 822   p = hash_get (am->mac_changes_by_address, args->ip4.as_u32);
 823   if (p)
 824     {
 825       u32 next_index;
 826       next_index = p[0];
 827
 828       while (next_index != (u32) ~ 0)
 829         {
 830           int rv = 1;
 831           mc = pool_elt_at_index (am->mac_changes, next_index);
 832
 833           /* Call the user's data callback, return 1 to suppress dup events */
 834           if (mc->data_callback)
 835             rv = (mc->data_callback) (mc->data, &args->mac, sw_if_index, 0);
 836
 837           /*
 838            * Signal the resolver process, as long as the user
 839            * says they want to be notified
 840            */
 841           if (rv == 0)
 842             vlib_process_signal_event (vm, mc->node_index,
 843                                        mc->type_opaque, mc->data);
 844           next_index = mc->next_index;
 845         }
 846     }
 847
 848   return 0;
 849 }
 850
 851 void
 852 vnet_register_ip4_arp_resolution_event (vnet_main_t * vnm,
 853                                         void *address_arg,
 854                                         uword node_index,
 855                                         uword type_opaque, uword data)
 856 {
 857   ethernet_arp_main_t *am = &ethernet_arp_main;
 858   ip4_address_t *address = address_arg;
 859   uword *p;
 860   pending_resolution_t *pr;
 861
 862   pool_get (am->pending_resolutions, pr);
 863
 864   pr->next_index = ~0;
 865   pr->node_index = node_index;
 866   pr->type_opaque = type_opaque;
 867   pr->data = data;
 868   pr->data_callback = 0;
 869
 870   p = hash_get (am->pending_resolutions_by_address, address->as_u32);
 871   if (p)
 872     {
 873       /* Insert new resolution at the head of the list */
 874       pr->next_index = p[0];
 875       hash_unset (am->pending_resolutions_by_address, address->as_u32);
 876     }
 877
 878   hash_set (am->pending_resolutions_by_address, address->as_u32,
 879             pr - am->pending_resolutions);
 880 }
 881
 882 int
 883 vnet_add_del_ip4_arp_change_event (vnet_main_t * vnm,
 884                                    arp_change_event_cb_t data_callback,
 885                                    u32 pid,
 886                                    void *address_arg,
 887                                    uword node_index,
 888                                    uword type_opaque, uword data, int is_add)
 889 {
 890   ethernet_arp_main_t *am = &ethernet_arp_main;
 891   ip4_address_t *address = address_arg;
 892
 893   /* Try to find an existing entry */
 894   u32 *first = (u32 *) hash_get (am->mac_changes_by_address, address->as_u32);
 895   u32 *p = first;
 896   pending_resolution_t *mc;
 897   while (p && *p != ~0)
 898     {
 899       mc = pool_elt_at_index (am->mac_changes, *p);
 900       if (mc->node_index == node_index && mc->type_opaque == type_opaque
 901           && mc->pid == pid)
 902         break;
 903       p = &mc->next_index;
 904     }
 905
 906   int found = p && *p != ~0;
 907   if (is_add)
 908     {
 909       if (found)
 910         return VNET_API_ERROR_ENTRY_ALREADY_EXISTS;
 911
 912       pool_get (am->mac_changes, mc);
 913       /* *INDENT-OFF* */
 914       *mc = (pending_resolution_t)
 915       {
 916         .next_index = ~0,
 917         .node_index = node_index,
 918         .type_opaque = type_opaque,
 919         .data = data,
 920         .data_callback = data_callback,
 921         .pid = pid,
 922       };
 923       /* *INDENT-ON* */
 924
 925       /* Insert new resolution at the end of the list */
 926       u32 new_idx = mc - am->mac_changes;
 927       if (p)
 928         p[0] = new_idx;
 929       else
 930         hash_set (am->mac_changes_by_address, address->as_u32, new_idx);
 931     }
 932   else
 933     {
 934       if (!found)
 935         return VNET_API_ERROR_NO_SUCH_ENTRY;
 936
 937       /* Clients may need to clean up pool entries, too */
 938       if (data_callback)
 939         /* no new mac addrs */
 940         (data_callback) (mc->data, NULL, ~0, NULL);
 941
 942       /* Remove the entry from the list and delete the entry */
 943       *p = mc->next_index;
 944       pool_put (am->mac_changes, mc);
 945
 946       /* Remove from hash if we deleted the last entry */
 947       if (*p == ~0 && p == first)
 948         hash_unset (am->mac_changes_by_address, address->as_u32);
 949     }
 950   return 0;
 951 }
 952
 953 /* Either we drop the packet or we send a reply to the sender. */
 954 typedef enum
 955 {
 956   ARP_REPLY_NEXT_DROP,
 957   ARP_REPLY_NEXT_REPLY_TX,
 958   ARP_REPLY_N_NEXT,
 959 } arp_reply_next_t;
 960
 961 #define foreach_ethernet_arp_error                                      \
 962   _ (replies_sent, "ARP replies sent")                                  \
 963   _ (l2_type_not_ethernet, "L2 type not ethernet")                      \
 964   _ (l3_type_not_ip4, "L3 type not IP4")                                \
 965   _ (l3_src_address_not_local, "IP4 source address not local to subnet") \
 966   _ (l3_dst_address_not_local, "IP4 destination address not local to subnet") \
 967   _ (l3_dst_address_unset, "IP4 destination address is unset")          \
 968   _ (l3_src_address_is_local, "IP4 source address matches local interface") \
 969   _ (l3_src_address_learned, "ARP request IP4 source address learned")  \
 970   _ (replies_received, "ARP replies received")                          \
 971   _ (opcode_not_request, "ARP opcode not request")                      \
 972   _ (proxy_arp_replies_sent, "Proxy ARP replies sent")                  \
 973   _ (l2_address_mismatch, "ARP hw addr does not match L2 frame src addr") \
 974   _ (gratuitous_arp, "ARP probe or announcement dropped") \
 975   _ (interface_no_table, "Interface is not mapped to an IP table") \
 976   _ (interface_not_ip_enabled, "Interface is not IP enabled") \
 977   _ (unnumbered_mismatch, "RX interface is unnumbered to different subnet") \
 978
 979 typedef enum
 980 {
 981 #define _(sym,string) ETHERNET_ARP_ERROR_##sym,
 982   foreach_ethernet_arp_error
 983 #undef _
 984     ETHERNET_ARP_N_ERROR,
 985 } ethernet_arp_reply_error_t;
 986
 987 static int
 988 arp_unnumbered (vlib_buffer_t * p0,
 989                 u32 input_sw_if_index, u32 conn_sw_if_index)
 990 {
 991   vnet_main_t *vnm = vnet_get_main ();
 992   vnet_interface_main_t *vim = &vnm->interface_main;
 993   vnet_sw_interface_t *si;
 994
 995   /* verify that the input interface is unnumbered to the connected.
 996    * the connected interface is the interface on which the subnet is
 997    * configured */
 998   si = &vim->sw_interfaces[input_sw_if_index];
 999
1000   if (!(si->flags & VNET_SW_INTERFACE_FLAG_UNNUMBERED &&
1001         (si->unnumbered_sw_if_index == conn_sw_if_index)))
1002     {
1003       /* the input interface is not unnumbered to the interface on which
1004        * the sub-net is configured that covers the ARP request.
1005        * So this is not the case for unnumbered.. */
1006       return 0;
1007     }
1008
1009   return !0;
1010 }
1011
1012 static u32
1013 arp_learn (vnet_main_t * vnm,
1014            ethernet_arp_main_t * am, u32 sw_if_index,
1015            const ethernet_arp_ip4_over_ethernet_address_t * addr)
1016 {
1017   vnet_arp_set_ip4_over_ethernet (vnm, sw_if_index, addr, 0);
1018   return (ETHERNET_ARP_ERROR_l3_src_address_learned);
1019 }
1020
1021 typedef enum arp_input_next_t_
1022 {
1023   ARP_INPUT_NEXT_DROP,
1024   ARP_INPUT_NEXT_DISABLED,
1025   ARP_INPUT_N_NEXT,
1026 } arp_input_next_t;
1027
1028 static uword
1029 arp_input (vlib_main_t * vm, vlib_node_runtime_t * node, vlib_frame_t * frame)
1030 {
1031   u32 n_left_from, next_index, *from, *to_next, n_left_to_next;
1032   ethernet_arp_main_t *am = &ethernet_arp_main;
1033
1034   from = vlib_frame_vector_args (frame);
1035   n_left_from = frame->n_vectors;
1036   next_index = node->cached_next_index;
1037
1038   if (node->flags & VLIB_NODE_FLAG_TRACE)
1039     vlib_trace_frame_buffers_only (vm, node, from, frame->n_vectors,
1040                                    /* stride */ 1,
1041                                    sizeof (ethernet_arp_input_trace_t));
1042
1043   while (n_left_from > 0)
1044     {
1045       vlib_get_next_frame (vm, node, next_index, to_next, n_left_to_next);
1046
1047       while (n_left_from > 0 && n_left_to_next > 0)
1048         {
1049           const ethernet_arp_header_t *arp0;
1050           arp_input_next_t next0;
1051           vlib_buffer_t *p0;
1052           u32 pi0, error0;
1053
1054           pi0 = to_next[0] = from[0];
1055           from += 1;
1056           to_next += 1;
1057           n_left_from -= 1;
1058           n_left_to_next -= 1;
1059
1060           p0 = vlib_get_buffer (vm, pi0);
1061           arp0 = vlib_buffer_get_current (p0);
1062
1063           error0 = ETHERNET_ARP_ERROR_replies_sent;
1064           next0 = ARP_INPUT_NEXT_DROP;
1065
1066           error0 =
1067             (arp0->l2_type !=
1068              clib_net_to_host_u16 (ETHERNET_ARP_HARDWARE_TYPE_ethernet) ?
1069              ETHERNET_ARP_ERROR_l2_type_not_ethernet : error0);
1070           error0 =
1071             (arp0->l3_type !=
1072              clib_net_to_host_u16 (ETHERNET_TYPE_IP4) ?
1073              ETHERNET_ARP_ERROR_l3_type_not_ip4 : error0);
1074           error0 =
1075             (0 == arp0->ip4_over_ethernet[0].ip4.as_u32 ?
1076              ETHERNET_ARP_ERROR_l3_dst_address_unset : error0);
1077
1078           if (ETHERNET_ARP_ERROR_replies_sent == error0)
1079             {
1080               next0 = ARP_INPUT_NEXT_DISABLED;
1081               vnet_feature_arc_start (am->feature_arc_index,
1082                                       vnet_buffer (p0)->sw_if_index[VLIB_RX],
1083                                       &next0, p0);
1084             }
1085           else
1086             p0->error = node->errors[error0];
1087
1088           vlib_validate_buffer_enqueue_x1 (vm, node, next_index, to_next,
1089                                            n_left_to_next, pi0, next0);
1090         }
1091
1092       vlib_put_next_frame (vm, node, next_index, n_left_to_next);
1093     }
1094
1095   return frame->n_vectors;
1096 }
1097
1098 typedef enum arp_disabled_next_t_
1099 {
1100   ARP_DISABLED_NEXT_DROP,
1101   ARP_DISABLED_N_NEXT,
1102 } arp_disabled_next_t;
1103
1104 #define foreach_arp_disabled_error                                      \
1105   _ (DISABLED, "ARP Disabled on this interface")                    \
1106
1107 typedef enum
1108 {
1109 #define _(sym,string) ARP_DISABLED_ERROR_##sym,
1110   foreach_arp_disabled_error
1111 #undef _
1112     ARP_DISABLED_N_ERROR,
1113 } arp_disabled_error_t;
1114
1115 static char *arp_disabled_error_strings[] = {
1116 #define _(sym,string) string,
1117   foreach_arp_disabled_error
1118 #undef _
1119 };
1120
1121 static uword
1122 arp_disabled (vlib_main_t * vm,
1123               vlib_node_runtime_t * node, vlib_frame_t * frame)
1124 {
1125   u32 n_left_from, next_index, *from, *to_next, n_left_to_next;
1126
1127   from = vlib_frame_vector_args (frame);
1128   n_left_from = frame->n_vectors;
1129   next_index = node->cached_next_index;
1130
1131   if (node->flags & VLIB_NODE_FLAG_TRACE)
1132     vlib_trace_frame_buffers_only (vm, node, from, frame->n_vectors,
1133                                    /* stride */ 1,
1134                                    sizeof (ethernet_arp_input_trace_t));
1135
1136   while (n_left_from > 0)
1137     {
1138       vlib_get_next_frame (vm, node, next_index, to_next, n_left_to_next);
1139
1140       while (n_left_from > 0 && n_left_to_next > 0)
1141         {
1142           arp_disabled_next_t next0 = ARP_DISABLED_NEXT_DROP;
1143           vlib_buffer_t *p0;
1144           u32 pi0, error0;
1145
1146           next0 = ARP_DISABLED_NEXT_DROP;
1147           error0 = ARP_DISABLED_ERROR_DISABLED;
1148
1149           pi0 = to_next[0] = from[0];
1150           from += 1;
1151           to_next += 1;
1152           n_left_from -= 1;
1153           n_left_to_next -= 1;
1154
1155           p0 = vlib_get_buffer (vm, pi0);
1156           p0->error = node->errors[error0];
1157
1158           vlib_validate_buffer_enqueue_x1 (vm, node, next_index, to_next,
1159                                            n_left_to_next, pi0, next0);
1160         }
1161
1162       vlib_put_next_frame (vm, node, next_index, n_left_to_next);
1163     }
1164
1165   return frame->n_vectors;
1166 }
1167
1168 static_always_inline u32
1169 arp_mk_reply (vnet_main_t * vnm,
1170               vlib_buffer_t * p0,
1171               u32 sw_if_index0,
1172               const ip4_address_t * if_addr0,
1173               ethernet_arp_header_t * arp0, ethernet_header_t * eth_rx)
1174 {
1175   vnet_hw_interface_t *hw_if0;
1176   u8 *rewrite0, rewrite0_len;
1177   ethernet_header_t *eth_tx;
1178   u32 next0;
1179
1180   /* Send a reply.
1181      An adjacency to the sender is not always present,
1182      so we use the interface to build us a rewrite string
1183      which will contain all the necessary tags. */
1184   rewrite0 = ethernet_build_rewrite (vnm, sw_if_index0,
1185                                      VNET_LINK_ARP, eth_rx->src_address);
1186   rewrite0_len = vec_len (rewrite0);
1187
1188   /* Figure out how much to rewind current data from adjacency. */
1189   vlib_buffer_advance (p0, -rewrite0_len);
1190   eth_tx = vlib_buffer_get_current (p0);
1191
1192   vnet_buffer (p0)->sw_if_index[VLIB_TX] = sw_if_index0;
1193   hw_if0 = vnet_get_sup_hw_interface (vnm, sw_if_index0);
1194
1195   /* Send reply back through input interface */
1196   vnet_buffer (p0)->sw_if_index[VLIB_TX] = sw_if_index0;
1197   next0 = ARP_REPLY_NEXT_REPLY_TX;
1198
1199   arp0->opcode = clib_host_to_net_u16 (ETHERNET_ARP_OPCODE_reply);
1200
1201   arp0->ip4_over_ethernet[1] = arp0->ip4_over_ethernet[0];
1202
1203   mac_address_from_bytes (&arp0->ip4_over_ethernet[0].mac,
1204                           hw_if0->hw_address);
1205   clib_mem_unaligned (&arp0->ip4_over_ethernet[0].ip4.data_u32, u32) =
1206     if_addr0->data_u32;
1207
1208   /* Hardware must be ethernet-like. */
1209   ASSERT (vec_len (hw_if0->hw_address) == 6);
1210
1211   /* the rx nd tx ethernet headers wil overlap in the case
1212    * when we received a tagged VLAN=0 packet, but we are sending
1213    * back untagged */
1214   clib_memcpy_fast (eth_tx, rewrite0, vec_len (rewrite0));
1215   vec_free (rewrite0);
1216
1217   return (next0);
1218 }
1219
1220 enum arp_dst_fib_type
1221 {
1222   ARP_DST_FIB_NONE,
1223   ARP_DST_FIB_ADJ,
1224   ARP_DST_FIB_CONN
1225 };
1226
1227 /*
1228  * we're looking for FIB sources that indicate the destination
1229  * is attached. There may be interposed DPO prior to the one
1230  * we are looking for
1231  */
1232 static enum arp_dst_fib_type
1233 arp_dst_fib_check (const fib_node_index_t fei, fib_entry_flag_t * flags)
1234 {
1235   const fib_entry_t *entry = fib_entry_get (fei);
1236   const fib_entry_src_t *entry_src;
1237   fib_source_t src;
1238   /* *INDENT-OFF* */
1239   FOR_EACH_SRC_ADDED(entry, entry_src, src,
1240   ({
1241     *flags = fib_entry_get_flags_for_source (fei, src);
1242     if (fib_entry_is_sourced (fei, FIB_SOURCE_ADJ))
1243         return ARP_DST_FIB_ADJ;
1244       else if (FIB_ENTRY_FLAG_CONNECTED & *flags)
1245         return ARP_DST_FIB_CONN;
1246   }))
1247   /* *INDENT-ON* */
1248
1249   return ARP_DST_FIB_NONE;
1250 }
1251
1252 static uword
1253 arp_reply (vlib_main_t * vm, vlib_node_runtime_t * node, vlib_frame_t * frame)
1254 {
1255   ethernet_arp_main_t *am = &ethernet_arp_main;
1256   vnet_main_t *vnm = vnet_get_main ();
1257   u32 n_left_from, next_index, *from, *to_next;
1258   u32 n_replies_sent = 0;
1259
1260   from = vlib_frame_vector_args (frame);
1261   n_left_from = frame->n_vectors;
1262   next_index = node->cached_next_index;
1263
1264   if (node->flags & VLIB_NODE_FLAG_TRACE)
1265     vlib_trace_frame_buffers_only (vm, node, from, frame->n_vectors,
1266                                    /* stride */ 1,
1267                                    sizeof (ethernet_arp_input_trace_t));
1268
1269   while (n_left_from > 0)
1270     {
1271       u32 n_left_to_next;
1272
1273       vlib_get_next_frame (vm, node, next_index, to_next, n_left_to_next);
1274
1275       while (n_left_from > 0 && n_left_to_next > 0)
1276         {
1277           vlib_buffer_t *p0;
1278           ethernet_arp_header_t *arp0;
1279           ethernet_header_t *eth_rx;
1280           const ip4_address_t *if_addr0;
1281           u32 pi0, error0, next0, sw_if_index0, conn_sw_if_index0, fib_index0;
1282           u8 dst_is_local0, is_vrrp_reply0;
1283           fib_node_index_t dst_fei, src_fei;
1284           const fib_prefix_t *pfx0;
1285           fib_entry_flag_t src_flags, dst_flags;
1286
1287           pi0 = from[0];
1288           to_next[0] = pi0;
1289           from += 1;
1290           to_next += 1;
1291           n_left_from -= 1;
1292           n_left_to_next -= 1;
1293
1294           p0 = vlib_get_buffer (vm, pi0);
1295           arp0 = vlib_buffer_get_current (p0);
1296           /* Fill in ethernet header. */
1297           eth_rx = ethernet_buffer_get_header (p0);
1298
1299           next0 = ARP_REPLY_NEXT_DROP;
1300           error0 = ETHERNET_ARP_ERROR_replies_sent;
1301           sw_if_index0 = vnet_buffer (p0)->sw_if_index[VLIB_RX];
1302
1303           /* Check that IP address is local and matches incoming interface. */
1304           fib_index0 = ip4_fib_table_get_index_for_sw_if_index (sw_if_index0);
1305           if (~0 == fib_index0)
1306             {
1307               error0 = ETHERNET_ARP_ERROR_interface_no_table;
1308               goto drop;
1309
1310             }
1311
1312           {
1313             /*
1314              * we're looking for FIB entries that indicate the source
1315              * is attached. There may be more specific non-attached
1316              * routes that match the source, but these do not influence
1317              * whether we respond to an ARP request, i.e. they do not
1318              * influence whether we are the correct way for the sender
1319              * to reach us, they only affect how we reach the sender.
1320              */
1321             fib_entry_t *src_fib_entry;
1322             const fib_prefix_t *pfx;
1323             fib_entry_src_t *src;
1324             fib_source_t source;
1325             int attached;
1326             int mask;
1327
1328             mask = 32;
1329             attached = 0;
1330
1331             do
1332               {
1333                 src_fei = ip4_fib_table_lookup (ip4_fib_get (fib_index0),
1334                                                 &arp0->
1335                                                 ip4_over_ethernet[0].ip4,
1336                                                 mask);
1337                 src_fib_entry = fib_entry_get (src_fei);
1338
1339                 /*
1340                  * It's possible that the source that provides the
1341                  * flags we need, or the flags we must not have,
1342                  * is not the best source, so check then all.
1343                  */
1344                 /* *INDENT-OFF* */
1345                 FOR_EACH_SRC_ADDED(src_fib_entry, src, source,
1346                 ({
1347                   src_flags = fib_entry_get_flags_for_source (src_fei, source);
1348
1349                   /* Reject requests/replies with our local interface
1350                      address. */
1351                   if (FIB_ENTRY_FLAG_LOCAL & src_flags)
1352                     {
1353                       error0 = ETHERNET_ARP_ERROR_l3_src_address_is_local;
1354                       /*
1355                        * When VPP has an interface whose address is also
1356                        * applied to a TAP interface on the host, then VPP's
1357                        * TAP interface will be unnumbered  to the 'real'
1358                        * interface and do proxy ARP from the host.
1359                        * The curious aspect of this setup is that ARP requests
1360                        * from the host will come from the VPP's own address.
1361                        * So don't drop immediately here, instead go see if this
1362                        * is a proxy ARP case.
1363                        */
1364                       goto next_feature;
1365                     }
1366                   /* A Source must also be local to subnet of matching
1367                    * interface address. */
1368                   if ((FIB_ENTRY_FLAG_ATTACHED & src_flags) ||
1369                       (FIB_ENTRY_FLAG_CONNECTED & src_flags))
1370                     {
1371                       attached = 1;
1372                       break;
1373                     }
1374                   /*
1375                    * else
1376                    *  The packet was sent from an address that is not
1377                    *  connected nor attached i.e. it is not from an
1378                    *  address that is covered by a link's sub-net,
1379                    *  nor is it a already learned host resp.
1380                    */
1381                 }));
1382                 /* *INDENT-ON* */
1383
1384                 /*
1385                  * shorter mask lookup for the next iteration.
1386                  */
1387                 pfx = fib_entry_get_prefix (src_fei);
1388                 mask = pfx->fp_len - 1;
1389
1390                 /*
1391                  * continue until we hit the default route or we find
1392                  * the attached we are looking for. The most likely
1393                  * outcome is we find the attached with the first source
1394                  * on the first lookup.
1395                  */
1396               }
1397             while (!attached &&
1398                    !fib_entry_is_sourced (src_fei, FIB_SOURCE_DEFAULT_ROUTE));
1399
1400             if (!attached)
1401               {
1402                 /*
1403                  * the matching route is a not attached, i.e. it was
1404                  * added as a result of routing, rather than interface/ARP
1405                  * configuration. If the matching route is not a host route
1406                  * (i.e. a /32)
1407                  */
1408                 error0 = ETHERNET_ARP_ERROR_l3_src_address_not_local;
1409                 goto drop;
1410               }
1411           }
1412
1413           dst_fei = ip4_fib_table_lookup (ip4_fib_get (fib_index0),
1414                                           &arp0->ip4_over_ethernet[1].ip4,
1415                                           32);
1416           switch (arp_dst_fib_check (dst_fei, &dst_flags))
1417             {
1418             case ARP_DST_FIB_ADJ:
1419               /*
1420                * We matched an adj-fib on ths source subnet (a /32 previously
1421                * added as a result of ARP). If this request is a gratuitous
1422                * ARP, then learn from it.
1423                * The check for matching an adj-fib, is to prevent hosts
1424                * from spamming us with gratuitous ARPS that might otherwise
1425                * blow our ARP cache
1426                */
1427               if (arp0->ip4_over_ethernet[0].ip4.as_u32 ==
1428                   arp0->ip4_over_ethernet[1].ip4.as_u32)
1429                 error0 = arp_learn (vnm, am, sw_if_index0,
1430                                     &arp0->ip4_over_ethernet[0]);
1431               goto drop;
1432             case ARP_DST_FIB_CONN:
1433               /* destination is connected, continue to process */
1434               break;
1435             case ARP_DST_FIB_NONE:
1436               /* destination is not connected, stop here */
1437               error0 = ETHERNET_ARP_ERROR_l3_dst_address_not_local;
1438               goto next_feature;
1439             }
1440
1441           dst_is_local0 = (FIB_ENTRY_FLAG_LOCAL & dst_flags);
1442           pfx0 = fib_entry_get_prefix (dst_fei);
1443           if_addr0 = &pfx0->fp_addr.ip4;
1444
1445           is_vrrp_reply0 =
1446             ((arp0->opcode ==
1447               clib_host_to_net_u16 (ETHERNET_ARP_OPCODE_reply))
1448              &&
1449              (!memcmp
1450               (arp0->ip4_over_ethernet[0].mac.bytes, vrrp_prefix,
1451                sizeof (vrrp_prefix))));
1452
1453           /* Trash ARP packets whose ARP-level source addresses do not
1454              match their L2-frame-level source addresses, unless it's
1455              a reply from a VRRP virtual router */
1456           if (!ethernet_mac_address_equal
1457               (eth_rx->src_address,
1458                arp0->ip4_over_ethernet[0].mac.bytes) && !is_vrrp_reply0)
1459             {
1460               error0 = ETHERNET_ARP_ERROR_l2_address_mismatch;
1461               goto drop;
1462             }
1463
1464           /* Learn or update sender's mapping only for replies to addresses
1465            * that are local to the subnet */
1466           if (arp0->opcode ==
1467               clib_host_to_net_u16 (ETHERNET_ARP_OPCODE_reply))
1468             {
1469               if (dst_is_local0)
1470                 error0 = arp_learn (vnm, am, sw_if_index0,
1471                                     &arp0->ip4_over_ethernet[0]);
1472               else
1473                 /* a reply for a non-local destination could be a GARP.
1474                  * GARPs for hosts we know were handled above, so this one
1475                  * we drop */
1476                 error0 = ETHERNET_ARP_ERROR_l3_dst_address_not_local;
1477
1478               goto next_feature;
1479             }
1480           else if (arp0->opcode ==
1481                    clib_host_to_net_u16 (ETHERNET_ARP_OPCODE_request) &&
1482                    (dst_is_local0 == 0))
1483             {
1484               goto next_feature;
1485             }
1486
1487           /* Honor unnumbered interface, if any */
1488           conn_sw_if_index0 = fib_entry_get_resolving_interface (dst_fei);
1489           if (sw_if_index0 != conn_sw_if_index0 ||
1490               sw_if_index0 != fib_entry_get_resolving_interface (src_fei))
1491             {
1492               /*
1493                * The interface the ARP is sent to or was received on is not the
1494                * interface on which the covering prefix is configured.
1495                * Maybe this is a case for unnumbered.
1496                */
1497               if (!arp_unnumbered (p0, sw_if_index0, conn_sw_if_index0))
1498                 {
1499                   error0 = ETHERNET_ARP_ERROR_unnumbered_mismatch;
1500                   goto drop;
1501                 }
1502             }
1503           if (arp0->ip4_over_ethernet[0].ip4.as_u32 ==
1504               arp0->ip4_over_ethernet[1].ip4.as_u32)
1505             {
1506               error0 = ETHERNET_ARP_ERROR_gratuitous_arp;
1507               goto drop;
1508             }
1509
1510           next0 = arp_mk_reply (vnm, p0, sw_if_index0,
1511                                 if_addr0, arp0, eth_rx);
1512
1513           /* We are going to reply to this request, so, in the absence of
1514              errors, learn the sender */
1515           if (!error0)
1516             error0 = arp_learn (vnm, am, sw_if_index0,
1517                                 &arp0->ip4_over_ethernet[1]);
1518
1519           n_replies_sent += 1;
1520           goto enqueue;
1521
1522         next_feature:
1523           vnet_feature_next (&next0, p0);
1524           goto enqueue;
1525
1526         drop:
1527           p0->error = node->errors[error0];
1528
1529         enqueue:
1530           vlib_validate_buffer_enqueue_x1 (vm, node, next_index, to_next,
1531                                            n_left_to_next, pi0, next0);
1532         }
1533
1534       vlib_put_next_frame (vm, node, next_index, n_left_to_next);
1535     }
1536
1537   vlib_error_count (vm, node->node_index,
1538                     ETHERNET_ARP_ERROR_replies_sent, n_replies_sent);
1539
1540   return frame->n_vectors;
1541 }
1542
1543 static uword
1544 arp_proxy (vlib_main_t * vm, vlib_node_runtime_t * node, vlib_frame_t * frame)
1545 {
1546   ethernet_arp_main_t *am = &ethernet_arp_main;
1547   vnet_main_t *vnm = vnet_get_main ();
1548   u32 n_left_from, next_index, *from, *to_next;
1549   u32 n_arp_replies_sent = 0;
1550
1551   from = vlib_frame_vector_args (frame);
1552   n_left_from = frame->n_vectors;
1553   next_index = node->cached_next_index;
1554
1555   if (node->flags & VLIB_NODE_FLAG_TRACE)
1556     vlib_trace_frame_buffers_only (vm, node, from, frame->n_vectors,
1557                                    /* stride */ 1,
1558                                    sizeof (ethernet_arp_input_trace_t));
1559
1560   while (n_left_from > 0)
1561     {
1562       u32 n_left_to_next;
1563
1564       vlib_get_next_frame (vm, node, next_index, to_next, n_left_to_next);
1565
1566       while (n_left_from > 0 && n_left_to_next > 0)
1567         {
1568           vlib_buffer_t *p0;
1569           ethernet_arp_header_t *arp0;
1570           ethernet_header_t *eth_rx;
1571           ip4_address_t proxy_src;
1572           u32 pi0, error0, next0, sw_if_index0, fib_index0;
1573           u8 is_request0;
1574           ethernet_proxy_arp_t *pa;
1575
1576           pi0 = from[0];
1577           to_next[0] = pi0;
1578           from += 1;
1579           to_next += 1;
1580           n_left_from -= 1;
1581           n_left_to_next -= 1;
1582
1583           p0 = vlib_get_buffer (vm, pi0);
1584           arp0 = vlib_buffer_get_current (p0);
1585           /* Fill in ethernet header. */
1586           eth_rx = ethernet_buffer_get_header (p0);
1587
1588           is_request0 = arp0->opcode
1589             == clib_host_to_net_u16 (ETHERNET_ARP_OPCODE_request);
1590
1591           error0 = ETHERNET_ARP_ERROR_replies_sent;
1592           sw_if_index0 = vnet_buffer (p0)->sw_if_index[VLIB_RX];
1593           next0 = ARP_REPLY_NEXT_DROP;
1594
1595           fib_index0 = ip4_fib_table_get_index_for_sw_if_index (sw_if_index0);
1596           if (~0 == fib_index0)
1597             {
1598               error0 = ETHERNET_ARP_ERROR_interface_no_table;
1599             }
1600
1601           if (0 == error0 && is_request0)
1602             {
1603               u32 this_addr = clib_net_to_host_u32
1604                 (arp0->ip4_over_ethernet[1].ip4.as_u32);
1605
1606               vec_foreach (pa, am->proxy_arps)
1607               {
1608                 u32 lo_addr = clib_net_to_host_u32 (pa->lo_addr.as_u32);
1609                 u32 hi_addr = clib_net_to_host_u32 (pa->hi_addr.as_u32);
1610
1611                 /* an ARP request hit in the proxy-arp table? */
1612                 if ((this_addr >= lo_addr && this_addr <= hi_addr) &&
1613                     (fib_index0 == pa->fib_index))
1614                   {
1615                     proxy_src.as_u32 =
1616                       arp0->ip4_over_ethernet[1].ip4.data_u32;
1617
1618                     /*
1619                      * change the interface address to the proxied
1620                      */
1621                     n_arp_replies_sent++;
1622
1623                     next0 =
1624                       arp_mk_reply (vnm, p0, sw_if_index0, &proxy_src, arp0,
1625                                     eth_rx);
1626                   }
1627               }
1628             }
1629           else
1630             {
1631               p0->error = node->errors[error0];
1632             }
1633
1634           vlib_validate_buffer_enqueue_x1 (vm, node, next_index, to_next,
1635                                            n_left_to_next, pi0, next0);
1636         }
1637
1638       vlib_put_next_frame (vm, node, next_index, n_left_to_next);
1639     }
1640
1641   vlib_error_count (vm, node->node_index,
1642                     ETHERNET_ARP_ERROR_replies_sent, n_arp_replies_sent);
1643
1644   return frame->n_vectors;
1645 }
1646
1647 static char *ethernet_arp_error_strings[] = {
1648 #define _(sym,string) string,
1649   foreach_ethernet_arp_error
1650 #undef _
1651 };
1652
1653 /* *INDENT-OFF* */
1654
1655 VLIB_REGISTER_NODE (arp_input_node, static) =
1656 {
1657   .function = arp_input,
1658   .name = "arp-input",
1659   .vector_size = sizeof (u32),
1660   .n_errors = ETHERNET_ARP_N_ERROR,
1661   .error_strings = ethernet_arp_error_strings,
1662   .n_next_nodes = ARP_INPUT_N_NEXT,
1663   .next_nodes = {
1664     [ARP_INPUT_NEXT_DROP] = "error-drop",
1665     [ARP_INPUT_NEXT_DISABLED] = "arp-disabled",
1666   },
1667   .format_buffer = format_ethernet_arp_header,
1668   .format_trace = format_ethernet_arp_input_trace,
1669 };
1670
1671 VLIB_REGISTER_NODE (arp_disabled_node, static) =
1672 {
1673   .function = arp_disabled,
1674   .name = "arp-disabled",
1675   .vector_size = sizeof (u32),
1676   .n_errors = ARP_DISABLED_N_ERROR,
1677   .error_strings = arp_disabled_error_strings,
1678   .n_next_nodes = ARP_DISABLED_N_NEXT,
1679   .next_nodes = {
1680     [ARP_INPUT_NEXT_DROP] = "error-drop",
1681   },
1682   .format_buffer = format_ethernet_arp_header,
1683   .format_trace = format_ethernet_arp_input_trace,
1684 };
1685
1686 VLIB_REGISTER_NODE (arp_reply_node, static) =
1687 {
1688   .function = arp_reply,
1689   .name = "arp-reply",
1690   .vector_size = sizeof (u32),
1691   .n_errors = ETHERNET_ARP_N_ERROR,
1692   .error_strings = ethernet_arp_error_strings,
1693   .n_next_nodes = ARP_REPLY_N_NEXT,
1694   .next_nodes = {
1695     [ARP_REPLY_NEXT_DROP] = "error-drop",
1696     [ARP_REPLY_NEXT_REPLY_TX] = "interface-output",
1697   },
1698   .format_buffer = format_ethernet_arp_header,
1699   .format_trace = format_ethernet_arp_input_trace,
1700 };
1701
1702 VLIB_REGISTER_NODE (arp_proxy_node, static) =
1703 {
1704   .function = arp_proxy,
1705   .name = "arp-proxy",
1706   .vector_size = sizeof (u32),
1707   .n_errors = ETHERNET_ARP_N_ERROR,
1708   .error_strings = ethernet_arp_error_strings,
1709   .n_next_nodes = ARP_REPLY_N_NEXT,
1710   .next_nodes = {
1711     [ARP_REPLY_NEXT_DROP] = "error-drop",
1712     [ARP_REPLY_NEXT_REPLY_TX] = "interface-output",
1713   },
1714   .format_buffer = format_ethernet_arp_header,
1715   .format_trace = format_ethernet_arp_input_trace,
1716 };
1717
1718 /* Built-in ARP rx feature path definition */
1719 VNET_FEATURE_ARC_INIT (arp_feat, static) =
1720 {
1721   .arc_name = "arp",
1722   .start_nodes = VNET_FEATURES ("arp-input"),
1723   .last_in_arc = "arp-disabled",
1724   .arc_index_ptr = &ethernet_arp_main.feature_arc_index,
1725 };
1726
1727 VNET_FEATURE_INIT (arp_reply_feat_node, static) =
1728 {
1729   .arc_name = "arp",
1730   .node_name = "arp-reply",
1731   .runs_before = VNET_FEATURES ("arp-disabled"),
1732 };
1733
1734 VNET_FEATURE_INIT (arp_proxy_feat_node, static) =
1735 {
1736   .arc_name = "arp",
1737   .node_name = "arp-proxy",
1738   .runs_after = VNET_FEATURES ("arp-reply"),
1739   .runs_before = VNET_FEATURES ("arp-disabled"),
1740 };
1741
1742 VNET_FEATURE_INIT (arp_drop_feat_node, static) =
1743 {
1744   .arc_name = "arp",
1745   .node_name = "arp-disabled",
1746   .runs_before = 0,     /* last feature */
1747 };
1748
1749 /* *INDENT-ON* */
1750
1751 static int
1752 ip4_arp_entry_sort (void *a1, void *a2)
1753 {
1754   ethernet_arp_ip4_entry_t *e1 = a1;
1755   ethernet_arp_ip4_entry_t *e2 = a2;
1756
1757   int cmp;
1758   vnet_main_t *vnm = vnet_get_main ();
1759
1760   cmp = vnet_sw_interface_compare (vnm, e1->sw_if_index, e2->sw_if_index);
1761   if (!cmp)
1762     cmp = ip4_address_compare (&e1->ip4_address, &e2->ip4_address);
1763   return cmp;
1764 }
1765
1766 ethernet_arp_ip4_entry_t *
1767 ip4_neighbors_pool (void)
1768 {
1769   ethernet_arp_main_t *am = &ethernet_arp_main;
1770   return am->ip4_entry_pool;
1771 }
1772
1773 ethernet_arp_ip4_entry_t *
1774 ip4_neighbor_entries (u32 sw_if_index)
1775 {
1776   ethernet_arp_main_t *am = &ethernet_arp_main;
1777   ethernet_arp_ip4_entry_t *n, *ns = 0;
1778
1779   /* *INDENT-OFF* */
1780   pool_foreach (n, am->ip4_entry_pool, ({
1781     if (sw_if_index != ~0 && n->sw_if_index != sw_if_index)
1782       continue;
1783     vec_add1 (ns, n[0]);
1784   }));
1785   /* *INDENT-ON* */
1786
1787   if (ns)
1788     vec_sort_with_function (ns, ip4_arp_entry_sort);
1789   return ns;
1790 }
1791
1792 static clib_error_t *
1793 show_ip4_arp (vlib_main_t * vm,
1794               unformat_input_t * input, vlib_cli_command_t * cmd)
1795 {
1796   vnet_main_t *vnm = vnet_get_main ();
1797   ethernet_arp_main_t *am = &ethernet_arp_main;
1798   ethernet_arp_ip4_entry_t *e, *es;
1799   ethernet_proxy_arp_t *pa;
1800   clib_error_t *error = 0;
1801   u32 sw_if_index;
1802
1803   /* Filter entries by interface if given. */
1804   sw_if_index = ~0;
1805   (void) unformat_user (input, unformat_vnet_sw_interface, vnm, &sw_if_index);
1806
1807   es = ip4_neighbor_entries (sw_if_index);
1808   if (es)
1809     {
1810       vlib_cli_output (vm, "%U", format_ethernet_arp_ip4_entry, vnm, 0);
1811       vec_foreach (e, es)
1812       {
1813         vlib_cli_output (vm, "%U", format_ethernet_arp_ip4_entry, vnm, e);
1814       }
1815       vec_free (es);
1816     }
1817
1818   if (vec_len (am->proxy_arps))
1819     {
1820       vlib_cli_output (vm, "Proxy arps enabled for:");
1821       vec_foreach (pa, am->proxy_arps)
1822       {
1823         vlib_cli_output (vm, "Fib_index %d   %U - %U ",
1824                          pa->fib_index,
1825                          format_ip4_address, &pa->lo_addr,
1826                          format_ip4_address, &pa->hi_addr);
1827       }
1828     }
1829
1830   return error;
1831 }
1832
1833 /*?
1834  * Display all the IPv4 ARP entries.
1835  *
1836  * @cliexpar
1837  * Example of how to display the IPv4 ARP table:
1838  * @cliexstart{show ip arp}
1839  *    Time      FIB        IP4       Flags      Ethernet              Interface
1840  *    346.3028   0       6.1.1.3            de:ad:be:ef:ba:be   GigabitEthernet2/0/0
1841  *   3077.4271   0       6.1.1.4       S    de:ad:be:ef:ff:ff   GigabitEthernet2/0/0
1842  *   2998.6409   1       6.2.2.3            de:ad:be:ef:00:01   GigabitEthernet2/0/0
1843  * Proxy arps enabled for:
1844  * Fib_index 0   6.0.0.1 - 6.0.0.11
1845  * @cliexend
1846  ?*/
1847 /* *INDENT-OFF* */
1848 VLIB_CLI_COMMAND (show_ip4_arp_command, static) = {
1849   .path = "show ip arp",
1850   .function = show_ip4_arp,
1851   .short_help = "show ip arp",
1852 };
1853 /* *INDENT-ON* */
1854
1855 typedef struct
1856 {
1857   pg_edit_t l2_type, l3_type;
1858   pg_edit_t n_l2_address_bytes, n_l3_address_bytes;
1859   pg_edit_t opcode;
1860   struct
1861   {
1862     pg_edit_t mac;
1863     pg_edit_t ip4;
1864   } ip4_over_ethernet[2];
1865 } pg_ethernet_arp_header_t;
1866
1867 static inline void
1868 pg_ethernet_arp_header_init (pg_ethernet_arp_header_t * p)
1869 {
1870   /* Initialize fields that are not bit fields in the IP header. */
1871 #define _(f) pg_edit_init (&p->f, ethernet_arp_header_t, f);
1872   _(l2_type);
1873   _(l3_type);
1874   _(n_l2_address_bytes);
1875   _(n_l3_address_bytes);
1876   _(opcode);
1877   _(ip4_over_ethernet[0].mac);
1878   _(ip4_over_ethernet[0].ip4);
1879   _(ip4_over_ethernet[1].mac);
1880   _(ip4_over_ethernet[1].ip4);
1881 #undef _
1882 }
1883
1884 uword
1885 unformat_pg_arp_header (unformat_input_t * input, va_list * args)
1886 {
1887   pg_stream_t *s = va_arg (*args, pg_stream_t *);
1888   pg_ethernet_arp_header_t *p;
1889   u32 group_index;
1890
1891   p = pg_create_edit_group (s, sizeof (p[0]), sizeof (ethernet_arp_header_t),
1892                             &group_index);
1893   pg_ethernet_arp_header_init (p);
1894
1895   /* Defaults. */
1896   pg_edit_set_fixed (&p->l2_type, ETHERNET_ARP_HARDWARE_TYPE_ethernet);
1897   pg_edit_set_fixed (&p->l3_type, ETHERNET_TYPE_IP4);
1898   pg_edit_set_fixed (&p->n_l2_address_bytes, 6);
1899   pg_edit_set_fixed (&p->n_l3_address_bytes, 4);
1900
1901   if (!unformat (input, "%U: %U/%U -> %U/%U",
1902                  unformat_pg_edit,
1903                  unformat_ethernet_arp_opcode_net_byte_order, &p->opcode,
1904                  unformat_pg_edit,
1905                  unformat_mac_address_t, &p->ip4_over_ethernet[0].mac,
1906                  unformat_pg_edit,
1907                  unformat_ip4_address, &p->ip4_over_ethernet[0].ip4,
1908                  unformat_pg_edit,
1909                  unformat_mac_address_t, &p->ip4_over_ethernet[1].mac,
1910                  unformat_pg_edit,
1911                  unformat_ip4_address, &p->ip4_over_ethernet[1].ip4))
1912     {
1913       /* Free up any edits we may have added. */
1914       pg_free_edit_group (s);
1915       return 0;
1916     }
1917   return 1;
1918 }
1919
1920 clib_error_t *
1921 ip4_set_arp_limit (u32 arp_limit)
1922 {
1923   ethernet_arp_main_t *am = &ethernet_arp_main;
1924
1925   am->limit_arp_cache_size = arp_limit;
1926   return 0;
1927 }
1928
1929 /**
1930  * @brief Control Plane hook to remove an ARP entry
1931  */
1932 int
1933 vnet_arp_unset_ip4_over_ethernet (vnet_main_t * vnm,
1934                                   u32 sw_if_index,
1935                                   const
1936                                   ethernet_arp_ip4_over_ethernet_address_t *
1937                                   a)
1938 {
1939   vnet_arp_set_ip4_over_ethernet_rpc_args_t args = {
1940     .sw_if_index = sw_if_index,
1941     .flags = ETHERNET_ARP_ARGS_REMOVE,
1942     .ip4 = a->ip4,
1943     .mac = a->mac,
1944   };
1945
1946   vl_api_rpc_call_main_thread (set_ip4_over_ethernet_rpc_callback,
1947                                (u8 *) & args, sizeof (args));
1948   return 0;
1949 }
1950
1951 /**
1952  * @brief publish wildcard arp event
1953  * @param sw_if_index The interface on which the ARP entries are acted
1954  */
1955 static int
1956 vnet_arp_wc_publish (u32 sw_if_index,
1957                      const ethernet_arp_ip4_over_ethernet_address_t * a)
1958 {
1959   vnet_arp_set_ip4_over_ethernet_rpc_args_t args = {
1960     .flags = ETHERNET_ARP_ARGS_WC_PUB,
1961     .sw_if_index = sw_if_index,
1962     .ip4 = a->ip4,
1963     .mac = a->mac,
1964   };
1965
1966   vl_api_rpc_call_main_thread (set_ip4_over_ethernet_rpc_callback,
1967                                (u8 *) & args, sizeof (args));
1968   return 0;
1969 }
1970
1971 static void
1972 vnet_arp_wc_publish_internal (vnet_main_t * vnm,
1973                               vnet_arp_set_ip4_over_ethernet_rpc_args_t *
1974                               args)
1975 {
1976   vlib_main_t *vm = vlib_get_main ();
1977   ethernet_arp_main_t *am = &ethernet_arp_main;
1978   uword ni = am->wc_ip4_arp_publisher_node;
1979   uword et = am->wc_ip4_arp_publisher_et;
1980
1981   if (ni == (uword) ~ 0)
1982     return;
1983   wc_arp_report_t *r =
1984     vlib_process_signal_event_data (vm, ni, et, 1, sizeof *r);
1985   r->ip.as_u32 = args->ip4.as_u32;
1986   r->sw_if_index = args->sw_if_index;
1987   mac_address_copy (&r->mac, &args->mac);
1988 }
1989
1990 void
1991 wc_arp_set_publisher_node (uword node_index, uword event_type)
1992 {
1993   ethernet_arp_main_t *am = &ethernet_arp_main;
1994   am->wc_ip4_arp_publisher_node = node_index;
1995   am->wc_ip4_arp_publisher_et = event_type;
1996 }
1997
1998 static void
1999 arp_entry_free (ethernet_arp_interface_t * eai, ethernet_arp_ip4_entry_t * e);
2000
2001 static int
2002 vnet_arp_flush_ip4_over_ethernet_internal (vnet_main_t * vnm,
2003                                            vnet_arp_set_ip4_over_ethernet_rpc_args_t
2004                                            * args)
2005 {
2006   ethernet_arp_main_t *am = &ethernet_arp_main;
2007   ethernet_arp_ip4_entry_t *e;
2008   ethernet_arp_interface_t *eai;
2009
2010   if (vec_len (am->ethernet_arp_by_sw_if_index) <= args->sw_if_index)
2011     return 0;
2012
2013   eai = &am->ethernet_arp_by_sw_if_index[args->sw_if_index];
2014
2015   e = arp_entry_find (eai, &args->ip4);
2016
2017   if (NULL != e)
2018     {
2019       adj_nbr_walk_nh4 (e->sw_if_index,
2020                         &e->ip4_address, arp_mk_incomplete_walk, e);
2021
2022       /*
2023        * The difference between flush and unset, is that an unset
2024        * means delete for static and dynamic entries. A flush
2025        * means delete only for dynamic. Flushing is what the DP
2026        * does in response to interface events. unset is only done
2027        * by the control plane.
2028        */
2029       if (e->flags & IP_NEIGHBOR_FLAG_STATIC)
2030         {
2031           e->flags &= ~IP_NEIGHBOR_FLAG_DYNAMIC;
2032         }
2033       else if (e->flags & IP_NEIGHBOR_FLAG_DYNAMIC)
2034         {
2035           arp_entry_free (eai, e);
2036         }
2037     }
2038   return (0);
2039 }
2040
2041 /*
2042  * arp_add_del_interface_address
2043  *
2044  * callback when an interface address is added or deleted
2045  */
2046 static void
2047 arp_enable_disable_interface (ip4_main_t * im,
2048                               uword opaque, u32 sw_if_index, u32 is_enable)
2049 {
2050   ethernet_arp_main_t *am = &ethernet_arp_main;
2051
2052   if (is_enable)
2053     arp_enable (am, sw_if_index);
2054   else
2055     arp_disable (am, sw_if_index);
2056 }
2057
2058 /*
2059  * arp_add_del_interface_address
2060  *
2061  * callback when an interface address is added or deleted
2062  */
2063 static void
2064 arp_add_del_interface_address (ip4_main_t * im,
2065                                uword opaque,
2066                                u32 sw_if_index,
2067                                ip4_address_t * address,
2068                                u32 address_length,
2069                                u32 if_address_index, u32 is_del)
2070 {
2071   /*
2072    * Flush the ARP cache of all entries covered by the address
2073    * that is being removed.
2074    */
2075   ethernet_arp_main_t *am = &ethernet_arp_main;
2076   ethernet_arp_ip4_entry_t *e;
2077
2078   if (vec_len (am->ethernet_arp_by_sw_if_index) <= sw_if_index)
2079     return;
2080
2081   if (is_del)
2082     {
2083       ethernet_arp_interface_t *eai;
2084       u32 i, *to_delete = 0;
2085       hash_pair_t *pair;
2086
2087       eai = &am->ethernet_arp_by_sw_if_index[sw_if_index];
2088
2089       /* *INDENT-OFF* */
2090       hash_foreach_pair (pair, eai->arp_entries,
2091       ({
2092         e = pool_elt_at_index(am->ip4_entry_pool,
2093                               pair->value[0]);
2094         if (ip4_destination_matches_route (im, &e->ip4_address,
2095                                            address, address_length))
2096           {
2097             vec_add1 (to_delete, e - am->ip4_entry_pool);
2098           }
2099       }));
2100       /* *INDENT-ON* */
2101
2102       for (i = 0; i < vec_len (to_delete); i++)
2103         {
2104           e = pool_elt_at_index (am->ip4_entry_pool, to_delete[i]);
2105
2106           vnet_arp_set_ip4_over_ethernet_rpc_args_t delme = {
2107             .ip4.as_u32 = e->ip4_address.as_u32,
2108             .sw_if_index = e->sw_if_index,
2109             .flags = ETHERNET_ARP_ARGS_FLUSH,
2110           };
2111           mac_address_copy (&delme.mac, &e->mac);
2112
2113           vnet_arp_flush_ip4_over_ethernet_internal (vnet_get_main (),
2114                                                      &delme);
2115         }
2116
2117       vec_free (to_delete);
2118     }
2119 }
2120
2121 static void
2122 arp_table_bind (ip4_main_t * im,
2123                 uword opaque,
2124                 u32 sw_if_index, u32 new_fib_index, u32 old_fib_index)
2125 {
2126   ethernet_arp_main_t *am = &ethernet_arp_main;
2127   ethernet_arp_interface_t *eai;
2128   ethernet_arp_ip4_entry_t *e;
2129   hash_pair_t *pair;
2130
2131   /*
2132    * the IP table that the interface is bound to has changed.
2133    * reinstall all the adj fibs.
2134    */
2135
2136   if (vec_len (am->ethernet_arp_by_sw_if_index) <= sw_if_index)
2137     return;
2138
2139   eai = &am->ethernet_arp_by_sw_if_index[sw_if_index];
2140
2141   /* *INDENT-OFF* */
2142   hash_foreach_pair (pair, eai->arp_entries,
2143   ({
2144     e = pool_elt_at_index(am->ip4_entry_pool,
2145                           pair->value[0]);
2146     /*
2147      * remove the adj-fib from the old table and add to the new
2148      */
2149     arp_adj_fib_remove(e, old_fib_index);
2150     arp_adj_fib_add(e, new_fib_index);
2151   }));
2152   /* *INDENT-ON* */
2153
2154 }
2155
2156 static clib_error_t *
2157 ethernet_arp_init (vlib_main_t * vm)
2158 {
2159   ethernet_arp_main_t *am = &ethernet_arp_main;
2160   ip4_main_t *im = &ip4_main;
2161   pg_node_t *pn;
2162
2163   ethernet_register_input_type (vm, ETHERNET_TYPE_ARP, arp_input_node.index);
2164
2165   pn = pg_get_node (arp_input_node.index);
2166   pn->unformat_edit = unformat_pg_arp_header;
2167
2168   am->opcode_by_name = hash_create_string (0, sizeof (uword));
2169 #define _(o) hash_set_mem (am->opcode_by_name, #o, ETHERNET_ARP_OPCODE_##o);
2170   foreach_ethernet_arp_opcode;
2171 #undef _
2172
2173   /* $$$ configurable */
2174   am->limit_arp_cache_size = 50000;
2175
2176   am->pending_resolutions_by_address = hash_create (0, sizeof (uword));
2177   am->mac_changes_by_address = hash_create (0, sizeof (uword));
2178   am->wc_ip4_arp_publisher_node = (uword) ~ 0;
2179
2180   /* don't trace ARP error packets */
2181   {
2182     vlib_node_runtime_t *rt =
2183       vlib_node_get_runtime (vm, arp_input_node.index);
2184
2185 #define _(a,b)                                  \
2186     vnet_pcap_drop_trace_filter_add_del         \
2187         (rt->errors[ETHERNET_ARP_ERROR_##a],    \
2188          1 /* is_add */);
2189     foreach_ethernet_arp_error
2190 #undef _
2191   }
2192
2193   ip4_add_del_interface_address_callback_t cb;
2194   cb.function = arp_add_del_interface_address;
2195   cb.function_opaque = 0;
2196   vec_add1 (im->add_del_interface_address_callbacks, cb);
2197
2198   ip4_enable_disable_interface_callback_t cbe;
2199   cbe.function = arp_enable_disable_interface;
2200   cbe.function_opaque = 0;
2201   vec_add1 (im->enable_disable_interface_callbacks, cbe);
2202
2203   ip4_table_bind_callback_t cbt;
2204   cbt.function = arp_table_bind;
2205   cbt.function_opaque = 0;
2206   vec_add1 (im->table_bind_callbacks, cbt);
2207
2208   return 0;
2209 }
2210 /* *INDENT-OFF* */
2211 VLIB_INIT_FUNCTION (ethernet_arp_init) =
2212 {
2213   .runs_after = VLIB_INITS("ethernet_init"),
2214 };
2215 /* *INDENT-ON* */
2216
2217 static void
2218 arp_entry_free (ethernet_arp_interface_t * eai, ethernet_arp_ip4_entry_t * e)
2219 {
2220   ethernet_arp_main_t *am = &ethernet_arp_main;
2221
2222   arp_adj_fib_remove
2223     (e, ip4_fib_table_get_index_for_sw_if_index (e->sw_if_index));
2224   hash_unset (eai->arp_entries, e->ip4_address.as_u32);
2225   pool_put (am->ip4_entry_pool, e);
2226 }
2227
2228 static inline int
2229 vnet_arp_unset_ip4_over_ethernet_internal (vnet_main_t * vnm,
2230                                            vnet_arp_set_ip4_over_ethernet_rpc_args_t
2231                                            * args)
2232 {
2233   ethernet_arp_main_t *am = &ethernet_arp_main;
2234   ethernet_arp_ip4_entry_t *e;
2235   ethernet_arp_interface_t *eai;
2236
2237   if (vec_len (am->ethernet_arp_by_sw_if_index) <= args->sw_if_index)
2238     return 0;
2239
2240   eai = &am->ethernet_arp_by_sw_if_index[args->sw_if_index];
2241
2242   e = arp_entry_find (eai, &args->ip4);
2243
2244   if (NULL != e)
2245     {
2246       adj_nbr_walk_nh4 (e->sw_if_index,
2247                         &e->ip4_address, arp_mk_incomplete_walk, e);
2248       arp_entry_free (eai, e);
2249     }
2250
2251   return 0;
2252 }
2253
2254
2255 static int
2256 vnet_arp_populate_ip4_over_ethernet_internal (vnet_main_t * vnm,
2257                                               vnet_arp_set_ip4_over_ethernet_rpc_args_t
2258                                               * args)
2259 {
2260   ethernet_arp_main_t *am = &ethernet_arp_main;
2261   ethernet_arp_ip4_entry_t *e;
2262   ethernet_arp_interface_t *eai;
2263
2264   arp_enable (am, args->sw_if_index);
2265   eai = &am->ethernet_arp_by_sw_if_index[args->sw_if_index];
2266
2267   e = arp_entry_find (eai, &args->ip4);
2268
2269   if (NULL != e)
2270     {
2271       adj_nbr_walk_nh4 (e->sw_if_index,
2272                         &e->ip4_address, arp_mk_complete_walk, e);
2273     }
2274   return (0);
2275 }
2276
2277 static void
2278 set_ip4_over_ethernet_rpc_callback (vnet_arp_set_ip4_over_ethernet_rpc_args_t
2279                                     * a)
2280 {
2281   vnet_main_t *vm = vnet_get_main ();
2282   ASSERT (vlib_get_thread_index () == 0);
2283
2284   if (a->flags & ETHERNET_ARP_ARGS_REMOVE)
2285     vnet_arp_unset_ip4_over_ethernet_internal (vm, a);
2286   else if (a->flags & ETHERNET_ARP_ARGS_FLUSH)
2287     vnet_arp_flush_ip4_over_ethernet_internal (vm, a);
2288   else if (a->flags & ETHERNET_ARP_ARGS_POPULATE)
2289     vnet_arp_populate_ip4_over_ethernet_internal (vm, a);
2290   else if (a->flags & ETHERNET_ARP_ARGS_WC_PUB)
2291     vnet_arp_wc_publish_internal (vm, a);
2292   else
2293     vnet_arp_set_ip4_over_ethernet_internal (vm, a);
2294 }
2295
2296 /**
2297  * @brief Invoked when the interface's admin state changes
2298  */
2299 static clib_error_t *
2300 ethernet_arp_sw_interface_up_down (vnet_main_t * vnm,
2301                                    u32 sw_if_index, u32 flags)
2302 {
2303   ethernet_arp_main_t *am = &ethernet_arp_main;
2304   ethernet_arp_ip4_entry_t *e;
2305   u32 i, *to_update = 0;
2306
2307   /* *INDENT-OFF* */
2308   pool_foreach (e, am->ip4_entry_pool,
2309   ({
2310     if (e->sw_if_index == sw_if_index)
2311       vec_add1 (to_update,
2312                 e - am->ip4_entry_pool);
2313   }));
2314   /* *INDENT-ON* */
2315
2316   for (i = 0; i < vec_len (to_update); i++)
2317     {
2318       e = pool_elt_at_index (am->ip4_entry_pool, to_update[i]);
2319
2320       vnet_arp_set_ip4_over_ethernet_rpc_args_t update_me = {
2321         .ip4.as_u32 = e->ip4_address.as_u32,
2322         .sw_if_index = e->sw_if_index,
2323       };
2324       mac_address_copy (&update_me.mac, &e->mac);
2325
2326       if (flags & VNET_SW_INTERFACE_FLAG_ADMIN_UP)
2327         {
2328           update_me.flags = ETHERNET_ARP_ARGS_POPULATE;
2329           vnet_arp_populate_ip4_over_ethernet_internal (vnm, &update_me);
2330         }
2331       else
2332         {
2333           update_me.flags = ETHERNET_ARP_ARGS_FLUSH;
2334           vnet_arp_flush_ip4_over_ethernet_internal (vnm, &update_me);
2335         }
2336     }
2337   vec_free (to_update);
2338
2339   return 0;
2340 }
2341
2342 VNET_SW_INTERFACE_ADMIN_UP_DOWN_FUNCTION (ethernet_arp_sw_interface_up_down);
2343
2344 static void
2345 increment_ip4_and_mac_address (ethernet_arp_ip4_over_ethernet_address_t * a)
2346 {
2347   u8 old;
2348   int i;
2349
2350   for (i = 3; i >= 0; i--)
2351     {
2352       old = a->ip4.as_u8[i];
2353       a->ip4.as_u8[i] += 1;
2354       if (old < a->ip4.as_u8[i])
2355         break;
2356     }
2357
2358   for (i = 5; i >= 0; i--)
2359     {
2360       old = a->mac.bytes[i];
2361       a->mac.bytes[i] += 1;
2362       if (old < a->mac.bytes[i])
2363         break;
2364     }
2365 }
2366
2367 int
2368 vnet_arp_set_ip4_over_ethernet (vnet_main_t * vnm,
2369                                 u32 sw_if_index,
2370                                 const ethernet_arp_ip4_over_ethernet_address_t
2371                                 * a, ip_neighbor_flags_t flags)
2372 {
2373   vnet_arp_set_ip4_over_ethernet_rpc_args_t args = {
2374     .sw_if_index = sw_if_index,
2375     .nbr_flags = flags,
2376     .flags = 0,
2377     .ip4.as_u32 = a->ip4.as_u32,
2378     .mac = a->mac,
2379   };
2380
2381   vl_api_rpc_call_main_thread (set_ip4_over_ethernet_rpc_callback,
2382                                (u8 *) & args, sizeof (args));
2383   return 0;
2384 }
2385
2386 void
2387 proxy_arp_walk (proxy_arp_walk_t cb, void *data)
2388 {
2389   ethernet_arp_main_t *am = &ethernet_arp_main;
2390   ethernet_proxy_arp_t *pa;
2391
2392   vec_foreach (pa, am->proxy_arps)
2393   {
2394     if (!cb (&pa->lo_addr, &pa->hi_addr, pa->fib_index, data))
2395       break;
2396   }
2397 }
2398
2399 int
2400 vnet_proxy_arp_enable_disable (vnet_main_t * vnm, u32 sw_if_index, u8 enable)
2401 {
2402   ethernet_arp_main_t *am = &ethernet_arp_main;
2403   ethernet_arp_interface_t *eai;
2404
2405   vec_validate (am->ethernet_arp_by_sw_if_index, sw_if_index);
2406
2407   eai = &am->ethernet_arp_by_sw_if_index[sw_if_index];
2408
2409   if (enable)
2410     {
2411       if (!eai->proxy_enabled)
2412         {
2413           vnet_feature_enable_disable ("arp", "arp-proxy",
2414                                        sw_if_index, 1, NULL, 0);
2415         }
2416       eai->proxy_enabled = 1;
2417     }
2418   else
2419     {
2420       if (eai->proxy_enabled)
2421         {
2422           vnet_feature_enable_disable ("arp", "arp-proxy",
2423                                        sw_if_index, 0, NULL, 0);
2424         }
2425       eai->proxy_enabled = 0;
2426     }
2427
2428   return (0);
2429 }
2430
2431 int
2432 vnet_proxy_arp_add_del (ip4_address_t * lo_addr,
2433                         ip4_address_t * hi_addr, u32 fib_index, int is_del)
2434 {
2435   ethernet_arp_main_t *am = &ethernet_arp_main;
2436   ethernet_proxy_arp_t *pa;
2437   u32 found_at_index = ~0;
2438
2439   vec_foreach (pa, am->proxy_arps)
2440   {
2441     if (pa->lo_addr.as_u32 == lo_addr->as_u32 &&
2442         pa->hi_addr.as_u32 == hi_addr->as_u32 && pa->fib_index == fib_index)
2443       {
2444         found_at_index = pa - am->proxy_arps;
2445         break;
2446       }
2447   }
2448
2449   if (found_at_index != ~0)
2450     {
2451       /* Delete, otherwise it's already in the table */
2452       if (is_del)
2453         vec_delete (am->proxy_arps, 1, found_at_index);
2454       return 0;
2455     }
2456   /* delete, no such entry */
2457   if (is_del)
2458     return VNET_API_ERROR_NO_SUCH_ENTRY;
2459
2460   /* add, not in table */
2461   vec_add2 (am->proxy_arps, pa, 1);
2462   pa->lo_addr.as_u32 = lo_addr->as_u32;
2463   pa->hi_addr.as_u32 = hi_addr->as_u32;
2464   pa->fib_index = fib_index;
2465   return 0;
2466 }
2467
2468 void
2469 proxy_arp_intfc_walk (proxy_arp_intf_walk_t cb, void *data)
2470 {
2471   ethernet_arp_main_t *am = &ethernet_arp_main;
2472   ethernet_arp_interface_t *eai;
2473
2474   vec_foreach (eai, am->ethernet_arp_by_sw_if_index)
2475   {
2476     if (eai->proxy_enabled)
2477       cb (eai - am->ethernet_arp_by_sw_if_index, data);
2478   }
2479 }
2480
2481 /*
2482  * Remove any proxy arp entries associated with the
2483  * specified fib.
2484  */
2485 int
2486 vnet_proxy_arp_fib_reset (u32 fib_id)
2487 {
2488   ethernet_arp_main_t *am = &ethernet_arp_main;
2489   ethernet_proxy_arp_t *pa;
2490   u32 *entries_to_delete = 0;
2491   u32 fib_index;
2492   int i;
2493
2494   fib_index = fib_table_find (FIB_PROTOCOL_IP4, fib_id);
2495   if (~0 == fib_index)
2496     return VNET_API_ERROR_NO_SUCH_ENTRY;
2497
2498   vec_foreach (pa, am->proxy_arps)
2499   {
2500     if (pa->fib_index == fib_index)
2501       {
2502         vec_add1 (entries_to_delete, pa - am->proxy_arps);
2503       }
2504   }
2505
2506   for (i = 0; i < vec_len (entries_to_delete); i++)
2507     {
2508       vec_delete (am->proxy_arps, 1, entries_to_delete[i]);
2509     }
2510
2511   vec_free (entries_to_delete);
2512
2513   return 0;
2514 }
2515
2516 static clib_error_t *
2517 ip_arp_add_del_command_fn (vlib_main_t * vm,
2518                            unformat_input_t * input, vlib_cli_command_t * cmd)
2519 {
2520   vnet_main_t *vnm = vnet_get_main ();
2521   u32 sw_if_index;
2522   ethernet_arp_ip4_over_ethernet_address_t lo_addr, hi_addr, addr;
2523   int addr_valid = 0;
2524   int is_del = 0;
2525   int count = 1;
2526   u32 fib_index = 0;
2527   u32 fib_id;
2528   int is_proxy = 0;
2529   ip_neighbor_flags_t flags;
2530
2531   flags = IP_NEIGHBOR_FLAG_NONE;
2532
2533   while (unformat_check_input (input) != UNFORMAT_END_OF_INPUT)
2534     {
2535       /* set ip arp TenGigE1/1/0/1 1.2.3.4 aa:bb:... or aabb.ccdd... */
2536       if (unformat (input, "%U %U %U",
2537                     unformat_vnet_sw_interface, vnm, &sw_if_index,
2538                     unformat_ip4_address, &addr.ip4,
2539                     unformat_mac_address_t, &addr.mac))
2540         addr_valid = 1;
2541
2542       else if (unformat (input, "delete") || unformat (input, "del"))
2543         is_del = 1;
2544
2545       else if (unformat (input, "static"))
2546         flags |= IP_NEIGHBOR_FLAG_STATIC;
2547
2548       else if (unformat (input, "no-fib-entry"))
2549         flags |= IP_NEIGHBOR_FLAG_NO_FIB_ENTRY;
2550
2551       else if (unformat (input, "count %d", &count))
2552         ;
2553
2554       else if (unformat (input, "fib-id %d", &fib_id))
2555         {
2556           fib_index = fib_table_find (FIB_PROTOCOL_IP4, fib_id);
2557
2558           if (~0 == fib_index)
2559             return clib_error_return (0, "fib ID %d doesn't exist\n", fib_id);
2560         }
2561
2562       else if (unformat (input, "proxy %U - %U",
2563                          unformat_ip4_address, &lo_addr.ip4,
2564                          unformat_ip4_address, &hi_addr.ip4))
2565         is_proxy = 1;
2566       else
2567         break;
2568     }
2569
2570   if (is_proxy)
2571     {
2572       (void) vnet_proxy_arp_add_del (&lo_addr.ip4, &hi_addr.ip4,
2573                                      fib_index, is_del);
2574       return 0;
2575     }
2576
2577   if (addr_valid)
2578     {
2579       int i;
2580
2581       for (i = 0; i < count; i++)
2582         {
2583           if (is_del == 0)
2584             {
2585               uword event_type, *event_data = 0;
2586
2587               /* Park the debug CLI until the arp entry is installed */
2588               vnet_register_ip4_arp_resolution_event
2589                 (vnm, &addr.ip4, vlib_current_process (vm),
2590                  1 /* type */ , 0 /* data */ );
2591
2592               vnet_arp_set_ip4_over_ethernet (vnm, sw_if_index, &addr, flags);
2593
2594               vlib_process_wait_for_event (vm);
2595               event_type = vlib_process_get_events (vm, &event_data);
2596               vec_reset_length (event_data);
2597               if (event_type != 1)
2598                 clib_warning ("event type %d unexpected", event_type);
2599             }
2600           else
2601             vnet_arp_unset_ip4_over_ethernet (vnm, sw_if_index, &addr);
2602
2603           increment_ip4_and_mac_address (&addr);
2604         }
2605     }
2606   else
2607     {
2608       return clib_error_return (0, "unknown input `%U'",
2609                                 format_unformat_error, input);
2610     }
2611
2612   return 0;
2613 }
2614
2615 /* *INDENT-OFF* */
2616 /*?
2617  * Add or delete IPv4 ARP cache entries.
2618  *
2619  * @note 'set ip arp' options (e.g. delete, static, 'fib-id <id>',
2620  * 'count <number>', 'interface ip4_addr mac_addr') can be added in
2621  * any order and combination.
2622  *
2623  * @cliexpar
2624  * @parblock
2625  * Add or delete IPv4 ARP cache entries as follows. MAC Address can be in
2626  * either aa:bb:cc:dd:ee:ff format or aabb.ccdd.eeff format.
2627  * @cliexcmd{set ip arp GigabitEthernet2/0/0 6.0.0.3 dead.beef.babe}
2628  * @cliexcmd{set ip arp delete GigabitEthernet2/0/0 6.0.0.3 de:ad:be:ef:ba:be}
2629  *
2630  * To add or delete an IPv4 ARP cache entry to or from a specific fib
2631  * table:
2632  * @cliexcmd{set ip arp fib-id 1 GigabitEthernet2/0/0 6.0.0.3 dead.beef.babe}
2633  * @cliexcmd{set ip arp fib-id 1 delete GigabitEthernet2/0/0 6.0.0.3 dead.beef.babe}
2634  *
2635  * Add or delete IPv4 static ARP cache entries as follows:
2636  * @cliexcmd{set ip arp static GigabitEthernet2/0/0 6.0.0.3 dead.beef.babe}
2637  * @cliexcmd{set ip arp static delete GigabitEthernet2/0/0 6.0.0.3 dead.beef.babe}
2638  *
2639  * For testing / debugging purposes, the 'set ip arp' command can add or
2640  * delete multiple entries. Supply the 'count N' parameter:
2641  * @cliexcmd{set ip arp count 10 GigabitEthernet2/0/0 6.0.0.3 dead.beef.babe}
2642  * @endparblock
2643  ?*/
2644 VLIB_CLI_COMMAND (ip_arp_add_del_command, static) = {
2645   .path = "set ip arp",
2646   .short_help =
2647   "set ip arp [del] <intfc> <ip-address> <mac-address> [static] [no-fib-entry] [count <count>] [fib-id <fib-id>] [proxy <lo-addr> - <hi-addr>]",
2648   .function = ip_arp_add_del_command_fn,
2649 };
2650 /* *INDENT-ON* */
2651
2652 static clib_error_t *
2653 set_int_proxy_arp_command_fn (vlib_main_t * vm,
2654                               unformat_input_t *
2655                               input, vlib_cli_command_t * cmd)
2656 {
2657   vnet_main_t *vnm = vnet_get_main ();
2658   u32 sw_if_index;
2659   int enable = 0;
2660
2661   sw_if_index = ~0;
2662
2663   while (unformat_check_input (input) != UNFORMAT_END_OF_INPUT)
2664     {
2665       if (unformat (input, "%U", unformat_vnet_sw_interface,
2666                     vnm, &sw_if_index))
2667         ;
2668       else if (unformat (input, "enable") || unformat (input, "on"))
2669         enable = 1;
2670       else if (unformat (input, "disable") || unformat (input, "off"))
2671         enable = 0;
2672       else
2673         break;
2674     }
2675
2676   if (~0 == sw_if_index)
2677     return clib_error_return (0, "unknown input '%U'",
2678                               format_unformat_error, input);
2679
2680   vnet_proxy_arp_enable_disable (vnm, sw_if_index, enable);
2681
2682   return 0;
2683 }
2684
2685 /* *INDENT-OFF* */
2686 /*?
2687  * Enable proxy-arp on an interface. The vpp stack will answer ARP
2688  * requests for the indicated address range. Multiple proxy-arp
2689  * ranges may be provisioned.
2690  *
2691  * @note Proxy ARP as a technology is infamous for blackholing traffic.
2692  * Also, the underlying implementation has not been performance-tuned.
2693  * Avoid creating an unnecessarily large set of ranges.
2694  *
2695  * @cliexpar
2696  * To enable proxy arp on a range of addresses, use:
2697  * @cliexcmd{set ip arp proxy 6.0.0.1 - 6.0.0.11}
2698  * Append 'del' to delete a range of proxy ARP addresses:
2699  * @cliexcmd{set ip arp proxy 6.0.0.1 - 6.0.0.11 del}
2700  * You must then specifically enable proxy arp on individual interfaces:
2701  * @cliexcmd{set interface proxy-arp GigabitEthernet0/8/0 enable}
2702  * To disable proxy arp on an individual interface:
2703  * @cliexcmd{set interface proxy-arp GigabitEthernet0/8/0 disable}
2704  ?*/
2705 VLIB_CLI_COMMAND (set_int_proxy_enable_command, static) = {
2706   .path = "set interface proxy-arp",
2707   .short_help =
2708   "set interface proxy-arp <intfc> [enable|disable]",
2709   .function = set_int_proxy_arp_command_fn,
2710 };
2711 /* *INDENT-ON* */
2712
2713
2714 /*
2715  * ARP/ND Termination in a L2 Bridge Domain based on IP4/IP6 to MAC
2716  * hash tables mac_by_ip4 and mac_by_ip6 for each BD.
2717  */
2718 typedef enum
2719 {
2720   ARP_TERM_NEXT_L2_OUTPUT,
2721   ARP_TERM_NEXT_DROP,
2722   ARP_TERM_N_NEXT,
2723 } arp_term_next_t;
2724
2725 u32 arp_term_next_node_index[32];
2726
2727 static uword
2728 arp_term_l2bd (vlib_main_t * vm,
2729                vlib_node_runtime_t * node, vlib_frame_t * frame)
2730 {
2731   l2input_main_t *l2im = &l2input_main;
2732   u32 n_left_from, next_index, *from, *to_next;
2733   u32 n_replies_sent = 0;
2734   u16 last_bd_index = ~0;
2735   l2_bridge_domain_t *last_bd_config = 0;
2736   l2_input_config_t *cfg0;
2737
2738   from = vlib_frame_vector_args (frame);
2739   n_left_from = frame->n_vectors;
2740   next_index = node->cached_next_index;
2741
2742   while (n_left_from > 0)
2743     {
2744       u32 n_left_to_next;
2745
2746       vlib_get_next_frame (vm, node, next_index, to_next, n_left_to_next);
2747
2748       while (n_left_from > 0 && n_left_to_next > 0)
2749         {
2750           vlib_buffer_t *p0;
2751           ethernet_header_t *eth0;
2752           ethernet_arp_header_t *arp0;
2753           ip6_header_t *iph0;
2754           u8 *l3h0;
2755           u32 pi0, error0, next0, sw_if_index0;
2756           u16 ethertype0;
2757           u16 bd_index0;
2758           u32 ip0;
2759           u8 *macp0;
2760
2761           pi0 = from[0];
2762           to_next[0] = pi0;
2763           from += 1;
2764           to_next += 1;
2765           n_left_from -= 1;
2766           n_left_to_next -= 1;
2767
2768           p0 = vlib_get_buffer (vm, pi0);
2769           // Terminate only local (SHG == 0) ARP
2770           if (vnet_buffer (p0)->l2.shg != 0)
2771             goto next_l2_feature;
2772
2773           eth0 = vlib_buffer_get_current (p0);
2774           l3h0 = (u8 *) eth0 + vnet_buffer (p0)->l2.l2_len;
2775           ethertype0 = clib_net_to_host_u16 (*(u16 *) (l3h0 - 2));
2776           arp0 = (ethernet_arp_header_t *) l3h0;
2777
2778           if (ethertype0 != ETHERNET_TYPE_ARP)
2779             goto check_ip6_nd;
2780
2781           if ((arp0->opcode !=
2782                clib_host_to_net_u16 (ETHERNET_ARP_OPCODE_request)) &&
2783               (arp0->opcode !=
2784                clib_host_to_net_u16 (ETHERNET_ARP_OPCODE_reply)))
2785             goto check_ip6_nd;
2786
2787           /* Must be ARP request/reply packet here */
2788           if (PREDICT_FALSE ((node->flags & VLIB_NODE_FLAG_TRACE) &&
2789                              (p0->flags & VLIB_BUFFER_IS_TRACED)))
2790             {
2791               u8 *t0 = vlib_add_trace (vm, node, p0,
2792                                        sizeof (ethernet_arp_input_trace_t));
2793               clib_memcpy_fast (t0, l3h0,
2794                                 sizeof (ethernet_arp_input_trace_t));
2795             }
2796
2797           error0 = 0;
2798           error0 =
2799             (arp0->l2_type !=
2800              clib_net_to_host_u16 (ETHERNET_ARP_HARDWARE_TYPE_ethernet)
2801              ? ETHERNET_ARP_ERROR_l2_type_not_ethernet : error0);
2802           error0 =
2803             (arp0->l3_type !=
2804              clib_net_to_host_u16 (ETHERNET_TYPE_IP4) ?
2805              ETHERNET_ARP_ERROR_l3_type_not_ip4 : error0);
2806
2807           sw_if_index0 = vnet_buffer (p0)->sw_if_index[VLIB_RX];
2808
2809           if (error0)
2810             goto drop;
2811
2812           /* Trash ARP packets whose ARP-level source addresses do not
2813              match, or if requester address is mcast */
2814           if (PREDICT_FALSE
2815               (!ethernet_mac_address_equal (eth0->src_address,
2816                                             arp0->ip4_over_ethernet[0].
2817                                             mac.bytes))
2818               || ethernet_address_cast (arp0->ip4_over_ethernet[0].mac.bytes))
2819             {
2820               /* VRRP virtual MAC may be different to SMAC in ARP reply */
2821               if (!ethernet_mac_address_equal
2822                   (arp0->ip4_over_ethernet[0].mac.bytes, vrrp_prefix))
2823                 {
2824                   error0 = ETHERNET_ARP_ERROR_l2_address_mismatch;
2825                   goto drop;
2826                 }
2827             }
2828           if (PREDICT_FALSE
2829               (ip4_address_is_multicast (&arp0->ip4_over_ethernet[0].ip4)))
2830             {
2831               error0 = ETHERNET_ARP_ERROR_l3_src_address_not_local;
2832               goto drop;
2833             }
2834
2835           /* Check if anyone want ARP request events for L2 BDs */
2836           {
2837             ethernet_arp_main_t *am = &ethernet_arp_main;
2838             if (am->wc_ip4_arp_publisher_node != (uword) ~ 0)
2839               vnet_arp_wc_publish (sw_if_index0, &arp0->ip4_over_ethernet[0]);
2840           }
2841
2842           /* lookup BD mac_by_ip4 hash table for MAC entry */
2843           ip0 = arp0->ip4_over_ethernet[1].ip4.as_u32;
2844           bd_index0 = vnet_buffer (p0)->l2.bd_index;
2845           if (PREDICT_FALSE ((bd_index0 != last_bd_index)
2846                              || (last_bd_index == (u16) ~ 0)))
2847             {
2848               last_bd_index = bd_index0;
2849               last_bd_config = vec_elt_at_index (l2im->bd_configs, bd_index0);
2850             }
2851           macp0 = (u8 *) hash_get (last_bd_config->mac_by_ip4, ip0);
2852
2853           if (PREDICT_FALSE (!macp0))
2854             goto next_l2_feature;       /* MAC not found */
2855           if (PREDICT_FALSE (arp0->ip4_over_ethernet[0].ip4.as_u32 ==
2856                              arp0->ip4_over_ethernet[1].ip4.as_u32))
2857             goto next_l2_feature;       /* GARP */
2858
2859           /* MAC found, send ARP reply -
2860              Convert ARP request packet to ARP reply */
2861           arp0->opcode = clib_host_to_net_u16 (ETHERNET_ARP_OPCODE_reply);
2862           arp0->ip4_over_ethernet[1] = arp0->ip4_over_ethernet[0];
2863           arp0->ip4_over_ethernet[0].ip4.as_u32 = ip0;
2864           mac_address_from_bytes (&arp0->ip4_over_ethernet[0].mac, macp0);
2865           clib_memcpy_fast (eth0->dst_address, eth0->src_address, 6);
2866           clib_memcpy_fast (eth0->src_address, macp0, 6);
2867           n_replies_sent += 1;
2868
2869         output_response:
2870           /* For BVI, need to use l2-fwd node to send ARP reply as
2871              l2-output node cannot output packet to BVI properly */
2872           cfg0 = vec_elt_at_index (l2im->configs, sw_if_index0);
2873           if (PREDICT_FALSE (cfg0->bvi))
2874             {
2875               vnet_buffer (p0)->l2.feature_bitmap |= L2INPUT_FEAT_FWD;
2876               vnet_buffer (p0)->sw_if_index[VLIB_RX] = 0;
2877               goto next_l2_feature;
2878             }
2879
2880           /* Send ARP/ND reply back out input interface through l2-output */
2881           vnet_buffer (p0)->sw_if_index[VLIB_TX] = sw_if_index0;
2882           next0 = ARP_TERM_NEXT_L2_OUTPUT;
2883           vlib_validate_buffer_enqueue_x1 (vm, node, next_index,
2884                                            to_next, n_left_to_next, pi0,
2885                                            next0);
2886           continue;
2887
2888         check_ip6_nd:
2889           /* IP6 ND event notification or solicitation handling to generate
2890              local response instead of flooding */
2891           iph0 = (ip6_header_t *) l3h0;
2892           if (PREDICT_FALSE (ethertype0 == ETHERNET_TYPE_IP6 &&
2893                              iph0->protocol == IP_PROTOCOL_ICMP6 &&
2894                              !ip6_address_is_unspecified
2895                              (&iph0->src_address)))
2896             {
2897               sw_if_index0 = vnet_buffer (p0)->sw_if_index[VLIB_RX];
2898               if (vnet_ip6_nd_term
2899                   (vm, node, p0, eth0, iph0, sw_if_index0,
2900                    vnet_buffer (p0)->l2.bd_index))
2901                 goto output_response;
2902             }
2903
2904         next_l2_feature:
2905           {
2906             next0 = vnet_l2_feature_next (p0, arp_term_next_node_index,
2907                                           L2INPUT_FEAT_ARP_TERM);
2908             vlib_validate_buffer_enqueue_x1 (vm, node, next_index,
2909                                              to_next, n_left_to_next,
2910                                              pi0, next0);
2911             continue;
2912           }
2913
2914         drop:
2915           if (0 == arp0->ip4_over_ethernet[0].ip4.as_u32 ||
2916               (arp0->ip4_over_ethernet[0].ip4.as_u32 ==
2917                arp0->ip4_over_ethernet[1].ip4.as_u32))
2918             {
2919               error0 = ETHERNET_ARP_ERROR_gratuitous_arp;
2920             }
2921           next0 = ARP_TERM_NEXT_DROP;
2922           p0->error = node->errors[error0];
2923
2924           vlib_validate_buffer_enqueue_x1 (vm, node, next_index,
2925                                            to_next, n_left_to_next, pi0,
2926                                            next0);
2927         }
2928
2929       vlib_put_next_frame (vm, node, next_index, n_left_to_next);
2930     }
2931
2932   vlib_error_count (vm, node->node_index,
2933                     ETHERNET_ARP_ERROR_replies_sent, n_replies_sent);
2934   return frame->n_vectors;
2935 }
2936
2937 /* *INDENT-OFF* */
2938 VLIB_REGISTER_NODE (arp_term_l2bd_node, static) = {
2939   .function = arp_term_l2bd,
2940   .name = "arp-term-l2bd",
2941   .vector_size = sizeof (u32),
2942   .n_errors = ETHERNET_ARP_N_ERROR,
2943   .error_strings = ethernet_arp_error_strings,
2944   .n_next_nodes = ARP_TERM_N_NEXT,
2945   .next_nodes = {
2946     [ARP_TERM_NEXT_L2_OUTPUT] = "l2-output",
2947     [ARP_TERM_NEXT_DROP] = "error-drop",
2948   },
2949   .format_buffer = format_ethernet_arp_header,
2950   .format_trace = format_arp_term_input_trace,
2951 };
2952 /* *INDENT-ON* */
2953
2954 clib_error_t *
2955 arp_term_init (vlib_main_t * vm)
2956 {
2957   // Initialize the feature next-node indexes
2958   feat_bitmap_init_next_nodes (vm,
2959                                arp_term_l2bd_node.index,
2960                                L2INPUT_N_FEAT,
2961                                l2input_get_feat_names (),
2962                                arp_term_next_node_index);
2963   return 0;
2964 }
2965
2966 VLIB_INIT_FUNCTION (arp_term_init);
2967
2968 void
2969 change_arp_mac (u32 sw_if_index, ethernet_arp_ip4_entry_t * e)
2970 {
2971   if (e->sw_if_index == sw_if_index)
2972     {
2973       adj_nbr_walk_nh4 (e->sw_if_index,
2974                         &e->ip4_address, arp_mk_complete_walk, e);
2975     }
2976 }
2977
2978 void
2979 ethernet_arp_change_mac (u32 sw_if_index)
2980 {
2981   ethernet_arp_main_t *am = &ethernet_arp_main;
2982   ethernet_arp_ip4_entry_t *e;
2983   adj_index_t ai;
2984
2985   /* *INDENT-OFF* */
2986   pool_foreach (e, am->ip4_entry_pool,
2987   ({
2988     change_arp_mac (sw_if_index, e);
2989   }));
2990   /* *INDENT-ON* */
2991
2992   ai = adj_glean_get (FIB_PROTOCOL_IP4, sw_if_index);
2993
2994   if (ADJ_INDEX_INVALID != ai)
2995     adj_glean_update_rewrite (ai);
2996 }
2997
2998 void
2999 send_ip4_garp (vlib_main_t * vm, u32 sw_if_index)
3000 {
3001   ip4_main_t *i4m = &ip4_main;
3002   ip4_address_t *ip4_addr = ip4_interface_first_address (i4m, sw_if_index, 0);
3003
3004   send_ip4_garp_w_addr (vm, ip4_addr, sw_if_index);
3005 }
3006
3007 void
3008 send_ip4_garp_w_addr (vlib_main_t * vm,
3009                       const ip4_address_t * ip4_addr, u32 sw_if_index)
3010 {
3011   ip4_main_t *i4m = &ip4_main;
3012   vnet_main_t *vnm = vnet_get_main ();
3013   u8 *rewrite, rewrite_len;
3014   vnet_hw_interface_t *hi = vnet_get_sup_hw_interface (vnm, sw_if_index);
3015
3016   if (ip4_addr)
3017     {
3018       clib_warning ("Sending GARP for IP4 address %U on sw_if_idex %d",
3019                     format_ip4_address, ip4_addr, sw_if_index);
3020
3021       /* Form GARP packet for output - Gratuitous ARP is an ARP request packet
3022          where the interface IP/MAC pair is used for both source and request
3023          MAC/IP pairs in the request */
3024       u32 bi = 0;
3025       ethernet_arp_header_t *h = vlib_packet_template_get_packet
3026         (vm, &i4m->ip4_arp_request_packet_template, &bi);
3027
3028       if (!h)
3029         return;
3030
3031       mac_address_from_bytes (&h->ip4_over_ethernet[0].mac, hi->hw_address);
3032       mac_address_from_bytes (&h->ip4_over_ethernet[1].mac, hi->hw_address);
3033       h->ip4_over_ethernet[0].ip4 = ip4_addr[0];
3034       h->ip4_over_ethernet[1].ip4 = ip4_addr[0];
3035
3036       /* Setup MAC header with ARP Etype and broadcast DMAC */
3037       vlib_buffer_t *b = vlib_get_buffer (vm, bi);
3038       rewrite =
3039         ethernet_build_rewrite (vnm, sw_if_index, VNET_LINK_ARP,
3040                                 VNET_REWRITE_FOR_SW_INTERFACE_ADDRESS_BROADCAST);
3041       rewrite_len = vec_len (rewrite);
3042       vlib_buffer_advance (b, -rewrite_len);
3043       ethernet_header_t *e = vlib_buffer_get_current (b);
3044       clib_memcpy_fast (e->dst_address, rewrite, rewrite_len);
3045       vec_free (rewrite);
3046
3047       /* Send GARP packet out the specified interface */
3048       vnet_buffer (b)->sw_if_index[VLIB_RX] =
3049         vnet_buffer (b)->sw_if_index[VLIB_TX] = sw_if_index;
3050       vlib_frame_t *f = vlib_get_frame_to_node (vm, hi->output_node_index);
3051       u32 *to_next = vlib_frame_vector_args (f);
3052       to_next[0] = bi;
3053       f->n_vectors = 1;
3054       vlib_put_frame_to_node (vm, hi->output_node_index, f);
3055     }
3056 }
3057
3058 /*
3059  * Remove any arp entries associated with the specified interface
3060  */
3061 static clib_error_t *
3062 vnet_arp_delete_sw_interface (vnet_main_t * vnm, u32 sw_if_index, u32 is_add)
3063 {
3064   if (!is_add && sw_if_index != ~0)
3065     {
3066       ethernet_arp_main_t *am = &ethernet_arp_main;
3067       ethernet_arp_ip4_entry_t *e;
3068       /* *INDENT-OFF* */
3069       pool_foreach (e, am->ip4_entry_pool, ({
3070         if (e->sw_if_index != sw_if_index)
3071           continue;
3072         vnet_arp_set_ip4_over_ethernet_rpc_args_t args = {
3073           .sw_if_index = sw_if_index,
3074           .ip4 = e->ip4_address,
3075         };
3076         vnet_arp_unset_ip4_over_ethernet_internal (vnm, &args);
3077       }));
3078       /* *INDENT-ON* */
3079     }
3080
3081   return (NULL);
3082 }
3083
3084 VNET_SW_INTERFACE_ADD_DEL_FUNCTION (vnet_arp_delete_sw_interface);
3085
3086 /*
3087  * fd.io coding-style-patch-verification: ON
3088  *
3089  * Local Variables:
3090  * eval: (c-set-style "gnu")
3091  * End:
3092  */