l2: Separating scan-delay and learn-limit into a separate API from want_l2_macs_events
[vpp.git] / src / vnet / l2 / l2_fib.c
index 9e095d2..4407cb5 100644 (file)
@@ -18,7 +18,6 @@
 
 #include <vlib/vlib.h>
 #include <vnet/vnet.h>
-#include <vnet/pg/pg.h>
 #include <vnet/ethernet/ethernet.h>
 #include <vlib/cli.h>
 
 
 l2fib_main_t l2fib_main;
 
+u8 *
+format_l2fib_entry_result_flags (u8 * s, va_list * args)
+{
+  l2fib_entry_result_flags_t flags = va_arg (*args, int);
+
+  if (L2FIB_ENTRY_RESULT_FLAG_NONE == flags)
+    {
+      s = format (s, "none");
+    }
+  else
+    {
+#define _(a,v,t) {                              \
+      if (flags & L2FIB_ENTRY_RESULT_FLAG_##a)  \
+        s = format (s, "%s ", t);               \
+    }
+      foreach_l2fib_entry_result_attr
+#undef _
+    }
+  return (s);
+}
+
 static void
 incr_mac_address (u8 * mac)
 {
@@ -62,7 +82,7 @@ incr_mac_address (u8 * mac)
   tmp += 1 << 16;              /* skip unused (least significant) octets */
   tmp = clib_host_to_net_u64 (tmp);
 
-  clib_memcpy (mac, &tmp, 6);
+  clib_memcpy_fast (mac, &tmp, 6);
 }
 
 /** Format sw_if_index. If the value is ~0, use the text "N/A" */
@@ -74,51 +94,153 @@ format_vnet_sw_if_index_name_with_NA (u8 * s, va_list * args)
   if (sw_if_index == ~0)
     return format (s, "N/A");
 
-  vnet_sw_interface_t *swif = vnet_get_sw_interface_safe (vnm, sw_if_index);
+  vnet_sw_interface_t *swif =
+    vnet_get_sw_interface_or_null (vnm, sw_if_index);
   if (!swif)
     return format (s, "Stale");
 
   return format (s, "%U", format_vnet_sw_interface_name, vnm,
-                vnet_get_sw_interface_safe (vnm, sw_if_index));
+                vnet_get_sw_interface_or_null (vnm, sw_if_index));
+}
+
+typedef struct l2fib_dump_walk_ctx_t_
+{
+  u32 bd_index;
+  l2fib_entry_key_t *l2fe_key;
+  l2fib_entry_result_t *l2fe_res;
+} l2fib_dump_walk_ctx_t;
+
+static int
+l2fib_dump_walk_cb (BVT (clib_bihash_kv) * kvp, void *arg)
+{
+  l2fib_dump_walk_ctx_t *ctx = arg;
+  l2fib_entry_result_t result;
+  l2fib_entry_key_t key;
+
+  key.raw = kvp->key;
+  result.raw = kvp->value;
+
+  if ((ctx->bd_index == ~0) || (ctx->bd_index == key.fields.bd_index))
+    {
+      vec_add1 (ctx->l2fe_key, key);
+      vec_add1 (ctx->l2fe_res, result);
+    }
+
+  return (BIHASH_WALK_CONTINUE);
 }
 
 void
-l2fib_table_dump (u32 bd_index, l2fib_entry_key_t ** l2fe_key,
+l2fib_table_dump (u32 bd_index,
+                 l2fib_entry_key_t ** l2fe_key,
                  l2fib_entry_result_t ** l2fe_res)
 {
   l2fib_main_t *msm = &l2fib_main;
-  BVT (clib_bihash) * h = &msm->mac_table;
-  BVT (clib_bihash_bucket) * b;
-  BVT (clib_bihash_value) * v;
-  l2fib_entry_key_t key;
+  l2fib_dump_walk_ctx_t ctx = {
+    .bd_index = bd_index,
+  };
+
+  BV (clib_bihash_foreach_key_value_pair)
+    (&msm->mac_table, l2fib_dump_walk_cb, &ctx);
+
+  *l2fe_key = ctx.l2fe_key;
+  *l2fe_res = ctx.l2fe_res;
+}
+
+void
+l2_fib_extract_seq_num (l2fib_seq_num_t sn, u8 * bd_sn, u8 * if_sn)
+{
+  *bd_sn = sn >> 8;
+  *if_sn = sn & 0xff;
+}
+
+u8 *
+format_l2_fib_seq_num (u8 * s, va_list * a)
+{
+  l2fib_seq_num_t sn = va_arg (*a, int);
+  u8 bd_sn, if_sn;
+
+  l2_fib_extract_seq_num (sn, &bd_sn, &if_sn);
+
+  s = format (s, "%3d/%-3d", bd_sn, if_sn);
+
+  return (s);
+}
+
+typedef struct l2fib_show_walk_ctx_t_
+{
+  u8 first_entry;
+  u8 verbose;
+  vlib_main_t *vm;
+  vnet_main_t *vnm;
+  u32 total_entries;
+  u32 bd_index;
+  u8 learn;
+  u8 add;
+  u8 now;
+} l2fib_show_walk_ctx_t;
+
+static int
+l2fib_show_walk_cb (BVT (clib_bihash_kv) * kvp, void *arg)
+{
+  l2fib_show_walk_ctx_t *ctx = arg;
+  l2_bridge_domain_t *bd_config;
   l2fib_entry_result_t result;
-  int i, j, k;
+  l2fib_entry_key_t key;
 
-  for (i = 0; i < h->nbuckets; i++)
+  if (ctx->verbose && ctx->first_entry)
     {
-      b = &h->buckets[i];
-      if (b->offset == 0)
-       continue;
-      v = BV (clib_bihash_get_value) (h, b->offset);
-      for (j = 0; j < (1 << b->log2_pages); j++)
-       {
-         for (k = 0; k < BIHASH_KVP_PER_PAGE; k++)
-           {
-             if (v->kvp[k].key == ~0ULL && v->kvp[k].value == ~0ULL)
-               continue;
+      ctx->first_entry = 0;
+      vlib_cli_output (ctx->vm,
+                      "%=19s%=7s%=7s%=8s%=9s%=7s%=7s%=5s%=30s",
+                      "Mac-Address", "BD-Idx", "If-Idx",
+                      "BSN-ISN", "Age(min)", "static", "filter",
+                      "bvi", "Interface-Name");
+    }
 
-             key.raw = v->kvp[k].key;
-             result.raw = v->kvp[k].value;
+  key.raw = kvp->key;
+  result.raw = kvp->value;
+  ctx->total_entries++;
 
-             if ((bd_index == ~0) || (bd_index == key.fields.bd_index))
-               {
-                 vec_add1 (*l2fe_key, key);
-                 vec_add1 (*l2fe_res, result);
-               }
-           }
-         v++;
+  if (ctx->verbose &&
+      ((ctx->bd_index >> 31) || (ctx->bd_index == key.fields.bd_index)))
+    {
+      u8 *s = NULL;
+
+      if (ctx->learn && l2fib_entry_result_is_set_AGE_NOT (&result))
+       return (BIHASH_WALK_CONTINUE);  /* skip provisioned macs */
+
+      if (ctx->add && !l2fib_entry_result_is_set_AGE_NOT (&result))
+       return (BIHASH_WALK_CONTINUE);  /* skip learned macs */
+
+      bd_config = &vec_elt (l2input_main.bd_configs, key.fields.bd_index);
+
+      if (l2fib_entry_result_is_set_AGE_NOT (&result))
+       s = format (s, "no");
+      else if (bd_config->mac_age == 0)
+       s = format (s, "-");
+      else
+       {
+         i16 delta = ctx->now - result.fields.timestamp;
+         delta += delta < 0 ? 256 : 0;
+         s = format (s, "%d", delta);
        }
+
+      vlib_cli_output (ctx->vm,
+                      "%=19U%=7d%=7d %U%=9v%=7s%=7s%=5s%=30U",
+                      format_ethernet_address, key.fields.mac,
+                      key.fields.bd_index,
+                      result.fields.sw_if_index == ~0
+                      ? -1 : result.fields.sw_if_index,
+                      format_l2_fib_seq_num, result.fields.sn, s,
+                      l2fib_entry_result_is_set_STATIC (&result) ? "*" : "-",
+                      l2fib_entry_result_is_set_FILTER (&result) ? "*" : "-",
+                      l2fib_entry_result_is_set_BVI (&result) ? "*" : "-",
+                      format_vnet_sw_if_index_name_with_NA,
+                      ctx->vnm, result.fields.sw_if_index);
+      vec_free (s);
     }
+
+  return (BIHASH_WALK_CONTINUE);
 }
 
 /** Display the contents of the l2fib. */
@@ -128,124 +250,76 @@ show_l2fib (vlib_main_t * vm,
 {
   bd_main_t *bdm = &bd_main;
   l2fib_main_t *msm = &l2fib_main;
-  l2_bridge_domain_t *bd_config;
-  BVT (clib_bihash) * h = &msm->mac_table;
-  BVT (clib_bihash_bucket) * b;
-  BVT (clib_bihash_value) * v;
-  l2fib_entry_key_t key;
-  l2fib_entry_result_t result;
-  u32 first_entry = 1;
-  u64 total_entries = 0;
-  int i, j, k;
-  u8 verbose = 0;
   u8 raw = 0;
-  u8 learn = 0;
-  u32 bd_id, bd_index = ~0;
-  u8 now = (u8) (vlib_time_now (vm) / 60);
-  u8 *s = 0;
-
-  if (unformat (input, "raw"))
-    raw = 1;
-  else if (unformat (input, "verbose"))
-    verbose = 1;
-  else if (unformat (input, "bd_index %d", &bd_index))
-    verbose = 1;
-  else if (unformat (input, "learn"))
-    {
-      learn = 1;
-      verbose = 0;
-    }
-  else if (unformat (input, "bd_id %d", &bd_id))
+  u32 bd_id;
+  l2fib_show_walk_ctx_t ctx = {
+    .first_entry = 1,
+    .bd_index = ~0,
+    .now = (u8) (vlib_time_now (vm) / 60),
+    .vm = vm,
+    .vnm = msm->vnet_main,
+  };
+
+  while (unformat_check_input (input) != UNFORMAT_END_OF_INPUT)
     {
-      uword *p = hash_get (bdm->bd_index_by_bd_id, bd_id);
-      if (p)
+      if (unformat (input, "raw"))
        {
-         if (learn == 0)
-           verbose = 1;
-         bd_index = p[0];
+         raw = 1;
+         ctx.verbose = 0;
+         break;
        }
-      else
+      else if (unformat (input, "verbose"))
+       ctx.verbose = 1;
+      else if (unformat (input, "all"))
+       ctx.verbose = 1;
+      else if (unformat (input, "bd_index %d", &ctx.bd_index))
+       ctx.verbose = 1;
+      else if (unformat (input, "learn"))
        {
-         vlib_cli_output (vm, "no such bridge domain id");
-         return 0;
+         ctx.add = 0;
+         ctx.learn = 1;
+         ctx.verbose = 1;
        }
-    }
-
-  for (i = 0; i < h->nbuckets; i++)
-    {
-      b = &h->buckets[i];
-      if (b->offset == 0)
-       continue;
-      v = BV (clib_bihash_get_value) (h, b->offset);
-      for (j = 0; j < (1 << b->log2_pages); j++)
+      else if (unformat (input, "add"))
        {
-         for (k = 0; k < BIHASH_KVP_PER_PAGE; k++)
+         ctx.learn = 0;
+         ctx.add = 1;
+         ctx.verbose = 1;
+       }
+      else if (unformat (input, "bd_id %d", &bd_id))
+       {
+         uword *p = hash_get (bdm->bd_index_by_bd_id, bd_id);
+         if (p)
            {
-             if (v->kvp[k].key == ~0ULL && v->kvp[k].value == ~0ULL)
-               continue;
-
-             if ((verbose || learn) && first_entry)
-               {
-                 first_entry = 0;
-                 vlib_cli_output (vm,
-                                  "%=19s%=7s%=7s%=8s%=9s%=7s%=7s%=5s%=30s",
-                                  "Mac-Address", "BD-Idx", "If-Idx",
-                                  "BSN-ISN", "Age(min)", "static", "filter",
-                                  "bvi", "Interface-Name");
-               }
-
-             key.raw = v->kvp[k].key;
-             result.raw = v->kvp[k].value;
-
-             if ((verbose || learn)
-                 & ((bd_index >> 31) || (bd_index == key.fields.bd_index)))
-               {
-                 if (learn && result.fields.age_not)
-                   {
-                     total_entries++;
-                     continue; /* skip provisioned macs */
-                   }
-
-                 bd_config = vec_elt_at_index (l2input_main.bd_configs,
-                                               key.fields.bd_index);
-
-                 if (bd_config->mac_age && !result.fields.age_not)
-                   {
-                     i16 delta = now - result.fields.timestamp;
-                     delta += delta < 0 ? 256 : 0;
-                     s = format (s, "%d", delta);
-                   }
-                 else
-                   s = format (s, "-");
-
-                 vlib_cli_output (vm,
-                                  "%=19U%=7d%=7d %3d/%-3d%=9v%=7s%=7s%=5s%=30U",
-                                  format_ethernet_address, key.fields.mac,
-                                  key.fields.bd_index,
-                                  result.fields.sw_if_index == ~0
-                                  ? -1 : result.fields.sw_if_index,
-                                  result.fields.sn.bd, result.fields.sn.swif,
-                                  s, result.fields.static_mac ? "*" : "-",
-                                  result.fields.filter ? "*" : "-",
-                                  result.fields.bvi ? "*" : "-",
-                                  format_vnet_sw_if_index_name_with_NA,
-                                  msm->vnet_main, result.fields.sw_if_index);
-                 vec_reset_length (s);
-               }
-             total_entries++;
+             ctx.verbose = 1;
+             ctx.bd_index = p[0];
            }
-         v++;
+         else
+           return clib_error_return (0,
+                                     "bridge domain id %d doesn't exist\n",
+                                     bd_id);
        }
+      else
+       break;
     }
 
-  if (total_entries == 0)
+  if (msm->mac_table_initialized == 0)
+    {
+      vlib_cli_output (vm, "no l2fib entries");
+      return 0;
+    }
+
+  BV (clib_bihash_foreach_key_value_pair)
+    (&msm->mac_table, l2fib_show_walk_cb, &ctx);
+
+  if (ctx.total_entries == 0)
     vlib_cli_output (vm, "no l2fib entries");
   else
     {
       l2learn_main_t *lm = &l2learn_main;
       vlib_cli_output (vm, "L2FIB total/learned entries: %d/%d  "
                       "Last scan time: %.4esec  Learn limit: %d ",
-                      total_entries, lm->global_learn_count,
+                      ctx.total_entries, lm->global_learn_count,
                       msm->age_scan_duration, lm->global_learn_limit);
       if (lm->client_pid)
        vlib_cli_output (vm, "L2MAC events client PID: %d  "
@@ -257,14 +331,13 @@ show_l2fib (vlib_main_t * vm,
 
   if (raw)
     vlib_cli_output (vm, "Raw Hash Table:\n%U\n",
-                    BV (format_bihash), h, 1 /* verbose */ );
+                    BV (format_bihash), &msm->mac_table, 1 /* verbose */ );
 
-  vec_free (s);
   return 0;
 }
 
 /*?
- * This command dispays the MAC Address entries of the L2 FIB table.
+ * This command displays the MAC Address entries of the L2 FIB table.
  * Output can be filtered to just get the number of MAC Addresses or display
  * each MAC Address for all bridge domains or just a single bridge domain.
  *
@@ -276,7 +349,7 @@ show_l2fib (vlib_main_t * vm,
  * @cliexend
  * Example of how to display all the MAC Address entries in the L2
  * FIB table:
- * @cliexstart{show l2fib verbose}
+ * @cliexstart{show l2fib all}
  *     Mac Address     BD Idx           Interface           Index  static  filter  bvi  refresh  timestamp
  *  52:54:00:53:18:33    1      GigabitEthernet0/8/0.200      3       0       0     0      0         0
  *  52:54:00:53:18:55    1      GigabitEthernet0/8/0.200      3       1       0     0      0         0
@@ -287,23 +360,42 @@ show_l2fib (vlib_main_t * vm,
 /* *INDENT-OFF* */
 VLIB_CLI_COMMAND (show_l2fib_cli, static) = {
   .path = "show l2fib",
-  .short_help = "show l2fib [verbose | learn | bd_id <nn> | bd_index <nn> | raw",
+  .short_help = "show l2fib [all] | [bd_id <nn> | bd_index <nn>] [learn | add] | [raw]",
   .function = show_l2fib,
 };
 /* *INDENT-ON* */
 
+void
+l2fib_table_init (void)
+{
+  l2fib_main_t *mp = &l2fib_main;
+
+  if (mp->mac_table_initialized == 1)
+    return;
+
+  BV (clib_bihash_init) (&mp->mac_table, "l2fib mac table",
+                        mp->mac_table_n_buckets, mp->mac_table_memory_size);
+  mp->mac_table_initialized = 1;
+}
 
 /* Remove all entries from the l2fib */
 void
 l2fib_clear_table (void)
 {
   l2fib_main_t *mp = &l2fib_main;
+  l2_bridge_domain_t *bd_config;
+
+  if (mp->mac_table_initialized == 0)
+    return;
+
+  mp->mac_table_initialized = 0;
 
   /* Remove all entries */
   BV (clib_bihash_free) (&mp->mac_table);
-  BV (clib_bihash_init) (&mp->mac_table, "l2fib mac table",
-                        L2FIB_NUM_BUCKETS, L2FIB_MEMORY_SIZE);
+  l2fib_table_init ();
   l2learn_main.global_learn_count = 0;
+  vec_foreach (bd_config, l2input_main.bd_configs)
+    bd_config->learn_count = 0;
 }
 
 /** Clear all entries in L2FIB.
@@ -336,16 +428,13 @@ VLIB_CLI_COMMAND (clear_l2fib_cli, static) = {
 };
 /* *INDENT-ON* */
 
-static inline l2fib_seq_num_t
+static l2fib_seq_num_t
 l2fib_cur_seq_num (u32 bd_index, u32 sw_if_index)
 {
   l2_bridge_domain_t *bd_config = l2input_bd_config (bd_index);
-  /* *INDENT-OFF* */
-  return (l2fib_seq_num_t) {
-    .swif = *l2fib_swif_seq_num (sw_if_index),
-    .bd = bd_config->seq_num,
-  };
-  /* *INDENT-ON* */
+
+  return l2_fib_mk_seq_num (bd_config->seq_num,
+                           l2_input_seq_num (sw_if_index));
 }
 
 /**
@@ -353,8 +442,8 @@ l2fib_cur_seq_num (u32 bd_index, u32 sw_if_index)
  * If the entry already exists then overwrite it
  */
 void
-l2fib_add_entry (u8 * mac, u32 bd_index,
-                u32 sw_if_index, u8 static_mac, u8 filter_mac, u8 bvi_mac)
+l2fib_add_entry (const u8 * mac, u32 bd_index,
+                u32 sw_if_index, l2fib_entry_result_flags_t flags)
 {
   l2fib_entry_key_t key;
   l2fib_entry_result_t result;
@@ -363,27 +452,43 @@ l2fib_add_entry (u8 * mac, u32 bd_index,
   l2learn_main_t *lm = &l2learn_main;
   BVT (clib_bihash_kv) kv;
 
+  if (fm->mac_table_initialized == 0)
+    l2fib_table_init ();
+
   /* set up key */
   key.raw = l2fib_make_key (mac, bd_index);
+  kv.key = key.raw;
 
-  /* check if entry alread exist */
+  /* check if entry already exist */
   if (BV (clib_bihash_search) (&fm->mac_table, &kv, &kv))
     {
       /* decrement counter if overwriting a learned mac  */
       result.raw = kv.value;
-      if ((result.fields.age_not == 0) && (lm->global_learn_count))
-       lm->global_learn_count--;
+      if (!l2fib_entry_result_is_set_AGE_NOT (&result))
+       {
+         l2_bridge_domain_t *bd_config =
+           vec_elt_at_index (l2input_main.bd_configs, bd_index);
+
+         /* check if learn_count == 0 in case of race condition between 2
+          * workers adding an entry simultaneously */
+         /* learn_count variable may have little inaccuracy because they are
+          * not incremented/decremented with atomic operations */
+         /* l2fib_scan is call every 2sec fixing potential inaccuracy */
+         if (lm->global_learn_count)
+           lm->global_learn_count--;
+         if (bd_config->learn_count)
+           bd_config->learn_count--;
+       }
     }
 
   /* set up result */
   result.raw = 0;              /* clear all fields */
   result.fields.sw_if_index = sw_if_index;
-  result.fields.static_mac = static_mac;
-  result.fields.filter = filter_mac;
-  result.fields.bvi = bvi_mac;
-  result.fields.age_not = 1;   /* no aging for provisioned entry */
+  result.fields.flags = flags;
+
+  /* no aging for provisioned entry */
+  l2fib_entry_result_set_AGE_NOT (&result);
 
-  kv.key = key.raw;
   kv.value = result.raw;
 
   BV (clib_bihash_add_del) (&fm->mac_table, &kv, 1 /* is_add */ );
@@ -407,10 +512,10 @@ l2fib_add (vlib_main_t * vm,
   u32 bd_id;
   u32 bd_index;
   u32 sw_if_index = ~0;
-  u32 filter_mac = 0;
-  u32 static_mac = 0;
-  u32 bvi_mac = 0;
   uword *p;
+  l2fib_entry_result_flags_t flags;
+
+  flags = L2FIB_ENTRY_RESULT_FLAG_NONE;
 
   if (!unformat (input, "%U", unformat_ethernet_address, mac))
     {
@@ -436,31 +541,22 @@ l2fib_add (vlib_main_t * vm,
 
   if (unformat (input, "filter"))
     {
-      filter_mac = 1;
-      static_mac = 1;
-
+      l2fib_add_filter_entry (mac, bd_index);
+      return 0;
     }
-  else
-    {
 
-      if (!unformat_user
-         (input, unformat_vnet_sw_interface, vnm, &sw_if_index))
-       {
-         error = clib_error_return (0, "unknown interface `%U'",
-                                    format_unformat_error, input);
-         goto done;
-       }
-      if (unformat (input, "static"))
-       {
-         static_mac = 1;
-       }
-      else if (unformat (input, "bvi"))
-       {
-         bvi_mac = 1;
-         static_mac = 1;
-       }
+  if (!unformat_user (input, unformat_vnet_sw_interface, vnm, &sw_if_index))
+    {
+      error = clib_error_return (0, "unknown interface `%U'",
+                                format_unformat_error, input);
+      goto done;
     }
 
+  if (unformat (input, "static"))
+    flags |= L2FIB_ENTRY_RESULT_FLAG_STATIC;
+  else if (unformat (input, "bvi"))
+    flags |= (L2FIB_ENTRY_RESULT_FLAG_STATIC | L2FIB_ENTRY_RESULT_FLAG_BVI);
+
   if (vec_len (l2input_main.configs) <= sw_if_index)
     {
       error = clib_error_return (0, "Interface sw_if_index %d not in L2 mode",
@@ -468,10 +564,7 @@ l2fib_add (vlib_main_t * vm,
       goto done;
     }
 
-  if (filter_mac)
-    l2fib_add_filter_entry (mac, bd_index);
-  else
-    l2fib_add_fwd_entry (mac, bd_index, sw_if_index, static_mac, bvi_mac);
+  l2fib_add_entry (mac, bd_index, sw_if_index, flags);
 
 done:
   return error;
@@ -517,11 +610,9 @@ static clib_error_t *
 l2fib_test_command_fn (vlib_main_t * vm,
                       unformat_input_t * input, vlib_cli_command_t * cmd)
 {
-  clib_error_t *error = 0;
   u8 mac[6], save_mac[6];
   u32 bd_index = 0;
   u32 sw_if_index = 8;
-  u32 bvi_mac = 0;
   u32 is_add = 0;
   u32 is_del = 0;
   u32 is_check = 0;
@@ -552,13 +643,14 @@ l2fib_test_command_fn (vlib_main_t * vm,
     return clib_error_return (0,
                              "noop: pick at least one of (add,del,check)");
 
-  clib_memcpy (save_mac, mac, 6);
+  clib_memcpy_fast (save_mac, mac, 6);
 
   if (is_add)
     {
       for (i = 0; i < count; i++)
        {
-         l2fib_add_fwd_entry (mac, bd_index, sw_if_index, *mac, bvi_mac);
+         l2fib_add_entry (mac, bd_index, sw_if_index,
+                          L2FIB_ENTRY_RESULT_FLAG_NONE);
          incr_mac_address (mac);
        }
     }
@@ -568,7 +660,10 @@ l2fib_test_command_fn (vlib_main_t * vm,
       BVT (clib_bihash_kv) kv;
       l2fib_main_t *mp = &l2fib_main;
 
-      clib_memcpy (mac, save_mac, 6);
+      if (mp->mac_table_initialized == 0)
+       return clib_error_return (0, "mac table is not initialized");
+
+      clib_memcpy_fast (mac, save_mac, 6);
 
       for (i = 0; i < count; i++)
        {
@@ -584,16 +679,16 @@ l2fib_test_command_fn (vlib_main_t * vm,
 
   if (is_del)
     {
-      clib_memcpy (mac, save_mac, 6);
+      clib_memcpy_fast (mac, save_mac, 6);
 
       for (i = 0; i < count; i++)
        {
-         l2fib_del_entry (mac, bd_index);
+         l2fib_del_entry (mac, bd_index, 0);
          incr_mac_address (mac);
        }
     }
 
-  return error;
+  return 0;
 }
 
 /*?
@@ -644,43 +739,47 @@ VLIB_CLI_COMMAND (l2fib_test_command, static) = {
 
 /**
  * Delete an entry from the l2fib.
- * Return 0 if the entry was deleted, or 1 if it was not found
+ * Return 0 if the entry was deleted, or 1 it was not found or if
+ * sw_if_index is non-zero and does not match that in the entry.
  */
-static u32
-l2fib_del_entry_by_key (u64 raw_key)
+u32
+l2fib_del_entry (const u8 * mac, u32 bd_index, u32 sw_if_index)
 {
-
   l2fib_entry_result_t result;
   l2fib_main_t *mp = &l2fib_main;
   BVT (clib_bihash_kv) kv;
 
+  if (mp->mac_table_initialized == 0)
+    return 1;
+
   /* set up key */
-  kv.key = raw_key;
+  kv.key = l2fib_make_key (mac, bd_index);
 
   if (BV (clib_bihash_search) (&mp->mac_table, &kv, &kv))
     return 1;
 
   result.raw = kv.value;
 
+  /*  check if sw_if_index of entry match */
+  if ((sw_if_index != 0) && (sw_if_index != result.fields.sw_if_index))
+    return 1;
+
   /* decrement counter if dynamically learned mac */
-  if ((result.fields.age_not == 0) && (l2learn_main.global_learn_count))
-    l2learn_main.global_learn_count--;
+  if (!l2fib_entry_result_is_set_AGE_NOT (&result))
+    {
+      l2_bridge_domain_t *bd_config =
+       vec_elt_at_index (l2input_main.bd_configs, bd_index);
+      if (l2learn_main.global_learn_count)
+       l2learn_main.global_learn_count--;
+      if (bd_config->learn_count)
+       bd_config->learn_count--;
+    }
 
   /* Remove entry from hash table */
   BV (clib_bihash_add_del) (&mp->mac_table, &kv, 0 /* is_add */ );
   return 0;
 }
 
-/**
- * Delete an entry from the l2fib.
- * Return 0 if the entry was deleted, or 1 if it was not found
- */
-u32
-l2fib_del_entry (u8 * mac, u32 bd_index)
-{
-  return l2fib_del_entry_by_key (l2fib_make_key (mac, bd_index));
-}
-
 /**
  * Delete an entry from the L2FIB.
  * The CLI format is:
@@ -720,7 +819,7 @@ l2fib_del (vlib_main_t * vm,
   bd_index = p[0];
 
   /* Delete the entry */
-  if (l2fib_del_entry (mac, bd_index))
+  if (l2fib_del_entry (mac, bd_index, 0))
     {
       error = clib_error_return (0, "mac entry not found");
       goto done;
@@ -741,11 +840,41 @@ done:
 /* *INDENT-OFF* */
 VLIB_CLI_COMMAND (l2fib_del_cli, static) = {
   .path = "l2fib del",
-  .short_help = "l2fib del <mac> <bridge-domain-id>",
+  .short_help = "l2fib del <mac> <bridge-domain-id> []",
   .function = l2fib_del,
 };
 /* *INDENT-ON* */
 
+static clib_error_t *
+l2fib_set_scan_delay (vlib_main_t *vm, unformat_input_t *input,
+                     vlib_cli_command_t *cmd)
+{
+  clib_error_t *error = 0;
+  u32 scan_delay;
+  l2fib_main_t *fm = &l2fib_main;
+
+  if (!unformat (input, "%d", &scan_delay))
+    {
+      error = clib_error_return (0, "expecting delay but got `%U'",
+                                format_unformat_error, input);
+      goto done;
+    }
+  fm->event_scan_delay = (f64) (scan_delay) *10e-3;
+  l2fib_flush_all_mac (vlib_get_main ());
+done:
+  return error;
+}
+
+/*?
+ * This command set scan delay (in 1/10s unit)
+ *
+?*/
+VLIB_CLI_COMMAND (l2fib_set_scan_delay_cli, static) = {
+  .path = "set l2fib scan-delay",
+  .short_help = "set l2fib scan-delay <delay>",
+  .function = l2fib_set_scan_delay,
+};
+
 /**
     Kick off ager to scan MACs to age/delete MAC entries
 */
@@ -775,7 +904,7 @@ l2fib_start_ager_scan (vlib_main_t * vm)
 void
 l2fib_flush_int_mac (vlib_main_t * vm, u32 sw_if_index)
 {
-  *l2fib_swif_seq_num (sw_if_index) += 1;
+  l2_input_seq_num_inc (sw_if_index);
   l2fib_start_ager_scan (vm);
 }
 
@@ -929,7 +1058,8 @@ clib_error_t *
 l2fib_sw_interface_up_down (vnet_main_t * vnm, u32 sw_if_index, u32 flags)
 {
   l2_input_config_t *config = l2input_intf_config (sw_if_index);
-  if ((flags & VNET_SW_INTERFACE_FLAG_ADMIN_UP) == 0 && config->bridge)
+  if ((flags & VNET_SW_INTERFACE_FLAG_ADMIN_UP) == 0 &&
+      l2_input_is_bridge (config))
     l2fib_flush_int_mac (vnm->vlib_main, sw_if_index);
   return 0;
 }
@@ -970,12 +1100,21 @@ l2fib_scan (vlib_main_t * vm, f64 start_time, u8 event_only)
   u32 client = lm->client_pid;
   u32 cl_idx = lm->client_index;
   vl_api_l2_macs_event_t *mp = 0;
-  unix_shared_memory_queue_t *q = 0;
+  vl_api_registration_t *reg = 0;
+  u32 bd_index;
+  static u32 *bd_learn_counts = 0;
+
+  /* Don't scan the l2 fib if it hasn't been instantiated yet */
+  if (alloc_arena (h) == 0)
+    return 0.0;
+
+  vec_reset_length (bd_learn_counts);
+  vec_validate (bd_learn_counts, vec_len (l2input_main.bd_configs) - 1);
 
   if (client)
     {
       mp = allocate_mac_evt_buf (client, cl_idx);
-      q = vl_api_client_index_to_input_queue (lm->client_index);
+      reg = vl_api_client_index_to_registration (lm->client_index);
     }
 
   for (i = 0; i < h->nbuckets; i++)
@@ -985,16 +1124,20 @@ l2fib_scan (vlib_main_t * vm, f64 start_time, u8 event_only)
       if (delta_t > 20e-6)
        {
          vlib_process_suspend (vm, 100e-6);    /* suspend for 100 us */
+         /* in case a new bd was created while sleeping */
+         vec_validate (bd_learn_counts,
+                       vec_len (l2input_main.bd_configs) - 1);
          last_start = vlib_time_now (vm);
          accum_t += delta_t;
        }
 
       if (i < (h->nbuckets - 3))
        {
-         BVT (clib_bihash_bucket) * b = &h->buckets[i + 3];
+         BVT (clib_bihash_bucket) * b =
+           BV (clib_bihash_get_bucket) (h, i + 3);
          CLIB_PREFETCH (b, CLIB_CACHE_LINE_BYTES, LOAD);
-         b = &h->buckets[i + 1];
-         if (b->offset)
+         b = BV (clib_bihash_get_bucket) (h, i + 1);
+         if (!BV (clib_bihash_bucket_is_empty) (b))
            {
              BVT (clib_bihash_value) * v =
                BV (clib_bihash_get_value) (h, b->offset);
@@ -1002,8 +1145,8 @@ l2fib_scan (vlib_main_t * vm, f64 start_time, u8 event_only)
            }
        }
 
-      BVT (clib_bihash_bucket) * b = &h->buckets[i];
-      if (b->offset == 0)
+      BVT (clib_bihash_bucket) * b = BV (clib_bihash_get_bucket) (h, i);
+      if (BV (clib_bihash_bucket_is_empty) (b))
        continue;
       BVT (clib_bihash_value) * v = BV (clib_bihash_get_value) (h, b->offset);
       for (j = 0; j < (1 << b->log2_pages); j++)
@@ -1016,23 +1159,26 @@ l2fib_scan (vlib_main_t * vm, f64 start_time, u8 event_only)
              l2fib_entry_key_t key = {.raw = v->kvp[k].key };
              l2fib_entry_result_t result = {.raw = v->kvp[k].value };
 
-             if (result.fields.age_not == 0)
-               learn_count++;
+             if (!l2fib_entry_result_is_set_AGE_NOT (&result))
+               {
+                 learn_count++;
+                 vec_elt (bd_learn_counts, key.fields.bd_index)++;
+               }
 
              if (client)
                {
                  if (PREDICT_FALSE (evt_idx >= fm->max_macs_in_event))
                    {
                      /* event message full, send it and start a new one */
-                     if (q && (q->cursize < q->maxsize))
+                     if (reg && vl_api_can_send_msg (reg))
                        {
                          mp->n_macs = htonl (evt_idx);
-                         vl_msg_api_send_shmem (q, (u8 *) & mp);
+                         vl_api_send_msg (reg, (u8 *) mp);
                          mp = allocate_mac_evt_buf (client, cl_idx);
                        }
                      else
                        {
-                         if (q)
+                         if (reg)
                            clib_warning ("MAC event to pid %d queue stuffed!"
                                          " %d MAC entries lost", client,
                                          evt_idx);
@@ -1040,16 +1186,22 @@ l2fib_scan (vlib_main_t * vm, f64 start_time, u8 event_only)
                      evt_idx = 0;
                    }
 
-                 if (result.fields.lrn_evt)
+                 if (l2fib_entry_result_is_set_LRN_EVT (&result))
                    {
                      /* copy mac entry to event msg */
-                     clib_memcpy (mp->mac[evt_idx].mac_addr, key.fields.mac,
-                                  6);
-                     mp->mac[evt_idx].is_del = 0;
+                     clib_memcpy_fast (mp->mac[evt_idx].mac_addr,
+                                       key.fields.mac, 6);
+                     mp->mac[evt_idx].action =
+                       l2fib_entry_result_is_set_LRN_MOV (&result) ?
+                       (vl_api_mac_event_action_t) MAC_EVENT_ACTION_MOVE
+                       : (vl_api_mac_event_action_t) MAC_EVENT_ACTION_ADD;
+                     mp->mac[evt_idx].action =
+                       htonl (mp->mac[evt_idx].action);
                      mp->mac[evt_idx].sw_if_index =
                        htonl (result.fields.sw_if_index);
-                     /* clear event bit and update mac entry */
-                     result.fields.lrn_evt = 0;
+                     /* clear event bits and update mac entry */
+                     l2fib_entry_result_clear_LRN_EVT (&result);
+                     l2fib_entry_result_clear_LRN_MOV (&result);
                      BVT (clib_bihash_kv) kv;
                      kv.key = key.raw;
                      kv.value = result.raw;
@@ -1059,14 +1211,14 @@ l2fib_scan (vlib_main_t * vm, f64 start_time, u8 event_only)
                    }
                }
 
-             if (event_only || result.fields.age_not)
-               continue;       /* skip aging - static_mac alsways age_not */
+             if (event_only || l2fib_entry_result_is_set_AGE_NOT (&result))
+               continue;       /* skip aging - static_mac always age_not */
 
              /* start aging processing */
              u32 bd_index = key.fields.bd_index;
              u32 sw_if_index = result.fields.sw_if_index;
-             u16 sn = l2fib_cur_seq_num (bd_index, sw_if_index).as_u16;
-             if (result.fields.sn.as_u16 != sn)
+             u16 sn = l2fib_cur_seq_num (bd_index, sw_if_index);
+             if (result.fields.sn != sn)
                goto age_out;   /* stale mac */
 
              l2_bridge_domain_t *bd_config =
@@ -1085,8 +1237,11 @@ l2fib_scan (vlib_main_t * vm, f64 start_time, u8 event_only)
              if (client)
                {
                  /* copy mac entry to event msg */
-                 clib_memcpy (mp->mac[evt_idx].mac_addr, key.fields.mac, 6);
-                 mp->mac[evt_idx].is_del = 1;
+                 clib_memcpy_fast (mp->mac[evt_idx].mac_addr, key.fields.mac,
+                                   6);
+                 mp->mac[evt_idx].action =
+                   (vl_api_mac_event_action_t) MAC_EVENT_ACTION_DELETE;
+                 mp->mac[evt_idx].action = htonl (mp->mac[evt_idx].action);
                  mp->mac[evt_idx].sw_if_index =
                    htonl (result.fields.sw_if_index);
                  evt_idx++;
@@ -1096,27 +1251,41 @@ l2fib_scan (vlib_main_t * vm, f64 start_time, u8 event_only)
              kv.key = key.raw;
              BV (clib_bihash_add_del) (&fm->mac_table, &kv, 0);
              learn_count--;
+             vec_elt (bd_learn_counts, key.fields.bd_index)--;
+             /*
+              * Note: we may have just freed the bucket's backing
+              * storage, so check right here...
+              */
+             if (BV (clib_bihash_bucket_is_empty) (b))
+               goto doublebreak;
            }
          v++;
        }
+    doublebreak:
+      ;
     }
 
   /* keep learn count consistent */
   l2learn_main.global_learn_count = learn_count;
+  vec_foreach_index (bd_index, l2input_main.bd_configs)
+    {
+      vec_elt (l2input_main.bd_configs, bd_index).learn_count =
+       vec_elt (bd_learn_counts, bd_index);
+    }
 
   if (mp)
     {
       /*  send any outstanding mac event message else free message buffer */
       if (evt_idx)
        {
-         if (q && (q->cursize < q->maxsize))
+         if (reg && vl_api_can_send_msg (reg))
            {
              mp->n_macs = htonl (evt_idx);
-             vl_msg_api_send_shmem (q, (u8 *) & mp);
+             vl_api_send_msg (reg, (u8 *) mp);
            }
          else
            {
-             if (q)
+             if (reg)
                clib_warning ("MAC event to pid %d queue stuffed!"
                              " %d MAC entries lost", client, evt_idx);
              vl_msg_api_free (mp);
@@ -1128,9 +1297,6 @@ l2fib_scan (vlib_main_t * vm, f64 start_time, u8 event_only)
   return delta_t + accum_t;
 }
 
-/* Maximum f64 value */
-#define TIME_MAX (1.7976931348623157e+308)
-
 static uword
 l2fib_mac_age_scanner_process (vlib_main_t * vm, vlib_node_runtime_t * rt,
                               vlib_frame_t * f)
@@ -1139,7 +1305,7 @@ l2fib_mac_age_scanner_process (vlib_main_t * vm, vlib_node_runtime_t * rt,
   l2fib_main_t *fm = &l2fib_main;
   l2learn_main_t *lm = &l2learn_main;
   bool enabled = 0;
-  f64 start_time, next_age_scan_time = TIME_MAX;
+  f64 start_time, next_age_scan_time = CLIB_TIME_MAX;
 
   while (1)
     {
@@ -1198,7 +1364,7 @@ l2fib_mac_age_scanner_process (vlib_main_t * vm, vlib_node_runtime_t * rt,
          if (enabled)
            next_age_scan_time = start_time + L2FIB_AGE_SCAN_INTERVAL;
          else
-           next_age_scan_time = TIME_MAX;
+           next_age_scan_time = CLIB_TIME_MAX;
        }
     }
   return 0;
@@ -1221,13 +1387,14 @@ l2fib_init (vlib_main_t * vm)
 
   mp->vlib_main = vm;
   mp->vnet_main = vnet_get_main ();
-
-  /* Create the hash table  */
-  BV (clib_bihash_init) (&mp->mac_table, "l2fib mac table",
-                        L2FIB_NUM_BUCKETS, L2FIB_MEMORY_SIZE);
+  if (mp->mac_table_n_buckets == 0)
+    mp->mac_table_n_buckets = L2FIB_NUM_BUCKETS;
+  if (mp->mac_table_memory_size == 0)
+    mp->mac_table_memory_size = L2FIB_MEMORY_SIZE;
+  mp->mac_table_initialized = 0;
 
   /* verify the key constructor is good, since it is endian-sensitive */
-  memset (test_mac, 0, sizeof (test_mac));
+  clib_memset (test_mac, 0, sizeof (test_mac));
   test_mac[0] = 0x11;
   test_key.raw = 0;
   test_key.raw = l2fib_make_key ((u8 *) & test_mac, 0x1234);
@@ -1239,6 +1406,39 @@ l2fib_init (vlib_main_t * vm)
 
 VLIB_INIT_FUNCTION (l2fib_init);
 
+static clib_error_t *
+lfib_config (vlib_main_t * vm, unformat_input_t * input)
+{
+  l2fib_main_t *lm = &l2fib_main;
+  uword table_size = ~0;
+  u32 n_buckets = ~0;
+
+  while (unformat_check_input (input) != UNFORMAT_END_OF_INPUT)
+    {
+      if (unformat (input, "table-size %U", unformat_memory_size,
+                   &table_size))
+       ;
+      else if (unformat (input, "num-buckets %u", &n_buckets))
+       ;
+      else
+       return clib_error_return (0, "unknown input `%U'",
+                                 format_unformat_error, input);
+    }
+
+  if (n_buckets != ~0)
+    {
+      if (!is_pow2 (n_buckets))
+       return clib_error_return (0, "num-buckets must be power of 2");
+      lm->mac_table_n_buckets = n_buckets;
+    }
+
+  if (table_size != ~0)
+    lm->mac_table_memory_size = table_size;
+  return 0;
+}
+
+VLIB_CONFIG_FUNCTION (lfib_config, "l2fib");
+
 /*
  * fd.io coding-style-patch-verification: ON
  *