L2-learn; cache prefetch fix
[vpp.git] / src / vnet / l2 / l2_learn.c
index 47c036b..732a1fc 100644 (file)
 #include <vppinfra/error.h>
 #include <vppinfra/hash.h>
 
+#ifndef CLIB_MARCH_VARIANT
+l2learn_main_t l2learn_main;
+#endif
+
 /**
  * @file
  * @brief Ethernet Bridge Learning.
@@ -78,7 +82,7 @@ _(MISS,              "L2 learn misses")                       \
 _(MAC_MOVE,          "L2 mac moves")                   \
 _(MAC_MOVE_VIOLATE,  "L2 mac move violations")         \
 _(LIMIT,             "L2 not learned due to limit")    \
-_(HIT,               "L2 learn hits")                  \
+_(HIT_UPDATE,        "L2 learn hit updates")           \
 _(FILTER_DROP,       "L2 filter mac drops")
 
 typedef enum
@@ -113,7 +117,7 @@ l2learn_process (vlib_node_runtime_t * node,
                 u32 sw_if_index0,
                 l2fib_entry_key_t * key0,
                 l2fib_entry_key_t * cached_key,
-                u32 * bucket0,
+                u32 * count,
                 l2fib_entry_result_t * result0, u32 * next0, u8 timestamp)
 {
   /* Set up the default next node (typically L2FWD) */
@@ -124,13 +128,25 @@ l2learn_process (vlib_node_runtime_t * node,
   if (PREDICT_TRUE (result0->fields.sw_if_index == sw_if_index0))
     {
       /* Entry in L2FIB with matching sw_if_index matched - normal fast path */
-      counter_base[L2LEARN_ERROR_HIT] += 1;
-      int update = !result0->fields.age_not && /* static_mac always age_not */
-       (result0->fields.timestamp != timestamp ||
-        result0->fields.sn.as_u16 != vnet_buffer (b0)->l2.l2fib_sn);
-
-      if (PREDICT_TRUE (!update))
+      u32 dtime = timestamp - result0->fields.timestamp;
+      u32 dsn = result0->fields.sn.as_u16 - vnet_buffer (b0)->l2.l2fib_sn;
+      u32 check = (dtime && vnet_buffer (b0)->l2.bd_age) || dsn;
+
+      if (PREDICT_TRUE (check == 0))
+       return;                 /* MAC entry up to date */
+      if (l2fib_entry_result_is_set_AGE_NOT (result0))
+       return;                 /* Static MAC always age_not */
+      if (msm->global_learn_count > msm->global_learn_limit)
+       return;                 /* Above learn limit - do not update */
+
+      /* Limit updates per l2-learn node call to avoid prolonged update burst
+       * as dtime advance over 1 minute mark, unless more than 1 min behind
+       * or SN obsolete */
+      if ((*count > 2) && (dtime == 1) && (dsn == 0))
        return;
+
+      counter_base[L2LEARN_ERROR_HIT_UPDATE] += 1;
+      *count += 1;
     }
   else if (result0->raw == ~0)
     {
@@ -157,13 +173,15 @@ l2learn_process (vlib_node_runtime_t * node,
       msm->global_learn_count++;
       result0->raw = 0;                /* clear all fields */
       result0->fields.sw_if_index = sw_if_index0;
-      result0->fields.lrn_evt = (msm->client_pid != 0);
-      cached_key->raw = ~0;    /* invalidate the cache */
+      if (msm->client_pid != 0)
+       l2fib_entry_result_set_LRN_EVT (result0);
+      else
+       l2fib_entry_result_clear_LRN_EVT (result0);
     }
   else
     {
       /* Entry in L2FIB with different sw_if_index - mac move or filter */
-      if (result0->fields.filter)
+      if (l2fib_entry_result_is_set_FILTER (result0))
        {
          ASSERT (result0->fields.sw_if_index == ~0);
          /* drop packet because lookup matched a filter mac entry */
@@ -172,7 +190,7 @@ l2learn_process (vlib_node_runtime_t * node,
          return;
        }
 
-      if (result0->fields.static_mac)
+      if (l2fib_entry_result_is_set_STATIC (result0))
        {
          /*
           * Don't overwrite a static mac
@@ -188,12 +206,20 @@ l2learn_process (vlib_node_runtime_t * node,
        * TODO: check global/bridge domain/interface learn limits
        */
       result0->fields.sw_if_index = sw_if_index0;
-      if (result0->fields.age_not)     /* The mac was provisioned */
+      if (l2fib_entry_result_is_set_AGE_NOT (result0))
        {
+         /* The mac was provisioned */
          msm->global_learn_count++;
-         result0->fields.age_not = 0;
+         l2fib_entry_result_clear_AGE_NOT (result0);
        }
-      result0->fields.lrn_evt = (msm->client_pid != 0);
+      if (msm->client_pid != 0)
+       l2fib_entry_result_set_bits (result0,
+                                    (L2FIB_ENTRY_RESULT_FLAG_LRN_EVT |
+                                     L2FIB_ENTRY_RESULT_FLAG_LRN_MOV));
+      else
+       l2fib_entry_result_clear_bits (result0,
+                                      (L2FIB_ENTRY_RESULT_FLAG_LRN_EVT |
+                                       L2FIB_ENTRY_RESULT_FLAG_LRN_MOV));
       counter_base[L2LEARN_ERROR_MAC_MOVE] += 1;
     }
 
@@ -205,6 +231,9 @@ l2learn_process (vlib_node_runtime_t * node,
   kv.key = key0->raw;
   kv.value = result0->raw;
   BV (clib_bihash_add_del) (msm->mac_table, &kv, 1 /* is_add */ );
+
+  /* Invalidate the cache */
+  cached_key->raw = ~0;
 }
 
 
@@ -221,6 +250,7 @@ l2learn_node_inline (vlib_main_t * vm, vlib_node_runtime_t * node,
   l2fib_entry_key_t cached_key;
   l2fib_entry_result_t cached_result;
   u8 timestamp = (u8) (vlib_time_now (vm) / 60);
+  u32 count = 0;
 
   from = vlib_frame_vector_args (frame);
   n_left_from = frame->n_vectors;      /* number of packets to process */
@@ -243,7 +273,7 @@ l2learn_node_inline (vlib_main_t * vm, vlib_node_runtime_t * node,
          vlib_buffer_t *b0, *b1, *b2, *b3;
          u32 next0, next1, next2, next3;
          u32 sw_if_index0, sw_if_index1, sw_if_index2, sw_if_index3;
-         ethernet_header_t *h0, *h1, *h2, *h3;
+         const ethernet_header_t *h0, *h1, *h2, *h3;
          l2fib_entry_key_t key0, key1, key2, key3;
          l2fib_entry_result_t result0, result1, result2, result3;
          u32 bucket0, bucket1, bucket2, bucket3;
@@ -257,15 +287,17 @@ l2learn_node_inline (vlib_main_t * vm, vlib_node_runtime_t * node,
            p6 = vlib_get_buffer (vm, from[6]);
            p7 = vlib_get_buffer (vm, from[7]);
 
+           /* buffer header is read and written, so use LOAD
+            * prefetch */
            vlib_prefetch_buffer_header (p4, LOAD);
            vlib_prefetch_buffer_header (p5, LOAD);
            vlib_prefetch_buffer_header (p6, LOAD);
            vlib_prefetch_buffer_header (p7, LOAD);
 
-           CLIB_PREFETCH (p4->data, CLIB_CACHE_LINE_BYTES, STORE);
-           CLIB_PREFETCH (p5->data, CLIB_CACHE_LINE_BYTES, STORE);
-           CLIB_PREFETCH (p6->data, CLIB_CACHE_LINE_BYTES, STORE);
-           CLIB_PREFETCH (p7->data, CLIB_CACHE_LINE_BYTES, STORE);
+           CLIB_PREFETCH (p4->data, CLIB_CACHE_LINE_BYTES, LOAD);
+           CLIB_PREFETCH (p5->data, CLIB_CACHE_LINE_BYTES, LOAD);
+           CLIB_PREFETCH (p6->data, CLIB_CACHE_LINE_BYTES, LOAD);
+           CLIB_PREFETCH (p7->data, CLIB_CACHE_LINE_BYTES, LOAD);
          }
 
          /* speculatively enqueue b0 and b1 to the current next frame */
@@ -356,19 +388,19 @@ l2learn_node_inline (vlib_main_t * vm, vlib_node_runtime_t * node,
 
          l2learn_process (node, msm, &em->counters[node_counter_base_index],
                           b0, sw_if_index0, &key0, &cached_key,
-                          &bucket0, &result0, &next0, timestamp);
+                          &count, &result0, &next0, timestamp);
 
          l2learn_process (node, msm, &em->counters[node_counter_base_index],
                           b1, sw_if_index1, &key1, &cached_key,
-                          &bucket1, &result1, &next1, timestamp);
+                          &count, &result1, &next1, timestamp);
 
          l2learn_process (node, msm, &em->counters[node_counter_base_index],
                           b2, sw_if_index2, &key2, &cached_key,
-                          &bucket2, &result2, &next2, timestamp);
+                          &count, &result2, &next2, timestamp);
 
          l2learn_process (node, msm, &em->counters[node_counter_base_index],
                           b3, sw_if_index3, &key3, &cached_key,
-                          &bucket3, &result3, &next3, timestamp);
+                          &count, &result3, &next3, timestamp);
 
          /* verify speculative enqueues, maybe switch current next frame */
          /* if next0==next1==next_index then nothing special needs to be done */
@@ -423,7 +455,7 @@ l2learn_node_inline (vlib_main_t * vm, vlib_node_runtime_t * node,
 
          l2learn_process (node, msm, &em->counters[node_counter_base_index],
                           b0, sw_if_index0, &key0, &cached_key,
-                          &bucket0, &result0, &next0, timestamp);
+                          &count, &result0, &next0, timestamp);
 
          /* verify speculative enqueue, maybe switch current next frame */
          vlib_validate_buffer_enqueue_x1 (vm, node, next_index,
@@ -437,9 +469,8 @@ l2learn_node_inline (vlib_main_t * vm, vlib_node_runtime_t * node,
   return frame->n_vectors;
 }
 
-static uword
-l2learn_node_fn (vlib_main_t * vm,
-                vlib_node_runtime_t * node, vlib_frame_t * frame)
+VLIB_NODE_FN (l2learn_node) (vlib_main_t * vm,
+                            vlib_node_runtime_t * node, vlib_frame_t * frame)
 {
   if (PREDICT_FALSE ((node->flags & VLIB_NODE_FLAG_TRACE)))
     return l2learn_node_inline (vm, node, frame, 1 /* do_trace */ );
@@ -448,7 +479,6 @@ l2learn_node_fn (vlib_main_t * vm,
 
 /* *INDENT-OFF* */
 VLIB_REGISTER_NODE (l2learn_node,static) = {
-  .function = l2learn_node_fn,
   .name = "l2-learn",
   .vector_size = sizeof (u32),
   .format_trace = format_l2learn_trace,
@@ -467,8 +497,9 @@ VLIB_REGISTER_NODE (l2learn_node,static) = {
 };
 /* *INDENT-ON* */
 
-VLIB_NODE_FUNCTION_MULTIARCH (l2learn_node, l2learn_node_fn)
-     clib_error_t *l2learn_init (vlib_main_t * vm)
+#ifndef CLIB_MARCH_VARIANT
+clib_error_t *
+l2learn_init (vlib_main_t * vm)
 {
   l2learn_main_t *mp = &l2learn_main;
 
@@ -571,6 +602,8 @@ l2learn_config (vlib_main_t * vm, unformat_input_t * input)
 
 VLIB_CONFIG_FUNCTION (l2learn_config, "l2learn");
 
+#endif
+
 
 /*
  * fd.io coding-style-patch-verification: ON