session: fix workers race to allocate lookup table
[vpp.git] / src / vnet / session / session_lookup.c
index 927922e..9d028db 100644 (file)
@@ -1,5 +1,5 @@
 /*
- * Copyright (c) 2017 Cisco and/or its affiliates.
+ * Copyright (c) 2017-2019 Cisco and/or its affiliates.
  * Licensed under the Apache License, Version 2.0 (the "License");
  * you may not use this file except in compliance with the License.
  * You may obtain a copy of the License at:
 #include <vnet/session/session.h>
 #include <vnet/session/application.h>
 
-/**
- * External vector of per transport virtual functions table
- */
-extern transport_proto_vft_t *tp_vfts;
+static session_lookup_main_t sl_main;
 
 /**
  * Network namespace index (i.e., fib index) to session lookup table. We
@@ -40,7 +37,6 @@ extern transport_proto_vft_t *tp_vfts;
  */
 static u32 *fib_index_to_table_index[2];
 
-/* *INDENT-OFF* */
 /* 16 octets */
 typedef CLIB_PACKED (struct {
   union
@@ -77,7 +73,6 @@ typedef CLIB_PACKED (struct {
       u64 as_u64[6];
     };
 }) v6_connection_key_t;
-/* *INDENT-ON* */
 
 typedef clib_bihash_kv_16_8_t session_kv4_t;
 typedef clib_bihash_kv_48_8_t session_kv6_t;
@@ -160,26 +155,70 @@ make_v6_ss_kv_from_tc (session_kv6_t * kv, transport_connection_t * tc)
                 tc->rmt_port, tc->proto);
 }
 
+static inline u8
+session_table_alloc_needs_sync (void)
+{
+  return !vlib_thread_is_main_w_barrier () && (vlib_num_workers () > 1);
+}
+
+static_always_inline u8
+session_table_is_alloced (u8 fib_proto, u32 fib_index)
+{
+  return (vec_len (fib_index_to_table_index[fib_proto]) > fib_index &&
+         fib_index_to_table_index[fib_proto][fib_index] != ~0);
+}
+
 static session_table_t *
-session_table_get_or_alloc (u8 fib_proto, u8 fib_index)
+session_table_get_or_alloc (u8 fib_proto, u32 fib_index)
 {
   session_table_t *st;
   u32 table_index;
-  if (vec_len (fib_index_to_table_index[fib_proto]) <= fib_index)
+
+  ASSERT (fib_index != ~0);
+
+  if (session_table_is_alloced (fib_proto, fib_index))
+    {
+      table_index = fib_index_to_table_index[fib_proto][fib_index];
+      return session_table_get (table_index);
+    }
+
+  u8 needs_sync = session_table_alloc_needs_sync ();
+  session_lookup_main_t *slm = &sl_main;
+
+  /* Stop workers, otherwise consumers might be affected. This is
+   * acceptable because new tables should seldom be allocated */
+  if (needs_sync)
+    {
+      vlib_workers_sync ();
+
+      /* We might have a race, only one worker allowed at once */
+      clib_spinlock_lock (&slm->st_alloc_lock);
+    }
+
+  /* Another worker just allocated this table */
+  if (session_table_is_alloced (fib_proto, fib_index))
+    {
+      table_index = fib_index_to_table_index[fib_proto][fib_index];
+      st = session_table_get (table_index);
+    }
+  else
     {
       st = session_table_alloc ();
-      table_index = session_table_index (st);
-      vec_validate (fib_index_to_table_index[fib_proto], fib_index);
-      fib_index_to_table_index[fib_proto][fib_index] = table_index;
       st->active_fib_proto = fib_proto;
       session_table_init (st, fib_proto);
-      return st;
+      vec_validate_init_empty (fib_index_to_table_index[fib_proto], fib_index,
+                              ~0);
+      table_index = session_table_index (st);
+      fib_index_to_table_index[fib_proto][fib_index] = table_index;
     }
-  else
+
+  if (needs_sync)
     {
-      table_index = fib_index_to_table_index[fib_proto][fib_index];
-      return session_table_get (table_index);
+      clib_spinlock_unlock (&slm->st_alloc_lock);
+      vlib_workers_continue ();
     }
+
+  return st;
 }
 
 static session_table_t *
@@ -216,6 +255,14 @@ session_lookup_get_index_for_fib (u32 fib_proto, u32 fib_index)
   return fib_index_to_table_index[fib_proto][fib_index];
 }
 
+u32
+session_lookup_get_or_alloc_index_for_fib (u32 fib_proto, u32 fib_index)
+{
+  session_table_t *st;
+  st = session_table_get_or_alloc (fib_proto, fib_index);
+  return session_table_index (st);
+}
+
 /**
  * Add transport connection to a session table
  *
@@ -305,6 +352,32 @@ session_lookup_del_session_endpoint (u32 table_index,
     }
 }
 
+int
+session_lookup_del_session_endpoint2 (session_endpoint_t * sep)
+{
+  fib_protocol_t fib_proto;
+  session_table_t *st;
+  session_kv4_t kv4;
+  session_kv6_t kv6;
+
+  fib_proto = sep->is_ip4 ? FIB_PROTOCOL_IP4 : FIB_PROTOCOL_IP6;
+  st = session_table_get_for_fib_index (fib_proto, sep->fib_index);
+  if (!st)
+    return -1;
+  if (sep->is_ip4)
+    {
+      make_v4_listener_kv (&kv4, &sep->ip.ip4, sep->port,
+                          sep->transport_proto);
+      return clib_bihash_add_del_16_8 (&st->v4_session_hash, &kv4, 0);
+    }
+  else
+    {
+      make_v6_listener_kv (&kv6, &sep->ip.ip6, sep->port,
+                          sep->transport_proto);
+      return clib_bihash_add_del_48_8 (&st->v6_session_hash, &kv6, 0);
+    }
+}
+
 /**
  * Delete transport connection from session table
  *
@@ -338,11 +411,13 @@ session_lookup_del_connection (transport_connection_t * tc)
 }
 
 int
-session_lookup_del_session (stream_session_t * s)
+session_lookup_del_session (session_t * s)
 {
-  transport_proto_t tp = session_get_transport_proto (s);
   transport_connection_t *ts;
-  ts = tp_vfts[tp].get_connection (s->connection_index, s->thread_index);
+  ts = transport_get_connection (session_get_transport_proto (s),
+                                s->connection_index, s->thread_index);
+  if (!ts || (ts->flags & TRANSPORT_CONNECTION_F_NO_LOOKUP))
+    return 0;
   return session_lookup_del_connection (ts);
 }
 
@@ -371,7 +446,7 @@ session_lookup_action_to_handle (u32 action_index)
     }
 }
 
-static stream_session_t *
+static session_t *
 session_lookup_app_listen_session (u32 app_index, u8 fib_proto,
                                   u8 transport_proto)
 {
@@ -384,7 +459,7 @@ session_lookup_app_listen_session (u32 app_index, u8 fib_proto,
                                    fib_proto, transport_proto);
 }
 
-static stream_session_t *
+static session_t *
 session_lookup_action_to_session (u32 action_index, u8 fib_proto,
                                  u8 transport_proto)
 {
@@ -396,7 +471,7 @@ session_lookup_action_to_session (u32 action_index, u8 fib_proto,
 }
 
 /** UNUSED */
-stream_session_t *
+session_t *
 session_lookup_rules_table_session4 (session_table_t * st, u8 proto,
                                     ip4_address_t * lcl, u16 lcl_port,
                                     ip4_address_t * rmt, u16 rmt_port)
@@ -412,7 +487,7 @@ session_lookup_rules_table_session4 (session_table_t * st, u8 proto,
 }
 
 /** UNUSED */
-stream_session_t *
+session_t *
 session_lookup_rules_table_session6 (session_table_t * st, u8 proto,
                                     ip6_address_t * lcl, u16 lcl_port,
                                     ip6_address_t * rmt, u16 rmt_port)
@@ -614,7 +689,7 @@ session_lookup_local_endpoint (u32 table_index, session_endpoint_t * sep)
   return SESSION_INVALID_HANDLE;
 }
 
-static inline stream_session_t *
+static inline session_t *
 session_lookup_listener4_i (session_table_t * st, ip4_address_t * lcl,
                            u16 lcl_port, u8 proto, u8 use_wildcard)
 {
@@ -655,18 +730,18 @@ session_lookup_listener4_i (session_table_t * st, ip4_address_t * lcl,
   return 0;
 }
 
-stream_session_t *
+session_t *
 session_lookup_listener4 (u32 fib_index, ip4_address_t * lcl, u16 lcl_port,
-                         u8 proto)
+                         u8 proto, u8 use_wildcard)
 {
   session_table_t *st;
   st = session_table_get_for_fib_index (FIB_PROTOCOL_IP4, fib_index);
   if (!st)
     return 0;
-  return session_lookup_listener4_i (st, lcl, lcl_port, proto, 0);
+  return session_lookup_listener4_i (st, lcl, lcl_port, proto, use_wildcard);
 }
 
-static stream_session_t *
+static session_t *
 session_lookup_listener6_i (session_table_t * st, ip6_address_t * lcl,
                            u16 lcl_port, u8 proto, u8 ip_wildcard)
 {
@@ -698,21 +773,21 @@ session_lookup_listener6_i (session_table_t * st, ip6_address_t * lcl,
   return 0;
 }
 
-stream_session_t *
+session_t *
 session_lookup_listener6 (u32 fib_index, ip6_address_t * lcl, u16 lcl_port,
-                         u8 proto)
+                         u8 proto, u8 use_wildcard)
 {
   session_table_t *st;
   st = session_table_get_for_fib_index (FIB_PROTOCOL_IP6, fib_index);
   if (!st)
     return 0;
-  return session_lookup_listener6_i (st, lcl, lcl_port, proto, 1);
+  return session_lookup_listener6_i (st, lcl, lcl_port, proto, use_wildcard);
 }
 
 /**
  * Lookup listener, exact or proxy (inaddr_any:0) match
  */
-stream_session_t *
+session_t *
 session_lookup_listener (u32 table_index, session_endpoint_t * sep)
 {
   session_table_t *st;
@@ -728,6 +803,27 @@ session_lookup_listener (u32 table_index, session_endpoint_t * sep)
   return 0;
 }
 
+/**
+ * Lookup listener wildcard match
+ */
+session_t *
+session_lookup_listener_wildcard (u32 table_index, session_endpoint_t * sep)
+{
+  session_table_t *st;
+  st = session_table_get (table_index);
+  if (!st)
+    return 0;
+  if (sep->is_ip4)
+    return session_lookup_listener4_i (st, &sep->ip.ip4, sep->port,
+                                      sep->transport_proto,
+                                      1 /* use_wildcard */ );
+  else
+    return session_lookup_listener6_i (st, &sep->ip.ip6, sep->port,
+                                      sep->transport_proto,
+                                      1 /* use_wildcard */ );
+  return 0;
+}
+
 int
 session_lookup_add_half_open (transport_connection_t * tc, u64 value)
 {
@@ -812,12 +908,10 @@ session_lookup_half_open_handle (transport_connection_t * tc)
 transport_connection_t *
 session_lookup_half_open_connection (u64 handle, u8 proto, u8 is_ip4)
 {
-  u32 sst;
-
   if (handle != HALF_OPEN_LOOKUP_INVALID_VALUE)
     {
-      sst = session_type_from_proto_and_ip (proto, is_ip4);
-      return tp_vfts[sst].get_half_open (handle & 0xFFFFFFFF);
+      u32 sst = session_type_from_proto_and_ip (proto, is_ip4);
+      return transport_get_half_open (sst, handle & 0xFFFFFFFF);
     }
   return 0;
 }
@@ -852,11 +946,11 @@ transport_connection_t *
 session_lookup_connection_wt4 (u32 fib_index, ip4_address_t * lcl,
                               ip4_address_t * rmt, u16 lcl_port,
                               u16 rmt_port, u8 proto, u32 thread_index,
-                              u8 * is_filtered)
+                              u8 * result)
 {
   session_table_t *st;
   session_kv4_t kv4;
-  stream_session_t *s;
+  session_t *s;
   u32 action_index;
   int rv;
 
@@ -871,10 +965,14 @@ session_lookup_connection_wt4 (u32 fib_index, ip4_address_t * lcl,
   rv = clib_bihash_search_inline_16_8 (&st->v4_session_hash, &kv4);
   if (rv == 0)
     {
-      ASSERT ((u32) (kv4.value >> 32) == thread_index);
+      if (PREDICT_FALSE ((u32) (kv4.value >> 32) != thread_index))
+       {
+         *result = SESSION_LOOKUP_RESULT_WRONG_THREAD;
+         return 0;
+       }
       s = session_get (kv4.value & 0xFFFFFFFFULL, thread_index);
-      return tp_vfts[proto].get_connection (s->connection_index,
-                                           thread_index);
+      return transport_get_connection (proto, s->connection_index,
+                                      thread_index);
     }
 
   /*
@@ -882,7 +980,7 @@ session_lookup_connection_wt4 (u32 fib_index, ip4_address_t * lcl,
    */
   rv = clib_bihash_search_inline_16_8 (&st->v4_half_open_hash, &kv4);
   if (rv == 0)
-    return tp_vfts[proto].get_half_open (kv4.value & 0xFFFFFFFF);
+    return transport_get_half_open (proto, kv4.value & 0xFFFFFFFF);
 
   /*
    * Check the session rules table
@@ -891,11 +989,14 @@ session_lookup_connection_wt4 (u32 fib_index, ip4_address_t * lcl,
                                              rmt, lcl_port, rmt_port);
   if (session_lookup_action_index_is_valid (action_index))
     {
-      if ((*is_filtered = (action_index == SESSION_RULES_TABLE_ACTION_DROP)))
-       return 0;
+      if (action_index == SESSION_RULES_TABLE_ACTION_DROP)
+       {
+         *result = SESSION_LOOKUP_RESULT_FILTERED;
+         return 0;
+       }
       if ((s = session_lookup_action_to_session (action_index,
                                                 FIB_PROTOCOL_IP4, proto)))
-       return tp_vfts[proto].get_listener (s->connection_index);
+       return transport_get_listener (proto, s->connection_index);
       return 0;
     }
 
@@ -904,7 +1005,7 @@ session_lookup_connection_wt4 (u32 fib_index, ip4_address_t * lcl,
    */
   s = session_lookup_listener4_i (st, lcl, lcl_port, proto, 1);
   if (s)
-    return tp_vfts[proto].get_listener (s->connection_index);
+    return transport_get_listener (proto, s->connection_index);
 
   return 0;
 }
@@ -912,9 +1013,8 @@ session_lookup_connection_wt4 (u32 fib_index, ip4_address_t * lcl,
 /**
  * Lookup connection with ip4 and transport layer information
  *
- * Not optimized. This is used on the fast path so it needs to be fast.
- * Thereby, duplication of code and 'hacks' allowed. Lookup logic is identical
- * to that of @ref session_lookup_connection_wt4
+ * Not optimized. Lookup logic is identical to that of
+ * @ref session_lookup_connection_wt4
  *
  * @param fib_index    index of the fib wherein the connection was received
  * @param lcl          local ip4 address
@@ -932,7 +1032,7 @@ session_lookup_connection4 (u32 fib_index, ip4_address_t * lcl,
 {
   session_table_t *st;
   session_kv4_t kv4;
-  stream_session_t *s;
+  session_t *s;
   u32 action_index;
   int rv;
 
@@ -948,8 +1048,8 @@ session_lookup_connection4 (u32 fib_index, ip4_address_t * lcl,
   if (rv == 0)
     {
       s = session_get_from_handle (kv4.value);
-      return tp_vfts[proto].get_connection (s->connection_index,
-                                           s->thread_index);
+      return transport_get_connection (proto, s->connection_index,
+                                      s->thread_index);
     }
 
   /*
@@ -957,7 +1057,7 @@ session_lookup_connection4 (u32 fib_index, ip4_address_t * lcl,
    */
   rv = clib_bihash_search_inline_16_8 (&st->v4_half_open_hash, &kv4);
   if (rv == 0)
-    return tp_vfts[proto].get_half_open (kv4.value & 0xFFFFFFFF);
+    return transport_get_half_open (proto, kv4.value & 0xFFFFFFFF);
 
   /*
    * Check the session rules table
@@ -970,7 +1070,7 @@ session_lookup_connection4 (u32 fib_index, ip4_address_t * lcl,
        return 0;
       if ((s = session_lookup_action_to_session (action_index,
                                                 FIB_PROTOCOL_IP4, proto)))
-       return tp_vfts[proto].get_listener (s->connection_index);
+       return transport_get_listener (proto, s->connection_index);
       return 0;
     }
 
@@ -979,7 +1079,7 @@ session_lookup_connection4 (u32 fib_index, ip4_address_t * lcl,
    */
   s = session_lookup_listener4_i (st, lcl, lcl_port, proto, 1);
   if (s)
-    return tp_vfts[proto].get_listener (s->connection_index);
+    return transport_get_listener (proto, s->connection_index);
 
   return 0;
 }
@@ -987,9 +1087,7 @@ session_lookup_connection4 (u32 fib_index, ip4_address_t * lcl,
 /**
  * Lookup session with ip4 and transport layer information
  *
- * Important note: this may look into another thread's pool table and
- * register as 'peeker'. Caller should call @ref session_pool_remove_peeker as
- * if needed as soon as possible.
+ * Important note: this may look into another thread's pool table
  *
  * Lookup logic is similar to that of @ref session_lookup_connection_wt4 but
  * this returns a session as opposed to a transport connection and it does not
@@ -997,13 +1095,13 @@ session_lookup_connection4 (u32 fib_index, ip4_address_t * lcl,
  *
  * Typically used by dgram connections
  */
-stream_session_t *
+session_t *
 session_lookup_safe4 (u32 fib_index, ip4_address_t * lcl, ip4_address_t * rmt,
                      u16 lcl_port, u16 rmt_port, u8 proto)
 {
   session_table_t *st;
   session_kv4_t kv4;
-  stream_session_t *s;
+  session_t *s;
   u32 action_index;
   int rv;
 
@@ -1070,10 +1168,10 @@ transport_connection_t *
 session_lookup_connection_wt6 (u32 fib_index, ip6_address_t * lcl,
                               ip6_address_t * rmt, u16 lcl_port,
                               u16 rmt_port, u8 proto, u32 thread_index,
-                              u8 * is_filtered)
+                              u8 * result)
 {
   session_table_t *st;
-  stream_session_t *s;
+  session_t *s;
   session_kv6_t kv6;
   u32 action_index;
   int rv;
@@ -1087,33 +1185,41 @@ session_lookup_connection_wt6 (u32 fib_index, ip6_address_t * lcl,
   if (rv == 0)
     {
       ASSERT ((u32) (kv6.value >> 32) == thread_index);
+      if (PREDICT_FALSE ((u32) (kv6.value >> 32) != thread_index))
+       {
+         *result = SESSION_LOOKUP_RESULT_WRONG_THREAD;
+         return 0;
+       }
       s = session_get (kv6.value & 0xFFFFFFFFULL, thread_index);
-      return tp_vfts[proto].get_connection (s->connection_index,
-                                           thread_index);
+      return transport_get_connection (proto, s->connection_index,
+                                      thread_index);
     }
 
   /* Try half-open connections */
   rv = clib_bihash_search_inline_48_8 (&st->v6_half_open_hash, &kv6);
   if (rv == 0)
-    return tp_vfts[proto].get_half_open (kv6.value & 0xFFFFFFFF);
+    return transport_get_half_open (proto, kv6.value & 0xFFFFFFFF);
 
   /* Check the session rules table */
   action_index = session_rules_table_lookup6 (&st->session_rules[proto], lcl,
                                              rmt, lcl_port, rmt_port);
   if (session_lookup_action_index_is_valid (action_index))
     {
-      if ((*is_filtered = (action_index == SESSION_RULES_TABLE_ACTION_DROP)))
-       return 0;
+      if (action_index == SESSION_RULES_TABLE_ACTION_DROP)
+       {
+         *result = SESSION_LOOKUP_RESULT_FILTERED;
+         return 0;
+       }
       if ((s = session_lookup_action_to_session (action_index,
                                                 FIB_PROTOCOL_IP6, proto)))
-       return tp_vfts[proto].get_listener (s->connection_index);
+       return transport_get_listener (proto, s->connection_index);
       return 0;
     }
 
   /* If nothing is found, check if any listener is available */
   s = session_lookup_listener6_i (st, lcl, lcl_port, proto, 1);
   if (s)
-    return tp_vfts[proto].get_listener (s->connection_index);
+    return transport_get_listener (proto, s->connection_index);
 
   return 0;
 }
@@ -1140,7 +1246,7 @@ session_lookup_connection6 (u32 fib_index, ip6_address_t * lcl,
                            u8 proto)
 {
   session_table_t *st;
-  stream_session_t *s;
+  session_t *s;
   session_kv6_t kv6;
   u32 action_index;
   int rv;
@@ -1154,14 +1260,14 @@ session_lookup_connection6 (u32 fib_index, ip6_address_t * lcl,
   if (rv == 0)
     {
       s = session_get_from_handle (kv6.value);
-      return tp_vfts[proto].get_connection (s->connection_index,
-                                           s->thread_index);
+      return transport_get_connection (proto, s->connection_index,
+                                      s->thread_index);
     }
 
   /* Try half-open connections */
   rv = clib_bihash_search_inline_48_8 (&st->v6_half_open_hash, &kv6);
   if (rv == 0)
-    return tp_vfts[proto].get_half_open (kv6.value & 0xFFFFFFFF);
+    return transport_get_half_open (proto, kv6.value & 0xFFFFFFFF);
 
   /* Check the session rules table */
   action_index = session_rules_table_lookup6 (&st->session_rules[proto], lcl,
@@ -1172,14 +1278,14 @@ session_lookup_connection6 (u32 fib_index, ip6_address_t * lcl,
        return 0;
       if ((s = session_lookup_action_to_session (action_index,
                                                 FIB_PROTOCOL_IP6, proto)))
-       return tp_vfts[proto].get_listener (s->connection_index);
+       return transport_get_listener (proto, s->connection_index);
       return 0;
     }
 
   /* If nothing is found, check if any listener is available */
   s = session_lookup_listener6_i (st, lcl, lcl_port, proto, 1);
   if (s)
-    return tp_vfts[proto].get_listener (s->connection_index);
+    return transport_get_listener (proto, s->connection_index);
 
   return 0;
 }
@@ -1197,13 +1303,13 @@ session_lookup_connection6 (u32 fib_index, ip6_address_t * lcl,
  *
  * Typically used by dgram connections
  */
-stream_session_t *
+session_t *
 session_lookup_safe6 (u32 fib_index, ip6_address_t * lcl, ip6_address_t * rmt,
                      u16 lcl_port, u16 rmt_port, u8 proto)
 {
   session_table_t *st;
   session_kv6_t kv6;
-  stream_session_t *s;
+  session_t *s;
   u32 action_index;
   int rv;
 
@@ -1233,37 +1339,47 @@ session_lookup_safe6 (u32 fib_index, ip6_address_t * lcl, ip6_address_t * rmt,
   return 0;
 }
 
-clib_error_t *
-vnet_session_rule_add_del (session_rule_add_del_args_t * args)
+transport_connection_t *
+session_lookup_connection (u32 fib_index, ip46_address_t * lcl,
+                          ip46_address_t * rmt, u16 lcl_port, u16 rmt_port,
+                          u8 proto, u8 is_ip4)
+{
+  if (is_ip4)
+    return session_lookup_connection4 (fib_index, &lcl->ip4, &rmt->ip4,
+                                      lcl_port, rmt_port, proto);
+  else
+    return session_lookup_connection6 (fib_index, &lcl->ip6, &rmt->ip6,
+                                      lcl_port, rmt_port, proto);
+}
+
+session_error_t
+vnet_session_rule_add_del (session_rule_add_del_args_t *args)
 {
   app_namespace_t *app_ns = app_namespace_get (args->appns_index);
   session_rules_table_t *srt;
   session_table_t *st;
   u32 fib_index;
   u8 fib_proto;
-  clib_error_t *error;
+  int rv = 0;
 
   if (!app_ns)
-    return clib_error_return_code (0, VNET_API_ERROR_APP_INVALID_NS, 0,
-                                  "invalid app ns");
+    return SESSION_E_INVALID_NS;
+
   if (args->scope > 3)
-    return clib_error_return_code (0, VNET_API_ERROR_INVALID_VALUE, 0,
-                                  "invalid scope");
+    return SESSION_E_INVALID;
+
   if (args->transport_proto != TRANSPORT_PROTO_TCP
       && args->transport_proto != TRANSPORT_PROTO_UDP)
-    return clib_error_return_code (0, VNET_API_ERROR_INVALID_VALUE, 0,
-                                  "invalid transport proto");
+    return SESSION_E_INVALID;
+
   if ((args->scope & SESSION_RULE_SCOPE_GLOBAL) || args->scope == 0)
     {
       fib_proto = args->table_args.rmt.fp_proto;
       fib_index = app_namespace_get_fib_index (app_ns, fib_proto);
       st = session_table_get_for_fib_index (fib_proto, fib_index);
       srt = &st->session_rules[args->transport_proto];
-      if ((error = session_rules_table_add_del (srt, &args->table_args)))
-       {
-         clib_error_report (error);
-         return error;
-       }
+      if ((rv = session_rules_table_add_del (srt, &args->table_args)))
+       return rv;
     }
   if (args->scope & SESSION_RULE_SCOPE_LOCAL)
     {
@@ -1272,9 +1388,9 @@ vnet_session_rule_add_del (session_rule_add_del_args_t * args)
       args->table_args.lcl_port = 0;
       st = app_namespace_get_local_table (app_ns);
       srt = &st->session_rules[args->transport_proto];
-      error = session_rules_table_add_del (srt, &args->table_args);
+      rv = session_rules_table_add_del (srt, &args->table_args);
     }
-  return error;
+  return rv;
 }
 
 /**
@@ -1290,7 +1406,7 @@ session_lookup_set_tables_appns (app_namespace_t * app_ns)
   for (fp = 0; fp < ARRAY_LEN (fib_index_to_table_index); fp++)
     {
       fib_index = app_namespace_get_fib_index (app_ns, fp);
-      st = session_table_get_for_fib_index (fp, fib_index);
+      st = session_table_get_or_alloc (fp, fib_index);
       if (st)
        st->appns_index = app_namespace_index (app_ns);
     }
@@ -1300,11 +1416,12 @@ u8 *
 format_ip4_session_lookup_kvp (u8 * s, va_list * args)
 {
   clib_bihash_kv_16_8_t *kvp = va_arg (*args, clib_bihash_kv_16_8_t *);
-  u32 is_local = va_arg (*args, u32), app_wrk_index, session_index;
+  u32 is_local = va_arg (*args, u32);
   v4_connection_key_t *key = (v4_connection_key_t *) kvp->key;
-  u8 *app_name, *str = 0;
-  stream_session_t *session;
+  session_t *session;
   app_worker_t *app_wrk;
+  const u8 *app_name;
+  u8 *str = 0;
 
   if (!is_local)
     {
@@ -1319,15 +1436,14 @@ format_ip4_session_lookup_kvp (u8 * s, va_list * args)
     }
   else
     {
-      local_session_parse_handle (kvp->value, &app_wrk_index, &session_index);
-      app_wrk = app_worker_get (app_wrk_index);
+      session = session_get_from_handle (kvp->value);
+      app_wrk = app_worker_get (session->app_wrk_index);
       app_name = application_name_from_index (app_wrk->app_index);
       str = format (0, "[%U] %U:%d", format_transport_proto_short, key->proto,
                    format_ip4_address, &key->src,
                    clib_net_to_host_u16 (key->src_port));
       s = format (s, "%-30v%-30v", str, app_name);
     }
-  vec_free (app_name);
   return s;
 }
 
@@ -1375,13 +1491,16 @@ session_rule_command_fn (vlib_main_t * vm, unformat_input_t * input,
                         vlib_cli_command_t * cmd)
 {
   u32 proto = ~0, lcl_port, rmt_port, action = 0, lcl_plen = 0, rmt_plen = 0;
+  clib_error_t *error = 0;
   u32 appns_index, scope = 0;
   ip46_address_t lcl_ip, rmt_ip;
   u8 is_ip4 = 1, conn_set = 0;
   u8 fib_proto, is_add = 1, *ns_id = 0;
   u8 *tag = 0;
   app_namespace_t *app_ns;
-  clib_error_t *error;
+  int rv;
+
+  session_cli_return_if_not_enabled ();
 
   clib_memset (&lcl_ip, 0, sizeof (lcl_ip));
   clib_memset (&rmt_ip, 0, sizeof (rmt_ip));
@@ -1422,29 +1541,32 @@ session_rule_command_fn (vlib_main_t * vm, unformat_input_t * input,
       else if (unformat (input, "tag %_%v%_", &tag))
        ;
       else
-       return clib_error_return (0, "unknown input `%U'",
-                                 format_unformat_error, input);
+       {
+         error = clib_error_return (0, "unknown input `%U'",
+                                    format_unformat_error, input);
+         goto done;
+       }
     }
 
   if (proto == ~0)
     {
       vlib_cli_output (vm, "proto must be set");
-      return 0;
+      goto done;
     }
   if (is_add && !conn_set && action == ~0)
     {
       vlib_cli_output (vm, "connection and action must be set for add");
-      return 0;
+      goto done;
     }
   if (!is_add && !tag && !conn_set)
     {
       vlib_cli_output (vm, "connection or tag must be set for delete");
-      return 0;
+      goto done;
     }
   if (vec_len (tag) > SESSION_RULE_TAG_MAX_LEN)
     {
       vlib_cli_output (vm, "tag too long (max u64)");
-      return 0;
+      goto done;
     }
 
   if (ns_id)
@@ -1453,7 +1575,7 @@ session_rule_command_fn (vlib_main_t * vm, unformat_input_t * input,
       if (!app_ns)
        {
          vlib_cli_output (vm, "namespace %v does not exist", ns_id);
-         return 0;
+         goto done;
        }
     }
   else
@@ -1464,6 +1586,7 @@ session_rule_command_fn (vlib_main_t * vm, unformat_input_t * input,
 
   fib_proto = is_ip4 ? FIB_PROTOCOL_IP4 : FIB_PROTOCOL_IP6;
   session_rule_add_del_args_t args = {
+    .transport_proto = proto,
     .table_args.lcl.fp_addr = lcl_ip,
     .table_args.lcl.fp_len = lcl_plen,
     .table_args.lcl.fp_proto = fib_proto,
@@ -1478,12 +1601,15 @@ session_rule_command_fn (vlib_main_t * vm, unformat_input_t * input,
     .appns_index = appns_index,
     .scope = scope,
   };
-  error = vnet_session_rule_add_del (&args);
+  if ((rv = vnet_session_rule_add_del (&args)))
+    error = clib_error_return (0, "rule add del returned %u", rv);
+
+done:
+  vec_free (ns_id);
   vec_free (tag);
   return error;
 }
 
-/* *INDENT-OFF* */
 VLIB_CLI_COMMAND (session_rule_command, static) =
 {
   .path = "session rule",
@@ -1491,7 +1617,6 @@ VLIB_CLI_COMMAND (session_rule_command, static) =
       "<lcl-ip/plen> <lcl-port> <rmt-ip/plen> <rmt-port> action <action>",
   .function = session_rule_command_fn,
 };
-/* *INDENT-ON* */
 
 void
 session_lookup_dump_rules_table (u32 fib_index, u8 fib_proto,
@@ -1530,6 +1655,8 @@ show_session_rules_command_fn (vlib_main_t * vm, unformat_input_t * input,
   session_table_t *st;
   u8 *ns_id = 0, fib_proto;
 
+  session_cli_return_if_not_enabled ();
+
   clib_memset (&lcl_ip, 0, sizeof (lcl_ip));
   clib_memset (&rmt_ip, 0, sizeof (rmt_ip));
   while (unformat_check_input (input) != UNFORMAT_END_OF_INPUT)
@@ -1612,7 +1739,6 @@ show_session_rules_command_fn (vlib_main_t * vm, unformat_input_t * input,
   return 0;
 }
 
-/* *INDENT-OFF* */
 VLIB_CLI_COMMAND (show_session_rules_command, static) =
 {
   .path = "show session rules",
@@ -1620,11 +1746,93 @@ VLIB_CLI_COMMAND (show_session_rules_command, static) =
       "<lcl-port> <rmt-ip/plen> <rmt-port> scope <scope>]",
   .function = show_session_rules_command_fn,
 };
-/* *INDENT-ON* */
+
+u8 *
+format_session_lookup_tables (u8 *s, va_list *args)
+{
+  u32 fib_proto = va_arg (*args, u32);
+  u32 *fibs, num_fibs = 0, fib_index, indent;
+  session_table_t *st;
+  u64 total_mem = 0;
+
+  fibs = fib_index_to_table_index[fib_proto];
+
+  for (fib_index = 0; fib_index < vec_len (fibs); fib_index++)
+    {
+      if (fibs[fib_index] == ~0)
+       continue;
+
+      num_fibs += 1;
+      st = session_table_get (fibs[fib_index]);
+      total_mem += session_table_memory_size (st);
+    }
+
+  indent = format_get_indent (s);
+  s = format (s, "active fibs:\t%u\n", num_fibs);
+  s = format (s, "%Umax fib-index:\t%u\n", format_white_space, indent,
+             vec_len (fibs) - 1);
+  s = format (s, "%Utable memory:\t%U\n", format_white_space, indent,
+             format_memory_size, total_mem);
+  s = format (s, "%Uvec memory:\t%U\n", format_white_space, indent,
+             format_memory_size, vec_mem_size (fibs));
+
+  return s;
+}
+
+static clib_error_t *
+show_session_lookup_command_fn (vlib_main_t *vm, unformat_input_t *input,
+                               vlib_cli_command_t *cmd)
+{
+  session_table_t *st;
+  u32 fib_index = ~0;
+
+  session_cli_return_if_not_enabled ();
+  while (unformat_check_input (input) != UNFORMAT_END_OF_INPUT)
+    {
+      if (unformat (input, "table %u", &fib_index))
+       ;
+      else
+       return clib_error_return (0, "unknown input `%U'",
+                                 format_unformat_error, input);
+    }
+
+  if (fib_index != ~0)
+    {
+      st = session_table_get_for_fib_index (FIB_PROTOCOL_IP4, fib_index);
+      if (st)
+       vlib_cli_output (vm, "%U", format_session_table, st);
+      else
+       vlib_cli_output (vm, "no ip4 table for fib-index %u", fib_index);
+      st = session_table_get_for_fib_index (FIB_PROTOCOL_IP6, fib_index);
+      if (st)
+       vlib_cli_output (vm, "%U", format_session_table, st);
+      else
+       vlib_cli_output (vm, "no ip6 table for fib-index %u", fib_index);
+      goto done;
+    }
+
+  vlib_cli_output (vm, "ip4 fib lookup tables:\n %U",
+                  format_session_lookup_tables, FIB_PROTOCOL_IP4);
+  vlib_cli_output (vm, "ip6 fib lookup tables:\n %U",
+                  format_session_lookup_tables, FIB_PROTOCOL_IP6);
+
+done:
+  return 0;
+}
+
+VLIB_CLI_COMMAND (show_session_lookup_command, static) = {
+  .path = "show session lookup",
+  .short_help = "show session lookup [table <fib-index>]",
+  .function = show_session_lookup_command_fn,
+};
 
 void
 session_lookup_init (void)
 {
+  session_lookup_main_t *slm = &sl_main;
+
+  clib_spinlock_init (&slm->st_alloc_lock);
+
   /*
    * Allocate default table and map it to fib_index 0
    */