vcl: wait for segments with segment handle
[vpp.git] / src / vnet / session / session_lookup.c
index 9ce0b1a..c410dab 100644 (file)
@@ -86,14 +86,8 @@ always_inline void
 make_v4_ss_kv (session_kv4_t * kv, ip4_address_t * lcl, ip4_address_t * rmt,
               u16 lcl_port, u16 rmt_port, u8 proto)
 {
-  v4_connection_key_t *key = (v4_connection_key_t *) kv->key;
-
-  key->src.as_u32 = lcl->as_u32;
-  key->dst.as_u32 = rmt->as_u32;
-  key->src_port = lcl_port;
-  key->dst_port = rmt_port;
-  key->proto = proto;
-
+  kv->key[0] = (u64) rmt->as_u32 << 32 | (u64) lcl->as_u32;
+  kv->key[1] = (u64) proto << 32 | (u64) rmt_port << 16 | (u64) lcl_port;
   kv->value = ~0ULL;
 }
 
@@ -101,28 +95,16 @@ always_inline void
 make_v4_listener_kv (session_kv4_t * kv, ip4_address_t * lcl, u16 lcl_port,
                     u8 proto)
 {
-  v4_connection_key_t *key = (v4_connection_key_t *) kv->key;
-
-  key->src.as_u32 = lcl->as_u32;
-  key->dst.as_u32 = 0;
-  key->src_port = lcl_port;
-  key->dst_port = 0;
-  key->proto = proto;
-
+  kv->key[0] = (u64) lcl->as_u32;
+  kv->key[1] = (u64) proto << 32 | (u64) lcl_port;
   kv->value = ~0ULL;
 }
 
 always_inline void
 make_v4_proxy_kv (session_kv4_t * kv, ip4_address_t * lcl, u8 proto)
 {
-  v4_connection_key_t *key = (v4_connection_key_t *) kv->key;
-
-  key->src.as_u32 = lcl->as_u32;
-  key->dst.as_u32 = 0;
-  key->src_port = 0;
-  key->dst_port = 0;
-  key->proto = proto;
-
+  kv->key[0] = (u64) lcl->as_u32;
+  kv->key[1] = (u64) proto << 32;
   kv->value = ~0ULL;
 }
 
@@ -137,17 +119,12 @@ always_inline void
 make_v6_ss_kv (session_kv6_t * kv, ip6_address_t * lcl, ip6_address_t * rmt,
               u16 lcl_port, u16 rmt_port, u8 proto)
 {
-  v6_connection_key_t *key = (v6_connection_key_t *) kv->key;
-
-  key->src.as_u64[0] = lcl->as_u64[0];
-  key->src.as_u64[1] = lcl->as_u64[1];
-  key->dst.as_u64[0] = rmt->as_u64[0];
-  key->dst.as_u64[1] = rmt->as_u64[1];
-  key->src_port = lcl_port;
-  key->dst_port = rmt_port;
-  key->proto = proto;
-  key->unused = 0;
-
+  kv->key[0] = lcl->as_u64[0];
+  kv->key[1] = lcl->as_u64[1];
+  kv->key[2] = rmt->as_u64[0];
+  kv->key[3] = rmt->as_u64[1];
+  kv->key[4] = (u64) proto << 32 | (u64) rmt_port << 16 | (u64) lcl_port;
+  kv->key[5] = 0;
   kv->value = ~0ULL;
 }
 
@@ -155,34 +132,24 @@ always_inline void
 make_v6_listener_kv (session_kv6_t * kv, ip6_address_t * lcl, u16 lcl_port,
                     u8 proto)
 {
-  v6_connection_key_t *key = (v6_connection_key_t *) kv->key;
-
-  key->src.as_u64[0] = lcl->as_u64[0];
-  key->src.as_u64[1] = lcl->as_u64[1];
-  key->dst.as_u64[0] = 0;
-  key->dst.as_u64[1] = 0;
-  key->src_port = lcl_port;
-  key->dst_port = 0;
-  key->proto = proto;
-  key->unused = 0;
-
+  kv->key[0] = lcl->as_u64[0];
+  kv->key[1] = lcl->as_u64[1];
+  kv->key[2] = 0;
+  kv->key[3] = 0;
+  kv->key[4] = (u64) proto << 32 | (u64) lcl_port;
+  kv->key[5] = 0;
   kv->value = ~0ULL;
 }
 
 always_inline void
 make_v6_proxy_kv (session_kv6_t * kv, ip6_address_t * lcl, u8 proto)
 {
-  v6_connection_key_t *key = (v6_connection_key_t *) kv->key;
-
-  key->src.as_u64[0] = lcl->as_u64[0];
-  key->src.as_u64[1] = lcl->as_u64[1];
-  key->dst.as_u64[0] = 0;
-  key->dst.as_u64[1] = 0;
-  key->src_port = 0;
-  key->dst_port = 0;
-  key->proto = proto;
-  key->unused = 0;
-
+  kv->key[0] = lcl->as_u64[0];
+  kv->key[1] = lcl->as_u64[1];
+  kv->key[2] = 0;
+  kv->key[3] = 0;
+  kv->key[4] = (u64) proto << 32;
+  kv->key[5] = 0;
   kv->value = ~0ULL;
 }
 
@@ -413,7 +380,8 @@ session_lookup_app_listen_session (u32 app_index, u8 fib_proto,
   if (!app)
     return 0;
 
-  return application_first_listener (app, fib_proto, transport_proto);
+  return app_worker_first_listener (application_get_default_worker (app),
+                                   fib_proto, transport_proto);
 }
 
 static stream_session_t *
@@ -492,7 +460,7 @@ session_lookup_endpoint_listener (u32 table_index, session_endpoint_t * sep,
        return kv4.value;
       if (use_rules)
        {
-         memset (&lcl4, 0, sizeof (lcl4));
+         clib_memset (&lcl4, 0, sizeof (lcl4));
          srt = &st->session_rules[sep->transport_proto];
          ai = session_rules_table_lookup4 (srt, &lcl4, &sep->ip.ip4, 0,
                                            sep->port);
@@ -513,7 +481,7 @@ session_lookup_endpoint_listener (u32 table_index, session_endpoint_t * sep,
 
       if (use_rules)
        {
-         memset (&lcl6, 0, sizeof (lcl6));
+         clib_memset (&lcl6, 0, sizeof (lcl6));
          srt = &st->session_rules[sep->transport_proto];
          ai = session_rules_table_lookup6 (srt, &lcl6, &sep->ip.ip6, 0,
                                            sep->port);
@@ -561,7 +529,7 @@ session_lookup_local_endpoint (u32 table_index, session_endpoint_t * sep)
       /*
        * Check if endpoint has special rules associated
        */
-      memset (&lcl4, 0, sizeof (lcl4));
+      clib_memset (&lcl4, 0, sizeof (lcl4));
       srt = &st->session_rules[sep->transport_proto];
       ai = session_rules_table_lookup4 (srt, &lcl4, &sep->ip.ip4, 0,
                                        sep->port);
@@ -581,10 +549,17 @@ session_lookup_local_endpoint (u32 table_index, session_endpoint_t * sep)
        * Zero out the ip. Logic is that connect to local ips, say
        * 127.0.0.1:port, can match 0.0.0.0:port
        */
-      kv4.key[0] = 0;
-      rv = clib_bihash_search_inline_16_8 (&st->v4_session_hash, &kv4);
-      if (rv == 0)
-       return kv4.value;
+      if (ip4_is_local_host (&sep->ip.ip4))
+       {
+         kv4.key[0] = 0;
+         rv = clib_bihash_search_inline_16_8 (&st->v4_session_hash, &kv4);
+         if (rv == 0)
+           return kv4.value;
+       }
+      else
+       {
+         kv4.key[0] = 0;
+       }
 
       /*
        * Zero out the port and check if we have proxy
@@ -599,7 +574,7 @@ session_lookup_local_endpoint (u32 table_index, session_endpoint_t * sep)
       session_kv6_t kv6;
       ip6_address_t lcl6;
 
-      memset (&lcl6, 0, sizeof (lcl6));
+      clib_memset (&lcl6, 0, sizeof (lcl6));
       srt = &st->session_rules[sep->transport_proto];
       ai = session_rules_table_lookup6 (srt, &lcl6, &sep->ip.ip6, 0,
                                        sep->port);
@@ -615,10 +590,18 @@ session_lookup_local_endpoint (u32 table_index, session_endpoint_t * sep)
       /*
        * Zero out the ip. Same logic as above.
        */
-      kv6.key[0] = kv6.key[1] = 0;
-      rv = clib_bihash_search_inline_48_8 (&st->v6_session_hash, &kv6);
-      if (rv == 0)
-       return kv6.value;
+
+      if (ip6_is_local_host (&sep->ip.ip6))
+       {
+         kv6.key[0] = kv6.key[1] = 0;
+         rv = clib_bihash_search_inline_48_8 (&st->v6_session_hash, &kv6);
+         if (rv == 0)
+           return kv6.value;
+       }
+      else
+       {
+         kv6.key[0] = kv6.key[1] = 0;
+       }
 
       /*
        * Zero out the port. Same logic as above.
@@ -631,30 +614,35 @@ session_lookup_local_endpoint (u32 table_index, session_endpoint_t * sep)
   return SESSION_INVALID_HANDLE;
 }
 
-static stream_session_t *
+static inline stream_session_t *
 session_lookup_listener4_i (session_table_t * st, ip4_address_t * lcl,
-                           u16 lcl_port, u8 proto)
+                           u16 lcl_port, u8 proto, u8 use_wildcard)
 {
   session_kv4_t kv4;
   int rv;
-  session_type_t session_type;
 
   /*
    * First, try a fully formed listener
    */
-  session_type = session_type_from_proto_and_ip (proto, 1);
   make_v4_listener_kv (&kv4, lcl, lcl_port, proto);
   rv = clib_bihash_search_inline_16_8 (&st->v4_session_hash, &kv4);
   if (rv == 0)
-    return session_manager_get_listener (session_type, (u32) kv4.value);
+    return listen_session_get ((u32) kv4.value);
 
   /*
    * Zero out the lcl ip and check if any 0/0 port binds have been done
    */
-  kv4.key[0] = 0;
-  rv = clib_bihash_search_inline_16_8 (&st->v4_session_hash, &kv4);
-  if (rv == 0)
-    return session_manager_get_listener (session_type, (u32) kv4.value);
+  if (use_wildcard)
+    {
+      kv4.key[0] = 0;
+      rv = clib_bihash_search_inline_16_8 (&st->v4_session_hash, &kv4);
+      if (rv == 0)
+       return listen_session_get ((u32) kv4.value);
+    }
+  else
+    {
+      kv4.key[0] = 0;
+    }
 
   /*
    * Zero out port and check if we have a proxy set up for our ip
@@ -662,7 +650,7 @@ session_lookup_listener4_i (session_table_t * st, ip4_address_t * lcl,
   make_v4_proxy_kv (&kv4, lcl, proto);
   rv = clib_bihash_search_inline_16_8 (&st->v4_session_hash, &kv4);
   if (rv == 0)
-    return session_manager_get_listener (session_type, (u32) kv4.value);
+    return listen_session_get ((u32) kv4.value);
 
   return 0;
 }
@@ -675,33 +663,38 @@ session_lookup_listener4 (u32 fib_index, ip4_address_t * lcl, u16 lcl_port,
   st = session_table_get_for_fib_index (FIB_PROTOCOL_IP4, fib_index);
   if (!st)
     return 0;
-  return session_lookup_listener4_i (st, lcl, lcl_port, proto);
+  return session_lookup_listener4_i (st, lcl, lcl_port, proto, 0);
 }
 
 static stream_session_t *
 session_lookup_listener6_i (session_table_t * st, ip6_address_t * lcl,
-                           u16 lcl_port, u8 proto)
+                           u16 lcl_port, u8 proto, u8 ip_wildcard)
 {
   session_kv6_t kv6;
   int rv;
-  session_type_t session_type;
 
-  session_type = session_type_from_proto_and_ip (proto, 0);
   make_v6_listener_kv (&kv6, lcl, lcl_port, proto);
   rv = clib_bihash_search_inline_48_8 (&st->v6_session_hash, &kv6);
   if (rv == 0)
-    return session_manager_get_listener (session_type, (u32) kv6.value);
+    return listen_session_get ((u32) kv6.value);
 
   /* Zero out the lcl ip */
-  kv6.key[0] = kv6.key[1] = 0;
-  rv = clib_bihash_search_inline_48_8 (&st->v6_session_hash, &kv6);
-  if (rv == 0)
-    return session_manager_get_listener (session_type, (u32) kv6.value);
+  if (ip_wildcard)
+    {
+      kv6.key[0] = kv6.key[1] = 0;
+      rv = clib_bihash_search_inline_48_8 (&st->v6_session_hash, &kv6);
+      if (rv == 0)
+       return listen_session_get ((u32) kv6.value);
+    }
+  else
+    {
+      kv6.key[0] = kv6.key[1] = 0;
+    }
 
   make_v6_proxy_kv (&kv6, lcl, proto);
   rv = clib_bihash_search_inline_48_8 (&st->v6_session_hash, &kv6);
   if (rv == 0)
-    return session_manager_get_listener (session_type, (u32) kv6.value);
+    return listen_session_get ((u32) kv6.value);
   return 0;
 }
 
@@ -713,9 +706,12 @@ session_lookup_listener6 (u32 fib_index, ip6_address_t * lcl, u16 lcl_port,
   st = session_table_get_for_fib_index (FIB_PROTOCOL_IP6, fib_index);
   if (!st)
     return 0;
-  return session_lookup_listener6_i (st, lcl, lcl_port, proto);
+  return session_lookup_listener6_i (st, lcl, lcl_port, proto, 1);
 }
 
+/**
+ * Lookup listener, exact or proxy (inaddr_any:0) match
+ */
 stream_session_t *
 session_lookup_listener (u32 table_index, session_endpoint_t * sep)
 {
@@ -725,10 +721,10 @@ session_lookup_listener (u32 table_index, session_endpoint_t * sep)
     return 0;
   if (sep->is_ip4)
     return session_lookup_listener4_i (st, &sep->ip.ip4, sep->port,
-                                      sep->transport_proto);
+                                      sep->transport_proto, 0);
   else
     return session_lookup_listener6_i (st, &sep->ip.ip6, sep->port,
-                                      sep->transport_proto);
+                                      sep->transport_proto, 0);
   return 0;
 }
 
@@ -906,7 +902,7 @@ session_lookup_connection_wt4 (u32 fib_index, ip4_address_t * lcl,
   /*
    * If nothing is found, check if any listener is available
    */
-  s = session_lookup_listener4_i (st, lcl, lcl_port, proto);
+  s = session_lookup_listener4_i (st, lcl, lcl_port, proto, 1);
   if (s)
     return tp_vfts[proto].get_listener (s->connection_index);
 
@@ -981,7 +977,7 @@ session_lookup_connection4 (u32 fib_index, ip4_address_t * lcl,
   /*
    * If nothing is found, check if any listener is available
    */
-  s = session_lookup_listener4_i (st, lcl, lcl_port, proto);
+  s = session_lookup_listener4_i (st, lcl, lcl_port, proto, 1);
   if (s)
     return tp_vfts[proto].get_listener (s->connection_index);
 
@@ -1039,7 +1035,7 @@ session_lookup_safe4 (u32 fib_index, ip4_address_t * lcl, ip4_address_t * rmt,
   /*
    *  If nothing is found, check if any listener is available
    */
-  if ((s = session_lookup_listener4_i (st, lcl, lcl_port, proto)))
+  if ((s = session_lookup_listener4_i (st, lcl, lcl_port, proto, 1)))
     return s;
 
   return 0;
@@ -1115,7 +1111,7 @@ session_lookup_connection_wt6 (u32 fib_index, ip6_address_t * lcl,
     }
 
   /* If nothing is found, check if any listener is available */
-  s = session_lookup_listener6_i (st, lcl, lcl_port, proto);
+  s = session_lookup_listener6_i (st, lcl, lcl_port, proto, 1);
   if (s)
     return tp_vfts[proto].get_listener (s->connection_index);
 
@@ -1181,7 +1177,7 @@ session_lookup_connection6 (u32 fib_index, ip6_address_t * lcl,
     }
 
   /* If nothing is found, check if any listener is available */
-  s = session_lookup_listener6 (fib_index, lcl, lcl_port, proto);
+  s = session_lookup_listener6_i (st, lcl, lcl_port, proto, 1);
   if (s)
     return tp_vfts[proto].get_listener (s->connection_index);
 
@@ -1232,7 +1228,7 @@ session_lookup_safe6 (u32 fib_index, ip6_address_t * lcl, ip6_address_t * rmt,
     }
 
   /* If nothing is found, check if any listener is available */
-  if ((s = session_lookup_listener6_i (st, lcl, lcl_port, proto)))
+  if ((s = session_lookup_listener6_i (st, lcl, lcl_port, proto, 1)))
     return s;
   return 0;
 }
@@ -1271,7 +1267,7 @@ vnet_session_rule_add_del (session_rule_add_del_args_t * args)
     }
   if (args->scope & SESSION_RULE_SCOPE_LOCAL)
     {
-      memset (&args->table_args.lcl, 0, sizeof (args->table_args.lcl));
+      clib_memset (&args->table_args.lcl, 0, sizeof (args->table_args.lcl));
       args->table_args.lcl.fp_proto = args->table_args.rmt.fp_proto;
       args->table_args.lcl_port = 0;
       st = app_namespace_get_local_table (app_ns);
@@ -1304,15 +1300,18 @@ u8 *
 format_ip4_session_lookup_kvp (u8 * s, va_list * args)
 {
   clib_bihash_kv_16_8_t *kvp = va_arg (*args, clib_bihash_kv_16_8_t *);
-  u32 is_local = va_arg (*args, u32);
-  u8 *app_name, *str = 0;
-  stream_session_t *session;
+  u32 is_local = va_arg (*args, u32), app_wrk_index, session_index;
   v4_connection_key_t *key = (v4_connection_key_t *) kvp->key;
+  stream_session_t *session;
+  app_worker_t *app_wrk;
+  const u8 *app_name;
+  u8 *str = 0;
 
   if (!is_local)
     {
       session = session_get_from_handle (kvp->value);
-      app_name = application_name_from_index (session->app_index);
+      app_wrk = app_worker_get (session->app_wrk_index);
+      app_name = application_name_from_index (app_wrk->app_index);
       str = format (0, "[%U] %U:%d->%U:%d", format_transport_proto_short,
                    key->proto, format_ip4_address, &key->src,
                    clib_net_to_host_u16 (key->src_port), format_ip4_address,
@@ -1321,13 +1320,14 @@ format_ip4_session_lookup_kvp (u8 * s, va_list * args)
     }
   else
     {
-      app_name = application_name_from_index (kvp->value);
+      local_session_parse_handle (kvp->value, &app_wrk_index, &session_index);
+      app_wrk = app_worker_get (app_wrk_index);
+      app_name = application_name_from_index (app_wrk->app_index);
       str = format (0, "[%U] %U:%d", format_transport_proto_short, key->proto,
                    format_ip4_address, &key->src,
                    clib_net_to_host_u16 (key->src_port));
       s = format (s, "%-30v%-30v", str, app_name);
     }
-  vec_free (app_name);
   return s;
 }
 
@@ -1383,8 +1383,8 @@ session_rule_command_fn (vlib_main_t * vm, unformat_input_t * input,
   app_namespace_t *app_ns;
   clib_error_t *error;
 
-  memset (&lcl_ip, 0, sizeof (lcl_ip));
-  memset (&rmt_ip, 0, sizeof (rmt_ip));
+  clib_memset (&lcl_ip, 0, sizeof (lcl_ip));
+  clib_memset (&rmt_ip, 0, sizeof (rmt_ip));
   while (unformat_check_input (input) != UNFORMAT_END_OF_INPUT)
     {
       if (unformat (input, "del"))
@@ -1530,8 +1530,8 @@ show_session_rules_command_fn (vlib_main_t * vm, unformat_input_t * input,
   session_table_t *st;
   u8 *ns_id = 0, fib_proto;
 
-  memset (&lcl_ip, 0, sizeof (lcl_ip));
-  memset (&rmt_ip, 0, sizeof (rmt_ip));
+  clib_memset (&lcl_ip, 0, sizeof (lcl_ip));
+  clib_memset (&rmt_ip, 0, sizeof (rmt_ip));
   while (unformat_check_input (input) != UNFORMAT_END_OF_INPUT)
     {
       if (unformat (input, "%U", unformat_transport_proto, &transport_proto))