VPP-1576: fix a set of coverity warnings
[vpp.git] / src / vnet / gre / gre.c
index a153c3c..028eefb 100644 (file)
 #include <vnet/gre/gre.h>
 #include <vnet/adj/adj_midchain.h>
 
+#ifndef CLIB_MARCH_VARIANT
 gre_main_t gre_main;
 
-typedef struct {
-  union {
+typedef struct
+{
+  union
+  {
     ip4_and_gre_header_t ip4_and_gre;
     u64 as_u64[3];
   };
 } ip4_and_gre_union_t;
 
-typedef struct {
-  union {
+typedef struct
+{
+  union
+  {
     ip6_and_gre_header_t ip6_and_gre;
     u64 as_u64[3];
   };
 } ip6_and_gre_union_t;
+#endif /* CLIB_MARCH_VARIANT */
 
 
 /* Packet trace structure */
-typedef struct {
+typedef struct
+{
   /* Tunnel-id / index in tunnel vector */
   u32 tunnel_id;
 
@@ -49,24 +56,27 @@ typedef struct {
   ip46_address_t dst;
 } gre_tx_trace_t;
 
-u8 * format_gre_tx_trace (u8 * s, va_list * args)
+static u8 *
+format_gre_tx_trace (u8 * s, va_list * args)
 {
   CLIB_UNUSED (vlib_main_t * vm) = va_arg (*args, vlib_main_t *);
   CLIB_UNUSED (vlib_node_t * node) = va_arg (*args, vlib_node_t *);
-  gre_tx_trace_t * t = va_arg (*args, gre_tx_trace_t *);
+  gre_tx_trace_t *t = va_arg (*args, gre_tx_trace_t *);
 
   s = format (s, "GRE: tunnel %d len %d src %U dst %U",
-             t->tunnel_id, clib_net_to_host_u16 (t->length),
+             t->tunnel_id, t->length,
              format_ip46_address, &t->src, IP46_TYPE_ANY,
              format_ip46_address, &t->dst, IP46_TYPE_ANY);
   return s;
 }
 
-u8 * format_gre_protocol (u8 * s, va_list * args)
+#ifndef CLIB_MARCH_VARIANT
+u8 *
+format_gre_protocol (u8 * s, va_list * args)
 {
   gre_protocol_t p = va_arg (*args, u32);
-  gre_main_t * gm = &gre_main;
-  gre_protocol_info_t * pi = gre_get_protocol_info (gm, p);
+  gre_main_t *gm = &gre_main;
+  gre_protocol_info_t *pi = gre_get_protocol_info (gm, p);
 
   if (pi)
     s = format (s, "%s", pi->name);
@@ -76,13 +86,14 @@ u8 * format_gre_protocol (u8 * s, va_list * args)
   return s;
 }
 
-u8 * format_gre_header_with_length (u8 * s, va_list * args)
+u8 *
+format_gre_header_with_length (u8 * s, va_list * args)
 {
-  gre_main_t * gm = &gre_main;
-  gre_header_t * h = va_arg (*args, gre_header_t *);
+  gre_main_t *gm = &gre_main;
+  gre_header_t *h = va_arg (*args, gre_header_t *);
   u32 max_header_bytes = va_arg (*args, u32);
   gre_protocol_t p = clib_net_to_host_u16 (h->protocol);
-  uword indent, header_bytes;
+  u32 indent, header_bytes;
 
   header_bytes = sizeof (h[0]);
   if (max_header_bytes != 0 && header_bytes > max_header_bytes)
@@ -92,10 +103,10 @@ u8 * format_gre_header_with_length (u8 * s, va_list * args)
 
   s = format (s, "GRE %U", format_gre_protocol, p);
 
-  if (max_header_bytes != 0 && header_bytes > max_header_bytes)
+  if (max_header_bytes != 0 && header_bytes < max_header_bytes)
     {
-      gre_protocol_info_t * pi = gre_get_protocol_info (gm, p);
-      vlib_node_t * node = vlib_get_node (gm->vlib_main, pi->node_index);
+      gre_protocol_info_t *pi = gre_get_protocol_info (gm, p);
+      vlib_node_t *node = vlib_get_node (gm->vlib_main, pi->node_index);
       if (node->format_buffer)
        s = format (s, "\n%U%U",
                    format_white_space, indent,
@@ -106,9 +117,10 @@ u8 * format_gre_header_with_length (u8 * s, va_list * args)
   return s;
 }
 
-u8 * format_gre_header (u8 * s, va_list * args)
+u8 *
+format_gre_header (u8 * s, va_list * args)
 {
-  gre_header_t * h = va_arg (*args, gre_header_t *);
+  gre_header_t *h = va_arg (*args, gre_header_t *);
   return format (s, "%U", format_gre_header_with_length, h, 0);
 }
 
@@ -117,15 +129,15 @@ uword
 unformat_gre_protocol_host_byte_order (unformat_input_t * input,
                                       va_list * args)
 {
-  u16 * result = va_arg (*args, u16 *);
-  gre_main_t * gm = &gre_main;
+  u16 *result = va_arg (*args, u16 *);
+  gre_main_t *gm = &gre_main;
   int i;
 
   /* Named type. */
   if (unformat_user (input, unformat_vlib_number_by_name,
                     gm->protocol_info_by_name, &i))
     {
-      gre_protocol_info_t * pi = vec_elt_at_index (gm->protocol_infos, i);
+      gre_protocol_info_t *pi = vec_elt_at_index (gm->protocol_infos, i);
       *result = pi->protocol;
       return 1;
     }
@@ -137,29 +149,28 @@ uword
 unformat_gre_protocol_net_byte_order (unformat_input_t * input,
                                      va_list * args)
 {
-  u16 * result = va_arg (*args, u16 *);
-  if (! unformat_user (input, unformat_gre_protocol_host_byte_order, result))
+  u16 *result = va_arg (*args, u16 *);
+  if (!unformat_user (input, unformat_gre_protocol_host_byte_order, result))
     return 0;
-  *result = clib_host_to_net_u16 ((u16) *result);
+  *result = clib_host_to_net_u16 ((u16) * result);
   return 1;
 }
 
 uword
 unformat_gre_header (unformat_input_t * input, va_list * args)
 {
-  u8 ** result = va_arg (*args, u8 **);
-  gre_header_t _h, * h = &_h;
+  u8 **result = va_arg (*args, u8 **);
+  gre_header_t _h, *h = &_h;
   u16 p;
 
-  if (! unformat (input, "%U",
-                 unformat_gre_protocol_host_byte_order, &p))
+  if (!unformat (input, "%U", unformat_gre_protocol_host_byte_order, &p))
     return 0;
 
   h->protocol = clib_host_to_net_u16 (p);
 
   /* Add header to result. */
   {
-    void * p;
+    void *p;
     u32 n_bytes = sizeof (h[0]);
 
     vec_add2 (*result, p, n_bytes);
@@ -172,36 +183,36 @@ unformat_gre_header (unformat_input_t * input, va_list * args)
 static int
 gre_proto_from_vnet_link (vnet_link_t link)
 {
-    switch (link)
+  switch (link)
     {
     case VNET_LINK_IP4:
-        return (GRE_PROTOCOL_ip4);
+      return (GRE_PROTOCOL_ip4);
     case VNET_LINK_IP6:
-        return (GRE_PROTOCOL_ip6);
+      return (GRE_PROTOCOL_ip6);
     case VNET_LINK_MPLS:
-        return (GRE_PROTOCOL_mpls_unicast);
+      return (GRE_PROTOCOL_mpls_unicast);
     case VNET_LINK_ETHERNET:
-        return (GRE_PROTOCOL_teb);
+      return (GRE_PROTOCOL_teb);
     case VNET_LINK_ARP:
-        return (GRE_PROTOCOL_arp);
+      return (GRE_PROTOCOL_arp);
     case VNET_LINK_NSH:
-        ASSERT(0);
-        break;
+      ASSERT (0);
+      break;
     }
-    ASSERT(0);
-    return (GRE_PROTOCOL_ip4);
+  ASSERT (0);
+  return (GRE_PROTOCOL_ip4);
 }
 
-static u8*
+static u8 *
 gre_build_rewrite (vnet_main_t * vnm,
                   u32 sw_if_index,
-                  vnet_link_t link_type,
-                  const void *dst_address)
+                  vnet_link_t link_type, const void *dst_address)
 {
-  gre_main_t * gm = &gre_main;
-  ip4_and_gre_header_t * h4;
-  ip6_and_gre_header_t * h6;
-  u8* rewrite = NULL;
+  gre_main_t *gm = &gre_main;
+  ip4_and_gre_header_t *h4;
+  ip6_and_gre_header_t *h6;
+  gre_header_t *gre;
+  u8 *rewrite = NULL;
   gre_tunnel_t *t;
   u32 ti;
   u8 is_ipv6;
@@ -209,19 +220,18 @@ gre_build_rewrite (vnet_main_t * vnm,
   ti = gm->tunnel_index_by_sw_if_index[sw_if_index];
 
   if (~0 == ti)
-      /* not one of ours */
-      return (0);
+    /* not one of ours */
+    return (0);
 
-  t = pool_elt_at_index(gm->tunnels, ti);
+  t = pool_elt_at_index (gm->tunnels, ti);
 
   is_ipv6 = t->tunnel_dst.fp_proto == FIB_PROTOCOL_IP6 ? 1 : 0;
 
   if (!is_ipv6)
     {
-      vec_validate(rewrite, sizeof(*h4)-1);
-      h4 = (ip4_and_gre_header_t*)rewrite;
-      h4->gre.protocol = clib_host_to_net_u16(gre_proto_from_vnet_link(link_type));
-
+      vec_validate (rewrite, sizeof (*h4) - 1);
+      h4 = (ip4_and_gre_header_t *) rewrite;
+      gre = &h4->gre;
       h4->ip4.ip_version_and_header_length = 0x45;
       h4->ip4.ttl = 254;
       h4->ip4.protocol = IP_PROTOCOL_GRE;
@@ -232,11 +242,11 @@ gre_build_rewrite (vnet_main_t * vnm,
     }
   else
     {
-      vec_validate(rewrite, sizeof(*h6)-1);
-      h6 = (ip6_and_gre_header_t*)rewrite;
-      h6->gre.protocol = clib_host_to_net_u16(gre_proto_from_vnet_link(link_type));
-
-      h6->ip6.ip_version_traffic_class_and_flow_label = clib_host_to_net_u32(6 << 28);
+      vec_validate (rewrite, sizeof (*h6) - 1);
+      h6 = (ip6_and_gre_header_t *) rewrite;
+      gre = &h6->gre;
+      h6->ip6.ip_version_traffic_class_and_flow_label =
+       clib_host_to_net_u32 (6 << 28);
       h6->ip6.hop_limit = 255;
       h6->ip6.protocol = IP_PROTOCOL_GRE;
       /* fixup ip6 header length and checksum after-the-fact */
@@ -246,81 +256,99 @@ gre_build_rewrite (vnet_main_t * vnm,
       h6->ip6.dst_address.as_u64[1] = t->tunnel_dst.fp_addr.ip6.as_u64[1];
     }
 
+  if (PREDICT_FALSE (t->type == GRE_TUNNEL_TYPE_ERSPAN))
+    {
+      gre->protocol = clib_host_to_net_u16 (GRE_PROTOCOL_erspan);
+      gre->flags_and_version = clib_host_to_net_u16 (GRE_FLAGS_SEQUENCE);
+    }
+  else
+    gre->protocol =
+      clib_host_to_net_u16 (gre_proto_from_vnet_link (link_type));
+
   return (rewrite);
 }
 
 #define is_v4_packet(_h) ((*(u8*) _h) & 0xF0) == 0x40
 
-void
-gre4_fixup (vlib_main_t *vm,
-          ip_adjacency_t *adj,
-          vlib_buffer_t *b0)
+static void
+gre4_fixup (vlib_main_t * vm,
+           ip_adjacency_t * adj, vlib_buffer_t * b0, const void *data)
 {
-    ip4_header_t * ip0;
+  ip4_header_t *ip0;
 
-    ip0 = vlib_buffer_get_current (b0);
+  ip0 = vlib_buffer_get_current (b0);
 
-    /* Fixup the checksum and len fields in the GRE tunnel encap
-     * that was applied at the midchain node */
-    ip0->length = clib_host_to_net_u16 (vlib_buffer_length_in_chain (vm, b0));
-    ip0->checksum = ip4_header_checksum (ip0);
+  /* Fixup the checksum and len fields in the GRE tunnel encap
+   * that was applied at the midchain node */
+  ip0->length = clib_host_to_net_u16 (vlib_buffer_length_in_chain (vm, b0));
+  ip0->checksum = ip4_header_checksum (ip0);
 }
 
-void
-gre6_fixup (vlib_main_t *vm,
-          ip_adjacency_t *adj,
-          vlib_buffer_t *b0)
+static void
+gre6_fixup (vlib_main_t * vm,
+           ip_adjacency_t * adj, vlib_buffer_t * b0, const void *data)
 {
-    ip6_header_t * ip0;
+  ip6_header_t *ip0;
 
-    ip0 = vlib_buffer_get_current (b0);
+  ip0 = vlib_buffer_get_current (b0);
 
-    /* Fixup the payload length field in the GRE tunnel encap that was applied
-     * at the midchain node */
-    ip0->payload_length =
-        clib_host_to_net_u16 (vlib_buffer_length_in_chain (vm, b0))
-        - sizeof(*ip0);
+  /* Fixup the payload length field in the GRE tunnel encap that was applied
+   * at the midchain node */
+  ip0->payload_length =
+    clib_host_to_net_u16 (vlib_buffer_length_in_chain (vm, b0) -
+                         sizeof (*ip0));
 }
 
 void
-gre_update_adj (vnet_main_t * vnm,
-               u32 sw_if_index,
-               adj_index_t ai)
+gre_update_adj (vnet_main_t * vnm, u32 sw_if_index, adj_index_t ai)
 {
-    gre_main_t * gm = &gre_main;
-    gre_tunnel_t *t;
-    u32 ti;
-    u8 is_ipv6;
-
-    ti = gm->tunnel_index_by_sw_if_index[sw_if_index];
-    t = pool_elt_at_index(gm->tunnels, ti);
-    is_ipv6 = t->tunnel_dst.fp_proto == FIB_PROTOCOL_IP6 ? 1 : 0;
-
-    adj_nbr_midchain_update_rewrite (ai, !is_ipv6 ? gre4_fixup : gre6_fixup,
-                                     (VNET_LINK_ETHERNET == adj_get_link_type (ai) ?
-                                      ADJ_FLAG_MIDCHAIN_NO_COUNT :
-                                      ADJ_FLAG_NONE),
-                                    gre_build_rewrite(vnm, sw_if_index,
-                                                      adj_get_link_type(ai),
-                                                      NULL));
-
-    gre_tunnel_stack(ai);
+  gre_main_t *gm = &gre_main;
+  gre_tunnel_t *t;
+  adj_flags_t af;
+  u8 is_ipv6;
+  u32 ti;
+
+  ti = gm->tunnel_index_by_sw_if_index[sw_if_index];
+  t = pool_elt_at_index (gm->tunnels, ti);
+  is_ipv6 = t->tunnel_dst.fp_proto == FIB_PROTOCOL_IP6 ? 1 : 0;
+  af = ADJ_FLAG_MIDCHAIN_IP_STACK;
+
+  if (VNET_LINK_ETHERNET == adj_get_link_type (ai))
+    af |= ADJ_FLAG_MIDCHAIN_NO_COUNT;
+
+  adj_nbr_midchain_update_rewrite
+    (ai, !is_ipv6 ? gre4_fixup : gre6_fixup, NULL, af,
+     gre_build_rewrite (vnm, sw_if_index, adj_get_link_type (ai), NULL));
+
+  gre_tunnel_stack (ai);
 }
+#endif /* CLIB_MARCH_VARIANT */
+
+
+typedef enum
+{
+  GRE_ENCAP_NEXT_L2_MIDCHAIN,
+  GRE_ENCAP_N_NEXT,
+} gre_encap_next_t;
 
 /**
- * @brief TX function. Only called L2. L3 traffic uses the adj-midchains
+ * @brief TX function. Only called for L2 payload including TEB or ERSPAN.
+ *        L3 traffic uses the adj-midchains.
  */
-static uword
-gre_interface_tx_inline (vlib_main_t * vm,
-                         vlib_node_runtime_t * node,
-                         vlib_frame_t * frame)
+VLIB_NODE_FN (gre_encap_node) (vlib_main_t * vm,
+                              vlib_node_runtime_t * node,
+                              vlib_frame_t * frame)
 {
-  gre_main_t * gm = &gre_main;
+  gre_main_t *gm = &gre_main;
+  vnet_main_t *vnm = gm->vnet_main;
   u32 next_index;
-  u32 * from, * to_next, n_left_from, n_left_to_next;
-  vnet_interface_output_runtime_t * rd = (void *) node->runtime_data;
-  const gre_tunnel_t *gt = pool_elt_at_index (gm->tunnels, rd->dev_instance);
-  u8 is_ipv6 = gt->tunnel_dst.fp_proto == FIB_PROTOCOL_IP6 ? 1 : 0;
+  u32 *from, *to_next, n_left_from, n_left_to_next;
+  u32 sw_if_index0 = ~0;
+  u32 sw_if_index1 = ~0;
+  adj_index_t adj_index0 = ADJ_INDEX_INVALID;
+  adj_index_t adj_index1 = ADJ_INDEX_INVALID;
+  gre_tunnel_t *gt0 = NULL;
+  gre_tunnel_t *gt1 = NULL;
 
   /* Vector of buffer / pkt indices we're supposed to process */
   from = vlib_frame_vector_args (frame);
@@ -329,87 +357,195 @@ gre_interface_tx_inline (vlib_main_t * vm,
   n_left_from = frame->n_vectors;
 
   /* Speculatively send the first buffer to the last disposition we used */
-  next_index = node->cached_next_index;
+  next_index = GRE_ENCAP_NEXT_L2_MIDCHAIN;
 
   while (n_left_from > 0)
     {
       /* set up to enqueue to our disposition with index = next_index */
       vlib_get_next_frame (vm, node, next_index, to_next, n_left_to_next);
 
-      /*
-       * FIXME DUAL LOOP
-       */
+      while (n_left_from >= 4 && n_left_to_next >= 2)
+       {
+         u32 bi0 = from[0];
+         u32 bi1 = from[1];
+         vlib_buffer_t *b0 = vlib_get_buffer (vm, bi0);
+         vlib_buffer_t *b1 = vlib_get_buffer (vm, bi1);
+
+         to_next[0] = bi0;
+         to_next[1] = bi1;
+         from += 2;
+         to_next += 2;
+         n_left_to_next -= 2;
+         n_left_from -= 2;
+
+         if (sw_if_index0 != vnet_buffer (b0)->sw_if_index[VLIB_TX])
+           {
+             sw_if_index0 = vnet_buffer (b0)->sw_if_index[VLIB_TX];
+             vnet_hw_interface_t *hi0 =
+               vnet_get_sup_hw_interface (vnm, sw_if_index0);
+             gt0 = &gm->tunnels[hi0->dev_instance];
+             adj_index0 = gt0->l2_adj_index;
+           }
+
+         if (sw_if_index1 != vnet_buffer (b1)->sw_if_index[VLIB_TX])
+           {
+             if (sw_if_index0 == vnet_buffer (b1)->sw_if_index[VLIB_TX])
+               {
+                 sw_if_index1 = sw_if_index0;
+                 gt1 = gt0;
+                 adj_index1 = adj_index0;
+               }
+             else
+               {
+                 sw_if_index1 = vnet_buffer (b1)->sw_if_index[VLIB_TX];
+                 vnet_hw_interface_t *hi1 =
+                   vnet_get_sup_hw_interface (vnm, sw_if_index1);
+                 gt1 = &gm->tunnels[hi1->dev_instance];
+                 adj_index1 = gt1->l2_adj_index;
+               }
+           }
+
+         vnet_buffer (b0)->ip.adj_index[VLIB_TX] = adj_index0;
+         vnet_buffer (b1)->ip.adj_index[VLIB_TX] = adj_index1;
+
+         if (PREDICT_FALSE (gt0->type == GRE_TUNNEL_TYPE_ERSPAN))
+           {
+             /* Encap GRE seq# and ERSPAN type II header */
+             vlib_buffer_advance (b0, -sizeof (erspan_t2_t));
+             erspan_t2_t *h0 = vlib_buffer_get_current (b0);
+             u32 seq_num = clib_atomic_fetch_add (&gt0->gre_sn->seq_num, 1);
+             u64 hdr = clib_host_to_net_u64 (ERSPAN_HDR2);
+             h0->seq_num = clib_host_to_net_u32 (seq_num);
+             h0->t2_u64 = hdr;
+             h0->t2.cos_en_t_session |=
+               clib_host_to_net_u16 (gt0->session_id);
+           }
+         if (PREDICT_FALSE (gt1->type == GRE_TUNNEL_TYPE_ERSPAN))
+           {
+             /* Encap GRE seq# and ERSPAN type II header */
+             vlib_buffer_advance (b1, -sizeof (erspan_t2_t));
+             erspan_t2_t *h1 = vlib_buffer_get_current (b1);
+             u32 seq_num = clib_atomic_fetch_add (&gt1->gre_sn->seq_num, 1);
+             u64 hdr = clib_host_to_net_u64 (ERSPAN_HDR2);
+             h1->seq_num = clib_host_to_net_u32 (seq_num);
+             h1->t2_u64 = hdr;
+             h1->t2.cos_en_t_session |=
+               clib_host_to_net_u16 (gt1->session_id);
+           }
+
+         if (PREDICT_FALSE (b0->flags & VLIB_BUFFER_IS_TRACED))
+           {
+             gre_tx_trace_t *tr0 = vlib_add_trace (vm, node,
+                                                   b0, sizeof (*tr0));
+             tr0->tunnel_id = gt0 - gm->tunnels;
+             tr0->src = gt0->tunnel_src;
+             tr0->dst = gt0->tunnel_dst.fp_addr;
+             tr0->length = vlib_buffer_length_in_chain (vm, b0);
+           }
+         if (PREDICT_FALSE (b1->flags & VLIB_BUFFER_IS_TRACED))
+           {
+             gre_tx_trace_t *tr1 = vlib_add_trace (vm, node,
+                                                   b1, sizeof (*tr1));
+             tr1->tunnel_id = gt1 - gm->tunnels;
+             tr1->src = gt1->tunnel_src;
+             tr1->dst = gt1->tunnel_dst.fp_addr;
+             tr1->length = vlib_buffer_length_in_chain (vm, b1);
+           }
+       }
 
       while (n_left_from > 0 && n_left_to_next > 0)
        {
-         vlib_buffer_t * b0;
-         u32 bi0;
+         u32 bi0 = from[0];
+         vlib_buffer_t *b0 = vlib_get_buffer (vm, bi0);
 
-         bi0 = from[0];
          to_next[0] = bi0;
          from += 1;
          to_next += 1;
          n_left_from -= 1;
          n_left_to_next -= 1;
 
-         b0 = vlib_get_buffer(vm, bi0);
+         if (sw_if_index0 != vnet_buffer (b0)->sw_if_index[VLIB_TX])
+           {
+             sw_if_index0 = vnet_buffer (b0)->sw_if_index[VLIB_TX];
+             vnet_hw_interface_t *hi0 =
+               vnet_get_sup_hw_interface (vnm, sw_if_index0);
+             gt0 = &gm->tunnels[hi0->dev_instance];
+             adj_index0 = gt0->l2_adj_index;
+           }
+
+         vnet_buffer (b0)->ip.adj_index[VLIB_TX] = adj_index0;
 
-         vnet_buffer(b0)->ip.adj_index[VLIB_TX] = gt->l2_adj_index;
+         if (PREDICT_FALSE (gt0->type == GRE_TUNNEL_TYPE_ERSPAN))
+           {
+             /* Encap GRE seq# and ERSPAN type II header */
+             vlib_buffer_advance (b0, -sizeof (erspan_t2_t));
+             erspan_t2_t *h0 = vlib_buffer_get_current (b0);
+             u32 seq_num = clib_atomic_fetch_add (&gt0->gre_sn->seq_num, 1);
+             u64 hdr = clib_host_to_net_u64 (ERSPAN_HDR2);
+             h0->seq_num = clib_host_to_net_u32 (seq_num);
+             h0->t2_u64 = hdr;
+             h0->t2.cos_en_t_session |=
+               clib_host_to_net_u16 (gt0->session_id);
+           }
 
-         if (PREDICT_FALSE(b0->flags & VLIB_BUFFER_IS_TRACED))
+         if (PREDICT_FALSE (b0->flags & VLIB_BUFFER_IS_TRACED))
            {
              gre_tx_trace_t *tr = vlib_add_trace (vm, node,
                                                   b0, sizeof (*tr));
-          tr->tunnel_id = gt - gm->tunnels;
-          tr->src = gt->tunnel_src;
-          tr->dst = gt->tunnel_src;
-          tr->length = vlib_buffer_length_in_chain (vm, b0);
+             tr->tunnel_id = gt0 - gm->tunnels;
+             tr->src = gt0->tunnel_src;
+             tr->dst = gt0->tunnel_dst.fp_addr;
+             tr->length = vlib_buffer_length_in_chain (vm, b0);
            }
-
-         vlib_validate_buffer_enqueue_x1 (vm, node, next_index,
-                                          to_next, n_left_to_next,
-                                          bi0, gt->l2_tx_arc);
        }
 
       vlib_put_next_frame (vm, node, next_index, n_left_to_next);
     }
 
-  vlib_node_increment_counter (vm, !is_ipv6 ? gre4_input_node.index :
-                   gre6_input_node.index,
+  vlib_node_increment_counter (vm, node->node_index,
                               GRE_ERROR_PKTS_ENCAP, frame->n_vectors);
 
   return frame->n_vectors;
 }
 
-static uword
-gre_interface_tx (vlib_main_t * vm,
-                  vlib_node_runtime_t * node,
-                  vlib_frame_t * frame)
-{
-    return (gre_interface_tx_inline (vm, node, frame));
-}
+static char *gre_error_strings[] = {
+#define gre_error(n,s) s,
+#include "error.def"
+#undef gre_error
+};
 
-static uword
-gre_teb_interface_tx (vlib_main_t * vm,
-                      vlib_node_runtime_t * node,
-                      vlib_frame_t * frame)
+/* *INDENT-OFF* */
+VLIB_REGISTER_NODE (gre_encap_node) =
 {
-    return (gre_interface_tx_inline (vm, node, frame));
-}
+  .name = "gre-encap",
+  .vector_size = sizeof (u32),
+  .format_trace = format_gre_tx_trace,
+  .type = VLIB_NODE_TYPE_INTERNAL,
+  .n_errors = GRE_N_ERROR,
+  .error_strings = gre_error_strings,
+  .n_next_nodes = GRE_ENCAP_N_NEXT,
+  .next_nodes = {
+    [GRE_ENCAP_NEXT_L2_MIDCHAIN] = "adj-l2-midchain",
+  },
+};
+/* *INDENT-ON* */
 
-static u8 * format_gre_tunnel_name (u8 * s, va_list * args)
+static u8 *
+format_gre_tunnel_name (u8 * s, va_list * args)
 {
   u32 dev_instance = va_arg (*args, u32);
-  return format (s, "gre%d", dev_instance);
-}
+  gre_main_t *gm = &gre_main;
+  gre_tunnel_t *t;
 
-static u8 * format_gre_tunnel_teb_name (u8 * s, va_list * args)
-{
-  u32 dev_instance = va_arg (*args, u32);
-  return format (s, "teb-gre%d", dev_instance);
+  if (dev_instance >= vec_len (gm->tunnels))
+    return format (s, "<improperly-referenced>");
+
+  t = pool_elt_at_index (gm->tunnels, dev_instance);
+  return format (s, "gre%d", t->user_instance);
 }
 
-static u8 * format_gre_device (u8 * s, va_list * args)
+static u8 *
+format_gre_device (u8 * s, va_list * args)
 {
   u32 dev_instance = va_arg (*args, u32);
   CLIB_UNUSED (int verbose) = va_arg (*args, int);
@@ -418,36 +554,19 @@ static u8 * format_gre_device (u8 * s, va_list * args)
   return s;
 }
 
+/* *INDENT-OFF* */
 VNET_DEVICE_CLASS (gre_device_class) = {
   .name = "GRE tunnel device",
   .format_device_name = format_gre_tunnel_name,
   .format_device = format_gre_device,
   .format_tx_trace = format_gre_tx_trace,
-  .tx_function = gre_interface_tx,
   .admin_up_down_function = gre_interface_admin_up_down,
 #ifdef SOON
   .clear counter = 0;
 #endif
 };
 
-VLIB_DEVICE_TX_FUNCTION_MULTIARCH (gre_device_class,
-                                  gre_interface_tx)
-
-VNET_DEVICE_CLASS (gre_device_teb_class) = {
-  .name = "GRE TEB tunnel device",
-  .format_device_name = format_gre_tunnel_teb_name,
-  .format_device = format_gre_device,
-  .format_tx_trace = format_gre_tx_trace,
-  .tx_function = gre_teb_interface_tx,
-  .admin_up_down_function = gre_interface_admin_up_down,
-#ifdef SOON
-  .clear counter = 0;
-#endif
-};
-
-VLIB_DEVICE_TX_FUNCTION_MULTIARCH (gre_device_teb_class,
-                                  gre_teb_interface_tx)
-
+#ifndef CLIB_MARCH_VARIANT
 VNET_HW_INTERFACE_CLASS (gre_hw_interface_class) = {
   .name = "GRE",
   .format_header = format_gre_header_with_length,
@@ -456,12 +575,12 @@ VNET_HW_INTERFACE_CLASS (gre_hw_interface_class) = {
   .update_adjacency = gre_update_adj,
   .flags = VNET_HW_INTERFACE_CLASS_FLAG_P2P,
 };
+/* *INDENT-ON* */
 
-static void add_protocol (gre_main_t * gm,
-                         gre_protocol_t protocol,
-                         char * protocol_name)
+static void
+add_protocol (gre_main_t * gm, gre_protocol_t protocol, char *protocol_name)
 {
-  gre_protocol_info_t * pi;
+  gre_protocol_info_t *pi;
   u32 i;
 
   vec_add2 (gm->protocol_infos, pi, 1);
@@ -475,16 +594,17 @@ static void add_protocol (gre_main_t * gm,
   hash_set_mem (gm->protocol_info_by_name, pi->name, i);
 }
 
-static clib_error_t * gre_init (vlib_main_t * vm)
+static clib_error_t *
+gre_init (vlib_main_t * vm)
 {
-  gre_main_t * gm = &gre_main;
-  clib_error_t * error;
-  ip_main_t * im = &ip_main;
-  ip_protocol_info_t * pi;
+  gre_main_t *gm = &gre_main;
+  clib_error_t *error;
+  ip_main_t *im = &ip_main;
+  ip_protocol_info_t *pi;
 
-  memset (gm, 0, sizeof (gm[0]));
+  clib_memset (gm, 0, sizeof (gm[0]));
   gm->vlib_main = vm;
-  gm->vnet_main = vnet_get_main();
+  gm->vnet_main = vnet_get_main ();
 
   if ((error = vlib_call_init_function (vm, ip_main_init)))
     return error;
@@ -502,21 +622,27 @@ static clib_error_t * gre_init (vlib_main_t * vm)
 
   gm->protocol_info_by_name = hash_create_string (0, sizeof (uword));
   gm->protocol_info_by_protocol = hash_create (0, sizeof (uword));
-  gm->tunnel_by_key4 = hash_create (0, sizeof (uword));
-  gm->tunnel_by_key6 = hash_create_mem (0, sizeof(u64[4]), sizeof (uword));
+  gm->tunnel_by_key4 =
+    hash_create_mem (0, sizeof (gre_tunnel_key4_t), sizeof (uword));
+  gm->tunnel_by_key6 =
+    hash_create_mem (0, sizeof (gre_tunnel_key6_t), sizeof (uword));
+  gm->seq_num_by_key =
+    hash_create_mem (0, sizeof (gre_sn_key_t), sizeof (uword));
 
 #define _(n,s) add_protocol (gm, GRE_PROTOCOL_##s, #s);
   foreach_gre_protocol
 #undef _
-
-  return vlib_call_init_function (vm, gre_input_init);
+    return vlib_call_init_function (vm, gre_input_init);
 }
 
 VLIB_INIT_FUNCTION (gre_init);
 
-gre_main_t * gre_get_main (vlib_main_t * vm)
-{
-  vlib_call_init_function (vm, gre_init);
-  return &gre_main;
-}
+#endif /* CLIB_MARCH_VARIANT */
 
+/*
+ * fd.io coding-style-patch-verification: ON
+ *
+ * Local Variables:
+ * eval: (c-set-style "gnu")
+ * End:
+ */