Fixes and improved tcp/session debugging
[vpp.git] / src / vnet / tcp / tcp_input.c
index ff2229b..bc7d901 100644 (file)
@@ -206,8 +206,8 @@ tcp_options_parse (tcp_header_t * th, tcp_options_t * to)
          vec_reset_length (to->sacks);
          for (j = 0; j < to->n_sack_blocks; j++)
            {
-             b.start = clib_net_to_host_u32 (*(u32 *) (data + 2 + 4 * j));
-             b.end = clib_net_to_host_u32 (*(u32 *) (data + 6 + 4 * j));
+             b.start = clib_net_to_host_u32 (*(u32 *) (data + 2 + 8 * j));
+             b.end = clib_net_to_host_u32 (*(u32 *) (data + 6 + 8 * j));
              vec_add1 (to->sacks, b);
            }
          break;
@@ -251,6 +251,7 @@ tcp_update_timestamp (tcp_connection_t * tc, u32 seq, u32 seq_end)
   if (tcp_opts_tstamp (&tc->rcv_opts) && tc->tsval_recent
       && seq_leq (seq, tc->rcv_las) && seq_leq (tc->rcv_las, seq_end))
     {
+      ASSERT (timestamp_leq (tc->tsval_recent, tc->rcv_opts.tsval));
       tc->tsval_recent = tc->rcv_opts.tsval;
       tc->tsval_recent_age = tcp_time_now ();
     }
@@ -378,16 +379,17 @@ tcp_rcv_ack_is_acceptable (tcp_connection_t * tc0, vlib_buffer_t * tb0)
 static void
 tcp_estimate_rtt (tcp_connection_t * tc, u32 mrtt)
 {
-  int err;
+  int err, diff;
 
   if (tc->srtt != 0)
     {
       err = mrtt - tc->srtt;
-      tc->srtt += err >> 3;
 
       /* XXX Drop in RTT results in RTTVAR increase and bigger RTO.
        * The increase should be bound */
-      tc->rttvar += ((int) clib_abs (err) - (int) tc->rttvar) >> 2;
+      tc->srtt = clib_max ((int) tc->srtt + (err >> 3), 1);
+      diff = (clib_abs (err) - (int) tc->rttvar) >> 2;
+      tc->rttvar = clib_max ((int) tc->rttvar + diff, 1);
     }
   else
     {
@@ -401,6 +403,7 @@ void
 tcp_update_rto (tcp_connection_t * tc)
 {
   tc->rto = clib_min (tc->srtt + (tc->rttvar << 2), TCP_RTO_MAX);
+  tc->rto = clib_max (tc->rto, TCP_RTO_MIN);
 }
 
 /** Update RTT estimate and RTO timer
@@ -417,8 +420,8 @@ tcp_update_rtt (tcp_connection_t * tc, u32 ack)
   u32 mrtt = 0;
   u8 rtx_acked;
 
-  /* Determine if only rtx bytes are acked. TODO XXX fast retransmit */
-  rtx_acked = tc->rto_boff && (tc->bytes_acked <= tc->snd_mss);
+  /* Determine if only rtx bytes are acked. */
+  rtx_acked = tcp_in_cong_recovery (tc) || !tc->bytes_acked;
 
   /* Karn's rule, part 1. Don't use retransmitted segments to estimate
    * RTT because they're ambiguous. */
@@ -428,8 +431,7 @@ tcp_update_rtt (tcp_connection_t * tc, u32 ack)
     }
   /* As per RFC7323 TSecr can be used for RTTM only if the segment advances
    * snd_una, i.e., the left side of the send window:
-   * seq_lt (tc->snd_una, ack). Note: last condition could be dropped, we don't
-   * try to update rtt for dupacks */
+   * seq_lt (tc->snd_una, ack). */
   else if (tcp_opts_tstamp (&tc->rcv_opts) && tc->rcv_opts.tsecr
           && tc->bytes_acked)
     {
@@ -487,6 +489,14 @@ tcp_ack_is_dupack (tcp_connection_t * tc, vlib_buffer_t * b, u32 prev_snd_wnd,
          && (prev_snd_wnd == tc->snd_wnd));
 }
 
+static u8
+tcp_is_lost_fin (tcp_connection_t * tc)
+{
+  if ((tc->flags & TCP_CONN_FINSNT) && tc->snd_una_max - tc->snd_una == 1)
+    return 1;
+  return 0;
+}
+
 /**
  * Checks if ack is a congestion control event.
  */
@@ -499,7 +509,7 @@ tcp_ack_is_cc_event (tcp_connection_t * tc, vlib_buffer_t * b,
   *is_dack = tc->sack_sb.last_sacked_bytes
     || tcp_ack_is_dupack (tc, b, prev_snd_wnd, prev_snd_una);
 
-  return (*is_dack || tcp_in_cong_recovery (tc));
+  return ((*is_dack || tcp_in_cong_recovery (tc)) && !tcp_is_lost_fin (tc));
 }
 
 void
@@ -530,6 +540,10 @@ scoreboard_remove_hole (sack_scoreboard_t * sb, sack_scoreboard_hole_t * hole)
   if (scoreboard_hole_index (sb, hole) == sb->cur_rxt_hole)
     sb->cur_rxt_hole = TCP_INVALID_SACK_HOLE_INDEX;
 
+  /* Poison the entry */
+  if (CLIB_DEBUG > 0)
+    memset (hole, 0xfe, sizeof (*hole));
+
   pool_put (sb->holes, hole);
 }
 
@@ -545,16 +559,18 @@ scoreboard_insert_hole (sack_scoreboard_t * sb, u32 prev_index,
 
   hole->start = start;
   hole->end = end;
-  hole_index = hole - sb->holes;
+  hole_index = scoreboard_hole_index (sb, hole);
 
   prev = scoreboard_get_hole (sb, prev_index);
   if (prev)
     {
-      hole->prev = prev - sb->holes;
+      hole->prev = prev_index;
       hole->next = prev->next;
 
       if ((next = scoreboard_next_hole (sb, hole)))
        next->prev = hole_index;
+      else
+       sb->tail = hole_index;
 
       prev->next = hole_index;
     }
@@ -569,12 +585,13 @@ scoreboard_insert_hole (sack_scoreboard_t * sb, u32 prev_index,
 }
 
 void
-scoreboard_update_lost (tcp_connection_t * tc, sack_scoreboard_t * sb)
+scoreboard_update_bytes (tcp_connection_t * tc, sack_scoreboard_t * sb)
 {
   sack_scoreboard_hole_t *hole, *prev;
   u32 bytes = 0, blks = 0;
 
   sb->lost_bytes = 0;
+  sb->sacked_bytes = 0;
   hole = scoreboard_last_hole (sb);
   if (!hole)
     return;
@@ -594,13 +611,16 @@ scoreboard_update_lost (tcp_connection_t * tc, sack_scoreboard_t * sb)
       hole = prev;
     }
 
-  hole = prev;
   while (hole)
     {
       sb->lost_bytes += scoreboard_hole_bytes (hole);
       hole->is_lost = 1;
+      prev = hole;
       hole = scoreboard_prev_hole (sb, hole);
+      if (hole)
+       bytes += prev->start - hole->end;
     }
+  sb->sacked_bytes = bytes;
 }
 
 /**
@@ -664,12 +684,30 @@ scoreboard_next_rxt_hole (sack_scoreboard_t * sb,
 }
 
 void
-scoreboard_init_high_rxt (sack_scoreboard_t * sb)
+scoreboard_init_high_rxt (sack_scoreboard_t * sb, u32 seq)
 {
   sack_scoreboard_hole_t *hole;
   hole = scoreboard_first_hole (sb);
-  sb->high_rxt = hole->start;
-  sb->cur_rxt_hole = sb->head;
+  if (hole)
+    {
+      seq = seq_gt (seq, hole->start) ? seq : hole->start;
+      sb->cur_rxt_hole = sb->head;
+    }
+  sb->high_rxt = seq;
+}
+
+/**
+ * Test that scoreboard is sane after recovery
+ *
+ * Returns 1 if scoreboard is empty or if first hole beyond
+ * snd_una.
+ */
+u8
+tcp_scoreboard_is_sane_post_recovery (tcp_connection_t * tc)
+{
+  sack_scoreboard_hole_t *hole;
+  hole = scoreboard_first_hole (&tc->sack_sb);
+  return (!hole || seq_geq (hole->start, tc->snd_una));
 }
 
 void
@@ -677,7 +715,7 @@ tcp_rcv_sacks (tcp_connection_t * tc, u32 ack)
 {
   sack_scoreboard_t *sb = &tc->sack_sb;
   sack_block_t *blk, tmp;
-  sack_scoreboard_hole_t *hole, *next_hole, *last_hole, *new_hole;
+  sack_scoreboard_hole_t *hole, *next_hole, *last_hole;
   u32 blk_index = 0, old_sacked_bytes, hole_index;
   int i, j;
 
@@ -696,7 +734,7 @@ tcp_rcv_sacks (tcp_connection_t * tc, u32 ack)
     {
       if (seq_lt (blk->start, blk->end)
          && seq_gt (blk->start, tc->snd_una)
-         && seq_gt (blk->start, ack) && seq_leq (blk->end, tc->snd_nxt))
+         && seq_gt (blk->start, ack) && seq_leq (blk->end, tc->snd_una_max))
        {
          blk++;
          continue;
@@ -715,6 +753,8 @@ tcp_rcv_sacks (tcp_connection_t * tc, u32 ack)
   if (vec_len (tc->rcv_opts.sacks) == 0)
     return;
 
+  tcp_scoreboard_trace_add (tc, ack);
+
   /* Make sure blocks are ordered */
   for (i = 0; i < vec_len (tc->rcv_opts.sacks); i++)
     for (j = i + 1; j < vec_len (tc->rcv_opts.sacks); j++)
@@ -740,9 +780,23 @@ tcp_rcv_sacks (tcp_connection_t * tc, u32 ack)
        * last hole end */
       tmp = tc->rcv_opts.sacks[vec_len (tc->rcv_opts.sacks) - 1];
       last_hole = scoreboard_last_hole (sb);
-      if (seq_gt (tc->snd_una_max, sb->high_sacked)
-         && seq_gt (tc->snd_una_max, last_hole->end))
-       last_hole->end = tc->snd_una_max;
+      if (seq_gt (tc->snd_una_max, last_hole->end))
+       {
+         if (seq_geq (last_hole->start, sb->high_sacked))
+           {
+             last_hole->end = tc->snd_una_max;
+           }
+         /* New hole after high sacked block */
+         else if (seq_lt (sb->high_sacked, tc->snd_una_max))
+           {
+             scoreboard_insert_hole (sb, sb->tail, sb->high_sacked,
+                                     tc->snd_una_max);
+           }
+       }
+      /* Keep track of max byte sacked for when the last hole
+       * is acked */
+      if (seq_gt (tmp.end, sb->high_sacked))
+       sb->high_sacked = tmp.end;
     }
 
   /* Walk the holes with the SACK blocks */
@@ -750,7 +804,6 @@ tcp_rcv_sacks (tcp_connection_t * tc, u32 ack)
   while (hole && blk_index < vec_len (tc->rcv_opts.sacks))
     {
       blk = &tc->rcv_opts.sacks[blk_index];
-
       if (seq_leq (blk->start, hole->start))
        {
          /* Block covers hole. Remove hole */
@@ -758,45 +811,21 @@ tcp_rcv_sacks (tcp_connection_t * tc, u32 ack)
            {
              next_hole = scoreboard_next_hole (sb, hole);
 
-             /* Byte accounting */
-             if (seq_leq (hole->end, ack))
-               {
-                 /* Bytes lost because snd_wnd left edge advances */
-                 if (next_hole && seq_leq (next_hole->start, ack))
-                   sb->last_bytes_delivered += next_hole->start - hole->end;
-                 else
-                   sb->last_bytes_delivered += ack - hole->end;
-               }
-             else
-               {
-                 sb->sacked_bytes += scoreboard_hole_bytes (hole);
-               }
-
-             /* About to remove last hole */
-             if (hole == last_hole)
-               {
-                 sb->tail = hole->prev;
-                 last_hole = scoreboard_last_hole (sb);
-                 /* keep track of max byte sacked for when the last hole
-                  * is acked */
-                 if (seq_gt (hole->end, sb->high_sacked))
-                   sb->high_sacked = hole->end;
-               }
-
-             /* snd_una needs to be advanced */
-             if (blk->end == ack && seq_geq (ack, hole->end))
+             /* Byte accounting: snd_una needs to be advanced */
+             if (blk->end == ack)
                {
-                 if (next_hole && seq_lt (ack, next_hole->start))
+                 if (next_hole)
                    {
-                     sb->snd_una_adv = next_hole->start - ack;
-
-                     /* all these can be delivered */
-                     sb->last_bytes_delivered += sb->snd_una_adv;
+                     if (seq_lt (ack, next_hole->start))
+                       sb->snd_una_adv = next_hole->start - ack;
+                     sb->last_bytes_delivered +=
+                       next_hole->start - hole->end;
                    }
-                 else if (!next_hole)
+                 else
                    {
+                     ASSERT (seq_geq (sb->high_sacked, ack));
                      sb->snd_una_adv = sb->high_sacked - ack;
-                     sb->last_bytes_delivered += sb->snd_una_adv;
+                     sb->last_bytes_delivered += sb->high_sacked - hole->end;
                    }
                }
 
@@ -808,7 +837,6 @@ tcp_rcv_sacks (tcp_connection_t * tc, u32 ack)
            {
              if (seq_gt (blk->end, hole->start))
                {
-                 sb->sacked_bytes += blk->end - hole->start;
                  hole->start = blk->end;
                }
              blk_index++;
@@ -819,38 +847,34 @@ tcp_rcv_sacks (tcp_connection_t * tc, u32 ack)
          /* Hole must be split */
          if (seq_lt (blk->end, hole->end))
            {
-             sb->sacked_bytes += blk->end - blk->start;
              hole_index = scoreboard_hole_index (sb, hole);
-             new_hole = scoreboard_insert_hole (sb, hole_index, blk->end,
-                                                hole->end);
+             next_hole = scoreboard_insert_hole (sb, hole_index, blk->end,
+                                                 hole->end);
 
              /* Pool might've moved */
              hole = scoreboard_get_hole (sb, hole_index);
              hole->end = blk->start;
-
-             /* New or split of tail */
-             if ((last_hole->end == new_hole->end)
-                 || seq_lt (last_hole->end, new_hole->start))
-               {
-                 last_hole = new_hole;
-                 sb->tail = scoreboard_hole_index (sb, new_hole);
-               }
-
              blk_index++;
+             ASSERT (hole->next == scoreboard_hole_index (sb, next_hole));
            }
-         else if (seq_leq (blk->start, hole->end))
+         else if (seq_lt (blk->start, hole->end))
            {
-             sb->sacked_bytes += hole->end - blk->start;
              hole->end = blk->start;
            }
-
          hole = scoreboard_next_hole (sb, hole);
        }
     }
 
-  sb->last_sacked_bytes = sb->sacked_bytes - old_sacked_bytes;
-  sb->sacked_bytes -= sb->last_bytes_delivered;
-  scoreboard_update_lost (tc, sb);
+  scoreboard_update_bytes (tc, sb);
+  sb->last_sacked_bytes = sb->sacked_bytes
+    - (old_sacked_bytes - sb->last_bytes_delivered);
+  ASSERT (sb->last_sacked_bytes <= sb->sacked_bytes);
+  ASSERT (sb->sacked_bytes == 0
+         || sb->sacked_bytes < tc->snd_una_max - seq_max (tc->snd_una, ack));
+  ASSERT (sb->last_sacked_bytes + sb->lost_bytes <= tc->snd_una_max
+         - seq_max (tc->snd_una, ack));
+  ASSERT (sb->head == TCP_INVALID_SACK_HOLE_INDEX || tcp_in_recovery (tc)
+         || sb->holes[sb->head].start == ack + sb->snd_una_adv);
 }
 
 /**
@@ -936,7 +960,8 @@ tcp_cc_congestion_undo (tcp_connection_t * tc)
 static u8
 tcp_cc_is_spurious_retransmit (tcp_connection_t * tc)
 {
-  return (tc->snd_rxt_ts
+  return (tcp_in_recovery (tc)
+         && tc->snd_rxt_ts
          && tcp_opts_tstamp (&tc->rcv_opts)
          && timestamp_lt (tc->rcv_opts.tsecr, tc->snd_rxt_ts));
 }
@@ -958,7 +983,7 @@ tcp_cc_recover (tcp_connection_t * tc)
 
   ASSERT (tc->rto_boff == 0);
   ASSERT (!tcp_in_cong_recovery (tc));
-
+  ASSERT (tcp_scoreboard_is_sane_post_recovery (tc));
   TCP_EVT_DBG (TCP_EVT_CC_EVT, tc, 3);
   return 0;
 }
@@ -966,7 +991,7 @@ tcp_cc_recover (tcp_connection_t * tc)
 static void
 tcp_cc_update (tcp_connection_t * tc, vlib_buffer_t * b)
 {
-  ASSERT (!tcp_in_cong_recovery (tc));
+  ASSERT (!tcp_in_cong_recovery (tc) || tcp_is_lost_fin (tc));
 
   /* Congestion avoidance */
   tc->cc_algo->rcv_ack (tc);
@@ -998,9 +1023,14 @@ tcp_should_fastrecover (tcp_connection_t * tc)
          || tcp_should_fastrecover_sack (tc));
 }
 
+/**
+ * One function to rule them all ... and in the darkness bind them
+ */
 static void
 tcp_cc_handle_event (tcp_connection_t * tc, u32 is_dack)
 {
+  u32 rxt_delivered;
+
   /*
    * Duplicate ACK. Check if we should enter fast recovery, or if already in
    * it account for the bytes that left the network.
@@ -1009,6 +1039,7 @@ tcp_cc_handle_event (tcp_connection_t * tc, u32 is_dack)
     {
       ASSERT (tc->snd_una != tc->snd_una_max
              || tc->sack_sb.last_sacked_bytes);
+
       tc->rcv_dupacks++;
 
       if (tc->rcv_dupacks > TCP_DUPACK_THRESHOLD && !tc->bytes_acked)
@@ -1027,12 +1058,20 @@ tcp_cc_handle_event (tcp_connection_t * tc, u32 is_dack)
              goto partial_ack_test;
            }
 
-         /* If of of the two conditions lower hold, reset dupacks
-          * 1) Cumulative ack does not cover more than congestion threshold
-          * 2) RFC6582 heuristic to avoid multiple fast retransmits
+         /* If of of the two conditions lower hold, reset dupacks because
+          * we're probably after timeout (RFC6582 heuristics).
+          * If Cumulative ack does not cover more than congestion threshold,
+          * and:
+          * 1) The following doesn't hold: The congestion window is greater
+          *    than SMSS bytes and the difference between highest_ack
+          *    and prev_highest_ack is at most 4*SMSS bytes
+          * 2) Echoed timestamp in the last non-dup ack does not equal the
+          *    stored timestamp
           */
          if (seq_leq (tc->snd_una, tc->snd_congestion)
-             || tc->rcv_opts.tsecr != tc->tsecr_last_ack)
+             && ((!(tc->cwnd > tc->snd_mss
+                    && tc->bytes_acked <= 4 * tc->snd_mss))
+                 || (tc->rcv_opts.tsecr != tc->tsecr_last_ack)))
            {
              tc->rcv_dupacks = 0;
              return;
@@ -1048,12 +1087,13 @@ tcp_cc_handle_event (tcp_connection_t * tc, u32 is_dack)
           * three segments that have left the network and should've been
           * buffered at the receiver XXX */
          tc->cwnd = tc->ssthresh + tc->rcv_dupacks * tc->snd_mss;
+         ASSERT (tc->cwnd >= tc->snd_mss);
 
          /* If cwnd allows, send more data */
-         if (tcp_opts_sack_permitted (&tc->rcv_opts)
-             && scoreboard_first_hole (&tc->sack_sb))
+         if (tcp_opts_sack_permitted (&tc->rcv_opts))
            {
-             scoreboard_init_high_rxt (&tc->sack_sb);
+             scoreboard_init_high_rxt (&tc->sack_sb,
+                                       tc->snd_una + tc->snd_mss);
              tcp_fast_retransmit_sack (tc);
            }
          else
@@ -1089,7 +1129,10 @@ partial_ack:
     {
       /* If spurious return, we've already updated everything */
       if (tcp_cc_recover (tc))
-       return;
+       {
+         tc->tsecr_last_ack = tc->rcv_opts.tsecr;
+         return;
+       }
 
       tc->snd_nxt = tc->snd_una_max;
 
@@ -1115,12 +1158,17 @@ partial_ack:
     return;
 
   /* Remove retransmitted bytes that have been delivered */
-  if (tc->sack_sb.last_bytes_delivered
-      && seq_gt (tc->sack_sb.high_rxt, tc->snd_una))
+  ASSERT (tc->bytes_acked + tc->sack_sb.snd_una_adv
+         >= tc->sack_sb.last_bytes_delivered);
+
+  if (seq_lt (tc->snd_una, tc->sack_sb.high_rxt))
     {
       /* If we have sacks and we haven't gotten an ack beyond high_rxt,
        * remove sacked bytes delivered */
-      tc->snd_rxt_bytes -= tc->sack_sb.last_bytes_delivered;
+      rxt_delivered = tc->bytes_acked + tc->sack_sb.snd_una_adv
+       - tc->sack_sb.last_bytes_delivered;
+      ASSERT (tc->snd_rxt_bytes >= rxt_delivered);
+      tc->snd_rxt_bytes -= rxt_delivered;
     }
   else
     {
@@ -1154,6 +1202,8 @@ tcp_rcv_ack (tcp_connection_t * tc, vlib_buffer_t * b,
   u32 prev_snd_wnd, prev_snd_una;
   u8 is_dack;
 
+  TCP_EVT_DBG (TCP_EVT_CC_STAT, tc);
+
   /* If the ACK acks something not yet sent (SEG.ACK > SND.NXT) */
   if (PREDICT_FALSE (seq_gt (vnet_buffer (b)->tcp.ack_number, tc->snd_nxt)))
     {
@@ -1233,6 +1283,18 @@ tcp_rcv_ack (tcp_connection_t * tc, vlib_buffer_t * b,
   return 0;
 }
 
+static u8
+tcp_sack_vector_is_sane (sack_block_t * sacks)
+{
+  int i;
+  for (i = 1; i < vec_len (sacks); i++)
+    {
+      if (sacks[i - 1].end == sacks[i].start)
+       return 0;
+    }
+  return 1;
+}
+
 /**
  * Build SACK list as per RFC2018.
  *
@@ -1282,6 +1344,10 @@ tcp_update_sack_list (tcp_connection_t * tc, u32 start, u32 end)
        {
          vec_add1 (new_list, tc->snd_sacks[i]);
        }
+      else
+       {
+         clib_warning ("sack discarded");
+       }
     }
 
   ASSERT (vec_len (new_list) <= TCP_MAX_SACK_BLOCKS);
@@ -1289,6 +1355,9 @@ tcp_update_sack_list (tcp_connection_t * tc, u32 start, u32 end)
   /* Replace old vector with new one */
   vec_free (tc->snd_sacks);
   tc->snd_sacks = new_list;
+
+  /* Segments should not 'touch' */
+  ASSERT (tcp_sack_vector_is_sane (tc->snd_sacks));
 }
 
 /** Enqueue data for delivery to application */
@@ -1298,10 +1367,11 @@ tcp_session_enqueue_data (tcp_connection_t * tc, vlib_buffer_t * b,
 {
   int written;
 
+  ASSERT (seq_geq (vnet_buffer (b)->tcp.seq_number, tc->rcv_nxt));
+
   /* Pure ACK. Update rcv_nxt and be done. */
   if (PREDICT_FALSE (data_len == 0))
     {
-      tc->rcv_nxt = vnet_buffer (b)->tcp.seq_end;
       return TCP_ERROR_PURE_ACK;
     }
 
@@ -1356,7 +1426,9 @@ tcp_session_enqueue_ooo (tcp_connection_t * tc, vlib_buffer_t * b,
                         u16 data_len)
 {
   stream_session_t *s0;
-  int rv;
+  int rv, offset;
+
+  ASSERT (seq_gt (vnet_buffer (b)->tcp.seq_number, tc->rcv_nxt));
 
   /* Pure ACK. Do nothing */
   if (PREDICT_FALSE (data_len == 0))
@@ -1364,10 +1436,10 @@ tcp_session_enqueue_ooo (tcp_connection_t * tc, vlib_buffer_t * b,
       return TCP_ERROR_PURE_ACK;
     }
 
-  /* Enqueue out-of-order data with absolute offset */
+  /* Enqueue out-of-order data with relative offset */
   rv = stream_session_enqueue_data (&tc->connection, b,
-                                   vnet_buffer (b)->tcp.seq_number,
-                                   0 /* queue event */ , 0);
+                                   vnet_buffer (b)->tcp.seq_number -
+                                   tc->rcv_nxt, 0 /* queue event */ , 0);
 
   /* Nothing written */
   if (rv)
@@ -1388,10 +1460,15 @@ tcp_session_enqueue_ooo (tcp_connection_t * tc, vlib_buffer_t * b,
 
       /* Get the newest segment from the fifo */
       newest = svm_fifo_newest_ooo_segment (s0->server_rx_fifo);
-      start = ooo_segment_offset (s0->server_rx_fifo, newest);
-      end = ooo_segment_end_offset (s0->server_rx_fifo, newest);
-
-      tcp_update_sack_list (tc, start, end);
+      if (newest)
+       {
+         offset = ooo_segment_offset (s0->server_rx_fifo, newest);
+         ASSERT (offset <= vnet_buffer (b)->tcp.seq_number - tc->rcv_nxt);
+         start = tc->rcv_nxt + offset;
+         end = start + ooo_segment_length (s0->server_rx_fifo, newest);
+         tcp_update_sack_list (tc, start, end);
+         svm_fifo_newest_ooo_segment_reset (s0->server_rx_fifo);
+       }
     }
 
   return TCP_ERROR_ENQUEUED;
@@ -1411,7 +1488,7 @@ tcp_can_delack (tcp_connection_t * tc)
       /* constrained to send ack */
       || (tc->flags & TCP_CONN_SNDACK) != 0
       /* we're almost out of tx wnd */
-      || tcp_available_snd_space (tc) < 2 * tc->snd_mss)
+      || tcp_available_snd_space (tc) < 4 * tc->snd_mss)
     return 0;
 
   return 1;
@@ -1434,12 +1511,13 @@ tcp_segment_rcv (tcp_main_t * tm, tcp_connection_t * tc, vlib_buffer_t * b,
          *next0 = TCP_NEXT_DROP;
 
          /* Completely in the past (possible retransmit) */
-         if (seq_lt (vnet_buffer (b)->tcp.seq_end, tc->rcv_nxt))
+         if (seq_leq (vnet_buffer (b)->tcp.seq_end, tc->rcv_nxt))
            goto done;
 
          /* Chop off the bytes in the past */
          n_bytes_to_drop = tc->rcv_nxt - vnet_buffer (b)->tcp.seq_number;
          n_data_bytes -= n_bytes_to_drop;
+         vnet_buffer (b)->tcp.seq_number = tc->rcv_nxt;
          vlib_buffer_advance (b, n_bytes_to_drop);
 
          goto in_order;
@@ -1873,8 +1951,8 @@ tcp46_syn_sent_inline (vlib_main_t * vm, vlib_node_runtime_t * node,
          if (tcp_opts_wscale (&new_tc0->rcv_opts))
            new_tc0->snd_wscale = new_tc0->rcv_opts.wscale;
 
-         /* No scaling */
-         new_tc0->snd_wnd = clib_net_to_host_u16 (tcp0->window);
+         new_tc0->snd_wnd = clib_net_to_host_u16 (tcp0->window)
+           << new_tc0->snd_wscale;
          new_tc0->snd_wl1 = seq0;
          new_tc0->snd_wl2 = ack0;
 
@@ -1892,14 +1970,22 @@ tcp46_syn_sent_inline (vlib_main_t * vm, vlib_node_runtime_t * node,
              /* Make sure las is initialized for the wnd computation */
              new_tc0->rcv_las = new_tc0->rcv_nxt;
 
-             /* Notify app that we have connection */
-             stream_session_connect_notify (&new_tc0->connection, sst, 0);
+             /* Notify app that we have connection. If session layer can't
+              * allocate session send reset */
+             if (stream_session_connect_notify (&new_tc0->connection, sst,
+                                                0))
+               {
+                 tcp_connection_cleanup (new_tc0);
+                 tcp_send_reset (b0, is_ip4);
+                 goto drop;
+               }
 
-             stream_session_init_fifos_pointers (&new_tc0->connection,
-                                                 new_tc0->irs + 1,
-                                                 new_tc0->iss + 1);
              /* Make sure after data segment processing ACK is sent */
              new_tc0->flags |= TCP_CONN_SNDACK;
+
+             /* Update rtt with the syn-ack sample */
+             new_tc0->bytes_acked = 1;
+             tcp_update_rtt (new_tc0, vnet_buffer (b0)->tcp.ack_number);
            }
          /* SYN: Simultaneous open. Change state to SYN-RCVD and send SYN-ACK */
          else
@@ -1907,10 +1993,16 @@ tcp46_syn_sent_inline (vlib_main_t * vm, vlib_node_runtime_t * node,
              new_tc0->state = TCP_STATE_SYN_RCVD;
 
              /* Notify app that we have connection */
-             stream_session_connect_notify (&new_tc0->connection, sst, 0);
-             stream_session_init_fifos_pointers (&new_tc0->connection,
-                                                 new_tc0->irs + 1,
-                                                 new_tc0->iss + 1);
+             if (stream_session_connect_notify
+                 (&new_tc0->connection, sst, 0))
+               {
+                 tcp_connection_cleanup (new_tc0);
+                 tcp_send_reset (b0, is_ip4);
+                 goto drop;
+               }
+
+             tc0->rtt_ts = 0;
+
              tcp_make_synack (new_tc0, b0);
              next0 = tcp_next_output (is_ip4);
 
@@ -2127,8 +2219,6 @@ tcp46_rcv_process_inline (vlib_main_t * vm, vlib_node_runtime_t * node,
                << tc0->rcv_opts.wscale;
              tc0->snd_wl1 = vnet_buffer (b0)->tcp.seq_number;
              tc0->snd_wl2 = vnet_buffer (b0)->tcp.ack_number;
-
-             /* Shoulder tap the server */
              stream_session_accept_notify (&tc0->connection);
 
              /* Reset SYN-ACK retransmit timer */
@@ -2151,6 +2241,7 @@ tcp46_rcv_process_inline (vlib_main_t * vm, vlib_node_runtime_t * node,
              /* If FIN is ACKed */
              if (tc0->snd_una == tc0->snd_una_max)
                {
+                 ASSERT (tcp_fin (tcp0));
                  tc0->state = TCP_STATE_FIN_WAIT_2;
                  /* Stop all timers, 2MSL will be set lower */
                  tcp_connection_timers_reset (tc0);
@@ -2508,8 +2599,8 @@ tcp46_listen_inline (vlib_main_t * vm, vlib_node_runtime_t * node,
          if (tcp_opts_wscale (&child0->rcv_opts))
            child0->snd_wscale = child0->rcv_opts.wscale;
 
-         /* No scaling */
-         child0->snd_wnd = clib_net_to_host_u16 (th0->window);
+         child0->snd_wnd = clib_net_to_host_u16 (th0->window)
+           << child0->snd_wscale;
          child0->snd_wl1 = vnet_buffer (b0)->tcp.seq_number;
          child0->snd_wl2 = vnet_buffer (b0)->tcp.ack_number;
 
@@ -2521,10 +2612,6 @@ tcp46_listen_inline (vlib_main_t * vm, vlib_node_runtime_t * node,
          tcp_make_synack (child0, b0);
          next0 = tcp_next_output (is_ip4);
 
-         /* Init fifo pointers after we have iss */
-         stream_session_init_fifos_pointers (&child0->connection,
-                                             child0->irs + 1,
-                                             child0->iss + 1);
        drop:
          if (PREDICT_FALSE (b0->flags & VLIB_BUFFER_IS_TRACED))
            {
@@ -2690,12 +2777,12 @@ tcp46_input_inline (vlib_main_t * vm, vlib_node_runtime_t * node,
              /* lookup session */
              tc0 =
                (tcp_connection_t *)
-               stream_session_lookup_transport4 (&ip40->dst_address,
-                                                 &ip40->src_address,
-                                                 tcp0->dst_port,
-                                                 tcp0->src_port,
-                                                 SESSION_TYPE_IP4_TCP,
-                                                 my_thread_index);
+               stream_session_lookup_transport_wt4 (&ip40->dst_address,
+                                                    &ip40->src_address,
+                                                    tcp0->dst_port,
+                                                    tcp0->src_port,
+                                                    SESSION_TYPE_IP4_TCP,
+                                                    my_thread_index);
            }
          else
            {
@@ -2708,12 +2795,12 @@ tcp46_input_inline (vlib_main_t * vm, vlib_node_runtime_t * node,
 
              tc0 =
                (tcp_connection_t *)
-               stream_session_lookup_transport6 (&ip60->src_address,
-                                                 &ip60->dst_address,
-                                                 tcp0->src_port,
-                                                 tcp0->dst_port,
-                                                 SESSION_TYPE_IP6_TCP,
-                                                 my_thread_index);
+               stream_session_lookup_transport_wt6 (&ip60->src_address,
+                                                    &ip60->dst_address,
+                                                    tcp0->src_port,
+                                                    tcp0->dst_port,
+                                                    SESSION_TYPE_IP6_TCP,
+                                                    my_thread_index);
            }
 
          /* Length check */
@@ -2862,9 +2949,12 @@ do {                                                             \
   _(LISTEN, TCP_FLAG_SYN, TCP_INPUT_NEXT_LISTEN, TCP_ERROR_NONE);
   _(LISTEN, TCP_FLAG_ACK, TCP_INPUT_NEXT_RESET, TCP_ERROR_NONE);
   _(LISTEN, TCP_FLAG_RST, TCP_INPUT_NEXT_DROP, TCP_ERROR_NONE);
+  _(LISTEN, TCP_FLAG_FIN | TCP_FLAG_ACK, TCP_INPUT_NEXT_RESET,
+    TCP_ERROR_NONE);
   /* ACK for for a SYN-ACK -> tcp-rcv-process. */
   _(SYN_RCVD, TCP_FLAG_ACK, TCP_INPUT_NEXT_RCV_PROCESS, TCP_ERROR_NONE);
   _(SYN_RCVD, TCP_FLAG_RST, TCP_INPUT_NEXT_RCV_PROCESS, TCP_ERROR_NONE);
+  _(SYN_RCVD, TCP_FLAG_SYN, TCP_INPUT_NEXT_RCV_PROCESS, TCP_ERROR_NONE);
   /* SYN-ACK for a SYN */
   _(SYN_SENT, TCP_FLAG_SYN | TCP_FLAG_ACK, TCP_INPUT_NEXT_SYN_SENT,
     TCP_ERROR_NONE);
@@ -2881,17 +2971,24 @@ do {                                                            \
   _(ESTABLISHED, TCP_FLAG_RST, TCP_INPUT_NEXT_ESTABLISHED, TCP_ERROR_NONE);
   _(ESTABLISHED, TCP_FLAG_RST | TCP_FLAG_ACK, TCP_INPUT_NEXT_ESTABLISHED,
     TCP_ERROR_NONE);
+  _(ESTABLISHED, TCP_FLAG_SYN, TCP_INPUT_NEXT_ESTABLISHED, TCP_ERROR_NONE);
+  _(ESTABLISHED, TCP_FLAG_SYN | TCP_FLAG_ACK, TCP_INPUT_NEXT_ESTABLISHED,
+    TCP_ERROR_NONE);
   /* ACK or FIN-ACK to our FIN */
   _(FIN_WAIT_1, TCP_FLAG_ACK, TCP_INPUT_NEXT_RCV_PROCESS, TCP_ERROR_NONE);
   _(FIN_WAIT_1, TCP_FLAG_ACK | TCP_FLAG_FIN, TCP_INPUT_NEXT_RCV_PROCESS,
     TCP_ERROR_NONE);
   /* FIN in reply to our FIN from the other side */
   _(FIN_WAIT_1, TCP_FLAG_FIN, TCP_INPUT_NEXT_RCV_PROCESS, TCP_ERROR_NONE);
+  _(FIN_WAIT_1, TCP_FLAG_RST, TCP_INPUT_NEXT_RCV_PROCESS, TCP_ERROR_NONE);
   /* FIN confirming that the peer (app) has closed */
   _(FIN_WAIT_2, TCP_FLAG_FIN, TCP_INPUT_NEXT_RCV_PROCESS, TCP_ERROR_NONE);
   _(FIN_WAIT_2, TCP_FLAG_ACK, TCP_INPUT_NEXT_RCV_PROCESS, TCP_ERROR_NONE);
   _(FIN_WAIT_2, TCP_FLAG_FIN | TCP_FLAG_ACK, TCP_INPUT_NEXT_RCV_PROCESS,
     TCP_ERROR_NONE);
+  _(CLOSE_WAIT, TCP_FLAG_ACK, TCP_INPUT_NEXT_RCV_PROCESS, TCP_ERROR_NONE);
+  _(CLOSE_WAIT, TCP_FLAG_FIN | TCP_FLAG_ACK, TCP_INPUT_NEXT_RCV_PROCESS,
+    TCP_ERROR_NONE);
   _(LAST_ACK, TCP_FLAG_ACK, TCP_INPUT_NEXT_RCV_PROCESS, TCP_ERROR_NONE);
   _(LAST_ACK, TCP_FLAG_FIN, TCP_INPUT_NEXT_RCV_PROCESS, TCP_ERROR_NONE);
   _(LAST_ACK, TCP_FLAG_FIN | TCP_FLAG_ACK, TCP_INPUT_NEXT_RCV_PROCESS,
@@ -2900,8 +2997,11 @@ do {                                                             \
   _(TIME_WAIT, TCP_FLAG_FIN, TCP_INPUT_NEXT_RCV_PROCESS, TCP_ERROR_NONE);
   _(TIME_WAIT, TCP_FLAG_FIN | TCP_FLAG_ACK, TCP_INPUT_NEXT_RCV_PROCESS,
     TCP_ERROR_NONE);
+  _(TIME_WAIT, TCP_FLAG_RST, TCP_INPUT_NEXT_RCV_PROCESS, TCP_ERROR_NONE);
   _(CLOSED, TCP_FLAG_ACK, TCP_INPUT_NEXT_RESET, TCP_ERROR_CONNECTION_CLOSED);
   _(CLOSED, TCP_FLAG_RST, TCP_INPUT_NEXT_DROP, TCP_ERROR_CONNECTION_CLOSED);
+  _(CLOSED, TCP_FLAG_FIN | TCP_FLAG_ACK, TCP_INPUT_NEXT_RESET,
+    TCP_ERROR_CONNECTION_CLOSED);
 #undef _
 }