Add support for tcp/session buffer chains
[vpp.git] / src / vnet / tcp / tcp_output.c
index a85d30d..33e599e 100644 (file)
@@ -46,7 +46,7 @@ typedef struct
   tcp_connection_t tcp_connection;
 } tcp_tx_trace_t;
 
-u16 dummy_mtu = 400;
+u16 dummy_mtu = 1460;
 
 u8 *
 format_tcp_tx_trace (u8 * s, va_list * args)
@@ -64,26 +64,6 @@ format_tcp_tx_trace (u8 * s, va_list * args)
   return s;
 }
 
-void
-tcp_set_snd_mss (tcp_connection_t * tc)
-{
-  u16 snd_mss;
-
-  /* TODO find our iface MTU */
-  snd_mss = dummy_mtu;
-
-  /* TODO cache mss and consider PMTU discovery */
-  snd_mss = tc->opt.mss < snd_mss ? tc->opt.mss : snd_mss;
-
-  tc->snd_mss = snd_mss;
-
-  if (tc->snd_mss == 0)
-    {
-      clib_warning ("snd mss is 0");
-      tc->snd_mss = dummy_mtu;
-    }
-}
-
 static u8
 tcp_window_compute_scale (u32 available_space)
 {
@@ -100,7 +80,7 @@ tcp_window_compute_scale (u32 available_space)
 always_inline u32
 tcp_initial_wnd_unscaled (tcp_connection_t * tc)
 {
-  return TCP_IW_N_SEGMENTS * dummy_mtu;
+  return TCP_IW_N_SEGMENTS * tc->mss;
 }
 
 /**
@@ -310,7 +290,7 @@ tcp_make_synack_options (tcp_connection_t * tc, tcp_options_t * opts)
   u8 len = 0;
 
   opts->flags |= TCP_OPTS_FLAG_MSS;
-  opts->mss = dummy_mtu;       /*XXX discover that */
+  opts->mss = tc->mss;
   len += TCP_OPTION_LEN_MSS;
 
   if (tcp_opts_wscale (&tc->opt))
@@ -389,6 +369,57 @@ tcp_make_options (tcp_connection_t * tc, tcp_options_t * opts,
     }
 }
 
+/**
+ * Update max segment size we're able to process.
+ *
+ * The value is constrained by our interface's MTU and IP options. It is
+ * also what we advertise to our peer.
+ */
+void
+tcp_update_rcv_mss (tcp_connection_t * tc)
+{
+  /* TODO find our iface MTU */
+  tc->mss = dummy_mtu;
+}
+
+/**
+ * Update snd_mss to reflect the effective segment size that we can send
+ * by taking into account all TCP options, including SACKs
+ */
+void
+tcp_update_snd_mss (tcp_connection_t * tc)
+{
+  /* Compute options to be used for connection. These may be reused when
+   * sending data or to compute the effective mss (snd_mss) */
+  tc->snd_opts_len =
+    tcp_make_options (tc, &tc->snd_opts, TCP_STATE_ESTABLISHED);
+
+  /* XXX check if MTU has been updated */
+  tc->snd_mss = clib_min (tc->mss, tc->opt.mss) - tc->snd_opts_len;
+}
+
+void
+tcp_init_mss (tcp_connection_t * tc)
+{
+  tcp_update_rcv_mss (tc);
+
+  /* TODO cache mss and consider PMTU discovery */
+  tc->snd_mss = clib_min (tc->opt.mss, tc->mss);
+
+  if (tc->snd_mss == 0)
+    {
+      clib_warning ("snd mss is 0");
+      tc->snd_mss = tc->mss;
+    }
+
+  /* We should have enough space for 40 bytes of options */
+  ASSERT (tc->snd_mss > 45);
+
+  /* If we use timestamp option, account for it */
+  if (tcp_opts_tstamp (&tc->opt))
+    tc->snd_mss -= TCP_OPTION_LEN_TIMESTAMP;
+}
+
 #define tcp_get_free_buffer_index(tm, bidx)                             \
 do {                                                                    \
   u32 *my_tx_buffers, n_free_buffers;                                   \
@@ -886,20 +917,20 @@ tcp_make_state_flags (tcp_state_t next_state)
  */
 static void
 tcp_push_hdr_i (tcp_connection_t * tc, vlib_buffer_t * b,
-               tcp_state_t next_state)
+               tcp_state_t next_state, u8 compute_opts)
 {
   u32 advertise_wnd, data_len;
-  u8 tcp_opts_len, tcp_hdr_opts_len, opts_write_len, flags;
-  tcp_options_t _snd_opts, *snd_opts = &_snd_opts;
+  u8 tcp_hdr_opts_len, opts_write_len, flags;
   tcp_header_t *th;
 
-  data_len = b->current_length;
+  data_len = b->current_length + b->total_length_not_including_first_buffer;
   vnet_buffer (b)->tcp.flags = 0;
 
-  /* Make and write options */
-  memset (snd_opts, 0, sizeof (*snd_opts));
-  tcp_opts_len = tcp_make_options (tc, snd_opts, next_state);
-  tcp_hdr_opts_len = tcp_opts_len + sizeof (tcp_header_t);
+  if (compute_opts)
+    tc->snd_opts_len = tcp_make_options (tc, &tc->snd_opts, tc->state);
+
+  /* Write pre-computed options */
+  tcp_hdr_opts_len = tc->snd_opts_len + sizeof (tcp_header_t);
 
   /* Get rcv window to advertise */
   advertise_wnd = tcp_window_to_advertise (tc, next_state);
@@ -910,9 +941,9 @@ tcp_push_hdr_i (tcp_connection_t * tc, vlib_buffer_t * b,
                             tc->rcv_nxt, tcp_hdr_opts_len, flags,
                             advertise_wnd);
 
-  opts_write_len = tcp_options_write ((u8 *) (th + 1), snd_opts);
+  opts_write_len = tcp_options_write ((u8 *) (th + 1), &tc->snd_opts);
 
-  ASSERT (opts_write_len == tcp_opts_len);
+  ASSERT (opts_write_len == tc->snd_opts_len);
 
   /* Tag the buffer with the connection index  */
   vnet_buffer (b)->tcp.connection_index = tc->c_c_index;
@@ -923,6 +954,12 @@ tcp_push_hdr_i (tcp_connection_t * tc, vlib_buffer_t * b,
   /* TODO this is updated in output as well ... */
   if (tc->snd_nxt > tc->snd_una_max)
     tc->snd_una_max = tc->snd_nxt;
+
+  if (tc->rtt_ts == 0)
+    {
+      tc->rtt_ts = tcp_time_now ();
+      tc->rtt_seq = tc->snd_nxt;
+    }
   TCP_EVT_DBG (TCP_EVT_PKTIZE, tc);
 }
 
@@ -987,6 +1024,8 @@ tcp_prepare_retransmit_segment (tcp_connection_t * tc, vlib_buffer_t * b,
        goto done;
     }
 
+  tc->snd_opts_len = tcp_make_options (tc, &tc->snd_opts, tc->state);
+
   ASSERT (max_bytes <= tc->snd_mss);
 
   n_bytes = stream_session_peek_bytes (&tc->connection,
@@ -994,7 +1033,7 @@ tcp_prepare_retransmit_segment (tcp_connection_t * tc, vlib_buffer_t * b,
                                       max_bytes);
   ASSERT (n_bytes != 0);
   b->current_length = n_bytes;
-  tcp_push_hdr_i (tc, b, tc->state);
+  tcp_push_hdr_i (tc, b, tc->state, 0);
   tc->rtx_bytes += n_bytes;
 
 done:
@@ -1019,9 +1058,10 @@ tcp_rtx_timeout_cc (tcp_connection_t * tc)
     }
 
   /* Start again from the beginning */
-  tcp_recovery_on (tc);
+
   tc->cwnd = tcp_loss_wnd (tc);
   tc->snd_congestion = tc->snd_una_max;
+  tcp_recovery_on (tc);
 }
 
 static void
@@ -1032,7 +1072,7 @@ tcp_timer_retransmit_handler_i (u32 index, u8 is_syn)
   u32 thread_index = vlib_get_thread_index ();
   tcp_connection_t *tc;
   vlib_buffer_t *b;
-  u32 bi, snd_space, n_bytes;
+  u32 bi, n_bytes;
 
   if (is_syn)
     {
@@ -1065,33 +1105,16 @@ tcp_timer_retransmit_handler_i (u32 index, u8 is_syn)
       /* Exponential backoff */
       tc->rto = clib_min (tc->rto << 1, TCP_RTO_MAX);
 
-      /* Figure out what and how many bytes we can send */
-      snd_space = tcp_available_snd_space (tc);
-
       TCP_EVT_DBG (TCP_EVT_CC_EVT, tc, 1);
 
-      if (snd_space == 0)
-       {
-         clib_warning ("no wnd to retransmit");
-         tcp_return_buffer (tm);
-
-         /* Force one segment */
-         tcp_retransmit_first_unacked (tc);
+      /* Send one segment. No fancy recovery for now! */
+      n_bytes = tcp_prepare_retransmit_segment (tc, b, 0, tc->snd_mss);
+      scoreboard_clear (&tc->sack_sb);
 
-         /* Re-enable retransmit timer. Output may be unwilling
-          * to do it for us */
-         tcp_retransmit_timer_set (tc);
-
-         return;
-       }
-      else
+      if (n_bytes == 0)
        {
-         /* No fancy recovery for now! */
-         n_bytes = tcp_prepare_retransmit_segment (tc, b, 0, snd_space);
-         scoreboard_clear (&tc->sack_sb);
-
-         if (n_bytes == 0)
-           return;
+         clib_warning ("could not retransmit");
+         return;
        }
     }
   else
@@ -1107,7 +1130,7 @@ tcp_timer_retransmit_handler_i (u32 index, u8 is_syn)
 
       vlib_buffer_make_headroom (b, MAX_HDRS_LEN);
 
-      tcp_push_hdr_i (tc, b, tc->state);
+      tcp_push_hdr_i (tc, b, tc->state, 1);
 
       /* Account for the SYN */
       tc->snd_nxt += 1;
@@ -1178,6 +1201,7 @@ tcp_timer_persist_handler (u32 index)
   /* Try to force the first unsent segment  */
   tcp_get_free_buffer_index (tm, &bi);
   b = vlib_get_buffer (vm, bi);
+  tc->snd_opts_len = tcp_make_options (tc, &tc->snd_opts, tc->state);
   n_bytes = stream_session_peek_bytes (&tc->connection,
                                       vlib_buffer_get_current (b),
                                       tc->snd_una_max - tc->snd_una,
@@ -1190,7 +1214,7 @@ tcp_timer_persist_handler (u32 index)
     }
 
   b->current_length = n_bytes;
-  tcp_push_hdr_i (tc, b, tc->state);
+  tcp_push_hdr_i (tc, b, tc->state, 0);
   tcp_enqueue_to_output (vm, b, bi, tc->c_is_ip4);
 
   /* Re-enable persist timer */
@@ -1400,7 +1424,7 @@ tcp46_output_inline (vlib_main_t * vm,
            }
 
          /* If not retransmitting
-          * 1) update snd_una_max (SYN, SYNACK, new data, FIN)
+          * 1) update snd_una_max (SYN, SYNACK, FIN)
           * 2) If we're not tracking an ACK, start tracking */
          if (seq_lt (tc0->snd_una_max, tc0->snd_nxt))
            {
@@ -1517,7 +1541,7 @@ tcp_push_header (transport_connection_t * tconn, vlib_buffer_t * b)
   tcp_connection_t *tc;
 
   tc = (tcp_connection_t *) tconn;
-  tcp_push_hdr_i (tc, b, TCP_STATE_ESTABLISHED);
+  tcp_push_hdr_i (tc, b, TCP_STATE_ESTABLISHED, 0);
   return 0;
 }