src/vnet/udp/udp.h

   1 /*
   2  * Copyright (c) 2017 Cisco and/or its affiliates.
   3  * Licensed under the Apache License, Version 2.0 (the "License");
   4  * you may not use this file except in compliance with the License.
   5  * You may obtain a copy of the License at:
   6  *
   7  *     http://www.apache.org/licenses/LICENSE-2.0
   8  *
   9  * Unless required by applicable law or agreed to in writing, software
  10  * distributed under the License is distributed on an "AS IS" BASIS,
  11  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  12  * See the License for the specific language governing permissions and
  13  * limitations under the License.
  14  */
  15 #ifndef __included_udp_h__
  16 #define __included_udp_h__
  17
  18 #include <vnet/vnet.h>
  19 #include <vnet/udp/udp_packet.h>
  20 #include <vnet/ip/ip.h>
  21 #include <vnet/ip/ip4.h>
  22 #include <vnet/ip/ip4_packet.h>
  23 #include <vnet/pg/pg.h>
  24 #include <vnet/ip/format.h>
  25
  26 #include <vnet/ip/ip.h>
  27 #include <vnet/session/transport.h>
  28
  29 typedef enum
  30 {
  31 #define udp_error(n,s) UDP_ERROR_##n,
  32 #include <vnet/udp/udp_error.def>
  33 #undef udp_error
  34   UDP_N_ERROR,
  35 } udp_error_t;
  36
  37 typedef struct
  38 {
  39   transport_connection_t connection;          /** must be first */
  40   /** ersatz MTU to limit fifo pushes to test data size */
  41   u32 mtu;
  42 } udp_connection_t;
  43
  44 #define foreach_udp4_dst_port                   \
  45 _ (53, dns)                                     \
  46 _ (67, dhcp_to_server)                          \
  47 _ (68, dhcp_to_client)                          \
  48 _ (500, ikev2)                                  \
  49 _ (2152, GTPU)                                  \
  50 _ (3784, bfd4)                                  \
  51 _ (3785, bfd_echo4)                             \
  52 _ (4341, lisp_gpe)                              \
  53 _ (4342, lisp_cp)                               \
  54 _ (4739, ipfix)                                 \
  55 _ (4789, vxlan)                                 \
  56 _ (4789, vxlan6)                                \
  57 _ (4790, VXLAN_GPE)                             \
  58 _ (6633, vpath_3)                               \
  59 _ (6081, geneve)                                \
  60 _ (53053, dns_reply)
  61
  62
  63 #define foreach_udp6_dst_port                   \
  64 _ (53, dns6)                                    \
  65 _ (547, dhcpv6_to_server)                       \
  66 _ (546, dhcpv6_to_client)                       \
  67 _ (2152, GTPU6)                                 \
  68 _ (3784, bfd6)                                  \
  69 _ (3785, bfd_echo6)                             \
  70 _ (4341, lisp_gpe6)                             \
  71 _ (4342, lisp_cp6)                              \
  72 _ (4790, VXLAN6_GPE)                            \
  73 _ (6633, vpath6_3)                              \
  74 _ (6081, geneve6)                               \
  75 _ (53053, dns_reply6)
  76
  77 typedef enum
  78 {
  79 #define _(n,f) UDP_DST_PORT_##f = n,
  80   foreach_udp4_dst_port foreach_udp6_dst_port
  81 #undef _
  82 } udp_dst_port_t;
  83
  84 typedef enum
  85 {
  86 #define _(n,f) UDP6_DST_PORT_##f = n,
  87   foreach_udp6_dst_port
  88 #undef _
  89 } udp6_dst_port_t;
  90
  91 typedef struct
  92 {
  93   /* Name (a c string). */
  94   char *name;
  95
  96   /* GRE protocol type in host byte order. */
  97   udp_dst_port_t dst_port;
  98
  99   /* Node which handles this type. */
 100   u32 node_index;
 101
 102   /* Next index for this type. */
 103   u32 next_index;
 104 } udp_dst_port_info_t;
 105
 106 typedef enum
 107 {
 108   UDP_IP6 = 0,
 109   UDP_IP4,                      /* the code is full of is_ip4... */
 110   N_UDP_AF,
 111 } udp_af_t;
 112
 113 typedef struct
 114 {
 115   udp_dst_port_info_t *dst_port_infos[N_UDP_AF];
 116
 117   /* Hash tables mapping name/protocol to protocol info index. */
 118   uword *dst_port_info_by_name[N_UDP_AF];
 119   uword *dst_port_info_by_dst_port[N_UDP_AF];
 120
 121   /* Sparse vector mapping udp dst_port in network byte order
 122      to next index. */
 123   u16 *next_by_dst_port4;
 124   u16 *next_by_dst_port6;
 125   u8 punt_unknown4;
 126   u8 punt_unknown6;
 127
 128   /*
 129    * Per-worker thread udp connection pools used with session layer
 130    */
 131   udp_connection_t **connections;
 132   u32 *connection_peekers;
 133   clib_spinlock_t *peekers_readers_locks;
 134   clib_spinlock_t *peekers_write_locks;
 135   udp_connection_t *listener_pool;
 136
 137 } udp_main_t;
 138
 139 extern udp_main_t udp_main;
 140 extern vlib_node_registration_t udp4_input_node;
 141 extern vlib_node_registration_t udp6_input_node;
 142
 143 always_inline udp_connection_t *
 144 udp_connection_get (u32 conn_index, u32 thread_index)
 145 {
 146   if (pool_is_free_index (udp_main.connections[thread_index], conn_index))
 147     return 0;
 148   return pool_elt_at_index (udp_main.connections[thread_index], conn_index);
 149 }
 150
 151 always_inline udp_connection_t *
 152 udp_listener_get (u32 conn_index)
 153 {
 154   return pool_elt_at_index (udp_main.listener_pool, conn_index);
 155 }
 156
 157 always_inline udp_main_t *
 158 vnet_get_udp_main ()
 159 {
 160   return &udp_main;
 161 }
 162
 163 always_inline udp_connection_t *
 164 udp_get_connection_from_transport (transport_connection_t * tc)
 165 {
 166   return ((udp_connection_t *) tc);
 167 }
 168
 169 always_inline u32
 170 udp_connection_index (udp_connection_t * uc)
 171 {
 172   return (uc - udp_main.connections[uc->c_thread_index]);
 173 }
 174
 175 udp_connection_t *udp_connection_alloc (u32 thread_index);
 176
 177 /**
 178  * Acquires a lock that blocks a connection pool from expanding.
 179  */
 180 always_inline void
 181 udp_pool_add_peeker (u32 thread_index)
 182 {
 183   if (thread_index != vlib_get_thread_index ())
 184     return;
 185   clib_spinlock_lock_if_init (&udp_main.peekers_readers_locks[thread_index]);
 186   udp_main.connection_peekers[thread_index] += 1;
 187   if (udp_main.connection_peekers[thread_index] == 1)
 188     clib_spinlock_lock_if_init (&udp_main.peekers_write_locks[thread_index]);
 189   clib_spinlock_unlock_if_init (&udp_main.peekers_readers_locks
 190                                 [thread_index]);
 191 }
 192
 193 always_inline void
 194 udp_pool_remove_peeker (u32 thread_index)
 195 {
 196   if (thread_index != vlib_get_thread_index ())
 197     return;
 198   ASSERT (udp_main.connection_peekers[thread_index] > 0);
 199   clib_spinlock_lock_if_init (&udp_main.peekers_readers_locks[thread_index]);
 200   udp_main.connection_peekers[thread_index] -= 1;
 201   if (udp_main.connection_peekers[thread_index] == 0)
 202     clib_spinlock_unlock_if_init (&udp_main.peekers_write_locks
 203                                   [thread_index]);
 204   clib_spinlock_unlock_if_init (&udp_main.peekers_readers_locks
 205                                 [thread_index]);
 206 }
 207
 208 always_inline udp_connection_t *
 209 udp_conenction_clone_safe (u32 connection_index, u32 thread_index)
 210 {
 211   udp_connection_t *old_c, *new_c;
 212   u32 current_thread_index = vlib_get_thread_index ();
 213   new_c = udp_connection_alloc (current_thread_index);
 214
 215   /* If during the memcpy pool is reallocated AND the memory allocator
 216    * decides to give the old chunk of memory to somebody in a hurry to
 217    * scribble something on it, we have a problem. So add this thread as
 218    * a session pool peeker.
 219    */
 220   udp_pool_add_peeker (thread_index);
 221   old_c = udp_main.connections[thread_index] + connection_index;
 222   clib_memcpy (new_c, old_c, sizeof (*new_c));
 223   udp_pool_remove_peeker (thread_index);
 224   new_c->c_thread_index = current_thread_index;
 225   new_c->c_c_index = udp_connection_index (new_c);
 226   return new_c;
 227 }
 228
 229
 230 always_inline udp_dst_port_info_t *
 231 udp_get_dst_port_info (udp_main_t * um, udp_dst_port_t dst_port, u8 is_ip4)
 232 {
 233   uword *p = hash_get (um->dst_port_info_by_dst_port[is_ip4], dst_port);
 234   return p ? vec_elt_at_index (um->dst_port_infos[is_ip4], p[0]) : 0;
 235 }
 236
 237 format_function_t format_udp_header;
 238 format_function_t format_udp_rx_trace;
 239 unformat_function_t unformat_udp_header;
 240
 241 void udp_register_dst_port (vlib_main_t * vm,
 242                             udp_dst_port_t dst_port,
 243                             u32 node_index, u8 is_ip4);
 244 void udp_unregister_dst_port (vlib_main_t * vm,
 245                               udp_dst_port_t dst_port, u8 is_ip4);
 246
 247 void udp_punt_unknown (vlib_main_t * vm, u8 is_ip4, u8 is_add);
 248
 249 always_inline void *
 250 vlib_buffer_push_udp (vlib_buffer_t * b, u16 sp, u16 dp, u8 offload_csum)
 251 {
 252   udp_header_t *uh;
 253
 254   uh = vlib_buffer_push_uninit (b, sizeof (udp_header_t));
 255   uh->src_port = sp;
 256   uh->dst_port = dp;
 257   uh->checksum = 0;
 258   uh->length = clib_host_to_net_u16 (b->current_length);
 259   if (offload_csum)
 260     {
 261       b->flags |= VNET_BUFFER_F_OFFLOAD_UDP_CKSUM;
 262       vnet_buffer (b)->l4_hdr_offset = (u8 *) uh - b->data;
 263     }
 264   return uh;
 265 }
 266
 267 always_inline void
 268 ip_udp_fixup_one (vlib_main_t * vm, vlib_buffer_t * b0, u8 is_ip4)
 269 {
 270   u16 new_l0;
 271   udp_header_t *udp0;
 272
 273   if (is_ip4)
 274     {
 275       ip4_header_t *ip0;
 276       ip_csum_t sum0;
 277       u16 old_l0 = 0;
 278
 279       ip0 = vlib_buffer_get_current (b0);
 280
 281       /* fix the <bleep>ing outer-IP checksum */
 282       sum0 = ip0->checksum;
 283       /* old_l0 always 0, see the rewrite setup */
 284       new_l0 = clib_host_to_net_u16 (vlib_buffer_length_in_chain (vm, b0));
 285
 286       sum0 = ip_csum_update (sum0, old_l0, new_l0, ip4_header_t,
 287                              length /* changed member */ );
 288       ip0->checksum = ip_csum_fold (sum0);
 289       ip0->length = new_l0;
 290
 291       /* Fix UDP length */
 292       udp0 = (udp_header_t *) (ip0 + 1);
 293       new_l0 = clib_host_to_net_u16 (vlib_buffer_length_in_chain (vm, b0)
 294                                      - sizeof (*ip0));
 295       udp0->length = new_l0;
 296     }
 297   else
 298     {
 299       ip6_header_t *ip0;
 300       int bogus0;
 301
 302       ip0 = vlib_buffer_get_current (b0);
 303
 304       new_l0 = clib_host_to_net_u16 (vlib_buffer_length_in_chain (vm, b0)
 305                                      - sizeof (*ip0));
 306       ip0->payload_length = new_l0;
 307
 308       /* Fix UDP length */
 309       udp0 = (udp_header_t *) (ip0 + 1);
 310       udp0->length = new_l0;
 311
 312       udp0->checksum =
 313         ip6_tcp_udp_icmp_compute_checksum (vm, b0, ip0, &bogus0);
 314       ASSERT (bogus0 == 0);
 315
 316       if (udp0->checksum == 0)
 317         udp0->checksum = 0xffff;
 318     }
 319 }
 320
 321 always_inline void
 322 ip_udp_encap_one (vlib_main_t * vm, vlib_buffer_t * b0, u8 * ec0, word ec_len,
 323                   u8 is_ip4)
 324 {
 325   vlib_buffer_advance (b0, -ec_len);
 326
 327   if (is_ip4)
 328     {
 329       ip4_header_t *ip0;
 330
 331       ip0 = vlib_buffer_get_current (b0);
 332
 333       /* Apply the encap string. */
 334       clib_memcpy (ip0, ec0, ec_len);
 335       ip_udp_fixup_one (vm, b0, 1);
 336     }
 337   else
 338     {
 339       ip6_header_t *ip0;
 340
 341       ip0 = vlib_buffer_get_current (b0);
 342
 343       /* Apply the encap string. */
 344       clib_memcpy (ip0, ec0, ec_len);
 345       ip_udp_fixup_one (vm, b0, 0);
 346     }
 347 }
 348
 349 always_inline void
 350 ip_udp_encap_two (vlib_main_t * vm, vlib_buffer_t * b0, vlib_buffer_t * b1,
 351                   u8 * ec0, u8 * ec1, word ec_len, u8 is_v4)
 352 {
 353   u16 new_l0, new_l1;
 354   udp_header_t *udp0, *udp1;
 355
 356   ASSERT (_vec_len (ec0) == _vec_len (ec1));
 357
 358   vlib_buffer_advance (b0, -ec_len);
 359   vlib_buffer_advance (b1, -ec_len);
 360
 361   if (is_v4)
 362     {
 363       ip4_header_t *ip0, *ip1;
 364       ip_csum_t sum0, sum1;
 365       u16 old_l0 = 0, old_l1 = 0;
 366
 367       ip0 = vlib_buffer_get_current (b0);
 368       ip1 = vlib_buffer_get_current (b1);
 369
 370       /* Apply the encap string */
 371       clib_memcpy (ip0, ec0, ec_len);
 372       clib_memcpy (ip1, ec1, ec_len);
 373
 374       /* fix the <bleep>ing outer-IP checksum */
 375       sum0 = ip0->checksum;
 376       sum1 = ip1->checksum;
 377
 378       /* old_l0 always 0, see the rewrite setup */
 379       new_l0 = clib_host_to_net_u16 (vlib_buffer_length_in_chain (vm, b0));
 380       new_l1 = clib_host_to_net_u16 (vlib_buffer_length_in_chain (vm, b1));
 381
 382       sum0 = ip_csum_update (sum0, old_l0, new_l0, ip4_header_t,
 383                              length /* changed member */ );
 384       sum1 = ip_csum_update (sum1, old_l1, new_l1, ip4_header_t,
 385                              length /* changed member */ );
 386
 387       ip0->checksum = ip_csum_fold (sum0);
 388       ip1->checksum = ip_csum_fold (sum1);
 389
 390       ip0->length = new_l0;
 391       ip1->length = new_l1;
 392
 393       /* Fix UDP length */
 394       udp0 = (udp_header_t *) (ip0 + 1);
 395       udp1 = (udp_header_t *) (ip1 + 1);
 396
 397       new_l0 =
 398         clib_host_to_net_u16 (vlib_buffer_length_in_chain (vm, b0) -
 399                               sizeof (*ip0));
 400       new_l1 =
 401         clib_host_to_net_u16 (vlib_buffer_length_in_chain (vm, b1) -
 402                               sizeof (*ip1));
 403       udp0->length = new_l0;
 404       udp1->length = new_l1;
 405     }
 406   else
 407     {
 408       ip6_header_t *ip0, *ip1;
 409       int bogus0, bogus1;
 410
 411       ip0 = vlib_buffer_get_current (b0);
 412       ip1 = vlib_buffer_get_current (b1);
 413
 414       /* Apply the encap string. */
 415       clib_memcpy (ip0, ec0, ec_len);
 416       clib_memcpy (ip1, ec1, ec_len);
 417
 418       new_l0 = clib_host_to_net_u16 (vlib_buffer_length_in_chain (vm, b0)
 419                                      - sizeof (*ip0));
 420       new_l1 = clib_host_to_net_u16 (vlib_buffer_length_in_chain (vm, b1)
 421                                      - sizeof (*ip1));
 422       ip0->payload_length = new_l0;
 423       ip1->payload_length = new_l1;
 424
 425       /* Fix UDP length */
 426       udp0 = (udp_header_t *) (ip0 + 1);
 427       udp1 = (udp_header_t *) (ip1 + 1);
 428
 429       udp0->length = new_l0;
 430       udp1->length = new_l1;
 431
 432       udp0->checksum =
 433         ip6_tcp_udp_icmp_compute_checksum (vm, b0, ip0, &bogus0);
 434       udp1->checksum =
 435         ip6_tcp_udp_icmp_compute_checksum (vm, b1, ip1, &bogus1);
 436       ASSERT (bogus0 == 0);
 437       ASSERT (bogus1 == 0);
 438
 439       if (udp0->checksum == 0)
 440         udp0->checksum = 0xffff;
 441       if (udp1->checksum == 0)
 442         udp1->checksum = 0xffff;
 443     }
 444 }
 445
 446 /*
 447  * fd.io coding-style-patch-verification: ON
 448  *
 449  * Local Variables:
 450  * eval: (c-set-style "gnu")
 451  * End:
 452  */
 453
 454 #endif /* __included_udp_h__ */