src/vnet/udp/udp.h

   1 /*
   2  * Copyright (c) 2017-2019 Cisco and/or its affiliates.
   3  * Licensed under the Apache License, Version 2.0 (the "License");
   4  * you may not use this file except in compliance with the License.
   5  * You may obtain a copy of the License at:
   6  *
   7  *     http://www.apache.org/licenses/LICENSE-2.0
   8  *
   9  * Unless required by applicable law or agreed to in writing, software
  10  * distributed under the License is distributed on an "AS IS" BASIS,
  11  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  12  * See the License for the specific language governing permissions and
  13  * limitations under the License.
  14  */
  15 #ifndef __included_udp_h__
  16 #define __included_udp_h__
  17
  18 #include <vnet/vnet.h>
  19 #include <vnet/udp/udp_packet.h>
  20 #include <vnet/ip/ip.h>
  21 #include <vnet/ip/ip4.h>
  22 #include <vnet/ip/ip4_packet.h>
  23 #include <vnet/pg/pg.h>
  24 #include <vnet/ip/format.h>
  25
  26 #include <vnet/ip/ip.h>
  27 #include <vnet/session/transport.h>
  28
  29 typedef enum
  30 {
  31 #define udp_error(n,s) UDP_ERROR_##n,
  32 #include <vnet/udp/udp_error.def>
  33 #undef udp_error
  34   UDP_N_ERROR,
  35 } udp_error_t;
  36
  37 typedef enum
  38 {
  39   UDP_CONN_F_CONNECTED = 1 << 0,        /**< connected mode */
  40   UDP_CONN_F_OWNS_PORT = 1 << 1,        /**< port belong to conn (UDPC) */
  41   UDP_CONN_F_CLOSING = 1 << 2,          /**< conn closed with data */
  42 } udp_conn_flags_t;
  43
  44 typedef struct
  45 {
  46   /** Required for pool_get_aligned */
  47   CLIB_CACHE_LINE_ALIGN_MARK (cacheline0);
  48   transport_connection_t connection;    /**< must be first */
  49   clib_spinlock_t rx_lock;              /**< rx fifo lock */
  50   u8 flags;                             /**< connection flags */
  51 } udp_connection_t;
  52
  53 #define foreach_udp4_dst_port                   \
  54 _ (53, dns)                                     \
  55 _ (67, dhcp_to_server)                          \
  56 _ (68, dhcp_to_client)                          \
  57 _ (500, ikev2)                                  \
  58 _ (2152, GTPU)                                  \
  59 _ (3784, bfd4)                                  \
  60 _ (3785, bfd_echo4)                             \
  61 _ (4341, lisp_gpe)                              \
  62 _ (4342, lisp_cp)                               \
  63 _ (4500, ipsec)                                 \
  64 _ (4739, ipfix)                                 \
  65 _ (4789, vxlan)                                 \
  66 _ (4789, vxlan6)                                \
  67 _ (48879, vxlan_gbp)                            \
  68 _ (4790, VXLAN_GPE)                             \
  69 _ (6633, vpath_3)                               \
  70 _ (6081, geneve)                                \
  71 _ (53053, dns_reply)
  72
  73
  74 #define foreach_udp6_dst_port                   \
  75 _ (53, dns6)                                    \
  76 _ (547, dhcpv6_to_server)                       \
  77 _ (546, dhcpv6_to_client)                       \
  78 _ (2152, GTPU6)                                 \
  79 _ (3784, bfd6)                                  \
  80 _ (3785, bfd_echo6)                             \
  81 _ (4341, lisp_gpe6)                             \
  82 _ (4342, lisp_cp6)                              \
  83 _ (48879, vxlan6_gbp)                           \
  84 _ (4790, VXLAN6_GPE)                            \
  85 _ (6633, vpath6_3)                              \
  86 _ (6081, geneve6)                               \
  87 _ (8138, BIER)                                  \
  88 _ (53053, dns_reply6)
  89
  90 typedef enum
  91 {
  92 #define _(n,f) UDP_DST_PORT_##f = n,
  93   foreach_udp4_dst_port foreach_udp6_dst_port
  94 #undef _
  95 } udp_dst_port_t;
  96
  97 typedef enum
  98 {
  99 #define _(n,f) UDP6_DST_PORT_##f = n,
 100   foreach_udp6_dst_port
 101 #undef _
 102 } udp6_dst_port_t;
 103
 104 typedef struct
 105 {
 106   /* Name (a c string). */
 107   char *name;
 108
 109   /* Port number in host byte order. */
 110   udp_dst_port_t dst_port;
 111
 112   /* Node which handles this type. */
 113   u32 node_index;
 114
 115   /* Next index for this type. */
 116   u32 next_index;
 117
 118   /* UDP sessions refcount (not tunnels) */
 119   u32 n_connections;
 120
 121   /* Parser for packet generator edits for this protocol */
 122   unformat_function_t *unformat_pg_edit;
 123 } udp_dst_port_info_t;
 124
 125 typedef enum
 126 {
 127   UDP_IP6 = 0,
 128   UDP_IP4,                      /* the code is full of is_ip4... */
 129   N_UDP_AF,
 130 } udp_af_t;
 131
 132 typedef struct
 133 {
 134   udp_dst_port_info_t *dst_port_infos[N_UDP_AF];
 135
 136   /* Hash tables mapping name/protocol to protocol info index. */
 137   uword *dst_port_info_by_name[N_UDP_AF];
 138   uword *dst_port_info_by_dst_port[N_UDP_AF];
 139
 140   /* Sparse vector mapping udp dst_port in network byte order
 141      to next index. */
 142   u16 *next_by_dst_port4;
 143   u16 *next_by_dst_port6;
 144   u8 punt_unknown4;
 145   u8 punt_unknown6;
 146
 147   /* Udp local to input arc index */
 148   u32 local_to_input_edge[N_UDP_AF];
 149
 150   /*
 151    * Per-worker thread udp connection pools used with session layer
 152    */
 153   udp_connection_t **connections;
 154   u32 *connection_peekers;
 155   clib_spinlock_t *peekers_readers_locks;
 156   clib_spinlock_t *peekers_write_locks;
 157   udp_connection_t *listener_pool;
 158
 159 } udp_main_t;
 160
 161 extern udp_main_t udp_main;
 162 extern vlib_node_registration_t udp4_input_node;
 163 extern vlib_node_registration_t udp6_input_node;
 164 extern vlib_node_registration_t udp4_local_node;
 165 extern vlib_node_registration_t udp6_local_node;
 166
 167 always_inline udp_connection_t *
 168 udp_connection_get (u32 conn_index, u32 thread_index)
 169 {
 170   if (pool_is_free_index (udp_main.connections[thread_index], conn_index))
 171     return 0;
 172   return pool_elt_at_index (udp_main.connections[thread_index], conn_index);
 173 }
 174
 175 always_inline udp_connection_t *
 176 udp_listener_get (u32 conn_index)
 177 {
 178   return pool_elt_at_index (udp_main.listener_pool, conn_index);
 179 }
 180
 181 always_inline udp_main_t *
 182 vnet_get_udp_main ()
 183 {
 184   return &udp_main;
 185 }
 186
 187 always_inline udp_connection_t *
 188 udp_get_connection_from_transport (transport_connection_t * tc)
 189 {
 190   return ((udp_connection_t *) tc);
 191 }
 192
 193 always_inline u32
 194 udp_connection_index (udp_connection_t * uc)
 195 {
 196   return (uc - udp_main.connections[uc->c_thread_index]);
 197 }
 198
 199 udp_connection_t *udp_connection_alloc (u32 thread_index);
 200
 201 /**
 202  * Acquires a lock that blocks a connection pool from expanding.
 203  */
 204 always_inline void
 205 udp_pool_add_peeker (u32 thread_index)
 206 {
 207   if (thread_index != vlib_get_thread_index ())
 208     return;
 209   clib_spinlock_lock_if_init (&udp_main.peekers_readers_locks[thread_index]);
 210   udp_main.connection_peekers[thread_index] += 1;
 211   if (udp_main.connection_peekers[thread_index] == 1)
 212     clib_spinlock_lock_if_init (&udp_main.peekers_write_locks[thread_index]);
 213   clib_spinlock_unlock_if_init (&udp_main.peekers_readers_locks
 214                                 [thread_index]);
 215 }
 216
 217 always_inline void
 218 udp_pool_remove_peeker (u32 thread_index)
 219 {
 220   if (thread_index != vlib_get_thread_index ())
 221     return;
 222   ASSERT (udp_main.connection_peekers[thread_index] > 0);
 223   clib_spinlock_lock_if_init (&udp_main.peekers_readers_locks[thread_index]);
 224   udp_main.connection_peekers[thread_index] -= 1;
 225   if (udp_main.connection_peekers[thread_index] == 0)
 226     clib_spinlock_unlock_if_init (&udp_main.peekers_write_locks
 227                                   [thread_index]);
 228   clib_spinlock_unlock_if_init (&udp_main.peekers_readers_locks
 229                                 [thread_index]);
 230 }
 231
 232 always_inline udp_connection_t *
 233 udp_connection_clone_safe (u32 connection_index, u32 thread_index)
 234 {
 235   udp_connection_t *old_c, *new_c;
 236   u32 current_thread_index = vlib_get_thread_index ();
 237   new_c = udp_connection_alloc (current_thread_index);
 238
 239   /* If during the memcpy pool is reallocated AND the memory allocator
 240    * decides to give the old chunk of memory to somebody in a hurry to
 241    * scribble something on it, we have a problem. So add this thread as
 242    * a session pool peeker.
 243    */
 244   udp_pool_add_peeker (thread_index);
 245   old_c = udp_main.connections[thread_index] + connection_index;
 246   clib_memcpy_fast (new_c, old_c, sizeof (*new_c));
 247   udp_pool_remove_peeker (thread_index);
 248   new_c->c_thread_index = current_thread_index;
 249   new_c->c_c_index = udp_connection_index (new_c);
 250   new_c->c_fib_index = old_c->c_fib_index;
 251   return new_c;
 252 }
 253
 254
 255 always_inline udp_dst_port_info_t *
 256 udp_get_dst_port_info (udp_main_t * um, udp_dst_port_t dst_port, u8 is_ip4)
 257 {
 258   uword *p = hash_get (um->dst_port_info_by_dst_port[is_ip4], dst_port);
 259   return p ? vec_elt_at_index (um->dst_port_infos[is_ip4], p[0]) : 0;
 260 }
 261
 262 format_function_t format_udp_header;
 263 format_function_t format_udp_rx_trace;
 264 unformat_function_t unformat_udp_header;
 265
 266 void udp_add_dst_port (udp_main_t * um, udp_dst_port_t dst_port,
 267                        char *dst_port_name, u8 is_ip4);
 268 void udp_register_dst_port (vlib_main_t * vm,
 269                             udp_dst_port_t dst_port,
 270                             u32 node_index, u8 is_ip4);
 271 void udp_unregister_dst_port (vlib_main_t * vm,
 272                               udp_dst_port_t dst_port, u8 is_ip4);
 273 bool udp_is_valid_dst_port (udp_dst_port_t dst_port, u8 is_ip4);
 274
 275 void udp_connection_share_port (u16 lcl_port, u8 is_ip4);
 276
 277 void udp_punt_unknown (vlib_main_t * vm, u8 is_ip4, u8 is_add);
 278
 279 always_inline void *
 280 vlib_buffer_push_udp (vlib_buffer_t * b, u16 sp, u16 dp, u8 offload_csum)
 281 {
 282   udp_header_t *uh;
 283   u16 udp_len = sizeof (udp_header_t) + b->current_length;
 284   if (PREDICT_FALSE (b->flags & VLIB_BUFFER_TOTAL_LENGTH_VALID))
 285     udp_len += b->total_length_not_including_first_buffer;
 286
 287   uh = vlib_buffer_push_uninit (b, sizeof (udp_header_t));
 288   uh->src_port = sp;
 289   uh->dst_port = dp;
 290   uh->checksum = 0;
 291   uh->length = clib_host_to_net_u16 (udp_len);
 292   if (offload_csum)
 293     {
 294       b->flags |= VNET_BUFFER_F_OFFLOAD_UDP_CKSUM;
 295       vnet_buffer (b)->l4_hdr_offset = (u8 *) uh - b->data;
 296     }
 297   return uh;
 298 }
 299
 300 always_inline void
 301 ip_udp_fixup_one (vlib_main_t * vm, vlib_buffer_t * b0, u8 is_ip4)
 302 {
 303   u16 new_l0;
 304   udp_header_t *udp0;
 305
 306   if (is_ip4)
 307     {
 308       ip4_header_t *ip0;
 309       ip_csum_t sum0;
 310       u16 old_l0 = 0;
 311
 312       ip0 = vlib_buffer_get_current (b0);
 313
 314       /* fix the <bleep>ing outer-IP checksum */
 315       sum0 = ip0->checksum;
 316       /* old_l0 always 0, see the rewrite setup */
 317       new_l0 = clib_host_to_net_u16 (vlib_buffer_length_in_chain (vm, b0));
 318
 319       sum0 = ip_csum_update (sum0, old_l0, new_l0, ip4_header_t,
 320                              length /* changed member */ );
 321       ip0->checksum = ip_csum_fold (sum0);
 322       ip0->length = new_l0;
 323
 324       /* Fix UDP length */
 325       udp0 = (udp_header_t *) (ip0 + 1);
 326       new_l0 = clib_host_to_net_u16 (vlib_buffer_length_in_chain (vm, b0)
 327                                      - sizeof (*ip0));
 328       udp0->length = new_l0;
 329     }
 330   else
 331     {
 332       ip6_header_t *ip0;
 333       int bogus0;
 334
 335       ip0 = vlib_buffer_get_current (b0);
 336
 337       new_l0 = clib_host_to_net_u16 (vlib_buffer_length_in_chain (vm, b0)
 338                                      - sizeof (*ip0));
 339       ip0->payload_length = new_l0;
 340
 341       /* Fix UDP length */
 342       udp0 = (udp_header_t *) (ip0 + 1);
 343       udp0->length = new_l0;
 344
 345       udp0->checksum =
 346         ip6_tcp_udp_icmp_compute_checksum (vm, b0, ip0, &bogus0);
 347       ASSERT (bogus0 == 0);
 348
 349       if (udp0->checksum == 0)
 350         udp0->checksum = 0xffff;
 351     }
 352 }
 353
 354 always_inline void
 355 ip_udp_encap_one (vlib_main_t * vm, vlib_buffer_t * b0, u8 * ec0, word ec_len,
 356                   u8 is_ip4)
 357 {
 358   vlib_buffer_advance (b0, -ec_len);
 359
 360   if (is_ip4)
 361     {
 362       ip4_header_t *ip0;
 363
 364       ip0 = vlib_buffer_get_current (b0);
 365
 366       /* Apply the encap string. */
 367       clib_memcpy_fast (ip0, ec0, ec_len);
 368       ip_udp_fixup_one (vm, b0, 1);
 369     }
 370   else
 371     {
 372       ip6_header_t *ip0;
 373
 374       ip0 = vlib_buffer_get_current (b0);
 375
 376       /* Apply the encap string. */
 377       clib_memcpy_fast (ip0, ec0, ec_len);
 378       ip_udp_fixup_one (vm, b0, 0);
 379     }
 380 }
 381
 382 always_inline void
 383 ip_udp_encap_two (vlib_main_t * vm, vlib_buffer_t * b0, vlib_buffer_t * b1,
 384                   u8 * ec0, u8 * ec1, word ec_len, u8 is_v4)
 385 {
 386   u16 new_l0, new_l1;
 387   udp_header_t *udp0, *udp1;
 388
 389   ASSERT (_vec_len (ec0) == _vec_len (ec1));
 390
 391   vlib_buffer_advance (b0, -ec_len);
 392   vlib_buffer_advance (b1, -ec_len);
 393
 394   if (is_v4)
 395     {
 396       ip4_header_t *ip0, *ip1;
 397       ip_csum_t sum0, sum1;
 398       u16 old_l0 = 0, old_l1 = 0;
 399
 400       ip0 = vlib_buffer_get_current (b0);
 401       ip1 = vlib_buffer_get_current (b1);
 402
 403       /* Apply the encap string */
 404       clib_memcpy_fast (ip0, ec0, ec_len);
 405       clib_memcpy_fast (ip1, ec1, ec_len);
 406
 407       /* fix the <bleep>ing outer-IP checksum */
 408       sum0 = ip0->checksum;
 409       sum1 = ip1->checksum;
 410
 411       /* old_l0 always 0, see the rewrite setup */
 412       new_l0 = clib_host_to_net_u16 (vlib_buffer_length_in_chain (vm, b0));
 413       new_l1 = clib_host_to_net_u16 (vlib_buffer_length_in_chain (vm, b1));
 414
 415       sum0 = ip_csum_update (sum0, old_l0, new_l0, ip4_header_t,
 416                              length /* changed member */ );
 417       sum1 = ip_csum_update (sum1, old_l1, new_l1, ip4_header_t,
 418                              length /* changed member */ );
 419
 420       ip0->checksum = ip_csum_fold (sum0);
 421       ip1->checksum = ip_csum_fold (sum1);
 422
 423       ip0->length = new_l0;
 424       ip1->length = new_l1;
 425
 426       /* Fix UDP length */
 427       udp0 = (udp_header_t *) (ip0 + 1);
 428       udp1 = (udp_header_t *) (ip1 + 1);
 429
 430       new_l0 =
 431         clib_host_to_net_u16 (vlib_buffer_length_in_chain (vm, b0) -
 432                               sizeof (*ip0));
 433       new_l1 =
 434         clib_host_to_net_u16 (vlib_buffer_length_in_chain (vm, b1) -
 435                               sizeof (*ip1));
 436       udp0->length = new_l0;
 437       udp1->length = new_l1;
 438     }
 439   else
 440     {
 441       ip6_header_t *ip0, *ip1;
 442       int bogus0, bogus1;
 443
 444       ip0 = vlib_buffer_get_current (b0);
 445       ip1 = vlib_buffer_get_current (b1);
 446
 447       /* Apply the encap string. */
 448       clib_memcpy_fast (ip0, ec0, ec_len);
 449       clib_memcpy_fast (ip1, ec1, ec_len);
 450
 451       new_l0 = clib_host_to_net_u16 (vlib_buffer_length_in_chain (vm, b0)
 452                                      - sizeof (*ip0));
 453       new_l1 = clib_host_to_net_u16 (vlib_buffer_length_in_chain (vm, b1)
 454                                      - sizeof (*ip1));
 455       ip0->payload_length = new_l0;
 456       ip1->payload_length = new_l1;
 457
 458       /* Fix UDP length */
 459       udp0 = (udp_header_t *) (ip0 + 1);
 460       udp1 = (udp_header_t *) (ip1 + 1);
 461
 462       udp0->length = new_l0;
 463       udp1->length = new_l1;
 464
 465       udp0->checksum =
 466         ip6_tcp_udp_icmp_compute_checksum (vm, b0, ip0, &bogus0);
 467       udp1->checksum =
 468         ip6_tcp_udp_icmp_compute_checksum (vm, b1, ip1, &bogus1);
 469       ASSERT (bogus0 == 0);
 470       ASSERT (bogus1 == 0);
 471
 472       if (udp0->checksum == 0)
 473         udp0->checksum = 0xffff;
 474       if (udp1->checksum == 0)
 475         udp1->checksum = 0xffff;
 476     }
 477 }
 478
 479 /*
 480  * fd.io coding-style-patch-verification: ON
 481  *
 482  * Local Variables:
 483  * eval: (c-set-style "gnu")
 484  * End:
 485  */
 486
 487 #endif /* __included_udp_h__ */