src/vnet/udp/udp.h

   1 /*
   2  * Copyright (c) 2017-2020 Cisco and/or its affiliates.
   3  * Licensed under the Apache License, Version 2.0 (the "License");
   4  * you may not use this file except in compliance with the License.
   5  * You may obtain a copy of the License at:
   6  *
   7  *     http://www.apache.org/licenses/LICENSE-2.0
   8  *
   9  * Unless required by applicable law or agreed to in writing, software
  10  * distributed under the License is distributed on an "AS IS" BASIS,
  11  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  12  * See the License for the specific language governing permissions and
  13  * limitations under the License.
  14  */
  15 #ifndef __included_udp_h__
  16 #define __included_udp_h__
  17
  18 #include <vnet/vnet.h>
  19 #include <vnet/udp/udp_packet.h>
  20 #include <vnet/ip/ip.h>
  21 #include <vnet/ip/ip4.h>
  22 #include <vnet/ip/ip4_packet.h>
  23 #include <vnet/ip/format.h>
  24
  25 #include <vnet/ip/ip.h>
  26 #include <vnet/session/transport.h>
  27
  28 typedef enum
  29 {
  30 #define udp_error(n,s) UDP_ERROR_##n,
  31 #include <vnet/udp/udp_error.def>
  32 #undef udp_error
  33   UDP_N_ERROR,
  34 } udp_error_t;
  35
  36 #define foreach_udp_connection_flag                                     \
  37   _(CONNECTED, "CONNECTED")     /**< connected mode */                  \
  38   _(OWNS_PORT, "OWNS_PORT")     /**< port belong to conn (UDPC) */      \
  39   _(CLOSING, "CLOSING")         /**< conn closed with data */           \
  40   _(LISTEN, "LISTEN")           /**< conn is listening */               \
  41   _(MIGRATED, "MIGRATED")       /**< cloned to another thread */        \
  42
  43 enum udp_conn_flags_bits
  44 {
  45 #define _(sym, str) UDP_CONN_F_BIT_##sym,
  46   foreach_udp_connection_flag
  47 #undef _
  48   UDP_CONN_N_FLAGS
  49 };
  50
  51 typedef enum udp_conn_flags_
  52 {
  53 #define _(sym, str) UDP_CONN_F_##sym = 1 << UDP_CONN_F_BIT_##sym,
  54   foreach_udp_connection_flag
  55 #undef _
  56 } udp_conn_flags_t;
  57
  58 typedef struct
  59 {
  60   /** Required for pool_get_aligned */
  61   CLIB_CACHE_LINE_ALIGN_MARK (cacheline0);
  62   transport_connection_t connection;    /**< must be first */
  63   clib_spinlock_t rx_lock;              /**< rx fifo lock */
  64   u8 flags;                             /**< connection flags */
  65   u16 mss;                              /**< connection mss */
  66 } udp_connection_t;
  67
  68 #define foreach_udp4_dst_port                   \
  69 _ (53, dns)                                     \
  70 _ (67, dhcp_to_server)                          \
  71 _ (68, dhcp_to_client)                          \
  72 _ (500, ikev2)                                  \
  73 _ (2152, GTPU)                                  \
  74 _ (3784, bfd4)                                  \
  75 _ (3785, bfd_echo4)                             \
  76 _ (4341, lisp_gpe)                              \
  77 _ (4342, lisp_cp)                               \
  78 _ (4500, ipsec)                                 \
  79 _ (4739, ipfix)                                 \
  80 _ (4789, vxlan)                                 \
  81 _ (4789, vxlan6)                                \
  82 _ (48879, vxlan_gbp)                            \
  83 _ (4790, VXLAN_GPE)                             \
  84 _ (6633, vpath_3)                               \
  85 _ (6081, geneve)                                \
  86 _ (53053, dns_reply)
  87
  88
  89 #define foreach_udp6_dst_port                   \
  90 _ (53, dns6)                                    \
  91 _ (547, dhcpv6_to_server)                       \
  92 _ (546, dhcpv6_to_client)                       \
  93 _ (2152, GTPU6)                                 \
  94 _ (3784, bfd6)                                  \
  95 _ (3785, bfd_echo6)                             \
  96 _ (4341, lisp_gpe6)                             \
  97 _ (4342, lisp_cp6)                              \
  98 _ (48879, vxlan6_gbp)                           \
  99 _ (4790, VXLAN6_GPE)                            \
 100 _ (6633, vpath6_3)                              \
 101 _ (6081, geneve6)                               \
 102 _ (8138, BIER)                                  \
 103 _ (53053, dns_reply6)
 104
 105 typedef enum
 106 {
 107 #define _(n,f) UDP_DST_PORT_##f = n,
 108   foreach_udp4_dst_port foreach_udp6_dst_port
 109 #undef _
 110 } udp_dst_port_t;
 111
 112 typedef enum
 113 {
 114 #define _(n,f) UDP6_DST_PORT_##f = n,
 115   foreach_udp6_dst_port
 116 #undef _
 117 } udp6_dst_port_t;
 118
 119 typedef struct
 120 {
 121   /* Name (a c string). */
 122   char *name;
 123
 124   /* Port number in host byte order. */
 125   udp_dst_port_t dst_port;
 126
 127   /* Node which handles this type. */
 128   u32 node_index;
 129
 130   /* Next index for this type. */
 131   u32 next_index;
 132
 133   /* UDP sessions refcount (not tunnels) */
 134   u32 n_connections;
 135
 136   /* Parser for packet generator edits for this protocol */
 137   unformat_function_t *unformat_pg_edit;
 138 } udp_dst_port_info_t;
 139
 140 typedef enum
 141 {
 142   UDP_IP6 = 0,
 143   UDP_IP4,                      /* the code is full of is_ip4... */
 144   N_UDP_AF,
 145 } udp_af_t;
 146
 147 typedef struct
 148 {
 149   udp_dst_port_info_t *dst_port_infos[N_UDP_AF];
 150
 151   /* Hash tables mapping name/protocol to protocol info index. */
 152   uword *dst_port_info_by_name[N_UDP_AF];
 153   uword *dst_port_info_by_dst_port[N_UDP_AF];
 154
 155   /* Sparse vector mapping udp dst_port in network byte order
 156      to next index. */
 157   u16 *next_by_dst_port4;
 158   u16 *next_by_dst_port6;
 159   u8 punt_unknown4;
 160   u8 punt_unknown6;
 161
 162   /* Udp local to input arc index */
 163   u32 local_to_input_edge[N_UDP_AF];
 164
 165   /*
 166    * Per-worker thread udp connection pools used with session layer
 167    */
 168   udp_connection_t **connections;
 169   u32 *connection_peekers;
 170   clib_spinlock_t *peekers_readers_locks;
 171   clib_spinlock_t *peekers_write_locks;
 172   udp_connection_t *listener_pool;
 173
 174   u16 default_mtu;
 175 } udp_main_t;
 176
 177 extern udp_main_t udp_main;
 178 extern vlib_node_registration_t udp4_input_node;
 179 extern vlib_node_registration_t udp6_input_node;
 180 extern vlib_node_registration_t udp4_local_node;
 181 extern vlib_node_registration_t udp6_local_node;
 182
 183 always_inline udp_connection_t *
 184 udp_connection_get (u32 conn_index, u32 thread_index)
 185 {
 186   if (pool_is_free_index (udp_main.connections[thread_index], conn_index))
 187     return 0;
 188   return pool_elt_at_index (udp_main.connections[thread_index], conn_index);
 189 }
 190
 191 always_inline udp_connection_t *
 192 udp_listener_get (u32 conn_index)
 193 {
 194   return pool_elt_at_index (udp_main.listener_pool, conn_index);
 195 }
 196
 197 always_inline udp_main_t *
 198 vnet_get_udp_main ()
 199 {
 200   return &udp_main;
 201 }
 202
 203 always_inline udp_connection_t *
 204 udp_connection_from_transport (transport_connection_t * tc)
 205 {
 206   return ((udp_connection_t *) tc);
 207 }
 208
 209 always_inline u32
 210 udp_connection_index (udp_connection_t * uc)
 211 {
 212   return (uc - udp_main.connections[uc->c_thread_index]);
 213 }
 214
 215 void udp_connection_free (udp_connection_t * uc);
 216 udp_connection_t *udp_connection_alloc (u32 thread_index);
 217
 218 /**
 219  * Acquires a lock that blocks a connection pool from expanding.
 220  */
 221 always_inline void
 222 udp_pool_add_peeker (u32 thread_index)
 223 {
 224   if (thread_index != vlib_get_thread_index ())
 225     return;
 226   clib_spinlock_lock_if_init (&udp_main.peekers_readers_locks[thread_index]);
 227   udp_main.connection_peekers[thread_index] += 1;
 228   if (udp_main.connection_peekers[thread_index] == 1)
 229     clib_spinlock_lock_if_init (&udp_main.peekers_write_locks[thread_index]);
 230   clib_spinlock_unlock_if_init (&udp_main.peekers_readers_locks
 231                                 [thread_index]);
 232 }
 233
 234 always_inline void
 235 udp_pool_remove_peeker (u32 thread_index)
 236 {
 237   if (thread_index != vlib_get_thread_index ())
 238     return;
 239   ASSERT (udp_main.connection_peekers[thread_index] > 0);
 240   clib_spinlock_lock_if_init (&udp_main.peekers_readers_locks[thread_index]);
 241   udp_main.connection_peekers[thread_index] -= 1;
 242   if (udp_main.connection_peekers[thread_index] == 0)
 243     clib_spinlock_unlock_if_init (&udp_main.peekers_write_locks
 244                                   [thread_index]);
 245   clib_spinlock_unlock_if_init (&udp_main.peekers_readers_locks
 246                                 [thread_index]);
 247 }
 248
 249 always_inline udp_connection_t *
 250 udp_connection_clone_safe (u32 connection_index, u32 thread_index)
 251 {
 252   udp_connection_t *old_c, *new_c;
 253   u32 current_thread_index = vlib_get_thread_index ();
 254   new_c = udp_connection_alloc (current_thread_index);
 255
 256   /* If during the memcpy pool is reallocated AND the memory allocator
 257    * decides to give the old chunk of memory to somebody in a hurry to
 258    * scribble something on it, we have a problem. So add this thread as
 259    * a session pool peeker.
 260    */
 261   udp_pool_add_peeker (thread_index);
 262   old_c = udp_main.connections[thread_index] + connection_index;
 263   clib_memcpy_fast (new_c, old_c, sizeof (*new_c));
 264   old_c->flags |= UDP_CONN_F_MIGRATED;
 265   udp_pool_remove_peeker (thread_index);
 266   new_c->c_thread_index = current_thread_index;
 267   new_c->c_c_index = udp_connection_index (new_c);
 268   new_c->c_fib_index = old_c->c_fib_index;
 269   return new_c;
 270 }
 271
 272 always_inline udp_dst_port_info_t *
 273 udp_get_dst_port_info (udp_main_t * um, udp_dst_port_t dst_port, u8 is_ip4)
 274 {
 275   uword *p = hash_get (um->dst_port_info_by_dst_port[is_ip4], dst_port);
 276   return p ? vec_elt_at_index (um->dst_port_infos[is_ip4], p[0]) : 0;
 277 }
 278
 279 format_function_t format_udp_header;
 280 format_function_t format_udp_rx_trace;
 281 format_function_t format_udp_connection;
 282 unformat_function_t unformat_udp_header;
 283 unformat_function_t unformat_udp_port;
 284
 285 void udp_add_dst_port (udp_main_t * um, udp_dst_port_t dst_port,
 286                        char *dst_port_name, u8 is_ip4);
 287 void udp_register_dst_port (vlib_main_t * vm,
 288                             udp_dst_port_t dst_port,
 289                             u32 node_index, u8 is_ip4);
 290 void udp_unregister_dst_port (vlib_main_t * vm,
 291                               udp_dst_port_t dst_port, u8 is_ip4);
 292 bool udp_is_valid_dst_port (udp_dst_port_t dst_port, u8 is_ip4);
 293 void udp_connection_share_port (u16 lcl_port, u8 is_ip4);
 294
 295 void udp_punt_unknown (vlib_main_t * vm, u8 is_ip4, u8 is_add);
 296
 297 always_inline void *
 298 vlib_buffer_push_udp (vlib_buffer_t * b, u16 sp, u16 dp, u8 offload_csum)
 299 {
 300   udp_header_t *uh;
 301   u16 udp_len = sizeof (udp_header_t) + b->current_length;
 302   if (PREDICT_FALSE (b->flags & VLIB_BUFFER_TOTAL_LENGTH_VALID))
 303     udp_len += b->total_length_not_including_first_buffer;
 304
 305   uh = vlib_buffer_push_uninit (b, sizeof (udp_header_t));
 306   uh->src_port = sp;
 307   uh->dst_port = dp;
 308   uh->checksum = 0;
 309   uh->length = clib_host_to_net_u16 (udp_len);
 310   if (offload_csum)
 311     b->flags |= VNET_BUFFER_F_OFFLOAD_UDP_CKSUM;
 312   vnet_buffer (b)->l4_hdr_offset = (u8 *) uh - b->data;
 313   b->flags |= VNET_BUFFER_F_L4_HDR_OFFSET_VALID;
 314   return uh;
 315 }
 316
 317 always_inline void
 318 ip_udp_fixup_one (vlib_main_t * vm, vlib_buffer_t * b0, u8 is_ip4)
 319 {
 320   u16 new_l0;
 321   udp_header_t *udp0;
 322
 323   if (is_ip4)
 324     {
 325       ip4_header_t *ip0;
 326       ip_csum_t sum0;
 327       u16 old_l0 = 0;
 328
 329       ip0 = vlib_buffer_get_current (b0);
 330
 331       /* fix the <bleep>ing outer-IP checksum */
 332       sum0 = ip0->checksum;
 333       /* old_l0 always 0, see the rewrite setup */
 334       new_l0 = clib_host_to_net_u16 (vlib_buffer_length_in_chain (vm, b0));
 335
 336       sum0 = ip_csum_update (sum0, old_l0, new_l0, ip4_header_t,
 337                              length /* changed member */ );
 338       ip0->checksum = ip_csum_fold (sum0);
 339       ip0->length = new_l0;
 340
 341       /* Fix UDP length */
 342       udp0 = (udp_header_t *) (ip0 + 1);
 343       new_l0 = clib_host_to_net_u16 (vlib_buffer_length_in_chain (vm, b0)
 344                                      - sizeof (*ip0));
 345       udp0->length = new_l0;
 346     }
 347   else
 348     {
 349       ip6_header_t *ip0;
 350       int bogus0;
 351
 352       ip0 = vlib_buffer_get_current (b0);
 353
 354       new_l0 = clib_host_to_net_u16 (vlib_buffer_length_in_chain (vm, b0)
 355                                      - sizeof (*ip0));
 356       ip0->payload_length = new_l0;
 357
 358       /* Fix UDP length */
 359       udp0 = (udp_header_t *) (ip0 + 1);
 360       udp0->length = new_l0;
 361
 362       udp0->checksum =
 363         ip6_tcp_udp_icmp_compute_checksum (vm, b0, ip0, &bogus0);
 364       ASSERT (bogus0 == 0);
 365
 366       if (udp0->checksum == 0)
 367         udp0->checksum = 0xffff;
 368     }
 369 }
 370
 371 always_inline void
 372 ip_udp_encap_one (vlib_main_t * vm, vlib_buffer_t * b0, u8 * ec0, word ec_len,
 373                   u8 is_ip4)
 374 {
 375   vlib_buffer_advance (b0, -ec_len);
 376
 377   if (is_ip4)
 378     {
 379       ip4_header_t *ip0;
 380
 381       ip0 = vlib_buffer_get_current (b0);
 382
 383       /* Apply the encap string. */
 384       clib_memcpy_fast (ip0, ec0, ec_len);
 385       ip_udp_fixup_one (vm, b0, 1);
 386     }
 387   else
 388     {
 389       ip6_header_t *ip0;
 390
 391       ip0 = vlib_buffer_get_current (b0);
 392
 393       /* Apply the encap string. */
 394       clib_memcpy_fast (ip0, ec0, ec_len);
 395       ip_udp_fixup_one (vm, b0, 0);
 396     }
 397 }
 398
 399 always_inline void
 400 ip_udp_encap_two (vlib_main_t * vm, vlib_buffer_t * b0, vlib_buffer_t * b1,
 401                   u8 * ec0, u8 * ec1, word ec_len, u8 is_v4)
 402 {
 403   u16 new_l0, new_l1;
 404   udp_header_t *udp0, *udp1;
 405
 406   ASSERT (_vec_len (ec0) == _vec_len (ec1));
 407
 408   vlib_buffer_advance (b0, -ec_len);
 409   vlib_buffer_advance (b1, -ec_len);
 410
 411   if (is_v4)
 412     {
 413       ip4_header_t *ip0, *ip1;
 414       ip_csum_t sum0, sum1;
 415       u16 old_l0 = 0, old_l1 = 0;
 416
 417       ip0 = vlib_buffer_get_current (b0);
 418       ip1 = vlib_buffer_get_current (b1);
 419
 420       /* Apply the encap string */
 421       clib_memcpy_fast (ip0, ec0, ec_len);
 422       clib_memcpy_fast (ip1, ec1, ec_len);
 423
 424       /* fix the <bleep>ing outer-IP checksum */
 425       sum0 = ip0->checksum;
 426       sum1 = ip1->checksum;
 427
 428       /* old_l0 always 0, see the rewrite setup */
 429       new_l0 = clib_host_to_net_u16 (vlib_buffer_length_in_chain (vm, b0));
 430       new_l1 = clib_host_to_net_u16 (vlib_buffer_length_in_chain (vm, b1));
 431
 432       sum0 = ip_csum_update (sum0, old_l0, new_l0, ip4_header_t,
 433                              length /* changed member */ );
 434       sum1 = ip_csum_update (sum1, old_l1, new_l1, ip4_header_t,
 435                              length /* changed member */ );
 436
 437       ip0->checksum = ip_csum_fold (sum0);
 438       ip1->checksum = ip_csum_fold (sum1);
 439
 440       ip0->length = new_l0;
 441       ip1->length = new_l1;
 442
 443       /* Fix UDP length */
 444       udp0 = (udp_header_t *) (ip0 + 1);
 445       udp1 = (udp_header_t *) (ip1 + 1);
 446
 447       new_l0 =
 448         clib_host_to_net_u16 (vlib_buffer_length_in_chain (vm, b0) -
 449                               sizeof (*ip0));
 450       new_l1 =
 451         clib_host_to_net_u16 (vlib_buffer_length_in_chain (vm, b1) -
 452                               sizeof (*ip1));
 453       udp0->length = new_l0;
 454       udp1->length = new_l1;
 455     }
 456   else
 457     {
 458       ip6_header_t *ip0, *ip1;
 459       int bogus0, bogus1;
 460
 461       ip0 = vlib_buffer_get_current (b0);
 462       ip1 = vlib_buffer_get_current (b1);
 463
 464       /* Apply the encap string. */
 465       clib_memcpy_fast (ip0, ec0, ec_len);
 466       clib_memcpy_fast (ip1, ec1, ec_len);
 467
 468       new_l0 = clib_host_to_net_u16 (vlib_buffer_length_in_chain (vm, b0)
 469                                      - sizeof (*ip0));
 470       new_l1 = clib_host_to_net_u16 (vlib_buffer_length_in_chain (vm, b1)
 471                                      - sizeof (*ip1));
 472       ip0->payload_length = new_l0;
 473       ip1->payload_length = new_l1;
 474
 475       /* Fix UDP length */
 476       udp0 = (udp_header_t *) (ip0 + 1);
 477       udp1 = (udp_header_t *) (ip1 + 1);
 478
 479       udp0->length = new_l0;
 480       udp1->length = new_l1;
 481
 482       udp0->checksum =
 483         ip6_tcp_udp_icmp_compute_checksum (vm, b0, ip0, &bogus0);
 484       udp1->checksum =
 485         ip6_tcp_udp_icmp_compute_checksum (vm, b1, ip1, &bogus1);
 486       ASSERT (bogus0 == 0);
 487       ASSERT (bogus1 == 0);
 488
 489       if (udp0->checksum == 0)
 490         udp0->checksum = 0xffff;
 491       if (udp1->checksum == 0)
 492         udp1->checksum = 0xffff;
 493     }
 494 }
 495
 496 /*
 497  * fd.io coding-style-patch-verification: ON
 498  *
 499  * Local Variables:
 500  * eval: (c-set-style "gnu")
 501  * End:
 502  */
 503
 504 #endif /* __included_udp_h__ */