src/vnet/udp/udp.h

   1 /*
   2  * Copyright (c) 2017 Cisco and/or its affiliates.
   3  * Licensed under the Apache License, Version 2.0 (the "License");
   4  * you may not use this file except in compliance with the License.
   5  * You may obtain a copy of the License at:
   6  *
   7  *     http://www.apache.org/licenses/LICENSE-2.0
   8  *
   9  * Unless required by applicable law or agreed to in writing, software
  10  * distributed under the License is distributed on an "AS IS" BASIS,
  11  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  12  * See the License for the specific language governing permissions and
  13  * limitations under the License.
  14  */
  15 #ifndef __included_udp_h__
  16 #define __included_udp_h__
  17
  18 #include <vnet/vnet.h>
  19 #include <vnet/udp/udp_packet.h>
  20 #include <vnet/ip/ip.h>
  21 #include <vnet/ip/ip4.h>
  22 #include <vnet/ip/ip4_packet.h>
  23 #include <vnet/pg/pg.h>
  24 #include <vnet/ip/format.h>
  25
  26 #include <vnet/ip/ip.h>
  27 #include <vnet/session/transport.h>
  28
  29 typedef enum
  30 {
  31 #define udp_error(n,s) UDP_ERROR_##n,
  32 #include <vnet/udp/udp_error.def>
  33 #undef udp_error
  34   UDP_N_ERROR,
  35 } udp_error_t;
  36
  37 typedef struct
  38 {
  39   /** Required for pool_get_aligned */
  40   CLIB_CACHE_LINE_ALIGN_MARK (cacheline0);
  41   transport_connection_t connection;    /**< must be first */
  42   clib_spinlock_t rx_lock;              /**< rx fifo lock */
  43   u8 is_connected;                      /**< connected mode */
  44 } udp_connection_t;
  45
  46 #define foreach_udp4_dst_port                   \
  47 _ (53, dns)                                     \
  48 _ (67, dhcp_to_server)                          \
  49 _ (68, dhcp_to_client)                          \
  50 _ (500, ikev2)                                  \
  51 _ (2152, GTPU)                                  \
  52 _ (3784, bfd4)                                  \
  53 _ (3785, bfd_echo4)                             \
  54 _ (4341, lisp_gpe)                              \
  55 _ (4342, lisp_cp)                               \
  56 _ (4500, ipsec)                                 \
  57 _ (4739, ipfix)                                 \
  58 _ (4789, vxlan)                                 \
  59 _ (4789, vxlan6)                                \
  60 _ (48879, vxlan_gbp)                            \
  61 _ (4790, VXLAN_GPE)                             \
  62 _ (6633, vpath_3)                               \
  63 _ (6081, geneve)                                \
  64 _ (53053, dns_reply)
  65
  66
  67 #define foreach_udp6_dst_port                   \
  68 _ (53, dns6)                                    \
  69 _ (547, dhcpv6_to_server)                       \
  70 _ (546, dhcpv6_to_client)                       \
  71 _ (2152, GTPU6)                                 \
  72 _ (3784, bfd6)                                  \
  73 _ (3785, bfd_echo6)                             \
  74 _ (4341, lisp_gpe6)                             \
  75 _ (4342, lisp_cp6)                              \
  76 _ (48879, vxlan6_gbp)                           \
  77 _ (4790, VXLAN6_GPE)                            \
  78 _ (6633, vpath6_3)                              \
  79 _ (6081, geneve6)                               \
  80 _ (8138, BIER)                                  \
  81 _ (53053, dns_reply6)
  82
  83 typedef enum
  84 {
  85 #define _(n,f) UDP_DST_PORT_##f = n,
  86   foreach_udp4_dst_port foreach_udp6_dst_port
  87 #undef _
  88 } udp_dst_port_t;
  89
  90 typedef enum
  91 {
  92 #define _(n,f) UDP6_DST_PORT_##f = n,
  93   foreach_udp6_dst_port
  94 #undef _
  95 } udp6_dst_port_t;
  96
  97 typedef struct
  98 {
  99   /* Name (a c string). */
 100   char *name;
 101
 102   /* GRE protocol type in host byte order. */
 103   udp_dst_port_t dst_port;
 104
 105   /* Node which handles this type. */
 106   u32 node_index;
 107
 108   /* Next index for this type. */
 109   u32 next_index;
 110
 111   /* Parser for packet generator edits for this protocol */
 112   unformat_function_t *unformat_pg_edit;
 113 } udp_dst_port_info_t;
 114
 115 typedef enum
 116 {
 117   UDP_IP6 = 0,
 118   UDP_IP4,                      /* the code is full of is_ip4... */
 119   N_UDP_AF,
 120 } udp_af_t;
 121
 122 typedef struct
 123 {
 124   udp_dst_port_info_t *dst_port_infos[N_UDP_AF];
 125
 126   /* Hash tables mapping name/protocol to protocol info index. */
 127   uword *dst_port_info_by_name[N_UDP_AF];
 128   uword *dst_port_info_by_dst_port[N_UDP_AF];
 129
 130   /* Sparse vector mapping udp dst_port in network byte order
 131      to next index. */
 132   u16 *next_by_dst_port4;
 133   u16 *next_by_dst_port6;
 134   u8 punt_unknown4;
 135   u8 punt_unknown6;
 136
 137   /*
 138    * Per-worker thread udp connection pools used with session layer
 139    */
 140   udp_connection_t **connections;
 141   u32 *connection_peekers;
 142   clib_spinlock_t *peekers_readers_locks;
 143   clib_spinlock_t *peekers_write_locks;
 144   udp_connection_t *listener_pool;
 145
 146 } udp_main_t;
 147
 148 extern udp_main_t udp_main;
 149 extern vlib_node_registration_t udp4_input_node;
 150 extern vlib_node_registration_t udp6_input_node;
 151
 152 always_inline udp_connection_t *
 153 udp_connection_get (u32 conn_index, u32 thread_index)
 154 {
 155   if (pool_is_free_index (udp_main.connections[thread_index], conn_index))
 156     return 0;
 157   return pool_elt_at_index (udp_main.connections[thread_index], conn_index);
 158 }
 159
 160 always_inline udp_connection_t *
 161 udp_listener_get (u32 conn_index)
 162 {
 163   return pool_elt_at_index (udp_main.listener_pool, conn_index);
 164 }
 165
 166 always_inline udp_main_t *
 167 vnet_get_udp_main ()
 168 {
 169   return &udp_main;
 170 }
 171
 172 always_inline udp_connection_t *
 173 udp_get_connection_from_transport (transport_connection_t * tc)
 174 {
 175   return ((udp_connection_t *) tc);
 176 }
 177
 178 always_inline u32
 179 udp_connection_index (udp_connection_t * uc)
 180 {
 181   return (uc - udp_main.connections[uc->c_thread_index]);
 182 }
 183
 184 udp_connection_t *udp_connection_alloc (u32 thread_index);
 185
 186 /**
 187  * Acquires a lock that blocks a connection pool from expanding.
 188  */
 189 always_inline void
 190 udp_pool_add_peeker (u32 thread_index)
 191 {
 192   if (thread_index != vlib_get_thread_index ())
 193     return;
 194   clib_spinlock_lock_if_init (&udp_main.peekers_readers_locks[thread_index]);
 195   udp_main.connection_peekers[thread_index] += 1;
 196   if (udp_main.connection_peekers[thread_index] == 1)
 197     clib_spinlock_lock_if_init (&udp_main.peekers_write_locks[thread_index]);
 198   clib_spinlock_unlock_if_init (&udp_main.peekers_readers_locks
 199                                 [thread_index]);
 200 }
 201
 202 always_inline void
 203 udp_pool_remove_peeker (u32 thread_index)
 204 {
 205   if (thread_index != vlib_get_thread_index ())
 206     return;
 207   ASSERT (udp_main.connection_peekers[thread_index] > 0);
 208   clib_spinlock_lock_if_init (&udp_main.peekers_readers_locks[thread_index]);
 209   udp_main.connection_peekers[thread_index] -= 1;
 210   if (udp_main.connection_peekers[thread_index] == 0)
 211     clib_spinlock_unlock_if_init (&udp_main.peekers_write_locks
 212                                   [thread_index]);
 213   clib_spinlock_unlock_if_init (&udp_main.peekers_readers_locks
 214                                 [thread_index]);
 215 }
 216
 217 always_inline udp_connection_t *
 218 udp_connection_clone_safe (u32 connection_index, u32 thread_index)
 219 {
 220   udp_connection_t *old_c, *new_c;
 221   u32 current_thread_index = vlib_get_thread_index ();
 222   new_c = udp_connection_alloc (current_thread_index);
 223
 224   /* If during the memcpy pool is reallocated AND the memory allocator
 225    * decides to give the old chunk of memory to somebody in a hurry to
 226    * scribble something on it, we have a problem. So add this thread as
 227    * a session pool peeker.
 228    */
 229   udp_pool_add_peeker (thread_index);
 230   old_c = udp_main.connections[thread_index] + connection_index;
 231   clib_memcpy_fast (new_c, old_c, sizeof (*new_c));
 232   udp_pool_remove_peeker (thread_index);
 233   new_c->c_thread_index = current_thread_index;
 234   new_c->c_c_index = udp_connection_index (new_c);
 235   return new_c;
 236 }
 237
 238
 239 always_inline udp_dst_port_info_t *
 240 udp_get_dst_port_info (udp_main_t * um, udp_dst_port_t dst_port, u8 is_ip4)
 241 {
 242   uword *p = hash_get (um->dst_port_info_by_dst_port[is_ip4], dst_port);
 243   return p ? vec_elt_at_index (um->dst_port_infos[is_ip4], p[0]) : 0;
 244 }
 245
 246 format_function_t format_udp_header;
 247 format_function_t format_udp_rx_trace;
 248 unformat_function_t unformat_udp_header;
 249
 250 void udp_register_dst_port (vlib_main_t * vm,
 251                             udp_dst_port_t dst_port,
 252                             u32 node_index, u8 is_ip4);
 253 void udp_unregister_dst_port (vlib_main_t * vm,
 254                               udp_dst_port_t dst_port, u8 is_ip4);
 255 bool udp_is_valid_dst_port (udp_dst_port_t dst_port, u8 is_ip4);
 256
 257 void udp_punt_unknown (vlib_main_t * vm, u8 is_ip4, u8 is_add);
 258
 259 always_inline void *
 260 vlib_buffer_push_udp (vlib_buffer_t * b, u16 sp, u16 dp, u8 offload_csum)
 261 {
 262   udp_header_t *uh;
 263   u16 udp_len = sizeof (udp_header_t) + b->current_length;
 264   if (PREDICT_FALSE (b->flags & VLIB_BUFFER_TOTAL_LENGTH_VALID))
 265     udp_len += b->total_length_not_including_first_buffer;
 266
 267   uh = vlib_buffer_push_uninit (b, sizeof (udp_header_t));
 268   uh->src_port = sp;
 269   uh->dst_port = dp;
 270   uh->checksum = 0;
 271   uh->length = clib_host_to_net_u16 (udp_len);
 272   if (offload_csum)
 273     {
 274       b->flags |= VNET_BUFFER_F_OFFLOAD_UDP_CKSUM;
 275       vnet_buffer (b)->l4_hdr_offset = (u8 *) uh - b->data;
 276     }
 277   return uh;
 278 }
 279
 280 always_inline void
 281 ip_udp_fixup_one (vlib_main_t * vm, vlib_buffer_t * b0, u8 is_ip4)
 282 {
 283   u16 new_l0;
 284   udp_header_t *udp0;
 285
 286   if (is_ip4)
 287     {
 288       ip4_header_t *ip0;
 289       ip_csum_t sum0;
 290       u16 old_l0 = 0;
 291
 292       ip0 = vlib_buffer_get_current (b0);
 293
 294       /* fix the <bleep>ing outer-IP checksum */
 295       sum0 = ip0->checksum;
 296       /* old_l0 always 0, see the rewrite setup */
 297       new_l0 = clib_host_to_net_u16 (vlib_buffer_length_in_chain (vm, b0));
 298
 299       sum0 = ip_csum_update (sum0, old_l0, new_l0, ip4_header_t,
 300                              length /* changed member */ );
 301       ip0->checksum = ip_csum_fold (sum0);
 302       ip0->length = new_l0;
 303
 304       /* Fix UDP length */
 305       udp0 = (udp_header_t *) (ip0 + 1);
 306       new_l0 = clib_host_to_net_u16 (vlib_buffer_length_in_chain (vm, b0)
 307                                      - sizeof (*ip0));
 308       udp0->length = new_l0;
 309     }
 310   else
 311     {
 312       ip6_header_t *ip0;
 313       int bogus0;
 314
 315       ip0 = vlib_buffer_get_current (b0);
 316
 317       new_l0 = clib_host_to_net_u16 (vlib_buffer_length_in_chain (vm, b0)
 318                                      - sizeof (*ip0));
 319       ip0->payload_length = new_l0;
 320
 321       /* Fix UDP length */
 322       udp0 = (udp_header_t *) (ip0 + 1);
 323       udp0->length = new_l0;
 324
 325       udp0->checksum =
 326         ip6_tcp_udp_icmp_compute_checksum (vm, b0, ip0, &bogus0);
 327       ASSERT (bogus0 == 0);
 328
 329       if (udp0->checksum == 0)
 330         udp0->checksum = 0xffff;
 331     }
 332 }
 333
 334 always_inline void
 335 ip_udp_encap_one (vlib_main_t * vm, vlib_buffer_t * b0, u8 * ec0, word ec_len,
 336                   u8 is_ip4)
 337 {
 338   vlib_buffer_advance (b0, -ec_len);
 339
 340   if (is_ip4)
 341     {
 342       ip4_header_t *ip0;
 343
 344       ip0 = vlib_buffer_get_current (b0);
 345
 346       /* Apply the encap string. */
 347       clib_memcpy_fast (ip0, ec0, ec_len);
 348       ip_udp_fixup_one (vm, b0, 1);
 349     }
 350   else
 351     {
 352       ip6_header_t *ip0;
 353
 354       ip0 = vlib_buffer_get_current (b0);
 355
 356       /* Apply the encap string. */
 357       clib_memcpy_fast (ip0, ec0, ec_len);
 358       ip_udp_fixup_one (vm, b0, 0);
 359     }
 360 }
 361
 362 always_inline void
 363 ip_udp_encap_two (vlib_main_t * vm, vlib_buffer_t * b0, vlib_buffer_t * b1,
 364                   u8 * ec0, u8 * ec1, word ec_len, u8 is_v4)
 365 {
 366   u16 new_l0, new_l1;
 367   udp_header_t *udp0, *udp1;
 368
 369   ASSERT (_vec_len (ec0) == _vec_len (ec1));
 370
 371   vlib_buffer_advance (b0, -ec_len);
 372   vlib_buffer_advance (b1, -ec_len);
 373
 374   if (is_v4)
 375     {
 376       ip4_header_t *ip0, *ip1;
 377       ip_csum_t sum0, sum1;
 378       u16 old_l0 = 0, old_l1 = 0;
 379
 380       ip0 = vlib_buffer_get_current (b0);
 381       ip1 = vlib_buffer_get_current (b1);
 382
 383       /* Apply the encap string */
 384       clib_memcpy_fast (ip0, ec0, ec_len);
 385       clib_memcpy_fast (ip1, ec1, ec_len);
 386
 387       /* fix the <bleep>ing outer-IP checksum */
 388       sum0 = ip0->checksum;
 389       sum1 = ip1->checksum;
 390
 391       /* old_l0 always 0, see the rewrite setup */
 392       new_l0 = clib_host_to_net_u16 (vlib_buffer_length_in_chain (vm, b0));
 393       new_l1 = clib_host_to_net_u16 (vlib_buffer_length_in_chain (vm, b1));
 394
 395       sum0 = ip_csum_update (sum0, old_l0, new_l0, ip4_header_t,
 396                              length /* changed member */ );
 397       sum1 = ip_csum_update (sum1, old_l1, new_l1, ip4_header_t,
 398                              length /* changed member */ );
 399
 400       ip0->checksum = ip_csum_fold (sum0);
 401       ip1->checksum = ip_csum_fold (sum1);
 402
 403       ip0->length = new_l0;
 404       ip1->length = new_l1;
 405
 406       /* Fix UDP length */
 407       udp0 = (udp_header_t *) (ip0 + 1);
 408       udp1 = (udp_header_t *) (ip1 + 1);
 409
 410       new_l0 =
 411         clib_host_to_net_u16 (vlib_buffer_length_in_chain (vm, b0) -
 412                               sizeof (*ip0));
 413       new_l1 =
 414         clib_host_to_net_u16 (vlib_buffer_length_in_chain (vm, b1) -
 415                               sizeof (*ip1));
 416       udp0->length = new_l0;
 417       udp1->length = new_l1;
 418     }
 419   else
 420     {
 421       ip6_header_t *ip0, *ip1;
 422       int bogus0, bogus1;
 423
 424       ip0 = vlib_buffer_get_current (b0);
 425       ip1 = vlib_buffer_get_current (b1);
 426
 427       /* Apply the encap string. */
 428       clib_memcpy_fast (ip0, ec0, ec_len);
 429       clib_memcpy_fast (ip1, ec1, ec_len);
 430
 431       new_l0 = clib_host_to_net_u16 (vlib_buffer_length_in_chain (vm, b0)
 432                                      - sizeof (*ip0));
 433       new_l1 = clib_host_to_net_u16 (vlib_buffer_length_in_chain (vm, b1)
 434                                      - sizeof (*ip1));
 435       ip0->payload_length = new_l0;
 436       ip1->payload_length = new_l1;
 437
 438       /* Fix UDP length */
 439       udp0 = (udp_header_t *) (ip0 + 1);
 440       udp1 = (udp_header_t *) (ip1 + 1);
 441
 442       udp0->length = new_l0;
 443       udp1->length = new_l1;
 444
 445       udp0->checksum =
 446         ip6_tcp_udp_icmp_compute_checksum (vm, b0, ip0, &bogus0);
 447       udp1->checksum =
 448         ip6_tcp_udp_icmp_compute_checksum (vm, b1, ip1, &bogus1);
 449       ASSERT (bogus0 == 0);
 450       ASSERT (bogus1 == 0);
 451
 452       if (udp0->checksum == 0)
 453         udp0->checksum = 0xffff;
 454       if (udp1->checksum == 0)
 455         udp1->checksum = 0xffff;
 456     }
 457 }
 458
 459 /*
 460  * fd.io coding-style-patch-verification: ON
 461  *
 462  * Local Variables:
 463  * eval: (c-set-style "gnu")
 464  * End:
 465  */
 466
 467 #endif /* __included_udp_h__ */