src/vnet/ipsec/ipsec_sa.c

   1 /*
   2  * Copyright (c) 2015 Cisco and/or its affiliates.
   3  * Licensed under the Apache License, Version 2.0 (the "License");
   4  * you may not use this file except in compliance with the License.
   5  * You may obtain a copy of the License at:
   6  *
   7  *     http://www.apache.org/licenses/LICENSE-2.0
   8  *
   9  * Unless required by applicable law or agreed to in writing, software
  10  * distributed under the License is distributed on an "AS IS" BASIS,
  11  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  12  * See the License for the specific language governing permissions and
  13  * limitations under the License.
  14  */
  15
  16 #include <vnet/ipsec/ipsec.h>
  17 #include <vnet/ipsec/esp.h>
  18 #include <vnet/udp/udp_local.h>
  19 #include <vnet/fib/fib_table.h>
  20 #include <vnet/fib/fib_entry_track.h>
  21 #include <vnet/ipsec/ipsec_tun.h>
  22
  23 /**
  24  * @brief
  25  * SA packet & bytes counters
  26  */
  27 vlib_combined_counter_main_t ipsec_sa_counters = {
  28   .name = "SA",
  29   .stat_segment_name = "/net/ipsec/sa",
  30 };
  31 vlib_simple_counter_main_t ipsec_sa_lost_counters = {
  32   .name = "SA-lost",
  33   .stat_segment_name = "/net/ipsec/sa/lost",
  34 };
  35
  36 ipsec_sa_t *ipsec_sa_pool;
  37
  38 static clib_error_t *
  39 ipsec_call_add_del_callbacks (ipsec_main_t * im, ipsec_sa_t * sa,
  40                               u32 sa_index, int is_add)
  41 {
  42   ipsec_ah_backend_t *ab;
  43   ipsec_esp_backend_t *eb;
  44   switch (sa->protocol)
  45     {
  46     case IPSEC_PROTOCOL_AH:
  47       ab = pool_elt_at_index (im->ah_backends, im->ah_current_backend);
  48       if (ab->add_del_sa_sess_cb)
  49         return ab->add_del_sa_sess_cb (sa_index, is_add);
  50       break;
  51     case IPSEC_PROTOCOL_ESP:
  52       eb = pool_elt_at_index (im->esp_backends, im->esp_current_backend);
  53       if (eb->add_del_sa_sess_cb)
  54         return eb->add_del_sa_sess_cb (sa_index, is_add);
  55       break;
  56     }
  57   return 0;
  58 }
  59
  60 void
  61 ipsec_mk_key (ipsec_key_t * key, const u8 * data, u8 len)
  62 {
  63   memset (key, 0, sizeof (*key));
  64
  65   if (len > sizeof (key->data))
  66     key->len = sizeof (key->data);
  67   else
  68     key->len = len;
  69
  70   memcpy (key->data, data, key->len);
  71 }
  72
  73 /**
  74  * 'stack' (resolve the recursion for) the SA tunnel destination
  75  */
  76 static void
  77 ipsec_sa_stack (ipsec_sa_t * sa)
  78 {
  79   ipsec_main_t *im = &ipsec_main;
  80   dpo_id_t tmp = DPO_INVALID;
  81
  82   tunnel_contribute_forwarding (&sa->tunnel, &tmp);
  83
  84   if (IPSEC_PROTOCOL_AH == sa->protocol)
  85     dpo_stack_from_node ((ipsec_sa_is_set_IS_TUNNEL_V6 (sa) ?
  86                           im->ah6_encrypt_node_index :
  87                           im->ah4_encrypt_node_index), &sa->dpo, &tmp);
  88   else
  89     dpo_stack_from_node ((ipsec_sa_is_set_IS_TUNNEL_V6 (sa) ?
  90                           im->esp6_encrypt_node_index :
  91                           im->esp4_encrypt_node_index), &sa->dpo, &tmp);
  92   dpo_reset (&tmp);
  93 }
  94
  95 void
  96 ipsec_sa_set_crypto_alg (ipsec_sa_t * sa, ipsec_crypto_alg_t crypto_alg)
  97 {
  98   ipsec_main_t *im = &ipsec_main;
  99   sa->crypto_alg = crypto_alg;
 100   sa->crypto_iv_size = im->crypto_algs[crypto_alg].iv_size;
 101   sa->esp_block_align = clib_max (4, im->crypto_algs[crypto_alg].block_align);
 102   sa->sync_op_data.crypto_enc_op_id = im->crypto_algs[crypto_alg].enc_op_id;
 103   sa->sync_op_data.crypto_dec_op_id = im->crypto_algs[crypto_alg].dec_op_id;
 104   sa->crypto_calg = im->crypto_algs[crypto_alg].alg;
 105   ASSERT (sa->crypto_iv_size <= ESP_MAX_IV_SIZE);
 106   ASSERT (sa->esp_block_align <= ESP_MAX_BLOCK_SIZE);
 107   if (IPSEC_CRYPTO_ALG_IS_GCM (crypto_alg) ||
 108       IPSEC_CRYPTO_ALG_CTR_AEAD_OTHERS (crypto_alg))
 109     {
 110       sa->integ_icv_size = im->crypto_algs[crypto_alg].icv_size;
 111       ipsec_sa_set_IS_CTR (sa);
 112       ipsec_sa_set_IS_AEAD (sa);
 113     }
 114   else if (IPSEC_CRYPTO_ALG_IS_CTR (crypto_alg))
 115     {
 116       ipsec_sa_set_IS_CTR (sa);
 117     }
 118 }
 119
 120 void
 121 ipsec_sa_set_integ_alg (ipsec_sa_t * sa, ipsec_integ_alg_t integ_alg)
 122 {
 123   ipsec_main_t *im = &ipsec_main;
 124   sa->integ_alg = integ_alg;
 125   sa->integ_icv_size = im->integ_algs[integ_alg].icv_size;
 126   sa->sync_op_data.integ_op_id = im->integ_algs[integ_alg].op_id;
 127   sa->integ_calg = im->integ_algs[integ_alg].alg;
 128   ASSERT (sa->integ_icv_size <= ESP_MAX_ICV_SIZE);
 129 }
 130
 131 void
 132 ipsec_sa_set_async_op_ids (ipsec_sa_t * sa)
 133 {
 134   /* *INDENT-OFF* */
 135   if (ipsec_sa_is_set_USE_ESN (sa))
 136     {
 137 #define _(n, s, k) \
 138   if( sa->sync_op_data.crypto_enc_op_id == VNET_CRYPTO_OP_##n##_ENC ) \
 139     sa->async_op_data.crypto_async_enc_op_id = \
 140       VNET_CRYPTO_OP_##n##_TAG16_AAD12_ENC; \
 141   if( sa->sync_op_data.crypto_dec_op_id == VNET_CRYPTO_OP_##n##_DEC ) \
 142     sa->async_op_data.crypto_async_dec_op_id = \
 143       VNET_CRYPTO_OP_##n##_TAG16_AAD12_DEC;
 144     foreach_crypto_aead_alg
 145 #undef _
 146     }
 147   else
 148     {
 149 #define _(n, s, k) \
 150   if( sa->sync_op_data.crypto_enc_op_id == VNET_CRYPTO_OP_##n##_ENC ) \
 151     sa->async_op_data.crypto_async_enc_op_id = \
 152       VNET_CRYPTO_OP_##n##_TAG16_AAD8_ENC; \
 153   if( sa->sync_op_data.crypto_dec_op_id == VNET_CRYPTO_OP_##n##_DEC ) \
 154     sa->async_op_data.crypto_async_dec_op_id = \
 155       VNET_CRYPTO_OP_##n##_TAG16_AAD8_DEC;
 156     foreach_crypto_aead_alg
 157 #undef _
 158     }
 159
 160 #define _(c, h, s, k ,d) \
 161   if( sa->sync_op_data.crypto_enc_op_id == VNET_CRYPTO_OP_##c##_ENC && \
 162       sa->sync_op_data.integ_op_id == VNET_CRYPTO_OP_##h##_HMAC) \
 163     sa->async_op_data.crypto_async_enc_op_id = \
 164       VNET_CRYPTO_OP_##c##_##h##_TAG##d##_ENC; \
 165   if( sa->sync_op_data.crypto_dec_op_id == VNET_CRYPTO_OP_##c##_DEC && \
 166       sa->sync_op_data.integ_op_id == VNET_CRYPTO_OP_##h##_HMAC) \
 167     sa->async_op_data.crypto_async_dec_op_id = \
 168       VNET_CRYPTO_OP_##c##_##h##_TAG##d##_DEC;
 169   foreach_crypto_link_async_alg
 170 #undef _
 171   /* *INDENT-ON* */
 172 }
 173
 174 int
 175 ipsec_sa_add_and_lock (u32 id, u32 spi, ipsec_protocol_t proto,
 176                        ipsec_crypto_alg_t crypto_alg, const ipsec_key_t *ck,
 177                        ipsec_integ_alg_t integ_alg, const ipsec_key_t *ik,
 178                        ipsec_sa_flags_t flags, u32 salt, u16 src_port,
 179                        u16 dst_port, const tunnel_t *tun, u32 *sa_out_index)
 180 {
 181   vlib_main_t *vm = vlib_get_main ();
 182   ipsec_main_t *im = &ipsec_main;
 183   clib_error_t *err;
 184   ipsec_sa_t *sa;
 185   u32 sa_index;
 186   uword *p;
 187   int rv;
 188
 189   p = hash_get (im->sa_index_by_sa_id, id);
 190   if (p)
 191     return VNET_API_ERROR_ENTRY_ALREADY_EXISTS;
 192
 193   pool_get_aligned_zero (ipsec_sa_pool, sa, CLIB_CACHE_LINE_BYTES);
 194
 195   fib_node_init (&sa->node, FIB_NODE_TYPE_IPSEC_SA);
 196   fib_node_lock (&sa->node);
 197   sa_index = sa - ipsec_sa_pool;
 198
 199   vlib_validate_combined_counter (&ipsec_sa_counters, sa_index);
 200   vlib_zero_combined_counter (&ipsec_sa_counters, sa_index);
 201   vlib_validate_simple_counter (&ipsec_sa_lost_counters, sa_index);
 202   vlib_zero_simple_counter (&ipsec_sa_lost_counters, sa_index);
 203
 204   tunnel_copy (tun, &sa->tunnel);
 205   sa->id = id;
 206   sa->spi = spi;
 207   sa->stat_index = sa_index;
 208   sa->protocol = proto;
 209   sa->flags = flags;
 210   sa->salt = salt;
 211   sa->thread_index = (vlib_num_workers ()) ? ~0 : 0;
 212   if (integ_alg != IPSEC_INTEG_ALG_NONE)
 213     {
 214       ipsec_sa_set_integ_alg (sa, integ_alg);
 215       clib_memcpy (&sa->integ_key, ik, sizeof (sa->integ_key));
 216     }
 217   ipsec_sa_set_crypto_alg (sa, crypto_alg);
 218   ipsec_sa_set_async_op_ids (sa);
 219
 220   clib_memcpy (&sa->crypto_key, ck, sizeof (sa->crypto_key));
 221
 222   sa->crypto_key_index = vnet_crypto_key_add (vm,
 223                                               im->crypto_algs[crypto_alg].alg,
 224                                               (u8 *) ck->data, ck->len);
 225   if (~0 == sa->crypto_key_index)
 226     {
 227       pool_put (ipsec_sa_pool, sa);
 228       return VNET_API_ERROR_KEY_LENGTH;
 229     }
 230
 231   if (integ_alg != IPSEC_INTEG_ALG_NONE)
 232     {
 233       sa->integ_key_index = vnet_crypto_key_add (vm,
 234                                                  im->
 235                                                  integ_algs[integ_alg].alg,
 236                                                  (u8 *) ik->data, ik->len);
 237       if (~0 == sa->integ_key_index)
 238         {
 239           pool_put (ipsec_sa_pool, sa);
 240           return VNET_API_ERROR_KEY_LENGTH;
 241         }
 242     }
 243
 244   if (sa->async_op_data.crypto_async_enc_op_id &&
 245       !ipsec_sa_is_set_IS_AEAD (sa))
 246     {                           //AES-CBC & HMAC
 247       sa->async_op_data.linked_key_index =
 248         vnet_crypto_key_add_linked (vm, sa->crypto_key_index,
 249                                     sa->integ_key_index);
 250     }
 251
 252   if (im->async_mode)
 253     sa->crypto_op_data = sa->async_op_data.data;
 254   else
 255     {
 256       if (ipsec_sa_is_set_IS_ASYNC (sa))
 257         {
 258           vnet_crypto_request_async_mode (1);
 259           sa->crypto_op_data = sa->async_op_data.data;
 260         }
 261       else
 262         sa->crypto_op_data = sa->sync_op_data.data;
 263     }
 264
 265   err = ipsec_check_support_cb (im, sa);
 266   if (err)
 267     {
 268       clib_warning ("%s", err->what);
 269       pool_put (ipsec_sa_pool, sa);
 270       return VNET_API_ERROR_UNIMPLEMENTED;
 271     }
 272
 273   err = ipsec_call_add_del_callbacks (im, sa, sa_index, 1);
 274   if (err)
 275     {
 276       pool_put (ipsec_sa_pool, sa);
 277       return VNET_API_ERROR_SYSCALL_ERROR_1;
 278     }
 279
 280   if (ipsec_sa_is_set_IS_TUNNEL (sa) &&
 281       AF_IP6 == ip_addr_version (&tun->t_src))
 282     ipsec_sa_set_IS_TUNNEL_V6 (sa);
 283
 284   if (ipsec_sa_is_set_IS_TUNNEL (sa) && !ipsec_sa_is_set_IS_INBOUND (sa))
 285     {
 286       sa->tunnel_flags = sa->tunnel.t_encap_decap_flags;
 287
 288       rv = tunnel_resolve (&sa->tunnel, FIB_NODE_TYPE_IPSEC_SA, sa_index);
 289
 290       if (rv)
 291         {
 292           pool_put (ipsec_sa_pool, sa);
 293           return rv;
 294         }
 295       ipsec_sa_stack (sa);
 296
 297       /* generate header templates */
 298       if (ipsec_sa_is_set_IS_TUNNEL_V6 (sa))
 299         {
 300           tunnel_build_v6_hdr (&sa->tunnel,
 301                                (ipsec_sa_is_set_UDP_ENCAP (sa) ?
 302                                   IP_PROTOCOL_UDP :
 303                                   IP_PROTOCOL_IPSEC_ESP),
 304                                &sa->ip6_hdr);
 305         }
 306       else
 307         {
 308           tunnel_build_v4_hdr (&sa->tunnel,
 309                                (ipsec_sa_is_set_UDP_ENCAP (sa) ?
 310                                   IP_PROTOCOL_UDP :
 311                                   IP_PROTOCOL_IPSEC_ESP),
 312                                &sa->ip4_hdr);
 313         }
 314     }
 315
 316   if (ipsec_sa_is_set_UDP_ENCAP (sa))
 317     {
 318       if (dst_port == IPSEC_UDP_PORT_NONE)
 319         sa->udp_hdr.dst_port = clib_host_to_net_u16 (UDP_DST_PORT_ipsec);
 320       else
 321         sa->udp_hdr.dst_port = clib_host_to_net_u16 (dst_port);
 322
 323       if (src_port == IPSEC_UDP_PORT_NONE)
 324         sa->udp_hdr.src_port = clib_host_to_net_u16 (UDP_DST_PORT_ipsec);
 325       else
 326         sa->udp_hdr.src_port = clib_host_to_net_u16 (src_port);
 327
 328       if (ipsec_sa_is_set_IS_INBOUND (sa))
 329         ipsec_register_udp_port (clib_host_to_net_u16 (sa->udp_hdr.dst_port),
 330                                  !ipsec_sa_is_set_IS_TUNNEL_V6 (sa));
 331     }
 332
 333   hash_set (im->sa_index_by_sa_id, sa->id, sa_index);
 334
 335   if (sa_out_index)
 336     *sa_out_index = sa_index;
 337
 338   return (0);
 339 }
 340
 341 static void
 342 ipsec_sa_del (ipsec_sa_t * sa)
 343 {
 344   vlib_main_t *vm = vlib_get_main ();
 345   ipsec_main_t *im = &ipsec_main;
 346   u32 sa_index;
 347
 348   sa_index = sa - ipsec_sa_pool;
 349   hash_unset (im->sa_index_by_sa_id, sa->id);
 350   tunnel_unresolve (&sa->tunnel);
 351
 352   /* no recovery possible when deleting an SA */
 353   (void) ipsec_call_add_del_callbacks (im, sa, sa_index, 0);
 354
 355   if (ipsec_sa_is_set_IS_ASYNC (sa))
 356     vnet_crypto_request_async_mode (0);
 357   if (ipsec_sa_is_set_UDP_ENCAP (sa) && ipsec_sa_is_set_IS_INBOUND (sa))
 358     ipsec_unregister_udp_port (clib_net_to_host_u16 (sa->udp_hdr.dst_port),
 359                                !ipsec_sa_is_set_IS_TUNNEL_V6 (sa));
 360
 361   if (ipsec_sa_is_set_IS_TUNNEL (sa) && !ipsec_sa_is_set_IS_INBOUND (sa))
 362     dpo_reset (&sa->dpo);
 363   vnet_crypto_key_del (vm, sa->crypto_key_index);
 364   if (sa->integ_alg != IPSEC_INTEG_ALG_NONE)
 365     vnet_crypto_key_del (vm, sa->integ_key_index);
 366   pool_put (ipsec_sa_pool, sa);
 367 }
 368
 369 void
 370 ipsec_sa_unlock (index_t sai)
 371 {
 372   ipsec_sa_t *sa;
 373
 374   if (INDEX_INVALID == sai)
 375     return;
 376
 377   sa = ipsec_sa_get (sai);
 378
 379   fib_node_unlock (&sa->node);
 380 }
 381
 382 void
 383 ipsec_sa_lock (index_t sai)
 384 {
 385   ipsec_sa_t *sa;
 386
 387   if (INDEX_INVALID == sai)
 388     return;
 389
 390   sa = ipsec_sa_get (sai);
 391
 392   fib_node_lock (&sa->node);
 393 }
 394
 395 index_t
 396 ipsec_sa_find_and_lock (u32 id)
 397 {
 398   ipsec_main_t *im = &ipsec_main;
 399   ipsec_sa_t *sa;
 400   uword *p;
 401
 402   p = hash_get (im->sa_index_by_sa_id, id);
 403
 404   if (!p)
 405     return INDEX_INVALID;
 406
 407   sa = ipsec_sa_get (p[0]);
 408
 409   fib_node_lock (&sa->node);
 410
 411   return (p[0]);
 412 }
 413
 414 int
 415 ipsec_sa_unlock_id (u32 id)
 416 {
 417   ipsec_main_t *im = &ipsec_main;
 418   uword *p;
 419
 420   p = hash_get (im->sa_index_by_sa_id, id);
 421
 422   if (!p)
 423     return VNET_API_ERROR_NO_SUCH_ENTRY;
 424
 425   ipsec_sa_unlock (p[0]);
 426
 427   return (0);
 428 }
 429
 430 void
 431 ipsec_sa_clear (index_t sai)
 432 {
 433   vlib_zero_combined_counter (&ipsec_sa_counters, sai);
 434   vlib_zero_simple_counter (&ipsec_sa_lost_counters, sai);
 435 }
 436
 437 void
 438 ipsec_sa_walk (ipsec_sa_walk_cb_t cb, void *ctx)
 439 {
 440   ipsec_sa_t *sa;
 441
 442   /* *INDENT-OFF* */
 443   pool_foreach (sa, ipsec_sa_pool)
 444     {
 445       if (WALK_CONTINUE != cb (sa, ctx))
 446         break;
 447     }
 448   /* *INDENT-ON* */
 449 }
 450
 451 /**
 452  * Function definition to get a FIB node from its index
 453  */
 454 static fib_node_t *
 455 ipsec_sa_fib_node_get (fib_node_index_t index)
 456 {
 457   ipsec_sa_t *sa;
 458
 459   sa = ipsec_sa_get (index);
 460
 461   return (&sa->node);
 462 }
 463
 464 static ipsec_sa_t *
 465 ipsec_sa_from_fib_node (fib_node_t * node)
 466 {
 467   ASSERT (FIB_NODE_TYPE_IPSEC_SA == node->fn_type);
 468   return ((ipsec_sa_t *) (((char *) node) -
 469                           STRUCT_OFFSET_OF (ipsec_sa_t, node)));
 470
 471 }
 472
 473 /**
 474  * Function definition to inform the FIB node that its last lock has gone.
 475  */
 476 static void
 477 ipsec_sa_last_lock_gone (fib_node_t * node)
 478 {
 479   /*
 480    * The ipsec SA is a root of the graph. As such
 481    * it never has children and thus is never locked.
 482    */
 483   ipsec_sa_del (ipsec_sa_from_fib_node (node));
 484 }
 485
 486 /**
 487  * Function definition to backwalk a FIB node
 488  */
 489 static fib_node_back_walk_rc_t
 490 ipsec_sa_back_walk (fib_node_t * node, fib_node_back_walk_ctx_t * ctx)
 491 {
 492   ipsec_sa_stack (ipsec_sa_from_fib_node (node));
 493
 494   return (FIB_NODE_BACK_WALK_CONTINUE);
 495 }
 496
 497 /*
 498  * Virtual function table registered by SAs
 499  * for participation in the FIB object graph.
 500  */
 501 const static fib_node_vft_t ipsec_sa_vft = {
 502   .fnv_get = ipsec_sa_fib_node_get,
 503   .fnv_last_lock = ipsec_sa_last_lock_gone,
 504   .fnv_back_walk = ipsec_sa_back_walk,
 505 };
 506
 507 /* force inclusion from application's main.c */
 508 clib_error_t *
 509 ipsec_sa_interface_init (vlib_main_t * vm)
 510 {
 511   fib_node_register_type (FIB_NODE_TYPE_IPSEC_SA, &ipsec_sa_vft);
 512
 513   return 0;
 514 }
 515
 516 VLIB_INIT_FUNCTION (ipsec_sa_interface_init);
 517
 518 /*
 519  * fd.io coding-style-patch-verification: ON
 520  *
 521  * Local Variables:
 522  * eval: (c-set-style "gnu")
 523  * End:
 524  */