src/vnet/ipsec/ipsec_sa.c

   1 /*
   2  * Copyright (c) 2015 Cisco and/or its affiliates.
   3  * Licensed under the Apache License, Version 2.0 (the "License");
   4  * you may not use this file except in compliance with the License.
   5  * You may obtain a copy of the License at:
   6  *
   7  *     http://www.apache.org/licenses/LICENSE-2.0
   8  *
   9  * Unless required by applicable law or agreed to in writing, software
  10  * distributed under the License is distributed on an "AS IS" BASIS,
  11  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  12  * See the License for the specific language governing permissions and
  13  * limitations under the License.
  14  */
  15
  16 #include <vnet/ipsec/ipsec.h>
  17 #include <vnet/ipsec/esp.h>
  18 #include <vnet/udp/udp_local.h>
  19 #include <vnet/fib/fib_table.h>
  20 #include <vnet/fib/fib_entry_track.h>
  21 #include <vnet/ipsec/ipsec_tun.h>
  22
  23 /**
  24  * @brief
  25  * SA packet & bytes counters
  26  */
  27 vlib_combined_counter_main_t ipsec_sa_counters = {
  28   .name = "SA",
  29   .stat_segment_name = "/net/ipsec/sa",
  30 };
  31 vlib_simple_counter_main_t ipsec_sa_lost_counters = {
  32   .name = "SA-lost",
  33   .stat_segment_name = "/net/ipsec/sa/lost",
  34 };
  35
  36 ipsec_sa_t *ipsec_sa_pool;
  37
  38 static clib_error_t *
  39 ipsec_call_add_del_callbacks (ipsec_main_t * im, ipsec_sa_t * sa,
  40                               u32 sa_index, int is_add)
  41 {
  42   ipsec_ah_backend_t *ab;
  43   ipsec_esp_backend_t *eb;
  44   switch (sa->protocol)
  45     {
  46     case IPSEC_PROTOCOL_AH:
  47       ab = pool_elt_at_index (im->ah_backends, im->ah_current_backend);
  48       if (ab->add_del_sa_sess_cb)
  49         return ab->add_del_sa_sess_cb (sa_index, is_add);
  50       break;
  51     case IPSEC_PROTOCOL_ESP:
  52       eb = pool_elt_at_index (im->esp_backends, im->esp_current_backend);
  53       if (eb->add_del_sa_sess_cb)
  54         return eb->add_del_sa_sess_cb (sa_index, is_add);
  55       break;
  56     }
  57   return 0;
  58 }
  59
  60 void
  61 ipsec_mk_key (ipsec_key_t * key, const u8 * data, u8 len)
  62 {
  63   memset (key, 0, sizeof (*key));
  64
  65   if (len > sizeof (key->data))
  66     key->len = sizeof (key->data);
  67   else
  68     key->len = len;
  69
  70   memcpy (key->data, data, key->len);
  71 }
  72
  73 /**
  74  * 'stack' (resolve the recursion for) the SA tunnel destination
  75  */
  76 static void
  77 ipsec_sa_stack (ipsec_sa_t * sa)
  78 {
  79   ipsec_main_t *im = &ipsec_main;
  80   dpo_id_t tmp = DPO_INVALID;
  81
  82   tunnel_contribute_forwarding (&sa->tunnel, &tmp);
  83
  84   if (IPSEC_PROTOCOL_AH == sa->protocol)
  85     dpo_stack_from_node ((ipsec_sa_is_set_IS_TUNNEL_V6 (sa) ?
  86                           im->ah6_encrypt_node_index :
  87                           im->ah4_encrypt_node_index), &sa->dpo, &tmp);
  88   else
  89     dpo_stack_from_node ((ipsec_sa_is_set_IS_TUNNEL_V6 (sa) ?
  90                           im->esp6_encrypt_node_index :
  91                           im->esp4_encrypt_node_index), &sa->dpo, &tmp);
  92   dpo_reset (&tmp);
  93 }
  94
  95 void
  96 ipsec_sa_set_crypto_alg (ipsec_sa_t * sa, ipsec_crypto_alg_t crypto_alg)
  97 {
  98   ipsec_main_t *im = &ipsec_main;
  99   sa->crypto_alg = crypto_alg;
 100   sa->crypto_iv_size = im->crypto_algs[crypto_alg].iv_size;
 101   sa->esp_block_align = clib_max (4, im->crypto_algs[crypto_alg].block_align);
 102   sa->sync_op_data.crypto_enc_op_id = im->crypto_algs[crypto_alg].enc_op_id;
 103   sa->sync_op_data.crypto_dec_op_id = im->crypto_algs[crypto_alg].dec_op_id;
 104   sa->crypto_calg = im->crypto_algs[crypto_alg].alg;
 105   ASSERT (sa->crypto_iv_size <= ESP_MAX_IV_SIZE);
 106   ASSERT (sa->esp_block_align <= ESP_MAX_BLOCK_SIZE);
 107   if (IPSEC_CRYPTO_ALG_IS_GCM (crypto_alg))
 108     {
 109       sa->integ_icv_size = im->crypto_algs[crypto_alg].icv_size;
 110       ipsec_sa_set_IS_CTR (sa);
 111       ipsec_sa_set_IS_AEAD (sa);
 112     }
 113   else if (IPSEC_CRYPTO_ALG_IS_CTR (crypto_alg))
 114     {
 115       ipsec_sa_set_IS_CTR (sa);
 116     }
 117 }
 118
 119 void
 120 ipsec_sa_set_integ_alg (ipsec_sa_t * sa, ipsec_integ_alg_t integ_alg)
 121 {
 122   ipsec_main_t *im = &ipsec_main;
 123   sa->integ_alg = integ_alg;
 124   sa->integ_icv_size = im->integ_algs[integ_alg].icv_size;
 125   sa->sync_op_data.integ_op_id = im->integ_algs[integ_alg].op_id;
 126   sa->integ_calg = im->integ_algs[integ_alg].alg;
 127   ASSERT (sa->integ_icv_size <= ESP_MAX_ICV_SIZE);
 128 }
 129
 130 void
 131 ipsec_sa_set_async_op_ids (ipsec_sa_t * sa)
 132 {
 133   /* *INDENT-OFF* */
 134   if (ipsec_sa_is_set_USE_ESN (sa))
 135     {
 136 #define _(n, s, k) \
 137   if( sa->sync_op_data.crypto_enc_op_id == VNET_CRYPTO_OP_##n##_ENC ) \
 138     sa->async_op_data.crypto_async_enc_op_id = \
 139       VNET_CRYPTO_OP_##n##_TAG16_AAD12_ENC; \
 140   if( sa->sync_op_data.crypto_dec_op_id == VNET_CRYPTO_OP_##n##_DEC ) \
 141     sa->async_op_data.crypto_async_dec_op_id = \
 142       VNET_CRYPTO_OP_##n##_TAG16_AAD12_DEC;
 143     foreach_crypto_aead_alg
 144 #undef _
 145     }
 146   else
 147     {
 148 #define _(n, s, k) \
 149   if( sa->sync_op_data.crypto_enc_op_id == VNET_CRYPTO_OP_##n##_ENC ) \
 150     sa->async_op_data.crypto_async_enc_op_id = \
 151       VNET_CRYPTO_OP_##n##_TAG16_AAD8_ENC; \
 152   if( sa->sync_op_data.crypto_dec_op_id == VNET_CRYPTO_OP_##n##_DEC ) \
 153     sa->async_op_data.crypto_async_dec_op_id = \
 154       VNET_CRYPTO_OP_##n##_TAG16_AAD8_DEC;
 155     foreach_crypto_aead_alg
 156 #undef _
 157     }
 158
 159 #define _(c, h, s, k ,d) \
 160   if( sa->sync_op_data.crypto_enc_op_id == VNET_CRYPTO_OP_##c##_ENC && \
 161       sa->sync_op_data.integ_op_id == VNET_CRYPTO_OP_##h##_HMAC) \
 162     sa->async_op_data.crypto_async_enc_op_id = \
 163       VNET_CRYPTO_OP_##c##_##h##_TAG##d##_ENC; \
 164   if( sa->sync_op_data.crypto_dec_op_id == VNET_CRYPTO_OP_##c##_DEC && \
 165       sa->sync_op_data.integ_op_id == VNET_CRYPTO_OP_##h##_HMAC) \
 166     sa->async_op_data.crypto_async_dec_op_id = \
 167       VNET_CRYPTO_OP_##c##_##h##_TAG##d##_DEC;
 168   foreach_crypto_link_async_alg
 169 #undef _
 170   /* *INDENT-ON* */
 171 }
 172
 173 int
 174 ipsec_sa_add_and_lock (u32 id, u32 spi, ipsec_protocol_t proto,
 175                        ipsec_crypto_alg_t crypto_alg, const ipsec_key_t *ck,
 176                        ipsec_integ_alg_t integ_alg, const ipsec_key_t *ik,
 177                        ipsec_sa_flags_t flags, u32 salt, u16 src_port,
 178                        u16 dst_port, const tunnel_t *tun, u32 *sa_out_index)
 179 {
 180   vlib_main_t *vm = vlib_get_main ();
 181   ipsec_main_t *im = &ipsec_main;
 182   clib_error_t *err;
 183   ipsec_sa_t *sa;
 184   u32 sa_index;
 185   uword *p;
 186   int rv;
 187
 188   p = hash_get (im->sa_index_by_sa_id, id);
 189   if (p)
 190     return VNET_API_ERROR_ENTRY_ALREADY_EXISTS;
 191
 192   pool_get_aligned_zero (ipsec_sa_pool, sa, CLIB_CACHE_LINE_BYTES);
 193
 194   fib_node_init (&sa->node, FIB_NODE_TYPE_IPSEC_SA);
 195   fib_node_lock (&sa->node);
 196   sa_index = sa - ipsec_sa_pool;
 197
 198   vlib_validate_combined_counter (&ipsec_sa_counters, sa_index);
 199   vlib_zero_combined_counter (&ipsec_sa_counters, sa_index);
 200   vlib_validate_simple_counter (&ipsec_sa_lost_counters, sa_index);
 201   vlib_zero_simple_counter (&ipsec_sa_lost_counters, sa_index);
 202
 203   tunnel_copy (tun, &sa->tunnel);
 204   sa->id = id;
 205   sa->spi = spi;
 206   sa->stat_index = sa_index;
 207   sa->protocol = proto;
 208   sa->flags = flags;
 209   sa->salt = salt;
 210   sa->thread_index = (vlib_num_workers ()) ? ~0 : 0;
 211   if (integ_alg != IPSEC_INTEG_ALG_NONE)
 212     {
 213       ipsec_sa_set_integ_alg (sa, integ_alg);
 214       clib_memcpy (&sa->integ_key, ik, sizeof (sa->integ_key));
 215     }
 216   ipsec_sa_set_crypto_alg (sa, crypto_alg);
 217   ipsec_sa_set_async_op_ids (sa);
 218
 219   clib_memcpy (&sa->crypto_key, ck, sizeof (sa->crypto_key));
 220
 221   sa->crypto_key_index = vnet_crypto_key_add (vm,
 222                                               im->crypto_algs[crypto_alg].alg,
 223                                               (u8 *) ck->data, ck->len);
 224   if (~0 == sa->crypto_key_index)
 225     {
 226       pool_put (ipsec_sa_pool, sa);
 227       return VNET_API_ERROR_KEY_LENGTH;
 228     }
 229
 230   if (integ_alg != IPSEC_INTEG_ALG_NONE)
 231     {
 232       sa->integ_key_index = vnet_crypto_key_add (vm,
 233                                                  im->
 234                                                  integ_algs[integ_alg].alg,
 235                                                  (u8 *) ik->data, ik->len);
 236       if (~0 == sa->integ_key_index)
 237         {
 238           pool_put (ipsec_sa_pool, sa);
 239           return VNET_API_ERROR_KEY_LENGTH;
 240         }
 241     }
 242
 243   if (sa->async_op_data.crypto_async_enc_op_id &&
 244       !ipsec_sa_is_set_IS_AEAD (sa))
 245     {                           //AES-CBC & HMAC
 246       sa->async_op_data.linked_key_index =
 247         vnet_crypto_key_add_linked (vm, sa->crypto_key_index,
 248                                     sa->integ_key_index);
 249     }
 250
 251   if (im->async_mode)
 252     sa->crypto_op_data = sa->async_op_data.data;
 253   else
 254     {
 255       if (ipsec_sa_is_set_IS_ASYNC (sa))
 256         {
 257           vnet_crypto_request_async_mode (1);
 258           sa->crypto_op_data = sa->async_op_data.data;
 259         }
 260       else
 261         sa->crypto_op_data = sa->sync_op_data.data;
 262     }
 263
 264   err = ipsec_check_support_cb (im, sa);
 265   if (err)
 266     {
 267       clib_warning ("%s", err->what);
 268       pool_put (ipsec_sa_pool, sa);
 269       return VNET_API_ERROR_UNIMPLEMENTED;
 270     }
 271
 272   err = ipsec_call_add_del_callbacks (im, sa, sa_index, 1);
 273   if (err)
 274     {
 275       pool_put (ipsec_sa_pool, sa);
 276       return VNET_API_ERROR_SYSCALL_ERROR_1;
 277     }
 278
 279   if (ipsec_sa_is_set_IS_TUNNEL (sa) &&
 280       AF_IP6 == ip_addr_version (&tun->t_src))
 281     ipsec_sa_set_IS_TUNNEL_V6 (sa);
 282
 283   if (ipsec_sa_is_set_IS_TUNNEL (sa) && !ipsec_sa_is_set_IS_INBOUND (sa))
 284     {
 285       sa->tunnel_flags = sa->tunnel.t_encap_decap_flags;
 286
 287       rv = tunnel_resolve (&sa->tunnel, FIB_NODE_TYPE_IPSEC_SA, sa_index);
 288
 289       if (rv)
 290         {
 291           pool_put (ipsec_sa_pool, sa);
 292           return rv;
 293         }
 294       ipsec_sa_stack (sa);
 295
 296       /* generate header templates */
 297       if (ipsec_sa_is_set_IS_TUNNEL_V6 (sa))
 298         {
 299           tunnel_build_v6_hdr (&sa->tunnel,
 300                                (ipsec_sa_is_set_UDP_ENCAP (sa) ?
 301                                   IP_PROTOCOL_UDP :
 302                                   IP_PROTOCOL_IPSEC_ESP),
 303                                &sa->ip6_hdr);
 304         }
 305       else
 306         {
 307           tunnel_build_v4_hdr (&sa->tunnel,
 308                                (ipsec_sa_is_set_UDP_ENCAP (sa) ?
 309                                   IP_PROTOCOL_UDP :
 310                                   IP_PROTOCOL_IPSEC_ESP),
 311                                &sa->ip4_hdr);
 312         }
 313     }
 314
 315   if (ipsec_sa_is_set_UDP_ENCAP (sa))
 316     {
 317       if (dst_port == IPSEC_UDP_PORT_NONE)
 318         sa->udp_hdr.dst_port = clib_host_to_net_u16 (UDP_DST_PORT_ipsec);
 319       else
 320         sa->udp_hdr.dst_port = clib_host_to_net_u16 (dst_port);
 321
 322       if (src_port == IPSEC_UDP_PORT_NONE)
 323         sa->udp_hdr.src_port = clib_host_to_net_u16 (UDP_DST_PORT_ipsec);
 324       else
 325         sa->udp_hdr.src_port = clib_host_to_net_u16 (src_port);
 326
 327       if (ipsec_sa_is_set_IS_INBOUND (sa))
 328         ipsec_register_udp_port (clib_host_to_net_u16 (sa->udp_hdr.dst_port),
 329                                  !ipsec_sa_is_set_IS_TUNNEL_V6 (sa));
 330     }
 331
 332   hash_set (im->sa_index_by_sa_id, sa->id, sa_index);
 333
 334   if (sa_out_index)
 335     *sa_out_index = sa_index;
 336
 337   return (0);
 338 }
 339
 340 static void
 341 ipsec_sa_del (ipsec_sa_t * sa)
 342 {
 343   vlib_main_t *vm = vlib_get_main ();
 344   ipsec_main_t *im = &ipsec_main;
 345   u32 sa_index;
 346
 347   sa_index = sa - ipsec_sa_pool;
 348   hash_unset (im->sa_index_by_sa_id, sa->id);
 349   tunnel_unresolve (&sa->tunnel);
 350
 351   /* no recovery possible when deleting an SA */
 352   (void) ipsec_call_add_del_callbacks (im, sa, sa_index, 0);
 353
 354   if (ipsec_sa_is_set_IS_ASYNC (sa))
 355     vnet_crypto_request_async_mode (0);
 356   if (ipsec_sa_is_set_UDP_ENCAP (sa) && ipsec_sa_is_set_IS_INBOUND (sa))
 357     ipsec_unregister_udp_port (clib_net_to_host_u16 (sa->udp_hdr.dst_port),
 358                                !ipsec_sa_is_set_IS_TUNNEL_V6 (sa));
 359
 360   if (ipsec_sa_is_set_IS_TUNNEL (sa) && !ipsec_sa_is_set_IS_INBOUND (sa))
 361     dpo_reset (&sa->dpo);
 362   vnet_crypto_key_del (vm, sa->crypto_key_index);
 363   if (sa->integ_alg != IPSEC_INTEG_ALG_NONE)
 364     vnet_crypto_key_del (vm, sa->integ_key_index);
 365   pool_put (ipsec_sa_pool, sa);
 366 }
 367
 368 void
 369 ipsec_sa_unlock (index_t sai)
 370 {
 371   ipsec_sa_t *sa;
 372
 373   if (INDEX_INVALID == sai)
 374     return;
 375
 376   sa = ipsec_sa_get (sai);
 377
 378   fib_node_unlock (&sa->node);
 379 }
 380
 381 void
 382 ipsec_sa_lock (index_t sai)
 383 {
 384   ipsec_sa_t *sa;
 385
 386   if (INDEX_INVALID == sai)
 387     return;
 388
 389   sa = ipsec_sa_get (sai);
 390
 391   fib_node_lock (&sa->node);
 392 }
 393
 394 index_t
 395 ipsec_sa_find_and_lock (u32 id)
 396 {
 397   ipsec_main_t *im = &ipsec_main;
 398   ipsec_sa_t *sa;
 399   uword *p;
 400
 401   p = hash_get (im->sa_index_by_sa_id, id);
 402
 403   if (!p)
 404     return INDEX_INVALID;
 405
 406   sa = ipsec_sa_get (p[0]);
 407
 408   fib_node_lock (&sa->node);
 409
 410   return (p[0]);
 411 }
 412
 413 int
 414 ipsec_sa_unlock_id (u32 id)
 415 {
 416   ipsec_main_t *im = &ipsec_main;
 417   uword *p;
 418
 419   p = hash_get (im->sa_index_by_sa_id, id);
 420
 421   if (!p)
 422     return VNET_API_ERROR_NO_SUCH_ENTRY;
 423
 424   ipsec_sa_unlock (p[0]);
 425
 426   return (0);
 427 }
 428
 429 void
 430 ipsec_sa_clear (index_t sai)
 431 {
 432   vlib_zero_combined_counter (&ipsec_sa_counters, sai);
 433   vlib_zero_simple_counter (&ipsec_sa_lost_counters, sai);
 434 }
 435
 436 void
 437 ipsec_sa_walk (ipsec_sa_walk_cb_t cb, void *ctx)
 438 {
 439   ipsec_sa_t *sa;
 440
 441   /* *INDENT-OFF* */
 442   pool_foreach (sa, ipsec_sa_pool)
 443     {
 444       if (WALK_CONTINUE != cb (sa, ctx))
 445         break;
 446     }
 447   /* *INDENT-ON* */
 448 }
 449
 450 /**
 451  * Function definition to get a FIB node from its index
 452  */
 453 static fib_node_t *
 454 ipsec_sa_fib_node_get (fib_node_index_t index)
 455 {
 456   ipsec_sa_t *sa;
 457
 458   sa = ipsec_sa_get (index);
 459
 460   return (&sa->node);
 461 }
 462
 463 static ipsec_sa_t *
 464 ipsec_sa_from_fib_node (fib_node_t * node)
 465 {
 466   ASSERT (FIB_NODE_TYPE_IPSEC_SA == node->fn_type);
 467   return ((ipsec_sa_t *) (((char *) node) -
 468                           STRUCT_OFFSET_OF (ipsec_sa_t, node)));
 469
 470 }
 471
 472 /**
 473  * Function definition to inform the FIB node that its last lock has gone.
 474  */
 475 static void
 476 ipsec_sa_last_lock_gone (fib_node_t * node)
 477 {
 478   /*
 479    * The ipsec SA is a root of the graph. As such
 480    * it never has children and thus is never locked.
 481    */
 482   ipsec_sa_del (ipsec_sa_from_fib_node (node));
 483 }
 484
 485 /**
 486  * Function definition to backwalk a FIB node
 487  */
 488 static fib_node_back_walk_rc_t
 489 ipsec_sa_back_walk (fib_node_t * node, fib_node_back_walk_ctx_t * ctx)
 490 {
 491   ipsec_sa_stack (ipsec_sa_from_fib_node (node));
 492
 493   return (FIB_NODE_BACK_WALK_CONTINUE);
 494 }
 495
 496 /*
 497  * Virtual function table registered by SAs
 498  * for participation in the FIB object graph.
 499  */
 500 const static fib_node_vft_t ipsec_sa_vft = {
 501   .fnv_get = ipsec_sa_fib_node_get,
 502   .fnv_last_lock = ipsec_sa_last_lock_gone,
 503   .fnv_back_walk = ipsec_sa_back_walk,
 504 };
 505
 506 /* force inclusion from application's main.c */
 507 clib_error_t *
 508 ipsec_sa_interface_init (vlib_main_t * vm)
 509 {
 510   fib_node_register_type (FIB_NODE_TYPE_IPSEC_SA, &ipsec_sa_vft);
 511
 512   return 0;
 513 }
 514
 515 VLIB_INIT_FUNCTION (ipsec_sa_interface_init);
 516
 517 /*
 518  * fd.io coding-style-patch-verification: ON
 519  *
 520  * Local Variables:
 521  * eval: (c-set-style "gnu")
 522  * End:
 523  */