src/vnet/ipsec/ipsec_sa.c

   1 /*
   2  * Copyright (c) 2015 Cisco and/or its affiliates.
   3  * Licensed under the Apache License, Version 2.0 (the "License");
   4  * you may not use this file except in compliance with the License.
   5  * You may obtain a copy of the License at:
   6  *
   7  *     http://www.apache.org/licenses/LICENSE-2.0
   8  *
   9  * Unless required by applicable law or agreed to in writing, software
  10  * distributed under the License is distributed on an "AS IS" BASIS,
  11  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  12  * See the License for the specific language governing permissions and
  13  * limitations under the License.
  14  */
  15
  16 #include <vnet/ipsec/ipsec.h>
  17 #include <vnet/ipsec/esp.h>
  18 #include <vnet/udp/udp_local.h>
  19 #include <vnet/fib/fib_table.h>
  20 #include <vnet/fib/fib_entry_track.h>
  21 #include <vnet/ipsec/ipsec_tun.h>
  22
  23 /**
  24  * @brief
  25  * SA packet & bytes counters
  26  */
  27 vlib_combined_counter_main_t ipsec_sa_counters = {
  28   .name = "SA",
  29   .stat_segment_name = "/net/ipsec/sa",
  30 };
  31
  32
  33 static clib_error_t *
  34 ipsec_call_add_del_callbacks (ipsec_main_t * im, ipsec_sa_t * sa,
  35                               u32 sa_index, int is_add)
  36 {
  37   ipsec_ah_backend_t *ab;
  38   ipsec_esp_backend_t *eb;
  39   switch (sa->protocol)
  40     {
  41     case IPSEC_PROTOCOL_AH:
  42       ab = pool_elt_at_index (im->ah_backends, im->ah_current_backend);
  43       if (ab->add_del_sa_sess_cb)
  44         return ab->add_del_sa_sess_cb (sa_index, is_add);
  45       break;
  46     case IPSEC_PROTOCOL_ESP:
  47       eb = pool_elt_at_index (im->esp_backends, im->esp_current_backend);
  48       if (eb->add_del_sa_sess_cb)
  49         return eb->add_del_sa_sess_cb (sa_index, is_add);
  50       break;
  51     }
  52   return 0;
  53 }
  54
  55 void
  56 ipsec_mk_key (ipsec_key_t * key, const u8 * data, u8 len)
  57 {
  58   memset (key, 0, sizeof (*key));
  59
  60   if (len > sizeof (key->data))
  61     key->len = sizeof (key->data);
  62   else
  63     key->len = len;
  64
  65   memcpy (key->data, data, key->len);
  66 }
  67
  68 /**
  69  * 'stack' (resolve the recursion for) the SA tunnel destination
  70  */
  71 static void
  72 ipsec_sa_stack (ipsec_sa_t * sa)
  73 {
  74   ipsec_main_t *im = &ipsec_main;
  75   fib_forward_chain_type_t fct;
  76   dpo_id_t tmp = DPO_INVALID;
  77
  78   fct =
  79     fib_forw_chain_type_from_fib_proto ((ipsec_sa_is_set_IS_TUNNEL_V6 (sa) ?
  80                                          FIB_PROTOCOL_IP6 :
  81                                          FIB_PROTOCOL_IP4));
  82
  83   fib_entry_contribute_forwarding (sa->fib_entry_index, fct, &tmp);
  84
  85   if (IPSEC_PROTOCOL_AH == sa->protocol)
  86     dpo_stack_from_node ((ipsec_sa_is_set_IS_TUNNEL_V6 (sa) ?
  87                           im->ah6_encrypt_node_index :
  88                           im->ah4_encrypt_node_index), &sa->dpo, &tmp);
  89   else
  90     dpo_stack_from_node ((ipsec_sa_is_set_IS_TUNNEL_V6 (sa) ?
  91                           im->esp6_encrypt_node_index :
  92                           im->esp4_encrypt_node_index), &sa->dpo, &tmp);
  93   dpo_reset (&tmp);
  94 }
  95
  96 void
  97 ipsec_sa_set_crypto_alg (ipsec_sa_t * sa, ipsec_crypto_alg_t crypto_alg)
  98 {
  99   ipsec_main_t *im = &ipsec_main;
 100   sa->crypto_alg = crypto_alg;
 101   sa->crypto_iv_size = im->crypto_algs[crypto_alg].iv_size;
 102   sa->esp_block_align = clib_max (4, im->crypto_algs[crypto_alg].block_align);
 103   sa->sync_op_data.crypto_enc_op_id = im->crypto_algs[crypto_alg].enc_op_id;
 104   sa->sync_op_data.crypto_dec_op_id = im->crypto_algs[crypto_alg].dec_op_id;
 105   sa->crypto_calg = im->crypto_algs[crypto_alg].alg;
 106   ASSERT (sa->crypto_iv_size <= ESP_MAX_IV_SIZE);
 107   ASSERT (sa->esp_block_align <= ESP_MAX_BLOCK_SIZE);
 108   if (IPSEC_CRYPTO_ALG_IS_GCM (crypto_alg))
 109     {
 110       sa->integ_icv_size = im->crypto_algs[crypto_alg].icv_size;
 111       ipsec_sa_set_IS_CTR (sa);
 112       ipsec_sa_set_IS_AEAD (sa);
 113     }
 114   else if (IPSEC_CRYPTO_ALG_IS_CTR (crypto_alg))
 115     {
 116       ipsec_sa_set_IS_CTR (sa);
 117     }
 118 }
 119
 120 void
 121 ipsec_sa_set_integ_alg (ipsec_sa_t * sa, ipsec_integ_alg_t integ_alg)
 122 {
 123   ipsec_main_t *im = &ipsec_main;
 124   sa->integ_alg = integ_alg;
 125   sa->integ_icv_size = im->integ_algs[integ_alg].icv_size;
 126   sa->sync_op_data.integ_op_id = im->integ_algs[integ_alg].op_id;
 127   sa->integ_calg = im->integ_algs[integ_alg].alg;
 128   ASSERT (sa->integ_icv_size <= ESP_MAX_ICV_SIZE);
 129 }
 130
 131 void
 132 ipsec_sa_set_async_op_ids (ipsec_sa_t * sa)
 133 {
 134   /* *INDENT-OFF* */
 135   if (ipsec_sa_is_set_USE_ESN (sa))
 136     {
 137 #define _(n, s, k) \
 138   if( sa->sync_op_data.crypto_enc_op_id == VNET_CRYPTO_OP_##n##_ENC ) \
 139     sa->async_op_data.crypto_async_enc_op_id = \
 140       VNET_CRYPTO_OP_##n##_TAG16_AAD12_ENC; \
 141   if( sa->sync_op_data.crypto_dec_op_id == VNET_CRYPTO_OP_##n##_DEC ) \
 142     sa->async_op_data.crypto_async_dec_op_id = \
 143       VNET_CRYPTO_OP_##n##_TAG16_AAD12_DEC;
 144     foreach_crypto_aead_alg
 145 #undef _
 146     }
 147   else
 148     {
 149 #define _(n, s, k) \
 150   if( sa->sync_op_data.crypto_enc_op_id == VNET_CRYPTO_OP_##n##_ENC ) \
 151     sa->async_op_data.crypto_async_enc_op_id = \
 152       VNET_CRYPTO_OP_##n##_TAG16_AAD8_ENC; \
 153   if( sa->sync_op_data.crypto_dec_op_id == VNET_CRYPTO_OP_##n##_DEC ) \
 154     sa->async_op_data.crypto_async_dec_op_id = \
 155       VNET_CRYPTO_OP_##n##_TAG16_AAD8_DEC;
 156     foreach_crypto_aead_alg
 157 #undef _
 158     }
 159
 160 #define _(c, h, s, k ,d) \
 161   if( sa->sync_op_data.crypto_enc_op_id == VNET_CRYPTO_OP_##c##_ENC && \
 162       sa->sync_op_data.integ_op_id == VNET_CRYPTO_OP_##h##_HMAC) \
 163     sa->async_op_data.crypto_async_enc_op_id = \
 164       VNET_CRYPTO_OP_##c##_##h##_TAG##d##_ENC; \
 165   if( sa->sync_op_data.crypto_dec_op_id == VNET_CRYPTO_OP_##c##_DEC && \
 166       sa->sync_op_data.integ_op_id == VNET_CRYPTO_OP_##h##_HMAC) \
 167     sa->async_op_data.crypto_async_dec_op_id = \
 168       VNET_CRYPTO_OP_##c##_##h##_TAG##d##_DEC;
 169   foreach_crypto_link_async_alg
 170 #undef _
 171   /* *INDENT-ON* */
 172 }
 173
 174 int
 175 ipsec_sa_add_and_lock (u32 id,
 176                        u32 spi,
 177                        ipsec_protocol_t proto,
 178                        ipsec_crypto_alg_t crypto_alg,
 179                        const ipsec_key_t * ck,
 180                        ipsec_integ_alg_t integ_alg,
 181                        const ipsec_key_t * ik,
 182                        ipsec_sa_flags_t flags,
 183                        u32 tx_table_id,
 184                        u32 salt,
 185                        const ip46_address_t * tun_src,
 186                        const ip46_address_t * tun_dst,
 187                        tunnel_encap_decap_flags_t tunnel_flags,
 188                        ip_dscp_t dscp,
 189                        u32 * sa_out_index, u16 src_port, u16 dst_port)
 190 {
 191   vlib_main_t *vm = vlib_get_main ();
 192   ipsec_main_t *im = &ipsec_main;
 193   clib_error_t *err;
 194   ipsec_sa_t *sa;
 195   u32 sa_index;
 196   uword *p;
 197
 198   p = hash_get (im->sa_index_by_sa_id, id);
 199   if (p)
 200     return VNET_API_ERROR_ENTRY_ALREADY_EXISTS;
 201
 202   pool_get_aligned_zero (im->sad, sa, CLIB_CACHE_LINE_BYTES);
 203
 204   fib_node_init (&sa->node, FIB_NODE_TYPE_IPSEC_SA);
 205   fib_node_lock (&sa->node);
 206   sa_index = sa - im->sad;
 207
 208   vlib_validate_combined_counter (&ipsec_sa_counters, sa_index);
 209   vlib_zero_combined_counter (&ipsec_sa_counters, sa_index);
 210
 211   sa->id = id;
 212   sa->spi = spi;
 213   sa->stat_index = sa_index;
 214   sa->protocol = proto;
 215   sa->flags = flags;
 216   sa->tunnel_flags = tunnel_flags;
 217   sa->dscp = dscp;
 218   sa->salt = salt;
 219   sa->thread_index = (vlib_num_workers ()) ? ~0 : 0;
 220   if (integ_alg != IPSEC_INTEG_ALG_NONE)
 221     {
 222       ipsec_sa_set_integ_alg (sa, integ_alg);
 223       clib_memcpy (&sa->integ_key, ik, sizeof (sa->integ_key));
 224     }
 225   ipsec_sa_set_crypto_alg (sa, crypto_alg);
 226   ipsec_sa_set_async_op_ids (sa);
 227
 228   clib_memcpy (&sa->crypto_key, ck, sizeof (sa->crypto_key));
 229   ip46_address_copy (&sa->tunnel_src_addr, tun_src);
 230   ip46_address_copy (&sa->tunnel_dst_addr, tun_dst);
 231
 232   sa->crypto_key_index = vnet_crypto_key_add (vm,
 233                                               im->crypto_algs[crypto_alg].alg,
 234                                               (u8 *) ck->data, ck->len);
 235   if (~0 == sa->crypto_key_index)
 236     {
 237       pool_put (im->sad, sa);
 238       return VNET_API_ERROR_KEY_LENGTH;
 239     }
 240
 241   if (integ_alg != IPSEC_INTEG_ALG_NONE)
 242     {
 243       sa->integ_key_index = vnet_crypto_key_add (vm,
 244                                                  im->
 245                                                  integ_algs[integ_alg].alg,
 246                                                  (u8 *) ik->data, ik->len);
 247       if (~0 == sa->integ_key_index)
 248         {
 249           pool_put (im->sad, sa);
 250           return VNET_API_ERROR_KEY_LENGTH;
 251         }
 252     }
 253
 254   if (sa->async_op_data.crypto_async_enc_op_id &&
 255       !ipsec_sa_is_set_IS_AEAD (sa))
 256     {                           //AES-CBC & HMAC
 257       sa->async_op_data.linked_key_index =
 258         vnet_crypto_key_add_linked (vm, sa->crypto_key_index,
 259                                     sa->integ_key_index);
 260     }
 261
 262   if (im->async_mode)
 263     sa->crypto_op_data = sa->async_op_data.data;
 264   else
 265     sa->crypto_op_data = sa->sync_op_data.data;
 266
 267   err = ipsec_check_support_cb (im, sa);
 268   if (err)
 269     {
 270       clib_warning ("%s", err->what);
 271       pool_put (im->sad, sa);
 272       return VNET_API_ERROR_UNIMPLEMENTED;
 273     }
 274
 275   err = ipsec_call_add_del_callbacks (im, sa, sa_index, 1);
 276   if (err)
 277     {
 278       pool_put (im->sad, sa);
 279       return VNET_API_ERROR_SYSCALL_ERROR_1;
 280     }
 281
 282   if (ipsec_sa_is_set_IS_TUNNEL (sa) && !ipsec_sa_is_set_IS_INBOUND (sa))
 283     {
 284       fib_protocol_t fproto = (ipsec_sa_is_set_IS_TUNNEL_V6 (sa) ?
 285                                FIB_PROTOCOL_IP6 : FIB_PROTOCOL_IP4);
 286       fib_prefix_t pfx = {
 287         .fp_addr = sa->tunnel_dst_addr,
 288         .fp_len = (ipsec_sa_is_set_IS_TUNNEL_V6 (sa) ? 128 : 32),
 289         .fp_proto = fproto,
 290       };
 291       sa->tx_fib_index = fib_table_find (fproto, tx_table_id);
 292       if (sa->tx_fib_index == ~((u32) 0))
 293         {
 294           pool_put (im->sad, sa);
 295           return VNET_API_ERROR_NO_SUCH_FIB;
 296         }
 297
 298       sa->fib_entry_index = fib_entry_track (sa->tx_fib_index,
 299                                              &pfx,
 300                                              FIB_NODE_TYPE_IPSEC_SA,
 301                                              sa_index, &sa->sibling);
 302       ipsec_sa_stack (sa);
 303
 304       /* generate header templates */
 305       if (ipsec_sa_is_set_IS_TUNNEL_V6 (sa))
 306         {
 307           sa->ip6_hdr.ip_version_traffic_class_and_flow_label = 0x60;
 308           ip6_set_dscp_network_order (&sa->ip6_hdr, sa->dscp);
 309
 310           sa->ip6_hdr.hop_limit = 254;
 311           sa->ip6_hdr.src_address.as_u64[0] =
 312             sa->tunnel_src_addr.ip6.as_u64[0];
 313           sa->ip6_hdr.src_address.as_u64[1] =
 314             sa->tunnel_src_addr.ip6.as_u64[1];
 315           sa->ip6_hdr.dst_address.as_u64[0] =
 316             sa->tunnel_dst_addr.ip6.as_u64[0];
 317           sa->ip6_hdr.dst_address.as_u64[1] =
 318             sa->tunnel_dst_addr.ip6.as_u64[1];
 319           if (ipsec_sa_is_set_UDP_ENCAP (sa))
 320             sa->ip6_hdr.protocol = IP_PROTOCOL_UDP;
 321           else
 322             sa->ip6_hdr.protocol = IP_PROTOCOL_IPSEC_ESP;
 323         }
 324       else
 325         {
 326           sa->ip4_hdr.ip_version_and_header_length = 0x45;
 327           sa->ip4_hdr.ttl = 254;
 328           sa->ip4_hdr.src_address.as_u32 = sa->tunnel_src_addr.ip4.as_u32;
 329           sa->ip4_hdr.dst_address.as_u32 = sa->tunnel_dst_addr.ip4.as_u32;
 330           sa->ip4_hdr.tos = sa->dscp << 2;
 331
 332           if (ipsec_sa_is_set_UDP_ENCAP (sa))
 333             sa->ip4_hdr.protocol = IP_PROTOCOL_UDP;
 334           else
 335             sa->ip4_hdr.protocol = IP_PROTOCOL_IPSEC_ESP;
 336           sa->ip4_hdr.checksum = ip4_header_checksum (&sa->ip4_hdr);
 337         }
 338     }
 339
 340   if (ipsec_sa_is_set_UDP_ENCAP (sa))
 341     {
 342       if (dst_port == IPSEC_UDP_PORT_NONE)
 343         sa->udp_hdr.dst_port = clib_host_to_net_u16 (UDP_DST_PORT_ipsec);
 344       else
 345         sa->udp_hdr.dst_port = clib_host_to_net_u16 (dst_port);
 346
 347       if (src_port == IPSEC_UDP_PORT_NONE)
 348         sa->udp_hdr.src_port = clib_host_to_net_u16 (UDP_DST_PORT_ipsec);
 349       else
 350         sa->udp_hdr.src_port = clib_host_to_net_u16 (src_port);
 351
 352       if (ipsec_sa_is_set_IS_INBOUND (sa))
 353         ipsec_register_udp_port (clib_host_to_net_u16 (sa->udp_hdr.dst_port));
 354     }
 355
 356   hash_set (im->sa_index_by_sa_id, sa->id, sa_index);
 357
 358   if (sa_out_index)
 359     *sa_out_index = sa_index;
 360
 361   return (0);
 362 }
 363
 364 static void
 365 ipsec_sa_del (ipsec_sa_t * sa)
 366 {
 367   vlib_main_t *vm = vlib_get_main ();
 368   ipsec_main_t *im = &ipsec_main;
 369   u32 sa_index;
 370
 371   sa_index = sa - im->sad;
 372   hash_unset (im->sa_index_by_sa_id, sa->id);
 373
 374   /* no recovery possible when deleting an SA */
 375   (void) ipsec_call_add_del_callbacks (im, sa, sa_index, 0);
 376
 377   if (ipsec_sa_is_set_UDP_ENCAP (sa) && ipsec_sa_is_set_IS_INBOUND (sa))
 378     ipsec_unregister_udp_port (clib_net_to_host_u16 (sa->udp_hdr.dst_port));
 379
 380   if (ipsec_sa_is_set_IS_TUNNEL (sa) && !ipsec_sa_is_set_IS_INBOUND (sa))
 381     {
 382       fib_entry_untrack (sa->fib_entry_index, sa->sibling);
 383       dpo_reset (&sa->dpo);
 384     }
 385   vnet_crypto_key_del (vm, sa->crypto_key_index);
 386   if (sa->integ_alg != IPSEC_INTEG_ALG_NONE)
 387     vnet_crypto_key_del (vm, sa->integ_key_index);
 388   pool_put (im->sad, sa);
 389 }
 390
 391 void
 392 ipsec_sa_unlock (index_t sai)
 393 {
 394   ipsec_main_t *im = &ipsec_main;
 395   ipsec_sa_t *sa;
 396
 397   if (INDEX_INVALID == sai)
 398     return;
 399
 400   sa = pool_elt_at_index (im->sad, sai);
 401
 402   fib_node_unlock (&sa->node);
 403 }
 404
 405 void
 406 ipsec_sa_lock (index_t sai)
 407 {
 408   ipsec_main_t *im = &ipsec_main;
 409   ipsec_sa_t *sa;
 410
 411   if (INDEX_INVALID == sai)
 412     return;
 413
 414   sa = pool_elt_at_index (im->sad, sai);
 415
 416   fib_node_lock (&sa->node);
 417 }
 418
 419 index_t
 420 ipsec_sa_find_and_lock (u32 id)
 421 {
 422   ipsec_main_t *im = &ipsec_main;
 423   ipsec_sa_t *sa;
 424   uword *p;
 425
 426   p = hash_get (im->sa_index_by_sa_id, id);
 427
 428   if (!p)
 429     return INDEX_INVALID;
 430
 431   sa = pool_elt_at_index (im->sad, p[0]);
 432
 433   fib_node_lock (&sa->node);
 434
 435   return (p[0]);
 436 }
 437
 438 int
 439 ipsec_sa_unlock_id (u32 id)
 440 {
 441   ipsec_main_t *im = &ipsec_main;
 442   uword *p;
 443
 444   p = hash_get (im->sa_index_by_sa_id, id);
 445
 446   if (!p)
 447     return VNET_API_ERROR_NO_SUCH_ENTRY;
 448
 449   ipsec_sa_unlock (p[0]);
 450
 451   return (0);
 452 }
 453
 454 void
 455 ipsec_sa_clear (index_t sai)
 456 {
 457   vlib_zero_combined_counter (&ipsec_sa_counters, sai);
 458 }
 459
 460 void
 461 ipsec_sa_walk (ipsec_sa_walk_cb_t cb, void *ctx)
 462 {
 463   ipsec_main_t *im = &ipsec_main;
 464   ipsec_sa_t *sa;
 465
 466   /* *INDENT-OFF* */
 467   pool_foreach (sa, im->sad)
 468    {
 469     if (WALK_CONTINUE != cb(sa, ctx))
 470       break;
 471   }
 472   /* *INDENT-ON* */
 473 }
 474
 475 /**
 476  * Function definition to get a FIB node from its index
 477  */
 478 static fib_node_t *
 479 ipsec_sa_fib_node_get (fib_node_index_t index)
 480 {
 481   ipsec_main_t *im;
 482   ipsec_sa_t *sa;
 483
 484   im = &ipsec_main;
 485   sa = pool_elt_at_index (im->sad, index);
 486
 487   return (&sa->node);
 488 }
 489
 490 static ipsec_sa_t *
 491 ipsec_sa_from_fib_node (fib_node_t * node)
 492 {
 493   ASSERT (FIB_NODE_TYPE_IPSEC_SA == node->fn_type);
 494   return ((ipsec_sa_t *) (((char *) node) -
 495                           STRUCT_OFFSET_OF (ipsec_sa_t, node)));
 496
 497 }
 498
 499 /**
 500  * Function definition to inform the FIB node that its last lock has gone.
 501  */
 502 static void
 503 ipsec_sa_last_lock_gone (fib_node_t * node)
 504 {
 505   /*
 506    * The ipsec SA is a root of the graph. As such
 507    * it never has children and thus is never locked.
 508    */
 509   ipsec_sa_del (ipsec_sa_from_fib_node (node));
 510 }
 511
 512 /**
 513  * Function definition to backwalk a FIB node
 514  */
 515 static fib_node_back_walk_rc_t
 516 ipsec_sa_back_walk (fib_node_t * node, fib_node_back_walk_ctx_t * ctx)
 517 {
 518   ipsec_sa_stack (ipsec_sa_from_fib_node (node));
 519
 520   return (FIB_NODE_BACK_WALK_CONTINUE);
 521 }
 522
 523 /*
 524  * Virtual function table registered by SAs
 525  * for participation in the FIB object graph.
 526  */
 527 const static fib_node_vft_t ipsec_sa_vft = {
 528   .fnv_get = ipsec_sa_fib_node_get,
 529   .fnv_last_lock = ipsec_sa_last_lock_gone,
 530   .fnv_back_walk = ipsec_sa_back_walk,
 531 };
 532
 533 /* force inclusion from application's main.c */
 534 clib_error_t *
 535 ipsec_sa_interface_init (vlib_main_t * vm)
 536 {
 537   fib_node_register_type (FIB_NODE_TYPE_IPSEC_SA, &ipsec_sa_vft);
 538
 539   return 0;
 540 }
 541
 542 VLIB_INIT_FUNCTION (ipsec_sa_interface_init);
 543
 544 /*
 545  * fd.io coding-style-patch-verification: ON
 546  *
 547  * Local Variables:
 548  * eval: (c-set-style "gnu")
 549  * End:
 550  */