src/vnet/ipsec/ipsec.c

   1 /*
   2  * ipsec.c : IPSEC module functions
   3  *
   4  * Copyright (c) 2015 Cisco and/or its affiliates.
   5  * Licensed under the Apache License, Version 2.0 (the "License");
   6  * you may not use this file except in compliance with the License.
   7  * You may obtain a copy of the License at:
   8  *
   9  *     http://www.apache.org/licenses/LICENSE-2.0
  10  *
  11  * Unless required by applicable law or agreed to in writing, software
  12  * distributed under the License is distributed on an "AS IS" BASIS,
  13  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  14  * See the License for the specific language governing permissions and
  15  * limitations under the License.
  16  */
  17
  18 #include <vnet/vnet.h>
  19 #include <vnet/api_errno.h>
  20 #include <vnet/ip/ip.h>
  21 #include <vnet/interface.h>
  22 #include <vnet/udp/udp_local.h>
  23
  24 #include <vnet/ipsec/ipsec.h>
  25 #include <vnet/ipsec/esp.h>
  26 #include <vnet/ipsec/ah.h>
  27 #include <vnet/ipsec/ipsec_tun.h>
  28 #include <vnet/ipsec/ipsec_itf.h>
  29
  30 /* Flow cache is sized for 1 million flows with a load factor of .25.
  31  */
  32 #define IPSEC4_OUT_SPD_DEFAULT_HASH_NUM_BUCKETS (1 << 22)
  33
  34 /* Flow cache is sized for 1 million flows with a load factor of .25.
  35  */
  36 #define IPSEC4_SPD_DEFAULT_HASH_NUM_BUCKETS (1 << 22)
  37
  38 ipsec_main_t ipsec_main;
  39 esp_async_post_next_t esp_encrypt_async_next;
  40 esp_async_post_next_t esp_decrypt_async_next;
  41
  42 clib_error_t *
  43 ipsec_register_next_header (vlib_main_t *vm, u8 next_header,
  44                             const char *next_node)
  45 {
  46   ipsec_main_t *im = &ipsec_main;
  47   const vlib_node_t *node = vlib_get_node_by_name (vm, (u8 *) next_node);
  48   /* -post nodes (eg. esp4-decrypt-post) are siblings of non-post nodes (eg.
  49    * esp4-decrypt) and will therefore have the same next index */
  50   const vlib_node_t *esp_decrypt_nodes[] = {
  51     vlib_get_node (vm, im->esp4_decrypt_node_index),
  52     vlib_get_node (vm, im->esp6_decrypt_node_index),
  53     vlib_get_node (vm, im->esp4_decrypt_tun_node_index),
  54     vlib_get_node (vm, im->esp6_decrypt_tun_node_index),
  55   };
  56   uword slot, max;
  57   int i;
  58
  59   /* looks for a next_index value that we can use for all esp decrypt nodes to
  60    * avoid maintaining different next index arrays... */
  61
  62   slot = vlib_node_get_next (vm, esp_decrypt_nodes[0]->index, node->index);
  63   max = vec_len (esp_decrypt_nodes[0]->next_nodes);
  64   for (i = 1; i < ARRAY_LEN (esp_decrypt_nodes); i++)
  65     {
  66       /* if next node already exists, check it shares the same next_index */
  67       if (slot !=
  68           vlib_node_get_next (vm, esp_decrypt_nodes[i]->index, node->index))
  69         return clib_error_return (
  70           0, "next node already exists with different next index");
  71       /* compute a suitable slot from the max of all nodes next index */
  72       max = clib_max (max, vec_len (esp_decrypt_nodes[i]->next_nodes));
  73     }
  74
  75   if (~0 == slot)
  76     {
  77       /* next node not there yet, add it using the computed max */
  78       slot = max;
  79       for (i = 0; i < ARRAY_LEN (esp_decrypt_nodes); i++)
  80         vlib_node_add_next_with_slot (vm, esp_decrypt_nodes[i]->index,
  81                                       node->index, slot);
  82     }
  83
  84   im->next_header_registrations[next_header] = slot;
  85   return 0;
  86 }
  87
  88 static clib_error_t *
  89 ipsec_check_ah_support (ipsec_sa_t * sa)
  90 {
  91   ipsec_main_t *im = &ipsec_main;
  92
  93   if (sa->integ_alg == IPSEC_INTEG_ALG_NONE)
  94     return clib_error_return (0, "unsupported none integ-alg");
  95
  96   if (!vnet_crypto_is_set_handler (im->integ_algs[sa->integ_alg].alg))
  97     return clib_error_return (0, "No crypto engine support for %U",
  98                               format_ipsec_integ_alg, sa->integ_alg);
  99
 100   return 0;
 101 }
 102
 103 static clib_error_t *
 104 ipsec_check_esp_support (ipsec_sa_t * sa)
 105 {
 106   ipsec_main_t *im = &ipsec_main;
 107
 108   if (IPSEC_INTEG_ALG_NONE != sa->integ_alg)
 109     {
 110       if (!vnet_crypto_is_set_handler (im->integ_algs[sa->integ_alg].alg))
 111         return clib_error_return (0, "No crypto engine support for %U",
 112                                   format_ipsec_integ_alg, sa->integ_alg);
 113     }
 114   if (IPSEC_CRYPTO_ALG_NONE != sa->crypto_alg)
 115     {
 116       if (!vnet_crypto_is_set_handler (im->crypto_algs[sa->crypto_alg].alg))
 117         return clib_error_return (0, "No crypto engine support for %U",
 118                                   format_ipsec_crypto_alg, sa->crypto_alg);
 119     }
 120
 121   return (0);
 122 }
 123
 124 clib_error_t *
 125 ipsec_add_del_sa_sess_cb (ipsec_main_t * im, u32 sa_index, u8 is_add)
 126 {
 127   ipsec_ah_backend_t *ah =
 128     pool_elt_at_index (im->ah_backends, im->ah_current_backend);
 129   if (ah->add_del_sa_sess_cb)
 130     {
 131       clib_error_t *err = ah->add_del_sa_sess_cb (sa_index, is_add);
 132       if (err)
 133         return err;
 134     }
 135   ipsec_esp_backend_t *esp =
 136     pool_elt_at_index (im->esp_backends, im->esp_current_backend);
 137   if (esp->add_del_sa_sess_cb)
 138     {
 139       clib_error_t *err = esp->add_del_sa_sess_cb (sa_index, is_add);
 140       if (err)
 141         return err;
 142     }
 143   return 0;
 144 }
 145
 146 clib_error_t *
 147 ipsec_check_support_cb (ipsec_main_t * im, ipsec_sa_t * sa)
 148 {
 149   clib_error_t *error = 0;
 150
 151   if (PREDICT_FALSE (sa->protocol == IPSEC_PROTOCOL_AH))
 152     {
 153       ipsec_ah_backend_t *ah =
 154         pool_elt_at_index (im->ah_backends, im->ah_current_backend);
 155       ASSERT (ah->check_support_cb);
 156       error = ah->check_support_cb (sa);
 157     }
 158   else
 159     {
 160       ipsec_esp_backend_t *esp =
 161         pool_elt_at_index (im->esp_backends, im->esp_current_backend);
 162       ASSERT (esp->check_support_cb);
 163       error = esp->check_support_cb (sa);
 164     }
 165   return error;
 166 }
 167
 168
 169 static void
 170 ipsec_add_node (vlib_main_t * vm, const char *node_name,
 171                 const char *prev_node_name, u32 * out_node_index,
 172                 u32 * out_next_index)
 173 {
 174   vlib_node_t *prev_node, *node;
 175   prev_node = vlib_get_node_by_name (vm, (u8 *) prev_node_name);
 176   ASSERT (prev_node);
 177   node = vlib_get_node_by_name (vm, (u8 *) node_name);
 178   ASSERT (node);
 179   *out_node_index = node->index;
 180   *out_next_index = vlib_node_add_next (vm, prev_node->index, node->index);
 181 }
 182
 183 void
 184 ipsec_unregister_udp_port (u16 port)
 185 {
 186   ipsec_main_t *im = &ipsec_main;
 187   u32 n_regs;
 188   uword *p;
 189
 190   p = hash_get (im->udp_port_registrations, port);
 191
 192   ASSERT (p);
 193
 194   n_regs = p[0];
 195
 196   if (0 == --n_regs)
 197     {
 198       udp_unregister_dst_port (vlib_get_main (), port, 1);
 199       hash_unset (im->udp_port_registrations, port);
 200     }
 201   else
 202     {
 203       hash_unset (im->udp_port_registrations, port);
 204       hash_set (im->udp_port_registrations, port, n_regs);
 205     }
 206 }
 207
 208 void
 209 ipsec_register_udp_port (u16 port)
 210 {
 211   ipsec_main_t *im = &ipsec_main;
 212   u32 n_regs;
 213   uword *p;
 214
 215   p = hash_get (im->udp_port_registrations, port);
 216
 217   n_regs = (p ? p[0] : 0);
 218
 219   if (0 == n_regs++)
 220     udp_register_dst_port (vlib_get_main (), port,
 221                            ipsec4_tun_input_node.index, 1);
 222
 223   hash_unset (im->udp_port_registrations, port);
 224   hash_set (im->udp_port_registrations, port, n_regs);
 225 }
 226
 227 u32
 228 ipsec_register_ah_backend (vlib_main_t * vm, ipsec_main_t * im,
 229                            const char *name,
 230                            const char *ah4_encrypt_node_name,
 231                            const char *ah4_decrypt_node_name,
 232                            const char *ah6_encrypt_node_name,
 233                            const char *ah6_decrypt_node_name,
 234                            check_support_cb_t ah_check_support_cb,
 235                            add_del_sa_sess_cb_t ah_add_del_sa_sess_cb)
 236 {
 237   ipsec_ah_backend_t *b;
 238   pool_get (im->ah_backends, b);
 239   b->name = format (0, "%s%c", name, 0);
 240
 241   ipsec_add_node (vm, ah4_encrypt_node_name, "ipsec4-output-feature",
 242                   &b->ah4_encrypt_node_index, &b->ah4_encrypt_next_index);
 243   ipsec_add_node (vm, ah4_decrypt_node_name, "ipsec4-input-feature",
 244                   &b->ah4_decrypt_node_index, &b->ah4_decrypt_next_index);
 245   ipsec_add_node (vm, ah6_encrypt_node_name, "ipsec6-output-feature",
 246                   &b->ah6_encrypt_node_index, &b->ah6_encrypt_next_index);
 247   ipsec_add_node (vm, ah6_decrypt_node_name, "ipsec6-input-feature",
 248                   &b->ah6_decrypt_node_index, &b->ah6_decrypt_next_index);
 249
 250   b->check_support_cb = ah_check_support_cb;
 251   b->add_del_sa_sess_cb = ah_add_del_sa_sess_cb;
 252   return b - im->ah_backends;
 253 }
 254
 255 u32
 256 ipsec_register_esp_backend (
 257   vlib_main_t *vm, ipsec_main_t *im, const char *name,
 258   const char *esp4_encrypt_node_name, const char *esp4_encrypt_node_tun_name,
 259   const char *esp4_decrypt_node_name, const char *esp4_decrypt_tun_node_name,
 260   const char *esp6_encrypt_node_name, const char *esp6_encrypt_node_tun_name,
 261   const char *esp6_decrypt_node_name, const char *esp6_decrypt_tun_node_name,
 262   const char *esp_mpls_encrypt_node_tun_name,
 263   check_support_cb_t esp_check_support_cb,
 264   add_del_sa_sess_cb_t esp_add_del_sa_sess_cb,
 265   enable_disable_cb_t enable_disable_cb)
 266 {
 267   ipsec_esp_backend_t *b;
 268
 269   pool_get (im->esp_backends, b);
 270   b->name = format (0, "%s%c", name, 0);
 271
 272   ipsec_add_node (vm, esp4_encrypt_node_name, "ipsec4-output-feature",
 273                   &b->esp4_encrypt_node_index, &b->esp4_encrypt_next_index);
 274   ipsec_add_node (vm, esp4_decrypt_node_name, "ipsec4-input-feature",
 275                   &b->esp4_decrypt_node_index, &b->esp4_decrypt_next_index);
 276   ipsec_add_node (vm, esp6_encrypt_node_name, "ipsec6-output-feature",
 277                   &b->esp6_encrypt_node_index, &b->esp6_encrypt_next_index);
 278   ipsec_add_node (vm, esp6_decrypt_node_name, "ipsec6-input-feature",
 279                   &b->esp6_decrypt_node_index, &b->esp6_decrypt_next_index);
 280   ipsec_add_node (vm, esp4_decrypt_tun_node_name, "ipsec4-tun-input",
 281                   &b->esp4_decrypt_tun_node_index,
 282                   &b->esp4_decrypt_tun_next_index);
 283   ipsec_add_node (vm, esp6_decrypt_tun_node_name, "ipsec6-tun-input",
 284                   &b->esp6_decrypt_tun_node_index,
 285                   &b->esp6_decrypt_tun_next_index);
 286
 287   b->esp6_encrypt_tun_node_index =
 288     vlib_get_node_by_name (vm, (u8 *) esp6_encrypt_node_tun_name)->index;
 289   b->esp_mpls_encrypt_tun_node_index =
 290     vlib_get_node_by_name (vm, (u8 *) esp_mpls_encrypt_node_tun_name)->index;
 291   b->esp4_encrypt_tun_node_index =
 292     vlib_get_node_by_name (vm, (u8 *) esp4_encrypt_node_tun_name)->index;
 293
 294   b->check_support_cb = esp_check_support_cb;
 295   b->add_del_sa_sess_cb = esp_add_del_sa_sess_cb;
 296   b->enable_disable_cb = enable_disable_cb;
 297
 298   return b - im->esp_backends;
 299 }
 300
 301 clib_error_t *
 302 ipsec_rsc_in_use (ipsec_main_t * im)
 303 {
 304   /* return an error is crypto resource are in use */
 305   if (pool_elts (ipsec_sa_pool) > 0)
 306     return clib_error_return (0, "%d SA entries configured",
 307                               pool_elts (ipsec_sa_pool));
 308   if (ipsec_itf_count () > 0)
 309     return clib_error_return (0, "%d IPSec interface configured",
 310                               ipsec_itf_count ());
 311
 312   return (NULL);
 313 }
 314
 315 int
 316 ipsec_select_ah_backend (ipsec_main_t * im, u32 backend_idx)
 317 {
 318   if (ipsec_rsc_in_use (im))
 319     return VNET_API_ERROR_RSRC_IN_USE;
 320
 321   if (pool_is_free_index (im->ah_backends, backend_idx))
 322     return VNET_API_ERROR_INVALID_VALUE;
 323
 324   ipsec_ah_backend_t *b = pool_elt_at_index (im->ah_backends, backend_idx);
 325   im->ah_current_backend = backend_idx;
 326   im->ah4_encrypt_node_index = b->ah4_encrypt_node_index;
 327   im->ah4_decrypt_node_index = b->ah4_decrypt_node_index;
 328   im->ah4_encrypt_next_index = b->ah4_encrypt_next_index;
 329   im->ah4_decrypt_next_index = b->ah4_decrypt_next_index;
 330   im->ah6_encrypt_node_index = b->ah6_encrypt_node_index;
 331   im->ah6_decrypt_node_index = b->ah6_decrypt_node_index;
 332   im->ah6_encrypt_next_index = b->ah6_encrypt_next_index;
 333   im->ah6_decrypt_next_index = b->ah6_decrypt_next_index;
 334
 335   return 0;
 336 }
 337
 338 int
 339 ipsec_select_esp_backend (ipsec_main_t * im, u32 backend_idx)
 340 {
 341   if (ipsec_rsc_in_use (im))
 342     return VNET_API_ERROR_RSRC_IN_USE;
 343
 344   if (pool_is_free_index (im->esp_backends, backend_idx))
 345     return VNET_API_ERROR_INVALID_VALUE;
 346
 347   /* disable current backend */
 348   if (im->esp_current_backend != ~0)
 349     {
 350       ipsec_esp_backend_t *cb = pool_elt_at_index (im->esp_backends,
 351                                                    im->esp_current_backend);
 352       if (cb->enable_disable_cb)
 353         {
 354           if ((cb->enable_disable_cb) (0) != 0)
 355             return -1;
 356         }
 357     }
 358
 359   ipsec_esp_backend_t *b = pool_elt_at_index (im->esp_backends, backend_idx);
 360   im->esp_current_backend = backend_idx;
 361   im->esp4_encrypt_node_index = b->esp4_encrypt_node_index;
 362   im->esp4_decrypt_node_index = b->esp4_decrypt_node_index;
 363   im->esp4_encrypt_next_index = b->esp4_encrypt_next_index;
 364   im->esp4_decrypt_next_index = b->esp4_decrypt_next_index;
 365   im->esp6_encrypt_node_index = b->esp6_encrypt_node_index;
 366   im->esp6_decrypt_node_index = b->esp6_decrypt_node_index;
 367   im->esp6_encrypt_next_index = b->esp6_encrypt_next_index;
 368   im->esp6_decrypt_next_index = b->esp6_decrypt_next_index;
 369   im->esp4_decrypt_tun_node_index = b->esp4_decrypt_tun_node_index;
 370   im->esp4_decrypt_tun_next_index = b->esp4_decrypt_tun_next_index;
 371   im->esp6_decrypt_tun_node_index = b->esp6_decrypt_tun_node_index;
 372   im->esp6_decrypt_tun_next_index = b->esp6_decrypt_tun_next_index;
 373   im->esp4_encrypt_tun_node_index = b->esp4_encrypt_tun_node_index;
 374   im->esp6_encrypt_tun_node_index = b->esp6_encrypt_tun_node_index;
 375   im->esp_mpls_encrypt_tun_node_index = b->esp_mpls_encrypt_tun_node_index;
 376
 377   if (b->enable_disable_cb)
 378     {
 379       if ((b->enable_disable_cb) (1) != 0)
 380         return -1;
 381     }
 382   return 0;
 383 }
 384
 385 void
 386 ipsec_set_async_mode (u32 is_enabled)
 387 {
 388   ipsec_main_t *im = &ipsec_main;
 389   ipsec_sa_t *sa;
 390
 391   vnet_crypto_request_async_mode (is_enabled);
 392
 393   im->async_mode = is_enabled;
 394
 395   /* change SA crypto op data */
 396   pool_foreach (sa, ipsec_sa_pool)
 397     {
 398       sa->crypto_op_data =
 399         (is_enabled ? sa->async_op_data.data : sa->sync_op_data.data);
 400     }
 401 }
 402
 403 static void
 404 crypto_engine_backend_register_post_node (vlib_main_t * vm)
 405 {
 406   esp_async_post_next_t *eit;
 407   esp_async_post_next_t *dit;
 408
 409   eit = &esp_encrypt_async_next;
 410   eit->esp4_post_next =
 411     vnet_crypto_register_post_node (vm, "esp4-encrypt-post");
 412   eit->esp6_post_next =
 413     vnet_crypto_register_post_node (vm, "esp6-encrypt-post");
 414   eit->esp4_tun_post_next =
 415     vnet_crypto_register_post_node (vm, "esp4-encrypt-tun-post");
 416   eit->esp6_tun_post_next =
 417     vnet_crypto_register_post_node (vm, "esp6-encrypt-tun-post");
 418   eit->esp_mpls_tun_post_next =
 419     vnet_crypto_register_post_node (vm, "esp-mpls-encrypt-tun-post");
 420
 421   dit = &esp_decrypt_async_next;
 422   dit->esp4_post_next =
 423     vnet_crypto_register_post_node (vm, "esp4-decrypt-post");
 424   dit->esp6_post_next =
 425     vnet_crypto_register_post_node (vm, "esp6-decrypt-post");
 426   dit->esp4_tun_post_next =
 427     vnet_crypto_register_post_node (vm, "esp4-decrypt-tun-post");
 428   dit->esp6_tun_post_next =
 429     vnet_crypto_register_post_node (vm, "esp6-decrypt-tun-post");
 430 }
 431
 432 static clib_error_t *
 433 ipsec_init (vlib_main_t * vm)
 434 {
 435   clib_error_t *error;
 436   ipsec_main_t *im = &ipsec_main;
 437   ipsec_main_crypto_alg_t *a;
 438
 439   /* Backend registration requires the feature arcs to be set up */
 440   if ((error = vlib_call_init_function (vm, vnet_feature_init)))
 441     return (error);
 442
 443   im->vnet_main = vnet_get_main ();
 444   im->vlib_main = vm;
 445
 446   im->spd_index_by_spd_id = hash_create (0, sizeof (uword));
 447   im->sa_index_by_sa_id = hash_create (0, sizeof (uword));
 448   im->spd_index_by_sw_if_index = hash_create (0, sizeof (uword));
 449
 450   vlib_node_t *node = vlib_get_node_by_name (vm, (u8 *) "error-drop");
 451   ASSERT (node);
 452   im->error_drop_node_index = node->index;
 453
 454   im->ah_current_backend = ~0;
 455   im->esp_current_backend = ~0;
 456
 457   u32 idx = ipsec_register_ah_backend (vm, im, "crypto engine backend",
 458                                        "ah4-encrypt",
 459                                        "ah4-decrypt",
 460                                        "ah6-encrypt",
 461                                        "ah6-decrypt",
 462                                        ipsec_check_ah_support,
 463                                        NULL);
 464
 465   im->ah_default_backend = idx;
 466   int rv = ipsec_select_ah_backend (im, idx);
 467   ASSERT (0 == rv);
 468   (void) (rv);                  // avoid warning
 469
 470   idx = ipsec_register_esp_backend (
 471     vm, im, "crypto engine backend", "esp4-encrypt", "esp4-encrypt-tun",
 472     "esp4-decrypt", "esp4-decrypt-tun", "esp6-encrypt", "esp6-encrypt-tun",
 473     "esp6-decrypt", "esp6-decrypt-tun", "esp-mpls-encrypt-tun",
 474     ipsec_check_esp_support, NULL, crypto_dispatch_enable_disable);
 475   im->esp_default_backend = idx;
 476
 477   rv = ipsec_select_esp_backend (im, idx);
 478   ASSERT (0 == rv);
 479   (void) (rv);                  // avoid warning
 480
 481   if ((error = vlib_call_init_function (vm, ipsec_cli_init)))
 482     return error;
 483
 484   im->fp_spd_is_enabled = 0;
 485   im->fp_lookup_hash_buckets = IPSEC_FP_HASH_LOOKUP_HASH_BUCKETS;
 486
 487   vec_validate (im->crypto_algs, IPSEC_CRYPTO_N_ALG - 1);
 488
 489   a = im->crypto_algs + IPSEC_CRYPTO_ALG_NONE;
 490   a->enc_op_id = VNET_CRYPTO_OP_NONE;
 491   a->dec_op_id = VNET_CRYPTO_OP_NONE;
 492   a->alg = VNET_CRYPTO_ALG_NONE;
 493   a->iv_size = 0;
 494   a->block_align = 1;
 495
 496   a = im->crypto_algs + IPSEC_CRYPTO_ALG_DES_CBC;
 497   a->enc_op_id = VNET_CRYPTO_OP_DES_CBC_ENC;
 498   a->dec_op_id = VNET_CRYPTO_OP_DES_CBC_DEC;
 499   a->alg = VNET_CRYPTO_ALG_DES_CBC;
 500   a->iv_size = a->block_align = 8;
 501
 502   a = im->crypto_algs + IPSEC_CRYPTO_ALG_3DES_CBC;
 503   a->enc_op_id = VNET_CRYPTO_OP_3DES_CBC_ENC;
 504   a->dec_op_id = VNET_CRYPTO_OP_3DES_CBC_DEC;
 505   a->alg = VNET_CRYPTO_ALG_3DES_CBC;
 506   a->iv_size = a->block_align = 8;
 507
 508   a = im->crypto_algs + IPSEC_CRYPTO_ALG_AES_CBC_128;
 509   a->enc_op_id = VNET_CRYPTO_OP_AES_128_CBC_ENC;
 510   a->dec_op_id = VNET_CRYPTO_OP_AES_128_CBC_DEC;
 511   a->alg = VNET_CRYPTO_ALG_AES_128_CBC;
 512   a->iv_size = a->block_align = 16;
 513
 514   a = im->crypto_algs + IPSEC_CRYPTO_ALG_AES_CBC_192;
 515   a->enc_op_id = VNET_CRYPTO_OP_AES_192_CBC_ENC;
 516   a->dec_op_id = VNET_CRYPTO_OP_AES_192_CBC_DEC;
 517   a->alg = VNET_CRYPTO_ALG_AES_192_CBC;
 518   a->iv_size = a->block_align = 16;
 519
 520   a = im->crypto_algs + IPSEC_CRYPTO_ALG_AES_CBC_256;
 521   a->enc_op_id = VNET_CRYPTO_OP_AES_256_CBC_ENC;
 522   a->dec_op_id = VNET_CRYPTO_OP_AES_256_CBC_DEC;
 523   a->alg = VNET_CRYPTO_ALG_AES_256_CBC;
 524   a->iv_size = a->block_align = 16;
 525
 526   a = im->crypto_algs + IPSEC_CRYPTO_ALG_AES_CTR_128;
 527   a->enc_op_id = VNET_CRYPTO_OP_AES_128_CTR_ENC;
 528   a->dec_op_id = VNET_CRYPTO_OP_AES_128_CTR_DEC;
 529   a->alg = VNET_CRYPTO_ALG_AES_128_CTR;
 530   a->iv_size = 8;
 531   a->block_align = 1;
 532
 533   a = im->crypto_algs + IPSEC_CRYPTO_ALG_AES_CTR_192;
 534   a->enc_op_id = VNET_CRYPTO_OP_AES_192_CTR_ENC;
 535   a->dec_op_id = VNET_CRYPTO_OP_AES_192_CTR_DEC;
 536   a->alg = VNET_CRYPTO_ALG_AES_192_CTR;
 537   a->iv_size = 8;
 538   a->block_align = 1;
 539
 540   a = im->crypto_algs + IPSEC_CRYPTO_ALG_AES_CTR_256;
 541   a->enc_op_id = VNET_CRYPTO_OP_AES_256_CTR_ENC;
 542   a->dec_op_id = VNET_CRYPTO_OP_AES_256_CTR_DEC;
 543   a->alg = VNET_CRYPTO_ALG_AES_256_CTR;
 544   a->iv_size = 8;
 545   a->block_align = 1;
 546
 547   a = im->crypto_algs + IPSEC_CRYPTO_ALG_AES_GCM_128;
 548   a->enc_op_id = VNET_CRYPTO_OP_AES_128_GCM_ENC;
 549   a->dec_op_id = VNET_CRYPTO_OP_AES_128_GCM_DEC;
 550   a->alg = VNET_CRYPTO_ALG_AES_128_GCM;
 551   a->iv_size = 8;
 552   a->block_align = 1;
 553   a->icv_size = 16;
 554
 555   a = im->crypto_algs + IPSEC_CRYPTO_ALG_AES_GCM_192;
 556   a->enc_op_id = VNET_CRYPTO_OP_AES_192_GCM_ENC;
 557   a->dec_op_id = VNET_CRYPTO_OP_AES_192_GCM_DEC;
 558   a->alg = VNET_CRYPTO_ALG_AES_192_GCM;
 559   a->iv_size = 8;
 560   a->block_align = 1;
 561   a->icv_size = 16;
 562
 563   a = im->crypto_algs + IPSEC_CRYPTO_ALG_AES_GCM_256;
 564   a->enc_op_id = VNET_CRYPTO_OP_AES_256_GCM_ENC;
 565   a->dec_op_id = VNET_CRYPTO_OP_AES_256_GCM_DEC;
 566   a->alg = VNET_CRYPTO_ALG_AES_256_GCM;
 567   a->iv_size = 8;
 568   a->block_align = 1;
 569   a->icv_size = 16;
 570
 571   vec_validate (im->integ_algs, IPSEC_INTEG_N_ALG - 1);
 572   ipsec_main_integ_alg_t *i;
 573
 574   i = &im->integ_algs[IPSEC_INTEG_ALG_MD5_96];
 575   i->op_id = VNET_CRYPTO_OP_MD5_HMAC;
 576   i->alg = VNET_CRYPTO_ALG_HMAC_MD5;
 577   i->icv_size = 12;
 578
 579   i = &im->integ_algs[IPSEC_INTEG_ALG_SHA1_96];
 580   i->op_id = VNET_CRYPTO_OP_SHA1_HMAC;
 581   i->alg = VNET_CRYPTO_ALG_HMAC_SHA1;
 582   i->icv_size = 12;
 583
 584   i = &im->integ_algs[IPSEC_INTEG_ALG_SHA_256_96];
 585   i->op_id = VNET_CRYPTO_OP_SHA1_HMAC;
 586   i->alg = VNET_CRYPTO_ALG_HMAC_SHA256;
 587   i->icv_size = 12;
 588
 589   i = &im->integ_algs[IPSEC_INTEG_ALG_SHA_256_128];
 590   i->op_id = VNET_CRYPTO_OP_SHA256_HMAC;
 591   i->alg = VNET_CRYPTO_ALG_HMAC_SHA256;
 592   i->icv_size = 16;
 593
 594   i = &im->integ_algs[IPSEC_INTEG_ALG_SHA_384_192];
 595   i->op_id = VNET_CRYPTO_OP_SHA384_HMAC;
 596   i->alg = VNET_CRYPTO_ALG_HMAC_SHA384;
 597   i->icv_size = 24;
 598
 599   i = &im->integ_algs[IPSEC_INTEG_ALG_SHA_512_256];
 600   i->op_id = VNET_CRYPTO_OP_SHA512_HMAC;
 601   i->alg = VNET_CRYPTO_ALG_HMAC_SHA512;
 602   i->icv_size = 32;
 603
 604   vec_validate_aligned (im->ptd, vlib_num_workers (), CLIB_CACHE_LINE_BYTES);
 605
 606   im->async_mode = 0;
 607   crypto_engine_backend_register_post_node (vm);
 608
 609   im->ipsec4_out_spd_hash_tbl = NULL;
 610   im->output_flow_cache_flag = 0;
 611   im->ipsec4_out_spd_flow_cache_entries = 0;
 612   im->epoch_count = 0;
 613   im->ipsec4_out_spd_hash_num_buckets =
 614     IPSEC4_OUT_SPD_DEFAULT_HASH_NUM_BUCKETS;
 615
 616   im->ipsec4_in_spd_hash_tbl = NULL;
 617   im->input_flow_cache_flag = 0;
 618   im->ipsec4_in_spd_flow_cache_entries = 0;
 619   im->input_epoch_count = 0;
 620   im->ipsec4_in_spd_hash_num_buckets = IPSEC4_SPD_DEFAULT_HASH_NUM_BUCKETS;
 621
 622   vec_validate_init_empty_aligned (im->next_header_registrations, 255, ~0,
 623                                    CLIB_CACHE_LINE_BYTES);
 624
 625   return 0;
 626 }
 627
 628 VLIB_INIT_FUNCTION (ipsec_init);
 629
 630 static clib_error_t *
 631 ipsec_config (vlib_main_t *vm, unformat_input_t *input)
 632 {
 633   ipsec_main_t *im = &ipsec_main;
 634   unformat_input_t sub_input;
 635
 636   u32 ipsec4_out_spd_hash_num_buckets;
 637   u32 ipsec4_in_spd_hash_num_buckets;
 638
 639   while (unformat_check_input (input) != UNFORMAT_END_OF_INPUT)
 640     {
 641       if (unformat (input, "ipv4-outbound-spd-flow-cache on"))
 642         im->output_flow_cache_flag = 1;
 643       else if (unformat (input, "ipv4-outbound-spd-flow-cache off"))
 644         im->output_flow_cache_flag = 0;
 645       else if (unformat (input, "ipv4-outbound-spd-hash-buckets %d",
 646                          &ipsec4_out_spd_hash_num_buckets))
 647         {
 648           /* Size of hash is power of 2 >= number of buckets */
 649           im->ipsec4_out_spd_hash_num_buckets =
 650             1ULL << max_log2 (ipsec4_out_spd_hash_num_buckets);
 651         }
 652       else if (unformat (input, "ipv4-inbound-spd-flow-cache on"))
 653         im->input_flow_cache_flag = 1;
 654       else if (unformat (input, "ipv4-inbound-spd-flow-cache off"))
 655         im->input_flow_cache_flag = 0;
 656       else if (unformat (input, "ipv4-inbound-spd-hash-buckets %d",
 657                          &ipsec4_in_spd_hash_num_buckets))
 658         {
 659           im->ipsec4_in_spd_hash_num_buckets =
 660             1ULL << max_log2 (ipsec4_in_spd_hash_num_buckets);
 661         }
 662       else if (unformat (input, "ip4 %U", unformat_vlib_cli_sub_input,
 663                          &sub_input))
 664         {
 665           uword table_size = ~0;
 666           u32 n_buckets = ~0;
 667
 668           while (unformat_check_input (&sub_input) != UNFORMAT_END_OF_INPUT)
 669             {
 670               if (unformat (&sub_input, "num-buckets %u", &n_buckets))
 671                 ;
 672               else
 673                 return clib_error_return (0, "unknown input `%U'",
 674                                           format_unformat_error, &sub_input);
 675             }
 676
 677           ipsec_tun_table_init (AF_IP4, table_size, n_buckets);
 678         }
 679       else if (unformat (input, "ip6 %U", unformat_vlib_cli_sub_input,
 680                          &sub_input))
 681         {
 682           uword table_size = ~0;
 683           u32 n_buckets = ~0;
 684
 685           while (unformat_check_input (&sub_input) != UNFORMAT_END_OF_INPUT)
 686             {
 687               if (unformat (&sub_input, "num-buckets %u", &n_buckets))
 688                 ;
 689               else
 690                 return clib_error_return (0, "unknown input `%U'",
 691                                           format_unformat_error, &sub_input);
 692             }
 693
 694           ipsec_tun_table_init (AF_IP6, table_size, n_buckets);
 695         }
 696       else
 697         return clib_error_return (0, "unknown input `%U'",
 698                                   format_unformat_error, input);
 699     }
 700   if (im->output_flow_cache_flag)
 701     {
 702       vec_add2 (im->ipsec4_out_spd_hash_tbl, im->ipsec4_out_spd_hash_tbl,
 703                 im->ipsec4_out_spd_hash_num_buckets);
 704     }
 705   if (im->input_flow_cache_flag)
 706     {
 707       vec_add2 (im->ipsec4_in_spd_hash_tbl, im->ipsec4_in_spd_hash_tbl,
 708                 im->ipsec4_in_spd_hash_num_buckets);
 709     }
 710
 711   return 0;
 712 }
 713
 714 VLIB_CONFIG_FUNCTION (ipsec_config, "ipsec");
 715
 716 /*
 717  * fd.io coding-style-patch-verification: ON
 718  *
 719  * Local Variables:
 720  * eval: (c-set-style "gnu")
 721  * End:
 722  */