src/vnet/ipsec/ipsec.h

   1 /*
   2  * Copyright (c) 2015 Cisco and/or its affiliates.
   3  * Licensed under the Apache License, Version 2.0 (the "License");
   4  * you may not use this file except in compliance with the License.
   5  * You may obtain a copy of the License at:
   6  *
   7  *     http://www.apache.org/licenses/LICENSE-2.0
   8  *
   9  * Unless required by applicable law or agreed to in writing, software
  10  * distributed under the License is distributed on an "AS IS" BASIS,
  11  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  12  * See the License for the specific language governing permissions and
  13  * limitations under the License.
  14  */
  15 #ifndef __IPSEC_H__
  16 #define __IPSEC_H__
  17
  18 #include <vnet/ip/ip.h>
  19 #include <vnet/crypto/crypto.h>
  20 #include <vnet/feature/feature.h>
  21
  22 #include <vppinfra/types.h>
  23 #include <vppinfra/cache.h>
  24
  25 #include <vnet/ipsec/ipsec_spd.h>
  26 #include <vnet/ipsec/ipsec_spd_policy.h>
  27 #include <vnet/ipsec/ipsec_sa.h>
  28
  29 #include <vppinfra/bihash_8_16.h>
  30
  31 #include <vppinfra/bihash_24_16.h>
  32
  33 typedef clib_error_t *(*add_del_sa_sess_cb_t) (u32 sa_index, u8 is_add);
  34 typedef clib_error_t *(*check_support_cb_t) (ipsec_sa_t * sa);
  35 typedef clib_error_t *(*enable_disable_cb_t) (int is_enable);
  36
  37 typedef struct
  38 {
  39   u64 key[2];
  40   u64 value;
  41   i32 bucket_lock;
  42   u32 un_used;
  43 } ipsec4_hash_kv_16_8_t;
  44
  45 typedef union
  46 {
  47   struct
  48   {
  49     ip4_address_t ip4_addr[2];
  50     u16 port[2];
  51     u8 proto;
  52     u8 pad[3];
  53   };
  54   ipsec4_hash_kv_16_8_t kv_16_8;
  55 } ipsec4_spd_5tuple_t;
  56
  57 typedef struct
  58 {
  59   u8 *name;
  60   /* add/del callback */
  61   add_del_sa_sess_cb_t add_del_sa_sess_cb;
  62   /* check support function */
  63   check_support_cb_t check_support_cb;
  64   u32 ah4_encrypt_node_index;
  65   u32 ah4_decrypt_node_index;
  66   u32 ah4_encrypt_next_index;
  67   u32 ah4_decrypt_next_index;
  68   u32 ah6_encrypt_node_index;
  69   u32 ah6_decrypt_node_index;
  70   u32 ah6_encrypt_next_index;
  71   u32 ah6_decrypt_next_index;
  72 } ipsec_ah_backend_t;
  73
  74 typedef struct
  75 {
  76   u8 *name;
  77   /* add/del callback */
  78   add_del_sa_sess_cb_t add_del_sa_sess_cb;
  79   /* check support function */
  80   check_support_cb_t check_support_cb;
  81   /* enable or disable function */
  82   enable_disable_cb_t enable_disable_cb;
  83   u32 esp4_encrypt_node_index;
  84   u32 esp4_decrypt_node_index;
  85   u32 esp4_encrypt_next_index;
  86   u32 esp4_decrypt_next_index;
  87   u32 esp6_encrypt_node_index;
  88   u32 esp6_decrypt_node_index;
  89   u32 esp6_encrypt_next_index;
  90   u32 esp6_decrypt_next_index;
  91   u32 esp4_decrypt_tun_node_index;
  92   u32 esp4_decrypt_tun_next_index;
  93   u32 esp4_encrypt_tun_node_index;
  94   u32 esp6_decrypt_tun_node_index;
  95   u32 esp6_decrypt_tun_next_index;
  96   u32 esp6_encrypt_tun_node_index;
  97   u32 esp_mpls_encrypt_tun_node_index;
  98 } ipsec_esp_backend_t;
  99
 100 typedef struct
 101 {
 102   vnet_crypto_op_id_t enc_op_id;
 103   vnet_crypto_op_id_t dec_op_id;
 104   vnet_crypto_alg_t alg;
 105   u8 iv_size;
 106   u8 block_align;
 107   u8 icv_size;
 108 } ipsec_main_crypto_alg_t;
 109
 110 typedef struct
 111 {
 112   vnet_crypto_op_id_t op_id;
 113   vnet_crypto_alg_t alg;
 114   u8 icv_size;
 115 } ipsec_main_integ_alg_t;
 116
 117 typedef struct
 118 {
 119   CLIB_CACHE_LINE_ALIGN_MARK (cacheline0);
 120   vnet_crypto_op_t *crypto_ops;
 121   vnet_crypto_op_t *integ_ops;
 122   vnet_crypto_op_t *chained_crypto_ops;
 123   vnet_crypto_op_t *chained_integ_ops;
 124   vnet_crypto_op_chunk_t *chunks;
 125   vnet_crypto_async_frame_t **async_frames;
 126 } ipsec_per_thread_data_t;
 127
 128 typedef struct
 129 {
 130   /* pool of tunnel instances */
 131   ipsec_spd_t *spds;
 132   /* pool of policies */
 133   ipsec_policy_t *policies;
 134
 135   /* hash tables of UDP port registrations */
 136   uword *udp_port_registrations;
 137
 138   uword *tunnel_index_by_key;
 139
 140   /* convenience */
 141   vlib_main_t *vlib_main;
 142   vnet_main_t *vnet_main;
 143
 144   /* hashes */
 145   uword *spd_index_by_spd_id;
 146   uword *spd_index_by_sw_if_index;
 147   uword *sa_index_by_sa_id;
 148   uword *ipsec4_if_pool_index_by_key;
 149   uword *ipsec6_if_pool_index_by_key;
 150   uword *ipsec_if_real_dev_by_show_dev;
 151   uword *ipsec_if_by_sw_if_index;
 152
 153   ipsec4_hash_kv_16_8_t *ipsec4_out_spd_hash_tbl;
 154   clib_bihash_8_16_t tun4_protect_by_key;
 155   clib_bihash_24_16_t tun6_protect_by_key;
 156
 157   /* node indices */
 158   u32 error_drop_node_index;
 159   u32 esp4_encrypt_node_index;
 160   u32 esp4_decrypt_node_index;
 161   u32 esp4_decrypt_tun_node_index;
 162   u32 esp4_encrypt_tun_node_index;
 163   u32 ah4_encrypt_node_index;
 164   u32 ah4_decrypt_node_index;
 165   u32 esp6_encrypt_node_index;
 166   u32 esp6_decrypt_node_index;
 167   u32 esp6_decrypt_tun_node_index;
 168   u32 esp6_encrypt_tun_node_index;
 169   u32 esp_mpls_encrypt_tun_node_index;
 170   u32 ah6_encrypt_node_index;
 171   u32 ah6_decrypt_node_index;
 172   /* next node indices */
 173   u32 esp4_encrypt_next_index;
 174   u32 esp4_decrypt_next_index;
 175   u32 esp4_decrypt_tun_next_index;
 176   u32 ah4_encrypt_next_index;
 177   u32 ah4_decrypt_next_index;
 178   u32 esp6_encrypt_next_index;
 179   u32 esp6_decrypt_next_index;
 180   u32 esp6_decrypt_tun_next_index;
 181   u32 ah6_encrypt_next_index;
 182   u32 ah6_decrypt_next_index;
 183
 184   /* tun nodes to drop packets when no crypto alg set on outbound SA */
 185   u32 esp4_no_crypto_tun_node_index;
 186   u32 esp6_no_crypto_tun_node_index;
 187
 188   /* tun nodes for encrypt on L2 interfaces */
 189   u32 esp4_encrypt_l2_tun_node_index;
 190   u32 esp6_encrypt_l2_tun_node_index;
 191
 192   /* pool of ah backends */
 193   ipsec_ah_backend_t *ah_backends;
 194   /* pool of esp backends */
 195   ipsec_esp_backend_t *esp_backends;
 196   /* index of current ah backend */
 197   u32 ah_current_backend;
 198   /* index of current esp backend */
 199   u32 esp_current_backend;
 200   /* index of default ah backend */
 201   u32 ah_default_backend;
 202   /* index of default esp backend */
 203   u32 esp_default_backend;
 204
 205   /* crypto alg data */
 206   ipsec_main_crypto_alg_t *crypto_algs;
 207
 208   /* crypto integ data */
 209   ipsec_main_integ_alg_t *integ_algs;
 210
 211   /* per-thread data */
 212   ipsec_per_thread_data_t *ptd;
 213
 214   /** Worker handoff */
 215   u32 ah4_enc_fq_index;
 216   u32 ah4_dec_fq_index;
 217   u32 ah6_enc_fq_index;
 218   u32 ah6_dec_fq_index;
 219
 220   u32 esp4_enc_fq_index;
 221   u32 esp4_dec_fq_index;
 222   u32 esp6_enc_fq_index;
 223   u32 esp6_dec_fq_index;
 224   u32 esp4_enc_tun_fq_index;
 225   u32 esp6_enc_tun_fq_index;
 226   u32 esp_mpls_enc_tun_fq_index;
 227   u32 esp4_dec_tun_fq_index;
 228   u32 esp6_dec_tun_fq_index;
 229
 230   /* Number of buckets for flow cache */
 231   u32 ipsec4_out_spd_hash_num_buckets;
 232   u32 ipsec4_out_spd_flow_cache_entries;
 233   u32 epoch_count;
 234   u8 async_mode;
 235   u16 msg_id_base;
 236   u8 flow_cache_flag;
 237 } ipsec_main_t;
 238
 239 typedef enum ipsec_format_flags_t_
 240 {
 241   IPSEC_FORMAT_BRIEF = 0,
 242   IPSEC_FORMAT_DETAIL = (1 << 0),
 243   IPSEC_FORMAT_INSECURE = (1 << 1),
 244 } ipsec_format_flags_t;
 245
 246 extern ipsec_main_t ipsec_main;
 247
 248 clib_error_t *ipsec_add_del_sa_sess_cb (ipsec_main_t * im, u32 sa_index,
 249                                         u8 is_add);
 250
 251 clib_error_t *ipsec_check_support_cb (ipsec_main_t * im, ipsec_sa_t * sa);
 252
 253 extern vlib_node_registration_t ipsec4_tun_input_node;
 254 extern vlib_node_registration_t ipsec6_tun_input_node;
 255
 256 /*
 257  * functions
 258  */
 259
 260 /*
 261  *  inline functions
 262  */
 263
 264 static_always_inline u32
 265 get_next_output_feature_node_index (vlib_buffer_t * b,
 266                                     vlib_node_runtime_t * nr)
 267 {
 268   u32 next;
 269   vlib_main_t *vm = vlib_get_main ();
 270   vlib_node_t *node = vlib_get_node (vm, nr->node_index);
 271
 272   vnet_feature_next (&next, b);
 273   return node->next_nodes[next];
 274 }
 275
 276 static_always_inline u64
 277 ipsec4_hash_16_8 (ipsec4_hash_kv_16_8_t *v)
 278 {
 279 #ifdef clib_crc32c_uses_intrinsics
 280   return clib_crc32c ((u8 *) v->key, 16);
 281 #else
 282   u64 tmp = v->key[0] ^ v->key[1];
 283   return clib_xxhash (tmp);
 284 #endif
 285 }
 286
 287 static_always_inline int
 288 ipsec4_hash_key_compare_16_8 (u64 *a, u64 *b)
 289 {
 290 #if defined(CLIB_HAVE_VEC128) && defined(CLIB_HAVE_VEC128_UNALIGNED_LOAD_STORE)
 291   u64x2 v;
 292   v = u64x2_load_unaligned (a) ^ u64x2_load_unaligned (b);
 293   return u64x2_is_all_zero (v);
 294 #else
 295   return ((a[0] ^ b[0]) | (a[1] ^ b[1])) == 0;
 296 #endif
 297 }
 298
 299 /* clib_spinlock_lock is not used to save another memory indirection */
 300 static_always_inline void
 301 ipsec_spinlock_lock (i32 *lock)
 302 {
 303   i32 free = 0;
 304   while (!clib_atomic_cmp_and_swap_acq_relax_n (lock, &free, 1, 0))
 305     {
 306       /* atomic load limits number of compare_exchange executions */
 307       while (clib_atomic_load_relax_n (lock))
 308         CLIB_PAUSE ();
 309       /* on failure, compare_exchange writes lock into free */
 310       free = 0;
 311     }
 312 }
 313
 314 static_always_inline void
 315 ipsec_spinlock_unlock (i32 *lock)
 316 {
 317   /* Make sure all reads/writes are complete before releasing the lock */
 318   clib_atomic_release (lock);
 319 }
 320
 321 u32 ipsec_register_ah_backend (vlib_main_t * vm, ipsec_main_t * im,
 322                                const char *name,
 323                                const char *ah4_encrypt_node_name,
 324                                const char *ah4_decrypt_node_name,
 325                                const char *ah6_encrypt_node_name,
 326                                const char *ah6_decrypt_node_name,
 327                                check_support_cb_t ah_check_support_cb,
 328                                add_del_sa_sess_cb_t ah_add_del_sa_sess_cb);
 329
 330 u32 ipsec_register_esp_backend (
 331   vlib_main_t *vm, ipsec_main_t *im, const char *name,
 332   const char *esp4_encrypt_node_name, const char *esp4_encrypt_tun_node_name,
 333   const char *esp4_decrypt_node_name, const char *esp4_decrypt_tun_node_name,
 334   const char *esp6_encrypt_node_name, const char *esp6_encrypt_tun_node_name,
 335   const char *esp6_decrypt_node_name, const char *esp6_decrypt_tun_node_name,
 336   const char *esp_mpls_encrypt_tun_node_name,
 337   check_support_cb_t esp_check_support_cb,
 338   add_del_sa_sess_cb_t esp_add_del_sa_sess_cb,
 339   enable_disable_cb_t enable_disable_cb);
 340
 341 int ipsec_select_ah_backend (ipsec_main_t * im, u32 ah_backend_idx);
 342 int ipsec_select_esp_backend (ipsec_main_t * im, u32 esp_backend_idx);
 343
 344 clib_error_t *ipsec_rsc_in_use (ipsec_main_t * im);
 345 void ipsec_set_async_mode (u32 is_enabled);
 346
 347 extern void ipsec_register_udp_port (u16 udp_port);
 348 extern void ipsec_unregister_udp_port (u16 udp_port);
 349
 350 #endif /* __IPSEC_H__ */
 351
 352 /*
 353  * fd.io coding-style-patch-verification: ON
 354  *
 355  * Local Variables:
 356  * eval: (c-set-style "gnu")
 357  * End:
 358  */