IPSEC: tunnel encap/decap dual loop speedups
[vpp.git] / src / vnet / ipsec / ipsec.h
1 /*
2  * Copyright (c) 2015 Cisco and/or its affiliates.
3  * Licensed under the Apache License, Version 2.0 (the "License");
4  * you may not use this file except in compliance with the License.
5  * You may obtain a copy of the License at:
6  *
7  *     http://www.apache.org/licenses/LICENSE-2.0
8  *
9  * Unless required by applicable law or agreed to in writing, software
10  * distributed under the License is distributed on an "AS IS" BASIS,
11  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
12  * See the License for the specific language governing permissions and
13  * limitations under the License.
14  */
15 #ifndef __IPSEC_H__
16 #define __IPSEC_H__
17
18 #include <vnet/ip/ip.h>
19 #include <vnet/feature/feature.h>
20
21 #include <openssl/hmac.h>
22 #include <openssl/rand.h>
23 #include <openssl/evp.h>
24
25 #include <vppinfra/types.h>
26 #include <vppinfra/cache.h>
27
28 #include <vnet/ipsec/ipsec_spd.h>
29 #include <vnet/ipsec/ipsec_spd_policy.h>
30 #include <vnet/ipsec/ipsec_sa.h>
31 #include <vnet/ipsec/ipsec_if.h>
32
33 typedef clib_error_t *(*add_del_sa_sess_cb_t) (u32 sa_index, u8 is_add);
34 typedef clib_error_t *(*check_support_cb_t) (ipsec_sa_t * sa);
35
36 typedef struct
37 {
38   u8 *name;
39   /* add/del callback */
40   add_del_sa_sess_cb_t add_del_sa_sess_cb;
41   /* check support function */
42   check_support_cb_t check_support_cb;
43   u32 ah4_encrypt_node_index;
44   u32 ah4_decrypt_node_index;
45   u32 ah4_encrypt_next_index;
46   u32 ah4_decrypt_next_index;
47   u32 ah6_encrypt_node_index;
48   u32 ah6_decrypt_node_index;
49   u32 ah6_encrypt_next_index;
50   u32 ah6_decrypt_next_index;
51 } ipsec_ah_backend_t;
52
53 typedef struct
54 {
55   u8 *name;
56   /* add/del callback */
57   add_del_sa_sess_cb_t add_del_sa_sess_cb;
58   /* check support function */
59   check_support_cb_t check_support_cb;
60   u32 esp4_encrypt_node_index;
61   u32 esp4_decrypt_node_index;
62   u32 esp4_encrypt_next_index;
63   u32 esp4_decrypt_next_index;
64   u32 esp6_encrypt_node_index;
65   u32 esp6_decrypt_node_index;
66   u32 esp6_encrypt_next_index;
67   u32 esp6_decrypt_next_index;
68 } ipsec_esp_backend_t;
69
70 typedef struct
71 {
72   const EVP_CIPHER *type;
73   u8 iv_size;
74   u8 block_size;
75 } ipsec_proto_main_crypto_alg_t;
76
77 typedef struct
78 {
79   const EVP_MD *md;
80   u8 trunc_size;
81 } ipsec_proto_main_integ_alg_t;
82
83 typedef struct
84 {
85   CLIB_CACHE_LINE_ALIGN_MARK (cacheline0);
86 #if OPENSSL_VERSION_NUMBER >= 0x10100000L
87   EVP_CIPHER_CTX *encrypt_ctx;
88 #else
89   EVP_CIPHER_CTX encrypt_ctx;
90 #endif
91     CLIB_CACHE_LINE_ALIGN_MARK (cacheline1);
92 #if OPENSSL_VERSION_NUMBER >= 0x10100000L
93   EVP_CIPHER_CTX *decrypt_ctx;
94 #else
95   EVP_CIPHER_CTX decrypt_ctx;
96 #endif
97     CLIB_CACHE_LINE_ALIGN_MARK (cacheline2);
98 #if OPENSSL_VERSION_NUMBER >= 0x10100000L
99   HMAC_CTX *hmac_ctx;
100 #else
101   HMAC_CTX hmac_ctx;
102 #endif
103   ipsec_crypto_alg_t last_encrypt_alg;
104   ipsec_crypto_alg_t last_decrypt_alg;
105   ipsec_integ_alg_t last_integ_alg;
106 } ipsec_proto_main_per_thread_data_t;
107
108 typedef struct
109 {
110   ipsec_proto_main_crypto_alg_t *ipsec_proto_main_crypto_algs;
111   ipsec_proto_main_integ_alg_t *ipsec_proto_main_integ_algs;
112   ipsec_proto_main_per_thread_data_t *per_thread_data;
113 } ipsec_proto_main_t;
114
115 extern ipsec_proto_main_t ipsec_proto_main;
116
117 typedef struct
118 {
119   /* pool of tunnel instances */
120   ipsec_spd_t *spds;
121   /* Pool of security associations */
122   ipsec_sa_t *sad;
123   /* pool of policies */
124   ipsec_policy_t *policies;
125
126   /* pool of tunnel interfaces */
127   ipsec_tunnel_if_t *tunnel_interfaces;
128
129   u32 **empty_buffers;
130
131   uword *tunnel_index_by_key;
132
133   /* convenience */
134   vlib_main_t *vlib_main;
135   vnet_main_t *vnet_main;
136
137   /* hashes */
138   uword *spd_index_by_spd_id;
139   uword *spd_index_by_sw_if_index;
140   uword *sa_index_by_sa_id;
141   uword *ipsec_if_pool_index_by_key;
142   uword *ipsec_if_real_dev_by_show_dev;
143
144   /* node indices */
145   u32 error_drop_node_index;
146   u32 esp4_encrypt_node_index;
147   u32 esp4_decrypt_node_index;
148   u32 ah4_encrypt_node_index;
149   u32 ah4_decrypt_node_index;
150   u32 esp6_encrypt_node_index;
151   u32 esp6_decrypt_node_index;
152   u32 ah6_encrypt_node_index;
153   u32 ah6_decrypt_node_index;
154   /* next node indices */
155   u32 esp4_encrypt_next_index;
156   u32 esp4_decrypt_next_index;
157   u32 ah4_encrypt_next_index;
158   u32 ah4_decrypt_next_index;
159   u32 esp6_encrypt_next_index;
160   u32 esp6_decrypt_next_index;
161   u32 ah6_encrypt_next_index;
162   u32 ah6_decrypt_next_index;
163
164   /* pool of ah backends */
165   ipsec_ah_backend_t *ah_backends;
166   /* pool of esp backends */
167   ipsec_esp_backend_t *esp_backends;
168   /* index of current ah backend */
169   u32 ah_current_backend;
170   /* index of current esp backend */
171   u32 esp_current_backend;
172   /* index of default ah backend */
173   u32 ah_default_backend;
174   /* index of default esp backend */
175   u32 esp_default_backend;
176 } ipsec_main_t;
177
178 extern ipsec_main_t ipsec_main;
179
180 clib_error_t *ipsec_add_del_sa_sess_cb (ipsec_main_t * im, u32 sa_index,
181                                         u8 is_add);
182
183 clib_error_t *ipsec_check_support_cb (ipsec_main_t * im, ipsec_sa_t * sa);
184
185 extern vlib_node_registration_t esp4_encrypt_node;
186 extern vlib_node_registration_t esp4_decrypt_node;
187 extern vlib_node_registration_t ah4_encrypt_node;
188 extern vlib_node_registration_t ah4_decrypt_node;
189 extern vlib_node_registration_t esp6_encrypt_node;
190 extern vlib_node_registration_t esp6_decrypt_node;
191 extern vlib_node_registration_t ah6_encrypt_node;
192 extern vlib_node_registration_t ah6_decrypt_node;
193 extern vlib_node_registration_t ipsec_if_input_node;
194
195 /*
196  * functions
197  */
198 u8 *format_ipsec_replay_window (u8 * s, va_list * args);
199
200 /*
201  *  inline functions
202  */
203
204 always_inline void
205 ipsec_alloc_empty_buffers (vlib_main_t * vm, ipsec_main_t * im)
206 {
207   u32 thread_index = vm->thread_index;
208   uword l = vec_len (im->empty_buffers[thread_index]);
209   uword n_alloc = 0;
210
211   if (PREDICT_FALSE (l < VLIB_FRAME_SIZE))
212     {
213       if (!im->empty_buffers[thread_index])
214         {
215           vec_alloc (im->empty_buffers[thread_index], 2 * VLIB_FRAME_SIZE);
216         }
217
218       n_alloc = vlib_buffer_alloc (vm, im->empty_buffers[thread_index] + l,
219                                    2 * VLIB_FRAME_SIZE - l);
220
221       _vec_len (im->empty_buffers[thread_index]) = l + n_alloc;
222     }
223 }
224
225 static_always_inline u32
226 get_next_output_feature_node_index (vlib_buffer_t * b,
227                                     vlib_node_runtime_t * nr)
228 {
229   u32 next;
230   vlib_main_t *vm = vlib_get_main ();
231   vlib_node_t *node = vlib_get_node (vm, nr->node_index);
232
233   vnet_feature_next (&next, b);
234   return node->next_nodes[next];
235 }
236
237 u32 ipsec_register_ah_backend (vlib_main_t * vm, ipsec_main_t * im,
238                                const char *name,
239                                const char *ah4_encrypt_node_name,
240                                const char *ah4_decrypt_node_name,
241                                const char *ah6_encrypt_node_name,
242                                const char *ah6_decrypt_node_name,
243                                check_support_cb_t ah_check_support_cb,
244                                add_del_sa_sess_cb_t ah_add_del_sa_sess_cb);
245
246 u32 ipsec_register_esp_backend (vlib_main_t * vm, ipsec_main_t * im,
247                                 const char *name,
248                                 const char *esp4_encrypt_node_name,
249                                 const char *esp4_decrypt_node_name,
250                                 const char *esp6_encrypt_node_name,
251                                 const char *esp6_decrypt_node_name,
252                                 check_support_cb_t esp_check_support_cb,
253                                 add_del_sa_sess_cb_t esp_add_del_sa_sess_cb);
254
255 int ipsec_select_ah_backend (ipsec_main_t * im, u32 ah_backend_idx);
256 int ipsec_select_esp_backend (ipsec_main_t * im, u32 esp_backend_idx);
257 #endif /* __IPSEC_H__ */
258
259 /*
260  * fd.io coding-style-patch-verification: ON
261  *
262  * Local Variables:
263  * eval: (c-set-style "gnu")
264  * End:
265  */