ipsec: Layout and prefetching of SA struct
[vpp.git] / src / vnet / ipsec / ipsec_sa.h
1 /*
2  * Copyright (c) 2015 Cisco and/or its affiliates.
3  * Licensed under the Apache License, Version 2.0 (the "License");
4  * you may not use this file except in compliance with the License.
5  * You may obtain a copy of the License at:
6  *
7  *     http://www.apache.org/licenses/LICENSE-2.0
8  *
9  * Unless required by applicable law or agreed to in writing, software
10  * distributed under the License is distributed on an "AS IS" BASIS,
11  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
12  * See the License for the specific language governing permissions and
13  * limitations under the License.
14  */
15 #ifndef __IPSEC_SPD_SA_H__
16 #define __IPSEC_SPD_SA_H__
17
18 #include <vlib/vlib.h>
19 #include <vnet/crypto/crypto.h>
20 #include <vnet/ip/ip.h>
21 #include <vnet/fib/fib_node.h>
22
23 #define foreach_ipsec_crypto_alg    \
24   _ (0, NONE, "none")               \
25   _ (1, AES_CBC_128, "aes-cbc-128") \
26   _ (2, AES_CBC_192, "aes-cbc-192") \
27   _ (3, AES_CBC_256, "aes-cbc-256") \
28   _ (4, AES_CTR_128, "aes-ctr-128") \
29   _ (5, AES_CTR_192, "aes-ctr-192") \
30   _ (6, AES_CTR_256, "aes-ctr-256") \
31   _ (7, AES_GCM_128, "aes-gcm-128") \
32   _ (8, AES_GCM_192, "aes-gcm-192") \
33   _ (9, AES_GCM_256, "aes-gcm-256") \
34   _ (10, DES_CBC, "des-cbc")        \
35   _ (11, 3DES_CBC, "3des-cbc")
36
37 typedef enum
38 {
39 #define _(v, f, s) IPSEC_CRYPTO_ALG_##f = v,
40   foreach_ipsec_crypto_alg
41 #undef _
42     IPSEC_CRYPTO_N_ALG,
43 } __clib_packed ipsec_crypto_alg_t;
44
45 #define IPSEC_CRYPTO_ALG_IS_GCM(_alg)                     \
46   (((_alg == IPSEC_CRYPTO_ALG_AES_GCM_128) ||             \
47     (_alg == IPSEC_CRYPTO_ALG_AES_GCM_192) ||             \
48     (_alg == IPSEC_CRYPTO_ALG_AES_GCM_256)))
49
50 #define foreach_ipsec_integ_alg                                            \
51   _ (0, NONE, "none")                                                      \
52   _ (1, MD5_96, "md5-96")           /* RFC2403 */                          \
53   _ (2, SHA1_96, "sha1-96")         /* RFC2404 */                          \
54   _ (3, SHA_256_96, "sha-256-96")   /* draft-ietf-ipsec-ciph-sha-256-00 */ \
55   _ (4, SHA_256_128, "sha-256-128") /* RFC4868 */                          \
56   _ (5, SHA_384_192, "sha-384-192") /* RFC4868 */                          \
57   _ (6, SHA_512_256, "sha-512-256")     /* RFC4868 */
58
59 typedef enum
60 {
61 #define _(v, f, s) IPSEC_INTEG_ALG_##f = v,
62   foreach_ipsec_integ_alg
63 #undef _
64     IPSEC_INTEG_N_ALG,
65 } __clib_packed ipsec_integ_alg_t;
66
67 typedef enum
68 {
69   IPSEC_PROTOCOL_AH = 0,
70   IPSEC_PROTOCOL_ESP = 1
71 } __clib_packed ipsec_protocol_t;
72
73 #define IPSEC_KEY_MAX_LEN 128
74 typedef struct ipsec_key_t_
75 {
76   u8 len;
77   u8 data[IPSEC_KEY_MAX_LEN];
78 } ipsec_key_t;
79
80 /*
81  * Enable extended sequence numbers
82  * Enable Anti-replay
83  * IPsec tunnel mode if non-zero, else transport mode
84  * IPsec tunnel mode is IPv6 if non-zero,
85  * else IPv4 tunnel only valid if is_tunnel is non-zero
86  * enable UDP encapsulation for NAT traversal
87  */
88 #define foreach_ipsec_sa_flags                            \
89   _ (0, NONE, "none")                                     \
90   _ (1, USE_ESN, "esn")                                   \
91   _ (2, USE_ANTI_REPLAY, "anti-replay")                   \
92   _ (4, IS_TUNNEL, "tunnel")                              \
93   _ (8, IS_TUNNEL_V6, "tunnel-v6")                        \
94   _ (16, UDP_ENCAP, "udp-encap")                          \
95   _ (32, IS_PROTECT, "Protect")                           \
96   _ (64, IS_INBOUND, "inbound")                           \
97   _ (128, IS_AEAD, "aead")                                \
98
99 typedef enum ipsec_sad_flags_t_
100 {
101 #define _(v, f, s) IPSEC_SA_FLAG_##f = v,
102   foreach_ipsec_sa_flags
103 #undef _
104 } __clib_packed ipsec_sa_flags_t;
105
106 STATIC_ASSERT (sizeof (ipsec_sa_flags_t) == 1, "IPSEC SA flags > 1 byte");
107
108 typedef struct
109 {
110   CLIB_CACHE_LINE_ALIGN_MARK (cacheline0);
111
112   /* flags */
113   ipsec_sa_flags_t flags;
114
115   u8 crypto_iv_size;
116   u8 esp_block_align;
117   u8 integ_icv_size;
118   u32 encrypt_thread_index;
119   u32 decrypt_thread_index;
120   u32 spi;
121   u32 seq;
122   u32 seq_hi;
123   u32 last_seq;
124   u32 last_seq_hi;
125   u64 replay_window;
126   dpo_id_t dpo;
127
128   vnet_crypto_key_index_t crypto_key_index;
129   vnet_crypto_key_index_t integ_key_index;
130
131   /* Union data shared by sync and async ops, updated when mode is
132    * changed. */
133   union
134   {
135     struct
136     {
137       vnet_crypto_op_id_t crypto_enc_op_id:16;
138       vnet_crypto_op_id_t crypto_dec_op_id:16;
139       vnet_crypto_op_id_t integ_op_id:16;
140     };
141
142     struct
143     {
144       vnet_crypto_async_op_id_t crypto_async_enc_op_id:16;
145       vnet_crypto_async_op_id_t crypto_async_dec_op_id:16;
146       vnet_crypto_key_index_t linked_key_index;
147     };
148
149     u64 crypto_op_data;
150   };
151
152     CLIB_CACHE_LINE_ALIGN_MARK (cacheline1);
153
154   u64 gcm_iv_counter;
155   union
156   {
157     ip4_header_t ip4_hdr;
158     ip6_header_t ip6_hdr;
159   };
160   udp_header_t udp_hdr;
161
162   /* Salt used in GCM modes - stored in network byte order */
163   u32 salt;
164
165   ipsec_protocol_t protocol;
166   u8 __pad[3];
167
168   /* data accessed by dataplane code should be above this comment */
169     CLIB_CACHE_LINE_ALIGN_MARK (cacheline2);
170
171   /* Elements with u64 size multiples */
172   union
173   {
174     struct
175     {
176       vnet_crypto_op_id_t crypto_enc_op_id:16;
177       vnet_crypto_op_id_t crypto_dec_op_id:16;
178       vnet_crypto_op_id_t integ_op_id:16;
179     };
180     u64 data;
181   } sync_op_data;
182
183   union
184   {
185     struct
186     {
187       vnet_crypto_async_op_id_t crypto_async_enc_op_id:16;
188       vnet_crypto_async_op_id_t crypto_async_dec_op_id:16;
189       vnet_crypto_key_index_t linked_key_index;
190     };
191     u64 data;
192   } async_op_data;
193
194   ip46_address_t tunnel_src_addr;
195   ip46_address_t tunnel_dst_addr;
196
197   fib_node_t node;
198
199   /* elements with u32 size */
200   u32 id;
201   u32 stat_index;
202   vnet_crypto_alg_t integ_calg;
203   vnet_crypto_alg_t crypto_calg;
204
205   fib_node_index_t fib_entry_index;
206   u32 sibling;
207   u32 tx_fib_index;
208
209   /* else u8 packed */
210   ipsec_crypto_alg_t crypto_alg;
211   ipsec_integ_alg_t integ_alg;
212
213   ipsec_key_t integ_key;
214   ipsec_key_t crypto_key;
215 } ipsec_sa_t;
216
217 STATIC_ASSERT_OFFSET_OF (ipsec_sa_t, cacheline1, CLIB_CACHE_LINE_BYTES);
218 STATIC_ASSERT_OFFSET_OF (ipsec_sa_t, cacheline2, 2 * CLIB_CACHE_LINE_BYTES);
219
220 #define _(a,v,s)                                                        \
221   always_inline int                                                     \
222   ipsec_sa_is_set_##v (const ipsec_sa_t *sa) {                          \
223     return (sa->flags & IPSEC_SA_FLAG_##v);                             \
224   }
225 foreach_ipsec_sa_flags
226 #undef _
227 #define _(a,v,s)                                                        \
228   always_inline int                                                     \
229   ipsec_sa_set_##v (ipsec_sa_t *sa) {                                   \
230     return (sa->flags |= IPSEC_SA_FLAG_##v);                            \
231   }
232   foreach_ipsec_sa_flags
233 #undef _
234 #define _(a,v,s)                                                        \
235   always_inline int                                                     \
236   ipsec_sa_unset_##v (ipsec_sa_t *sa) {                                 \
237     return (sa->flags &= ~IPSEC_SA_FLAG_##v);                           \
238   }
239   foreach_ipsec_sa_flags
240 #undef _
241 /**
242  * @brief
243  * SA packet & bytes counters
244  */
245 extern vlib_combined_counter_main_t ipsec_sa_counters;
246
247 extern void ipsec_mk_key (ipsec_key_t * key, const u8 * data, u8 len);
248
249 extern int ipsec_sa_add_and_lock (u32 id,
250                                   u32 spi,
251                                   ipsec_protocol_t proto,
252                                   ipsec_crypto_alg_t crypto_alg,
253                                   const ipsec_key_t * ck,
254                                   ipsec_integ_alg_t integ_alg,
255                                   const ipsec_key_t * ik,
256                                   ipsec_sa_flags_t flags,
257                                   u32 tx_table_id,
258                                   u32 salt,
259                                   const ip46_address_t * tunnel_src_addr,
260                                   const ip46_address_t * tunnel_dst_addr,
261                                   u32 * sa_index, u16 src_port, u16 dst_port);
262 extern index_t ipsec_sa_find_and_lock (u32 id);
263 extern int ipsec_sa_unlock_id (u32 id);
264 extern void ipsec_sa_unlock (index_t sai);
265 extern void ipsec_sa_lock (index_t sai);
266 extern void ipsec_sa_clear (index_t sai);
267 extern void ipsec_sa_set_crypto_alg (ipsec_sa_t * sa,
268                                      ipsec_crypto_alg_t crypto_alg);
269 extern void ipsec_sa_set_integ_alg (ipsec_sa_t * sa,
270                                     ipsec_integ_alg_t integ_alg);
271
272 typedef walk_rc_t (*ipsec_sa_walk_cb_t) (ipsec_sa_t * sa, void *ctx);
273 extern void ipsec_sa_walk (ipsec_sa_walk_cb_t cd, void *ctx);
274
275 extern u8 *format_ipsec_crypto_alg (u8 * s, va_list * args);
276 extern u8 *format_ipsec_integ_alg (u8 * s, va_list * args);
277 extern u8 *format_ipsec_sa (u8 * s, va_list * args);
278 extern u8 *format_ipsec_key (u8 * s, va_list * args);
279 extern uword unformat_ipsec_crypto_alg (unformat_input_t * input,
280                                         va_list * args);
281 extern uword unformat_ipsec_integ_alg (unformat_input_t * input,
282                                        va_list * args);
283 extern uword unformat_ipsec_key (unformat_input_t * input, va_list * args);
284
285 #define IPSEC_UDP_PORT_NONE ((u16)~0)
286
287 /*
288  * Anti Replay definitions
289  */
290
291 #define IPSEC_SA_ANTI_REPLAY_WINDOW_SIZE (64)
292 #define IPSEC_SA_ANTI_REPLAY_WINDOW_MAX_INDEX (IPSEC_SA_ANTI_REPLAY_WINDOW_SIZE-1)
293
294 /*
295  * sequence number less than the lower bound are outside of the window
296  * From RFC4303 Appendix A:
297  *  Bl = Tl - W + 1
298  */
299 #define IPSEC_SA_ANTI_REPLAY_WINDOW_LOWER_BOUND(_tl) (_tl - IPSEC_SA_ANTI_REPLAY_WINDOW_SIZE + 1)
300
301 /*
302  * Anti replay check.
303  *  inputs need to be in host byte order.
304  */
305 always_inline int
306 ipsec_sa_anti_replay_check (ipsec_sa_t * sa, u32 seq)
307 {
308   u32 diff, tl, th;
309
310   if ((sa->flags & IPSEC_SA_FLAG_USE_ANTI_REPLAY) == 0)
311     return 0;
312
313   if (!ipsec_sa_is_set_USE_ESN (sa))
314     {
315       if (PREDICT_TRUE (seq > sa->last_seq))
316         return 0;
317
318       diff = sa->last_seq - seq;
319
320       if (IPSEC_SA_ANTI_REPLAY_WINDOW_SIZE > diff)
321         return (sa->replay_window & (1ULL << diff)) ? 1 : 0;
322       else
323         return 1;
324
325       return 0;
326     }
327
328   tl = sa->last_seq;
329   th = sa->last_seq_hi;
330   diff = tl - seq;
331
332   if (PREDICT_TRUE (tl >= (IPSEC_SA_ANTI_REPLAY_WINDOW_MAX_INDEX)))
333     {
334       /*
335        * the last sequence number VPP recieved is more than one
336        * window size greater than zero.
337        * Case A from RFC4303 Appendix A.
338        */
339       if (seq < IPSEC_SA_ANTI_REPLAY_WINDOW_LOWER_BOUND (tl))
340         {
341           /*
342            * the received sequence number is lower than the lower bound
343            * of the window, this could mean either a replay packet or that
344            * the high sequence number has wrapped. if it decrypts corrently
345            * then it's the latter.
346            */
347           sa->seq_hi = th + 1;
348           return 0;
349         }
350       else
351         {
352           /*
353            * the recieved sequence number greater than the low
354            * end of the window.
355            */
356           sa->seq_hi = th;
357           if (seq <= tl)
358             /*
359              * The recieved seq number is within bounds of the window
360              * check if it's a duplicate
361              */
362             return (sa->replay_window & (1ULL << diff)) ? 1 : 0;
363           else
364             /*
365              * The received sequence number is greater than the window
366              * upper bound. this packet will move the window along, assuming
367              * it decrypts correctly.
368              */
369             return 0;
370         }
371     }
372   else
373     {
374       /*
375        * the last sequence number VPP recieved is within one window
376        * size of zero, i.e. 0 < TL < WINDOW_SIZE, the lower bound is thus a
377        * large sequence number.
378        * Note that the check below uses unsiged integer arthimetic, so the
379        * RHS will be a larger number.
380        * Case B from RFC4303 Appendix A.
381        */
382       if (seq < IPSEC_SA_ANTI_REPLAY_WINDOW_LOWER_BOUND (tl))
383         {
384           /*
385            * the sequence number is less than the lower bound.
386            */
387           if (seq <= tl)
388             {
389               /*
390                * the packet is within the window upper bound.
391                * check for duplicates.
392                */
393               sa->seq_hi = th;
394               return (sa->replay_window & (1ULL << diff)) ? 1 : 0;
395             }
396           else
397             {
398               /*
399                * the packet is less the window lower bound or greater than
400                * the higher bound, depending on how you look at it...
401                * We're assuming, given that the last sequence number received,
402                * TL < WINDOW_SIZE, that a largeer seq num is more likely to be
403                * a packet that moves the window forward, than a packet that has
404                * wrapped the high sequence again. If it were the latter then
405                * we've lost close to 2^32 packets.
406                */
407               sa->seq_hi = th;
408               return 0;
409             }
410         }
411       else
412         {
413           /*
414            * the packet seq number is between the lower bound (a large nubmer)
415            * and MAX_SEQ_NUM. This is in the window since the window upper bound
416            * tl > 0.
417            * However, since TL is the other side of 0 to the received
418            * packet, the SA has moved on to a higher sequence number.
419            */
420           sa->seq_hi = th - 1;
421           return (sa->replay_window & (1ULL << diff)) ? 1 : 0;
422         }
423     }
424
425   return 0;
426 }
427
428 /*
429  * Anti replay window advance
430  *  inputs need to be in host byte order.
431  */
432 always_inline void
433 ipsec_sa_anti_replay_advance (ipsec_sa_t * sa, u32 seq)
434 {
435   u32 pos;
436   if (PREDICT_TRUE (sa->flags & IPSEC_SA_FLAG_USE_ANTI_REPLAY) == 0)
437     return;
438
439   if (PREDICT_TRUE (sa->flags & IPSEC_SA_FLAG_USE_ESN))
440     {
441       int wrap = sa->seq_hi - sa->last_seq_hi;
442
443       if (wrap == 0 && seq > sa->last_seq)
444         {
445           pos = seq - sa->last_seq;
446           if (pos < IPSEC_SA_ANTI_REPLAY_WINDOW_SIZE)
447             sa->replay_window = ((sa->replay_window) << pos) | 1;
448           else
449             sa->replay_window = 1;
450           sa->last_seq = seq;
451         }
452       else if (wrap > 0)
453         {
454           pos = ~seq + sa->last_seq + 1;
455           if (pos < IPSEC_SA_ANTI_REPLAY_WINDOW_SIZE)
456             sa->replay_window = ((sa->replay_window) << pos) | 1;
457           else
458             sa->replay_window = 1;
459           sa->last_seq = seq;
460           sa->last_seq_hi = sa->seq_hi;
461         }
462       else if (wrap < 0)
463         {
464           pos = ~seq + sa->last_seq + 1;
465           sa->replay_window |= (1ULL << pos);
466         }
467       else
468         {
469           pos = sa->last_seq - seq;
470           sa->replay_window |= (1ULL << pos);
471         }
472     }
473   else
474     {
475       if (seq > sa->last_seq)
476         {
477           pos = seq - sa->last_seq;
478           if (pos < IPSEC_SA_ANTI_REPLAY_WINDOW_SIZE)
479             sa->replay_window = ((sa->replay_window) << pos) | 1;
480           else
481             sa->replay_window = 1;
482           sa->last_seq = seq;
483         }
484       else
485         {
486           pos = sa->last_seq - seq;
487           sa->replay_window |= (1ULL << pos);
488         }
489     }
490 }
491
492
493 /*
494  * Makes choice for thread_id should be assigned.
495  *  if input ~0, gets random worker_id based on unix_time_now_nsec
496 */
497 always_inline u32
498 ipsec_sa_assign_thread (u32 thread_id)
499 {
500   return ((thread_id) ? thread_id
501           : (unix_time_now_nsec () % vlib_num_workers ()) + 1);
502 }
503
504 #endif /* __IPSEC_SPD_SA_H__ */
505
506 /*
507  * fd.io coding-style-patch-verification: ON
508  *
509  * Local Variables:
510  * eval: (c-set-style "gnu")
511  * End:
512  */