ipsec: Store thread-index in buffer meta-data during SA handoff
[vpp.git] / src / vnet / ipsec / ipsec_sa.h
1 /*
2  * Copyright (c) 2015 Cisco and/or its affiliates.
3  * Licensed under the Apache License, Version 2.0 (the "License");
4  * you may not use this file except in compliance with the License.
5  * You may obtain a copy of the License at:
6  *
7  *     http://www.apache.org/licenses/LICENSE-2.0
8  *
9  * Unless required by applicable law or agreed to in writing, software
10  * distributed under the License is distributed on an "AS IS" BASIS,
11  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
12  * See the License for the specific language governing permissions and
13  * limitations under the License.
14  */
15 #ifndef __IPSEC_SPD_SA_H__
16 #define __IPSEC_SPD_SA_H__
17
18 #include <vlib/vlib.h>
19 #include <vnet/crypto/crypto.h>
20 #include <vnet/ip/ip.h>
21 #include <vnet/fib/fib_node.h>
22 #include <vnet/tunnel/tunnel.h>
23
24 #define foreach_ipsec_crypto_alg    \
25   _ (0, NONE, "none")               \
26   _ (1, AES_CBC_128, "aes-cbc-128") \
27   _ (2, AES_CBC_192, "aes-cbc-192") \
28   _ (3, AES_CBC_256, "aes-cbc-256") \
29   _ (4, AES_CTR_128, "aes-ctr-128") \
30   _ (5, AES_CTR_192, "aes-ctr-192") \
31   _ (6, AES_CTR_256, "aes-ctr-256") \
32   _ (7, AES_GCM_128, "aes-gcm-128") \
33   _ (8, AES_GCM_192, "aes-gcm-192") \
34   _ (9, AES_GCM_256, "aes-gcm-256") \
35   _ (10, DES_CBC, "des-cbc")        \
36   _ (11, 3DES_CBC, "3des-cbc")
37
38 typedef enum
39 {
40 #define _(v, f, s) IPSEC_CRYPTO_ALG_##f = v,
41   foreach_ipsec_crypto_alg
42 #undef _
43     IPSEC_CRYPTO_N_ALG,
44 } __clib_packed ipsec_crypto_alg_t;
45
46 #define IPSEC_CRYPTO_ALG_IS_GCM(_alg)                     \
47   (((_alg == IPSEC_CRYPTO_ALG_AES_GCM_128) ||             \
48     (_alg == IPSEC_CRYPTO_ALG_AES_GCM_192) ||             \
49     (_alg == IPSEC_CRYPTO_ALG_AES_GCM_256)))
50
51 #define IPSEC_CRYPTO_ALG_IS_CTR(_alg)                                         \
52   (((_alg == IPSEC_CRYPTO_ALG_AES_CTR_128) ||                                 \
53     (_alg == IPSEC_CRYPTO_ALG_AES_CTR_192) ||                                 \
54     (_alg == IPSEC_CRYPTO_ALG_AES_CTR_256)))
55
56 #define foreach_ipsec_integ_alg                                            \
57   _ (0, NONE, "none")                                                      \
58   _ (1, MD5_96, "md5-96")           /* RFC2403 */                          \
59   _ (2, SHA1_96, "sha1-96")         /* RFC2404 */                          \
60   _ (3, SHA_256_96, "sha-256-96")   /* draft-ietf-ipsec-ciph-sha-256-00 */ \
61   _ (4, SHA_256_128, "sha-256-128") /* RFC4868 */                          \
62   _ (5, SHA_384_192, "sha-384-192") /* RFC4868 */                          \
63   _ (6, SHA_512_256, "sha-512-256")     /* RFC4868 */
64
65 typedef enum
66 {
67 #define _(v, f, s) IPSEC_INTEG_ALG_##f = v,
68   foreach_ipsec_integ_alg
69 #undef _
70     IPSEC_INTEG_N_ALG,
71 } __clib_packed ipsec_integ_alg_t;
72
73 typedef enum
74 {
75   IPSEC_PROTOCOL_AH = 0,
76   IPSEC_PROTOCOL_ESP = 1
77 } __clib_packed ipsec_protocol_t;
78
79 #define IPSEC_KEY_MAX_LEN 128
80 typedef struct ipsec_key_t_
81 {
82   u8 len;
83   u8 data[IPSEC_KEY_MAX_LEN];
84 } ipsec_key_t;
85
86 /*
87  * Enable extended sequence numbers
88  * Enable Anti-replay
89  * IPsec tunnel mode if non-zero, else transport mode
90  * IPsec tunnel mode is IPv6 if non-zero,
91  * else IPv4 tunnel only valid if is_tunnel is non-zero
92  * enable UDP encapsulation for NAT traversal
93  */
94 #define foreach_ipsec_sa_flags                                                \
95   _ (0, NONE, "none")                                                         \
96   _ (1, USE_ESN, "esn")                                                       \
97   _ (2, USE_ANTI_REPLAY, "anti-replay")                                       \
98   _ (4, IS_TUNNEL, "tunnel")                                                  \
99   _ (8, IS_TUNNEL_V6, "tunnel-v6")                                            \
100   _ (16, UDP_ENCAP, "udp-encap")                                              \
101   _ (32, IS_PROTECT, "Protect")                                               \
102   _ (64, IS_INBOUND, "inbound")                                               \
103   _ (128, IS_AEAD, "aead")                                                    \
104   _ (256, IS_CTR, "ctr")
105
106 typedef enum ipsec_sad_flags_t_
107 {
108 #define _(v, f, s) IPSEC_SA_FLAG_##f = v,
109   foreach_ipsec_sa_flags
110 #undef _
111 } __clib_packed ipsec_sa_flags_t;
112
113 STATIC_ASSERT (sizeof (ipsec_sa_flags_t) == 2, "IPSEC SA flags != 2 byte");
114
115 typedef struct
116 {
117   CLIB_CACHE_LINE_ALIGN_MARK (cacheline0);
118
119   /* flags */
120   ipsec_sa_flags_t flags;
121
122   u8 crypto_iv_size;
123   u8 esp_block_align;
124   u8 integ_icv_size;
125
126   u8 __pad1[3];
127
128   u32 thread_index;
129
130   u32 spi;
131   u32 seq;
132   u32 seq_hi;
133   u32 last_seq;
134   u32 last_seq_hi;
135   u64 replay_window;
136   dpo_id_t dpo;
137
138   vnet_crypto_key_index_t crypto_key_index;
139   vnet_crypto_key_index_t integ_key_index;
140
141   /* Union data shared by sync and async ops, updated when mode is
142    * changed. */
143   union
144   {
145     struct
146     {
147       vnet_crypto_op_id_t crypto_enc_op_id:16;
148       vnet_crypto_op_id_t crypto_dec_op_id:16;
149       vnet_crypto_op_id_t integ_op_id:16;
150     };
151
152     struct
153     {
154       vnet_crypto_async_op_id_t crypto_async_enc_op_id:16;
155       vnet_crypto_async_op_id_t crypto_async_dec_op_id:16;
156       vnet_crypto_key_index_t linked_key_index;
157     };
158
159     u64 crypto_op_data;
160   };
161
162   CLIB_CACHE_LINE_ALIGN_MARK (cacheline1);
163
164   u64 ctr_iv_counter;
165   union
166   {
167     ip4_header_t ip4_hdr;
168     ip6_header_t ip6_hdr;
169   };
170   udp_header_t udp_hdr;
171
172   /* Salt used in CTR modes (incl. GCM) - stored in network byte order */
173   u32 salt;
174
175   ipsec_protocol_t protocol;
176   tunnel_encap_decap_flags_t tunnel_flags;
177   u8 __pad[2];
178
179   /* data accessed by dataplane code should be above this comment */
180     CLIB_CACHE_LINE_ALIGN_MARK (cacheline2);
181
182   /* Elements with u64 size multiples */
183   union
184   {
185     struct
186     {
187       vnet_crypto_op_id_t crypto_enc_op_id:16;
188       vnet_crypto_op_id_t crypto_dec_op_id:16;
189       vnet_crypto_op_id_t integ_op_id:16;
190     };
191     u64 data;
192   } sync_op_data;
193
194   union
195   {
196     struct
197     {
198       vnet_crypto_async_op_id_t crypto_async_enc_op_id:16;
199       vnet_crypto_async_op_id_t crypto_async_dec_op_id:16;
200       vnet_crypto_key_index_t linked_key_index;
201     };
202     u64 data;
203   } async_op_data;
204
205   tunnel_t tunnel;
206
207   fib_node_t node;
208
209   /* elements with u32 size */
210   u32 id;
211   u32 stat_index;
212   vnet_crypto_alg_t integ_calg;
213   vnet_crypto_alg_t crypto_calg;
214
215   /* else u8 packed */
216   ipsec_crypto_alg_t crypto_alg;
217   ipsec_integ_alg_t integ_alg;
218
219   ipsec_key_t integ_key;
220   ipsec_key_t crypto_key;
221 } ipsec_sa_t;
222
223 STATIC_ASSERT_OFFSET_OF (ipsec_sa_t, cacheline1, CLIB_CACHE_LINE_BYTES);
224 STATIC_ASSERT_OFFSET_OF (ipsec_sa_t, cacheline2, 2 * CLIB_CACHE_LINE_BYTES);
225
226 /*
227  * Ensure that the IPsec data does not overlap with the IP data in
228  * the buffer meta data
229  */
230 STATIC_ASSERT (STRUCT_OFFSET_OF (vnet_buffer_opaque_t, ipsec.sad_index) ==
231                  STRUCT_OFFSET_OF (vnet_buffer_opaque_t, ip.save_protocol),
232                "IPSec data is overlapping with IP data");
233
234 #define _(a,v,s)                                                        \
235   always_inline int                                                     \
236   ipsec_sa_is_set_##v (const ipsec_sa_t *sa) {                          \
237     return (sa->flags & IPSEC_SA_FLAG_##v);                             \
238   }
239 foreach_ipsec_sa_flags
240 #undef _
241 #define _(a,v,s)                                                        \
242   always_inline int                                                     \
243   ipsec_sa_set_##v (ipsec_sa_t *sa) {                                   \
244     return (sa->flags |= IPSEC_SA_FLAG_##v);                            \
245   }
246   foreach_ipsec_sa_flags
247 #undef _
248 #define _(a,v,s)                                                        \
249   always_inline int                                                     \
250   ipsec_sa_unset_##v (ipsec_sa_t *sa) {                                 \
251     return (sa->flags &= ~IPSEC_SA_FLAG_##v);                           \
252   }
253   foreach_ipsec_sa_flags
254 #undef _
255 /**
256  * @brief
257  * SA packet & bytes counters
258  */
259 extern vlib_combined_counter_main_t ipsec_sa_counters;
260
261 extern void ipsec_mk_key (ipsec_key_t * key, const u8 * data, u8 len);
262
263 extern int
264 ipsec_sa_add_and_lock (u32 id, u32 spi, ipsec_protocol_t proto,
265                        ipsec_crypto_alg_t crypto_alg, const ipsec_key_t *ck,
266                        ipsec_integ_alg_t integ_alg, const ipsec_key_t *ik,
267                        ipsec_sa_flags_t flags, u32 salt, u16 src_port,
268                        u16 dst_port, const tunnel_t *tun, u32 *sa_out_index);
269 extern index_t ipsec_sa_find_and_lock (u32 id);
270 extern int ipsec_sa_unlock_id (u32 id);
271 extern void ipsec_sa_unlock (index_t sai);
272 extern void ipsec_sa_lock (index_t sai);
273 extern void ipsec_sa_clear (index_t sai);
274 extern void ipsec_sa_set_crypto_alg (ipsec_sa_t * sa,
275                                      ipsec_crypto_alg_t crypto_alg);
276 extern void ipsec_sa_set_integ_alg (ipsec_sa_t * sa,
277                                     ipsec_integ_alg_t integ_alg);
278
279 typedef walk_rc_t (*ipsec_sa_walk_cb_t) (ipsec_sa_t * sa, void *ctx);
280 extern void ipsec_sa_walk (ipsec_sa_walk_cb_t cd, void *ctx);
281
282 extern u8 *format_ipsec_crypto_alg (u8 * s, va_list * args);
283 extern u8 *format_ipsec_integ_alg (u8 * s, va_list * args);
284 extern u8 *format_ipsec_sa (u8 * s, va_list * args);
285 extern u8 *format_ipsec_key (u8 * s, va_list * args);
286 extern uword unformat_ipsec_crypto_alg (unformat_input_t * input,
287                                         va_list * args);
288 extern uword unformat_ipsec_integ_alg (unformat_input_t * input,
289                                        va_list * args);
290 extern uword unformat_ipsec_key (unformat_input_t * input, va_list * args);
291
292 #define IPSEC_UDP_PORT_NONE ((u16)~0)
293
294 /*
295  * Anti Replay definitions
296  */
297
298 #define IPSEC_SA_ANTI_REPLAY_WINDOW_SIZE (64)
299 #define IPSEC_SA_ANTI_REPLAY_WINDOW_MAX_INDEX (IPSEC_SA_ANTI_REPLAY_WINDOW_SIZE-1)
300
301 /*
302  * sequence number less than the lower bound are outside of the window
303  * From RFC4303 Appendix A:
304  *  Bl = Tl - W + 1
305  */
306 #define IPSEC_SA_ANTI_REPLAY_WINDOW_LOWER_BOUND(_tl) (_tl - IPSEC_SA_ANTI_REPLAY_WINDOW_SIZE + 1)
307
308 /*
309  * Anti replay check.
310  *  inputs need to be in host byte order.
311  */
312 always_inline int
313 ipsec_sa_anti_replay_check (ipsec_sa_t * sa, u32 seq)
314 {
315   u32 diff, tl, th;
316
317   if ((sa->flags & IPSEC_SA_FLAG_USE_ANTI_REPLAY) == 0)
318     return 0;
319
320   if (!ipsec_sa_is_set_USE_ESN (sa))
321     {
322       if (PREDICT_TRUE (seq > sa->last_seq))
323         return 0;
324
325       diff = sa->last_seq - seq;
326
327       if (IPSEC_SA_ANTI_REPLAY_WINDOW_SIZE > diff)
328         return (sa->replay_window & (1ULL << diff)) ? 1 : 0;
329       else
330         return 1;
331
332       return 0;
333     }
334
335   tl = sa->last_seq;
336   th = sa->last_seq_hi;
337   diff = tl - seq;
338
339   if (PREDICT_TRUE (tl >= (IPSEC_SA_ANTI_REPLAY_WINDOW_MAX_INDEX)))
340     {
341       /*
342        * the last sequence number VPP recieved is more than one
343        * window size greater than zero.
344        * Case A from RFC4303 Appendix A.
345        */
346       if (seq < IPSEC_SA_ANTI_REPLAY_WINDOW_LOWER_BOUND (tl))
347         {
348           /*
349            * the received sequence number is lower than the lower bound
350            * of the window, this could mean either a replay packet or that
351            * the high sequence number has wrapped. if it decrypts corrently
352            * then it's the latter.
353            */
354           sa->seq_hi = th + 1;
355           return 0;
356         }
357       else
358         {
359           /*
360            * the recieved sequence number greater than the low
361            * end of the window.
362            */
363           sa->seq_hi = th;
364           if (seq <= tl)
365             /*
366              * The recieved seq number is within bounds of the window
367              * check if it's a duplicate
368              */
369             return (sa->replay_window & (1ULL << diff)) ? 1 : 0;
370           else
371             /*
372              * The received sequence number is greater than the window
373              * upper bound. this packet will move the window along, assuming
374              * it decrypts correctly.
375              */
376             return 0;
377         }
378     }
379   else
380     {
381       /*
382        * the last sequence number VPP recieved is within one window
383        * size of zero, i.e. 0 < TL < WINDOW_SIZE, the lower bound is thus a
384        * large sequence number.
385        * Note that the check below uses unsiged integer arthimetic, so the
386        * RHS will be a larger number.
387        * Case B from RFC4303 Appendix A.
388        */
389       if (seq < IPSEC_SA_ANTI_REPLAY_WINDOW_LOWER_BOUND (tl))
390         {
391           /*
392            * the sequence number is less than the lower bound.
393            */
394           if (seq <= tl)
395             {
396               /*
397                * the packet is within the window upper bound.
398                * check for duplicates.
399                */
400               sa->seq_hi = th;
401               return (sa->replay_window & (1ULL << diff)) ? 1 : 0;
402             }
403           else
404             {
405               /*
406                * the packet is less the window lower bound or greater than
407                * the higher bound, depending on how you look at it...
408                * We're assuming, given that the last sequence number received,
409                * TL < WINDOW_SIZE, that a largeer seq num is more likely to be
410                * a packet that moves the window forward, than a packet that has
411                * wrapped the high sequence again. If it were the latter then
412                * we've lost close to 2^32 packets.
413                */
414               sa->seq_hi = th;
415               return 0;
416             }
417         }
418       else
419         {
420           /*
421            * the packet seq number is between the lower bound (a large nubmer)
422            * and MAX_SEQ_NUM. This is in the window since the window upper bound
423            * tl > 0.
424            * However, since TL is the other side of 0 to the received
425            * packet, the SA has moved on to a higher sequence number.
426            */
427           sa->seq_hi = th - 1;
428           return (sa->replay_window & (1ULL << diff)) ? 1 : 0;
429         }
430     }
431
432   return 0;
433 }
434
435 /*
436  * Anti replay window advance
437  *  inputs need to be in host byte order.
438  */
439 always_inline void
440 ipsec_sa_anti_replay_advance (ipsec_sa_t * sa, u32 seq)
441 {
442   u32 pos;
443   if (PREDICT_TRUE (sa->flags & IPSEC_SA_FLAG_USE_ANTI_REPLAY) == 0)
444     return;
445
446   if (PREDICT_TRUE (sa->flags & IPSEC_SA_FLAG_USE_ESN))
447     {
448       int wrap = sa->seq_hi - sa->last_seq_hi;
449
450       if (wrap == 0 && seq > sa->last_seq)
451         {
452           pos = seq - sa->last_seq;
453           if (pos < IPSEC_SA_ANTI_REPLAY_WINDOW_SIZE)
454             sa->replay_window = ((sa->replay_window) << pos) | 1;
455           else
456             sa->replay_window = 1;
457           sa->last_seq = seq;
458         }
459       else if (wrap > 0)
460         {
461           pos = ~seq + sa->last_seq + 1;
462           if (pos < IPSEC_SA_ANTI_REPLAY_WINDOW_SIZE)
463             sa->replay_window = ((sa->replay_window) << pos) | 1;
464           else
465             sa->replay_window = 1;
466           sa->last_seq = seq;
467           sa->last_seq_hi = sa->seq_hi;
468         }
469       else if (wrap < 0)
470         {
471           pos = ~seq + sa->last_seq + 1;
472           sa->replay_window |= (1ULL << pos);
473         }
474       else
475         {
476           pos = sa->last_seq - seq;
477           sa->replay_window |= (1ULL << pos);
478         }
479     }
480   else
481     {
482       if (seq > sa->last_seq)
483         {
484           pos = seq - sa->last_seq;
485           if (pos < IPSEC_SA_ANTI_REPLAY_WINDOW_SIZE)
486             sa->replay_window = ((sa->replay_window) << pos) | 1;
487           else
488             sa->replay_window = 1;
489           sa->last_seq = seq;
490         }
491       else
492         {
493           pos = sa->last_seq - seq;
494           sa->replay_window |= (1ULL << pos);
495         }
496     }
497 }
498
499
500 /*
501  * Makes choice for thread_id should be assigned.
502  *  if input ~0, gets random worker_id based on unix_time_now_nsec
503 */
504 always_inline u32
505 ipsec_sa_assign_thread (u32 thread_id)
506 {
507   return ((thread_id) ? thread_id
508           : (unix_time_now_nsec () % vlib_num_workers ()) + 1);
509 }
510
511 #endif /* __IPSEC_SPD_SA_H__ */
512
513 /*
514  * fd.io coding-style-patch-verification: ON
515  *
516  * Local Variables:
517  * eval: (c-set-style "gnu")
518  * End:
519  */