7a44456efb6ff5555a252d0d8cb66a46f4e7828a
[vpp.git] / src / vnet / ipsec / ipsec_if.c
1 /*
2  * ipsec_if.c : IPSec interface support
3  *
4  * Copyright (c) 2015 Cisco and/or its affiliates.
5  * Licensed under the Apache License, Version 2.0 (the "License");
6  * you may not use this file except in compliance with the License.
7  * You may obtain a copy of the License at:
8  *
9  *     http://www.apache.org/licenses/LICENSE-2.0
10  *
11  * Unless required by applicable law or agreed to in writing, software
12  * distributed under the License is distributed on an "AS IS" BASIS,
13  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
14  * See the License for the specific language governing permissions and
15  * limitations under the License.
16  */
17
18 #include <vnet/vnet.h>
19 #include <vnet/api_errno.h>
20 #include <vnet/ip/ip.h>
21 #include <vnet/fib/fib.h>
22 #include <vnet/udp/udp.h>
23
24 #include <vnet/ipsec/ipsec.h>
25 #include <vnet/ipsec/esp.h>
26
27 void vl_api_rpc_call_main_thread (void *fp, u8 * data, u32 data_length);
28
29 static u8 *
30 format_ipsec_name (u8 * s, va_list * args)
31 {
32   u32 dev_instance = va_arg (*args, u32);
33   ipsec_main_t *im = &ipsec_main;
34   ipsec_tunnel_if_t *t = im->tunnel_interfaces + dev_instance;
35
36   return format (s, "ipsec%d", t->show_instance);
37 }
38
39 /* Statistics (not really errors) */
40 #define foreach_ipsec_if_tx_error    \
41 _(TX, "good packets transmitted")
42
43 static char *ipsec_if_tx_error_strings[] = {
44 #define _(sym,string) string,
45   foreach_ipsec_if_tx_error
46 #undef _
47 };
48
49 typedef enum
50 {
51 #define _(sym,str) IPSEC_IF_OUTPUT_ERROR_##sym,
52   foreach_ipsec_if_tx_error
53 #undef _
54     IPSEC_IF_TX_N_ERROR,
55 } ipsec_if_tx_error_t;
56
57 typedef struct
58 {
59   u32 spi;
60   u32 seq;
61 } ipsec_if_tx_trace_t;
62
63 u8 *
64 format_ipsec_if_tx_trace (u8 * s, va_list * args)
65 {
66   CLIB_UNUSED (vlib_main_t * vm) = va_arg (*args, vlib_main_t *);
67   CLIB_UNUSED (vlib_node_t * node) = va_arg (*args, vlib_node_t *);
68   ipsec_if_tx_trace_t *t = va_arg (*args, ipsec_if_tx_trace_t *);
69
70   s = format (s, "IPSec: spi %u seq %u", t->spi, t->seq);
71   return s;
72 }
73
74 static void
75 ipsec_output_trace (vlib_main_t * vm,
76                     vlib_node_runtime_t * node,
77                     vlib_frame_t * frame, const ipsec_tunnel_if_t * t0)
78 {
79   ipsec_main_t *im = &ipsec_main;
80   u32 *from, n_left;
81
82   n_left = frame->n_vectors;
83   from = vlib_frame_vector_args (frame);
84
85   while (n_left > 0)
86     {
87       vlib_buffer_t *b0;
88
89       b0 = vlib_get_buffer (vm, from[0]);
90
91       if (b0->flags & VLIB_BUFFER_IS_TRACED)
92         {
93           ipsec_if_tx_trace_t *tr =
94             vlib_add_trace (vm, node, b0, sizeof (*tr));
95           ipsec_sa_t *sa0 = pool_elt_at_index (im->sad, t0->output_sa_index);
96           tr->spi = sa0->spi;
97           tr->seq = sa0->seq;
98         }
99
100       from += 1;
101       n_left -= 1;
102     }
103 }
104
105 VNET_DEVICE_CLASS_TX_FN (ipsec_device_class) (vlib_main_t * vm,
106                                               vlib_node_runtime_t * node,
107                                               vlib_frame_t * frame)
108 {
109   ipsec_main_t *im = &ipsec_main;
110   u32 *from, n_left;
111   vnet_interface_output_runtime_t *rd = (void *) node->runtime_data;
112   const ipsec_tunnel_if_t *t0;
113   vlib_buffer_t *bufs[VLIB_FRAME_SIZE], **b;
114   u16 nexts[VLIB_FRAME_SIZE];
115
116   from = vlib_frame_vector_args (frame);
117   t0 = pool_elt_at_index (im->tunnel_interfaces, rd->dev_instance);
118   n_left = frame->n_vectors;
119   b = bufs;
120
121   /* All going to encrypt */
122   clib_memset (nexts, 0, sizeof (nexts));
123
124   if (node->flags & VLIB_NODE_FLAG_TRACE)
125     ipsec_output_trace (vm, node, frame, t0);
126
127   vlib_get_buffers (vm, from, bufs, n_left);
128
129   while (n_left >= 8)
130     {
131       /* Prefetch the buffer header for the N+2 loop iteration */
132       vlib_prefetch_buffer_header (b[4], STORE);
133       vlib_prefetch_buffer_header (b[5], STORE);
134       vlib_prefetch_buffer_header (b[6], STORE);
135       vlib_prefetch_buffer_header (b[7], STORE);
136
137       vnet_buffer (b[0])->ipsec.sad_index = t0->output_sa_index;
138       vnet_buffer (b[1])->ipsec.sad_index = t0->output_sa_index;
139       vnet_buffer (b[2])->ipsec.sad_index = t0->output_sa_index;
140       vnet_buffer (b[3])->ipsec.sad_index = t0->output_sa_index;
141
142       n_left -= 4;
143       b += 4;
144     }
145   while (n_left > 0)
146     {
147       vnet_buffer (b[0])->ipsec.sad_index = t0->output_sa_index;
148
149       n_left -= 1;
150       b += 1;
151     }
152
153   vlib_buffer_enqueue_to_next (vm, node, from, nexts, frame->n_vectors);
154
155   return frame->n_vectors;
156 }
157
158
159 static clib_error_t *
160 ipsec_admin_up_down_function (vnet_main_t * vnm, u32 hw_if_index, u32 flags)
161 {
162   ipsec_main_t *im = &ipsec_main;
163   clib_error_t *err = 0;
164   ipsec_tunnel_if_t *t;
165   vnet_hw_interface_t *hi;
166   ipsec_sa_t *sa;
167
168   hi = vnet_get_hw_interface (vnm, hw_if_index);
169   t = pool_elt_at_index (im->tunnel_interfaces, hi->hw_instance);
170   t->flags = flags;
171
172   if (flags & VNET_SW_INTERFACE_FLAG_ADMIN_UP)
173     {
174       sa = pool_elt_at_index (im->sad, t->input_sa_index);
175
176       err = ipsec_check_support_cb (im, sa);
177       if (err)
178         return err;
179
180       err = ipsec_add_del_sa_sess_cb (im, t->input_sa_index, 1);
181       if (err)
182         return err;
183
184       sa = pool_elt_at_index (im->sad, t->output_sa_index);
185
186       err = ipsec_check_support_cb (im, sa);
187       if (err)
188         return err;
189
190       err = ipsec_add_del_sa_sess_cb (im, t->output_sa_index, 1);
191       if (err)
192         return err;
193
194       vnet_hw_interface_set_flags (vnm, hw_if_index,
195                                    VNET_HW_INTERFACE_FLAG_LINK_UP);
196     }
197   else
198     {
199       vnet_hw_interface_set_flags (vnm, hw_if_index, 0 /* down */ );
200       sa = pool_elt_at_index (im->sad, t->input_sa_index);
201       err = ipsec_add_del_sa_sess_cb (im, t->input_sa_index, 0);
202       if (err)
203         return err;
204       sa = pool_elt_at_index (im->sad, t->output_sa_index);
205       err = ipsec_add_del_sa_sess_cb (im, t->output_sa_index, 0);
206       if (err)
207         return err;
208     }
209
210   return /* no error */ 0;
211 }
212
213
214 /* *INDENT-OFF* */
215 VNET_DEVICE_CLASS (ipsec_device_class) =
216 {
217   .name = "IPSec",
218   .format_device_name = format_ipsec_name,
219   .format_tx_trace = format_ipsec_if_tx_trace,
220   .tx_function_n_errors = IPSEC_IF_TX_N_ERROR,
221   .tx_function_error_strings = ipsec_if_tx_error_strings,
222   .admin_up_down_function = ipsec_admin_up_down_function,
223 };
224 /* *INDENT-ON* */
225
226 /* *INDENT-OFF* */
227 VNET_HW_INTERFACE_CLASS (ipsec_hw_class) =
228 {
229   .name = "IPSec",
230   .build_rewrite = default_build_rewrite,
231   .flags = VNET_HW_INTERFACE_CLASS_FLAG_P2P,
232 };
233 /* *INDENT-ON* */
234
235 static int
236 ipsec_add_del_tunnel_if_rpc_callback (ipsec_add_del_tunnel_args_t * a)
237 {
238   vnet_main_t *vnm = vnet_get_main ();
239   ASSERT (vlib_get_thread_index () == 0);
240
241   return ipsec_add_del_tunnel_if_internal (vnm, a, NULL);
242 }
243
244 int
245 ipsec_add_del_tunnel_if (ipsec_add_del_tunnel_args_t * args)
246 {
247   vl_api_rpc_call_main_thread (ipsec_add_del_tunnel_if_rpc_callback,
248                                (u8 *) args, sizeof (*args));
249   return 0;
250 }
251
252 static u32
253 ipsec_tun_mk_input_sa_id (u32 ti)
254 {
255   return (0x80000000 | ti);
256 }
257
258 static u32
259 ipsec_tun_mk_output_sa_id (u32 ti)
260 {
261   return (0xc0000000 | ti);
262 }
263
264 int
265 ipsec_add_del_tunnel_if_internal (vnet_main_t * vnm,
266                                   ipsec_add_del_tunnel_args_t * args,
267                                   u32 * sw_if_index)
268 {
269   ipsec_tunnel_if_t *t;
270   ipsec_main_t *im = &ipsec_main;
271   vnet_hw_interface_t *hi = NULL;
272   u32 hw_if_index = ~0;
273   uword *p;
274   u32 dev_instance;
275   u32 slot;
276   ipsec_key_t crypto_key, integ_key;
277   ipsec_sa_flags_t flags;
278   int rv;
279
280   u64 key = ((u64) args->remote_ip.ip4.as_u32 << 32 |
281              (u64) clib_host_to_net_u32 (args->remote_spi));
282   p = hash_get (im->ipsec_if_pool_index_by_key, key);
283
284   if (args->is_add)
285     {
286       /* check if same src/dst pair exists */
287       if (p)
288         return VNET_API_ERROR_INVALID_VALUE;
289
290       pool_get_aligned_zero (im->tunnel_interfaces, t, CLIB_CACHE_LINE_BYTES);
291
292       dev_instance = t - im->tunnel_interfaces;
293       if (args->renumber)
294         t->show_instance = args->show_instance;
295       else
296         t->show_instance = dev_instance;
297
298       if (hash_get (im->ipsec_if_real_dev_by_show_dev, t->show_instance))
299         {
300           pool_put (im->tunnel_interfaces, t);
301           return VNET_API_ERROR_INSTANCE_IN_USE;
302         }
303
304       hash_set (im->ipsec_if_real_dev_by_show_dev, t->show_instance,
305                 dev_instance);
306
307       flags = IPSEC_SA_FLAG_IS_TUNNEL;
308       if (args->udp_encap)
309         flags |= IPSEC_SA_FLAG_UDP_ENCAP;
310       if (args->esn)
311         flags |= IPSEC_SA_FLAG_USE_EXTENDED_SEQ_NUM;
312       if (args->anti_replay)
313         flags |= IPSEC_SA_FLAG_USE_ANTI_REPLAY;
314
315       ipsec_mk_key (&crypto_key,
316                     args->remote_crypto_key, args->remote_crypto_key_len);
317       ipsec_mk_key (&integ_key,
318                     args->remote_integ_key, args->remote_integ_key_len);
319
320       rv = ipsec_sa_add (ipsec_tun_mk_input_sa_id (dev_instance),
321                          args->remote_spi,
322                          IPSEC_PROTOCOL_ESP,
323                          args->crypto_alg,
324                          &crypto_key,
325                          args->integ_alg,
326                          &integ_key,
327                          flags,
328                          args->tx_table_id,
329                          &args->remote_ip,
330                          &args->local_ip, &t->input_sa_index);
331
332       if (rv)
333         return VNET_API_ERROR_UNIMPLEMENTED;
334
335       ipsec_mk_key (&crypto_key,
336                     args->local_crypto_key, args->local_crypto_key_len);
337       ipsec_mk_key (&integ_key,
338                     args->local_integ_key, args->local_integ_key_len);
339
340       rv = ipsec_sa_add (ipsec_tun_mk_output_sa_id (dev_instance),
341                          args->local_spi,
342                          IPSEC_PROTOCOL_ESP,
343                          args->crypto_alg,
344                          &crypto_key,
345                          args->integ_alg,
346                          &integ_key,
347                          flags,
348                          args->tx_table_id,
349                          &args->local_ip,
350                          &args->remote_ip, &t->output_sa_index);
351
352       if (rv)
353         return VNET_API_ERROR_UNIMPLEMENTED;
354
355       hash_set (im->ipsec_if_pool_index_by_key, key,
356                 t - im->tunnel_interfaces);
357
358       hw_if_index = vnet_register_interface (vnm, ipsec_device_class.index,
359                                              t - im->tunnel_interfaces,
360                                              ipsec_hw_class.index,
361                                              t - im->tunnel_interfaces);
362
363       hi = vnet_get_hw_interface (vnm, hw_if_index);
364       /* add esp4 as the next-node-index of this tx-node */
365
366       slot = vlib_node_add_next_with_slot
367         (vnm->vlib_main, hi->tx_node_index, im->esp4_encrypt_node_index, 0);
368
369       ASSERT (slot == 0);
370
371       t->hw_if_index = hw_if_index;
372       t->sw_if_index = hi->sw_if_index;
373
374       vnet_feature_enable_disable ("interface-output", "ipsec-if-output",
375                                    hi->sw_if_index, 1, 0, 0);
376
377       /*1st interface, register protocol */
378       if (pool_elts (im->tunnel_interfaces) == 1)
379         ip4_register_protocol (IP_PROTOCOL_IPSEC_ESP,
380                                ipsec_if_input_node.index);
381
382     }
383   else
384     {
385       u32 ti;
386
387       /* check if exists */
388       if (!p)
389         return VNET_API_ERROR_INVALID_VALUE;
390
391       ti = p[0];
392       t = pool_elt_at_index (im->tunnel_interfaces, ti);
393       hi = vnet_get_hw_interface (vnm, t->hw_if_index);
394       vnet_sw_interface_set_flags (vnm, hi->sw_if_index, 0);    /* admin down */
395
396       vnet_feature_enable_disable ("interface-output", "ipsec-if-output",
397                                    hi->sw_if_index, 0, 0, 0);
398
399       vnet_delete_hw_interface (vnm, t->hw_if_index);
400
401       hash_unset (im->ipsec_if_pool_index_by_key, key);
402       hash_unset (im->ipsec_if_real_dev_by_show_dev, t->show_instance);
403
404       pool_put (im->tunnel_interfaces, t);
405
406       /* delete input and output SA */
407       ipsec_sa_del (ipsec_tun_mk_input_sa_id (ti));
408       ipsec_sa_del (ipsec_tun_mk_output_sa_id (ti));
409     }
410
411   if (sw_if_index)
412     *sw_if_index = hi->sw_if_index;
413
414   return 0;
415 }
416
417 int
418 ipsec_add_del_ipsec_gre_tunnel (vnet_main_t * vnm,
419                                 ipsec_add_del_ipsec_gre_tunnel_args_t * args)
420 {
421   ipsec_tunnel_if_t *t = 0;
422   ipsec_main_t *im = &ipsec_main;
423   uword *p;
424   ipsec_sa_t *sa;
425   u64 key;
426   u32 isa, osa;
427
428   p = hash_get (im->sa_index_by_sa_id, args->local_sa_id);
429   if (!p)
430     return VNET_API_ERROR_INVALID_VALUE;
431   isa = p[0];
432
433   p = hash_get (im->sa_index_by_sa_id, args->remote_sa_id);
434   if (!p)
435     return VNET_API_ERROR_INVALID_VALUE;
436   osa = p[0];
437   sa = pool_elt_at_index (im->sad, p[0]);
438
439   if (sa->is_tunnel)
440     key = ((u64) sa->tunnel_dst_addr.ip4.as_u32 << 32 |
441            (u64) clib_host_to_net_u32 (sa->spi));
442   else
443     key = ((u64) args->remote_ip.as_u32 << 32 |
444            (u64) clib_host_to_net_u32 (sa->spi));
445
446   p = hash_get (im->ipsec_if_pool_index_by_key, key);
447
448   if (args->is_add)
449     {
450       /* check if same src/dst pair exists */
451       if (p)
452         return VNET_API_ERROR_INVALID_VALUE;
453
454       pool_get_aligned (im->tunnel_interfaces, t, CLIB_CACHE_LINE_BYTES);
455       clib_memset (t, 0, sizeof (*t));
456
457       t->input_sa_index = isa;
458       t->output_sa_index = osa;
459       t->hw_if_index = ~0;
460       hash_set (im->ipsec_if_pool_index_by_key, key,
461                 t - im->tunnel_interfaces);
462
463       /*1st interface, register protocol */
464       if (pool_elts (im->tunnel_interfaces) == 1)
465         ip4_register_protocol (IP_PROTOCOL_IPSEC_ESP,
466                                ipsec_if_input_node.index);
467     }
468   else
469     {
470       /* check if exists */
471       if (!p)
472         return VNET_API_ERROR_INVALID_VALUE;
473
474       t = pool_elt_at_index (im->tunnel_interfaces, p[0]);
475       hash_unset (im->ipsec_if_pool_index_by_key, key);
476       pool_put (im->tunnel_interfaces, t);
477     }
478   return 0;
479 }
480
481 int
482 ipsec_set_interface_key (vnet_main_t * vnm, u32 hw_if_index,
483                          ipsec_if_set_key_type_t type, u8 alg, u8 * key)
484 {
485   ipsec_main_t *im = &ipsec_main;
486   vnet_hw_interface_t *hi;
487   ipsec_tunnel_if_t *t;
488   ipsec_sa_t *sa;
489
490   hi = vnet_get_hw_interface (vnm, hw_if_index);
491   t = pool_elt_at_index (im->tunnel_interfaces, hi->dev_instance);
492
493   if (hi->flags & VNET_HW_INTERFACE_FLAG_LINK_UP)
494     return VNET_API_ERROR_SYSCALL_ERROR_1;
495
496   if (type == IPSEC_IF_SET_KEY_TYPE_LOCAL_CRYPTO)
497     {
498       sa = pool_elt_at_index (im->sad, t->output_sa_index);
499       ipsec_sa_set_crypto_alg (sa, alg);
500       ipsec_mk_key (&sa->crypto_key, key, vec_len (key));
501     }
502   else if (type == IPSEC_IF_SET_KEY_TYPE_LOCAL_INTEG)
503     {
504       sa = pool_elt_at_index (im->sad, t->output_sa_index);
505       ipsec_sa_set_integ_alg (sa, alg);
506       ipsec_mk_key (&sa->integ_key, key, vec_len (key));
507     }
508   else if (type == IPSEC_IF_SET_KEY_TYPE_REMOTE_CRYPTO)
509     {
510       sa = pool_elt_at_index (im->sad, t->input_sa_index);
511       ipsec_sa_set_crypto_alg (sa, alg);
512       ipsec_mk_key (&sa->crypto_key, key, vec_len (key));
513     }
514   else if (type == IPSEC_IF_SET_KEY_TYPE_REMOTE_INTEG)
515     {
516       sa = pool_elt_at_index (im->sad, t->input_sa_index);
517       ipsec_sa_set_integ_alg (sa, alg);
518       ipsec_mk_key (&sa->integ_key, key, vec_len (key));
519     }
520   else
521     return VNET_API_ERROR_INVALID_VALUE;
522
523   return 0;
524 }
525
526
527 int
528 ipsec_set_interface_sa (vnet_main_t * vnm, u32 hw_if_index, u32 sa_id,
529                         u8 is_outbound)
530 {
531   ipsec_main_t *im = &ipsec_main;
532   vnet_hw_interface_t *hi;
533   ipsec_tunnel_if_t *t;
534   ipsec_sa_t *sa, *old_sa;
535   u32 sa_index, old_sa_index;
536   uword *p;
537
538   hi = vnet_get_hw_interface (vnm, hw_if_index);
539   t = pool_elt_at_index (im->tunnel_interfaces, hi->dev_instance);
540
541   sa_index = ipsec_get_sa_index_by_sa_id (sa_id);
542   if (sa_index == ~0)
543     {
544       clib_warning ("SA with ID %u not found", sa_id);
545       return VNET_API_ERROR_INVALID_VALUE;
546     }
547
548   if (ipsec_is_sa_used (sa_index))
549     {
550       clib_warning ("SA with ID %u is already in use", sa_id);
551       return VNET_API_ERROR_INVALID_VALUE;
552     }
553
554   sa = pool_elt_at_index (im->sad, sa_index);
555   if (sa->is_tunnel_ip6)
556     {
557       clib_warning ("IPsec interface not supported with IPv6 endpoints");
558       return VNET_API_ERROR_UNIMPLEMENTED;
559     }
560
561   if (!is_outbound)
562     {
563       u64 key;
564
565       old_sa_index = t->input_sa_index;
566       old_sa = pool_elt_at_index (im->sad, old_sa_index);
567
568       /* unset old inbound hash entry. packets should stop arriving */
569       key = ((u64) old_sa->tunnel_src_addr.ip4.as_u32 << 32 |
570              (u64) clib_host_to_net_u32 (old_sa->spi));
571       p = hash_get (im->ipsec_if_pool_index_by_key, key);
572       if (p)
573         hash_unset (im->ipsec_if_pool_index_by_key, key);
574
575       /* set new inbound SA, then set new hash entry */
576       t->input_sa_index = sa_index;
577       key = ((u64) sa->tunnel_src_addr.ip4.as_u32 << 32 |
578              (u64) clib_host_to_net_u32 (sa->spi));
579       hash_set (im->ipsec_if_pool_index_by_key, key, hi->dev_instance);
580     }
581   else
582     {
583       old_sa_index = t->output_sa_index;
584       old_sa = pool_elt_at_index (im->sad, old_sa_index);
585       t->output_sa_index = sa_index;
586     }
587
588   /* remove sa_id to sa_index mapping on old SA */
589   if (ipsec_get_sa_index_by_sa_id (old_sa->id) == old_sa_index)
590     hash_unset (im->sa_index_by_sa_id, old_sa->id);
591
592   if (ipsec_add_del_sa_sess_cb (im, old_sa_index, 0))
593     {
594       clib_warning ("IPsec backend add/del callback returned error");
595       return VNET_API_ERROR_SYSCALL_ERROR_1;
596     }
597   pool_put (im->sad, old_sa);
598
599   return 0;
600 }
601
602 clib_error_t *
603 ipsec_tunnel_if_init (vlib_main_t * vm)
604 {
605   ipsec_main_t *im = &ipsec_main;
606
607   im->ipsec_if_pool_index_by_key = hash_create (0, sizeof (uword));
608   im->ipsec_if_real_dev_by_show_dev = hash_create (0, sizeof (uword));
609
610   udp_register_dst_port (vm, UDP_DST_PORT_ipsec, ipsec_if_input_node.index,
611                          1);
612
613   return 0;
614 }
615
616 VLIB_INIT_FUNCTION (ipsec_tunnel_if_init);
617
618
619 /*
620  * fd.io coding-style-patch-verification: ON
621  *
622  * Local Variables:
623  * eval: (c-set-style "gnu")
624  * End:
625  */