ipsec: multi-arch, next-node-index cleanup
[vpp.git] / src / vnet / ipsec / ipsec_if.c
1 /*
2  * ipsec_if.c : IPSec interface support
3  *
4  * Copyright (c) 2015 Cisco and/or its affiliates.
5  * Licensed under the Apache License, Version 2.0 (the "License");
6  * you may not use this file except in compliance with the License.
7  * You may obtain a copy of the License at:
8  *
9  *     http://www.apache.org/licenses/LICENSE-2.0
10  *
11  * Unless required by applicable law or agreed to in writing, software
12  * distributed under the License is distributed on an "AS IS" BASIS,
13  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
14  * See the License for the specific language governing permissions and
15  * limitations under the License.
16  */
17
18 #include <vnet/vnet.h>
19 #include <vnet/api_errno.h>
20 #include <vnet/ip/ip.h>
21 #include <vnet/fib/fib.h>
22
23 #include <vnet/ipsec/ipsec.h>
24 #include <vnet/ipsec/esp.h>
25
26 void vl_api_rpc_call_main_thread (void *fp, u8 * data, u32 data_length);
27
28 static u8 *
29 format_ipsec_name (u8 * s, va_list * args)
30 {
31   u32 dev_instance = va_arg (*args, u32);
32   ipsec_main_t *im = &ipsec_main;
33   ipsec_tunnel_if_t *t = im->tunnel_interfaces + dev_instance;
34
35   return format (s, "ipsec%d", t->show_instance);
36 }
37
38 /* Statistics (not really errors) */
39 #define foreach_ipsec_if_tx_error    \
40 _(TX, "good packets transmitted")
41
42 static char *ipsec_if_tx_error_strings[] = {
43 #define _(sym,string) string,
44   foreach_ipsec_if_tx_error
45 #undef _
46 };
47
48 typedef enum
49 {
50 #define _(sym,str) IPSEC_IF_OUTPUT_ERROR_##sym,
51   foreach_ipsec_if_tx_error
52 #undef _
53     IPSEC_IF_TX_N_ERROR,
54 } ipsec_if_tx_error_t;
55
56 typedef struct
57 {
58   u32 spi;
59   u32 seq;
60 } ipsec_if_tx_trace_t;
61
62 u8 *
63 format_ipsec_if_tx_trace (u8 * s, va_list * args)
64 {
65   CLIB_UNUSED (vlib_main_t * vm) = va_arg (*args, vlib_main_t *);
66   CLIB_UNUSED (vlib_node_t * node) = va_arg (*args, vlib_node_t *);
67   ipsec_if_tx_trace_t *t = va_arg (*args, ipsec_if_tx_trace_t *);
68
69   s = format (s, "IPSec: spi %u seq %u", t->spi, t->seq);
70   return s;
71 }
72
73 static uword
74 ipsec_if_tx_node_fn (vlib_main_t * vm, vlib_node_runtime_t * node,
75                      vlib_frame_t * from_frame)
76 {
77   ipsec_main_t *im = &ipsec_main;
78   vnet_main_t *vnm = im->vnet_main;
79   vnet_interface_main_t *vim = &vnm->interface_main;
80   u32 *from, *to_next = 0, next_index;
81   u32 n_left_from, sw_if_index0, last_sw_if_index = ~0;
82   u32 thread_index = vm->thread_index;
83   u32 n_bytes = 0, n_packets = 0;
84
85   from = vlib_frame_vector_args (from_frame);
86   n_left_from = from_frame->n_vectors;
87   next_index = node->cached_next_index;
88
89   while (n_left_from > 0)
90     {
91       u32 n_left_to_next;
92
93       vlib_get_next_frame (vm, node, next_index, to_next, n_left_to_next);
94
95       while (n_left_from > 0 && n_left_to_next > 0)
96         {
97           u32 bi0, next0, len0;
98           vlib_buffer_t *b0;
99           ipsec_tunnel_if_t *t0;
100           vnet_hw_interface_t *hi0;
101
102           bi0 = to_next[0] = from[0];
103           from += 1;
104           n_left_from -= 1;
105           to_next += 1;
106           n_left_to_next -= 1;
107           b0 = vlib_get_buffer (vm, bi0);
108           sw_if_index0 = vnet_buffer (b0)->sw_if_index[VLIB_TX];
109           hi0 = vnet_get_sup_hw_interface (vnm, sw_if_index0);
110           t0 = pool_elt_at_index (im->tunnel_interfaces, hi0->dev_instance);
111           vnet_buffer (b0)->ipsec.sad_index = t0->output_sa_index;
112
113           /* 0, tx-node next[0] was added by vlib_node_add_next_with_slot */
114           next0 = 0;
115
116           len0 = vlib_buffer_length_in_chain (vm, b0);
117
118           if (PREDICT_TRUE (sw_if_index0 == last_sw_if_index))
119             {
120               n_packets++;
121               n_bytes += len0;
122             }
123           else
124             {
125               vlib_increment_combined_counter (vim->combined_sw_if_counters +
126                                                VNET_INTERFACE_COUNTER_TX,
127                                                thread_index, sw_if_index0,
128                                                n_packets, n_bytes);
129               last_sw_if_index = sw_if_index0;
130               n_packets = 1;
131               n_bytes = len0;
132             }
133
134           if (PREDICT_FALSE (b0->flags & VLIB_BUFFER_IS_TRACED))
135             {
136               ipsec_if_tx_trace_t *tr =
137                 vlib_add_trace (vm, node, b0, sizeof (*tr));
138               ipsec_sa_t *sa0 =
139                 pool_elt_at_index (im->sad, t0->output_sa_index);
140               tr->spi = sa0->spi;
141               tr->seq = sa0->seq;
142             }
143
144           vlib_validate_buffer_enqueue_x1 (vm, node, next_index, to_next,
145                                            n_left_to_next, bi0, next0);
146         }
147       vlib_put_next_frame (vm, node, next_index, n_left_to_next);
148     }
149
150   if (last_sw_if_index != ~0)
151     {
152       vlib_increment_combined_counter (vim->combined_sw_if_counters +
153                                        VNET_INTERFACE_COUNTER_TX,
154                                        thread_index,
155                                        last_sw_if_index, n_packets, n_bytes);
156     }
157
158   return from_frame->n_vectors;
159 }
160
161
162 static clib_error_t *
163 ipsec_admin_up_down_function (vnet_main_t * vnm, u32 hw_if_index, u32 flags)
164 {
165   ipsec_main_t *im = &ipsec_main;
166   clib_error_t *err = 0;
167   ipsec_tunnel_if_t *t;
168   vnet_hw_interface_t *hi;
169   ipsec_sa_t *sa;
170
171   hi = vnet_get_hw_interface (vnm, hw_if_index);
172   t = pool_elt_at_index (im->tunnel_interfaces, hi->hw_instance);
173
174   if (flags & VNET_SW_INTERFACE_FLAG_ADMIN_UP)
175     {
176       sa = pool_elt_at_index (im->sad, t->input_sa_index);
177
178       err = ipsec_check_support_cb (im, sa);
179       if (err)
180         return err;
181
182       err = ipsec_add_del_sa_sess_cb (im, t->input_sa_index, 1);
183       if (err)
184         return err;
185
186       sa = pool_elt_at_index (im->sad, t->output_sa_index);
187
188       err = ipsec_check_support_cb (im, sa);
189       if (err)
190         return err;
191
192       err = ipsec_add_del_sa_sess_cb (im, t->output_sa_index, 1);
193       if (err)
194         return err;
195
196       vnet_hw_interface_set_flags (vnm, hw_if_index,
197                                    VNET_HW_INTERFACE_FLAG_LINK_UP);
198     }
199   else
200     {
201       vnet_hw_interface_set_flags (vnm, hw_if_index, 0 /* down */ );
202       sa = pool_elt_at_index (im->sad, t->input_sa_index);
203       err = ipsec_add_del_sa_sess_cb (im, t->input_sa_index, 0);
204       if (err)
205         return err;
206       sa = pool_elt_at_index (im->sad, t->output_sa_index);
207       err = ipsec_add_del_sa_sess_cb (im, t->output_sa_index, 0);
208       if (err)
209         return err;
210     }
211
212   return /* no error */ 0;
213 }
214
215
216 /* *INDENT-OFF* */
217 VNET_DEVICE_CLASS (ipsec_device_class, static) =
218 {
219   .name = "IPSec",
220   .format_device_name = format_ipsec_name,
221   .format_tx_trace = format_ipsec_if_tx_trace,
222   .tx_function = ipsec_if_tx_node_fn,
223   .tx_function_n_errors = IPSEC_IF_TX_N_ERROR,
224   .tx_function_error_strings = ipsec_if_tx_error_strings,
225   .admin_up_down_function = ipsec_admin_up_down_function,
226 };
227 /* *INDENT-ON* */
228
229 /* *INDENT-OFF* */
230 VNET_HW_INTERFACE_CLASS (ipsec_hw_class) =
231 {
232   .name = "IPSec",
233   .build_rewrite = default_build_rewrite,
234   .flags = VNET_HW_INTERFACE_CLASS_FLAG_P2P,
235 };
236 /* *INDENT-ON* */
237
238 static int
239 ipsec_add_del_tunnel_if_rpc_callback (ipsec_add_del_tunnel_args_t * a)
240 {
241   vnet_main_t *vnm = vnet_get_main ();
242   ASSERT (vlib_get_thread_index () == 0);
243
244   return ipsec_add_del_tunnel_if_internal (vnm, a, NULL);
245 }
246
247 int
248 ipsec_add_del_tunnel_if (ipsec_add_del_tunnel_args_t * args)
249 {
250   vl_api_rpc_call_main_thread (ipsec_add_del_tunnel_if_rpc_callback,
251                                (u8 *) args, sizeof (*args));
252   return 0;
253 }
254
255 static u32
256 ipsec_tun_mk_input_sa_id (u32 ti)
257 {
258   return (0x80000000 | ti);
259 }
260
261 static u32
262 ipsec_tun_mk_output_sa_id (u32 ti)
263 {
264   return (0xc0000000 | ti);
265 }
266
267 int
268 ipsec_add_del_tunnel_if_internal (vnet_main_t * vnm,
269                                   ipsec_add_del_tunnel_args_t * args,
270                                   u32 * sw_if_index)
271 {
272   ipsec_tunnel_if_t *t;
273   ipsec_main_t *im = &ipsec_main;
274   vnet_hw_interface_t *hi = NULL;
275   u32 hw_if_index = ~0;
276   uword *p;
277   u32 dev_instance;
278   u32 slot;
279   ipsec_key_t crypto_key, integ_key;
280   ipsec_sa_flags_t flags;
281   int rv;
282
283   u64 key = (u64) args->remote_ip.ip4.as_u32 << 32 | (u64) args->remote_spi;
284   p = hash_get (im->ipsec_if_pool_index_by_key, key);
285
286   if (args->is_add)
287     {
288       /* check if same src/dst pair exists */
289       if (p)
290         return VNET_API_ERROR_INVALID_VALUE;
291
292       pool_get_aligned (im->tunnel_interfaces, t, CLIB_CACHE_LINE_BYTES);
293       clib_memset (t, 0, sizeof (*t));
294
295       dev_instance = t - im->tunnel_interfaces;
296       if (args->renumber)
297         t->show_instance = args->show_instance;
298       else
299         t->show_instance = dev_instance;
300
301       if (hash_get (im->ipsec_if_real_dev_by_show_dev, t->show_instance))
302         {
303           pool_put (im->tunnel_interfaces, t);
304           return VNET_API_ERROR_INSTANCE_IN_USE;
305         }
306
307       hash_set (im->ipsec_if_real_dev_by_show_dev, t->show_instance,
308                 dev_instance);
309
310       flags = IPSEC_SA_FLAG_IS_TUNNEL;
311       if (args->udp_encap)
312         flags |= IPSEC_SA_FLAG_UDP_ENCAP;
313       if (args->esn)
314         flags |= IPSEC_SA_FLAG_USE_EXTENDED_SEQ_NUM;
315       if (args->anti_replay)
316         flags |= IPSEC_SA_FLAG_USE_ANTI_REPLAY;
317
318       ipsec_mk_key (&crypto_key,
319                     args->remote_crypto_key, args->remote_crypto_key_len);
320       ipsec_mk_key (&integ_key,
321                     args->remote_integ_key, args->remote_integ_key_len);
322
323       rv = ipsec_sa_add (ipsec_tun_mk_input_sa_id (dev_instance),
324                          args->remote_spi,
325                          IPSEC_PROTOCOL_ESP,
326                          args->crypto_alg,
327                          &crypto_key,
328                          args->integ_alg,
329                          &integ_key,
330                          flags,
331                          args->tx_table_id,
332                          &args->remote_ip,
333                          &args->local_ip, &t->input_sa_index);
334
335       if (rv)
336         return VNET_API_ERROR_UNIMPLEMENTED;
337
338       ipsec_mk_key (&crypto_key,
339                     args->local_crypto_key, args->local_crypto_key_len);
340       ipsec_mk_key (&integ_key,
341                     args->local_integ_key, args->local_integ_key_len);
342
343       rv = ipsec_sa_add (ipsec_tun_mk_output_sa_id (dev_instance),
344                          args->local_spi,
345                          IPSEC_PROTOCOL_ESP,
346                          args->crypto_alg,
347                          &crypto_key,
348                          args->integ_alg,
349                          &integ_key,
350                          flags,
351                          args->tx_table_id,
352                          &args->local_ip,
353                          &args->remote_ip, &t->output_sa_index);
354
355       if (rv)
356         return VNET_API_ERROR_UNIMPLEMENTED;
357
358       hash_set (im->ipsec_if_pool_index_by_key, key,
359                 t - im->tunnel_interfaces);
360
361       hw_if_index = vnet_register_interface (vnm, ipsec_device_class.index,
362                                              t - im->tunnel_interfaces,
363                                              ipsec_hw_class.index,
364                                              t - im->tunnel_interfaces);
365
366       hi = vnet_get_hw_interface (vnm, hw_if_index);
367       /* add esp4 as the next-node-index of this tx-node */
368
369       slot = vlib_node_add_next_with_slot
370         (vnm->vlib_main, hi->tx_node_index, im->esp4_encrypt_node_index, 0);
371
372       ASSERT (slot == 0);
373
374       t->hw_if_index = hw_if_index;
375
376       vnet_feature_enable_disable ("interface-output", "ipsec-if-output",
377                                    hi->sw_if_index, 1, 0, 0);
378
379       /*1st interface, register protocol */
380       if (pool_elts (im->tunnel_interfaces) == 1)
381         ip4_register_protocol (IP_PROTOCOL_IPSEC_ESP,
382                                ipsec_if_input_node.index);
383
384     }
385   else
386     {
387       /* check if exists */
388       if (!p)
389         return VNET_API_ERROR_INVALID_VALUE;
390
391       t = pool_elt_at_index (im->tunnel_interfaces, p[0]);
392       hi = vnet_get_hw_interface (vnm, t->hw_if_index);
393       vnet_sw_interface_set_flags (vnm, hi->sw_if_index, 0);    /* admin down */
394
395       vnet_feature_enable_disable ("interface-output", "ipsec-if-output",
396                                    hi->sw_if_index, 0, 0, 0);
397
398       vnet_delete_hw_interface (vnm, t->hw_if_index);
399
400       hash_unset (im->ipsec_if_pool_index_by_key, key);
401       hash_unset (im->ipsec_if_real_dev_by_show_dev, t->show_instance);
402
403       pool_put (im->tunnel_interfaces, t);
404
405       /* delete input and output SA */
406       ipsec_sa_del (ipsec_tun_mk_input_sa_id (p[0]));
407       ipsec_sa_del (ipsec_tun_mk_output_sa_id (p[0]));
408     }
409
410   if (sw_if_index)
411     *sw_if_index = hi->sw_if_index;
412
413   return 0;
414 }
415
416 int
417 ipsec_add_del_ipsec_gre_tunnel (vnet_main_t * vnm,
418                                 ipsec_add_del_ipsec_gre_tunnel_args_t * args)
419 {
420   ipsec_tunnel_if_t *t = 0;
421   ipsec_main_t *im = &ipsec_main;
422   uword *p;
423   ipsec_sa_t *sa;
424   u64 key;
425   u32 isa, osa;
426
427   p = hash_get (im->sa_index_by_sa_id, args->local_sa_id);
428   if (!p)
429     return VNET_API_ERROR_INVALID_VALUE;
430   isa = p[0];
431
432   p = hash_get (im->sa_index_by_sa_id, args->remote_sa_id);
433   if (!p)
434     return VNET_API_ERROR_INVALID_VALUE;
435   osa = p[0];
436   sa = pool_elt_at_index (im->sad, p[0]);
437
438   if (sa->is_tunnel)
439     key = (u64) sa->tunnel_dst_addr.ip4.as_u32 << 32 | (u64) sa->spi;
440   else
441     key = (u64) args->remote_ip.as_u32 << 32 | (u64) sa->spi;
442
443   p = hash_get (im->ipsec_if_pool_index_by_key, key);
444
445   if (args->is_add)
446     {
447       /* check if same src/dst pair exists */
448       if (p)
449         return VNET_API_ERROR_INVALID_VALUE;
450
451       pool_get_aligned (im->tunnel_interfaces, t, CLIB_CACHE_LINE_BYTES);
452       clib_memset (t, 0, sizeof (*t));
453
454       t->input_sa_index = isa;
455       t->output_sa_index = osa;
456       t->hw_if_index = ~0;
457       hash_set (im->ipsec_if_pool_index_by_key, key,
458                 t - im->tunnel_interfaces);
459
460       /*1st interface, register protocol */
461       if (pool_elts (im->tunnel_interfaces) == 1)
462         ip4_register_protocol (IP_PROTOCOL_IPSEC_ESP,
463                                ipsec_if_input_node.index);
464     }
465   else
466     {
467       /* check if exists */
468       if (!p)
469         return VNET_API_ERROR_INVALID_VALUE;
470
471       t = pool_elt_at_index (im->tunnel_interfaces, p[0]);
472       hash_unset (im->ipsec_if_pool_index_by_key, key);
473       pool_put (im->tunnel_interfaces, t);
474     }
475   return 0;
476 }
477
478 int
479 ipsec_set_interface_key (vnet_main_t * vnm, u32 hw_if_index,
480                          ipsec_if_set_key_type_t type, u8 alg, u8 * key)
481 {
482   ipsec_main_t *im = &ipsec_main;
483   vnet_hw_interface_t *hi;
484   ipsec_tunnel_if_t *t;
485   ipsec_sa_t *sa;
486
487   hi = vnet_get_hw_interface (vnm, hw_if_index);
488   t = pool_elt_at_index (im->tunnel_interfaces, hi->dev_instance);
489
490   if (hi->flags & VNET_HW_INTERFACE_FLAG_LINK_UP)
491     return VNET_API_ERROR_SYSCALL_ERROR_1;
492
493   if (type == IPSEC_IF_SET_KEY_TYPE_LOCAL_CRYPTO)
494     {
495       sa = pool_elt_at_index (im->sad, t->output_sa_index);
496       sa->crypto_alg = alg;
497       ipsec_mk_key (&sa->crypto_key, key, vec_len (key));
498     }
499   else if (type == IPSEC_IF_SET_KEY_TYPE_LOCAL_INTEG)
500     {
501       sa = pool_elt_at_index (im->sad, t->output_sa_index);
502       sa->integ_alg = alg;
503       ipsec_mk_key (&sa->integ_key, key, vec_len (key));
504     }
505   else if (type == IPSEC_IF_SET_KEY_TYPE_REMOTE_CRYPTO)
506     {
507       sa = pool_elt_at_index (im->sad, t->input_sa_index);
508       sa->crypto_alg = alg;
509       ipsec_mk_key (&sa->crypto_key, key, vec_len (key));
510     }
511   else if (type == IPSEC_IF_SET_KEY_TYPE_REMOTE_INTEG)
512     {
513       sa = pool_elt_at_index (im->sad, t->input_sa_index);
514       sa->integ_alg = alg;
515       ipsec_mk_key (&sa->integ_key, key, vec_len (key));
516     }
517   else
518     return VNET_API_ERROR_INVALID_VALUE;
519
520   return 0;
521 }
522
523
524 int
525 ipsec_set_interface_sa (vnet_main_t * vnm, u32 hw_if_index, u32 sa_id,
526                         u8 is_outbound)
527 {
528   ipsec_main_t *im = &ipsec_main;
529   vnet_hw_interface_t *hi;
530   ipsec_tunnel_if_t *t;
531   ipsec_sa_t *sa, *old_sa;
532   u32 sa_index, old_sa_index;
533   uword *p;
534
535   hi = vnet_get_hw_interface (vnm, hw_if_index);
536   t = pool_elt_at_index (im->tunnel_interfaces, hi->dev_instance);
537
538   sa_index = ipsec_get_sa_index_by_sa_id (sa_id);
539   if (sa_index == ~0)
540     {
541       clib_warning ("SA with ID %u not found", sa_id);
542       return VNET_API_ERROR_INVALID_VALUE;
543     }
544
545   if (ipsec_is_sa_used (sa_index))
546     {
547       clib_warning ("SA with ID %u is already in use", sa_id);
548       return VNET_API_ERROR_INVALID_VALUE;
549     }
550
551   sa = pool_elt_at_index (im->sad, sa_index);
552   if (sa->is_tunnel_ip6)
553     {
554       clib_warning ("IPsec interface not supported with IPv6 endpoints");
555       return VNET_API_ERROR_UNIMPLEMENTED;
556     }
557
558   if (!is_outbound)
559     {
560       u64 key;
561
562       old_sa_index = t->input_sa_index;
563       old_sa = pool_elt_at_index (im->sad, old_sa_index);
564
565       /* unset old inbound hash entry. packets should stop arriving */
566       key =
567         (u64) old_sa->tunnel_src_addr.ip4.as_u32 << 32 | (u64) old_sa->spi;
568       p = hash_get (im->ipsec_if_pool_index_by_key, key);
569       if (p)
570         hash_unset (im->ipsec_if_pool_index_by_key, key);
571
572       /* set new inbound SA, then set new hash entry */
573       t->input_sa_index = sa_index;
574       key = (u64) sa->tunnel_src_addr.ip4.as_u32 << 32 | (u64) sa->spi;
575       hash_set (im->ipsec_if_pool_index_by_key, key, hi->dev_instance);
576     }
577   else
578     {
579       old_sa_index = t->output_sa_index;
580       old_sa = pool_elt_at_index (im->sad, old_sa_index);
581       t->output_sa_index = sa_index;
582     }
583
584   /* remove sa_id to sa_index mapping on old SA */
585   if (ipsec_get_sa_index_by_sa_id (old_sa->id) == old_sa_index)
586     hash_unset (im->sa_index_by_sa_id, old_sa->id);
587
588   if (ipsec_add_del_sa_sess_cb (im, old_sa_index, 0))
589     {
590       clib_warning ("IPsec backend add/del callback returned error");
591       return VNET_API_ERROR_SYSCALL_ERROR_1;
592     }
593   pool_put (im->sad, old_sa);
594
595   return 0;
596 }
597
598
599 clib_error_t *
600 ipsec_tunnel_if_init (vlib_main_t * vm)
601 {
602   ipsec_main_t *im = &ipsec_main;
603
604   im->ipsec_if_pool_index_by_key = hash_create (0, sizeof (uword));
605   im->ipsec_if_real_dev_by_show_dev = hash_create (0, sizeof (uword));
606
607   return 0;
608 }
609
610 VLIB_INIT_FUNCTION (ipsec_tunnel_if_init);
611
612
613 /*
614  * fd.io coding-style-patch-verification: ON
615  *
616  * Local Variables:
617  * eval: (c-set-style "gnu")
618  * End:
619  */