a21e3bb54c18336acdfd654f1900379ceeff1aca
[vpp.git] / src / plugins / tlsopenssl / tls_openssl.c
1 /*
2  * Copyright (c) 2018 Cisco and/or its affiliates.
3  * Licensed under the Apache License, Version 2.0 (the "License");
4  * you may not use this file except in compliance with the License.
5  * You may obtain a copy of the License at:
6  *
7  *     http://www.apache.org/licenses/LICENSE-2.0
8  *
9  * Unless required by applicable law or agreed to in writing, software
10  * distributed under the License is distributed on an "AS IS" BASIS,
11  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
12  * See the License for the specific language governing permissions and
13  * limitations under the License.
14  */
15
16 #include <openssl/ssl.h>
17 #include <openssl/conf.h>
18 #include <openssl/err.h>
19
20 #ifdef HAVE_OPENSSL_ASYNC
21 #include <openssl/async.h>
22 #endif
23 #include <dlfcn.h>
24 #include <vnet/plugin/plugin.h>
25 #include <vpp/app/version.h>
26 #include <vnet/tls/tls.h>
27 #include <ctype.h>
28 #include <tlsopenssl/tls_openssl.h>
29 #include <tlsopenssl/tls_bios.h>
30 #include <openssl/x509_vfy.h>
31 #include <openssl/x509v3.h>
32
33 #define MAX_CRYPTO_LEN 64
34
35 openssl_main_t openssl_main;
36
37 static u32
38 openssl_ctx_alloc_w_thread (u32 thread_index)
39 {
40   openssl_main_t *om = &openssl_main;
41   openssl_ctx_t **ctx;
42
43   pool_get_aligned_safe (om->ctx_pool[thread_index], ctx, 0);
44
45   if (!(*ctx))
46     *ctx = clib_mem_alloc (sizeof (openssl_ctx_t));
47
48   clib_memset (*ctx, 0, sizeof (openssl_ctx_t));
49   (*ctx)->ctx.c_thread_index = thread_index;
50   (*ctx)->ctx.tls_ctx_engine = CRYPTO_ENGINE_OPENSSL;
51   (*ctx)->ctx.app_session_handle = SESSION_INVALID_HANDLE;
52   (*ctx)->openssl_ctx_index = ctx - om->ctx_pool[thread_index];
53   return ((*ctx)->openssl_ctx_index);
54 }
55
56 static u32
57 openssl_ctx_alloc (void)
58 {
59   return openssl_ctx_alloc_w_thread (vlib_get_thread_index ());
60 }
61
62 static void
63 openssl_ctx_free (tls_ctx_t * ctx)
64 {
65   openssl_ctx_t *oc = (openssl_ctx_t *) ctx;
66
67   /* Cleanup ssl ctx unless migrated */
68   if (!(ctx->flags & TLS_CONN_F_MIGRATED))
69     {
70       if (SSL_is_init_finished (oc->ssl) &&
71           !(ctx->flags & TLS_CONN_F_PASSIVE_CLOSE))
72         SSL_shutdown (oc->ssl);
73
74       SSL_free (oc->ssl);
75       vec_free (ctx->srv_hostname);
76       SSL_CTX_free (oc->client_ssl_ctx);
77 #ifdef HAVE_OPENSSL_ASYNC
78   openssl_evt_free (ctx->evt_index, ctx->c_thread_index);
79 #endif
80     }
81
82   pool_put_index (openssl_main.ctx_pool[ctx->c_thread_index],
83                   oc->openssl_ctx_index);
84 }
85
86 static void *
87 openssl_ctx_detach (tls_ctx_t *ctx)
88 {
89   openssl_ctx_t *oc = (openssl_ctx_t *) ctx, *oc_copy;
90
91   oc_copy = clib_mem_alloc (sizeof (*oc_copy));
92   clib_memcpy (oc_copy, oc, sizeof (*oc));
93
94   return oc_copy;
95 }
96
97 static u32
98 openssl_ctx_attach (u32 thread_index, void *ctx_ptr)
99 {
100   openssl_main_t *om = &openssl_main;
101   session_handle_t sh;
102   openssl_ctx_t **oc;
103
104   pool_get_aligned_safe (om->ctx_pool[thread_index], oc, 0);
105   /* Free the old instance instead of looking for an empty spot */
106   if (*oc)
107     clib_mem_free (*oc);
108
109   *oc = ctx_ptr;
110   (*oc)->openssl_ctx_index = oc - om->ctx_pool[thread_index];
111   (*oc)->ctx.c_thread_index = thread_index;
112
113   sh = (*oc)->ctx.tls_session_handle;
114   BIO_set_data ((*oc)->rbio, uword_to_pointer (sh, void *));
115   BIO_set_data ((*oc)->wbio, uword_to_pointer (sh, void *));
116
117   return ((*oc)->openssl_ctx_index);
118 }
119
120 tls_ctx_t *
121 openssl_ctx_get (u32 ctx_index)
122 {
123   openssl_ctx_t **ctx;
124   ctx = pool_elt_at_index (openssl_main.ctx_pool[vlib_get_thread_index ()],
125                            ctx_index);
126   return &(*ctx)->ctx;
127 }
128
129 tls_ctx_t *
130 openssl_ctx_get_w_thread (u32 ctx_index, u8 thread_index)
131 {
132   openssl_ctx_t **ctx;
133   ctx = pool_elt_at_index (openssl_main.ctx_pool[thread_index], ctx_index);
134   return &(*ctx)->ctx;
135 }
136
137 static u32
138 openssl_listen_ctx_alloc (void)
139 {
140   openssl_main_t *om = &openssl_main;
141   openssl_listen_ctx_t *lctx;
142
143   pool_get (om->lctx_pool, lctx);
144
145   clib_memset (lctx, 0, sizeof (openssl_listen_ctx_t));
146   lctx->openssl_lctx_index = lctx - om->lctx_pool;
147   return lctx->openssl_lctx_index;
148 }
149
150 static void
151 openssl_listen_ctx_free (openssl_listen_ctx_t * lctx)
152 {
153   pool_put_index (openssl_main.lctx_pool, lctx->openssl_lctx_index);
154 }
155
156 openssl_listen_ctx_t *
157 openssl_lctx_get (u32 lctx_index)
158 {
159   return pool_elt_at_index (openssl_main.lctx_pool, lctx_index);
160 }
161
162 #define ossl_check_err_is_fatal(_ssl, _rv)                                    \
163   if (PREDICT_FALSE (_rv < 0 && SSL_get_error (_ssl, _rv) == SSL_ERROR_SSL))  \
164     return -1;
165
166 static int
167 openssl_read_from_ssl_into_fifo (svm_fifo_t *f, SSL *ssl, u32 max_len)
168 {
169   int read, rv, n_fs, i;
170   const int n_segs = 2;
171   svm_fifo_seg_t fs[n_segs];
172   u32 max_enq;
173
174   max_enq = svm_fifo_max_enqueue_prod (f);
175   if (!max_enq)
176     return 0;
177
178   max_enq = clib_min (max_len, max_enq);
179   n_fs = svm_fifo_provision_chunks (f, fs, n_segs, max_enq);
180   if (n_fs < 0)
181     return 0;
182
183   /* Return early if we can't read anything */
184   read = SSL_read (ssl, fs[0].data, fs[0].len);
185   if (read <= 0)
186     {
187       ossl_check_err_is_fatal (ssl, read);
188       return 0;
189     }
190
191   if (read == (int) fs[0].len)
192     {
193       for (i = 1; i < n_fs; i++)
194         {
195           rv = SSL_read (ssl, fs[i].data, fs[i].len);
196           read += rv > 0 ? rv : 0;
197
198           if (rv < (int) fs[i].len)
199             {
200               ossl_check_err_is_fatal (ssl, rv);
201               break;
202             }
203         }
204     }
205   svm_fifo_enqueue_nocopy (f, read);
206
207   return read;
208 }
209
210 static int
211 openssl_write_from_fifo_into_ssl (svm_fifo_t *f, SSL *ssl, u32 max_len)
212 {
213   int wrote = 0, rv, i = 0, len;
214   u32 n_segs = 2;
215   svm_fifo_seg_t fs[n_segs];
216
217   len = svm_fifo_segments (f, 0, fs, &n_segs, max_len);
218   if (len <= 0)
219     return 0;
220
221   while (wrote < len && i < n_segs)
222     {
223       rv = SSL_write (ssl, fs[i].data, fs[i].len);
224       wrote += (rv > 0) ? rv : 0;
225       if (rv < (int) fs[i].len)
226         {
227           ossl_check_err_is_fatal (ssl, rv);
228           break;
229         }
230       i++;
231     }
232
233   if (wrote)
234     svm_fifo_dequeue_drop (f, wrote);
235
236   return wrote;
237 }
238
239 #ifdef HAVE_OPENSSL_ASYNC
240 static int
241 openssl_check_async_status (tls_ctx_t * ctx, openssl_resume_handler * handler,
242                             session_t * session)
243 {
244   openssl_ctx_t *oc = (openssl_ctx_t *) ctx;
245   int estatus;
246
247   SSL_get_async_status (oc->ssl, &estatus);
248   if (estatus == ASYNC_STATUS_EAGAIN)
249     {
250       vpp_tls_async_update_event (ctx, 1);
251     }
252   else
253     {
254       vpp_tls_async_update_event (ctx, 0);
255     }
256
257   return 1;
258
259 }
260
261 #endif
262
263 static void
264 openssl_handle_handshake_failure (tls_ctx_t * ctx)
265 {
266   /* Failed to renegotiate handshake */
267   if (ctx->flags & TLS_CONN_F_HS_DONE)
268     {
269       tls_notify_app_io_error (ctx);
270       tls_disconnect_transport (ctx);
271       return;
272     }
273
274   if (SSL_is_server (((openssl_ctx_t *) ctx)->ssl))
275     {
276       ctx->flags |= TLS_CONN_F_NO_APP_SESSION;
277       tls_disconnect_transport (ctx);
278     }
279   else
280     {
281       /*
282        * Also handles cleanup of the pre-allocated session
283        */
284       tls_notify_app_connected (ctx, SESSION_E_TLS_HANDSHAKE);
285       tls_disconnect_transport (ctx);
286     }
287 }
288
289 int
290 openssl_ctx_handshake_rx (tls_ctx_t * ctx, session_t * tls_session)
291 {
292   openssl_ctx_t *oc = (openssl_ctx_t *) ctx;
293   int rv = 0, err;
294
295   while (SSL_in_init (oc->ssl))
296     {
297       if (ctx->flags & TLS_CONN_F_RESUME)
298         {
299           ctx->flags &= ~TLS_CONN_F_RESUME;
300         }
301       else if (!svm_fifo_max_dequeue_cons (tls_session->rx_fifo))
302         break;
303
304       rv = SSL_do_handshake (oc->ssl);
305       err = SSL_get_error (oc->ssl, rv);
306
307 #ifdef HAVE_OPENSSL_ASYNC
308       if (err == SSL_ERROR_WANT_ASYNC)
309         {
310           openssl_check_async_status (ctx, openssl_ctx_handshake_rx,
311                                       tls_session);
312         }
313 #endif
314       if (err == SSL_ERROR_SSL)
315         {
316           char buf[512];
317           ERR_error_string (ERR_get_error (), buf);
318           clib_warning ("Err: %s", buf);
319
320           openssl_handle_handshake_failure (ctx);
321           return -1;
322         }
323
324       if (err != SSL_ERROR_WANT_WRITE && err != SSL_ERROR_WANT_READ)
325         break;
326     }
327   TLS_DBG (2, "tls state for %u is %s", oc->openssl_ctx_index,
328            SSL_state_string_long (oc->ssl));
329
330   if (SSL_in_init (oc->ssl))
331     return -1;
332
333   /* Renegotiated handshake, app must not be notified */
334   if (PREDICT_FALSE (ctx->flags & TLS_CONN_F_HS_DONE))
335     return 0;
336
337   /*
338    * Handshake complete
339    */
340   if (!SSL_is_server (oc->ssl))
341     {
342       /*
343        * Verify server certificate
344        */
345       if ((rv = SSL_get_verify_result (oc->ssl)) != X509_V_OK)
346         {
347           TLS_DBG (1, " failed verify: %s\n",
348                    X509_verify_cert_error_string (rv));
349
350           /*
351            * Presence of hostname enforces strict certificate verification
352            */
353           if (ctx->srv_hostname)
354             {
355               openssl_handle_handshake_failure (ctx);
356               return -1;
357             }
358         }
359       if (tls_notify_app_connected (ctx, SESSION_E_NONE))
360         {
361           tls_disconnect_transport (ctx);
362           return -1;
363         }
364     }
365   else
366     {
367       /* Need to check transport status */
368       if (ctx->flags & TLS_CONN_F_PASSIVE_CLOSE)
369         {
370           openssl_handle_handshake_failure (ctx);
371           return -1;
372         }
373
374       /* Accept failed, cleanup */
375       if (tls_notify_app_accept (ctx))
376         {
377           ctx->c_s_index = SESSION_INVALID_INDEX;
378           tls_disconnect_transport (ctx);
379           return -1;
380         }
381     }
382   ctx->flags |= TLS_CONN_F_HS_DONE;
383   TLS_DBG (1, "Handshake for %u complete. TLS cipher is %s",
384            oc->openssl_ctx_index, SSL_get_cipher (oc->ssl));
385   return rv;
386 }
387
388 static void
389 openssl_confirm_app_close (tls_ctx_t * ctx)
390 {
391   openssl_ctx_t *oc = (openssl_ctx_t *) ctx;
392   SSL_shutdown (oc->ssl);
393   tls_disconnect_transport (ctx);
394   session_transport_closed_notify (&ctx->connection);
395 }
396
397 static int
398 openssl_ctx_write_tls (tls_ctx_t *ctx, session_t *app_session,
399                        transport_send_params_t *sp)
400 {
401   openssl_ctx_t *oc = (openssl_ctx_t *) ctx;
402   u32 deq_max, space, enq_buf;
403   session_t *ts;
404   int wrote = 0;
405   svm_fifo_t *f;
406
407   ts = session_get_from_handle (ctx->tls_session_handle);
408   space = svm_fifo_max_enqueue_prod (ts->tx_fifo);
409   /* Leave a bit of extra space for tls ctrl data, if any needed */
410   space = clib_max ((int) space - TLSO_CTRL_BYTES, 0);
411
412   f = app_session->tx_fifo;
413
414   deq_max = svm_fifo_max_dequeue_cons (f);
415   deq_max = clib_min (deq_max, space);
416   if (!deq_max)
417     goto check_tls_fifo;
418
419   deq_max = clib_min (deq_max, sp->max_burst_size);
420
421   /* Make sure tcp's tx fifo can actually buffer all bytes to be dequeued.
422    * If under memory pressure, tls's fifo segment might not be able to
423    * allocate the chunks needed. This also avoids errors from the underlying
424    * custom bio to the ssl infra which at times can get stuck. */
425   if (svm_fifo_provision_chunks (ts->tx_fifo, 0, 0, deq_max + TLSO_CTRL_BYTES))
426     goto check_tls_fifo;
427
428   wrote = openssl_write_from_fifo_into_ssl (f, oc->ssl, deq_max);
429
430   /* Unrecoverable protocol error. Reset connection */
431   if (PREDICT_FALSE (wrote < 0))
432     {
433       tls_notify_app_io_error (ctx);
434       return 0;
435     }
436
437   if (!wrote)
438     goto check_tls_fifo;
439
440   if (svm_fifo_needs_deq_ntf (f, wrote))
441     session_dequeue_notify (app_session);
442
443 check_tls_fifo:
444
445   if (PREDICT_FALSE ((ctx->flags & TLS_CONN_F_APP_CLOSED) &&
446                      BIO_ctrl_pending (oc->rbio) <= 0))
447     openssl_confirm_app_close (ctx);
448
449   /* Deschedule and wait for deq notification if fifo is almost full */
450   enq_buf = clib_min (svm_fifo_size (ts->tx_fifo) / 2, TLSO_MIN_ENQ_SPACE);
451   if (space < wrote + enq_buf)
452     {
453       svm_fifo_add_want_deq_ntf (ts->tx_fifo, SVM_FIFO_WANT_DEQ_NOTIF);
454       transport_connection_deschedule (&ctx->connection);
455       sp->flags |= TRANSPORT_SND_F_DESCHED;
456     }
457   else
458     /* Request tx reschedule of the app session */
459     app_session->flags |= SESSION_F_CUSTOM_TX;
460
461   return wrote;
462 }
463
464 static int
465 openssl_ctx_write_dtls (tls_ctx_t *ctx, session_t *app_session,
466                         transport_send_params_t *sp)
467 {
468   openssl_main_t *om = &openssl_main;
469   openssl_ctx_t *oc = (openssl_ctx_t *) ctx;
470   u32 read = 0, to_deq, dgram_sz, enq_max;
471   session_dgram_pre_hdr_t hdr;
472   session_t *us;
473   int wrote, rv;
474   u8 *buf;
475
476   us = session_get_from_handle (ctx->tls_session_handle);
477   to_deq = svm_fifo_max_dequeue_cons (app_session->tx_fifo);
478   buf = om->tx_bufs[ctx->c_thread_index];
479
480   while (to_deq > 0)
481     {
482       /* Peeking only pre-header dgram because the session is connected */
483       rv = svm_fifo_peek (app_session->tx_fifo, 0, sizeof (hdr), (u8 *) &hdr);
484       ASSERT (rv == sizeof (hdr) && hdr.data_length < vec_len (buf));
485       ASSERT (to_deq >= hdr.data_length + SESSION_CONN_HDR_LEN);
486
487       dgram_sz = hdr.data_length + SESSION_CONN_HDR_LEN;
488       enq_max = dgram_sz + TLSO_CTRL_BYTES;
489       if (svm_fifo_max_enqueue_prod (us->tx_fifo) < enq_max ||
490           svm_fifo_provision_chunks (us->tx_fifo, 0, 0, enq_max))
491         {
492           svm_fifo_add_want_deq_ntf (us->tx_fifo, SVM_FIFO_WANT_DEQ_NOTIF);
493           transport_connection_deschedule (&ctx->connection);
494           sp->flags |= TRANSPORT_SND_F_DESCHED;
495           goto done;
496         }
497
498       rv = svm_fifo_peek (app_session->tx_fifo, SESSION_CONN_HDR_LEN,
499                           hdr.data_length, buf);
500       ASSERT (rv == hdr.data_length);
501       svm_fifo_dequeue_drop (app_session->tx_fifo, dgram_sz);
502
503       wrote = SSL_write (oc->ssl, buf, rv);
504       ASSERT (wrote > 0);
505
506       read += rv;
507       to_deq -= dgram_sz;
508     }
509
510 done:
511
512   if (svm_fifo_needs_deq_ntf (app_session->tx_fifo, read))
513     session_dequeue_notify (app_session);
514
515   if (read)
516     tls_add_vpp_q_tx_evt (us);
517
518   if (PREDICT_FALSE ((ctx->flags & TLS_CONN_F_APP_CLOSED) &&
519                      !svm_fifo_max_enqueue_prod (us->rx_fifo)))
520     openssl_confirm_app_close (ctx);
521
522   return read;
523 }
524
525 static inline int
526 openssl_ctx_write (tls_ctx_t *ctx, session_t *app_session,
527                    transport_send_params_t *sp)
528 {
529   if (ctx->tls_type == TRANSPORT_PROTO_TLS)
530     return openssl_ctx_write_tls (ctx, app_session, sp);
531   else
532     return openssl_ctx_write_dtls (ctx, app_session, sp);
533 }
534
535 static inline int
536 openssl_ctx_read_tls (tls_ctx_t *ctx, session_t *tls_session)
537 {
538   openssl_ctx_t *oc = (openssl_ctx_t *) ctx;
539   const u32 max_len = 128 << 10;
540   session_t *app_session;
541   svm_fifo_t *f;
542   int read;
543
544   if (PREDICT_FALSE (SSL_in_init (oc->ssl)))
545     {
546       if (openssl_ctx_handshake_rx (ctx, tls_session) < 0)
547         return 0;
548
549       /* Application might force a session pool realloc on accept */
550       tls_session = session_get_from_handle (ctx->tls_session_handle);
551     }
552
553   app_session = session_get_from_handle (ctx->app_session_handle);
554   f = app_session->rx_fifo;
555
556   read = openssl_read_from_ssl_into_fifo (f, oc->ssl, max_len);
557
558   /* Unrecoverable protocol error. Reset connection */
559   if (PREDICT_FALSE (read < 0))
560     {
561       tls_notify_app_io_error (ctx);
562       return 0;
563     }
564
565   if (read)
566     tls_notify_app_enqueue (ctx, app_session);
567
568   if ((SSL_pending (oc->ssl) > 0) ||
569       svm_fifo_max_dequeue_cons (tls_session->rx_fifo))
570     tls_add_vpp_q_builtin_rx_evt (tls_session);
571
572   return read;
573 }
574
575 static inline int
576 openssl_ctx_read_dtls (tls_ctx_t *ctx, session_t *us)
577 {
578   openssl_main_t *om = &openssl_main;
579   openssl_ctx_t *oc = (openssl_ctx_t *) ctx;
580   session_dgram_hdr_t hdr;
581   session_t *app_session;
582   u32 wrote = 0;
583   int read, rv;
584   u8 *buf;
585
586   if (PREDICT_FALSE (SSL_in_init (oc->ssl)))
587     {
588       u32 us_index = us->session_index;
589       if (openssl_ctx_handshake_rx (ctx, us) < 0)
590         return 0;
591       /* Session pool might grow when allocating the app's session */
592       us = session_get (us_index, ctx->c_thread_index);
593     }
594
595   buf = om->rx_bufs[ctx->c_thread_index];
596   app_session = session_get_from_handle (ctx->app_session_handle);
597   svm_fifo_fill_chunk_list (app_session->rx_fifo);
598
599   while (svm_fifo_max_dequeue_cons (us->rx_fifo) > 0)
600     {
601       if (svm_fifo_max_enqueue_prod (app_session->rx_fifo) < DTLSO_MAX_DGRAM)
602         {
603           tls_add_vpp_q_builtin_rx_evt (us);
604           goto done;
605         }
606
607       read = SSL_read (oc->ssl, buf, vec_len (buf));
608       if (PREDICT_FALSE (read <= 0))
609         {
610           if (read < 0)
611             tls_add_vpp_q_builtin_rx_evt (us);
612           goto done;
613         }
614       wrote += read;
615
616       hdr.data_length = read;
617       hdr.data_offset = 0;
618
619       svm_fifo_seg_t segs[2] = { { (u8 *) &hdr, sizeof (hdr) },
620                                  { buf, read } };
621
622       rv = svm_fifo_enqueue_segments (app_session->rx_fifo, segs, 2,
623                                       0 /* allow partial */);
624       ASSERT (rv > 0);
625     }
626
627 done:
628
629   /* If handshake just completed, session may still be in accepting state */
630   if (app_session->session_state >= SESSION_STATE_READY)
631     tls_notify_app_enqueue (ctx, app_session);
632
633   return wrote;
634 }
635
636 static inline int
637 openssl_ctx_read (tls_ctx_t *ctx, session_t *ts)
638 {
639   if (ctx->tls_type == TRANSPORT_PROTO_TLS)
640     return openssl_ctx_read_tls (ctx, ts);
641   else
642     return openssl_ctx_read_dtls (ctx, ts);
643 }
644
645 static int
646 openssl_set_ckpair (SSL *ssl, u32 ckpair_index)
647 {
648   app_cert_key_pair_t *ckpair;
649   BIO *cert_bio;
650   EVP_PKEY *pkey;
651   X509 *srvcert;
652
653   /* Configure a ckpair index only if non-default/test provided */
654   if (ckpair_index == 0)
655     return 0;
656
657   ckpair = app_cert_key_pair_get_if_valid (ckpair_index);
658   if (!ckpair)
659     return -1;
660
661   if (!ckpair->cert || !ckpair->key)
662     {
663       TLS_DBG (1, "tls cert and/or key not configured");
664       return -1;
665     }
666   /*
667    * Set the key and cert
668    */
669   cert_bio = BIO_new (BIO_s_mem ());
670   BIO_write (cert_bio, ckpair->cert, vec_len (ckpair->cert));
671   srvcert = PEM_read_bio_X509 (cert_bio, NULL, NULL, NULL);
672   if (!srvcert)
673     {
674       clib_warning ("unable to parse certificate");
675       return -1;
676     }
677   SSL_use_certificate (ssl, srvcert);
678   BIO_free (cert_bio);
679
680   cert_bio = BIO_new (BIO_s_mem ());
681   BIO_write (cert_bio, ckpair->key, vec_len (ckpair->key));
682   pkey = PEM_read_bio_PrivateKey (cert_bio, NULL, NULL, NULL);
683   if (!pkey)
684     {
685       clib_warning ("unable to parse pkey");
686       return -1;
687     }
688   SSL_use_PrivateKey (ssl, pkey);
689   BIO_free (cert_bio);
690   TLS_DBG (1, "TLS client using ckpair index: %d", ckpair_index);
691   return 0;
692 }
693
694 static int
695 openssl_client_init_verify (SSL *ssl, const char *srv_hostname,
696                             int set_hostname_verification,
697                             int set_hostname_strict_check)
698 {
699   if (set_hostname_verification)
700     {
701       X509_VERIFY_PARAM *param = SSL_get0_param (ssl);
702       if (!param)
703         {
704           TLS_DBG (1, "Couldn't fetch SSL param");
705           return -1;
706         }
707
708       if (set_hostname_strict_check)
709         X509_VERIFY_PARAM_set_hostflags (param,
710                                          X509_CHECK_FLAG_NO_PARTIAL_WILDCARDS);
711
712       if (!X509_VERIFY_PARAM_set1_host (param, srv_hostname, 0))
713         {
714           TLS_DBG (1, "Couldn't set hostname for verification");
715           return -1;
716         }
717       SSL_set_verify (ssl, SSL_VERIFY_PEER, 0);
718     }
719   if (!SSL_set_tlsext_host_name (ssl, srv_hostname))
720     {
721       TLS_DBG (1, "Couldn't set hostname");
722       return -1;
723     }
724   return 0;
725 }
726
727 static int
728 openssl_ctx_init_client (tls_ctx_t * ctx)
729 {
730   long flags = SSL_OP_NO_SSLv2 | SSL_OP_NO_SSLv3 | SSL_OP_NO_COMPRESSION;
731   openssl_ctx_t *oc = (openssl_ctx_t *) ctx;
732   openssl_main_t *om = &openssl_main;
733   const SSL_METHOD *method;
734   int rv, err;
735
736   method = ctx->tls_type == TRANSPORT_PROTO_TLS ? SSLv23_client_method () :
737                                                   DTLS_client_method ();
738   if (method == NULL)
739     {
740       TLS_DBG (1, "(D)TLS_method returned null");
741       return -1;
742     }
743
744   oc->client_ssl_ctx = SSL_CTX_new (method);
745   if (oc->client_ssl_ctx == NULL)
746     {
747       TLS_DBG (1, "SSL_CTX_new returned null");
748       return -1;
749     }
750
751   SSL_CTX_set_ecdh_auto (oc->client_ssl_ctx, 1);
752   SSL_CTX_set_mode (oc->client_ssl_ctx, SSL_MODE_ENABLE_PARTIAL_WRITE);
753 #ifdef HAVE_OPENSSL_ASYNC
754   if (om->async)
755     SSL_CTX_set_mode (oc->client_ssl_ctx, SSL_MODE_ASYNC);
756 #endif
757   rv =
758     SSL_CTX_set_cipher_list (oc->client_ssl_ctx, (const char *) om->ciphers);
759   if (rv != 1)
760     {
761       TLS_DBG (1, "Couldn't set cipher");
762       return -1;
763     }
764
765   SSL_CTX_set_options (oc->client_ssl_ctx, flags);
766   SSL_CTX_set1_cert_store (oc->client_ssl_ctx, om->cert_store);
767
768   oc->ssl = SSL_new (oc->client_ssl_ctx);
769   if (oc->ssl == NULL)
770     {
771       TLS_DBG (1, "Couldn't initialize ssl struct");
772       return -1;
773     }
774
775   if (ctx->tls_type == TRANSPORT_PROTO_TLS)
776     {
777       oc->rbio = BIO_new_tls (ctx->tls_session_handle);
778       oc->wbio = BIO_new_tls (ctx->tls_session_handle);
779     }
780   else
781     {
782       oc->rbio = BIO_new_dtls (ctx->tls_session_handle);
783       oc->wbio = BIO_new_dtls (ctx->tls_session_handle);
784     }
785
786   SSL_set_bio (oc->ssl, oc->wbio, oc->rbio);
787   SSL_set_connect_state (oc->ssl);
788
789   /* Hostname validation and strict check by name are disabled by default */
790   rv = openssl_client_init_verify (oc->ssl, (const char *) ctx->srv_hostname,
791                                    0, 0);
792   if (rv)
793     {
794       TLS_DBG (1, "ERROR:verify init failed:%d", rv);
795       return -1;
796     }
797   if (openssl_set_ckpair (oc->ssl, ctx->ckpair_index))
798     {
799       TLS_DBG (1, "Couldn't set client certificate-key pair");
800     }
801
802   /*
803    * 2. Do the first steps in the handshake.
804    */
805   TLS_DBG (1, "Initiating handshake for [%u]%u", ctx->c_thread_index,
806            oc->openssl_ctx_index);
807
808 #ifdef HAVE_OPENSSL_ASYNC
809   session_t *tls_session = session_get_from_handle (ctx->tls_session_handle);
810   vpp_tls_async_init_event (ctx, openssl_ctx_handshake_rx, tls_session);
811 #endif
812   while (1)
813     {
814       rv = SSL_do_handshake (oc->ssl);
815       err = SSL_get_error (oc->ssl, rv);
816 #ifdef HAVE_OPENSSL_ASYNC
817       if (err == SSL_ERROR_WANT_ASYNC)
818         {
819           openssl_check_async_status (ctx, openssl_ctx_handshake_rx,
820                                       tls_session);
821           break;
822         }
823 #endif
824       if (err != SSL_ERROR_WANT_WRITE)
825         break;
826     }
827
828   TLS_DBG (2, "tls state for [%u]%u is su", ctx->c_thread_index,
829            oc->openssl_ctx_index, SSL_state_string_long (oc->ssl));
830   return 0;
831 }
832
833 static int
834 openssl_start_listen (tls_ctx_t * lctx)
835 {
836   const SSL_METHOD *method;
837   SSL_CTX *ssl_ctx;
838   int rv;
839   BIO *cert_bio;
840   X509 *srvcert;
841   EVP_PKEY *pkey;
842   u32 olc_index;
843   openssl_listen_ctx_t *olc;
844   app_cert_key_pair_t *ckpair;
845
846   long flags = SSL_OP_NO_SSLv2 | SSL_OP_NO_SSLv3 | SSL_OP_NO_COMPRESSION;
847   openssl_main_t *om = &openssl_main;
848
849   ckpair = app_cert_key_pair_get_if_valid (lctx->ckpair_index);
850   if (!ckpair)
851     return -1;
852
853   if (!ckpair->cert || !ckpair->key)
854     {
855       TLS_DBG (1, "tls cert and/or key not configured %d",
856                lctx->parent_app_wrk_index);
857       return -1;
858     }
859
860   method = lctx->tls_type == TRANSPORT_PROTO_TLS ? SSLv23_server_method () :
861                                                    DTLS_server_method ();
862   ssl_ctx = SSL_CTX_new (method);
863   if (!ssl_ctx)
864     {
865       clib_warning ("Unable to create SSL context");
866       return -1;
867     }
868
869   SSL_CTX_set_mode (ssl_ctx, SSL_MODE_ENABLE_PARTIAL_WRITE);
870 #ifdef HAVE_OPENSSL_ASYNC
871   if (om->async)
872     {
873       SSL_CTX_set_mode (ssl_ctx, SSL_MODE_ASYNC);
874       SSL_CTX_set_async_callback (ssl_ctx, tls_async_openssl_callback);
875     }
876 #endif
877   SSL_CTX_set_options (ssl_ctx, flags);
878   SSL_CTX_set_ecdh_auto (ssl_ctx, 1);
879
880   rv = SSL_CTX_set_cipher_list (ssl_ctx, (const char *) om->ciphers);
881   if (rv != 1)
882     {
883       TLS_DBG (1, "Couldn't set cipher");
884       return -1;
885     }
886
887   /* use the default OpenSSL built-in DH parameters */
888   rv = SSL_CTX_set_dh_auto (ssl_ctx, 1);
889   if (rv != 1)
890     {
891       TLS_DBG (1, "Couldn't set temp DH parameters");
892       return -1;
893     }
894
895   /*
896    * Set the key and cert
897    */
898   cert_bio = BIO_new (BIO_s_mem ());
899   if (!cert_bio)
900     {
901       clib_warning ("unable to allocate memory");
902       return -1;
903     }
904   BIO_write (cert_bio, ckpair->cert, vec_len (ckpair->cert));
905   srvcert = PEM_read_bio_X509 (cert_bio, NULL, NULL, NULL);
906   if (!srvcert)
907     {
908       clib_warning ("unable to parse certificate");
909       goto err;
910     }
911   rv = SSL_CTX_use_certificate (ssl_ctx, srvcert);
912   if (rv != 1)
913     {
914       clib_warning ("unable to use SSL certificate");
915       goto err;
916     }
917
918   BIO_free (cert_bio);
919
920   cert_bio = BIO_new (BIO_s_mem ());
921   if (!cert_bio)
922     {
923       clib_warning ("unable to allocate memory");
924       return -1;
925     }
926   BIO_write (cert_bio, ckpair->key, vec_len (ckpair->key));
927   pkey = PEM_read_bio_PrivateKey (cert_bio, NULL, NULL, NULL);
928   if (!pkey)
929     {
930       clib_warning ("unable to parse pkey");
931       goto err;
932     }
933   rv = SSL_CTX_use_PrivateKey (ssl_ctx, pkey);
934   if (rv != 1)
935     {
936       clib_warning ("unable to use SSL PrivateKey");
937       goto err;
938     }
939
940   BIO_free (cert_bio);
941
942   olc_index = openssl_listen_ctx_alloc ();
943   olc = openssl_lctx_get (olc_index);
944   olc->ssl_ctx = ssl_ctx;
945   olc->srvcert = srvcert;
946   olc->pkey = pkey;
947
948   /* store SSL_CTX into TLS level structure */
949   lctx->tls_ssl_ctx = olc_index;
950
951   return 0;
952
953 err:
954   if (cert_bio)
955     BIO_free (cert_bio);
956   return -1;
957 }
958
959 static int
960 openssl_stop_listen (tls_ctx_t * lctx)
961 {
962   u32 olc_index;
963   openssl_listen_ctx_t *olc;
964
965   olc_index = lctx->tls_ssl_ctx;
966   olc = openssl_lctx_get (olc_index);
967
968   X509_free (olc->srvcert);
969   EVP_PKEY_free (olc->pkey);
970
971   SSL_CTX_free (olc->ssl_ctx);
972   openssl_listen_ctx_free (olc);
973
974   return 0;
975 }
976
977 static int
978 openssl_ctx_init_server (tls_ctx_t * ctx)
979 {
980   openssl_ctx_t *oc = (openssl_ctx_t *) ctx;
981   u32 olc_index = ctx->tls_ssl_ctx;
982   openssl_listen_ctx_t *olc;
983   int rv, err;
984
985   /* Start a new connection */
986
987   olc = openssl_lctx_get (olc_index);
988   oc->ssl = SSL_new (olc->ssl_ctx);
989   if (oc->ssl == NULL)
990     {
991       TLS_DBG (1, "Couldn't initialize ssl struct");
992       return -1;
993     }
994
995   if (ctx->tls_type == TRANSPORT_PROTO_TLS)
996     {
997       oc->rbio = BIO_new_tls (ctx->tls_session_handle);
998       oc->wbio = BIO_new_tls (ctx->tls_session_handle);
999     }
1000   else
1001     {
1002       oc->rbio = BIO_new_dtls (ctx->tls_session_handle);
1003       oc->wbio = BIO_new_dtls (ctx->tls_session_handle);
1004     }
1005
1006   SSL_set_bio (oc->ssl, oc->wbio, oc->rbio);
1007   SSL_set_accept_state (oc->ssl);
1008
1009   TLS_DBG (1, "Initiating handshake for [%u]%u", ctx->c_thread_index,
1010            oc->openssl_ctx_index);
1011
1012 #ifdef HAVE_OPENSSL_ASYNC
1013   session_t *tls_session = session_get_from_handle (ctx->tls_session_handle);
1014   vpp_tls_async_init_event (ctx, openssl_ctx_handshake_rx, tls_session);
1015 #endif
1016   while (1)
1017     {
1018       rv = SSL_do_handshake (oc->ssl);
1019       err = SSL_get_error (oc->ssl, rv);
1020 #ifdef HAVE_OPENSSL_ASYNC
1021       if (err == SSL_ERROR_WANT_ASYNC)
1022         {
1023           openssl_check_async_status (ctx, openssl_ctx_handshake_rx,
1024                                       tls_session);
1025           break;
1026         }
1027 #endif
1028       if (err != SSL_ERROR_WANT_WRITE)
1029         break;
1030     }
1031
1032   TLS_DBG (2, "tls state for [%u]%u is su", ctx->c_thread_index,
1033            oc->openssl_ctx_index, SSL_state_string_long (oc->ssl));
1034   return 0;
1035 }
1036
1037 static u8
1038 openssl_handshake_is_over (tls_ctx_t * ctx)
1039 {
1040   openssl_ctx_t *mc = (openssl_ctx_t *) ctx;
1041   if (!mc->ssl)
1042     return 0;
1043   return SSL_is_init_finished (mc->ssl);
1044 }
1045
1046 static int
1047 openssl_transport_close (tls_ctx_t * ctx)
1048 {
1049 #ifdef HAVE_OPENSSL_ASYNC
1050   if (vpp_openssl_is_inflight (ctx))
1051     return 0;
1052 #endif
1053
1054   if (!openssl_handshake_is_over (ctx))
1055     {
1056       openssl_handle_handshake_failure (ctx);
1057       return 0;
1058     }
1059   session_transport_closing_notify (&ctx->connection);
1060   return 0;
1061 }
1062
1063 static int
1064 openssl_transport_reset (tls_ctx_t *ctx)
1065 {
1066   if (!openssl_handshake_is_over (ctx))
1067     {
1068       openssl_handle_handshake_failure (ctx);
1069       return 0;
1070     }
1071
1072   session_transport_reset_notify (&ctx->connection);
1073   session_transport_closed_notify (&ctx->connection);
1074   tls_disconnect_transport (ctx);
1075
1076   return 0;
1077 }
1078
1079 static int
1080 openssl_app_close (tls_ctx_t * ctx)
1081 {
1082   openssl_ctx_t *oc = (openssl_ctx_t *) ctx;
1083   session_t *app_session;
1084
1085   /* Wait for all data to be written to tcp */
1086   app_session = session_get_from_handle (ctx->app_session_handle);
1087   if (BIO_ctrl_pending (oc->rbio) <= 0
1088       && !svm_fifo_max_dequeue_cons (app_session->tx_fifo))
1089     openssl_confirm_app_close (ctx);
1090   return 0;
1091 }
1092
1093 int
1094 tls_init_ca_chain (void)
1095 {
1096   openssl_main_t *om = &openssl_main;
1097   tls_main_t *tm = vnet_tls_get_main ();
1098   BIO *cert_bio;
1099   X509 *testcert;
1100   int rv;
1101
1102   if (access (tm->ca_cert_path, F_OK | R_OK) == -1)
1103     {
1104       clib_warning ("Could not initialize TLS CA certificates");
1105       return -1;
1106     }
1107
1108   if (!(om->cert_store = X509_STORE_new ()))
1109     {
1110       clib_warning ("failed to create cert store");
1111       return -1;
1112     }
1113
1114 #if OPENSSL_VERSION_NUMBER >= 0x30000000L
1115   rv = X509_STORE_load_file (om->cert_store, tm->ca_cert_path);
1116 #else
1117   rv = X509_STORE_load_locations (om->cert_store, tm->ca_cert_path, 0);
1118 #endif
1119
1120   if (rv < 0)
1121     {
1122       clib_warning ("failed to load ca certificate");
1123     }
1124
1125   if (tm->use_test_cert_in_ca)
1126     {
1127       cert_bio = BIO_new (BIO_s_mem ());
1128       BIO_write (cert_bio, test_srv_crt_rsa, test_srv_crt_rsa_len);
1129       testcert = PEM_read_bio_X509 (cert_bio, NULL, NULL, NULL);
1130       if (!testcert)
1131         {
1132           clib_warning ("unable to parse certificate");
1133           return -1;
1134         }
1135       X509_STORE_add_cert (om->cert_store, testcert);
1136       rv = 0;
1137     }
1138   return (rv < 0 ? -1 : 0);
1139 }
1140
1141 int
1142 openssl_reinit_ca_chain (void)
1143 {
1144   openssl_main_t *om = &openssl_main;
1145
1146   /* Remove/free existing x509_store */
1147   if (om->cert_store)
1148     {
1149       X509_STORE_free (om->cert_store);
1150     }
1151   return tls_init_ca_chain ();
1152 }
1153
1154 const static tls_engine_vft_t openssl_engine = {
1155   .ctx_alloc = openssl_ctx_alloc,
1156   .ctx_alloc_w_thread = openssl_ctx_alloc_w_thread,
1157   .ctx_free = openssl_ctx_free,
1158   .ctx_attach = openssl_ctx_attach,
1159   .ctx_detach = openssl_ctx_detach,
1160   .ctx_get = openssl_ctx_get,
1161   .ctx_get_w_thread = openssl_ctx_get_w_thread,
1162   .ctx_init_server = openssl_ctx_init_server,
1163   .ctx_init_client = openssl_ctx_init_client,
1164   .ctx_write = openssl_ctx_write,
1165   .ctx_read = openssl_ctx_read,
1166   .ctx_handshake_is_over = openssl_handshake_is_over,
1167   .ctx_start_listen = openssl_start_listen,
1168   .ctx_stop_listen = openssl_stop_listen,
1169   .ctx_transport_close = openssl_transport_close,
1170   .ctx_transport_reset = openssl_transport_reset,
1171   .ctx_app_close = openssl_app_close,
1172   .ctx_reinit_cachain = openssl_reinit_ca_chain,
1173 };
1174
1175 int
1176 tls_openssl_set_ciphers (char *ciphers)
1177 {
1178   openssl_main_t *om = &openssl_main;
1179   int i;
1180
1181   if (!ciphers)
1182     {
1183       return -1;
1184     }
1185
1186   vec_validate (om->ciphers, strlen (ciphers));
1187   for (i = 0; i < vec_len (om->ciphers) - 1; i++)
1188     {
1189       om->ciphers[i] = toupper (ciphers[i]);
1190     }
1191
1192   return 0;
1193
1194 }
1195
1196 static clib_error_t *
1197 tls_openssl_init (vlib_main_t * vm)
1198 {
1199   vlib_thread_main_t *vtm = vlib_get_thread_main ();
1200   openssl_main_t *om = &openssl_main;
1201   clib_error_t *error = 0;
1202   u32 num_threads, i;
1203
1204   error = tls_openssl_api_init (vm);
1205   num_threads = 1 /* main thread */  + vtm->n_threads;
1206
1207   SSL_library_init ();
1208   SSL_load_error_strings ();
1209
1210   vec_validate (om->ctx_pool, num_threads - 1);
1211   vec_validate (om->rx_bufs, num_threads - 1);
1212   vec_validate (om->tx_bufs, num_threads - 1);
1213   for (i = 0; i < num_threads; i++)
1214     {
1215       vec_validate (om->rx_bufs[i], DTLSO_MAX_DGRAM);
1216       vec_validate (om->tx_bufs[i], DTLSO_MAX_DGRAM);
1217     }
1218   tls_register_engine (&openssl_engine, CRYPTO_ENGINE_OPENSSL);
1219
1220   om->engine_init = 0;
1221
1222   /* default ciphers */
1223   tls_openssl_set_ciphers
1224     ("ALL:!ADH:!LOW:!EXP:!MD5:!RC4-SHA:!DES-CBC3-SHA:@STRENGTH");
1225
1226   if (tls_init_ca_chain ())
1227     {
1228       clib_warning ("failed to initialize TLS CA chain");
1229       return 0;
1230     }
1231
1232   return error;
1233 }
1234 VLIB_INIT_FUNCTION (tls_openssl_init) =
1235 {
1236   .runs_after = VLIB_INITS("tls_init"),
1237 };
1238
1239 #ifdef HAVE_OPENSSL_ASYNC
1240 static clib_error_t *
1241 tls_openssl_set_command_fn (vlib_main_t * vm, unformat_input_t * input,
1242                             vlib_cli_command_t * cmd)
1243 {
1244   openssl_main_t *om = &openssl_main;
1245   char *engine_name = NULL;
1246   char *engine_alg = NULL;
1247   char *ciphers = NULL;
1248   u8 engine_name_set = 0;
1249   int i, async = 0;
1250
1251   /* By present, it is not allowed to configure engine again after running */
1252   if (om->engine_init)
1253     {
1254       clib_warning ("engine has started!\n");
1255       return clib_error_return
1256         (0, "engine has started, and no config is accepted");
1257     }
1258
1259   while (unformat_check_input (input) != UNFORMAT_END_OF_INPUT)
1260     {
1261       if (unformat (input, "engine %s", &engine_name))
1262         {
1263           engine_name_set = 1;
1264         }
1265       else if (unformat (input, "async"))
1266         {
1267           async = 1;
1268         }
1269       else if (unformat (input, "alg %s", &engine_alg))
1270         {
1271           for (i = 0; i < strnlen (engine_alg, MAX_CRYPTO_LEN); i++)
1272             engine_alg[i] = toupper (engine_alg[i]);
1273         }
1274       else if (unformat (input, "ciphers %s", &ciphers))
1275         {
1276           tls_openssl_set_ciphers (ciphers);
1277         }
1278       else
1279         return clib_error_return (0, "failed: unknown input `%U'",
1280                                   format_unformat_error, input);
1281     }
1282
1283   /* reset parameters if engine is not configured */
1284   if (!engine_name_set)
1285     {
1286       clib_warning ("No engine provided! \n");
1287       async = 0;
1288     }
1289   else
1290     {
1291       vnet_session_enable_disable (vm, 1);
1292       if (openssl_engine_register (engine_name, engine_alg, async) < 0)
1293         {
1294           return clib_error_return (0, "Failed to register %s polling",
1295                                     engine_name);
1296         }
1297       else
1298         {
1299           vlib_cli_output (vm, "Successfully register engine %s\n",
1300                            engine_name);
1301         }
1302     }
1303   om->async = async;
1304
1305   return 0;
1306 }
1307
1308 VLIB_CLI_COMMAND (tls_openssl_set_command, static) =
1309 {
1310   .path = "tls openssl set",
1311   .short_help = "tls openssl set [engine <engine name>] [alg [algorithm] [async]",
1312   .function = tls_openssl_set_command_fn,
1313 };
1314 #endif
1315
1316 VLIB_PLUGIN_REGISTER () = {
1317     .version = VPP_BUILD_VER,
1318     .description = "Transport Layer Security (TLS) Engine, OpenSSL Based",
1319 };
1320
1321 /*
1322  * fd.io coding-style-patch-verification: ON
1323  *
1324  * Local Variables:
1325  * eval: (c-set-style "gnu")
1326  * End:
1327  */