src/plugins/crypto_native/main.c

   1 /*
   2  *------------------------------------------------------------------
   3  * Copyright (c) 2019 Cisco and/or its affiliates.
   4  * Licensed under the Apache License, Version 2.0 (the "License");
   5  * you may not use this file except in compliance with the License.
   6  * You may obtain a copy of the License at:
   7  *
   8  *     http://www.apache.org/licenses/LICENSE-2.0
   9  *
  10  * Unless required by applicable law or agreed to in writing, software
  11  * distributed under the License is distributed on an "AS IS" BASIS,
  12  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  13  * See the License for the specific language governing permissions and
  14  * limitations under the License.
  15  *------------------------------------------------------------------
  16  */
  17
  18 #include <vlib/vlib.h>
  19 #include <vnet/plugin/plugin.h>
  20 #include <vnet/crypto/crypto.h>
  21 #include <crypto_native/crypto_native.h>
  22
  23 crypto_native_main_t crypto_native_main;
  24
  25 static void
  26 crypto_native_key_handler (vlib_main_t * vm, vnet_crypto_key_op_t kop,
  27                            vnet_crypto_key_index_t idx)
  28 {
  29   vnet_crypto_key_t *key = vnet_crypto_get_key (idx);
  30   crypto_native_main_t *cm = &crypto_native_main;
  31
  32   /** TODO: add linked alg support **/
  33   if (key->type == VNET_CRYPTO_KEY_TYPE_LINK)
  34     return;
  35
  36   if (cm->key_fn[key->alg] == 0)
  37     return;
  38
  39   if (kop == VNET_CRYPTO_KEY_OP_DEL)
  40     {
  41       if (idx >= vec_len (cm->key_data))
  42         return;
  43
  44       if (cm->key_data[idx] == 0)
  45         return;
  46
  47       clib_mem_free_s (cm->key_data[idx]);
  48       cm->key_data[idx] = 0;
  49       return;
  50     }
  51
  52   vec_validate_aligned (cm->key_data, idx, CLIB_CACHE_LINE_BYTES);
  53
  54   if (kop == VNET_CRYPTO_KEY_OP_MODIFY && cm->key_data[idx])
  55     {
  56       clib_mem_free_s (cm->key_data[idx]);
  57     }
  58
  59   cm->key_data[idx] = cm->key_fn[key->alg] (key);
  60 }
  61
  62 clib_error_t *
  63 crypto_native_init (vlib_main_t * vm)
  64 {
  65   crypto_native_main_t *cm = &crypto_native_main;
  66   clib_error_t *error = 0;
  67
  68   if (clib_cpu_supports_x86_aes () == 0 &&
  69       clib_cpu_supports_aarch64_aes () == 0)
  70     return 0;
  71
  72   cm->crypto_engine_index =
  73     vnet_crypto_register_engine (vm, "native", 100,
  74                                  "Native ISA Optimized Crypto");
  75
  76   if (0);
  77 #if __x86_64__
  78   else if (crypto_native_aes_cbc_init_icl && clib_cpu_supports_vaes () &&
  79            clib_cpu_supports_avx512f ())
  80     error = crypto_native_aes_cbc_init_icl (vm);
  81   else if (crypto_native_aes_cbc_init_adl && clib_cpu_supports_vaes ())
  82     error = crypto_native_aes_cbc_init_adl (vm);
  83   else if (crypto_native_aes_cbc_init_skx && clib_cpu_supports_avx512f ())
  84     error = crypto_native_aes_cbc_init_skx (vm);
  85   else if (crypto_native_aes_cbc_init_hsw && clib_cpu_supports_avx2 ())
  86     error = crypto_native_aes_cbc_init_hsw (vm);
  87   else if (crypto_native_aes_cbc_init_slm)
  88     error = crypto_native_aes_cbc_init_slm (vm);
  89 #endif
  90 #if __aarch64__
  91   else if (crypto_native_aes_cbc_init_neon)
  92     error = crypto_native_aes_cbc_init_neon (vm);
  93 #endif
  94   else
  95     error = clib_error_return (0, "No AES CBC implemenation available");
  96
  97   if (error)
  98     return error;
  99
 100   if (0)
 101     ;
 102 #if __x86_64__
 103   else if (crypto_native_aes_ctr_init_icl && clib_cpu_supports_vaes () &&
 104            clib_cpu_supports_avx512f ())
 105     error = crypto_native_aes_ctr_init_icl (vm);
 106   else if (crypto_native_aes_ctr_init_adl && clib_cpu_supports_vaes ())
 107     error = crypto_native_aes_ctr_init_adl (vm);
 108   else if (crypto_native_aes_ctr_init_skx && clib_cpu_supports_avx512f ())
 109     error = crypto_native_aes_ctr_init_skx (vm);
 110   else if (crypto_native_aes_ctr_init_hsw && clib_cpu_supports_avx2 ())
 111     error = crypto_native_aes_ctr_init_hsw (vm);
 112   else if (crypto_native_aes_ctr_init_slm)
 113     error = crypto_native_aes_ctr_init_slm (vm);
 114 #endif
 115 #if __aarch64__
 116   else if (crypto_native_aes_ctr_init_neon)
 117     error = crypto_native_aes_ctr_init_neon (vm);
 118 #endif
 119   else
 120     error = clib_error_return (0, "No AES CTR implemenation available");
 121
 122   if (error)
 123     return error;
 124
 125 #if __x86_64__
 126   if (clib_cpu_supports_pclmulqdq ())
 127     {
 128       if (crypto_native_aes_gcm_init_icl && clib_cpu_supports_vaes () &&
 129           clib_cpu_supports_avx512f ())
 130         error = crypto_native_aes_gcm_init_icl (vm);
 131       else if (crypto_native_aes_gcm_init_adl && clib_cpu_supports_vaes ())
 132         error = crypto_native_aes_gcm_init_adl (vm);
 133       else if (crypto_native_aes_gcm_init_skx && clib_cpu_supports_avx512f ())
 134         error = crypto_native_aes_gcm_init_skx (vm);
 135       else if (crypto_native_aes_gcm_init_hsw && clib_cpu_supports_avx2 ())
 136         error = crypto_native_aes_gcm_init_hsw (vm);
 137       else if (crypto_native_aes_gcm_init_slm)
 138         error = crypto_native_aes_gcm_init_slm (vm);
 139       else
 140         error = clib_error_return (0, "No AES GCM implemenation available");
 141
 142       if (error)
 143         return error;
 144     }
 145 #endif
 146 #if __aarch64__
 147   if (crypto_native_aes_gcm_init_neon)
 148     error = crypto_native_aes_gcm_init_neon (vm);
 149   else
 150     error = clib_error_return (0, "No AES GCM implemenation available");
 151
 152   if (error)
 153     return error;
 154 #endif
 155
 156   vnet_crypto_register_key_handler (vm, cm->crypto_engine_index,
 157                                     crypto_native_key_handler);
 158   return 0;
 159 }
 160
 161 VLIB_INIT_FUNCTION (crypto_native_init) =
 162 {
 163   .runs_after = VLIB_INITS ("vnet_crypto_init"),
 164 };
 165
 166 #include <vpp/app/version.h>
 167
 168 VLIB_PLUGIN_REGISTER () = {
 169   .version = VPP_BUILD_VER,
 170   .description = "Native Crypto Engine",
 171 };