src/plugins/dpdk/ipsec/ipsec.h

   1 /*
   2  * Copyright (c) 2017 Intel and/or its affiliates.
   3  * Licensed under the Apache License, Version 2.0 (the "License");
   4  * you may not use this file except in compliance with the License.
   5  * You may obtain a copy of the License at:
   6  *
   7  *     http://www.apache.org/licenses/LICENSE-2.0
   8  *
   9  * Unless required by applicable law or agreed to in writing, software
  10  * distributed under the License is distributed on an "AS IS" BASIS,
  11  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  12  * See the License for the specific language governing permissions and
  13  * limitations under the License.
  14  */
  15 #ifndef __DPDK_IPSEC_H__
  16 #define __DPDK_IPSEC_H__
  17
  18 #include <vnet/vnet.h>
  19 #include <vppinfra/cache.h>
  20 #include <vnet/ipsec/ipsec.h>
  21
  22 #undef always_inline
  23 #include <rte_config.h>
  24 #include <rte_crypto.h>
  25 #include <rte_cryptodev.h>
  26
  27 #if CLIB_DEBUG > 0
  28 #define always_inline static inline
  29 #else
  30 #define always_inline static inline __attribute__ ((__always_inline__))
  31 #endif
  32
  33 #define foreach_dpdk_crypto_input_next          \
  34   _(DROP, "error-drop")                         \
  35   _(IP4_LOOKUP, "ip4-lookup")                   \
  36   _(IP6_LOOKUP, "ip6-lookup")                   \
  37   _(INTERFACE_OUTPUT, "interface-output")       \
  38   _(DECRYPT_POST, "dpdk-esp-decrypt-post")
  39
  40 typedef enum
  41 {
  42 #define _(f,s) DPDK_CRYPTO_INPUT_NEXT_##f,
  43   foreach_dpdk_crypto_input_next
  44 #undef _
  45     DPDK_CRYPTO_INPUT_N_NEXT,
  46 } dpdk_crypto_input_next_t;
  47
  48 #define MAX_QP_PER_LCORE 16
  49
  50 typedef struct
  51 {
  52   u32 salt;
  53   u32 iv[2];
  54   u32 cnt;
  55 } dpdk_gcm_cnt_blk;
  56
  57 typedef struct
  58 {
  59   dpdk_gcm_cnt_blk cb;
  60   u8 aad[12];
  61   u32 next;
  62   u8 icv[32];
  63 } dpdk_op_priv_t __attribute__ ((aligned (16)));
  64
  65 typedef struct
  66 {
  67   u16 *resource_idx;
  68   uword *session_by_drv_id_and_sa_index;
  69   u16 cipher_resource_idx[IPSEC_CRYPTO_N_ALG];
  70   u16 auth_resource_idx[IPSEC_INTEG_N_ALG];
  71   struct rte_crypto_op *ops[VLIB_FRAME_SIZE];
  72 } crypto_worker_main_t __attribute__ ((aligned (CLIB_CACHE_LINE_BYTES)));
  73
  74 typedef struct
  75 {
  76   char *name;
  77   enum rte_crypto_sym_xform_type type;
  78   u32 alg;
  79   u8 key_len;
  80   u8 iv_len;
  81   u8 trunc_size;
  82   u8 boundary;
  83   u8 disabled;
  84   u8 resources;
  85 } crypto_alg_t __attribute__ ((aligned (8)));
  86
  87 typedef struct
  88 {
  89   u16 *free_resources;
  90   u16 *used_resources;
  91   u8 cipher_support[IPSEC_CRYPTO_N_ALG];
  92   u8 auth_support[IPSEC_INTEG_N_ALG];
  93   u8 drv_id;
  94   u8 numa;
  95   u16 id;
  96   const i8 *name;
  97   u32 max_qp;
  98   u64 features;
  99 } crypto_dev_t;
 100
 101 typedef struct
 102 {
 103   const i8 *name;
 104   u16 *devs;
 105 } crypto_drv_t;
 106
 107 typedef struct
 108 {
 109   u16 thread_idx;
 110   u8 remove;
 111   u8 drv_id;
 112   u8 dev_id;
 113   u8 numa;
 114   u16 qp_id;
 115   u16 inflights[2];
 116   u16 n_ops;
 117   u16 __unused;
 118   struct rte_crypto_op *ops[VLIB_FRAME_SIZE];
 119   u32 bi[VLIB_FRAME_SIZE];
 120 } crypto_resource_t __attribute__ ((aligned (CLIB_CACHE_LINE_BYTES)));
 121
 122 typedef struct
 123 {
 124   struct rte_mempool *crypto_op;
 125   struct rte_mempool *session_h;
 126   struct rte_mempool **session_drv;
 127   uword *session_by_sa_index;
 128   u64 crypto_op_get_failed;
 129   u64 session_h_failed;
 130   u64 *session_drv_failed;
 131 } crypto_data_t;
 132
 133 typedef struct
 134 {
 135   crypto_worker_main_t *workers_main;
 136   struct rte_cryptodev_sym_session **sa_session;
 137   crypto_dev_t *dev;
 138   crypto_resource_t *resource;
 139   crypto_alg_t *cipher_algs;
 140   crypto_alg_t *auth_algs;
 141   crypto_data_t *data;
 142   crypto_drv_t *drv;
 143   u8 max_drv_id;
 144   u8 enabled;
 145 } dpdk_crypto_main_t;
 146
 147 dpdk_crypto_main_t dpdk_crypto_main;
 148
 149 static const u8 pad_data[] =
 150   { 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 0 };
 151
 152 void crypto_auto_placement (void);
 153
 154 clib_error_t *create_sym_session (struct rte_cryptodev_sym_session **session,
 155                                   u32 sa_idx, crypto_resource_t * res,
 156                                   crypto_worker_main_t * cwm, u8 is_outbound);
 157
 158 static_always_inline u32
 159 crypto_op_len (void)
 160 {
 161   const u32 align = 16;
 162   u32 op_size =
 163     sizeof (struct rte_crypto_op) + sizeof (struct rte_crypto_sym_op);
 164
 165   return ((op_size + align - 1) & ~(align - 1)) + sizeof (dpdk_op_priv_t);
 166 }
 167
 168 static_always_inline u32
 169 crypto_op_get_priv_offset (void)
 170 {
 171   const u32 align = 16;
 172   u32 offset;
 173
 174   offset = sizeof (struct rte_crypto_op) + sizeof (struct rte_crypto_sym_op);
 175   offset = (offset + align - 1) & ~(align - 1);
 176
 177   return offset;
 178 }
 179
 180 static_always_inline dpdk_op_priv_t *
 181 crypto_op_get_priv (struct rte_crypto_op * op)
 182 {
 183   return (dpdk_op_priv_t *) (((u8 *) op) + crypto_op_get_priv_offset ());
 184 }
 185
 186 /* XXX this requires 64 bit builds so hash_xxx macros use u64 key */
 187 typedef union
 188 {
 189   u64 val;
 190   struct
 191   {
 192     u32 drv_id;
 193     u32 sa_idx;
 194   };
 195 } crypto_session_key_t;
 196
 197 static_always_inline clib_error_t *
 198 crypto_get_session (struct rte_cryptodev_sym_session **session,
 199                     u32 sa_idx,
 200                     crypto_resource_t * res,
 201                     crypto_worker_main_t * cwm, u8 is_outbound)
 202 {
 203   crypto_session_key_t key = { 0 };
 204
 205   key.drv_id = res->drv_id;
 206   key.sa_idx = sa_idx;
 207
 208   uword *val = hash_get (cwm->session_by_drv_id_and_sa_index, key.val);
 209
 210   if (PREDICT_FALSE (!val))
 211     return create_sym_session (session, sa_idx, res, cwm, is_outbound);
 212
 213   session[0] = (struct rte_cryptodev_sym_session *) val[0];
 214
 215   return NULL;
 216 }
 217
 218 static_always_inline u16
 219 get_resource (crypto_worker_main_t * cwm, ipsec_sa_t * sa)
 220 {
 221   u16 cipher_res = cwm->cipher_resource_idx[sa->crypto_alg];
 222   u16 auth_res = cwm->auth_resource_idx[sa->integ_alg];
 223   u8 is_aead;
 224
 225   /* Not allowed to setup SA with no-aead-cipher/NULL or NULL/NULL */
 226
 227   is_aead = ((sa->crypto_alg == IPSEC_CRYPTO_ALG_AES_GCM_128) |
 228              (sa->crypto_alg == IPSEC_CRYPTO_ALG_AES_GCM_192) |
 229              (sa->crypto_alg == IPSEC_CRYPTO_ALG_AES_GCM_256));
 230
 231   if (sa->crypto_alg == IPSEC_CRYPTO_ALG_NONE)
 232     return auth_res;
 233
 234   if (cipher_res == auth_res)
 235     return cipher_res;
 236
 237   if (is_aead)
 238     return cipher_res;
 239
 240   return (u16) ~ 0;
 241 }
 242
 243 static_always_inline i32
 244 crypto_alloc_ops (u8 numa, struct rte_crypto_op ** ops, u32 n)
 245 {
 246   dpdk_crypto_main_t *dcm = &dpdk_crypto_main;
 247   crypto_data_t *data = vec_elt_at_index (dcm->data, numa);
 248   i32 ret;
 249
 250   ret = rte_mempool_get_bulk (data->crypto_op, (void **) ops, n);
 251
 252   data->crypto_op_get_failed += ! !ret;
 253
 254   return ret;
 255 }
 256
 257 static_always_inline void
 258 crypto_free_ops (u8 numa, struct rte_crypto_op **ops, u32 n)
 259 {
 260   dpdk_crypto_main_t *dcm = &dpdk_crypto_main;
 261   crypto_data_t *data = vec_elt_at_index (dcm->data, numa);
 262
 263   if (!n)
 264     return;
 265
 266   rte_mempool_put_bulk (data->crypto_op, (void **) ops, n);
 267 }
 268
 269 static_always_inline void
 270 crypto_enqueue_ops (vlib_main_t * vm, crypto_worker_main_t * cwm, u8 outbound,
 271                     u32 node_index, u32 error, u8 numa)
 272 {
 273   dpdk_crypto_main_t *dcm = &dpdk_crypto_main;
 274   crypto_resource_t *res;
 275   u16 *res_idx;
 276
 277   /* *INDENT-OFF* */
 278   vec_foreach (res_idx, cwm->resource_idx)
 279     {
 280       u16 enq;
 281       res = vec_elt_at_index (dcm->resource, res_idx[0]);
 282
 283       if (!res->n_ops)
 284         continue;
 285
 286       enq = rte_cryptodev_enqueue_burst (res->dev_id, res->qp_id + outbound,
 287                                          res->ops, res->n_ops);
 288       res->inflights[outbound] += enq;
 289
 290       if (PREDICT_FALSE (enq < res->n_ops))
 291         {
 292           crypto_free_ops (numa, &res->ops[enq], res->n_ops - enq);
 293           vlib_buffer_free (vm, &res->bi[enq], res->n_ops - enq);
 294
 295           vlib_node_increment_counter (vm, node_index, error,
 296                                        res->n_ops - enq);
 297         }
 298       res->n_ops = 0;
 299     }
 300   /* *INDENT-ON* */
 301 }
 302
 303 static_always_inline void
 304 crypto_set_icb (dpdk_gcm_cnt_blk * icb, u32 salt, u32 seq, u32 seq_hi)
 305 {
 306   icb->salt = salt;
 307   icb->iv[0] = seq;
 308   icb->iv[1] = seq_hi;
 309 #if DPDK_NO_AEAD
 310   icb->cnt = clib_host_to_net_u32 (1);
 311 #endif
 312 }
 313
 314 #define __unused __attribute__((unused))
 315 static_always_inline void
 316 crypto_op_setup (u8 is_aead, struct rte_mbuf *mb0,
 317                  struct rte_crypto_op *op, void *session,
 318                  u32 cipher_off, u32 cipher_len,
 319                  u8 * icb __unused, u32 iv_size __unused,
 320                  u32 auth_off, u32 auth_len,
 321                  u8 * aad __unused, u32 aad_size __unused,
 322                  u8 * digest, u64 digest_paddr, u32 digest_size __unused)
 323 {
 324   struct rte_crypto_sym_op *sym_op;
 325
 326   sym_op = (struct rte_crypto_sym_op *) (op + 1);
 327
 328   sym_op->m_src = mb0;
 329   sym_op->session = session;
 330
 331   if (!digest_paddr)
 332     digest_paddr = mb0->buf_physaddr + ((u8 *) digest) - ((u8 *) mb0);
 333
 334 #if DPDK_NO_AEAD
 335   sym_op->cipher.data.offset = cipher_off;
 336   sym_op->cipher.data.length = cipher_len;
 337
 338   sym_op->cipher.iv.data = icb;
 339   sym_op->cipher.iv.phys_addr =
 340     op->phys_addr + (uintptr_t) icb - (uintptr_t) op;
 341   sym_op->cipher.iv.length = iv_size;
 342
 343   if (is_aead)
 344     {
 345       sym_op->auth.aad.data = aad;
 346       sym_op->auth.aad.phys_addr =
 347         op->phys_addr + (uintptr_t) aad - (uintptr_t) op;
 348       sym_op->auth.aad.length = aad_size;
 349     }
 350   else
 351     {
 352       sym_op->auth.data.offset = auth_off;
 353       sym_op->auth.data.length = auth_len;
 354     }
 355
 356   sym_op->auth.digest.data = digest;
 357   sym_op->auth.digest.phys_addr = digest_paddr;
 358   sym_op->auth.digest.length = digest_size;
 359 #else /* ! DPDK_NO_AEAD */
 360   if (is_aead)
 361     {
 362       sym_op->aead.data.offset = cipher_off;
 363       sym_op->aead.data.length = cipher_len;
 364
 365       sym_op->aead.aad.data = aad;
 366       sym_op->aead.aad.phys_addr =
 367         op->phys_addr + (uintptr_t) aad - (uintptr_t) op;
 368
 369       sym_op->aead.digest.data = digest;
 370       sym_op->aead.digest.phys_addr = digest_paddr;
 371     }
 372   else
 373     {
 374       sym_op->cipher.data.offset = cipher_off;
 375       sym_op->cipher.data.length = cipher_len;
 376
 377       sym_op->auth.data.offset = auth_off;
 378       sym_op->auth.data.length = auth_len;
 379
 380       sym_op->auth.digest.data = digest;
 381       sym_op->auth.digest.phys_addr = digest_paddr;
 382     }
 383 #endif /* DPDK_NO_AEAD */
 384 }
 385
 386 #undef __unused
 387
 388 #endif /* __DPDK_IPSEC_H__ */
 389
 390 /*
 391  * fd.io coding-style-patch-verification: ON
 392  *
 393  * Local Variables:
 394  * eval: (c-set-style "gnu")
 395  * End:
 396  */