drivers/crypto/aesni_mb/rte_aesni_mb_pmd_private.h

   1 /*-
   2  *   BSD LICENSE
   3  *
   4  *   Copyright(c) 2015-2016 Intel Corporation. All rights reserved.
   5  *
   6  *   Redistribution and use in source and binary forms, with or without
   7  *   modification, are permitted provided that the following conditions
   8  *   are met:
   9  *
  10  *     * Redistributions of source code must retain the above copyright
  11  *       notice, this list of conditions and the following disclaimer.
  12  *     * Redistributions in binary form must reproduce the above copyright
  13  *       notice, this list of conditions and the following disclaimer in
  14  *       the documentation and/or other materials provided with the
  15  *       distribution.
  16  *     * Neither the name of Intel Corporation nor the names of its
  17  *       contributors may be used to endorse or promote products derived
  18  *       from this software without specific prior written permission.
  19  *
  20  *   THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
  21  *   "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
  22  *   LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
  23  *   A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
  24  *   OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
  25  *   SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
  26  *   LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
  27  *   DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
  28  *   THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  29  *   (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
  30  *   OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  31  */
  32
  33 #ifndef _RTE_AESNI_MB_PMD_PRIVATE_H_
  34 #define _RTE_AESNI_MB_PMD_PRIVATE_H_
  35
  36 #include "aesni_mb_ops.h"
  37
  38 #define CRYPTODEV_NAME_AESNI_MB_PMD     crypto_aesni_mb
  39 /**< AES-NI Multi buffer PMD device name */
  40
  41 #define MB_LOG_ERR(fmt, args...) \
  42         RTE_LOG(ERR, CRYPTODEV, "[%s] %s() line %u: " fmt "\n",  \
  43                         RTE_STR(CRYPTODEV_NAME_AESNI_MB_PMD), \
  44                         __func__, __LINE__, ## args)
  45
  46 #ifdef RTE_LIBRTE_AESNI_MB_DEBUG
  47 #define MB_LOG_INFO(fmt, args...) \
  48         RTE_LOG(INFO, CRYPTODEV, "[%s] %s() line %u: " fmt "\n", \
  49                         CRYPTODEV_NAME_AESNI_MB_PMD, \
  50                         __func__, __LINE__, ## args)
  51
  52 #define MB_LOG_DBG(fmt, args...) \
  53         RTE_LOG(DEBUG, CRYPTODEV, "[%s] %s() line %u: " fmt "\n", \
  54                         CRYPTODEV_NAME_AESNI_MB_PMD, \
  55                         __func__, __LINE__, ## args)
  56 #else
  57 #define MB_LOG_INFO(fmt, args...)
  58 #define MB_LOG_DBG(fmt, args...)
  59 #endif
  60
  61 #define HMAC_IPAD_VALUE                 (0x36)
  62 #define HMAC_OPAD_VALUE                 (0x5C)
  63
  64 /* Maximum length for digest (SHA-512 truncated needs 32 bytes) */
  65 #define DIGEST_LENGTH_MAX 32
  66 static const unsigned auth_blocksize[] = {
  67                 [MD5]           = 64,
  68                 [SHA1]          = 64,
  69                 [SHA_224]       = 64,
  70                 [SHA_256]       = 64,
  71                 [SHA_384]       = 128,
  72                 [SHA_512]       = 128,
  73                 [AES_XCBC]      = 16,
  74 };
  75
  76 /**
  77  * Get the blocksize in bytes for a specified authentication algorithm
  78  *
  79  * @Note: this function will not return a valid value for a non-valid
  80  * authentication algorithm
  81  */
  82 static inline unsigned
  83 get_auth_algo_blocksize(JOB_HASH_ALG algo)
  84 {
  85         return auth_blocksize[algo];
  86 }
  87
  88 static const unsigned auth_truncated_digest_byte_lengths[] = {
  89                 [MD5]           = 12,
  90                 [SHA1]          = 12,
  91                 [SHA_224]       = 14,
  92                 [SHA_256]       = 16,
  93                 [SHA_384]       = 24,
  94                 [SHA_512]       = 32,
  95                 [AES_XCBC]      = 12,
  96                 [NULL_HASH]     = 0
  97 };
  98
  99 /**
 100  * Get the IPsec specified truncated length in bytes of the HMAC digest for a
 101  * specified authentication algorithm
 102  *
 103  * @Note: this function will not return a valid value for a non-valid
 104  * authentication algorithm
 105  */
 106 static inline unsigned
 107 get_truncated_digest_byte_length(JOB_HASH_ALG algo)
 108 {
 109         return auth_truncated_digest_byte_lengths[algo];
 110 }
 111
 112 static const unsigned auth_digest_byte_lengths[] = {
 113                 [MD5]           = 16,
 114                 [SHA1]          = 20,
 115                 [SHA_224]       = 28,
 116                 [SHA_256]       = 32,
 117                 [SHA_384]       = 48,
 118                 [SHA_512]       = 64,
 119                 [AES_XCBC]      = 16,
 120                 [NULL_HASH]     = 0
 121 };
 122
 123 /**
 124  * Get the output digest size in bytes for a specified authentication algorithm
 125  *
 126  * @Note: this function will not return a valid value for a non-valid
 127  * authentication algorithm
 128  */
 129 static inline unsigned
 130 get_digest_byte_length(JOB_HASH_ALG algo)
 131 {
 132         return auth_digest_byte_lengths[algo];
 133 }
 134
 135 enum aesni_mb_operation {
 136         AESNI_MB_OP_HASH_CIPHER,
 137         AESNI_MB_OP_CIPHER_HASH,
 138         AESNI_MB_OP_HASH_ONLY,
 139         AESNI_MB_OP_CIPHER_ONLY,
 140         AESNI_MB_OP_NOT_SUPPORTED
 141 };
 142
 143 /** private data structure for each virtual AESNI device */
 144 struct aesni_mb_private {
 145         enum aesni_mb_vector_mode vector_mode;
 146         /**< CPU vector instruction set mode */
 147         unsigned max_nb_queue_pairs;
 148         /**< Max number of queue pairs supported by device */
 149         unsigned max_nb_sessions;
 150         /**< Max number of sessions supported by device */
 151 };
 152
 153 /** AESNI Multi buffer queue pair */
 154 struct aesni_mb_qp {
 155         uint16_t id;
 156         /**< Queue Pair Identifier */
 157         char name[RTE_CRYPTODEV_NAME_LEN];
 158         /**< Unique Queue Pair Name */
 159         const struct aesni_mb_op_fns *op_fns;
 160         /**< Vector mode dependent pointer table of the multi-buffer APIs */
 161         MB_MGR mb_mgr;
 162         /**< Multi-buffer instance */
 163         struct rte_ring *ingress_queue;
 164        /**< Ring for placing operations ready for processing */
 165         struct rte_mempool *sess_mp;
 166         /**< Session Mempool */
 167         struct rte_cryptodev_stats stats;
 168         /**< Queue pair statistics */
 169         uint8_t digest_idx;
 170         /**< Index of the next slot to be used in temp_digests,
 171          * to store the digest for a given operation
 172          */
 173         uint8_t temp_digests[MAX_JOBS][DIGEST_LENGTH_MAX];
 174         /**< Buffers used to store the digest generated
 175          * by the driver when verifying a digest provided
 176          * by the user (using authentication verify operation)
 177          */
 178 } __rte_cache_aligned;
 179
 180 /** AES-NI multi-buffer private session structure */
 181 struct aesni_mb_session {
 182         JOB_CHAIN_ORDER chain_order;
 183         struct {
 184                 uint16_t length;
 185                 uint16_t offset;
 186         } iv;
 187         /**< IV parameters */
 188
 189         /** Cipher Parameters */
 190         struct {
 191                 /** Cipher direction - encrypt / decrypt */
 192                 JOB_CIPHER_DIRECTION direction;
 193                 /** Cipher mode - CBC / Counter */
 194                 JOB_CIPHER_MODE mode;
 195
 196                 uint64_t key_length_in_bytes;
 197
 198                 struct {
 199                         uint32_t encode[60] __rte_aligned(16);
 200                         /**< encode key */
 201                         uint32_t decode[60] __rte_aligned(16);
 202                         /**< decode key */
 203                 } expanded_aes_keys;
 204                 /**< Expanded AES keys - Allocating space to
 205                  * contain the maximum expanded key size which
 206                  * is 240 bytes for 256 bit AES, calculate by:
 207                  * ((key size (bytes)) *
 208                  * ((number of rounds) + 1))
 209                  */
 210         } cipher;
 211
 212         /** Authentication Parameters */
 213         struct {
 214                 JOB_HASH_ALG algo; /**< Authentication Algorithm */
 215                 enum rte_crypto_auth_operation operation;
 216                 /**< auth operation generate or verify */
 217                 union {
 218                         struct {
 219                                 uint8_t inner[128] __rte_aligned(16);
 220                                 /**< inner pad */
 221                                 uint8_t outer[128] __rte_aligned(16);
 222                                 /**< outer pad */
 223                         } pads;
 224                         /**< HMAC Authentication pads -
 225                          * allocating space for the maximum pad
 226                          * size supported which is 128 bytes for
 227                          * SHA512
 228                          */
 229
 230                         struct {
 231                             uint32_t k1_expanded[44] __rte_aligned(16);
 232                             /**< k1 (expanded key). */
 233                             uint8_t k2[16] __rte_aligned(16);
 234                             /**< k2. */
 235                             uint8_t k3[16] __rte_aligned(16);
 236                             /**< k3. */
 237                         } xcbc;
 238                         /**< Expanded XCBC authentication keys */
 239                 };
 240         } auth;
 241 } __rte_cache_aligned;
 242
 243
 244 /**
 245  *
 246  */
 247 extern int
 248 aesni_mb_set_session_parameters(const struct aesni_mb_op_fns *mb_ops,
 249                 struct aesni_mb_session *sess,
 250                 const struct rte_crypto_sym_xform *xform);
 251
 252
 253 /** device specific operations function pointer structure */
 254 extern struct rte_cryptodev_ops *rte_aesni_mb_pmd_ops;
 255
 256
 257
 258 #endif /* _RTE_AESNI_MB_PMD_PRIVATE_H_ */