drivers/net/softnic/hash_func_arm64.h

   1 /*-
   2  *   BSD LICENSE
   3  *
   4  *   Copyright(c) 2017 Linaro Limited. All rights reserved.
   5  *   All rights reserved.
   6  *
   7  *   Redistribution and use in source and binary forms, with or without
   8  *   modification, are permitted provided that the following conditions
   9  *   are met:
  10  *
  11  *     * Redistributions of source code must retain the above copyright
  12  *       notice, this list of conditions and the following disclaimer.
  13  *     * Redistributions in binary form must reproduce the above copyright
  14  *       notice, this list of conditions and the following disclaimer in
  15  *       the documentation and/or other materials provided with the
  16  *       distribution.
  17  *     * Neither the name of Intel Corporation nor the names of its
  18  *       contributors may be used to endorse or promote products derived
  19  *       from this software without specific prior written permission.
  20  *
  21  *   THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
  22  *   "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
  23  *   LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
  24  *   A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
  25  *   OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
  26  *   SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
  27  *   LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
  28  *   DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
  29  *   THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  30  *   (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
  31  *   OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  32  */
  33 #ifndef __HASH_FUNC_ARM64_H__
  34 #define __HASH_FUNC_ARM64_H__
  35
  36 #define _CRC32CX(crc, val)      \
  37         __asm__("crc32cx %w[c], %w[c], %x[v]":[c] "+r" (crc):[v] "r" (val))
  38
  39 static inline uint64_t
  40 hash_crc_key8(void *key, void *mask, __rte_unused uint32_t key_size,
  41         uint64_t seed)
  42 {
  43         uint64_t *k = key;
  44         uint64_t *m = mask;
  45         uint32_t crc0;
  46
  47         crc0 = seed;
  48         _CRC32CX(crc0, k[0] & m[0]);
  49
  50         return crc0;
  51 }
  52
  53 static inline uint64_t
  54 hash_crc_key16(void *key, void *mask, __rte_unused uint32_t key_size,
  55         uint64_t seed)
  56 {
  57         uint64_t *k = key, k0;
  58         uint64_t *m = mask;
  59         uint32_t crc0, crc1;
  60
  61         k0 = k[0] & m[0];
  62
  63         crc0 = k0;
  64         _CRC32CX(crc0, seed);
  65         crc1 = k0 >> 32;
  66         _CRC32CX(crc1, k[1] & m[1]);
  67
  68         crc0 ^= crc1;
  69
  70         return crc0;
  71 }
  72
  73 static inline uint64_t
  74 hash_crc_key24(void *key, void *mask, __rte_unused uint32_t key_size,
  75         uint64_t seed)
  76 {
  77         uint64_t *k = key, k0, k2;
  78         uint64_t *m = mask;
  79         uint32_t crc0, crc1;
  80
  81         k0 = k[0] & m[0];
  82         k2 = k[2] & m[2];
  83
  84         crc0 = k0;
  85         _CRC32CX(crc0, seed);
  86         crc1 = k0 >> 32;
  87         _CRC32CX(crc1, k[1] & m[1]);
  88
  89         _CRC32CX(crc0, k2);
  90
  91         crc0 ^= crc1;
  92
  93         return crc0;
  94 }
  95
  96 static inline uint64_t
  97 hash_crc_key32(void *key, void *mask, __rte_unused uint32_t key_size,
  98         uint64_t seed)
  99 {
 100         uint64_t *k = key, k0, k2;
 101         uint64_t *m = mask;
 102         uint32_t crc0, crc1, crc2, crc3;
 103
 104         k0 = k[0] & m[0];
 105         k2 = k[2] & m[2];
 106
 107         crc0 = k0;
 108         _CRC32CX(crc0, seed);
 109         crc1 = k0 >> 32;
 110         _CRC32CX(crc1, k[1] & m[1]);
 111
 112         crc2 = k2;
 113         _CRC32CX(crc2, k[3] & m[3]);
 114         crc3 = k2 >> 32;
 115
 116         _CRC32CX(crc0, crc1);
 117         _CRC32CX(crc2, crc3);
 118
 119         crc0 ^= crc2;
 120
 121         return crc0;
 122 }
 123
 124 static inline uint64_t
 125 hash_crc_key40(void *key, void *mask, __rte_unused uint32_t key_size,
 126         uint64_t seed)
 127 {
 128         uint64_t *k = key, k0, k2;
 129         uint64_t *m = mask;
 130         uint32_t crc0, crc1, crc2, crc3;
 131
 132         k0 = k[0] & m[0];
 133         k2 = k[2] & m[2];
 134
 135         crc0 = k0;
 136         _CRC32CX(crc0, seed);
 137         crc1 = k0 >> 32;
 138         _CRC32CX(crc1, k[1] & m[1]);
 139
 140         crc2 = k2;
 141         _CRC32CX(crc2, k[3] & m[3]);
 142         crc3 = k2 >> 32;
 143         _CRC32CX(crc3, k[4] & m[4]);
 144
 145         _CRC32CX(crc0, crc1);
 146         _CRC32CX(crc2, crc3);
 147
 148         crc0 ^= crc2;
 149
 150         return crc0;
 151 }
 152
 153 static inline uint64_t
 154 hash_crc_key48(void *key, void *mask, __rte_unused uint32_t key_size,
 155         uint64_t seed)
 156 {
 157         uint64_t *k = key, k0, k2, k5;
 158         uint64_t *m = mask;
 159         uint32_t crc0, crc1, crc2, crc3;
 160
 161         k0 = k[0] & m[0];
 162         k2 = k[2] & m[2];
 163         k5 = k[5] & m[5];
 164
 165         crc0 = k0;
 166         _CRC32CX(crc0, seed);
 167         crc1 = k0 >> 32;
 168         _CRC32CX(crc1, k[1] & m[1]);
 169
 170         crc2 = k2;
 171         _CRC32CX(crc2, k[3] & m[3]);
 172         crc3 = k2 >> 32;
 173         _CRC32CX(crc3, k[4] & m[4]);
 174
 175         _CRC32CX(crc0, ((uint64_t)crc1 << 32) ^ crc2);
 176         _CRC32CX(crc3, k5);
 177
 178         crc0 ^= crc3;
 179
 180         return crc0;
 181 }
 182
 183 static inline uint64_t
 184 hash_crc_key56(void *key, void *mask, __rte_unused uint32_t key_size,
 185         uint64_t seed)
 186 {
 187         uint64_t *k = key, k0, k2, k5;
 188         uint64_t *m = mask;
 189         uint32_t crc0, crc1, crc2, crc3, crc4, crc5;
 190
 191         k0 = k[0] & m[0];
 192         k2 = k[2] & m[2];
 193         k5 = k[5] & m[5];
 194
 195         crc0 = k0;
 196         _CRC32CX(crc0, seed);
 197         crc1 = k0 >> 32;
 198         _CRC32CX(crc1, k[1] & m[1]);
 199
 200         crc2 = k2;
 201         _CRC32CX(crc2, k[3] & m[3]);
 202         crc3 = k2 >> 32;
 203         _CRC32CX(crc3, k[4] & m[4]);
 204
 205         crc4 = k5;
 206          _CRC32CX(crc4, k[6] & m[6]);
 207         crc5 = k5 >> 32;
 208
 209         _CRC32CX(crc0, ((uint64_t)crc1 << 32) ^ crc2);
 210         _CRC32CX(crc3, ((uint64_t)crc4 << 32) ^ crc5);
 211
 212         crc0 ^= crc3;
 213
 214         return crc0;
 215 }
 216
 217 static inline uint64_t
 218 hash_crc_key64(void *key, void *mask, __rte_unused uint32_t key_size,
 219         uint64_t seed)
 220 {
 221         uint64_t *k = key, k0, k2, k5;
 222         uint64_t *m = mask;
 223         uint32_t crc0, crc1, crc2, crc3, crc4, crc5;
 224
 225         k0 = k[0] & m[0];
 226         k2 = k[2] & m[2];
 227         k5 = k[5] & m[5];
 228
 229         crc0 = k0;
 230         _CRC32CX(crc0, seed);
 231         crc1 = k0 >> 32;
 232         _CRC32CX(crc1, k[1] & m[1]);
 233
 234         crc2 = k2;
 235         _CRC32CX(crc2, k[3] & m[3]);
 236         crc3 = k2 >> 32;
 237         _CRC32CX(crc3, k[4] & m[4]);
 238
 239         crc4 = k5;
 240          _CRC32CX(crc4, k[6] & m[6]);
 241         crc5 = k5 >> 32;
 242         _CRC32CX(crc5, k[7] & m[7]);
 243
 244         _CRC32CX(crc0, ((uint64_t)crc1 << 32) ^ crc2);
 245         _CRC32CX(crc3, ((uint64_t)crc4 << 32) ^ crc5);
 246
 247         crc0 ^= crc3;
 248
 249         return crc0;
 250 }
 251
 252 #define hash_default_key8                       hash_crc_key8
 253 #define hash_default_key16                      hash_crc_key16
 254 #define hash_default_key24                      hash_crc_key24
 255 #define hash_default_key32                      hash_crc_key32
 256 #define hash_default_key40                      hash_crc_key40
 257 #define hash_default_key48                      hash_crc_key48
 258 #define hash_default_key56                      hash_crc_key56
 259 #define hash_default_key64                      hash_crc_key64
 260
 261 #endif