examples/ip_pipeline/hash_func_arm64.h

   1 /* SPDX-License-Identifier: BSD-3-Clause
   2  * Copyright(c) 2017-2018 Linaro Limited.
   3  */
   4 #ifndef __HASH_FUNC_ARM64_H__
   5 #define __HASH_FUNC_ARM64_H__
   6
   7 #define _CRC32CX(crc, val)      \
   8         __asm__("crc32cx %w[c], %w[c], %x[v]":[c] "+r" (crc):[v] "r" (val))
   9
  10 static inline uint64_t
  11 hash_crc_key8(void *key, void *mask, __rte_unused uint32_t key_size,
  12         uint64_t seed)
  13 {
  14         uint64_t *k = key;
  15         uint64_t *m = mask;
  16         uint32_t crc0;
  17
  18         crc0 = seed;
  19         _CRC32CX(crc0, k[0] & m[0]);
  20
  21         return crc0;
  22 }
  23
  24 static inline uint64_t
  25 hash_crc_key16(void *key, void *mask, __rte_unused uint32_t key_size,
  26         uint64_t seed)
  27 {
  28         uint64_t *k = key, k0;
  29         uint64_t *m = mask;
  30         uint32_t crc0, crc1;
  31
  32         k0 = k[0] & m[0];
  33
  34         crc0 = k0;
  35         _CRC32CX(crc0, seed);
  36         crc1 = k0 >> 32;
  37         _CRC32CX(crc1, k[1] & m[1]);
  38
  39         crc0 ^= crc1;
  40
  41         return crc0;
  42 }
  43
  44 static inline uint64_t
  45 hash_crc_key24(void *key, void *mask, __rte_unused uint32_t key_size,
  46         uint64_t seed)
  47 {
  48         uint64_t *k = key, k0, k2;
  49         uint64_t *m = mask;
  50         uint32_t crc0, crc1;
  51
  52         k0 = k[0] & m[0];
  53         k2 = k[2] & m[2];
  54
  55         crc0 = k0;
  56         _CRC32CX(crc0, seed);
  57         crc1 = k0 >> 32;
  58         _CRC32CX(crc1, k[1] & m[1]);
  59
  60         _CRC32CX(crc0, k2);
  61
  62         crc0 ^= crc1;
  63
  64         return crc0;
  65 }
  66
  67 static inline uint64_t
  68 hash_crc_key32(void *key, void *mask, __rte_unused uint32_t key_size,
  69         uint64_t seed)
  70 {
  71         uint64_t *k = key, k0, k2;
  72         uint64_t *m = mask;
  73         uint32_t crc0, crc1, crc2, crc3;
  74
  75         k0 = k[0] & m[0];
  76         k2 = k[2] & m[2];
  77
  78         crc0 = k0;
  79         _CRC32CX(crc0, seed);
  80         crc1 = k0 >> 32;
  81         _CRC32CX(crc1, k[1] & m[1]);
  82
  83         crc2 = k2;
  84         _CRC32CX(crc2, k[3] & m[3]);
  85         crc3 = k2 >> 32;
  86
  87         _CRC32CX(crc0, crc1);
  88         _CRC32CX(crc2, crc3);
  89
  90         crc0 ^= crc2;
  91
  92         return crc0;
  93 }
  94
  95 static inline uint64_t
  96 hash_crc_key40(void *key, void *mask, __rte_unused uint32_t key_size,
  97         uint64_t seed)
  98 {
  99         uint64_t *k = key, k0, k2;
 100         uint64_t *m = mask;
 101         uint32_t crc0, crc1, crc2, crc3;
 102
 103         k0 = k[0] & m[0];
 104         k2 = k[2] & m[2];
 105
 106         crc0 = k0;
 107         _CRC32CX(crc0, seed);
 108         crc1 = k0 >> 32;
 109         _CRC32CX(crc1, k[1] & m[1]);
 110
 111         crc2 = k2;
 112         _CRC32CX(crc2, k[3] & m[3]);
 113         crc3 = k2 >> 32;
 114         _CRC32CX(crc3, k[4] & m[4]);
 115
 116         _CRC32CX(crc0, crc1);
 117         _CRC32CX(crc2, crc3);
 118
 119         crc0 ^= crc2;
 120
 121         return crc0;
 122 }
 123
 124 static inline uint64_t
 125 hash_crc_key48(void *key, void *mask, __rte_unused uint32_t key_size,
 126         uint64_t seed)
 127 {
 128         uint64_t *k = key, k0, k2, k5;
 129         uint64_t *m = mask;
 130         uint32_t crc0, crc1, crc2, crc3;
 131
 132         k0 = k[0] & m[0];
 133         k2 = k[2] & m[2];
 134         k5 = k[5] & m[5];
 135
 136         crc0 = k0;
 137         _CRC32CX(crc0, seed);
 138         crc1 = k0 >> 32;
 139         _CRC32CX(crc1, k[1] & m[1]);
 140
 141         crc2 = k2;
 142         _CRC32CX(crc2, k[3] & m[3]);
 143         crc3 = k2 >> 32;
 144         _CRC32CX(crc3, k[4] & m[4]);
 145
 146         _CRC32CX(crc0, ((uint64_t)crc1 << 32) ^ crc2);
 147         _CRC32CX(crc3, k5);
 148
 149         crc0 ^= crc3;
 150
 151         return crc0;
 152 }
 153
 154 static inline uint64_t
 155 hash_crc_key56(void *key, void *mask, __rte_unused uint32_t key_size,
 156         uint64_t seed)
 157 {
 158         uint64_t *k = key, k0, k2, k5;
 159         uint64_t *m = mask;
 160         uint32_t crc0, crc1, crc2, crc3, crc4, crc5;
 161
 162         k0 = k[0] & m[0];
 163         k2 = k[2] & m[2];
 164         k5 = k[5] & m[5];
 165
 166         crc0 = k0;
 167         _CRC32CX(crc0, seed);
 168         crc1 = k0 >> 32;
 169         _CRC32CX(crc1, k[1] & m[1]);
 170
 171         crc2 = k2;
 172         _CRC32CX(crc2, k[3] & m[3]);
 173         crc3 = k2 >> 32;
 174         _CRC32CX(crc3, k[4] & m[4]);
 175
 176         crc4 = k5;
 177          _CRC32CX(crc4, k[6] & m[6]);
 178         crc5 = k5 >> 32;
 179
 180         _CRC32CX(crc0, ((uint64_t)crc1 << 32) ^ crc2);
 181         _CRC32CX(crc3, ((uint64_t)crc4 << 32) ^ crc5);
 182
 183         crc0 ^= crc3;
 184
 185         return crc0;
 186 }
 187
 188 static inline uint64_t
 189 hash_crc_key64(void *key, void *mask, __rte_unused uint32_t key_size,
 190         uint64_t seed)
 191 {
 192         uint64_t *k = key, k0, k2, k5;
 193         uint64_t *m = mask;
 194         uint32_t crc0, crc1, crc2, crc3, crc4, crc5;
 195
 196         k0 = k[0] & m[0];
 197         k2 = k[2] & m[2];
 198         k5 = k[5] & m[5];
 199
 200         crc0 = k0;
 201         _CRC32CX(crc0, seed);
 202         crc1 = k0 >> 32;
 203         _CRC32CX(crc1, k[1] & m[1]);
 204
 205         crc2 = k2;
 206         _CRC32CX(crc2, k[3] & m[3]);
 207         crc3 = k2 >> 32;
 208         _CRC32CX(crc3, k[4] & m[4]);
 209
 210         crc4 = k5;
 211          _CRC32CX(crc4, k[6] & m[6]);
 212         crc5 = k5 >> 32;
 213         _CRC32CX(crc5, k[7] & m[7]);
 214
 215         _CRC32CX(crc0, ((uint64_t)crc1 << 32) ^ crc2);
 216         _CRC32CX(crc3, ((uint64_t)crc4 << 32) ^ crc5);
 217
 218         crc0 ^= crc3;
 219
 220         return crc0;
 221 }
 222
 223 #define hash_default_key8                       hash_crc_key8
 224 #define hash_default_key16                      hash_crc_key16
 225 #define hash_default_key24                      hash_crc_key24
 226 #define hash_default_key32                      hash_crc_key32
 227 #define hash_default_key40                      hash_crc_key40
 228 #define hash_default_key48                      hash_crc_key48
 229 #define hash_default_key56                      hash_crc_key56
 230 #define hash_default_key64                      hash_crc_key64
 231
 232 #endif