vppinfra: fix corner-cases in bihash lookup
[vpp.git] / src / vppinfra / bihash_32_8.h
1 /*
2  * Copyright (c) 2021 Rubicon Communications, LLC.
3  * Licensed under the Apache License, Version 2.0 (the "License");
4  * you may not use this file except in compliance with the License.
5  * You may obtain a copy of the License at:
6  *
7  *     http://www.apache.org/licenses/LICENSE-2.0
8  *
9  * Unless required by applicable law or agreed to in writing, software
10  * distributed under the License is distributed on an "AS IS" BASIS,
11  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
12  * See the License for the specific language governing permissions and
13  * limitations under the License.
14  */
15 #undef BIHASH_TYPE
16 #undef BIHASH_KVP_PER_PAGE
17 #undef BIHASH_32_64_SVM
18 #undef BIHASH_ENABLE_STATS
19 #undef BIHASH_KVP_AT_BUCKET_LEVEL
20 #undef BIHASH_LAZY_INSTANTIATE
21 #undef BIHASH_BUCKET_PREFETCH_CACHE_LINES
22 #undef BIHASH_USE_HEAP
23
24 #define BIHASH_TYPE                        _32_8
25 #define BIHASH_KVP_PER_PAGE                4
26 #define BIHASH_KVP_AT_BUCKET_LEVEL         0
27 #define BIHASH_LAZY_INSTANTIATE            1
28 #define BIHASH_BUCKET_PREFETCH_CACHE_LINES 1
29 #define BIHASH_USE_HEAP                    1
30
31 #ifndef __included_bihash_32_8_h__
32 #define __included_bihash_32_8_h__
33
34 #include <vppinfra/crc32.h>
35 #include <vppinfra/heap.h>
36 #include <vppinfra/format.h>
37 #include <vppinfra/pool.h>
38 #include <vppinfra/xxhash.h>
39
40 typedef struct
41 {
42   u64 key[4];
43   u64 value;
44 } clib_bihash_kv_32_8_t;
45
46 static inline void
47 clib_bihash_mark_free_32_8 (clib_bihash_kv_32_8_t *v)
48 {
49   v->value = 0xFEEDFACE8BADF00DULL;
50 }
51
52 static inline int
53 clib_bihash_is_free_32_8 (const clib_bihash_kv_32_8_t *v)
54 {
55   if (v->value == 0xFEEDFACE8BADF00DULL)
56     return 1;
57   return 0;
58 }
59
60 static inline u64
61 clib_bihash_hash_32_8 (const clib_bihash_kv_32_8_t *v)
62 {
63 #ifdef clib_crc32c_uses_intrinsics
64   return clib_crc32c ((u8 *) v->key, 32);
65 #else
66   u64 tmp = v->key[0] ^ v->key[1] ^ v->key[2] ^ v->key[3];
67   return clib_xxhash (tmp);
68 #endif
69 }
70
71 static inline u8 *
72 format_bihash_kvp_32_8 (u8 *s, va_list *args)
73 {
74   clib_bihash_kv_32_8_t *v = va_arg (*args, clib_bihash_kv_32_8_t *);
75
76   s = format (s, "key %llu %llu %llu %llu value %llu", v->key[0], v->key[1],
77               v->key[2], v->key[3], v->value);
78   return s;
79 }
80
81 static inline int
82 clib_bihash_key_compare_32_8 (u64 *a, u64 *b)
83 {
84 #if defined(CLIB_HAVE_VEC512)
85   return u64x8_is_equal (u64x8_mask_load_zero (a, 0xf),
86                          u64x8_mask_load_zero (b, 0xf));
87 #elif defined(CLIB_HAVE_VEC256)
88   u64x4 v = u64x4_load_unaligned (a) ^ u64x4_load_unaligned (b);
89   return u64x4_is_all_zero (v);
90 #elif defined(CLIB_HAVE_VEC128) &&                                            \
91   defined(CLIB_HAVE_VEC128_UNALIGNED_LOAD_STORE)
92   u64x2 v;
93   v = u64x2_load_unaligned (a) ^ u64x2_load_unaligned (b);
94   v |= u64x2_load_unaligned (a + 2) ^ u64x2_load_unaligned (b + 2);
95   return u64x2_is_all_zero (v);
96 #else
97   return ((a[0] ^ b[0]) | (a[1] ^ b[1]) | (a[2] ^ b[2]) | (a[3] ^ b[3])) == 0;
98 #endif
99 }
100
101 #undef __included_bihash_template_h__
102 #include <vppinfra/bihash_template.h>
103
104 #endif /* __included_bihash_32_8_h__ */
105
106 /*
107  * fd.io coding-style-patch-verification: ON
108  *
109  * Local Variables:
110  * eval: (c-set-style "gnu")
111  * End:
112  */