src/vppinfra/crc32.h

   1 /*
   2  * Copyright (c) 2015 Cisco and/or its affiliates.
   3  * Licensed under the Apache License, Version 2.0 (the "License");
   4  * you may not use this file except in compliance with the License.
   5  * You may obtain a copy of the License at:
   6  *
   7  *     http://www.apache.org/licenses/LICENSE-2.0
   8  *
   9  * Unless required by applicable law or agreed to in writing, software
  10  * distributed under the License is distributed on an "AS IS" BASIS,
  11  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  12  * See the License for the specific language governing permissions and
  13  * limitations under the License.
  14  */
  15
  16 #ifndef __included_crc32_h__
  17 #define __included_crc32_h__
  18
  19 #include <vppinfra/clib.h>
  20
  21 #if __SSE4_2__
  22 #define clib_crc32c_uses_intrinsics
  23 #include <x86intrin.h>
  24
  25 #define crc32_u64 _mm_crc32_u64
  26 #define crc32_u32 _mm_crc32_u32
  27
  28 static_always_inline u32
  29 clib_crc32c (u8 * s, int len)
  30 {
  31   u32 v = 0;
  32
  33 #if __x86_64__
  34   for (; len >= 8; len -= 8, s += 8)
  35     v = _mm_crc32_u64 (v, *((u64 *) s));
  36 #else
  37   /* workaround weird GCC bug when using _mm_crc32_u32
  38      which happens with -O2 optimization */
  39   volatile ("":::"memory");
  40 #endif
  41
  42   for (; len >= 4; len -= 4, s += 4)
  43     v = _mm_crc32_u32 (v, *((u32 *) s));
  44
  45   for (; len >= 2; len -= 2, s += 2)
  46     v = _mm_crc32_u16 (v, *((u16 *) s));
  47
  48   for (; len >= 1; len -= 1, s += 1)
  49     v = _mm_crc32_u8 (v, *((u16 *) s));
  50
  51   return v;
  52 }
  53
  54 #elif __ARM_FEATURE_CRC32
  55 #define clib_crc32c_uses_intrinsics
  56 #include <arm_acle.h>
  57
  58
  59 #define crc32_u64 __crc32cd
  60 #define crc32_u32 __crc32cw
  61
  62 static_always_inline u32
  63 clib_crc32c (u8 * s, int len)
  64 {
  65   u32 v = 0;
  66
  67   for (; len >= 8; len -= 8, s += 8)
  68     v = __crc32cd (v, *((u64 *) s));
  69
  70   for (; len >= 4; len -= 4, s += 4)
  71     v = __crc32cw (v, *((u32 *) s));
  72
  73   for (; len >= 2; len -= 2, s += 2)
  74     v = __crc32ch (v, *((u16 *) s));
  75
  76   for (; len >= 1; len -= 1, s += 1)
  77     v = __crc32cb (v, *((u8 *) s));
  78
  79   return v;
  80 }
  81
  82 #endif
  83 #endif /* __included_crc32_h__ */
  84
  85 /*
  86  * fd.io coding-style-patch-verification: ON
  87  *
  88  * Local Variables:
  89  * eval: (c-set-style "gnu")
  90  * End:
  91  */