src/vppinfra/vector_avx512.h

   1 /*
   2  * Copyright (c) 2015 Cisco and/or its affiliates.
   3  * Licensed under the Apache License, Version 2.0 (the "License");
   4  * you may not use this file except in compliance with the License.
   5  * You may obtain a copy of the License at:
   6  *
   7  *     http://www.apache.org/licenses/LICENSE-2.0
   8  *
   9  * Unless required by applicable law or agreed to in writing, software
  10  * distributed under the License is distributed on an "AS IS" BASIS,
  11  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  12  * See the License for the specific language governing permissions and
  13  * limitations under the License.
  14  */
  15
  16 #ifndef included_vector_avx512_h
  17 #define included_vector_avx512_h
  18
  19 #include <vppinfra/clib.h>
  20 #include <x86intrin.h>
  21
  22 /* *INDENT-OFF* */
  23 #define foreach_avx512_vec512i \
  24   _(i,8,64,epi8) _(i,16,32,epi16) _(i,32,16,epi32)  _(i,64,8,epi64)
  25 #define foreach_avx512_vec512u \
  26   _(u,8,64,epi8) _(u,16,32,epi16) _(u,32,16,epi32)  _(u,64,8,epi64)
  27 #define foreach_avx512_vec512f \
  28   _(f,32,8,ps) _(f,64,4,pd)
  29
  30 /* splat, load_unaligned, store_unaligned, is_all_zero, is_equal,
  31    is_all_equal, is_zero_mask */
  32 #define _(t, s, c, i) \
  33 static_always_inline t##s##x##c                                         \
  34 t##s##x##c##_splat (t##s x)                                             \
  35 { return (t##s##x##c) _mm512_set1_##i (x); }                            \
  36 \
  37 static_always_inline t##s##x##c                                         \
  38 t##s##x##c##_load_unaligned (void *p)                                   \
  39 { return (t##s##x##c) _mm512_loadu_si512 (p); }                         \
  40 \
  41 static_always_inline void                                               \
  42 t##s##x##c##_store_unaligned (t##s##x##c v, void *p)                    \
  43 { _mm512_storeu_si512 ((__m512i *) p, (__m512i) v); }                   \
  44 \
  45 static_always_inline int                                                \
  46 t##s##x##c##_is_all_zero (t##s##x##c v)                                 \
  47 { return (_mm512_test_epi64_mask ((__m512i) v, (__m512i) v) == 0); }    \
  48 \
  49 static_always_inline int                                                \
  50 t##s##x##c##_is_equal (t##s##x##c a, t##s##x##c b)                      \
  51 { return t##s##x##c##_is_all_zero (a ^ b); }                            \
  52 \
  53 static_always_inline int                                                \
  54 t##s##x##c##_is_all_equal (t##s##x##c v, t##s x)                        \
  55 { return t##s##x##c##_is_equal (v, t##s##x##c##_splat (x)); }           \
  56 \
  57 static_always_inline u##c                                               \
  58 t##s##x##c##_is_zero_mask (t##s##x##c v)                                \
  59 { return _mm512_test_##i##_mask ((__m512i) v, (__m512i) v); }           \
  60 \
  61 static_always_inline t##s##x##c                                         \
  62 t##s##x##c##_interleave_lo (t##s##x##c a, t##s##x##c b)                 \
  63 { return (t##s##x##c) _mm512_unpacklo_##i ((__m512i) a, (__m512i) b); } \
  64 \
  65 static_always_inline t##s##x##c                                         \
  66 t##s##x##c##_interleave_hi (t##s##x##c a, t##s##x##c b)                 \
  67 { return (t##s##x##c) _mm512_unpackhi_##i ((__m512i) a, (__m512i) b); } \
  68
  69
  70 foreach_avx512_vec512i foreach_avx512_vec512u
  71 #undef _
  72 /* *INDENT-ON* */
  73
  74 static_always_inline u32
  75 u16x32_msb_mask (u16x32 v)
  76 {
  77   return (u32) _mm512_movepi16_mask ((__m512i) v);
  78 }
  79
  80 static_always_inline u32x16
  81 u32x16_byte_swap (u32x16 v)
  82 {
  83   u8x64 swap = {
  84     3, 2, 1, 0, 7, 6, 5, 4, 11, 10, 9, 8, 15, 14, 13, 12,
  85     3, 2, 1, 0, 7, 6, 5, 4, 11, 10, 9, 8, 15, 14, 13, 12,
  86     3, 2, 1, 0, 7, 6, 5, 4, 11, 10, 9, 8, 15, 14, 13, 12,
  87     3, 2, 1, 0, 7, 6, 5, 4, 11, 10, 9, 8, 15, 14, 13, 12
  88   };
  89   return (u32x16) _mm512_shuffle_epi8 ((__m512i) v, (__m512i) swap);
  90 }
  91
  92 static_always_inline u16x32
  93 u16x32_byte_swap (u16x32 v)
  94 {
  95   u8x64 swap = {
  96     1, 0, 3, 2, 5, 4, 7, 6, 9, 8, 11, 10, 13, 12, 15, 14,
  97     1, 0, 3, 2, 5, 4, 7, 6, 9, 8, 11, 10, 13, 12, 15, 14,
  98     1, 0, 3, 2, 5, 4, 7, 6, 9, 8, 11, 10, 13, 12, 15, 14,
  99     1, 0, 3, 2, 5, 4, 7, 6, 9, 8, 11, 10, 13, 12, 15, 14
 100   };
 101   return (u16x32) _mm512_shuffle_epi8 ((__m512i) v, (__m512i) swap);
 102 }
 103
 104 static_always_inline u32x8
 105 u32x16_extract_lo (u32x16 v)
 106 {
 107   return (u32x8) _mm512_extracti64x4_epi64 ((__m512i) v, 0);
 108 }
 109
 110 static_always_inline u32x8
 111 u32x16_extract_hi (u32x16 v)
 112 {
 113   return (u32x8) _mm512_extracti64x4_epi64 ((__m512i) v, 1);
 114 }
 115
 116 static_always_inline u32
 117 u32x16_min_scalar (u32x16 v)
 118 {
 119   return u32x8_min_scalar (u32x8_min (u32x16_extract_lo (v),
 120                                       u32x16_extract_hi (v)));
 121 }
 122
 123 static_always_inline u32x16
 124 u32x16_insert_lo (u32x16 r, u32x8 v)
 125 {
 126   return (u32x16) _mm512_inserti64x4 ((__m512i) r, (__m256i) v, 0);
 127 }
 128
 129 static_always_inline u32x16
 130 u32x16_insert_hi (u32x16 r, u32x8 v)
 131 {
 132   return (u32x16) _mm512_inserti64x4 ((__m512i) r, (__m256i) v, 1);
 133 }
 134
 135 static_always_inline u64x8
 136 u64x8_permute (u64x8 a, u64x8 b, u64x8 mask)
 137 {
 138   return (u64x8) _mm512_permutex2var_epi64 ((__m512i) a, (__m512i) mask,
 139                                             (__m512i) b);
 140 }
 141
 142
 143 #define u32x16_ternary_logic(a, b, c, d) \
 144   (u32x16) _mm512_ternarylogic_epi32 ((__m512i) a, (__m512i) b, (__m512i) c, d)
 145
 146 static_always_inline u8x64
 147 u8x64_xor3 (u8x64 a, u8x64 b, u8x64 c)
 148 {
 149   return (u8x64) _mm512_ternarylogic_epi32 ((__m512i) a, (__m512i) b,
 150                                             (__m512i) c, 0x96);
 151 }
 152
 153 static_always_inline void
 154 u32x16_transpose (u32x16 m[16])
 155 {
 156   __m512i r[16], a, b, c, d, x, y;
 157
 158   /* *INDENT-OFF* */
 159   __m512i pm1 = (__m512i) (u64x8) { 0, 1, 8, 9, 4, 5, 12, 13};
 160   __m512i pm2 = (__m512i) (u64x8) { 2, 3, 10, 11, 6, 7, 14, 15};
 161   __m512i pm3 = (__m512i) (u64x8) { 0, 1, 2, 3, 8, 9, 10, 11};
 162   __m512i pm4 = (__m512i) (u64x8) { 4, 5, 6, 7, 12, 13, 14, 15};
 163   /* *INDENT-ON* */
 164
 165   r[0] = _mm512_unpacklo_epi32 ((__m512i) m[0], (__m512i) m[1]);
 166   r[1] = _mm512_unpacklo_epi32 ((__m512i) m[2], (__m512i) m[3]);
 167   r[2] = _mm512_unpacklo_epi32 ((__m512i) m[4], (__m512i) m[5]);
 168   r[3] = _mm512_unpacklo_epi32 ((__m512i) m[6], (__m512i) m[7]);
 169   r[4] = _mm512_unpacklo_epi32 ((__m512i) m[8], (__m512i) m[9]);
 170   r[5] = _mm512_unpacklo_epi32 ((__m512i) m[10], (__m512i) m[11]);
 171   r[6] = _mm512_unpacklo_epi32 ((__m512i) m[12], (__m512i) m[13]);
 172   r[7] = _mm512_unpacklo_epi32 ((__m512i) m[14], (__m512i) m[15]);
 173
 174   r[8] = _mm512_unpackhi_epi32 ((__m512i) m[0], (__m512i) m[1]);
 175   r[9] = _mm512_unpackhi_epi32 ((__m512i) m[2], (__m512i) m[3]);
 176   r[10] = _mm512_unpackhi_epi32 ((__m512i) m[4], (__m512i) m[5]);
 177   r[11] = _mm512_unpackhi_epi32 ((__m512i) m[6], (__m512i) m[7]);
 178   r[12] = _mm512_unpackhi_epi32 ((__m512i) m[8], (__m512i) m[9]);
 179   r[13] = _mm512_unpackhi_epi32 ((__m512i) m[10], (__m512i) m[11]);
 180   r[14] = _mm512_unpackhi_epi32 ((__m512i) m[12], (__m512i) m[13]);
 181   r[15] = _mm512_unpackhi_epi32 ((__m512i) m[14], (__m512i) m[15]);
 182
 183   a = _mm512_unpacklo_epi64 (r[0], r[1]);
 184   b = _mm512_unpacklo_epi64 (r[2], r[3]);
 185   c = _mm512_unpacklo_epi64 (r[4], r[5]);
 186   d = _mm512_unpacklo_epi64 (r[6], r[7]);
 187   x = _mm512_permutex2var_epi64 (a, pm1, b);
 188   y = _mm512_permutex2var_epi64 (c, pm1, d);
 189   m[0] = (u32x16) _mm512_permutex2var_epi64 (x, pm3, y);
 190   m[8] = (u32x16) _mm512_permutex2var_epi64 (x, pm4, y);
 191   x = _mm512_permutex2var_epi64 (a, pm2, b);
 192   y = _mm512_permutex2var_epi64 (c, pm2, d);
 193   m[4] = (u32x16) _mm512_permutex2var_epi64 (x, pm3, y);
 194   m[12] = (u32x16) _mm512_permutex2var_epi64 (x, pm4, y);
 195
 196   a = _mm512_unpacklo_epi64 (r[8], r[9]);
 197   b = _mm512_unpacklo_epi64 (r[10], r[11]);
 198   c = _mm512_unpacklo_epi64 (r[12], r[13]);
 199   d = _mm512_unpacklo_epi64 (r[14], r[15]);
 200   x = _mm512_permutex2var_epi64 (a, pm1, b);
 201   y = _mm512_permutex2var_epi64 (c, pm1, d);
 202   m[2] = (u32x16) _mm512_permutex2var_epi64 (x, pm3, y);
 203   m[10] = (u32x16) _mm512_permutex2var_epi64 (x, pm4, y);
 204   x = _mm512_permutex2var_epi64 (a, pm2, b);
 205   y = _mm512_permutex2var_epi64 (c, pm2, d);
 206   m[6] = (u32x16) _mm512_permutex2var_epi64 (x, pm3, y);
 207   m[14] = (u32x16) _mm512_permutex2var_epi64 (x, pm4, y);
 208
 209   a = _mm512_unpackhi_epi64 (r[0], r[1]);
 210   b = _mm512_unpackhi_epi64 (r[2], r[3]);
 211   c = _mm512_unpackhi_epi64 (r[4], r[5]);
 212   d = _mm512_unpackhi_epi64 (r[6], r[7]);
 213   x = _mm512_permutex2var_epi64 (a, pm1, b);
 214   y = _mm512_permutex2var_epi64 (c, pm1, d);
 215   m[1] = (u32x16) _mm512_permutex2var_epi64 (x, pm3, y);
 216   m[9] = (u32x16) _mm512_permutex2var_epi64 (x, pm4, y);
 217   x = _mm512_permutex2var_epi64 (a, pm2, b);
 218   y = _mm512_permutex2var_epi64 (c, pm2, d);
 219   m[5] = (u32x16) _mm512_permutex2var_epi64 (x, pm3, y);
 220   m[13] = (u32x16) _mm512_permutex2var_epi64 (x, pm4, y);
 221
 222   a = _mm512_unpackhi_epi64 (r[8], r[9]);
 223   b = _mm512_unpackhi_epi64 (r[10], r[11]);
 224   c = _mm512_unpackhi_epi64 (r[12], r[13]);
 225   d = _mm512_unpackhi_epi64 (r[14], r[15]);
 226   x = _mm512_permutex2var_epi64 (a, pm1, b);
 227   y = _mm512_permutex2var_epi64 (c, pm1, d);
 228   m[3] = (u32x16) _mm512_permutex2var_epi64 (x, pm3, y);
 229   m[11] = (u32x16) _mm512_permutex2var_epi64 (x, pm4, y);
 230   x = _mm512_permutex2var_epi64 (a, pm2, b);
 231   y = _mm512_permutex2var_epi64 (c, pm2, d);
 232   m[7] = (u32x16) _mm512_permutex2var_epi64 (x, pm3, y);
 233   m[15] = (u32x16) _mm512_permutex2var_epi64 (x, pm4, y);
 234 }
 235
 236
 237
 238 static_always_inline void
 239 u64x8_transpose (u64x8 m[8])
 240 {
 241   __m512i r[8], x, y;
 242
 243   /* *INDENT-OFF* */
 244   __m512i pm1 = (__m512i) (u64x8) { 0, 1, 8, 9, 4, 5, 12, 13};
 245   __m512i pm2 = (__m512i) (u64x8) { 2, 3, 10, 11, 6, 7, 14, 15};
 246   __m512i pm3 = (__m512i) (u64x8) { 0, 1, 2, 3, 8, 9, 10, 11};
 247   __m512i pm4 = (__m512i) (u64x8) { 4, 5, 6, 7, 12, 13, 14, 15};
 248   /* *INDENT-ON* */
 249
 250   r[0] = _mm512_unpacklo_epi64 ((__m512i) m[0], (__m512i) m[1]);
 251   r[1] = _mm512_unpacklo_epi64 ((__m512i) m[2], (__m512i) m[3]);
 252   r[2] = _mm512_unpacklo_epi64 ((__m512i) m[4], (__m512i) m[5]);
 253   r[3] = _mm512_unpacklo_epi64 ((__m512i) m[6], (__m512i) m[7]);
 254   r[4] = _mm512_unpackhi_epi64 ((__m512i) m[0], (__m512i) m[1]);
 255   r[5] = _mm512_unpackhi_epi64 ((__m512i) m[2], (__m512i) m[3]);
 256   r[6] = _mm512_unpackhi_epi64 ((__m512i) m[4], (__m512i) m[5]);
 257   r[7] = _mm512_unpackhi_epi64 ((__m512i) m[6], (__m512i) m[7]);
 258
 259   x = _mm512_permutex2var_epi64 (r[0], pm1, r[1]);
 260   y = _mm512_permutex2var_epi64 (r[2], pm1, r[3]);
 261   m[0] = (u64x8) _mm512_permutex2var_epi64 (x, pm3, y);
 262   m[4] = (u64x8) _mm512_permutex2var_epi64 (x, pm4, y);
 263   x = _mm512_permutex2var_epi64 (r[0], pm2, r[1]);
 264   y = _mm512_permutex2var_epi64 (r[2], pm2, r[3]);
 265   m[2] = (u64x8) _mm512_permutex2var_epi64 (x, pm3, y);
 266   m[6] = (u64x8) _mm512_permutex2var_epi64 (x, pm4, y);
 267
 268   x = _mm512_permutex2var_epi64 (r[4], pm1, r[5]);
 269   y = _mm512_permutex2var_epi64 (r[6], pm1, r[7]);
 270   m[1] = (u64x8) _mm512_permutex2var_epi64 (x, pm3, y);
 271   m[5] = (u64x8) _mm512_permutex2var_epi64 (x, pm4, y);
 272   x = _mm512_permutex2var_epi64 (r[4], pm2, r[5]);
 273   y = _mm512_permutex2var_epi64 (r[6], pm2, r[7]);
 274   m[3] = (u64x8) _mm512_permutex2var_epi64 (x, pm3, y);
 275   m[7] = (u64x8) _mm512_permutex2var_epi64 (x, pm4, y);
 276 }
 277
 278 #endif /* included_vector_avx512_h */
 279 /*
 280  * fd.io coding-style-patch-verification: ON
 281  *
 282  * Local Variables:
 283  * eval: (c-set-style "gnu")
 284  * End:
 285  */