gerrit.fd Code Review - trex.git/blob

   1 /*
   2         poly1305 implementation using 32 bit * 32 bit = 64 bit multiplication and 64 bit addition
   3 */
   4
   5 #define POLY1305_IMPLEMENTATION_NAME "donna32"
   6
   7 #if defined(_MSC_VER)
   8 # define POLY1305_NOINLINE __declspec(noinline)
   9 #elif defined(__GNUC__)
  10 # define POLY1305_NOINLINE __attribute__((noinline))
  11 #else
  12 # define POLY1305_NOINLINE
  13 #endif
  14
  15 #define poly1305_block_size 16
  16
  17 /* 17 + sizeof(unsigned long long) + 14*sizeof(unsigned long) */
  18 typedef struct poly1305_state_internal_t {
  19         unsigned long r[5];
  20         unsigned long h[5];
  21         unsigned long pad[4];
  22         unsigned long long leftover;
  23         unsigned char buffer[poly1305_block_size];
  24         unsigned char final;
  25 } poly1305_state_internal_t;
  26
  27 /* interpret four 8 bit unsigned integers as a 32 bit unsigned integer in little endian */
  28 static unsigned long
  29 U8TO32(const unsigned char *p) {
  30         return
  31         (((unsigned long)(p[0] & 0xff)      ) |
  32          ((unsigned long)(p[1] & 0xff) <<  8) |
  33          ((unsigned long)(p[2] & 0xff) << 16) |
  34          ((unsigned long)(p[3] & 0xff) << 24));
  35 }
  36
  37 /* store a 32 bit unsigned integer as four 8 bit unsigned integers in little endian */
  38 static void
  39 U32TO8(unsigned char *p, unsigned long v) {
  40         p[0] = (v      ) & 0xff;
  41         p[1] = (v >>  8) & 0xff;
  42         p[2] = (v >> 16) & 0xff;
  43         p[3] = (v >> 24) & 0xff;
  44 }
  45
  46 static void
  47 poly1305_init(poly1305_context *ctx, const unsigned char key[32]) {
  48         poly1305_state_internal_t *st = (poly1305_state_internal_t *)(void *)ctx;
  49
  50         /* r &= 0xffffffc0ffffffc0ffffffc0fffffff */
  51         st->r[0] = (U8TO32(&key[ 0])     ) & 0x3ffffff;
  52         st->r[1] = (U8TO32(&key[ 3]) >> 2) & 0x3ffff03;
  53         st->r[2] = (U8TO32(&key[ 6]) >> 4) & 0x3ffc0ff;
  54         st->r[3] = (U8TO32(&key[ 9]) >> 6) & 0x3f03fff;
  55         st->r[4] = (U8TO32(&key[12]) >> 8) & 0x00fffff;
  56
  57         /* h = 0 */
  58         st->h[0] = 0;
  59         st->h[1] = 0;
  60         st->h[2] = 0;
  61         st->h[3] = 0;
  62         st->h[4] = 0;
  63
  64         /* save pad for later */
  65         st->pad[0] = U8TO32(&key[16]);
  66         st->pad[1] = U8TO32(&key[20]);
  67         st->pad[2] = U8TO32(&key[24]);
  68         st->pad[3] = U8TO32(&key[28]);
  69
  70         st->leftover = 0;
  71         st->final = 0;
  72 }
  73
  74 static void
  75 poly1305_blocks(poly1305_state_internal_t *st, const unsigned char *m, unsigned long long bytes) {
  76         const unsigned long hibit = (st->final) ? 0 : (1 << 24); /* 1 << 128 */
  77         unsigned long r0,r1,r2,r3,r4;
  78         unsigned long s1,s2,s3,s4;
  79         unsigned long h0,h1,h2,h3,h4;
  80         unsigned long long d0,d1,d2,d3,d4;
  81         unsigned long c;
  82
  83         r0 = st->r[0];
  84         r1 = st->r[1];
  85         r2 = st->r[2];
  86         r3 = st->r[3];
  87         r4 = st->r[4];
  88
  89         s1 = r1 * 5;
  90         s2 = r2 * 5;
  91         s3 = r3 * 5;
  92         s4 = r4 * 5;
  93
  94         h0 = st->h[0];
  95         h1 = st->h[1];
  96         h2 = st->h[2];
  97         h3 = st->h[3];
  98         h4 = st->h[4];
  99
 100         while (bytes >= poly1305_block_size) {
 101                 /* h += m[i] */
 102                 h0 += (U8TO32(m+ 0)     ) & 0x3ffffff;
 103                 h1 += (U8TO32(m+ 3) >> 2) & 0x3ffffff;
 104                 h2 += (U8TO32(m+ 6) >> 4) & 0x3ffffff;
 105                 h3 += (U8TO32(m+ 9) >> 6) & 0x3ffffff;
 106                 h4 += (U8TO32(m+12) >> 8) | hibit;
 107
 108                 /* h *= r */
 109                 d0 = ((unsigned long long)h0 * r0) + ((unsigned long long)h1 * s4) + ((unsigned long long)h2 * s3) + ((unsigned long long)h3 * s2) + ((unsigned long long)h4 * s1);
 110                 d1 = ((unsigned long long)h0 * r1) + ((unsigned long long)h1 * r0) + ((unsigned long long)h2 * s4) + ((unsigned long long)h3 * s3) + ((unsigned long long)h4 * s2);
 111                 d2 = ((unsigned long long)h0 * r2) + ((unsigned long long)h1 * r1) + ((unsigned long long)h2 * r0) + ((unsigned long long)h3 * s4) + ((unsigned long long)h4 * s3);
 112                 d3 = ((unsigned long long)h0 * r3) + ((unsigned long long)h1 * r2) + ((unsigned long long)h2 * r1) + ((unsigned long long)h3 * r0) + ((unsigned long long)h4 * s4);
 113                 d4 = ((unsigned long long)h0 * r4) + ((unsigned long long)h1 * r3) + ((unsigned long long)h2 * r2) + ((unsigned long long)h3 * r1) + ((unsigned long long)h4 * r0);
 114
 115                 /* (partial) h %= p */
 116                               c = (unsigned long)(d0 >> 26); h0 = (unsigned long)d0 & 0x3ffffff;
 117                 d1 += c;      c = (unsigned long)(d1 >> 26); h1 = (unsigned long)d1 & 0x3ffffff;
 118                 d2 += c;      c = (unsigned long)(d2 >> 26); h2 = (unsigned long)d2 & 0x3ffffff;
 119                 d3 += c;      c = (unsigned long)(d3 >> 26); h3 = (unsigned long)d3 & 0x3ffffff;
 120                 d4 += c;      c = (unsigned long)(d4 >> 26); h4 = (unsigned long)d4 & 0x3ffffff;
 121                 h0 += c * 5;  c =                (h0 >> 26); h0 =                h0 & 0x3ffffff;
 122                 h1 += c;
 123
 124                 m += poly1305_block_size;
 125                 bytes -= poly1305_block_size;
 126         }
 127
 128         st->h[0] = h0;
 129         st->h[1] = h1;
 130         st->h[2] = h2;
 131         st->h[3] = h3;
 132         st->h[4] = h4;
 133 }
 134
 135 static POLY1305_NOINLINE void
 136 poly1305_finish(poly1305_context *ctx, unsigned char mac[16]) {
 137         poly1305_state_internal_t *st = (poly1305_state_internal_t *)(void *)ctx;
 138         unsigned long h0,h1,h2,h3,h4,c;
 139         unsigned long g0,g1,g2,g3,g4;
 140         unsigned long long f;
 141         unsigned long mask;
 142
 143         /* process the remaining block */
 144         if (st->leftover) {
 145                 unsigned long long i = st->leftover;
 146                 st->buffer[i++] = 1;
 147                 for (; i < poly1305_block_size; i++)
 148                         st->buffer[i] = 0;
 149                 st->final = 1;
 150                 poly1305_blocks(st, st->buffer, poly1305_block_size);
 151         }
 152
 153         /* fully carry h */
 154         h0 = st->h[0];
 155         h1 = st->h[1];
 156         h2 = st->h[2];
 157         h3 = st->h[3];
 158         h4 = st->h[4];
 159
 160                      c = h1 >> 26; h1 = h1 & 0x3ffffff;
 161         h2 +=     c; c = h2 >> 26; h2 = h2 & 0x3ffffff;
 162         h3 +=     c; c = h3 >> 26; h3 = h3 & 0x3ffffff;
 163         h4 +=     c; c = h4 >> 26; h4 = h4 & 0x3ffffff;
 164         h0 += c * 5; c = h0 >> 26; h0 = h0 & 0x3ffffff;
 165         h1 +=     c;
 166
 167         /* compute h + -p */
 168         g0 = h0 + 5; c = g0 >> 26; g0 &= 0x3ffffff;
 169         g1 = h1 + c; c = g1 >> 26; g1 &= 0x3ffffff;
 170         g2 = h2 + c; c = g2 >> 26; g2 &= 0x3ffffff;
 171         g3 = h3 + c; c = g3 >> 26; g3 &= 0x3ffffff;
 172         g4 = h4 + c - (1 << 26);
 173
 174         /* select h if h < p, or h + -p if h >= p */
 175         mask = (g4 >> ((sizeof(unsigned long) * 8) - 1)) - 1;
 176         g0 &= mask;
 177         g1 &= mask;
 178         g2 &= mask;
 179         g3 &= mask;
 180         g4 &= mask;
 181         mask = ~mask;
 182         h0 = (h0 & mask) | g0;
 183         h1 = (h1 & mask) | g1;
 184         h2 = (h2 & mask) | g2;
 185         h3 = (h3 & mask) | g3;
 186         h4 = (h4 & mask) | g4;
 187
 188         /* h = h % (2^128) */
 189         h0 = ((h0      ) | (h1 << 26)) & 0xffffffff;
 190         h1 = ((h1 >>  6) | (h2 << 20)) & 0xffffffff;
 191         h2 = ((h2 >> 12) | (h3 << 14)) & 0xffffffff;
 192         h3 = ((h3 >> 18) | (h4 <<  8)) & 0xffffffff;
 193
 194         /* mac = (h + pad) % (2^128) */
 195         f = (unsigned long long)h0 + st->pad[0]            ; h0 = (unsigned long)f;
 196         f = (unsigned long long)h1 + st->pad[1] + (f >> 32); h1 = (unsigned long)f;
 197         f = (unsigned long long)h2 + st->pad[2] + (f >> 32); h2 = (unsigned long)f;
 198         f = (unsigned long long)h3 + st->pad[3] + (f >> 32); h3 = (unsigned long)f;
 199
 200         U32TO8(mac +  0, h0);
 201         U32TO8(mac +  4, h1);
 202         U32TO8(mac +  8, h2);
 203         U32TO8(mac + 12, h3);
 204
 205         /* zero out the state */
 206         sodium_memzero((void *)st, sizeof *st);
 207 }
 208