vnet/vnet/rewrite.h

   1 /*
   2  * Copyright (c) 2015 Cisco and/or its affiliates.
   3  * Licensed under the Apache License, Version 2.0 (the "License");
   4  * you may not use this file except in compliance with the License.
   5  * You may obtain a copy of the License at:
   6  *
   7  *     http://www.apache.org/licenses/LICENSE-2.0
   8  *
   9  * Unless required by applicable law or agreed to in writing, software
  10  * distributed under the License is distributed on an "AS IS" BASIS,
  11  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  12  * See the License for the specific language governing permissions and
  13  * limitations under the License.
  14  */
  15 /*
  16  * rewrite.h: packet rewrite
  17  *
  18  * Copyright (c) 2008 Eliot Dresselhaus
  19  *
  20  * Permission is hereby granted, free of charge, to any person obtaining
  21  * a copy of this software and associated documentation files (the
  22  * "Software"), to deal in the Software without restriction, including
  23  * without limitation the rights to use, copy, modify, merge, publish,
  24  * distribute, sublicense, and/or sell copies of the Software, and to
  25  * permit persons to whom the Software is furnished to do so, subject to
  26  * the following conditions:
  27  *
  28  * The above copyright notice and this permission notice shall be
  29  * included in all copies or substantial portions of the Software.
  30  *
  31  *  THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND,
  32  *  EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF
  33  *  MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND
  34  *  NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE
  35  *  LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION
  36  *  OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION
  37  *  WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.
  38  */
  39
  40 #ifndef included_vnet_rewrite_h
  41 #define included_vnet_rewrite_h
  42
  43 #include <vlib/vlib.h>
  44 #include <vnet/l3_types.h>
  45
  46 /* Consider using vector types for speed? */
  47 typedef uword vnet_rewrite_data_t;
  48
  49 typedef CLIB_PACKED (struct {
  50   /* Interface to mark re-written packets with. */
  51   u32 sw_if_index;
  52
  53   /* Packet processing node where rewrite happens. */
  54   u32 node_index;
  55
  56   /* Next node to feed after packet rewrite is done. */
  57   u16 next_index;
  58
  59   /* Number of bytes in rewrite data. */
  60   u16 data_bytes;
  61
  62   /* Max packet size layer 3 (MTU) for output interface.
  63      Used for MTU check after packet rewrite. */
  64   u16 max_l3_packet_bytes;
  65
  66   /* Rewrite string starting at end and going backwards. */
  67   u8 data[0];
  68 }) vnet_rewrite_header_t;
  69
  70 /*
  71   Helper macro for declaring rewrite string w/ given max-size.
  72
  73   Typical usage:
  74     typedef struct {
  75       // User data.
  76       int a, b;
  77
  78       // Total adjacency is 64 bytes.
  79       vnet_rewrite_declare(64 - 2*sizeof(int)) rw;
  80     } my_adjacency_t;
  81 */
  82 #define vnet_declare_rewrite(total_bytes)                               \
  83 struct {                                                                \
  84   vnet_rewrite_header_t rewrite_header;                                 \
  85                                                                         \
  86   u8 rewrite_data[(total_bytes) - sizeof (vnet_rewrite_header_t)];      \
  87 }
  88
  89 always_inline void
  90 vnet_rewrite_set_data_internal (vnet_rewrite_header_t * rw,
  91                                 int max_size,
  92                                 void * data,
  93                                 int data_bytes)
  94 {
  95   /* Sanity check values carefully for this memset operation*/
  96   ASSERT ((max_size > 0) && (max_size < VLIB_BUFFER_PRE_DATA_SIZE));
  97   ASSERT ((data_bytes >= 0) && (data_bytes < max_size));
  98
  99   rw->data_bytes = data_bytes;
 100   memcpy (rw->data + max_size - data_bytes, data, data_bytes);
 101   memset (rw->data, 0xfe, max_size - data_bytes);
 102 }
 103
 104 #define vnet_rewrite_set_data(rw,data,data_bytes)               \
 105   vnet_rewrite_set_data_internal (&((rw).rewrite_header),       \
 106                                   sizeof ((rw).rewrite_data),   \
 107                                   (data),                       \
 108                                   (data_bytes))
 109
 110 always_inline void *
 111 vnet_rewrite_get_data_internal (vnet_rewrite_header_t * rw, int max_size)
 112 {
 113   ASSERT (rw->data_bytes <= max_size);
 114   return rw->data + max_size - rw->data_bytes;
 115 }
 116
 117 #define vnet_rewrite_get_data(rw) \
 118   vnet_rewrite_get_data_internal (&((rw).rewrite_header), sizeof ((rw).rewrite_data))
 119
 120 always_inline void
 121 vnet_rewrite_copy_one (vnet_rewrite_data_t * p0, vnet_rewrite_data_t * rw0, int i)
 122 {
 123   p0[-i] = rw0[-i];
 124 }
 125
 126 void vnet_rewrite_copy_slow_path (vnet_rewrite_data_t * p0,
 127                                   vnet_rewrite_data_t * rw0,
 128                                   word n_left,
 129                                   uword most_likely_size);
 130
 131 typedef CLIB_PACKED (struct {
 132   u64 a;
 133   u32 b;
 134   u16 c;
 135 }) eh_copy_t;
 136
 137 always_inline void
 138 _vnet_rewrite_one_header (vnet_rewrite_header_t * h0,
 139                           void * packet0,
 140                           int max_size,
 141                           int most_likely_size)
 142 {
 143   vnet_rewrite_data_t * p0 = packet0;
 144   vnet_rewrite_data_t * rw0 = (vnet_rewrite_data_t *) (h0->data + max_size);
 145   word n_left0;
 146
 147   /* 0xfefe => poisoned adjacency => crash */
 148   ASSERT (h0->data_bytes != 0xfefe);
 149
 150   if (PREDICT_TRUE (h0->data_bytes == sizeof (eh_copy_t)))
 151     {
 152       eh_copy_t * s, * d;
 153       s = (eh_copy_t *)(h0->data + max_size - sizeof (eh_copy_t));
 154       d = (eh_copy_t *)(((u8 *)packet0) - sizeof (eh_copy_t));
 155       __builtin_memcpy (d, s, sizeof (eh_copy_t));
 156       return;
 157     }
 158
 159
 160 #define _(i)                                                            \
 161   do {                                                                  \
 162     if (most_likely_size > ((i)-1)*sizeof (vnet_rewrite_data_t))        \
 163       vnet_rewrite_copy_one (p0, rw0, (i));                             \
 164   } while (0)
 165
 166   _ (4);
 167   _ (3);
 168   _ (2);
 169   _ (1);
 170
 171 #undef _
 172
 173   n_left0 = (int)
 174       (((int) h0->data_bytes - most_likely_size) + (sizeof(rw0[0])-1))
 175       / (int) sizeof (rw0[0]);
 176   if (PREDICT_FALSE (n_left0 > 0))
 177     vnet_rewrite_copy_slow_path (p0, rw0, n_left0, most_likely_size);
 178 }
 179
 180 always_inline void
 181 _vnet_rewrite_two_headers (vnet_rewrite_header_t * h0,
 182                            vnet_rewrite_header_t * h1,
 183                            void * packet0,
 184                            void * packet1,
 185                            int max_size,
 186                            int most_likely_size)
 187 {
 188   vnet_rewrite_data_t * p0 = packet0;
 189   vnet_rewrite_data_t * p1 = packet1;
 190   vnet_rewrite_data_t * rw0 = (vnet_rewrite_data_t *) (h0->data + max_size);
 191   vnet_rewrite_data_t * rw1 = (vnet_rewrite_data_t *) (h1->data + max_size);
 192   word n_left0, n_left1;
 193   int slow_path;
 194
 195   /* 0xfefe => poisoned adjacency => crash */
 196   ASSERT (h0->data_bytes != 0xfefe);
 197   ASSERT (h1->data_bytes != 0xfefe);
 198
 199   /* Arithmetic calculation: bytes0 == bytes1 == 14 */
 200   slow_path = h0->data_bytes ^ h1->data_bytes;
 201   slow_path += h0->data_bytes ^ sizeof (eh_copy_t);
 202
 203   if (PREDICT_TRUE (slow_path == 0))
 204     {
 205       eh_copy_t * s0, * d0, * s1, * d1;
 206       s0 = (eh_copy_t *)(h0->data + max_size - sizeof (eh_copy_t));
 207       d0 = (eh_copy_t *)(((u8 *)packet0) - sizeof (eh_copy_t));
 208       __builtin_memcpy (d0, s0, sizeof (eh_copy_t));
 209       s1 = (eh_copy_t *)(h1->data + max_size - sizeof (eh_copy_t));
 210       d1 = (eh_copy_t *)(((u8 *)packet1) - sizeof (eh_copy_t));
 211       __builtin_memcpy (d1, s1, sizeof (eh_copy_t));
 212       return;
 213     }
 214
 215 #define _(i)                                                            \
 216   do {                                                                  \
 217     if (most_likely_size > ((i)-1)*sizeof (vnet_rewrite_data_t))        \
 218       {                                                                 \
 219         vnet_rewrite_copy_one (p0, rw0, (i));                           \
 220         vnet_rewrite_copy_one (p1, rw1, (i));                           \
 221       }                                                                 \
 222   } while (0)
 223
 224   _ (4);
 225   _ (3);
 226   _ (2);
 227   _ (1);
 228
 229 #undef _
 230
 231   n_left0 = (int)
 232       (((int) h0->data_bytes - most_likely_size) + (sizeof(rw0[0])-1))
 233       / (int) sizeof (rw0[0]);
 234   n_left1 = (int)
 235       (((int) h1->data_bytes - most_likely_size) + (sizeof(rw1[0])-1))
 236       / (int) sizeof (rw1[0]);
 237
 238   if (PREDICT_FALSE (n_left0 > 0 || n_left1 > 0))
 239     {
 240       vnet_rewrite_copy_slow_path (p0, rw0, n_left0, most_likely_size);
 241       vnet_rewrite_copy_slow_path (p1, rw1, n_left1, most_likely_size);
 242     }
 243 }
 244
 245 #define vnet_rewrite_one_header(rw0,p0,most_likely_size)        \
 246   _vnet_rewrite_one_header (&((rw0).rewrite_header), (p0),      \
 247                             sizeof ((rw0).rewrite_data),        \
 248                             (most_likely_size))
 249
 250 #define vnet_rewrite_two_headers(rw0,rw1,p0,p1,most_likely_size)        \
 251   _vnet_rewrite_two_headers (&((rw0).rewrite_header), &((rw1).rewrite_header), \
 252                              (p0), (p1),                                \
 253                              sizeof ((rw0).rewrite_data),               \
 254                              (most_likely_size))
 255
 256 #define VNET_REWRITE_FOR_SW_INTERFACE_ADDRESS_BROADCAST ((void *) 0)
 257 void vnet_rewrite_for_sw_interface (struct vnet_main_t * vnm,
 258                                     vnet_l3_packet_type_t packet_type,
 259                                     u32 sw_if_index,
 260                                     u32 node_index,
 261                                     void * dst_address,
 262                                     vnet_rewrite_header_t * rw,
 263                                     u32 max_rewrite_bytes);
 264
 265 void vnet_rewrite_for_tunnel (struct vnet_main_t * vnm,
 266                               u32 tx_sw_if_index,
 267                               u32 rewrite_node_index,
 268                               u32 post_rewrite_node_index,
 269                               vnet_rewrite_header_t * rw,
 270                               u8 *rewrite_data,
 271                               u32 rewrite_length);
 272
 273 /* Parser for unformat header & rewrite string. */
 274 unformat_function_t unformat_vnet_rewrite;
 275
 276 format_function_t format_vnet_rewrite;
 277 format_function_t format_vnet_rewrite_header;
 278
 279 serialize_function_t serialize_vnet_rewrite, unserialize_vnet_rewrite;
 280
 281 #endif /* included_vnet_rewrite_h */