src/vnet/rewrite.h

   1 /*
   2  * Copyright (c) 2015 Cisco and/or its affiliates.
   3  * Licensed under the Apache License, Version 2.0 (the "License");
   4  * you may not use this file except in compliance with the License.
   5  * You may obtain a copy of the License at:
   6  *
   7  *     http://www.apache.org/licenses/LICENSE-2.0
   8  *
   9  * Unless required by applicable law or agreed to in writing, software
  10  * distributed under the License is distributed on an "AS IS" BASIS,
  11  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  12  * See the License for the specific language governing permissions and
  13  * limitations under the License.
  14  */
  15 /*
  16  * rewrite.h: packet rewrite
  17  *
  18  * Copyright (c) 2008 Eliot Dresselhaus
  19  *
  20  * Permission is hereby granted, free of charge, to any person obtaining
  21  * a copy of this software and associated documentation files (the
  22  * "Software"), to deal in the Software without restriction, including
  23  * without limitation the rights to use, copy, modify, merge, publish,
  24  * distribute, sublicense, and/or sell copies of the Software, and to
  25  * permit persons to whom the Software is furnished to do so, subject to
  26  * the following conditions:
  27  *
  28  * The above copyright notice and this permission notice shall be
  29  * included in all copies or substantial portions of the Software.
  30  *
  31  *  THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND,
  32  *  EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF
  33  *  MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND
  34  *  NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE
  35  *  LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION
  36  *  OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION
  37  *  WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.
  38  */
  39
  40 #ifndef included_vnet_rewrite_h
  41 #define included_vnet_rewrite_h
  42
  43 #include <vlib/vlib.h>
  44 #include <vnet/l3_types.h>
  45
  46 /* Consider using vector types for speed? */
  47 typedef uword vnet_rewrite_data_t;
  48
  49 /* *INDENT-OFF* */
  50 typedef CLIB_PACKED (struct {
  51   /* Interface to mark re-written packets with. */
  52   u32 sw_if_index;
  53
  54   /* Packet processing node where rewrite happens. */
  55   u32 node_index;
  56
  57   /* Next node to feed after packet rewrite is done. */
  58   u16 next_index;
  59
  60   /* Number of bytes in rewrite data. */
  61   u16 data_bytes;
  62
  63   /* Max packet size layer 3 (MTU) for output interface.
  64      Used for MTU check after packet rewrite. */
  65   u16 max_l3_packet_bytes;
  66
  67   /* When dynamically writing a multicast destination L2 addresss
  68    * this is the offset within the address to start writing n
  69    * bytes of the IP mcast address */
  70   u8 dst_mcast_offset;
  71
  72   /* When dynamically writing a multicast destination L2 addresss
  73    * this is the number of bytes of the dest IP address to write into
  74    * the MAC rewrite */
  75   u8 dst_mcast_n_bytes;
  76
  77   /* Rewrite string starting at end and going backwards. */
  78   u8 data[0];
  79 }) vnet_rewrite_header_t;
  80 /* *INDENT-ON* */
  81
  82 /*
  83   Helper macro for declaring rewrite string w/ given max-size.
  84
  85   Typical usage:
  86     typedef struct {
  87       //
  88       int a, b;
  89
  90       // Total adjacency is 64 bytes.
  91       vnet_rewrite_declare(64 - 2*sizeof(int)) rw;
  92     } my_adjacency_t;
  93 */
  94 #define vnet_declare_rewrite(total_bytes)                               \
  95 struct {                                                                \
  96   vnet_rewrite_header_t rewrite_header;                                 \
  97                                                                         \
  98   u8 rewrite_data[(total_bytes) - sizeof (vnet_rewrite_header_t)];      \
  99 }
 100
 101 always_inline void
 102 vnet_rewrite_clear_data_internal (vnet_rewrite_header_t * rw, int max_size)
 103 {
 104   /* Sanity check values carefully for this memset operation */
 105   ASSERT ((max_size > 0) && (max_size < VLIB_BUFFER_PRE_DATA_SIZE));
 106
 107   rw->data_bytes = 0;
 108   memset (rw->data, 0xfe, max_size);
 109 }
 110
 111 always_inline void
 112 vnet_rewrite_set_data_internal (vnet_rewrite_header_t * rw,
 113                                 int max_size, void *data, int data_bytes)
 114 {
 115   /* Sanity check values carefully for this memset operation */
 116   ASSERT ((max_size > 0) && (max_size < VLIB_BUFFER_PRE_DATA_SIZE));
 117   ASSERT ((data_bytes >= 0) && (data_bytes < max_size));
 118
 119   rw->data_bytes = data_bytes;
 120   clib_memcpy (rw->data + max_size - data_bytes, data, data_bytes);
 121   memset (rw->data, 0xfe, max_size - data_bytes);
 122 }
 123
 124 #define vnet_rewrite_set_data(rw,data,data_bytes)               \
 125   vnet_rewrite_set_data_internal (&((rw).rewrite_header),       \
 126                                   sizeof ((rw).rewrite_data),   \
 127                                   (data),                       \
 128                                   (data_bytes))
 129
 130 always_inline void *
 131 vnet_rewrite_get_data_internal (vnet_rewrite_header_t * rw, int max_size)
 132 {
 133   ASSERT (rw->data_bytes <= max_size);
 134   return rw->data + max_size - rw->data_bytes;
 135 }
 136
 137 #define vnet_rewrite_get_data(rw) \
 138   vnet_rewrite_get_data_internal (&((rw).rewrite_header), sizeof ((rw).rewrite_data))
 139
 140 always_inline void
 141 vnet_rewrite_copy_one (vnet_rewrite_data_t * p0, vnet_rewrite_data_t * rw0,
 142                        int i)
 143 {
 144   p0[-i] = rw0[-i];
 145 }
 146
 147 void vnet_rewrite_copy_slow_path (vnet_rewrite_data_t * p0,
 148                                   vnet_rewrite_data_t * rw0,
 149                                   word n_left, uword most_likely_size);
 150
 151 /* *INDENT-OFF* */
 152 typedef CLIB_PACKED (struct {
 153   u64 a;
 154   u32 b;
 155   u16 c;
 156 }) eh_copy_t;
 157 /* *INDENT-ON* */
 158
 159 always_inline void
 160 _vnet_rewrite_one_header (vnet_rewrite_header_t * h0,
 161                           void *packet0, int max_size, int most_likely_size)
 162 {
 163   vnet_rewrite_data_t *p0 = packet0;
 164   vnet_rewrite_data_t *rw0 = (vnet_rewrite_data_t *) (h0->data + max_size);
 165   word n_left0;
 166
 167   /* 0xfefe => poisoned adjacency => crash */
 168   ASSERT (h0->data_bytes != 0xfefe);
 169
 170   if (PREDICT_TRUE (h0->data_bytes == sizeof (eh_copy_t)))
 171     {
 172       eh_copy_t *s, *d;
 173       s = (eh_copy_t *) (h0->data + max_size - sizeof (eh_copy_t));
 174       d = (eh_copy_t *) (((u8 *) packet0) - sizeof (eh_copy_t));
 175       clib_memcpy (d, s, sizeof (eh_copy_t));
 176       return;
 177     }
 178
 179
 180 #define _(i)                                                            \
 181   do {                                                                  \
 182     if (most_likely_size > ((i)-1)*sizeof (vnet_rewrite_data_t))        \
 183       vnet_rewrite_copy_one (p0, rw0, (i));                             \
 184   } while (0)
 185
 186   _(4);
 187   _(3);
 188   _(2);
 189   _(1);
 190
 191 #undef _
 192
 193   n_left0 = (int)
 194     (((int) h0->data_bytes - most_likely_size) + (sizeof (rw0[0]) - 1))
 195     / (int) sizeof (rw0[0]);
 196   if (PREDICT_FALSE (n_left0 > 0))
 197     vnet_rewrite_copy_slow_path (p0, rw0, n_left0, most_likely_size);
 198 }
 199
 200 always_inline void
 201 _vnet_rewrite_two_headers (vnet_rewrite_header_t * h0,
 202                            vnet_rewrite_header_t * h1,
 203                            void *packet0,
 204                            void *packet1, int max_size, int most_likely_size)
 205 {
 206   vnet_rewrite_data_t *p0 = packet0;
 207   vnet_rewrite_data_t *p1 = packet1;
 208   vnet_rewrite_data_t *rw0 = (vnet_rewrite_data_t *) (h0->data + max_size);
 209   vnet_rewrite_data_t *rw1 = (vnet_rewrite_data_t *) (h1->data + max_size);
 210   word n_left0, n_left1;
 211   int slow_path;
 212
 213   /* 0xfefe => poisoned adjacency => crash */
 214   ASSERT (h0->data_bytes != 0xfefe);
 215   ASSERT (h1->data_bytes != 0xfefe);
 216
 217   /* Arithmetic calculation: bytes0 == bytes1 == 14 */
 218   slow_path = h0->data_bytes ^ h1->data_bytes;
 219   slow_path += h0->data_bytes ^ sizeof (eh_copy_t);
 220
 221   if (PREDICT_TRUE (slow_path == 0))
 222     {
 223       eh_copy_t *s0, *d0, *s1, *d1;
 224       s0 = (eh_copy_t *) (h0->data + max_size - sizeof (eh_copy_t));
 225       d0 = (eh_copy_t *) (((u8 *) packet0) - sizeof (eh_copy_t));
 226       clib_memcpy (d0, s0, sizeof (eh_copy_t));
 227       s1 = (eh_copy_t *) (h1->data + max_size - sizeof (eh_copy_t));
 228       d1 = (eh_copy_t *) (((u8 *) packet1) - sizeof (eh_copy_t));
 229       clib_memcpy (d1, s1, sizeof (eh_copy_t));
 230       return;
 231     }
 232
 233 #define _(i)                                                            \
 234   do {                                                                  \
 235     if (most_likely_size > ((i)-1)*sizeof (vnet_rewrite_data_t))        \
 236       {                                                                 \
 237         vnet_rewrite_copy_one (p0, rw0, (i));                           \
 238         vnet_rewrite_copy_one (p1, rw1, (i));                           \
 239       }                                                                 \
 240   } while (0)
 241
 242   _(4);
 243   _(3);
 244   _(2);
 245   _(1);
 246
 247 #undef _
 248
 249   n_left0 = (int)
 250     (((int) h0->data_bytes - most_likely_size) + (sizeof (rw0[0]) - 1))
 251     / (int) sizeof (rw0[0]);
 252   n_left1 = (int)
 253     (((int) h1->data_bytes - most_likely_size) + (sizeof (rw1[0]) - 1))
 254     / (int) sizeof (rw1[0]);
 255
 256   if (PREDICT_FALSE (n_left0 > 0 || n_left1 > 0))
 257     {
 258       vnet_rewrite_copy_slow_path (p0, rw0, n_left0, most_likely_size);
 259       vnet_rewrite_copy_slow_path (p1, rw1, n_left1, most_likely_size);
 260     }
 261 }
 262
 263 #define vnet_rewrite_one_header(rw0,p0,most_likely_size)        \
 264   _vnet_rewrite_one_header (&((rw0).rewrite_header), (p0),      \
 265                             sizeof ((rw0).rewrite_data),        \
 266                             (most_likely_size))
 267
 268 #define vnet_rewrite_two_headers(rw0,rw1,p0,p1,most_likely_size)        \
 269   _vnet_rewrite_two_headers (&((rw0).rewrite_header), &((rw1).rewrite_header), \
 270                              (p0), (p1),                                \
 271                              sizeof ((rw0).rewrite_data),               \
 272                              (most_likely_size))
 273
 274 always_inline void
 275 _vnet_fixup_one_header (vnet_rewrite_header_t * h0,
 276                         u8 * addr, u32 addr_len,
 277                         u8 * packet0, int clear_first_bit)
 278 {
 279   /* location to write to in the packet */
 280   u8 *p0 = packet0 - h0->dst_mcast_offset;
 281   u8 *p1 = p0;
 282   /* location to write from in the L3 dest address */
 283   u8 *a0 = addr + addr_len - h0->dst_mcast_n_bytes;
 284
 285   clib_memcpy (p0, a0, h0->dst_mcast_n_bytes);
 286   if (clear_first_bit)
 287     *p1 &= 0x7f;
 288 }
 289
 290 #define vnet_fixup_one_header(rw0,addr,p0,clear_first_bit)              \
 291   _vnet_fixup_one_header (&((rw0).rewrite_header),                      \
 292                           (u8*)(addr), sizeof((*addr)),                 \
 293                           (u8*)(p0), (clear_first_bit))
 294
 295 #define VNET_REWRITE_FOR_SW_INTERFACE_ADDRESS_BROADCAST ((void *) 0)
 296 /** Deprecated */
 297 void vnet_rewrite_for_sw_interface (struct vnet_main_t *vnm,
 298                                     vnet_link_t packet_type,
 299                                     u32 sw_if_index,
 300                                     u32 node_index,
 301                                     void *dst_address,
 302                                     vnet_rewrite_header_t * rw,
 303                                     u32 max_rewrite_bytes);
 304
 305 u32 vnet_tx_node_index_for_sw_interface (struct vnet_main_t *vnm,
 306                                          u32 sw_if_index);
 307
 308 void vnet_rewrite_init (struct vnet_main_t *vnm,
 309                         u32 sw_if_index,
 310                         u32 this_node,
 311                         u32 next_node, vnet_rewrite_header_t * rw);
 312
 313 u8 *vnet_build_rewrite_for_sw_interface (struct vnet_main_t *vnm,
 314                                          u32 sw_if_index,
 315                                          vnet_link_t packet_type,
 316                                          const void *dst_address);
 317 void vnet_update_adjacency_for_sw_interface (struct vnet_main_t *vnm,
 318                                              u32 sw_if_index, u32 ai);
 319
 320 /* Parser for unformat header & rewrite string. */
 321 unformat_function_t unformat_vnet_rewrite;
 322
 323 format_function_t format_vnet_rewrite;
 324 format_function_t format_vnet_rewrite_header;
 325
 326 serialize_function_t serialize_vnet_rewrite, unserialize_vnet_rewrite;
 327
 328 #endif /* included_vnet_rewrite_h */
 329
 330 /*
 331  * fd.io coding-style-patch-verification: ON
 332  *
 333  * Local Variables:
 334  * eval: (c-set-style "gnu")
 335  * End:
 336  */