src/vnet/adj/rewrite.h

   1 /*
   2  * Copyright (c) 2015 Cisco and/or its affiliates.
   3  * Licensed under the Apache License, Version 2.0 (the "License");
   4  * you may not use this file except in compliance with the License.
   5  * You may obtain a copy of the License at:
   6  *
   7  *     http://www.apache.org/licenses/LICENSE-2.0
   8  *
   9  * Unless required by applicable law or agreed to in writing, software
  10  * distributed under the License is distributed on an "AS IS" BASIS,
  11  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  12  * See the License for the specific language governing permissions and
  13  * limitations under the License.
  14  */
  15 /*
  16  * rewrite.h: packet rewrite
  17  *
  18  * Copyright (c) 2008 Eliot Dresselhaus
  19  *
  20  * Permission is hereby granted, free of charge, to any person obtaining
  21  * a copy of this software and associated documentation files (the
  22  * "Software"), to deal in the Software without restriction, including
  23  * without limitation the rights to use, copy, modify, merge, publish,
  24  * distribute, sublicense, and/or sell copies of the Software, and to
  25  * permit persons to whom the Software is furnished to do so, subject to
  26  * the following conditions:
  27  *
  28  * The above copyright notice and this permission notice shall be
  29  * included in all copies or substantial portions of the Software.
  30  *
  31  *  THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND,
  32  *  EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF
  33  *  MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND
  34  *  NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE
  35  *  LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION
  36  *  OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION
  37  *  WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.
  38  */
  39
  40 #ifndef included_vnet_rewrite_h
  41 #define included_vnet_rewrite_h
  42
  43 #include <vlib/vlib.h>
  44 #include <vnet/l3_types.h>
  45
  46 /* Consider using vector types for speed? */
  47 typedef uword vnet_rewrite_data_t;
  48
  49 /**
  50  * Flags associated with the rewrite/adjacency
  51  */
  52 typedef enum vnet_rewrite_flags_t_
  53 {
  54   /**
  55    * This adjacency/interface has output features configured
  56    */
  57   VNET_REWRITE_HAS_FEATURES = (1 << 0),
  58 } __attribute__ ((packed)) vnet_rewrite_flags_t;
  59
  60 /* *INDENT-OFF* */
  61 typedef CLIB_PACKED (struct {
  62   /* Interface to mark re-written packets with. */
  63   u32 sw_if_index;
  64
  65   /* Next node to feed after packet rewrite is done. */
  66   u16 next_index;
  67
  68   /* Number of bytes in rewrite data. */
  69   u16 data_bytes;
  70
  71   /* Max packet size layer 3 (MTU) for output interface.
  72      Used for MTU check after packet rewrite. */
  73   u16 max_l3_packet_bytes;
  74
  75   /* Data-plane flags on the adjacency/rewrite */
  76   vnet_rewrite_flags_t flags;
  77
  78   /* When dynamically writing a multicast destination L2 addresss
  79    * this is the offset from the IP address at which to write in the
  80    * IP->MAC address translation.
  81    */
  82   u8 dst_mcast_offset;
  83
  84   /* The mask to apply to the lower 4 bytes of the IP address before ORing
  85    * into the destinaiton MAC address */
  86   u32 dst_mcast_mask;
  87
  88   /* Rewrite string starting at end and going backwards. */
  89   u8 data[0];
  90 }) vnet_rewrite_header_t;
  91 /* *INDENT-ON* */
  92
  93 /**
  94  * At 16 bytes of rewrite herader we have enought space left for a IPv6
  95  * (40 bytes) + LISP-GPE (8 bytes) in the cache line
  96  */
  97 STATIC_ASSERT (sizeof (vnet_rewrite_header_t) <= 16,
  98                "Rewrite header too big");
  99
 100 /*
 101   Helper macro for declaring rewrite string w/ given max-size.
 102
 103   Typical usage:
 104     typedef struct {
 105       //
 106       int a, b;
 107
 108       // Total adjacency is 64 bytes.
 109       vnet_rewrite_declare(64 - 2*sizeof(int)) rw;
 110     } my_adjacency_t;
 111 */
 112 #define vnet_declare_rewrite(total_bytes)                               \
 113 struct {                                                                \
 114   vnet_rewrite_header_t rewrite_header;                                 \
 115                                                                         \
 116   u8 rewrite_data[(total_bytes) - sizeof (vnet_rewrite_header_t)];      \
 117 }
 118
 119 always_inline void
 120 vnet_rewrite_clear_data_internal (vnet_rewrite_header_t * rw, int max_size)
 121 {
 122   /* Sanity check values carefully for this memset operation */
 123   ASSERT ((max_size > 0) && (max_size < VLIB_BUFFER_PRE_DATA_SIZE));
 124
 125   rw->data_bytes = 0;
 126   memset (rw->data, 0xfe, max_size);
 127 }
 128
 129 always_inline void
 130 vnet_rewrite_set_data_internal (vnet_rewrite_header_t * rw,
 131                                 int max_size, void *data, int data_bytes)
 132 {
 133   /* Sanity check values carefully for this memset operation */
 134   ASSERT ((max_size > 0) && (max_size < VLIB_BUFFER_PRE_DATA_SIZE));
 135   ASSERT ((data_bytes >= 0) && (data_bytes < max_size));
 136
 137   rw->data_bytes = data_bytes;
 138   clib_memcpy (rw->data + max_size - data_bytes, data, data_bytes);
 139   memset (rw->data, 0xfe, max_size - data_bytes);
 140 }
 141
 142 #define vnet_rewrite_set_data(rw,data,data_bytes)               \
 143   vnet_rewrite_set_data_internal (&((rw).rewrite_header),       \
 144                                   sizeof ((rw).rewrite_data),   \
 145                                   (data),                       \
 146                                   (data_bytes))
 147
 148 always_inline void *
 149 vnet_rewrite_get_data_internal (vnet_rewrite_header_t * rw, int max_size)
 150 {
 151   ASSERT (rw->data_bytes <= max_size);
 152   return rw->data + max_size - rw->data_bytes;
 153 }
 154
 155 #define vnet_rewrite_get_data(rw) \
 156   vnet_rewrite_get_data_internal (&((rw).rewrite_header), sizeof ((rw).rewrite_data))
 157
 158 always_inline void
 159 vnet_rewrite_copy_one (vnet_rewrite_data_t * p0, vnet_rewrite_data_t * rw0,
 160                        int i)
 161 {
 162   p0[-i] = rw0[-i];
 163 }
 164
 165 void vnet_rewrite_copy_slow_path (vnet_rewrite_data_t * p0,
 166                                   vnet_rewrite_data_t * rw0,
 167                                   word n_left, uword most_likely_size);
 168
 169 /* *INDENT-OFF* */
 170 typedef CLIB_PACKED (struct {
 171   u64 a;
 172   u32 b;
 173   u16 c;
 174 }) eh_copy_t;
 175 /* *INDENT-ON* */
 176
 177 always_inline void
 178 _vnet_rewrite_one_header (vnet_rewrite_header_t * h0,
 179                           void *packet0, int max_size, int most_likely_size)
 180 {
 181   vnet_rewrite_data_t *p0 = packet0;
 182   vnet_rewrite_data_t *rw0 = (vnet_rewrite_data_t *) (h0->data + max_size);
 183   word n_left0;
 184
 185   /* 0xfefe => poisoned adjacency => crash */
 186   ASSERT (h0->data_bytes != 0xfefe);
 187
 188   if (PREDICT_TRUE (h0->data_bytes == sizeof (eh_copy_t)))
 189     {
 190       eh_copy_t *s, *d;
 191       s = (eh_copy_t *) (h0->data + max_size - sizeof (eh_copy_t));
 192       d = (eh_copy_t *) (((u8 *) packet0) - sizeof (eh_copy_t));
 193       clib_memcpy (d, s, sizeof (eh_copy_t));
 194       return;
 195     }
 196
 197
 198 #define _(i)                                                            \
 199   do {                                                                  \
 200     if (most_likely_size > ((i)-1)*sizeof (vnet_rewrite_data_t))        \
 201       vnet_rewrite_copy_one (p0, rw0, (i));                             \
 202   } while (0)
 203
 204   _(4);
 205   _(3);
 206   _(2);
 207   _(1);
 208
 209 #undef _
 210
 211   n_left0 = (int)
 212     (((int) h0->data_bytes - most_likely_size) + (sizeof (rw0[0]) - 1))
 213     / (int) sizeof (rw0[0]);
 214   if (PREDICT_FALSE (n_left0 > 0))
 215     vnet_rewrite_copy_slow_path (p0, rw0, n_left0, most_likely_size);
 216 }
 217
 218 always_inline void
 219 _vnet_rewrite_two_headers (vnet_rewrite_header_t * h0,
 220                            vnet_rewrite_header_t * h1,
 221                            void *packet0,
 222                            void *packet1, int max_size, int most_likely_size)
 223 {
 224   vnet_rewrite_data_t *p0 = packet0;
 225   vnet_rewrite_data_t *p1 = packet1;
 226   vnet_rewrite_data_t *rw0 = (vnet_rewrite_data_t *) (h0->data + max_size);
 227   vnet_rewrite_data_t *rw1 = (vnet_rewrite_data_t *) (h1->data + max_size);
 228   word n_left0, n_left1;
 229   int slow_path;
 230
 231   /* 0xfefe => poisoned adjacency => crash */
 232   ASSERT (h0->data_bytes != 0xfefe);
 233   ASSERT (h1->data_bytes != 0xfefe);
 234
 235   /* Arithmetic calculation: bytes0 == bytes1 == 14 */
 236   slow_path = h0->data_bytes ^ h1->data_bytes;
 237   slow_path += h0->data_bytes ^ sizeof (eh_copy_t);
 238
 239   if (PREDICT_TRUE (slow_path == 0))
 240     {
 241       eh_copy_t *s0, *d0, *s1, *d1;
 242       s0 = (eh_copy_t *) (h0->data + max_size - sizeof (eh_copy_t));
 243       d0 = (eh_copy_t *) (((u8 *) packet0) - sizeof (eh_copy_t));
 244       clib_memcpy (d0, s0, sizeof (eh_copy_t));
 245       s1 = (eh_copy_t *) (h1->data + max_size - sizeof (eh_copy_t));
 246       d1 = (eh_copy_t *) (((u8 *) packet1) - sizeof (eh_copy_t));
 247       clib_memcpy (d1, s1, sizeof (eh_copy_t));
 248       return;
 249     }
 250
 251 #define _(i)                                                            \
 252   do {                                                                  \
 253     if (most_likely_size > ((i)-1)*sizeof (vnet_rewrite_data_t))        \
 254       {                                                                 \
 255         vnet_rewrite_copy_one (p0, rw0, (i));                           \
 256         vnet_rewrite_copy_one (p1, rw1, (i));                           \
 257       }                                                                 \
 258   } while (0)
 259
 260   _(4);
 261   _(3);
 262   _(2);
 263   _(1);
 264
 265 #undef _
 266
 267   n_left0 = (int)
 268     (((int) h0->data_bytes - most_likely_size) + (sizeof (rw0[0]) - 1))
 269     / (int) sizeof (rw0[0]);
 270   n_left1 = (int)
 271     (((int) h1->data_bytes - most_likely_size) + (sizeof (rw1[0]) - 1))
 272     / (int) sizeof (rw1[0]);
 273
 274   if (PREDICT_FALSE (n_left0 > 0 || n_left1 > 0))
 275     {
 276       vnet_rewrite_copy_slow_path (p0, rw0, n_left0, most_likely_size);
 277       vnet_rewrite_copy_slow_path (p1, rw1, n_left1, most_likely_size);
 278     }
 279 }
 280
 281 #define vnet_rewrite_one_header(rw0,p0,most_likely_size)        \
 282   _vnet_rewrite_one_header (&((rw0).rewrite_header), (p0),      \
 283                             sizeof ((rw0).rewrite_data),        \
 284                             (most_likely_size))
 285
 286 #define vnet_rewrite_two_headers(rw0,rw1,p0,p1,most_likely_size)        \
 287   _vnet_rewrite_two_headers (&((rw0).rewrite_header), &((rw1).rewrite_header), \
 288                              (p0), (p1),                                \
 289                              sizeof ((rw0).rewrite_data),               \
 290                              (most_likely_size))
 291
 292 always_inline void
 293 _vnet_fixup_one_header (vnet_rewrite_header_t * h0,
 294                         u8 * addr, u32 addr_len, u8 * packet0)
 295 {
 296   if (PREDICT_TRUE (h0->dst_mcast_mask))
 297     {
 298       /* location to write to in the packet */
 299       u8 *p0 = packet0 - h0->dst_mcast_offset;
 300       u32 *p1 = (u32 *) p0;
 301       /* location to copy from in the L3 dest address */
 302       u32 *a0 = (u32 *) (addr + addr_len - sizeof (h0->dst_mcast_mask));
 303
 304       *p1 |= (*a0 & h0->dst_mcast_mask);
 305     }
 306 }
 307
 308 #define vnet_fixup_one_header(rw0,addr,p0)              \
 309   _vnet_fixup_one_header (&((rw0).rewrite_header),                      \
 310                           (u8*)(addr), sizeof((*addr)),                 \
 311                           (u8*)(p0))
 312
 313 #define VNET_REWRITE_FOR_SW_INTERFACE_ADDRESS_BROADCAST ((void *) 0)
 314 /** Deprecated */
 315 void vnet_rewrite_for_sw_interface (struct vnet_main_t *vnm,
 316                                     vnet_link_t packet_type,
 317                                     u32 sw_if_index,
 318                                     u32 node_index,
 319                                     void *dst_address,
 320                                     vnet_rewrite_header_t * rw,
 321                                     u32 max_rewrite_bytes);
 322
 323 u32 vnet_tx_node_index_for_sw_interface (struct vnet_main_t *vnm,
 324                                          u32 sw_if_index);
 325
 326 void vnet_rewrite_init (struct vnet_main_t *vnm,
 327                         u32 sw_if_index,
 328                         u32 this_node,
 329                         u32 next_node, vnet_rewrite_header_t * rw);
 330
 331 void vnet_rewrite_update_mtu (struct vnet_main_t *vnm,
 332                               vnet_rewrite_header_t * rw);
 333
 334 u8 *vnet_build_rewrite_for_sw_interface (struct vnet_main_t *vnm,
 335                                          u32 sw_if_index,
 336                                          vnet_link_t packet_type,
 337                                          const void *dst_address);
 338 void vnet_update_adjacency_for_sw_interface (struct vnet_main_t *vnm,
 339                                              u32 sw_if_index, u32 ai);
 340
 341 format_function_t format_vnet_rewrite;
 342
 343 serialize_function_t serialize_vnet_rewrite, unserialize_vnet_rewrite;
 344
 345 #endif /* included_vnet_rewrite_h */
 346
 347 /*
 348  * fd.io coding-style-patch-verification: ON
 349  *
 350  * Local Variables:
 351  * eval: (c-set-style "gnu")
 352  * End:
 353  */