vnet/vnet/pg/stream.c

   1 /*
   2  * Copyright (c) 2015 Cisco and/or its affiliates.
   3  * Licensed under the Apache License, Version 2.0 (the "License");
   4  * you may not use this file except in compliance with the License.
   5  * You may obtain a copy of the License at:
   6  *
   7  *     http://www.apache.org/licenses/LICENSE-2.0
   8  *
   9  * Unless required by applicable law or agreed to in writing, software
  10  * distributed under the License is distributed on an "AS IS" BASIS,
  11  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  12  * See the License for the specific language governing permissions and
  13  * limitations under the License.
  14  */
  15 /*
  16  * pg_stream.c: packet generator streams
  17  *
  18  * Copyright (c) 2008 Eliot Dresselhaus
  19  *
  20  * Permission is hereby granted, free of charge, to any person obtaining
  21  * a copy of this software and associated documentation files (the
  22  * "Software"), to deal in the Software without restriction, including
  23  * without limitation the rights to use, copy, modify, merge, publish,
  24  * distribute, sublicense, and/or sell copies of the Software, and to
  25  * permit persons to whom the Software is furnished to do so, subject to
  26  * the following conditions:
  27  *
  28  * The above copyright notice and this permission notice shall be
  29  * included in all copies or substantial portions of the Software.
  30  *
  31  *  THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND,
  32  *  EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF
  33  *  MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND
  34  *  NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE
  35  *  LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION
  36  *  OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION
  37  *  WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.
  38  */
  39
  40 #include <vnet/vnet.h>
  41 #include <vnet/pg/pg.h>
  42 #include <vnet/ethernet/ethernet.h>
  43 #include <vnet/ip/ip.h>
  44 #include <vnet/mpls/mpls.h>
  45
  46 /* Mark stream active or inactive. */
  47 void
  48 pg_stream_enable_disable (pg_main_t * pg, pg_stream_t * s, int want_enabled)
  49 {
  50   vnet_main_t *vnm = vnet_get_main ();
  51   pg_interface_t *pi = pool_elt_at_index (pg->interfaces, s->pg_if_index);
  52
  53   want_enabled = want_enabled != 0;
  54
  55   if (pg_stream_is_enabled (s) == want_enabled)
  56     /* No change necessary. */
  57     return;
  58
  59   if (want_enabled)
  60     s->n_packets_generated = 0;
  61
  62   /* Toggle enabled flag. */
  63   s->flags ^= PG_STREAM_FLAGS_IS_ENABLED;
  64
  65   ASSERT (!pool_is_free (pg->streams, s));
  66
  67   pg->enabled_streams
  68     = clib_bitmap_set (pg->enabled_streams, s - pg->streams, want_enabled);
  69
  70   if (want_enabled)
  71     {
  72       vnet_hw_interface_set_flags (vnm, pi->hw_if_index,
  73                                    VNET_HW_INTERFACE_FLAG_LINK_UP);
  74
  75       vnet_sw_interface_set_flags (vnm, pi->sw_if_index,
  76                                    VNET_SW_INTERFACE_FLAG_ADMIN_UP);
  77     }
  78
  79   vlib_node_set_state (pg->vlib_main,
  80                        pg_input_node.index,
  81                        (clib_bitmap_is_zero (pg->enabled_streams)
  82                         ? VLIB_NODE_STATE_DISABLED
  83                         : VLIB_NODE_STATE_POLLING));
  84
  85   s->packet_accumulator = 0;
  86   s->time_last_generate = 0;
  87 }
  88
  89 static u8 *
  90 format_pg_interface_name (u8 * s, va_list * args)
  91 {
  92   pg_main_t *pg = &pg_main;
  93   u32 if_index = va_arg (*args, u32);
  94   pg_interface_t *pi;
  95
  96   pi = pool_elt_at_index (pg->interfaces, if_index);
  97   s = format (s, "pg%d", pi->id);
  98
  99   return s;
 100 }
 101
 102 static clib_error_t *
 103 pg_interface_admin_up_down (vnet_main_t * vnm, u32 hw_if_index, u32 flags)
 104 {
 105   u32 hw_flags = 0;
 106
 107   if (flags & VNET_SW_INTERFACE_FLAG_ADMIN_UP)
 108     hw_flags = VNET_HW_INTERFACE_FLAG_LINK_UP;
 109
 110   vnet_hw_interface_set_flags (vnm, hw_if_index, hw_flags);
 111
 112   return 0;
 113 }
 114
 115 /* *INDENT-OFF* */
 116 VNET_DEVICE_CLASS (pg_dev_class) = {
 117   .name = "pg",
 118   .tx_function = pg_output,
 119   .format_device_name = format_pg_interface_name,
 120   .admin_up_down_function = pg_interface_admin_up_down,
 121 };
 122 /* *INDENT-ON* */
 123
 124 static uword
 125 pg_set_rewrite (vnet_main_t * vnm,
 126                 u32 sw_if_index,
 127                 u32 l3_type,
 128                 void *dst_address, void *rewrite, uword max_rewrite_bytes)
 129 {
 130   u16 *h = rewrite;
 131
 132   if (max_rewrite_bytes < sizeof (h[0]))
 133     return 0;
 134
 135   h[0] = clib_host_to_net_u16 (l3_type);
 136   return sizeof (h[0]);
 137 }
 138
 139 /* *INDENT-OFF* */
 140 VNET_HW_INTERFACE_CLASS (pg_interface_class,static) = {
 141   .name = "Packet generator",
 142   .set_rewrite = pg_set_rewrite,
 143 };
 144 /* *INDENT-ON* */
 145
 146 static u32
 147 pg_eth_flag_change (vnet_main_t * vnm, vnet_hw_interface_t * hi, u32 flags)
 148 {
 149   /* nothing for now */
 150   return 0;
 151 }
 152
 153 u32
 154 pg_interface_add_or_get (pg_main_t * pg, uword if_id)
 155 {
 156   vnet_main_t *vnm = vnet_get_main ();
 157   vlib_main_t *vm = vlib_get_main ();
 158   pg_interface_t *pi;
 159   vnet_hw_interface_t *hi;
 160   uword *p;
 161   u32 i;
 162
 163   p = hash_get (pg->if_index_by_if_id, if_id);
 164
 165   if (p)
 166     {
 167       return p[0];
 168     }
 169   else
 170     {
 171       u8 hw_addr[6];
 172       f64 now = vlib_time_now (vm);
 173       u32 rnd;
 174
 175       pool_get (pg->interfaces, pi);
 176       i = pi - pg->interfaces;
 177
 178       rnd = (u32) (now * 1e6);
 179       rnd = random_u32 (&rnd);
 180       clib_memcpy (hw_addr + 2, &rnd, sizeof (rnd));
 181       hw_addr[0] = 2;
 182       hw_addr[1] = 0xfe;
 183
 184       pi->id = if_id;
 185       ethernet_register_interface (vnm, pg_dev_class.index, i, hw_addr,
 186                                    &pi->hw_if_index, pg_eth_flag_change);
 187       hi = vnet_get_hw_interface (vnm, pi->hw_if_index);
 188       pi->sw_if_index = hi->sw_if_index;
 189
 190       hash_set (pg->if_index_by_if_id, if_id, i);
 191
 192       ip4_sw_interface_enable_disable (pi->hw_if_index, 1);
 193       ip6_sw_interface_enable_disable (pi->hw_if_index, 1);
 194       mpls_sw_interface_enable_disable (&mpls_main, pi->hw_if_index, 1);
 195     }
 196
 197   return i;
 198 }
 199
 200 static void
 201 do_edit (pg_stream_t * stream,
 202          pg_edit_group_t * g, pg_edit_t * e, uword want_commit)
 203 {
 204   u32 i, i0, i1, mask, n_bits_left;
 205   u8 *v, *s, *m;
 206
 207   i0 = e->lsb_bit_offset / BITS (u8);
 208
 209   /* Make space for edit in value and mask. */
 210   vec_validate (g->fixed_packet_data, i0);
 211   vec_validate (g->fixed_packet_data_mask, i0);
 212
 213   if (e->type != PG_EDIT_FIXED)
 214     {
 215       switch (e->type)
 216         {
 217         case PG_EDIT_RANDOM:
 218         case PG_EDIT_INCREMENT:
 219           e->last_increment_value = pg_edit_get_value (e, PG_EDIT_LO);
 220           break;
 221
 222         default:
 223           break;
 224         }
 225
 226       if (want_commit)
 227         {
 228           ASSERT (e->type != PG_EDIT_INVALID_TYPE);
 229           vec_add1 (g->non_fixed_edits, e[0]);
 230         }
 231       return;
 232     }
 233
 234   s = g->fixed_packet_data;
 235   m = g->fixed_packet_data_mask;
 236
 237   n_bits_left = e->n_bits;
 238   i0 = e->lsb_bit_offset / BITS (u8);
 239   i1 = e->lsb_bit_offset % BITS (u8);
 240
 241   v = e->values[PG_EDIT_LO];
 242   i = pg_edit_n_alloc_bytes (e) - 1;
 243
 244   /* Odd low order bits?. */
 245   if (i1 != 0 && n_bits_left > 0)
 246     {
 247       u32 n = clib_min (n_bits_left, BITS (u8) - i1);
 248
 249       mask = pow2_mask (n) << i1;
 250
 251       ASSERT (i0 < vec_len (s));
 252       ASSERT (i < vec_len (v));
 253       ASSERT ((v[i] & ~mask) == 0);
 254
 255       s[i0] |= v[i] & mask;
 256       m[i0] |= mask;
 257
 258       i0--;
 259       i--;
 260       n_bits_left -= n;
 261     }
 262
 263   /* Even bytes. */
 264   while (n_bits_left >= 8)
 265     {
 266       ASSERT (i0 < vec_len (s));
 267       ASSERT (i < vec_len (v));
 268
 269       s[i0] = v[i];
 270       m[i0] = ~0;
 271
 272       i0--;
 273       i--;
 274       n_bits_left -= 8;
 275     }
 276
 277   /* Odd high order bits. */
 278   if (n_bits_left > 0)
 279     {
 280       mask = pow2_mask (n_bits_left);
 281
 282       ASSERT (i0 < vec_len (s));
 283       ASSERT (i < vec_len (v));
 284       ASSERT ((v[i] & ~mask) == 0);
 285
 286       s[i0] |= v[i] & mask;
 287       m[i0] |= mask;
 288     }
 289
 290   if (want_commit)
 291     pg_edit_free (e);
 292 }
 293
 294 void
 295 pg_edit_group_get_fixed_packet_data (pg_stream_t * s,
 296                                      u32 group_index,
 297                                      void *packet_data,
 298                                      void *packet_data_mask)
 299 {
 300   pg_edit_group_t *g = pg_stream_get_group (s, group_index);
 301   pg_edit_t *e;
 302
 303   vec_foreach (e, g->edits) do_edit (s, g, e, /* want_commit */ 0);
 304
 305   clib_memcpy (packet_data, g->fixed_packet_data,
 306                vec_len (g->fixed_packet_data));
 307   clib_memcpy (packet_data_mask, g->fixed_packet_data_mask,
 308                vec_len (g->fixed_packet_data_mask));
 309 }
 310
 311 static void
 312 perform_fixed_edits (pg_stream_t * s)
 313 {
 314   pg_edit_group_t *g;
 315   pg_edit_t *e;
 316   word i;
 317
 318   for (i = vec_len (s->edit_groups) - 1; i >= 0; i--)
 319     {
 320       g = vec_elt_at_index (s->edit_groups, i);
 321       vec_foreach (e, g->edits) do_edit (s, g, e, /* want_commit */ 1);
 322
 323       /* All edits have either been performed or added to
 324          g->non_fixed_edits.  So, we can delete the vector. */
 325       vec_free (g->edits);
 326     }
 327
 328   vec_free (s->fixed_packet_data_mask);
 329   vec_free (s->fixed_packet_data);
 330   vec_foreach (g, s->edit_groups)
 331   {
 332     int i;
 333     g->start_byte_offset = vec_len (s->fixed_packet_data);
 334
 335     /* Relocate and copy non-fixed edits from group to stream. */
 336     vec_foreach (e, g->non_fixed_edits)
 337       e->lsb_bit_offset += g->start_byte_offset * BITS (u8);
 338
 339     for (i = 0; i < vec_len (g->non_fixed_edits); i++)
 340       ASSERT (g->non_fixed_edits[i].type != PG_EDIT_INVALID_TYPE);
 341
 342     vec_add (s->non_fixed_edits,
 343              g->non_fixed_edits, vec_len (g->non_fixed_edits));
 344     vec_free (g->non_fixed_edits);
 345
 346     vec_add (s->fixed_packet_data,
 347              g->fixed_packet_data, vec_len (g->fixed_packet_data));
 348     vec_add (s->fixed_packet_data_mask,
 349              g->fixed_packet_data_mask, vec_len (g->fixed_packet_data_mask));
 350   }
 351 }
 352
 353 void
 354 pg_stream_add (pg_main_t * pg, pg_stream_t * s_init)
 355 {
 356   vlib_main_t *vm = pg->vlib_main;
 357   pg_stream_t *s;
 358   uword *p;
 359
 360   if (!pg->stream_index_by_name)
 361     pg->stream_index_by_name
 362       = hash_create_vec (0, sizeof (s->name[0]), sizeof (uword));
 363
 364   /* Delete any old stream with the same name. */
 365   if (s_init->name
 366       && (p = hash_get_mem (pg->stream_index_by_name, s_init->name)))
 367     {
 368       pg_stream_del (pg, p[0]);
 369     }
 370
 371   pool_get (pg->streams, s);
 372   s[0] = s_init[0];
 373
 374   /* Give it a name. */
 375   if (!s->name)
 376     s->name = format (0, "stream%d", s - pg->streams);
 377   else
 378     s->name = vec_dup (s->name);
 379
 380   hash_set_mem (pg->stream_index_by_name, s->name, s - pg->streams);
 381
 382   /* Get fixed part of buffer data. */
 383   if (s->edit_groups)
 384     perform_fixed_edits (s);
 385
 386   /* Determine packet size. */
 387   switch (s->packet_size_edit_type)
 388     {
 389     case PG_EDIT_INCREMENT:
 390     case PG_EDIT_RANDOM:
 391       if (s->min_packet_bytes == s->max_packet_bytes)
 392         s->packet_size_edit_type = PG_EDIT_FIXED;
 393       break;
 394
 395     default:
 396       /* Get packet size from fixed edits. */
 397       s->packet_size_edit_type = PG_EDIT_FIXED;
 398       if (!s->replay_packet_templates)
 399         s->min_packet_bytes = s->max_packet_bytes =
 400           vec_len (s->fixed_packet_data);
 401       break;
 402     }
 403
 404   s->last_increment_packet_size = s->min_packet_bytes;
 405
 406   {
 407     pg_buffer_index_t *bi;
 408     int n;
 409
 410     if (!s->buffer_bytes)
 411       s->buffer_bytes = s->max_packet_bytes;
 412
 413     s->buffer_bytes = vlib_buffer_round_size (s->buffer_bytes);
 414
 415     n = s->max_packet_bytes / s->buffer_bytes;
 416     n += (s->max_packet_bytes % s->buffer_bytes) != 0;
 417
 418     vec_resize (s->buffer_indices, n);
 419
 420     vec_foreach (bi, s->buffer_indices)
 421       bi->free_list_index = vlib_buffer_create_free_list (vm, s->buffer_bytes,
 422                                                           "pg stream %d buffer #%d",
 423                                                           s - pg->streams,
 424                                                           1 + (bi -
 425                                                                s->
 426                                                                buffer_indices));
 427   }
 428
 429   /* Find an interface to use. */
 430   s->pg_if_index = pg_interface_add_or_get (pg, s->if_id);
 431
 432   {
 433     pg_interface_t *pi = pool_elt_at_index (pg->interfaces, s->pg_if_index);
 434     vlib_rx_or_tx_t rx_or_tx;
 435
 436     vlib_foreach_rx_tx (rx_or_tx)
 437     {
 438       if (s->sw_if_index[rx_or_tx] == ~0)
 439         s->sw_if_index[rx_or_tx] = pi->sw_if_index;
 440     }
 441   }
 442
 443   /* Connect the graph. */
 444   s->next_index = vlib_node_add_next (vm, pg_input_node.index, s->node_index);
 445 }
 446
 447 void
 448 pg_stream_del (pg_main_t * pg, uword index)
 449 {
 450   vlib_main_t *vm = pg->vlib_main;
 451   pg_stream_t *s;
 452   pg_buffer_index_t *bi;
 453
 454   s = pool_elt_at_index (pg->streams, index);
 455
 456   pg_stream_enable_disable (pg, s, /* want_enabled */ 0);
 457   hash_unset_mem (pg->stream_index_by_name, s->name);
 458
 459   vec_foreach (bi, s->buffer_indices)
 460   {
 461     vlib_buffer_delete_free_list (vm, bi->free_list_index);
 462     clib_fifo_free (bi->buffer_fifo);
 463   }
 464
 465   pg_stream_free (s);
 466   pool_put (pg->streams, s);
 467 }
 468
 469
 470 /*
 471  * fd.io coding-style-patch-verification: ON
 472  *
 473  * Local Variables:
 474  * eval: (c-set-style "gnu")
 475  * End:
 476  */