vnet/vnet/pg/stream.c

   1 /*
   2  * Copyright (c) 2015 Cisco and/or its affiliates.
   3  * Licensed under the Apache License, Version 2.0 (the "License");
   4  * you may not use this file except in compliance with the License.
   5  * You may obtain a copy of the License at:
   6  *
   7  *     http://www.apache.org/licenses/LICENSE-2.0
   8  *
   9  * Unless required by applicable law or agreed to in writing, software
  10  * distributed under the License is distributed on an "AS IS" BASIS,
  11  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  12  * See the License for the specific language governing permissions and
  13  * limitations under the License.
  14  */
  15 /*
  16  * pg_stream.c: packet generator streams
  17  *
  18  * Copyright (c) 2008 Eliot Dresselhaus
  19  *
  20  * Permission is hereby granted, free of charge, to any person obtaining
  21  * a copy of this software and associated documentation files (the
  22  * "Software"), to deal in the Software without restriction, including
  23  * without limitation the rights to use, copy, modify, merge, publish,
  24  * distribute, sublicense, and/or sell copies of the Software, and to
  25  * permit persons to whom the Software is furnished to do so, subject to
  26  * the following conditions:
  27  *
  28  * The above copyright notice and this permission notice shall be
  29  * included in all copies or substantial portions of the Software.
  30  *
  31  *  THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND,
  32  *  EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF
  33  *  MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND
  34  *  NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE
  35  *  LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION
  36  *  OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION
  37  *  WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.
  38  */
  39
  40 #include <vnet/vnet.h>
  41 #include <vnet/pg/pg.h>
  42
  43 /* Mark stream active or inactive. */
  44 void pg_stream_enable_disable (pg_main_t * pg, pg_stream_t * s, int want_enabled)
  45 {
  46   vnet_main_t * vnm = vnet_get_main();
  47   pg_interface_t * pi = vec_elt_at_index (pg->interfaces, s->pg_if_index);
  48
  49   want_enabled = want_enabled != 0;
  50
  51   if (pg_stream_is_enabled (s) == want_enabled)
  52     /* No change necessary. */
  53     return;
  54
  55   if (want_enabled)
  56     s->n_packets_generated = 0;
  57
  58   /* Toggle enabled flag. */
  59   s->flags ^= PG_STREAM_FLAGS_IS_ENABLED;
  60
  61   ASSERT (! pool_is_free (pg->streams, s));
  62
  63   pg->enabled_streams
  64     = clib_bitmap_set (pg->enabled_streams, s - pg->streams, want_enabled);
  65
  66   vnet_hw_interface_set_flags (vnm, pi->hw_if_index,
  67                                (want_enabled
  68                                 ? VNET_HW_INTERFACE_FLAG_LINK_UP
  69                                 : 0));
  70
  71   vnet_sw_interface_set_flags (vnm, pi->sw_if_index,
  72                                (want_enabled
  73                                 ? VNET_SW_INTERFACE_FLAG_ADMIN_UP
  74                                 : 0));
  75
  76   vlib_node_set_state (pg->vlib_main,
  77                        pg_input_node.index,
  78                        (clib_bitmap_is_zero (pg->enabled_streams)
  79                         ? VLIB_NODE_STATE_DISABLED
  80                         : VLIB_NODE_STATE_POLLING));
  81
  82   s->packet_accumulator = 0;
  83   s->time_last_generate = 0;
  84 }
  85
  86 static u8 * format_pg_interface_name (u8 * s, va_list * args)
  87 {
  88   pg_main_t * pg = &pg_main;
  89   u32 if_index = va_arg (*args, u32);
  90   pg_interface_t * pi;
  91
  92   pi = vec_elt_at_index (pg->interfaces, if_index);
  93   s = format (s, "pg/stream-%d", pi->stream_index);
  94
  95   return s;
  96 }
  97
  98 VNET_DEVICE_CLASS (pg_dev_class,static) = {
  99   .name = "pg",
 100   .tx_function = pg_output,
 101   .format_device_name = format_pg_interface_name,
 102 };
 103
 104 static uword pg_set_rewrite (vnet_main_t * vnm,
 105                              u32 sw_if_index,
 106                              u32 l3_type,
 107                              void * dst_address,
 108                              void * rewrite,
 109                              uword max_rewrite_bytes)
 110 {
 111   u16 * h = rewrite;
 112
 113   if (max_rewrite_bytes < sizeof (h[0]))
 114     return 0;
 115
 116   h[0] = clib_host_to_net_u16 (l3_type);
 117   return sizeof (h[0]);
 118 }
 119
 120 VNET_HW_INTERFACE_CLASS (pg_interface_class,static) = {
 121   .name = "Packet generator",
 122   .set_rewrite = pg_set_rewrite,
 123 };
 124
 125 u32 pg_interface_find_free (pg_main_t * pg, uword stream_index)
 126 {
 127   vnet_main_t * vnm = vnet_get_main();
 128   pg_interface_t * pi;
 129   vnet_hw_interface_t * hi;
 130   u32 i, l;
 131
 132   if ((l = vec_len (pg->free_interfaces)) > 0)
 133     {
 134       i = pg->free_interfaces[l - 1];
 135       _vec_len (pg->free_interfaces) = l - 1;
 136       pi = vec_elt_at_index (pg->interfaces, i);
 137       pi->stream_index = stream_index;
 138     }
 139   else
 140     {
 141       i = vec_len (pg->interfaces);
 142       vec_add2 (pg->interfaces, pi, 1);
 143
 144       pi->stream_index = stream_index;
 145       pi->hw_if_index = vnet_register_interface (vnm,
 146                                                  pg_dev_class.index, i,
 147                                                  pg_interface_class.index, stream_index);
 148       hi = vnet_get_hw_interface (vnm, pi->hw_if_index);
 149       pi->sw_if_index = hi->sw_if_index;
 150     }
 151
 152   return i;
 153 }
 154
 155 static void do_edit (pg_stream_t * stream,
 156                      pg_edit_group_t * g,
 157                      pg_edit_t * e,
 158                      uword want_commit)
 159 {
 160   u32 i, i0, i1, mask, n_bits_left;
 161   u8 * v, * s, * m;
 162
 163   i0 = e->lsb_bit_offset / BITS (u8);
 164
 165   /* Make space for edit in value and mask. */
 166   vec_validate (g->fixed_packet_data, i0);
 167   vec_validate (g->fixed_packet_data_mask, i0);
 168
 169   if (e->type != PG_EDIT_FIXED)
 170     {
 171       switch (e->type)
 172         {
 173         case PG_EDIT_RANDOM:
 174         case PG_EDIT_INCREMENT:
 175           e->last_increment_value = pg_edit_get_value (e, PG_EDIT_LO);
 176           break;
 177
 178         default:
 179           break;
 180         }
 181
 182       if (want_commit)
 183         {
 184           ASSERT(e->type != PG_EDIT_INVALID_TYPE);
 185           vec_add1 (g->non_fixed_edits, e[0]);
 186         }
 187       return;
 188     }
 189
 190   s = g->fixed_packet_data;
 191   m = g->fixed_packet_data_mask;
 192
 193   n_bits_left = e->n_bits;
 194   i0 = e->lsb_bit_offset / BITS (u8);
 195   i1 = e->lsb_bit_offset % BITS (u8);
 196
 197   v = e->values[PG_EDIT_LO];
 198   i = pg_edit_n_alloc_bytes (e) - 1;
 199
 200   /* Odd low order bits?. */
 201   if (i1 != 0 && n_bits_left > 0)
 202     {
 203       u32 n = clib_min (n_bits_left, BITS (u8) - i1);
 204
 205       mask = pow2_mask (n) << i1;
 206
 207       ASSERT (i0 < vec_len (s));
 208       ASSERT (i < vec_len (v));
 209       ASSERT ((v[i] &~ mask) == 0);
 210
 211       s[i0] |= v[i] & mask;
 212       m[i0] |= mask;
 213
 214       i0--;
 215       i--;
 216       n_bits_left -= n;
 217     }
 218
 219   /* Even bytes. */
 220   while (n_bits_left >= 8)
 221     {
 222       ASSERT (i0 < vec_len (s));
 223       ASSERT (i < vec_len (v));
 224
 225       s[i0] = v[i];
 226       m[i0] = ~0;
 227
 228       i0--;
 229       i--;
 230       n_bits_left -= 8;
 231     }
 232
 233   /* Odd high order bits. */
 234   if (n_bits_left > 0)
 235     {
 236       mask = pow2_mask (n_bits_left);
 237
 238       ASSERT (i0 < vec_len (s));
 239       ASSERT (i < vec_len (v));
 240       ASSERT ((v[i] &~ mask) == 0);
 241
 242       s[i0] |= v[i] & mask;
 243       m[i0] |= mask;
 244     }
 245
 246   if (want_commit)
 247     pg_edit_free (e);
 248 }
 249
 250 void pg_edit_group_get_fixed_packet_data (pg_stream_t * s,
 251                                           u32 group_index,
 252                                           void * packet_data,
 253                                           void * packet_data_mask)
 254 {
 255   pg_edit_group_t * g = pg_stream_get_group (s, group_index);
 256   pg_edit_t * e;
 257
 258   vec_foreach (e, g->edits)
 259     do_edit (s, g, e, /* want_commit */ 0);
 260
 261   memcpy (packet_data, g->fixed_packet_data, vec_len (g->fixed_packet_data));
 262   memcpy (packet_data_mask, g->fixed_packet_data_mask, vec_len (g->fixed_packet_data_mask));
 263 }
 264
 265 static void perform_fixed_edits (pg_stream_t * s)
 266 {
 267   pg_edit_group_t * g;
 268   pg_edit_t * e;
 269   word i;
 270
 271   for (i = vec_len (s->edit_groups) - 1; i >= 0; i--)
 272     {
 273       g = vec_elt_at_index (s->edit_groups, i);
 274       vec_foreach (e, g->edits)
 275         do_edit (s, g, e, /* want_commit */ 1);
 276
 277       /* All edits have either been performed or added to
 278          g->non_fixed_edits.  So, we can delete the vector. */
 279       vec_free (g->edits);
 280     }
 281
 282   vec_free (s->fixed_packet_data_mask);
 283   vec_free (s->fixed_packet_data);
 284   vec_foreach (g, s->edit_groups)
 285     {
 286       int i;
 287       g->start_byte_offset = vec_len (s->fixed_packet_data);
 288
 289       /* Relocate and copy non-fixed edits from group to stream. */
 290       vec_foreach (e, g->non_fixed_edits)
 291         e->lsb_bit_offset += g->start_byte_offset * BITS (u8);
 292
 293       for (i = 0; i < vec_len (g->non_fixed_edits); i++)
 294         ASSERT(g->non_fixed_edits[i].type != PG_EDIT_INVALID_TYPE);
 295
 296       vec_add (s->non_fixed_edits,
 297                g->non_fixed_edits,
 298                vec_len (g->non_fixed_edits));
 299       vec_free (g->non_fixed_edits);
 300
 301       vec_add (s->fixed_packet_data,
 302                g->fixed_packet_data,
 303                vec_len (g->fixed_packet_data));
 304       vec_add (s->fixed_packet_data_mask,
 305                g->fixed_packet_data_mask,
 306                vec_len (g->fixed_packet_data_mask));
 307     }
 308 }
 309
 310 void pg_stream_add (pg_main_t * pg, pg_stream_t * s_init)
 311 {
 312   vlib_main_t * vm = pg->vlib_main;
 313   pg_stream_t * s;
 314   uword * p;
 315
 316   if (! pg->stream_index_by_name)
 317     pg->stream_index_by_name
 318       = hash_create_vec (0, sizeof (s->name[0]), sizeof (uword));
 319
 320   /* Delete any old stream with the same name. */
 321   if (s_init->name
 322       && (p = hash_get_mem (pg->stream_index_by_name, s_init->name)))
 323     {
 324       pg_stream_del (pg, p[0]);
 325     }
 326
 327   pool_get (pg->streams, s);
 328   s[0] = s_init[0];
 329
 330   /* Give it a name. */
 331   if (! s->name)
 332     s->name = format (0, "stream%d", s - pg->streams);
 333   else
 334     s->name = vec_dup (s->name);
 335
 336   hash_set_mem (pg->stream_index_by_name, s->name, s - pg->streams);
 337
 338   /* Get fixed part of buffer data. */
 339   perform_fixed_edits (s);
 340
 341   /* Determine packet size. */
 342   switch (s->packet_size_edit_type)
 343     {
 344     case PG_EDIT_INCREMENT:
 345     case PG_EDIT_RANDOM:
 346       if (s->min_packet_bytes == s->max_packet_bytes)
 347         s->packet_size_edit_type = PG_EDIT_FIXED;
 348       break;
 349
 350     default:
 351       /* Get packet size from fixed edits. */
 352       s->packet_size_edit_type = PG_EDIT_FIXED;
 353       if (! s->replay_packet_templates)
 354         s->min_packet_bytes = s->max_packet_bytes = vec_len (s->fixed_packet_data);
 355       break;
 356     }
 357
 358   s->last_increment_packet_size = s->min_packet_bytes;
 359
 360   {
 361     pg_buffer_index_t * bi;
 362     int n;
 363
 364     if (! s->buffer_bytes)
 365       s->buffer_bytes = s->max_packet_bytes;
 366
 367     s->buffer_bytes = vlib_buffer_round_size (s->buffer_bytes);
 368
 369     n = s->max_packet_bytes / s->buffer_bytes;
 370     n += (s->max_packet_bytes % s->buffer_bytes) != 0;
 371
 372     vec_resize (s->buffer_indices, n);
 373
 374     vec_foreach (bi, s->buffer_indices)
 375       bi->free_list_index = vlib_buffer_create_free_list (vm, s->buffer_bytes,
 376                                                           "pg stream %d buffer #%d",
 377                                                           s - pg->streams,
 378                                                           1 + (bi - s->buffer_indices));
 379   }
 380
 381   /* Find an interface to use. */
 382   s->pg_if_index = pg_interface_find_free (pg, s - pg->streams);
 383
 384   {
 385     pg_interface_t * pi = vec_elt_at_index (pg->interfaces, s->pg_if_index);
 386     vlib_rx_or_tx_t rx_or_tx;
 387
 388     vlib_foreach_rx_tx (rx_or_tx)
 389       {
 390         if (s->sw_if_index[rx_or_tx] == ~0)
 391           s->sw_if_index[rx_or_tx] = pi->sw_if_index;
 392       }
 393   }
 394
 395   /* Connect the graph. */
 396   s->next_index = vlib_node_add_next (vm, pg_input_node.index, s->node_index);
 397 }
 398
 399 void pg_stream_del (pg_main_t * pg, uword index)
 400 {
 401   vlib_main_t * vm = pg->vlib_main;
 402   pg_stream_t * s;
 403   pg_buffer_index_t * bi;
 404
 405   s = pool_elt_at_index (pg->streams, index);
 406
 407   pg_stream_enable_disable (pg, s, /* want_enabled */ 0);
 408   vec_add1 (pg->free_interfaces, s->pg_if_index);
 409   hash_unset_mem (pg->stream_index_by_name, s->name);
 410
 411   vec_foreach (bi, s->buffer_indices)
 412     {
 413       vlib_buffer_delete_free_list (vm, bi->free_list_index);
 414       clib_fifo_free (bi->buffer_fifo);
 415     }
 416
 417   pg_stream_free (s);
 418   pool_put (pg->streams, s);
 419 }
 420