vnet/vnet/pg/stream.c

   1 /*
   2  * Copyright (c) 2015 Cisco and/or its affiliates.
   3  * Licensed under the Apache License, Version 2.0 (the "License");
   4  * you may not use this file except in compliance with the License.
   5  * You may obtain a copy of the License at:
   6  *
   7  *     http://www.apache.org/licenses/LICENSE-2.0
   8  *
   9  * Unless required by applicable law or agreed to in writing, software
  10  * distributed under the License is distributed on an "AS IS" BASIS,
  11  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  12  * See the License for the specific language governing permissions and
  13  * limitations under the License.
  14  */
  15 /*
  16  * pg_stream.c: packet generator streams
  17  *
  18  * Copyright (c) 2008 Eliot Dresselhaus
  19  *
  20  * Permission is hereby granted, free of charge, to any person obtaining
  21  * a copy of this software and associated documentation files (the
  22  * "Software"), to deal in the Software without restriction, including
  23  * without limitation the rights to use, copy, modify, merge, publish,
  24  * distribute, sublicense, and/or sell copies of the Software, and to
  25  * permit persons to whom the Software is furnished to do so, subject to
  26  * the following conditions:
  27  *
  28  * The above copyright notice and this permission notice shall be
  29  * included in all copies or substantial portions of the Software.
  30  *
  31  *  THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND,
  32  *  EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF
  33  *  MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND
  34  *  NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE
  35  *  LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION
  36  *  OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION
  37  *  WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.
  38  */
  39
  40 #include <vnet/vnet.h>
  41 #include <vnet/pg/pg.h>
  42 #include <vnet/ethernet/ethernet.h>
  43
  44 /* Mark stream active or inactive. */
  45 void pg_stream_enable_disable (pg_main_t * pg, pg_stream_t * s, int want_enabled)
  46 {
  47   vnet_main_t * vnm = vnet_get_main();
  48   pg_interface_t * pi = pool_elt_at_index (pg->interfaces, s->pg_if_index);
  49
  50   want_enabled = want_enabled != 0;
  51
  52   if (pg_stream_is_enabled (s) == want_enabled)
  53     /* No change necessary. */
  54     return;
  55
  56   if (want_enabled)
  57     s->n_packets_generated = 0;
  58
  59   /* Toggle enabled flag. */
  60   s->flags ^= PG_STREAM_FLAGS_IS_ENABLED;
  61
  62   ASSERT (! pool_is_free (pg->streams, s));
  63
  64   pg->enabled_streams
  65     = clib_bitmap_set (pg->enabled_streams, s - pg->streams, want_enabled);
  66
  67   if (want_enabled)
  68     {
  69       vnet_hw_interface_set_flags (vnm, pi->hw_if_index,
  70                                     VNET_HW_INTERFACE_FLAG_LINK_UP);
  71
  72       vnet_sw_interface_set_flags (vnm, pi->sw_if_index,
  73                                     VNET_SW_INTERFACE_FLAG_ADMIN_UP);
  74     }
  75
  76   vlib_node_set_state (pg->vlib_main,
  77                        pg_input_node.index,
  78                        (clib_bitmap_is_zero (pg->enabled_streams)
  79                         ? VLIB_NODE_STATE_DISABLED
  80                         : VLIB_NODE_STATE_POLLING));
  81
  82   s->packet_accumulator = 0;
  83   s->time_last_generate = 0;
  84 }
  85
  86 static u8 * format_pg_interface_name (u8 * s, va_list * args)
  87 {
  88   pg_main_t * pg = &pg_main;
  89   u32 if_index = va_arg (*args, u32);
  90   pg_interface_t * pi;
  91
  92   pi = pool_elt_at_index (pg->interfaces, if_index);
  93   s = format (s, "pg%d", pi->id);
  94
  95   return s;
  96 }
  97
  98 static clib_error_t *
  99 pg_interface_admin_up_down (vnet_main_t * vnm, u32 hw_if_index, u32 flags)
 100 {
 101   u32 hw_flags = 0;
 102
 103   if (flags & VNET_SW_INTERFACE_FLAG_ADMIN_UP)
 104     hw_flags = VNET_HW_INTERFACE_FLAG_LINK_UP;
 105
 106   vnet_hw_interface_set_flags(vnm, hw_if_index, hw_flags);
 107
 108   return 0;
 109 }
 110
 111 VNET_DEVICE_CLASS (pg_dev_class) = {
 112   .name = "pg",
 113   .tx_function = pg_output,
 114   .format_device_name = format_pg_interface_name,
 115   .admin_up_down_function = pg_interface_admin_up_down,
 116 };
 117
 118 static uword pg_set_rewrite (vnet_main_t * vnm,
 119                              u32 sw_if_index,
 120                              u32 l3_type,
 121                              void * dst_address,
 122                              void * rewrite,
 123                              uword max_rewrite_bytes)
 124 {
 125   u16 * h = rewrite;
 126
 127   if (max_rewrite_bytes < sizeof (h[0]))
 128     return 0;
 129
 130   h[0] = clib_host_to_net_u16 (l3_type);
 131   return sizeof (h[0]);
 132 }
 133
 134 VNET_HW_INTERFACE_CLASS (pg_interface_class,static) = {
 135   .name = "Packet generator",
 136   .set_rewrite = pg_set_rewrite,
 137 };
 138
 139 static u32
 140 pg_eth_flag_change (vnet_main_t * vnm, vnet_hw_interface_t * hi, u32 flags)
 141 {
 142   /* nothing for now */
 143   return 0;
 144 }
 145
 146 u32 pg_interface_add_or_get (pg_main_t * pg, uword if_id)
 147 {
 148   vnet_main_t * vnm = vnet_get_main();
 149   vlib_main_t * vm = vlib_get_main();
 150   pg_interface_t * pi;
 151   vnet_hw_interface_t * hi;
 152   uword *p;
 153   u32 i;
 154
 155   p = hash_get (pg->if_index_by_if_id, if_id);
 156
 157   if (p)
 158     {
 159       return p[0];
 160     }
 161   else
 162     {
 163       u8 hw_addr[6];
 164       f64 now = vlib_time_now(vm);
 165       u32 rnd;
 166
 167       pool_get (pg->interfaces, pi);
 168       i = pi - pg->interfaces;
 169
 170       rnd = (u32) (now * 1e6);
 171       rnd = random_u32 (&rnd);
 172       clib_memcpy (hw_addr+2, &rnd, sizeof(rnd));
 173       hw_addr[0] = 2;
 174       hw_addr[1] = 0xfe;
 175
 176       pi->id = if_id;
 177       ethernet_register_interface (vnm, pg_dev_class.index, i, hw_addr,
 178                                    &pi->hw_if_index, pg_eth_flag_change);
 179       hi = vnet_get_hw_interface (vnm, pi->hw_if_index);
 180       pi->sw_if_index = hi->sw_if_index;
 181
 182       hash_set (pg->if_index_by_if_id, if_id, i);
 183     }
 184
 185   return i;
 186 }
 187
 188 static void do_edit (pg_stream_t * stream,
 189                      pg_edit_group_t * g,
 190                      pg_edit_t * e,
 191                      uword want_commit)
 192 {
 193   u32 i, i0, i1, mask, n_bits_left;
 194   u8 * v, * s, * m;
 195
 196   i0 = e->lsb_bit_offset / BITS (u8);
 197
 198   /* Make space for edit in value and mask. */
 199   vec_validate (g->fixed_packet_data, i0);
 200   vec_validate (g->fixed_packet_data_mask, i0);
 201
 202   if (e->type != PG_EDIT_FIXED)
 203     {
 204       switch (e->type)
 205         {
 206         case PG_EDIT_RANDOM:
 207         case PG_EDIT_INCREMENT:
 208           e->last_increment_value = pg_edit_get_value (e, PG_EDIT_LO);
 209           break;
 210
 211         default:
 212           break;
 213         }
 214
 215       if (want_commit)
 216         {
 217           ASSERT(e->type != PG_EDIT_INVALID_TYPE);
 218           vec_add1 (g->non_fixed_edits, e[0]);
 219         }
 220       return;
 221     }
 222
 223   s = g->fixed_packet_data;
 224   m = g->fixed_packet_data_mask;
 225
 226   n_bits_left = e->n_bits;
 227   i0 = e->lsb_bit_offset / BITS (u8);
 228   i1 = e->lsb_bit_offset % BITS (u8);
 229
 230   v = e->values[PG_EDIT_LO];
 231   i = pg_edit_n_alloc_bytes (e) - 1;
 232
 233   /* Odd low order bits?. */
 234   if (i1 != 0 && n_bits_left > 0)
 235     {
 236       u32 n = clib_min (n_bits_left, BITS (u8) - i1);
 237
 238       mask = pow2_mask (n) << i1;
 239
 240       ASSERT (i0 < vec_len (s));
 241       ASSERT (i < vec_len (v));
 242       ASSERT ((v[i] &~ mask) == 0);
 243
 244       s[i0] |= v[i] & mask;
 245       m[i0] |= mask;
 246
 247       i0--;
 248       i--;
 249       n_bits_left -= n;
 250     }
 251
 252   /* Even bytes. */
 253   while (n_bits_left >= 8)
 254     {
 255       ASSERT (i0 < vec_len (s));
 256       ASSERT (i < vec_len (v));
 257
 258       s[i0] = v[i];
 259       m[i0] = ~0;
 260
 261       i0--;
 262       i--;
 263       n_bits_left -= 8;
 264     }
 265
 266   /* Odd high order bits. */
 267   if (n_bits_left > 0)
 268     {
 269       mask = pow2_mask (n_bits_left);
 270
 271       ASSERT (i0 < vec_len (s));
 272       ASSERT (i < vec_len (v));
 273       ASSERT ((v[i] &~ mask) == 0);
 274
 275       s[i0] |= v[i] & mask;
 276       m[i0] |= mask;
 277     }
 278
 279   if (want_commit)
 280     pg_edit_free (e);
 281 }
 282
 283 void pg_edit_group_get_fixed_packet_data (pg_stream_t * s,
 284                                           u32 group_index,
 285                                           void * packet_data,
 286                                           void * packet_data_mask)
 287 {
 288   pg_edit_group_t * g = pg_stream_get_group (s, group_index);
 289   pg_edit_t * e;
 290
 291   vec_foreach (e, g->edits)
 292     do_edit (s, g, e, /* want_commit */ 0);
 293
 294   clib_memcpy (packet_data, g->fixed_packet_data, vec_len (g->fixed_packet_data));
 295   clib_memcpy (packet_data_mask, g->fixed_packet_data_mask, vec_len (g->fixed_packet_data_mask));
 296 }
 297
 298 static void perform_fixed_edits (pg_stream_t * s)
 299 {
 300   pg_edit_group_t * g;
 301   pg_edit_t * e;
 302   word i;
 303
 304   for (i = vec_len (s->edit_groups) - 1; i >= 0; i--)
 305     {
 306       g = vec_elt_at_index (s->edit_groups, i);
 307       vec_foreach (e, g->edits)
 308         do_edit (s, g, e, /* want_commit */ 1);
 309
 310       /* All edits have either been performed or added to
 311          g->non_fixed_edits.  So, we can delete the vector. */
 312       vec_free (g->edits);
 313     }
 314
 315   vec_free (s->fixed_packet_data_mask);
 316   vec_free (s->fixed_packet_data);
 317   vec_foreach (g, s->edit_groups)
 318     {
 319       int i;
 320       g->start_byte_offset = vec_len (s->fixed_packet_data);
 321
 322       /* Relocate and copy non-fixed edits from group to stream. */
 323       vec_foreach (e, g->non_fixed_edits)
 324         e->lsb_bit_offset += g->start_byte_offset * BITS (u8);
 325
 326       for (i = 0; i < vec_len (g->non_fixed_edits); i++)
 327         ASSERT(g->non_fixed_edits[i].type != PG_EDIT_INVALID_TYPE);
 328
 329       vec_add (s->non_fixed_edits,
 330                g->non_fixed_edits,
 331                vec_len (g->non_fixed_edits));
 332       vec_free (g->non_fixed_edits);
 333
 334       vec_add (s->fixed_packet_data,
 335                g->fixed_packet_data,
 336                vec_len (g->fixed_packet_data));
 337       vec_add (s->fixed_packet_data_mask,
 338                g->fixed_packet_data_mask,
 339                vec_len (g->fixed_packet_data_mask));
 340     }
 341 }
 342
 343 void pg_stream_add (pg_main_t * pg, pg_stream_t * s_init)
 344 {
 345   vlib_main_t * vm = pg->vlib_main;
 346   pg_stream_t * s;
 347   uword * p;
 348
 349   if (! pg->stream_index_by_name)
 350     pg->stream_index_by_name
 351       = hash_create_vec (0, sizeof (s->name[0]), sizeof (uword));
 352
 353   /* Delete any old stream with the same name. */
 354   if (s_init->name
 355       && (p = hash_get_mem (pg->stream_index_by_name, s_init->name)))
 356     {
 357       pg_stream_del (pg, p[0]);
 358     }
 359
 360   pool_get (pg->streams, s);
 361   s[0] = s_init[0];
 362
 363   /* Give it a name. */
 364   if (! s->name)
 365     s->name = format (0, "stream%d", s - pg->streams);
 366   else
 367     s->name = vec_dup (s->name);
 368
 369   hash_set_mem (pg->stream_index_by_name, s->name, s - pg->streams);
 370
 371   /* Get fixed part of buffer data. */
 372   if (s->edit_groups)
 373     perform_fixed_edits (s);
 374
 375   /* Determine packet size. */
 376   switch (s->packet_size_edit_type)
 377     {
 378     case PG_EDIT_INCREMENT:
 379     case PG_EDIT_RANDOM:
 380       if (s->min_packet_bytes == s->max_packet_bytes)
 381         s->packet_size_edit_type = PG_EDIT_FIXED;
 382       break;
 383
 384     default:
 385       /* Get packet size from fixed edits. */
 386       s->packet_size_edit_type = PG_EDIT_FIXED;
 387       if (! s->replay_packet_templates)
 388         s->min_packet_bytes = s->max_packet_bytes = vec_len (s->fixed_packet_data);
 389       break;
 390     }
 391
 392   s->last_increment_packet_size = s->min_packet_bytes;
 393
 394   {
 395     pg_buffer_index_t * bi;
 396     int n;
 397
 398     if (! s->buffer_bytes)
 399       s->buffer_bytes = s->max_packet_bytes;
 400
 401     s->buffer_bytes = vlib_buffer_round_size (s->buffer_bytes);
 402
 403     n = s->max_packet_bytes / s->buffer_bytes;
 404     n += (s->max_packet_bytes % s->buffer_bytes) != 0;
 405
 406     vec_resize (s->buffer_indices, n);
 407
 408     vec_foreach (bi, s->buffer_indices)
 409       bi->free_list_index = vlib_buffer_create_free_list (vm, s->buffer_bytes,
 410                                                           "pg stream %d buffer #%d",
 411                                                           s - pg->streams,
 412                                                           1 + (bi - s->buffer_indices));
 413   }
 414
 415   /* Find an interface to use. */
 416   s->pg_if_index = pg_interface_add_or_get (pg, s->if_id);
 417
 418   {
 419     pg_interface_t * pi = pool_elt_at_index (pg->interfaces, s->pg_if_index);
 420     vlib_rx_or_tx_t rx_or_tx;
 421
 422     vlib_foreach_rx_tx (rx_or_tx)
 423       {
 424         if (s->sw_if_index[rx_or_tx] == ~0)
 425           s->sw_if_index[rx_or_tx] = pi->sw_if_index;
 426       }
 427   }
 428
 429   /* Connect the graph. */
 430   s->next_index = vlib_node_add_next (vm, pg_input_node.index, s->node_index);
 431 }
 432
 433 void pg_stream_del (pg_main_t * pg, uword index)
 434 {
 435   vlib_main_t * vm = pg->vlib_main;
 436   pg_stream_t * s;
 437   pg_buffer_index_t * bi;
 438
 439   s = pool_elt_at_index (pg->streams, index);
 440
 441   pg_stream_enable_disable (pg, s, /* want_enabled */ 0);
 442   hash_unset_mem (pg->stream_index_by_name, s->name);
 443
 444   vec_foreach (bi, s->buffer_indices)
 445     {
 446       vlib_buffer_delete_free_list (vm, bi->free_list_index);
 447       clib_fifo_free (bi->buffer_fifo);
 448     }
 449
 450   pg_stream_free (s);
 451   pool_put (pg->streams, s);
 452 }
 453