vnet/vnet/pg/stream.c

   1 /*
   2  * Copyright (c) 2015 Cisco and/or its affiliates.
   3  * Licensed under the Apache License, Version 2.0 (the "License");
   4  * you may not use this file except in compliance with the License.
   5  * You may obtain a copy of the License at:
   6  *
   7  *     http://www.apache.org/licenses/LICENSE-2.0
   8  *
   9  * Unless required by applicable law or agreed to in writing, software
  10  * distributed under the License is distributed on an "AS IS" BASIS,
  11  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  12  * See the License for the specific language governing permissions and
  13  * limitations under the License.
  14  */
  15 /*
  16  * pg_stream.c: packet generator streams
  17  *
  18  * Copyright (c) 2008 Eliot Dresselhaus
  19  *
  20  * Permission is hereby granted, free of charge, to any person obtaining
  21  * a copy of this software and associated documentation files (the
  22  * "Software"), to deal in the Software without restriction, including
  23  * without limitation the rights to use, copy, modify, merge, publish,
  24  * distribute, sublicense, and/or sell copies of the Software, and to
  25  * permit persons to whom the Software is furnished to do so, subject to
  26  * the following conditions:
  27  *
  28  * The above copyright notice and this permission notice shall be
  29  * included in all copies or substantial portions of the Software.
  30  *
  31  *  THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND,
  32  *  EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF
  33  *  MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND
  34  *  NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE
  35  *  LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION
  36  *  OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION
  37  *  WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.
  38  */
  39
  40 #include <vnet/vnet.h>
  41 #include <vnet/pg/pg.h>
  42 #include <vnet/ethernet/ethernet.h>
  43 #include <vnet/ip/ip.h>
  44 #include <vnet/mpls/mpls.h>
  45 #include <vnet/devices/devices.h>
  46
  47 /* Mark stream active or inactive. */
  48 void
  49 pg_stream_enable_disable (pg_main_t * pg, pg_stream_t * s, int want_enabled)
  50 {
  51   vlib_main_t *vm;
  52   vnet_main_t *vnm = vnet_get_main ();
  53   pg_interface_t *pi = pool_elt_at_index (pg->interfaces, s->pg_if_index);
  54
  55   want_enabled = want_enabled != 0;
  56
  57   if (pg_stream_is_enabled (s) == want_enabled)
  58     /* No change necessary. */
  59     return;
  60
  61   if (want_enabled)
  62     s->n_packets_generated = 0;
  63
  64   /* Toggle enabled flag. */
  65   s->flags ^= PG_STREAM_FLAGS_IS_ENABLED;
  66
  67   ASSERT (!pool_is_free (pg->streams, s));
  68
  69   vec_validate (pg->enabled_streams, s->worker_index);
  70   pg->enabled_streams[s->worker_index] =
  71     clib_bitmap_set (pg->enabled_streams[s->worker_index], s - pg->streams,
  72                      want_enabled);
  73
  74   if (want_enabled)
  75     {
  76       vnet_hw_interface_set_flags (vnm, pi->hw_if_index,
  77                                    VNET_HW_INTERFACE_FLAG_LINK_UP);
  78
  79       vnet_sw_interface_set_flags (vnm, pi->sw_if_index,
  80                                    VNET_SW_INTERFACE_FLAG_ADMIN_UP);
  81     }
  82
  83   if (vlib_num_workers ())
  84     vm = vlib_get_worker_vlib_main (s->worker_index);
  85   else
  86     vm = vlib_get_main ();
  87
  88   vlib_node_set_state (vm, pg_input_node.index,
  89                        (clib_bitmap_is_zero
  90                         (pg->enabled_streams[s->worker_index]) ?
  91                         VLIB_NODE_STATE_DISABLED : VLIB_NODE_STATE_POLLING));
  92
  93   s->packet_accumulator = 0;
  94   s->time_last_generate = 0;
  95 }
  96
  97 static u8 *
  98 format_pg_interface_name (u8 * s, va_list * args)
  99 {
 100   pg_main_t *pg = &pg_main;
 101   u32 if_index = va_arg (*args, u32);
 102   pg_interface_t *pi;
 103
 104   pi = pool_elt_at_index (pg->interfaces, if_index);
 105   s = format (s, "pg%d", pi->id);
 106
 107   return s;
 108 }
 109
 110 static clib_error_t *
 111 pg_interface_admin_up_down (vnet_main_t * vnm, u32 hw_if_index, u32 flags)
 112 {
 113   u32 hw_flags = 0;
 114
 115   if (flags & VNET_SW_INTERFACE_FLAG_ADMIN_UP)
 116     hw_flags = VNET_HW_INTERFACE_FLAG_LINK_UP;
 117
 118   vnet_hw_interface_set_flags (vnm, hw_if_index, hw_flags);
 119
 120   return 0;
 121 }
 122
 123 /* *INDENT-OFF* */
 124 VNET_DEVICE_CLASS (pg_dev_class) = {
 125   .name = "pg",
 126   .tx_function = pg_output,
 127   .format_device_name = format_pg_interface_name,
 128   .admin_up_down_function = pg_interface_admin_up_down,
 129 };
 130 /* *INDENT-ON* */
 131
 132 static u8 *
 133 pg_build_rewrite (vnet_main_t * vnm,
 134                   u32 sw_if_index,
 135                   vnet_link_t link_type, const void *dst_address)
 136 {
 137   u8 *rewrite = NULL;
 138   u16 *h;
 139
 140   vec_validate (rewrite, sizeof (*h) - 1);
 141   h = (u16 *) rewrite;
 142   h[0] = clib_host_to_net_u16 (vnet_link_to_l3_proto (link_type));
 143
 144   return (rewrite);
 145 }
 146
 147 /* *INDENT-OFF* */
 148 VNET_HW_INTERFACE_CLASS (pg_interface_class,static) = {
 149   .name = "Packet generator",
 150   .build_rewrite = pg_build_rewrite,
 151 };
 152 /* *INDENT-ON* */
 153
 154 static u32
 155 pg_eth_flag_change (vnet_main_t * vnm, vnet_hw_interface_t * hi, u32 flags)
 156 {
 157   /* nothing for now */
 158   return 0;
 159 }
 160
 161 u32
 162 pg_interface_add_or_get (pg_main_t * pg, uword if_id)
 163 {
 164   vnet_main_t *vnm = vnet_get_main ();
 165   vlib_main_t *vm = vlib_get_main ();
 166   pg_interface_t *pi;
 167   vnet_hw_interface_t *hi;
 168   uword *p;
 169   u32 i;
 170
 171   p = hash_get (pg->if_index_by_if_id, if_id);
 172
 173   if (p)
 174     {
 175       return p[0];
 176     }
 177   else
 178     {
 179       u8 hw_addr[6];
 180       f64 now = vlib_time_now (vm);
 181       u32 rnd;
 182
 183       pool_get (pg->interfaces, pi);
 184       i = pi - pg->interfaces;
 185
 186       rnd = (u32) (now * 1e6);
 187       rnd = random_u32 (&rnd);
 188       clib_memcpy (hw_addr + 2, &rnd, sizeof (rnd));
 189       hw_addr[0] = 2;
 190       hw_addr[1] = 0xfe;
 191
 192       pi->id = if_id;
 193       ethernet_register_interface (vnm, pg_dev_class.index, i, hw_addr,
 194                                    &pi->hw_if_index, pg_eth_flag_change);
 195       hi = vnet_get_hw_interface (vnm, pi->hw_if_index);
 196       pi->sw_if_index = hi->sw_if_index;
 197
 198       hash_set (pg->if_index_by_if_id, if_id, i);
 199
 200       if (vlib_num_workers ())
 201         {
 202           pi->lockp = clib_mem_alloc_aligned (CLIB_CACHE_LINE_BYTES,
 203                                               CLIB_CACHE_LINE_BYTES);
 204           *pi->lockp = 0;
 205         }
 206
 207       ip4_sw_interface_enable_disable (pi->hw_if_index, 1);
 208       ip6_sw_interface_enable_disable (pi->hw_if_index, 1);
 209       mpls_sw_interface_enable_disable (&mpls_main, pi->hw_if_index, 1);
 210     }
 211
 212   return i;
 213 }
 214
 215 static void
 216 do_edit (pg_stream_t * stream,
 217          pg_edit_group_t * g, pg_edit_t * e, uword want_commit)
 218 {
 219   u32 i, i0, i1, mask, n_bits_left;
 220   u8 *v, *s, *m;
 221
 222   i0 = e->lsb_bit_offset / BITS (u8);
 223
 224   /* Make space for edit in value and mask. */
 225   vec_validate (g->fixed_packet_data, i0);
 226   vec_validate (g->fixed_packet_data_mask, i0);
 227
 228   if (e->type != PG_EDIT_FIXED)
 229     {
 230       switch (e->type)
 231         {
 232         case PG_EDIT_RANDOM:
 233         case PG_EDIT_INCREMENT:
 234           e->last_increment_value = pg_edit_get_value (e, PG_EDIT_LO);
 235           break;
 236
 237         default:
 238           break;
 239         }
 240
 241       if (want_commit)
 242         {
 243           ASSERT (e->type != PG_EDIT_INVALID_TYPE);
 244           vec_add1 (g->non_fixed_edits, e[0]);
 245         }
 246       return;
 247     }
 248
 249   s = g->fixed_packet_data;
 250   m = g->fixed_packet_data_mask;
 251
 252   n_bits_left = e->n_bits;
 253   i0 = e->lsb_bit_offset / BITS (u8);
 254   i1 = e->lsb_bit_offset % BITS (u8);
 255
 256   v = e->values[PG_EDIT_LO];
 257   i = pg_edit_n_alloc_bytes (e) - 1;
 258
 259   /* Odd low order bits?. */
 260   if (i1 != 0 && n_bits_left > 0)
 261     {
 262       u32 n = clib_min (n_bits_left, BITS (u8) - i1);
 263
 264       mask = pow2_mask (n) << i1;
 265
 266       ASSERT (i0 < vec_len (s));
 267       ASSERT (i < vec_len (v));
 268       ASSERT ((v[i] & ~mask) == 0);
 269
 270       s[i0] |= v[i] & mask;
 271       m[i0] |= mask;
 272
 273       i0--;
 274       i--;
 275       n_bits_left -= n;
 276     }
 277
 278   /* Even bytes. */
 279   while (n_bits_left >= 8)
 280     {
 281       ASSERT (i0 < vec_len (s));
 282       ASSERT (i < vec_len (v));
 283
 284       s[i0] = v[i];
 285       m[i0] = ~0;
 286
 287       i0--;
 288       i--;
 289       n_bits_left -= 8;
 290     }
 291
 292   /* Odd high order bits. */
 293   if (n_bits_left > 0)
 294     {
 295       mask = pow2_mask (n_bits_left);
 296
 297       ASSERT (i0 < vec_len (s));
 298       ASSERT (i < vec_len (v));
 299       ASSERT ((v[i] & ~mask) == 0);
 300
 301       s[i0] |= v[i] & mask;
 302       m[i0] |= mask;
 303     }
 304
 305   if (want_commit)
 306     pg_edit_free (e);
 307 }
 308
 309 void
 310 pg_edit_group_get_fixed_packet_data (pg_stream_t * s,
 311                                      u32 group_index,
 312                                      void *packet_data,
 313                                      void *packet_data_mask)
 314 {
 315   pg_edit_group_t *g = pg_stream_get_group (s, group_index);
 316   pg_edit_t *e;
 317
 318   vec_foreach (e, g->edits) do_edit (s, g, e, /* want_commit */ 0);
 319
 320   clib_memcpy (packet_data, g->fixed_packet_data,
 321                vec_len (g->fixed_packet_data));
 322   clib_memcpy (packet_data_mask, g->fixed_packet_data_mask,
 323                vec_len (g->fixed_packet_data_mask));
 324 }
 325
 326 static void
 327 perform_fixed_edits (pg_stream_t * s)
 328 {
 329   pg_edit_group_t *g;
 330   pg_edit_t *e;
 331   word i;
 332
 333   for (i = vec_len (s->edit_groups) - 1; i >= 0; i--)
 334     {
 335       g = vec_elt_at_index (s->edit_groups, i);
 336       vec_foreach (e, g->edits) do_edit (s, g, e, /* want_commit */ 1);
 337
 338       /* All edits have either been performed or added to
 339          g->non_fixed_edits.  So, we can delete the vector. */
 340       vec_free (g->edits);
 341     }
 342
 343   vec_free (s->fixed_packet_data_mask);
 344   vec_free (s->fixed_packet_data);
 345   vec_foreach (g, s->edit_groups)
 346   {
 347     int i;
 348     g->start_byte_offset = vec_len (s->fixed_packet_data);
 349
 350     /* Relocate and copy non-fixed edits from group to stream. */
 351     vec_foreach (e, g->non_fixed_edits)
 352       e->lsb_bit_offset += g->start_byte_offset * BITS (u8);
 353
 354     for (i = 0; i < vec_len (g->non_fixed_edits); i++)
 355       ASSERT (g->non_fixed_edits[i].type != PG_EDIT_INVALID_TYPE);
 356
 357     vec_add (s->non_fixed_edits,
 358              g->non_fixed_edits, vec_len (g->non_fixed_edits));
 359     vec_free (g->non_fixed_edits);
 360
 361     vec_add (s->fixed_packet_data,
 362              g->fixed_packet_data, vec_len (g->fixed_packet_data));
 363     vec_add (s->fixed_packet_data_mask,
 364              g->fixed_packet_data_mask, vec_len (g->fixed_packet_data_mask));
 365   }
 366 }
 367
 368 void
 369 pg_stream_add (pg_main_t * pg, pg_stream_t * s_init)
 370 {
 371   vlib_main_t *vm = vlib_get_main ();
 372   pg_stream_t *s;
 373   uword *p;
 374
 375   if (!pg->stream_index_by_name)
 376     pg->stream_index_by_name
 377       = hash_create_vec (0, sizeof (s->name[0]), sizeof (uword));
 378
 379   /* Delete any old stream with the same name. */
 380   if (s_init->name
 381       && (p = hash_get_mem (pg->stream_index_by_name, s_init->name)))
 382     {
 383       pg_stream_del (pg, p[0]);
 384     }
 385
 386   pool_get (pg->streams, s);
 387   s[0] = s_init[0];
 388
 389   /* Give it a name. */
 390   if (!s->name)
 391     s->name = format (0, "stream%d", s - pg->streams);
 392   else
 393     s->name = vec_dup (s->name);
 394
 395   hash_set_mem (pg->stream_index_by_name, s->name, s - pg->streams);
 396
 397   /* Get fixed part of buffer data. */
 398   if (s->edit_groups)
 399     perform_fixed_edits (s);
 400
 401   /* Determine packet size. */
 402   switch (s->packet_size_edit_type)
 403     {
 404     case PG_EDIT_INCREMENT:
 405     case PG_EDIT_RANDOM:
 406       if (s->min_packet_bytes == s->max_packet_bytes)
 407         s->packet_size_edit_type = PG_EDIT_FIXED;
 408       break;
 409
 410     default:
 411       /* Get packet size from fixed edits. */
 412       s->packet_size_edit_type = PG_EDIT_FIXED;
 413       if (!s->replay_packet_templates)
 414         s->min_packet_bytes = s->max_packet_bytes =
 415           vec_len (s->fixed_packet_data);
 416       break;
 417     }
 418
 419   s->last_increment_packet_size = s->min_packet_bytes;
 420
 421   {
 422     pg_buffer_index_t *bi;
 423     int n;
 424
 425 #if DPDK > 0
 426     s->buffer_bytes = VLIB_BUFFER_DATA_SIZE;
 427 #endif
 428
 429     if (!s->buffer_bytes)
 430       s->buffer_bytes = s->max_packet_bytes;
 431
 432     s->buffer_bytes = vlib_buffer_round_size (s->buffer_bytes);
 433
 434     n = s->max_packet_bytes / s->buffer_bytes;
 435     n += (s->max_packet_bytes % s->buffer_bytes) != 0;
 436
 437     vec_resize (s->buffer_indices, n);
 438
 439     vec_foreach (bi, s->buffer_indices)
 440     {
 441       bi->free_list_index =
 442         vlib_buffer_create_free_list (vm, s->buffer_bytes,
 443                                       "pg stream %d buffer #%d",
 444                                       s - pg->streams,
 445                                       1 + (bi - s->buffer_indices));
 446     }
 447   }
 448
 449   /* Find an interface to use. */
 450   s->pg_if_index = pg_interface_add_or_get (pg, s->if_id);
 451
 452   {
 453     pg_interface_t *pi = pool_elt_at_index (pg->interfaces, s->pg_if_index);
 454     vlib_rx_or_tx_t rx_or_tx;
 455
 456     vlib_foreach_rx_tx (rx_or_tx)
 457     {
 458       if (s->sw_if_index[rx_or_tx] == ~0)
 459         s->sw_if_index[rx_or_tx] = pi->sw_if_index;
 460     }
 461   }
 462
 463   /* Connect the graph. */
 464   s->next_index = vlib_node_add_next (vm, device_input_node.index,
 465                                       s->node_index);
 466 }
 467
 468 void
 469 pg_stream_del (pg_main_t * pg, uword index)
 470 {
 471   vlib_main_t *vm = vlib_get_main ();
 472   pg_stream_t *s;
 473   pg_buffer_index_t *bi;
 474
 475   s = pool_elt_at_index (pg->streams, index);
 476
 477   pg_stream_enable_disable (pg, s, /* want_enabled */ 0);
 478   hash_unset_mem (pg->stream_index_by_name, s->name);
 479
 480   vec_foreach (bi, s->buffer_indices)
 481   {
 482     vlib_buffer_delete_free_list (vm, bi->free_list_index);
 483     clib_fifo_free (bi->buffer_fifo);
 484   }
 485
 486   pg_stream_free (s);
 487   pool_put (pg->streams, s);
 488 }
 489
 490
 491 /*
 492  * fd.io coding-style-patch-verification: ON
 493  *
 494  * Local Variables:
 495  * eval: (c-set-style "gnu")
 496  * End:
 497  */