src/vnet/ipfix-export/flow_report.c

   1 /*
   2  * Copyright (c) 2015 Cisco and/or its affiliates.
   3  * Licensed under the Apache License, Version 2.0 (the "License");
   4  * you may not use this file except in compliance with the License.
   5  * You may obtain a copy of the License at:
   6  *
   7  *     http://www.apache.org/licenses/LICENSE-2.0
   8  *
   9  * Unless required by applicable law or agreed to in writing, software
  10  * distributed under the License is distributed on an "AS IS" BASIS,
  11  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  12  * See the License for the specific language governing permissions and
  13  * limitations under the License.
  14  */
  15 /*
  16  * flow_report.c
  17  */
  18 #include <vnet/ipfix-export/flow_report.h>
  19 #include <vnet/api_errno.h>
  20 #include <vnet/udp/udp.h>
  21
  22 flow_report_main_t flow_report_main;
  23
  24 static_always_inline u8
  25 stream_index_valid (u32 index)
  26 {
  27   flow_report_main_t *frm = &flow_report_main;
  28   return index < vec_len (frm->streams) &&
  29     frm->streams[index].domain_id != ~0;
  30 }
  31
  32 static_always_inline flow_report_stream_t *
  33 add_stream (void)
  34 {
  35   flow_report_main_t *frm = &flow_report_main;
  36   u32 i;
  37   for (i = 0; i < vec_len (frm->streams); i++)
  38     if (!stream_index_valid (i))
  39       return &frm->streams[i];
  40   u32 index = vec_len (frm->streams);
  41   vec_validate (frm->streams, index);
  42   return &frm->streams[index];
  43 }
  44
  45 static_always_inline void
  46 delete_stream (u32 index)
  47 {
  48   flow_report_main_t *frm = &flow_report_main;
  49   ASSERT (index < vec_len (frm->streams));
  50   ASSERT (frm->streams[index].domain_id != ~0);
  51   frm->streams[index].domain_id = ~0;
  52 }
  53
  54 static i32
  55 find_stream (u32 domain_id, u16 src_port)
  56 {
  57   flow_report_main_t *frm = &flow_report_main;
  58   flow_report_stream_t *stream;
  59   u32 i;
  60   for (i = 0; i < vec_len (frm->streams); i++)
  61     if (stream_index_valid (i))
  62       {
  63         stream = &frm->streams[i];
  64         if (domain_id == stream->domain_id)
  65           {
  66             if (src_port != stream->src_port)
  67               return -2;
  68             return i;
  69           }
  70         else if (src_port == stream->src_port)
  71           {
  72             return -2;
  73           }
  74       }
  75   return -1;
  76 }
  77
  78 int
  79 send_template_packet (flow_report_main_t * frm,
  80                       flow_report_t * fr, u32 * buffer_indexp)
  81 {
  82   u32 bi0;
  83   vlib_buffer_t *b0;
  84   ip4_ipfix_template_packet_t *tp;
  85   ipfix_message_header_t *h;
  86   ip4_header_t *ip;
  87   udp_header_t *udp;
  88   vlib_main_t *vm = frm->vlib_main;
  89   flow_report_stream_t *stream;
  90
  91   ASSERT (buffer_indexp);
  92
  93   if (fr->update_rewrite || fr->rewrite == 0)
  94     {
  95       if (frm->ipfix_collector.as_u32 == 0 || frm->src_address.as_u32 == 0)
  96         {
  97           vlib_node_set_state (frm->vlib_main, flow_report_process_node.index,
  98                                VLIB_NODE_STATE_DISABLED);
  99           return -1;
 100         }
 101       vec_free (fr->rewrite);
 102       fr->update_rewrite = 1;
 103     }
 104
 105   if (fr->update_rewrite)
 106     {
 107       fr->rewrite = fr->rewrite_callback (frm, fr,
 108                                           &frm->ipfix_collector,
 109                                           &frm->src_address,
 110                                           frm->collector_port,
 111                                           fr->report_elements,
 112                                           fr->n_report_elements,
 113                                           fr->stream_indexp);
 114       fr->update_rewrite = 0;
 115     }
 116
 117   if (vlib_buffer_alloc (vm, &bi0, 1) != 1)
 118     return -1;
 119
 120   b0 = vlib_get_buffer (vm, bi0);
 121
 122   ASSERT (vec_len (fr->rewrite) < vlib_buffer_get_default_data_size (vm));
 123
 124   clib_memcpy_fast (b0->data, fr->rewrite, vec_len (fr->rewrite));
 125   b0->current_data = 0;
 126   b0->current_length = vec_len (fr->rewrite);
 127   b0->flags |= (VLIB_BUFFER_TOTAL_LENGTH_VALID | VNET_BUFFER_F_FLOW_REPORT);
 128   vnet_buffer (b0)->sw_if_index[VLIB_RX] = 0;
 129   vnet_buffer (b0)->sw_if_index[VLIB_TX] = frm->fib_index;
 130
 131   tp = vlib_buffer_get_current (b0);
 132   ip = (ip4_header_t *) & tp->ip4;
 133   udp = (udp_header_t *) (ip + 1);
 134   h = (ipfix_message_header_t *) (udp + 1);
 135
 136   /* FIXUP: message header export_time */
 137   h->export_time = (u32)
 138     (((f64) frm->unix_time_0) +
 139      (vlib_time_now (frm->vlib_main) - frm->vlib_time_0));
 140   h->export_time = clib_host_to_net_u32 (h->export_time);
 141
 142   stream = &frm->streams[fr->stream_index];
 143
 144   /* FIXUP: message header sequence_number. Templates do not increase it */
 145   h->sequence_number = clib_host_to_net_u32 (stream->sequence_number);
 146
 147   /* FIXUP: udp length */
 148   udp->length = clib_host_to_net_u16 (b0->current_length - sizeof (*ip));
 149
 150   if (frm->udp_checksum)
 151     {
 152       /* RFC 7011 section 10.3.2. */
 153       udp->checksum = ip4_tcp_udp_compute_checksum (vm, b0, ip);
 154       if (udp->checksum == 0)
 155         udp->checksum = 0xffff;
 156     }
 157
 158   *buffer_indexp = bi0;
 159
 160   fr->last_template_sent = vlib_time_now (vm);
 161
 162   return 0;
 163 }
 164
 165 u8 *
 166 vnet_flow_rewrite_generic_callback (flow_report_main_t * frm,
 167                                     flow_report_t * fr,
 168                                     ip4_address_t * collector_address,
 169                                     ip4_address_t * src_address,
 170                                     u16 collector_port,
 171                                     ipfix_report_element_t * report_elts,
 172                                     u32 n_elts, u32 * stream_indexp)
 173 {
 174   ip4_header_t *ip;
 175   udp_header_t *udp;
 176   ipfix_message_header_t *h;
 177   ipfix_set_header_t *s;
 178   ipfix_template_header_t *t;
 179   ipfix_field_specifier_t *f;
 180   ipfix_field_specifier_t *first_field;
 181   u8 *rewrite = 0;
 182   ip4_ipfix_template_packet_t *tp;
 183   flow_report_stream_t *stream;
 184   int i;
 185   ipfix_report_element_t *ep;
 186
 187   ASSERT (stream_indexp);
 188   ASSERT (n_elts);
 189   ASSERT (report_elts);
 190
 191   stream = &frm->streams[fr->stream_index];
 192   *stream_indexp = fr->stream_index;
 193
 194   /* allocate rewrite space */
 195   vec_validate_aligned (rewrite,
 196                         sizeof (ip4_ipfix_template_packet_t)
 197                         + n_elts * sizeof (ipfix_field_specifier_t) - 1,
 198                         CLIB_CACHE_LINE_BYTES);
 199
 200   /* create the packet rewrite string */
 201   tp = (ip4_ipfix_template_packet_t *) rewrite;
 202   ip = (ip4_header_t *) & tp->ip4;
 203   udp = (udp_header_t *) (ip + 1);
 204   h = (ipfix_message_header_t *) (udp + 1);
 205   s = (ipfix_set_header_t *) (h + 1);
 206   t = (ipfix_template_header_t *) (s + 1);
 207   first_field = f = (ipfix_field_specifier_t *) (t + 1);
 208
 209   ip->ip_version_and_header_length = 0x45;
 210   ip->ttl = 254;
 211   ip->protocol = IP_PROTOCOL_UDP;
 212   ip->src_address.as_u32 = src_address->as_u32;
 213   ip->dst_address.as_u32 = collector_address->as_u32;
 214   udp->src_port = clib_host_to_net_u16 (stream->src_port);
 215   udp->dst_port = clib_host_to_net_u16 (collector_port);
 216   udp->length = clib_host_to_net_u16 (vec_len (rewrite) - sizeof (*ip));
 217
 218   /* FIXUP LATER: message header export_time */
 219   h->domain_id = clib_host_to_net_u32 (stream->domain_id);
 220
 221   ep = report_elts;
 222
 223   for (i = 0; i < n_elts; i++)
 224     {
 225       f->e_id_length = ipfix_e_id_length (0, ep->info_element, ep->size);
 226       f++;
 227       ep++;
 228     }
 229
 230   /* Back to the template packet... */
 231   ip = (ip4_header_t *) & tp->ip4;
 232   udp = (udp_header_t *) (ip + 1);
 233
 234   ASSERT (f - first_field);
 235   /* Field count in this template */
 236   t->id_count = ipfix_id_count (fr->template_id, f - first_field);
 237
 238   /* set length in octets */
 239   s->set_id_length =
 240     ipfix_set_id_length (2 /* set_id */ , (u8 *) f - (u8 *) s);
 241
 242   /* message length in octets */
 243   h->version_length = version_length ((u8 *) f - (u8 *) h);
 244
 245   ip->length = clib_host_to_net_u16 ((u8 *) f - (u8 *) ip);
 246   ip->checksum = ip4_header_checksum (ip);
 247
 248   return rewrite;
 249 }
 250
 251 static uword
 252 flow_report_process (vlib_main_t * vm,
 253                      vlib_node_runtime_t * rt, vlib_frame_t * f)
 254 {
 255   flow_report_main_t *frm = &flow_report_main;
 256   flow_report_t *fr;
 257   u32 ip4_lookup_node_index;
 258   vlib_node_t *ip4_lookup_node;
 259   vlib_frame_t *nf = 0;
 260   u32 template_bi;
 261   u32 *to_next;
 262   int send_template;
 263   f64 now, wait_time;
 264   f64 def_wait_time = 5.0;
 265   int rv;
 266   uword event_type;
 267   uword *event_data = 0;
 268
 269   /* Wait for Godot... */
 270   vlib_process_wait_for_event_or_clock (vm, 1e9);
 271   event_type = vlib_process_get_events (vm, &event_data);
 272   if (event_type != 1)
 273     clib_warning ("bogus kickoff event received, %d", event_type);
 274   vec_reset_length (event_data);
 275
 276   /* Enqueue pkts to ip4-lookup */
 277   ip4_lookup_node = vlib_get_node_by_name (vm, (u8 *) "ip4-lookup");
 278   ip4_lookup_node_index = ip4_lookup_node->index;
 279
 280   wait_time = def_wait_time;
 281
 282   while (1)
 283     {
 284       vlib_process_wait_for_event_or_clock (vm, wait_time);
 285       event_type = vlib_process_get_events (vm, &event_data);
 286       vec_reset_length (event_data);
 287
 288       /* 5s delay by default, possibly reduced by template intervals */
 289       wait_time = def_wait_time;
 290
 291       vec_foreach (fr, frm->reports)
 292       {
 293         f64 next_template;
 294         now = vlib_time_now (vm);
 295
 296         /* Need to send a template packet? */
 297         send_template =
 298           now > (fr->last_template_sent + frm->template_interval);
 299         send_template += fr->last_template_sent == 0;
 300         template_bi = ~0;
 301         rv = 0;
 302
 303         if (send_template)
 304           rv = send_template_packet (frm, fr, &template_bi);
 305
 306         if (rv < 0)
 307           continue;
 308
 309         /* decide if template should be sent sooner than current wait time */
 310         next_template =
 311           (fr->last_template_sent + frm->template_interval) - now;
 312         wait_time = clib_min (wait_time, next_template);
 313
 314         nf = vlib_get_frame_to_node (vm, ip4_lookup_node_index);
 315         nf->n_vectors = 0;
 316         to_next = vlib_frame_vector_args (nf);
 317
 318         if (template_bi != ~0)
 319           {
 320             to_next[0] = template_bi;
 321             to_next++;
 322             nf->n_vectors++;
 323           }
 324
 325         nf = fr->flow_data_callback (frm, fr,
 326                                      nf, to_next, ip4_lookup_node_index);
 327         if (nf)
 328           vlib_put_frame_to_node (vm, ip4_lookup_node_index, nf);
 329       }
 330     }
 331
 332   return 0;                     /* not so much */
 333 }
 334
 335 /* *INDENT-OFF* */
 336 VLIB_REGISTER_NODE (flow_report_process_node) = {
 337     .function = flow_report_process,
 338     .type = VLIB_NODE_TYPE_PROCESS,
 339     .name = "flow-report-process",
 340 };
 341 /* *INDENT-ON* */
 342
 343 int
 344 vnet_flow_report_add_del (flow_report_main_t * frm,
 345                           vnet_flow_report_add_del_args_t * a,
 346                           u16 * template_id)
 347 {
 348   int i;
 349   int found_index = ~0;
 350   flow_report_t *fr;
 351   flow_report_stream_t *stream;
 352   u32 si;
 353
 354   si = find_stream (a->domain_id, a->src_port);
 355   if (si == -2)
 356     return VNET_API_ERROR_INVALID_VALUE;
 357   if (si == -1 && a->is_add == 0)
 358     return VNET_API_ERROR_NO_SUCH_ENTRY;
 359
 360   for (i = 0; i < vec_len (frm->reports); i++)
 361     {
 362       fr = vec_elt_at_index (frm->reports, i);
 363       if (fr->opaque.as_uword == a->opaque.as_uword
 364           && fr->rewrite_callback == a->rewrite_callback
 365           && fr->flow_data_callback == a->flow_data_callback)
 366         {
 367           found_index = i;
 368           if (template_id)
 369             *template_id = fr->template_id;
 370           break;
 371         }
 372     }
 373
 374   if (a->is_add == 0)
 375     {
 376       if (found_index != ~0)
 377         {
 378           vec_delete (frm->reports, 1, found_index);
 379           stream = &frm->streams[si];
 380           stream->n_reports--;
 381           if (stream->n_reports == 0)
 382             delete_stream (si);
 383           return 0;
 384         }
 385       return VNET_API_ERROR_NO_SUCH_ENTRY;
 386     }
 387
 388   if (found_index != ~0)
 389     return VNET_API_ERROR_VALUE_EXIST;
 390
 391   if (si == -1)
 392     {
 393       stream = add_stream ();
 394       stream->domain_id = a->domain_id;
 395       stream->src_port = a->src_port;
 396       stream->sequence_number = 0;
 397       stream->n_reports = 0;
 398       si = stream - frm->streams;
 399     }
 400   else
 401     stream = &frm->streams[si];
 402
 403   stream->n_reports++;
 404
 405   vec_add2 (frm->reports, fr, 1);
 406
 407   fr->stream_index = si;
 408   fr->template_id = 256 + stream->next_template_no;
 409   stream->next_template_no = (stream->next_template_no + 1) % (65536 - 256);
 410   fr->update_rewrite = 1;
 411   fr->opaque = a->opaque;
 412   fr->rewrite_callback = a->rewrite_callback;
 413   fr->flow_data_callback = a->flow_data_callback;
 414   fr->report_elements = a->report_elements;
 415   fr->n_report_elements = a->n_report_elements;
 416   fr->stream_indexp = a->stream_indexp;
 417   if (template_id)
 418     *template_id = fr->template_id;
 419
 420   return 0;
 421 }
 422
 423 clib_error_t *
 424 flow_report_add_del_error_to_clib_error (int error)
 425 {
 426   switch (error)
 427     {
 428     case 0:
 429       return 0;
 430     case VNET_API_ERROR_NO_SUCH_ENTRY:
 431       return clib_error_return (0, "Flow report not found");
 432     case VNET_API_ERROR_VALUE_EXIST:
 433       return clib_error_return (0, "Flow report already exists");
 434     case VNET_API_ERROR_INVALID_VALUE:
 435       return clib_error_return (0, "Expecting either still unused values "
 436                                 "for both domain_id and src_port "
 437                                 "or already used values for both fields");
 438     default:
 439       return clib_error_return (0, "vnet_flow_report_add_del returned %d",
 440                                 error);
 441     }
 442 }
 443
 444 void
 445 vnet_flow_reports_reset (flow_report_main_t * frm)
 446 {
 447   flow_report_t *fr;
 448   u32 i;
 449
 450   for (i = 0; i < vec_len (frm->streams); i++)
 451     if (stream_index_valid (i))
 452       frm->streams[i].sequence_number = 0;
 453
 454   vec_foreach (fr, frm->reports)
 455   {
 456     fr->update_rewrite = 1;
 457     fr->last_template_sent = 0;
 458   }
 459 }
 460
 461 void
 462 vnet_stream_reset (flow_report_main_t * frm, u32 stream_index)
 463 {
 464   flow_report_t *fr;
 465
 466   frm->streams[stream_index].sequence_number = 0;
 467
 468   vec_foreach (fr, frm->reports)
 469     if (frm->reports->stream_index == stream_index)
 470     {
 471       fr->update_rewrite = 1;
 472       fr->last_template_sent = 0;
 473     }
 474 }
 475
 476 int
 477 vnet_stream_change (flow_report_main_t * frm,
 478                     u32 old_domain_id, u16 old_src_port,
 479                     u32 new_domain_id, u16 new_src_port)
 480 {
 481   i32 stream_index = find_stream (old_domain_id, old_src_port);
 482   if (stream_index < 0)
 483     return 1;
 484   flow_report_stream_t *stream = &frm->streams[stream_index];
 485   stream->domain_id = new_domain_id;
 486   stream->src_port = new_src_port;
 487   if (old_domain_id != new_domain_id || old_src_port != new_src_port)
 488     vnet_stream_reset (frm, stream_index);
 489   return 0;
 490 }
 491
 492 static clib_error_t *
 493 set_ipfix_exporter_command_fn (vlib_main_t * vm,
 494                                unformat_input_t * input,
 495                                vlib_cli_command_t * cmd)
 496 {
 497   flow_report_main_t *frm = &flow_report_main;
 498   ip4_address_t collector, src;
 499   u16 collector_port = UDP_DST_PORT_ipfix;
 500   u32 fib_id;
 501   u32 fib_index = ~0;
 502
 503   collector.as_u32 = 0;
 504   src.as_u32 = 0;
 505   u32 path_mtu = 512;           // RFC 7011 section 10.3.3.
 506   u32 template_interval = 20;
 507   u8 udp_checksum = 0;
 508
 509   while (unformat_check_input (input) != UNFORMAT_END_OF_INPUT)
 510     {
 511       if (unformat (input, "collector %U", unformat_ip4_address, &collector))
 512         ;
 513       else if (unformat (input, "port %U", unformat_udp_port,
 514                          &collector_port))
 515         ;
 516       else if (unformat (input, "src %U", unformat_ip4_address, &src))
 517         ;
 518       else if (unformat (input, "fib-id %u", &fib_id))
 519         {
 520           ip4_main_t *im = &ip4_main;
 521           uword *p = hash_get (im->fib_index_by_table_id, fib_id);
 522           if (!p)
 523             return clib_error_return (0, "fib ID %d doesn't exist\n", fib_id);
 524           fib_index = p[0];
 525         }
 526       else if (unformat (input, "path-mtu %u", &path_mtu))
 527         ;
 528       else if (unformat (input, "template-interval %u", &template_interval))
 529         ;
 530       else if (unformat (input, "udp-checksum"))
 531         udp_checksum = 1;
 532       else
 533         break;
 534     }
 535
 536   if (collector.as_u32 != 0 && src.as_u32 == 0)
 537     return clib_error_return (0, "src address required");
 538
 539   if (path_mtu > 1450 /* vpp does not support fragmentation */ )
 540     return clib_error_return (0, "too big path-mtu value, maximum is 1450");
 541
 542   if (path_mtu < 68)
 543     return clib_error_return (0, "too small path-mtu value, minimum is 68");
 544
 545   /* Reset report streams if we are reconfiguring IP addresses */
 546   if (frm->ipfix_collector.as_u32 != collector.as_u32 ||
 547       frm->src_address.as_u32 != src.as_u32 ||
 548       frm->collector_port != collector_port)
 549     vnet_flow_reports_reset (frm);
 550
 551   frm->ipfix_collector.as_u32 = collector.as_u32;
 552   frm->collector_port = collector_port;
 553   frm->src_address.as_u32 = src.as_u32;
 554   frm->fib_index = fib_index;
 555   frm->path_mtu = path_mtu;
 556   frm->template_interval = template_interval;
 557   frm->udp_checksum = udp_checksum;
 558
 559   if (collector.as_u32)
 560     vlib_cli_output (vm, "Collector %U, src address %U, "
 561                      "fib index %d, path MTU %u, "
 562                      "template resend interval %us, "
 563                      "udp checksum %s",
 564                      format_ip4_address, &frm->ipfix_collector,
 565                      format_ip4_address, &frm->src_address,
 566                      fib_index, path_mtu, template_interval,
 567                      udp_checksum ? "enabled" : "disabled");
 568   else
 569     vlib_cli_output (vm, "IPFIX Collector is disabled");
 570
 571   /* Turn on the flow reporting process */
 572   vlib_process_signal_event (vm, flow_report_process_node.index, 1, 0);
 573   return 0;
 574 }
 575
 576 /* *INDENT-OFF* */
 577 VLIB_CLI_COMMAND (set_ipfix_exporter_command, static) = {
 578     .path = "set ipfix exporter",
 579     .short_help = "set ipfix exporter "
 580                   "collector <ip4-address> [port <port>] "
 581                   "src <ip4-address> [fib-id <fib-id>] "
 582                   "[path-mtu <path-mtu>] "
 583                   "[template-interval <template-interval>] "
 584                   "[udp-checksum]",
 585     .function = set_ipfix_exporter_command_fn,
 586 };
 587 /* *INDENT-ON* */
 588
 589
 590 static clib_error_t *
 591 ipfix_flush_command_fn (vlib_main_t * vm,
 592                         unformat_input_t * input, vlib_cli_command_t * cmd)
 593 {
 594   /* poke the flow reporting process */
 595   vlib_process_signal_event (vm, flow_report_process_node.index, 1, 0);
 596   return 0;
 597 }
 598
 599 /* *INDENT-OFF* */
 600 VLIB_CLI_COMMAND (ipfix_flush_command, static) = {
 601     .path = "ipfix flush",
 602     .short_help = "flush the current ipfix data [for make test]",
 603     .function = ipfix_flush_command_fn,
 604 };
 605 /* *INDENT-ON* */
 606
 607 static clib_error_t *
 608 flow_report_init (vlib_main_t * vm)
 609 {
 610   flow_report_main_t *frm = &flow_report_main;
 611
 612   frm->vlib_main = vm;
 613   frm->vnet_main = vnet_get_main ();
 614   frm->unix_time_0 = time (0);
 615   frm->vlib_time_0 = vlib_time_now (frm->vlib_main);
 616   frm->fib_index = ~0;
 617
 618   return 0;
 619 }
 620
 621 VLIB_INIT_FUNCTION (flow_report_init);
 622 /*
 623  * fd.io coding-style-patch-verification: ON
 624  *
 625  * Local Variables:
 626  * eval: (c-set-style "gnu")
 627  * End:
 628  */