src/uri/uri_tcp_test.c

   1 /*
   2  * Copyright (c) 2016 Cisco and/or its affiliates.
   3  * Licensed under the Apache License, Version 2.0 (the "License");
   4  * you may not use this file except in compliance with the License.
   5  * You may obtain a copy of the License at:
   6  *
   7  *     http://www.apache.org/licenses/LICENSE-2.0
   8  *
   9  * Unless required by applicable law or agreed to in writing, software
  10  * distributed under the License is distributed on an "AS IS" BASIS,
  11  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  12  * See the License for the specific language governing permissions and
  13  * limitations under the License.
  14  */
  15
  16 #include <stdio.h>
  17 #include <signal.h>
  18 #include <svm/svm_fifo_segment.h>
  19 #include <vlibmemory/api.h>
  20 #include <vpp/api/vpe_msg_enum.h>
  21 #include <vnet/session/application_interface.h>
  22
  23 #define vl_typedefs             /* define message structures */
  24 #include <vpp/api/vpe_all_api_h.h>
  25 #undef vl_typedefs
  26
  27 /* declare message handlers for each api */
  28
  29 #define vl_endianfun            /* define message structures */
  30 #include <vpp/api/vpe_all_api_h.h>
  31 #undef vl_endianfun
  32
  33 /* instantiate all the print functions we know about */
  34 #define vl_print(handle, ...)
  35 #define vl_printfun
  36 #include <vpp/api/vpe_all_api_h.h>
  37 #undef vl_printfun
  38
  39 typedef struct
  40 {
  41   svm_fifo_t *server_rx_fifo;
  42   svm_fifo_t *server_tx_fifo;
  43
  44   u64 vpp_session_handle;
  45   u64 bytes_received;
  46   f64 start;
  47 } session_t;
  48
  49 typedef enum
  50 {
  51   STATE_START,
  52   STATE_ATTACHED,
  53   STATE_READY,
  54   STATE_DISCONNECTING,
  55   STATE_FAILED
  56 } connection_state_t;
  57
  58 typedef struct
  59 {
  60   /* vpe input queue */
  61   unix_shared_memory_queue_t *vl_input_queue;
  62
  63   /* API client handle */
  64   u32 my_client_index;
  65
  66   /* The URI we're playing with */
  67   u8 *uri;
  68
  69   /* Session pool */
  70   session_t *sessions;
  71
  72   /* Hash table for disconnect processing */
  73   uword *session_index_by_vpp_handles;
  74
  75   /* intermediate rx buffer */
  76   u8 *rx_buf;
  77
  78   /* URI for slave's connect */
  79   u8 *connect_uri;
  80
  81   u32 connected_session_index;
  82
  83   int i_am_master;
  84
  85   /* drop all packets */
  86   int drop_packets;
  87
  88   /* Our event queue */
  89   unix_shared_memory_queue_t *our_event_queue;
  90
  91   /* $$$ single thread only for the moment */
  92   unix_shared_memory_queue_t *vpp_event_queue;
  93
  94   pid_t my_pid;
  95
  96   /* For deadman timers */
  97   clib_time_t clib_time;
  98
  99   /* State of the connection, shared between msg RX thread and main thread */
 100   volatile connection_state_t state;
 101
 102   /* Signal variables */
 103   volatile int time_to_stop;
 104   volatile int time_to_print_stats;
 105
 106   u32 configured_segment_size;
 107
 108   /* VNET_API_ERROR_FOO -> "Foo" hash table */
 109   uword *error_string_by_error_number;
 110
 111   u8 *connect_test_data;
 112   pthread_t client_rx_thread_handle;
 113   u32 client_bytes_received;
 114   u8 test_return_packets;
 115   u64 bytes_to_send;
 116
 117   /* convenience */
 118   svm_fifo_segment_main_t *segment_main;
 119 } uri_tcp_test_main_t;
 120
 121 uri_tcp_test_main_t uri_tcp_test_main;
 122
 123 #if CLIB_DEBUG > 0
 124 #define NITER 10000
 125 #else
 126 #define NITER 4000000
 127 #endif
 128
 129 static u8 *
 130 format_api_error (u8 * s, va_list * args)
 131 {
 132   uri_tcp_test_main_t *utm = &uri_tcp_test_main;
 133   i32 error = va_arg (*args, u32);
 134   uword *p;
 135
 136   p = hash_get (utm->error_string_by_error_number, -error);
 137
 138   if (p)
 139     s = format (s, "%s", p[0]);
 140   else
 141     s = format (s, "%d", error);
 142   return s;
 143 }
 144
 145 static void
 146 init_error_string_table (uri_tcp_test_main_t * utm)
 147 {
 148   utm->error_string_by_error_number = hash_create (0, sizeof (uword));
 149
 150 #define _(n,v,s) hash_set (utm->error_string_by_error_number, -v, s);
 151   foreach_vnet_api_error;
 152 #undef _
 153
 154   hash_set (utm->error_string_by_error_number, 99, "Misc");
 155 }
 156
 157 int
 158 wait_for_state_change (uri_tcp_test_main_t * utm, connection_state_t state)
 159 {
 160 #if CLIB_DEBUG > 0
 161 #define TIMEOUT 600.0
 162 #else
 163 #define TIMEOUT 600.0
 164 #endif
 165
 166   f64 timeout = clib_time_now (&utm->clib_time) + TIMEOUT;
 167
 168   while (clib_time_now (&utm->clib_time) < timeout)
 169     {
 170       if (utm->state == state)
 171         return 0;
 172       if (utm->state == STATE_FAILED)
 173         return -1;
 174       if (utm->time_to_stop == 1)
 175         return 0;
 176     }
 177   clib_warning ("timeout waiting for STATE_READY");
 178   return -1;
 179 }
 180
 181 void
 182 application_send_attach (uri_tcp_test_main_t * utm)
 183 {
 184   vl_api_application_attach_t *bmp;
 185   u32 fifo_size = 4 << 20;
 186   bmp = vl_msg_api_alloc (sizeof (*bmp));
 187   memset (bmp, 0, sizeof (*bmp));
 188
 189   bmp->_vl_msg_id = ntohs (VL_API_APPLICATION_ATTACH);
 190   bmp->client_index = utm->my_client_index;
 191   bmp->context = ntohl (0xfeedface);
 192   bmp->options[APP_OPTIONS_FLAGS] =
 193     APP_OPTIONS_FLAGS_ACCEPT_REDIRECT | APP_OPTIONS_FLAGS_ADD_SEGMENT;
 194   bmp->options[APP_OPTIONS_PREALLOC_FIFO_PAIRS] = 16;
 195   bmp->options[SESSION_OPTIONS_RX_FIFO_SIZE] = fifo_size;
 196   bmp->options[SESSION_OPTIONS_TX_FIFO_SIZE] = fifo_size;
 197   bmp->options[SESSION_OPTIONS_ADD_SEGMENT_SIZE] = 128 << 20;
 198   bmp->options[SESSION_OPTIONS_SEGMENT_SIZE] = 256 << 20;
 199   vl_msg_api_send_shmem (utm->vl_input_queue, (u8 *) & bmp);
 200 }
 201
 202 int
 203 application_attach (uri_tcp_test_main_t * utm)
 204 {
 205   application_send_attach (utm);
 206   if (wait_for_state_change (utm, STATE_ATTACHED))
 207     {
 208       clib_warning ("timeout waiting for STATE_ATTACHED");
 209       return -1;
 210     }
 211   return 0;
 212 }
 213
 214 void
 215 application_detach (uri_tcp_test_main_t * utm)
 216 {
 217   vl_api_application_detach_t *bmp;
 218   bmp = vl_msg_api_alloc (sizeof (*bmp));
 219   memset (bmp, 0, sizeof (*bmp));
 220
 221   bmp->_vl_msg_id = ntohs (VL_API_APPLICATION_DETACH);
 222   bmp->client_index = utm->my_client_index;
 223   bmp->context = ntohl (0xfeedface);
 224   vl_msg_api_send_shmem (utm->vl_input_queue, (u8 *) & bmp);
 225 }
 226
 227 static void
 228 vl_api_application_attach_reply_t_handler (vl_api_application_attach_reply_t *
 229                                            mp)
 230 {
 231   uri_tcp_test_main_t *utm = &uri_tcp_test_main;
 232   svm_fifo_segment_create_args_t _a, *a = &_a;
 233   int rv;
 234
 235   if (mp->retval)
 236     {
 237       clib_warning ("attach failed: %U", format_api_error,
 238                     clib_net_to_host_u32 (mp->retval));
 239       utm->state = STATE_FAILED;
 240       return;
 241     }
 242
 243   if (mp->segment_name_length == 0)
 244     {
 245       clib_warning ("segment_name_length zero");
 246       return;
 247     }
 248
 249   a->segment_name = (char *) mp->segment_name;
 250   a->segment_size = mp->segment_size;
 251
 252   ASSERT (mp->app_event_queue_address);
 253
 254   /* Attach to the segment vpp created */
 255   rv = svm_fifo_segment_attach (a);
 256   if (rv)
 257     {
 258       clib_warning ("svm_fifo_segment_attach ('%s') failed",
 259                     mp->segment_name);
 260       return;
 261     }
 262
 263   utm->our_event_queue =
 264     uword_to_pointer (mp->app_event_queue_address,
 265                       unix_shared_memory_queue_t *);
 266   utm->state = STATE_ATTACHED;
 267 }
 268
 269 static void
 270 vl_api_application_detach_reply_t_handler (vl_api_application_detach_reply_t *
 271                                            mp)
 272 {
 273   if (mp->retval)
 274     clib_warning ("detach returned with err: %d", mp->retval);
 275 }
 276
 277 static void
 278 stop_signal (int signum)
 279 {
 280   uri_tcp_test_main_t *um = &uri_tcp_test_main;
 281
 282   um->time_to_stop = 1;
 283 }
 284
 285 static void
 286 stats_signal (int signum)
 287 {
 288   uri_tcp_test_main_t *um = &uri_tcp_test_main;
 289
 290   um->time_to_print_stats = 1;
 291 }
 292
 293 static clib_error_t *
 294 setup_signal_handlers (void)
 295 {
 296   signal (SIGINT, stats_signal);
 297   signal (SIGQUIT, stop_signal);
 298   signal (SIGTERM, stop_signal);
 299
 300   return 0;
 301 }
 302
 303 void
 304 vlib_cli_output (struct vlib_main_t *vm, char *fmt, ...)
 305 {
 306   clib_warning ("BUG");
 307 }
 308
 309 int
 310 connect_to_vpp (char *name)
 311 {
 312   uri_tcp_test_main_t *utm = &uri_tcp_test_main;
 313   api_main_t *am = &api_main;
 314
 315   if (vl_client_connect_to_vlib ("/vpe-api", name, 32) < 0)
 316     return -1;
 317
 318   utm->vl_input_queue = am->shmem_hdr->vl_input_queue;
 319   utm->my_client_index = am->my_client_index;
 320
 321   return 0;
 322 }
 323
 324 static void
 325 vl_api_map_another_segment_t_handler (vl_api_map_another_segment_t * mp)
 326 {
 327   svm_fifo_segment_create_args_t _a, *a = &_a;
 328   int rv;
 329
 330   memset (a, 0, sizeof (*a));
 331   a->segment_name = (char *) mp->segment_name;
 332   a->segment_size = mp->segment_size;
 333   /* Attach to the segment vpp created */
 334   rv = svm_fifo_segment_attach (a);
 335   if (rv)
 336     {
 337       clib_warning ("svm_fifo_segment_attach ('%s') failed",
 338                     mp->segment_name);
 339       return;
 340     }
 341   clib_warning ("Mapped new segment '%s' size %d", mp->segment_name,
 342                 mp->segment_size);
 343 }
 344
 345 static void
 346 session_print_stats (uri_tcp_test_main_t * utm, session_t * session)
 347 {
 348   f64 deltat;
 349   u64 bytes;
 350
 351   deltat = clib_time_now (&utm->clib_time) - session->start;
 352   bytes = utm->i_am_master ? session->bytes_received : utm->bytes_to_send;
 353   fformat (stdout, "Finished in %.6f\n", deltat);
 354   fformat (stdout, "%.4f Gbit/second\n", (bytes * 8.0) / deltat / 1e9);
 355 }
 356
 357 static void
 358 vl_api_disconnect_session_t_handler (vl_api_disconnect_session_t * mp)
 359 {
 360   uri_tcp_test_main_t *utm = &uri_tcp_test_main;
 361   session_t *session = 0;
 362   vl_api_disconnect_session_reply_t *rmp;
 363   uword *p;
 364   int rv = 0;
 365
 366   p = hash_get (utm->session_index_by_vpp_handles, mp->handle);
 367
 368   if (p)
 369     {
 370       session = pool_elt_at_index (utm->sessions, p[0]);
 371       hash_unset (utm->session_index_by_vpp_handles, mp->handle);
 372       pool_put (utm->sessions, session);
 373     }
 374   else
 375     {
 376       clib_warning ("couldn't find session key %llx", mp->handle);
 377       rv = -11;
 378     }
 379
 380 //  utm->time_to_stop = 1;
 381
 382   rmp = vl_msg_api_alloc (sizeof (*rmp));
 383   memset (rmp, 0, sizeof (*rmp));
 384
 385   rmp->_vl_msg_id = ntohs (VL_API_DISCONNECT_SESSION_REPLY);
 386   rmp->retval = rv;
 387   rmp->handle = mp->handle;
 388   vl_msg_api_send_shmem (utm->vl_input_queue, (u8 *) & rmp);
 389
 390   if (session)
 391     session_print_stats (utm, session);
 392 }
 393
 394 static void
 395 vl_api_reset_session_t_handler (vl_api_reset_session_t * mp)
 396 {
 397   uri_tcp_test_main_t *utm = &uri_tcp_test_main;
 398   vl_api_reset_session_reply_t *rmp;
 399   uword *p;
 400   int rv = 0;
 401
 402   p = hash_get (utm->session_index_by_vpp_handles, mp->handle);
 403
 404   if (p)
 405     {
 406       clib_warning ("got reset");
 407       /* Cleanup later */
 408       utm->time_to_stop = 1;
 409     }
 410   else
 411     {
 412       clib_warning ("couldn't find session key %llx", mp->handle);
 413       rv = -11;
 414     }
 415
 416   rmp = vl_msg_api_alloc (sizeof (*rmp));
 417   memset (rmp, 0, sizeof (*rmp));
 418   rmp->_vl_msg_id = ntohs (VL_API_RESET_SESSION_REPLY);
 419   rmp->retval = rv;
 420   rmp->handle = mp->handle;
 421   vl_msg_api_send_shmem (utm->vl_input_queue, (u8 *) & rmp);
 422 }
 423
 424 void
 425 client_handle_fifo_event_rx (uri_tcp_test_main_t * utm,
 426                              session_fifo_event_t * e)
 427 {
 428   svm_fifo_t *rx_fifo;
 429   int n_read, bytes, i;
 430
 431   rx_fifo = e->fifo;
 432
 433   bytes = svm_fifo_max_dequeue (rx_fifo);
 434   /* Allow enqueuing of new event */
 435   svm_fifo_unset_event (rx_fifo);
 436
 437   /* Read the bytes */
 438   do
 439     {
 440       n_read = svm_fifo_dequeue_nowait (rx_fifo,
 441                                         clib_min (vec_len (utm->rx_buf),
 442                                                   bytes), utm->rx_buf);
 443       if (n_read > 0)
 444         {
 445           bytes -= n_read;
 446           if (utm->test_return_packets)
 447             {
 448               for (i = 0; i < n_read; i++)
 449                 {
 450                   if (utm->rx_buf[i]
 451                       != ((utm->client_bytes_received + i) & 0xff))
 452                     {
 453                       clib_warning ("error at byte %lld, 0x%x not 0x%x",
 454                                     utm->client_bytes_received + i,
 455                                     utm->rx_buf[i],
 456                                     ((utm->client_bytes_received +
 457                                       i) & 0xff));
 458                     }
 459                 }
 460             }
 461           utm->client_bytes_received += n_read;
 462         }
 463       else
 464         {
 465           if (n_read == -2)
 466             {
 467 //            clib_warning ("weird!");
 468               break;
 469             }
 470         }
 471
 472     }
 473   while (bytes > 0);
 474 }
 475
 476 void
 477 client_handle_event_queue (uri_tcp_test_main_t * utm)
 478 {
 479   session_fifo_event_t _e, *e = &_e;;
 480
 481   unix_shared_memory_queue_sub (utm->our_event_queue, (u8 *) e,
 482                                 0 /* nowait */ );
 483   switch (e->event_type)
 484     {
 485     case FIFO_EVENT_APP_RX:
 486       client_handle_fifo_event_rx (utm, e);
 487       break;
 488
 489     case FIFO_EVENT_DISCONNECT:
 490       return;
 491
 492     default:
 493       clib_warning ("unknown event type %d", e->event_type);
 494       break;
 495     }
 496 }
 497
 498 static void *
 499 client_rx_thread_fn (void *arg)
 500 {
 501   session_fifo_event_t _e, *e = &_e;
 502   uri_tcp_test_main_t *utm = &uri_tcp_test_main;
 503
 504   utm->client_bytes_received = 0;
 505   while (1)
 506     {
 507       unix_shared_memory_queue_sub (utm->our_event_queue, (u8 *) e,
 508                                     0 /* nowait */ );
 509       switch (e->event_type)
 510         {
 511         case FIFO_EVENT_APP_RX:
 512           client_handle_fifo_event_rx (utm, e);
 513           break;
 514
 515         case FIFO_EVENT_DISCONNECT:
 516           return 0;
 517         default:
 518           clib_warning ("unknown event type %d", e->event_type);
 519           break;
 520         }
 521
 522       if (PREDICT_FALSE (utm->time_to_stop == 1))
 523         break;
 524     }
 525   pthread_exit (0);
 526 }
 527
 528
 529 static void
 530 vl_api_connect_session_reply_t_handler (vl_api_connect_session_reply_t * mp)
 531 {
 532   uri_tcp_test_main_t *utm = &uri_tcp_test_main;
 533   session_t *session;
 534   u32 session_index;
 535   svm_fifo_t *rx_fifo, *tx_fifo;
 536   int rv;
 537
 538   if (mp->retval)
 539     {
 540       clib_warning ("connection failed with code: %U", format_api_error,
 541                     clib_net_to_host_u32 (mp->retval));
 542       utm->state = STATE_FAILED;
 543       return;
 544     }
 545   else
 546     {
 547       clib_warning ("connected with local ip %U port %d", format_ip46_address,
 548                     mp->lcl_ip, mp->is_ip4,
 549                     clib_net_to_host_u16 (mp->lcl_port));
 550     }
 551
 552   utm->vpp_event_queue =
 553     uword_to_pointer (mp->vpp_event_queue_address,
 554                       unix_shared_memory_queue_t *);
 555
 556   /*
 557    * Setup session
 558    */
 559
 560   pool_get (utm->sessions, session);
 561   session_index = session - utm->sessions;
 562
 563   rx_fifo = uword_to_pointer (mp->server_rx_fifo, svm_fifo_t *);
 564   rx_fifo->client_session_index = session_index;
 565   tx_fifo = uword_to_pointer (mp->server_tx_fifo, svm_fifo_t *);
 566   tx_fifo->client_session_index = session_index;
 567
 568   session->server_rx_fifo = rx_fifo;
 569   session->server_tx_fifo = tx_fifo;
 570   session->vpp_session_handle = mp->handle;
 571   session->start = clib_time_now (&utm->clib_time);
 572
 573   /* Save handle */
 574   utm->connected_session_index = session_index;
 575   utm->state = STATE_READY;
 576
 577   /* Add it to lookup table */
 578   hash_set (utm->session_index_by_vpp_handles, mp->handle, session_index);
 579
 580   /* Start RX thread */
 581   rv = pthread_create (&utm->client_rx_thread_handle,
 582                        NULL /*attr */ , client_rx_thread_fn, 0);
 583   if (rv)
 584     {
 585       clib_warning ("pthread_create returned %d", rv);
 586       rv = VNET_API_ERROR_SYSCALL_ERROR_1;
 587     }
 588 }
 589
 590 static void
 591 send_test_chunk (uri_tcp_test_main_t * utm, svm_fifo_t * tx_fifo, int mypid,
 592                  u32 bytes)
 593 {
 594   u8 *test_data = utm->connect_test_data;
 595   u64 bytes_sent = 0;
 596   int test_buf_offset = 0;
 597   u32 bytes_to_snd;
 598   u32 queue_max_chunk = 128 << 10, actual_write;
 599   session_fifo_event_t evt;
 600   int rv;
 601
 602   bytes_to_snd = (bytes == 0) ? vec_len (test_data) : bytes;
 603   if (bytes_to_snd > vec_len (test_data))
 604     bytes_to_snd = vec_len (test_data);
 605
 606   while (bytes_to_snd > 0 && !utm->time_to_stop)
 607     {
 608       actual_write = (bytes_to_snd > queue_max_chunk) ?
 609         queue_max_chunk : bytes_to_snd;
 610       rv = svm_fifo_enqueue_nowait (tx_fifo, actual_write,
 611                                     test_data + test_buf_offset);
 612
 613       if (rv > 0)
 614         {
 615           bytes_to_snd -= rv;
 616           test_buf_offset += rv;
 617           bytes_sent += rv;
 618
 619           if (svm_fifo_set_event (tx_fifo))
 620             {
 621               /* Fabricate TX event, send to vpp */
 622               evt.fifo = tx_fifo;
 623               evt.event_type = FIFO_EVENT_APP_TX;
 624
 625               unix_shared_memory_queue_add (utm->vpp_event_queue,
 626                                             (u8 *) & evt,
 627                                             0 /* do wait for mutex */ );
 628             }
 629         }
 630     }
 631 }
 632
 633 void
 634 client_send_data (uri_tcp_test_main_t * utm)
 635 {
 636   u8 *test_data = utm->connect_test_data;
 637   int mypid = getpid ();
 638   session_t *session;
 639   svm_fifo_t *tx_fifo;
 640   u32 n_iterations, leftover;
 641   int i;
 642
 643   session = pool_elt_at_index (utm->sessions, utm->connected_session_index);
 644   tx_fifo = session->server_tx_fifo;
 645
 646   ASSERT (vec_len (test_data) > 0);
 647
 648   vec_validate (utm->rx_buf, vec_len (test_data) - 1);
 649   n_iterations = utm->bytes_to_send / vec_len (test_data);
 650
 651   for (i = 0; i < n_iterations; i++)
 652     {
 653       send_test_chunk (utm, tx_fifo, mypid, 0);
 654       if (utm->time_to_stop)
 655         break;
 656     }
 657
 658   leftover = utm->bytes_to_send % vec_len (test_data);
 659   if (leftover)
 660     send_test_chunk (utm, tx_fifo, mypid, leftover);
 661
 662   if (!utm->drop_packets)
 663     {
 664       f64 timeout = clib_time_now (&utm->clib_time) + 10;
 665
 666       /* Wait for the outstanding packets */
 667       while (utm->client_bytes_received <
 668              vec_len (test_data) * n_iterations + leftover)
 669         {
 670           if (clib_time_now (&utm->clib_time) > timeout)
 671             {
 672               clib_warning ("timed out waiting for the missing packets");
 673               break;
 674             }
 675         }
 676     }
 677   utm->time_to_stop = 1;
 678 }
 679
 680 void
 681 client_send_connect (uri_tcp_test_main_t * utm)
 682 {
 683   vl_api_connect_uri_t *cmp;
 684   cmp = vl_msg_api_alloc (sizeof (*cmp));
 685   memset (cmp, 0, sizeof (*cmp));
 686
 687   cmp->_vl_msg_id = ntohs (VL_API_CONNECT_URI);
 688   cmp->client_index = utm->my_client_index;
 689   cmp->context = ntohl (0xfeedface);
 690   memcpy (cmp->uri, utm->connect_uri, vec_len (utm->connect_uri));
 691   vl_msg_api_send_shmem (utm->vl_input_queue, (u8 *) & cmp);
 692 }
 693
 694 int
 695 client_connect (uri_tcp_test_main_t * utm)
 696 {
 697   client_send_connect (utm);
 698   if (wait_for_state_change (utm, STATE_READY))
 699     {
 700       clib_warning ("Connect failed");
 701       return -1;
 702     }
 703   return 0;
 704 }
 705
 706 void
 707 client_send_disconnect (uri_tcp_test_main_t * utm)
 708 {
 709   session_t *connected_session;
 710   vl_api_disconnect_session_t *dmp;
 711   connected_session = pool_elt_at_index (utm->sessions,
 712                                          utm->connected_session_index);
 713   dmp = vl_msg_api_alloc (sizeof (*dmp));
 714   memset (dmp, 0, sizeof (*dmp));
 715   dmp->_vl_msg_id = ntohs (VL_API_DISCONNECT_SESSION);
 716   dmp->client_index = utm->my_client_index;
 717   dmp->handle = connected_session->vpp_session_handle;
 718   vl_msg_api_send_shmem (utm->vl_input_queue, (u8 *) & dmp);
 719 }
 720
 721 int
 722 client_disconnect (uri_tcp_test_main_t * utm)
 723 {
 724   client_send_disconnect (utm);
 725   clib_warning ("Sent disconnect");
 726   if (wait_for_state_change (utm, STATE_START))
 727     {
 728       clib_warning ("Disconnect failed");
 729       return -1;
 730     }
 731   return 0;
 732 }
 733
 734 static void
 735 client_test (uri_tcp_test_main_t * utm)
 736 {
 737   int i;
 738
 739   if (application_attach (utm))
 740     return;
 741
 742   if (client_connect (utm))
 743     {
 744       application_detach (utm);
 745       return;
 746     }
 747
 748   /* Init test data */
 749   vec_validate (utm->connect_test_data, 128 * 1024 - 1);
 750   for (i = 0; i < vec_len (utm->connect_test_data); i++)
 751     utm->connect_test_data[i] = i & 0xff;
 752
 753   /* Start send */
 754   client_send_data (utm);
 755
 756   /* Disconnect */
 757   client_disconnect (utm);
 758
 759   application_detach (utm);
 760 }
 761
 762 static void
 763 vl_api_bind_uri_reply_t_handler (vl_api_bind_uri_reply_t * mp)
 764 {
 765   uri_tcp_test_main_t *utm = &uri_tcp_test_main;
 766
 767   if (mp->retval)
 768     {
 769       clib_warning ("bind failed: %U", format_api_error,
 770                     clib_net_to_host_u32 (mp->retval));
 771       utm->state = STATE_FAILED;
 772       return;
 773     }
 774
 775   utm->state = STATE_READY;
 776 }
 777
 778 static void
 779 vl_api_unbind_uri_reply_t_handler (vl_api_unbind_uri_reply_t * mp)
 780 {
 781   uri_tcp_test_main_t *utm = &uri_tcp_test_main;
 782
 783   if (mp->retval != 0)
 784     clib_warning ("returned %d", ntohl (mp->retval));
 785
 786   utm->state = STATE_START;
 787 }
 788
 789 u8 *
 790 format_ip4_address (u8 * s, va_list * args)
 791 {
 792   u8 *a = va_arg (*args, u8 *);
 793   return format (s, "%d.%d.%d.%d", a[0], a[1], a[2], a[3]);
 794 }
 795
 796 u8 *
 797 format_ip6_address (u8 * s, va_list * args)
 798 {
 799   ip6_address_t *a = va_arg (*args, ip6_address_t *);
 800   u32 i, i_max_n_zero, max_n_zeros, i_first_zero, n_zeros, last_double_colon;
 801
 802   i_max_n_zero = ARRAY_LEN (a->as_u16);
 803   max_n_zeros = 0;
 804   i_first_zero = i_max_n_zero;
 805   n_zeros = 0;
 806   for (i = 0; i < ARRAY_LEN (a->as_u16); i++)
 807     {
 808       u32 is_zero = a->as_u16[i] == 0;
 809       if (is_zero && i_first_zero >= ARRAY_LEN (a->as_u16))
 810         {
 811           i_first_zero = i;
 812           n_zeros = 0;
 813         }
 814       n_zeros += is_zero;
 815       if ((!is_zero && n_zeros > max_n_zeros)
 816           || (i + 1 >= ARRAY_LEN (a->as_u16) && n_zeros > max_n_zeros))
 817         {
 818           i_max_n_zero = i_first_zero;
 819           max_n_zeros = n_zeros;
 820           i_first_zero = ARRAY_LEN (a->as_u16);
 821           n_zeros = 0;
 822         }
 823     }
 824
 825   last_double_colon = 0;
 826   for (i = 0; i < ARRAY_LEN (a->as_u16); i++)
 827     {
 828       if (i == i_max_n_zero && max_n_zeros > 1)
 829         {
 830           s = format (s, "::");
 831           i += max_n_zeros - 1;
 832           last_double_colon = 1;
 833         }
 834       else
 835         {
 836           s = format (s, "%s%x",
 837                       (last_double_colon || i == 0) ? "" : ":",
 838                       clib_net_to_host_u16 (a->as_u16[i]));
 839           last_double_colon = 0;
 840         }
 841     }
 842
 843   return s;
 844 }
 845
 846 /* Format an IP46 address. */
 847 u8 *
 848 format_ip46_address (u8 * s, va_list * args)
 849 {
 850   ip46_address_t *ip46 = va_arg (*args, ip46_address_t *);
 851   ip46_type_t type = va_arg (*args, ip46_type_t);
 852   int is_ip4 = 1;
 853
 854   switch (type)
 855     {
 856     case IP46_TYPE_ANY:
 857       is_ip4 = ip46_address_is_ip4 (ip46);
 858       break;
 859     case IP46_TYPE_IP4:
 860       is_ip4 = 1;
 861       break;
 862     case IP46_TYPE_IP6:
 863       is_ip4 = 0;
 864       break;
 865     }
 866
 867   return is_ip4 ?
 868     format (s, "%U", format_ip4_address, &ip46->ip4) :
 869     format (s, "%U", format_ip6_address, &ip46->ip6);
 870 }
 871
 872 static void
 873 vl_api_accept_session_t_handler (vl_api_accept_session_t * mp)
 874 {
 875   uri_tcp_test_main_t *utm = &uri_tcp_test_main;
 876   vl_api_accept_session_reply_t *rmp;
 877   svm_fifo_t *rx_fifo, *tx_fifo;
 878   session_t *session;
 879   static f64 start_time;
 880   u32 session_index;
 881   u8 *ip_str;
 882
 883   if (start_time == 0.0)
 884     start_time = clib_time_now (&utm->clib_time);
 885
 886   ip_str = format (0, "%U", format_ip46_address, &mp->ip, mp->is_ip4);
 887   clib_warning ("Accepted session from: %s:%d", ip_str,
 888                 clib_net_to_host_u16 (mp->port));
 889   utm->vpp_event_queue =
 890     uword_to_pointer (mp->vpp_event_queue_address,
 891                       unix_shared_memory_queue_t *);
 892
 893   /* Allocate local session and set it up */
 894   pool_get (utm->sessions, session);
 895   session_index = session - utm->sessions;
 896
 897   rx_fifo = uword_to_pointer (mp->server_rx_fifo, svm_fifo_t *);
 898   rx_fifo->client_session_index = session_index;
 899   tx_fifo = uword_to_pointer (mp->server_tx_fifo, svm_fifo_t *);
 900   tx_fifo->client_session_index = session_index;
 901
 902   session->server_rx_fifo = rx_fifo;
 903   session->server_tx_fifo = tx_fifo;
 904
 905   /* Add it to lookup table */
 906   hash_set (utm->session_index_by_vpp_handles, mp->handle, session_index);
 907
 908   utm->state = STATE_READY;
 909
 910   /* Stats printing */
 911   if (pool_elts (utm->sessions) && (pool_elts (utm->sessions) % 20000) == 0)
 912     {
 913       f64 now = clib_time_now (&utm->clib_time);
 914       fformat (stdout, "%d active sessions in %.2f seconds, %.2f/sec...\n",
 915                pool_elts (utm->sessions), now - start_time,
 916                (f64) pool_elts (utm->sessions) / (now - start_time));
 917     }
 918
 919   /*
 920    * Send accept reply to vpp
 921    */
 922   rmp = vl_msg_api_alloc (sizeof (*rmp));
 923   memset (rmp, 0, sizeof (*rmp));
 924   rmp->_vl_msg_id = ntohs (VL_API_ACCEPT_SESSION_REPLY);
 925   rmp->handle = mp->handle;
 926   rmp->context = mp->context;
 927   vl_msg_api_send_shmem (utm->vl_input_queue, (u8 *) & rmp);
 928
 929   session->bytes_received = 0;
 930   session->start = clib_time_now (&utm->clib_time);
 931 }
 932
 933 void
 934 server_handle_fifo_event_rx (uri_tcp_test_main_t * utm,
 935                              session_fifo_event_t * e)
 936 {
 937   svm_fifo_t *rx_fifo, *tx_fifo;
 938   int n_read;
 939   session_fifo_event_t evt;
 940   unix_shared_memory_queue_t *q;
 941   session_t *session;
 942   int rv;
 943   u32 max_dequeue, offset, max_transfer, rx_buf_len;
 944
 945   rx_buf_len = vec_len (utm->rx_buf);
 946   rx_fifo = e->fifo;
 947   session = &utm->sessions[rx_fifo->client_session_index];
 948   tx_fifo = session->server_tx_fifo;
 949
 950   max_dequeue = svm_fifo_max_dequeue (rx_fifo);
 951   /* Allow enqueuing of a new event */
 952   svm_fifo_unset_event (rx_fifo);
 953
 954   if (PREDICT_FALSE (max_dequeue == 0))
 955     {
 956       return;
 957     }
 958
 959   /* Read the max_dequeue */
 960   do
 961     {
 962       max_transfer = clib_min (rx_buf_len, max_dequeue);
 963       n_read = svm_fifo_dequeue_nowait (rx_fifo, max_transfer, utm->rx_buf);
 964       if (n_read > 0)
 965         {
 966           max_dequeue -= n_read;
 967           session->bytes_received += n_read;
 968         }
 969
 970       /* Reflect if a non-drop session */
 971       if (!utm->drop_packets && n_read > 0)
 972         {
 973           offset = 0;
 974           do
 975             {
 976               rv = svm_fifo_enqueue_nowait (tx_fifo, n_read,
 977                                             &utm->rx_buf[offset]);
 978               if (rv > 0)
 979                 {
 980                   n_read -= rv;
 981                   offset += rv;
 982                 }
 983             }
 984           while ((rv <= 0 || n_read > 0) && !utm->time_to_stop);
 985
 986           /* If event wasn't set, add one */
 987           if (svm_fifo_set_event (tx_fifo))
 988             {
 989               /* Fabricate TX event, send to vpp */
 990               evt.fifo = tx_fifo;
 991               evt.event_type = FIFO_EVENT_APP_TX;
 992
 993               q = utm->vpp_event_queue;
 994               unix_shared_memory_queue_add (q, (u8 *) & evt,
 995                                             1 /* do wait for mutex */ );
 996             }
 997         }
 998     }
 999   while ((n_read < 0 || max_dequeue > 0) && !utm->time_to_stop);
1000 }
1001
1002 void
1003 server_handle_event_queue (uri_tcp_test_main_t * utm)
1004 {
1005   session_fifo_event_t _e, *e = &_e;
1006
1007   while (1)
1008     {
1009       unix_shared_memory_queue_sub (utm->our_event_queue, (u8 *) e,
1010                                     0 /* nowait */ );
1011       switch (e->event_type)
1012         {
1013         case FIFO_EVENT_APP_RX:
1014           server_handle_fifo_event_rx (utm, e);
1015           break;
1016
1017         case FIFO_EVENT_DISCONNECT:
1018           return;
1019
1020         default:
1021           clib_warning ("unknown event type %d", e->event_type);
1022           break;
1023         }
1024       if (PREDICT_FALSE (utm->time_to_stop == 1))
1025         break;
1026       if (PREDICT_FALSE (utm->time_to_print_stats == 1))
1027         {
1028           utm->time_to_print_stats = 0;
1029           fformat (stdout, "%d connections\n", pool_elts (utm->sessions));
1030         }
1031     }
1032 }
1033
1034 void
1035 server_send_listen (uri_tcp_test_main_t * utm)
1036 {
1037   vl_api_bind_uri_t *bmp;
1038   bmp = vl_msg_api_alloc (sizeof (*bmp));
1039   memset (bmp, 0, sizeof (*bmp));
1040
1041   bmp->_vl_msg_id = ntohs (VL_API_BIND_URI);
1042   bmp->client_index = utm->my_client_index;
1043   bmp->context = ntohl (0xfeedface);
1044   memcpy (bmp->uri, utm->uri, vec_len (utm->uri));
1045   vl_msg_api_send_shmem (utm->vl_input_queue, (u8 *) & bmp);
1046 }
1047
1048 int
1049 server_listen (uri_tcp_test_main_t * utm)
1050 {
1051   server_send_listen (utm);
1052   if (wait_for_state_change (utm, STATE_READY))
1053     {
1054       clib_warning ("timeout waiting for STATE_READY");
1055       return -1;
1056     }
1057   return 0;
1058 }
1059
1060 void
1061 server_send_unbind (uri_tcp_test_main_t * utm)
1062 {
1063   vl_api_unbind_uri_t *ump;
1064
1065   ump = vl_msg_api_alloc (sizeof (*ump));
1066   memset (ump, 0, sizeof (*ump));
1067
1068   ump->_vl_msg_id = ntohs (VL_API_UNBIND_URI);
1069   ump->client_index = utm->my_client_index;
1070   memcpy (ump->uri, utm->uri, vec_len (utm->uri));
1071   vl_msg_api_send_shmem (utm->vl_input_queue, (u8 *) & ump);
1072 }
1073
1074 int
1075 server_unbind (uri_tcp_test_main_t * utm)
1076 {
1077   server_send_unbind (utm);
1078   if (wait_for_state_change (utm, STATE_START))
1079     {
1080       clib_warning ("timeout waiting for STATE_START");
1081       return -1;
1082     }
1083   return 0;
1084 }
1085
1086 void
1087 server_test (uri_tcp_test_main_t * utm)
1088 {
1089   if (application_attach (utm))
1090     return;
1091
1092   /* Bind to uri */
1093   if (server_listen (utm))
1094     return;
1095
1096   /* Enter handle event loop */
1097   server_handle_event_queue (utm);
1098
1099   /* Cleanup */
1100   server_send_unbind (utm);
1101
1102   application_detach (utm);
1103
1104   fformat (stdout, "Test complete...\n");
1105 }
1106
1107 static void
1108 vl_api_disconnect_session_reply_t_handler (vl_api_disconnect_session_reply_t *
1109                                            mp)
1110 {
1111   uri_tcp_test_main_t *utm = &uri_tcp_test_main;
1112   session_t *session;
1113
1114   if (mp->retval)
1115     {
1116       clib_warning ("vpp complained about disconnect: %d",
1117                     ntohl (mp->retval));
1118     }
1119
1120   utm->state = STATE_START;
1121   session = pool_elt_at_index (utm->sessions, utm->connected_session_index);
1122   if (session)
1123     session_print_stats (utm, session);
1124 }
1125
1126 #define foreach_uri_msg                                 \
1127 _(BIND_URI_REPLY, bind_uri_reply)                       \
1128 _(UNBIND_URI_REPLY, unbind_uri_reply)                   \
1129 _(ACCEPT_SESSION, accept_session)                       \
1130 _(CONNECT_SESSION_REPLY, connect_session_reply)         \
1131 _(DISCONNECT_SESSION, disconnect_session)               \
1132 _(DISCONNECT_SESSION_REPLY, disconnect_session_reply)   \
1133 _(RESET_SESSION, reset_session)                         \
1134 _(APPLICATION_ATTACH_REPLY, application_attach_reply)   \
1135 _(APPLICATION_DETACH_REPLY, application_detach_reply)   \
1136 _(MAP_ANOTHER_SEGMENT, map_another_segment)             \
1137
1138 void
1139 uri_api_hookup (uri_tcp_test_main_t * utm)
1140 {
1141 #define _(N,n)                                                  \
1142     vl_msg_api_set_handlers(VL_API_##N, #n,                     \
1143                            vl_api_##n##_t_handler,              \
1144                            vl_noop_handler,                     \
1145                            vl_api_##n##_t_endian,               \
1146                            vl_api_##n##_t_print,                \
1147                            sizeof(vl_api_##n##_t), 1);
1148   foreach_uri_msg;
1149 #undef _
1150 }
1151
1152 int
1153 main (int argc, char **argv)
1154 {
1155   uri_tcp_test_main_t *utm = &uri_tcp_test_main;
1156   unformat_input_t _argv, *a = &_argv;
1157   u8 *chroot_prefix;
1158   u8 *heap, *uri = 0;
1159   u8 *bind_uri = (u8 *) "tcp://0.0.0.0/1234";
1160   u8 *connect_uri = (u8 *) "tcp://6.0.1.2/1234";
1161   u64 bytes_to_send = 64 << 10, mbytes;
1162   u32 tmp;
1163   mheap_t *h;
1164   session_t *session;
1165   int i;
1166   int i_am_master = 1, drop_packets = 0, test_return_packets = 0;
1167
1168   clib_mem_init (0, 256 << 20);
1169
1170   heap = clib_mem_get_per_cpu_heap ();
1171   h = mheap_header (heap);
1172
1173   /* make the main heap thread-safe */
1174   h->flags |= MHEAP_FLAG_THREAD_SAFE;
1175
1176   vec_validate (utm->rx_buf, 128 << 10);
1177
1178   utm->session_index_by_vpp_handles = hash_create (0, sizeof (uword));
1179
1180   utm->my_pid = getpid ();
1181   utm->configured_segment_size = 1 << 20;
1182
1183   clib_time_init (&utm->clib_time);
1184   init_error_string_table (utm);
1185   svm_fifo_segment_init (0x200000000ULL, 20);
1186   unformat_init_command_line (a, argv);
1187
1188   while (unformat_check_input (a) != UNFORMAT_END_OF_INPUT)
1189     {
1190       if (unformat (a, "chroot prefix %s", &chroot_prefix))
1191         {
1192           vl_set_memory_root_path ((char *) chroot_prefix);
1193         }
1194       else if (unformat (a, "uri %s", &uri))
1195         ;
1196       else if (unformat (a, "segment-size %dM", &tmp))
1197         utm->configured_segment_size = tmp << 20;
1198       else if (unformat (a, "segment-size %dG", &tmp))
1199         utm->configured_segment_size = tmp << 30;
1200       else if (unformat (a, "master"))
1201         i_am_master = 1;
1202       else if (unformat (a, "slave"))
1203         i_am_master = 0;
1204       else if (unformat (a, "drop"))
1205         drop_packets = 1;
1206       else if (unformat (a, "test"))
1207         test_return_packets = 1;
1208       else if (unformat (a, "mbytes %lld", &mbytes))
1209         {
1210           bytes_to_send = mbytes << 20;
1211         }
1212       else if (unformat (a, "gbytes %lld", &mbytes))
1213         {
1214           bytes_to_send = mbytes << 30;
1215         }
1216       else
1217         {
1218           fformat (stderr, "%s: usage [master|slave]\n");
1219           exit (1);
1220         }
1221     }
1222
1223   if (uri)
1224     {
1225       utm->uri = format (0, "%s%c", uri, 0);
1226       utm->connect_uri = format (0, "%s%c", uri, 0);
1227     }
1228   else
1229     {
1230       utm->uri = format (0, "%s%c", bind_uri, 0);
1231       utm->connect_uri = format (0, "%s%c", connect_uri, 0);
1232     }
1233
1234   utm->i_am_master = i_am_master;
1235   utm->segment_main = &svm_fifo_segment_main;
1236   utm->drop_packets = drop_packets;
1237   utm->test_return_packets = test_return_packets;
1238   utm->bytes_to_send = bytes_to_send;
1239   utm->time_to_stop = 0;
1240
1241   setup_signal_handlers ();
1242   uri_api_hookup (utm);
1243
1244   if (connect_to_vpp (i_am_master ? "uri_tcp_server" : "uri_tcp_client") < 0)
1245     {
1246       svm_region_exit ();
1247       fformat (stderr, "Couldn't connect to vpe, exiting...\n");
1248       exit (1);
1249     }
1250
1251   if (i_am_master == 0)
1252     {
1253       client_test (utm);
1254       vl_client_disconnect_from_vlib ();
1255       exit (0);
1256     }
1257
1258   /* $$$$ hack preallocation */
1259   for (i = 0; i < 200000; i++)
1260     {
1261       pool_get (utm->sessions, session);
1262       memset (session, 0, sizeof (*session));
1263     }
1264   for (i = 0; i < 200000; i++)
1265     pool_put_index (utm->sessions, i);
1266
1267   server_test (utm);
1268
1269   vl_client_disconnect_from_vlib ();
1270   exit (0);
1271 }
1272
1273 /*
1274  * fd.io coding-style-patch-verification: ON
1275  *
1276  * Local Variables:
1277  * eval: (c-set-style "gnu")
1278  * End:
1279  */