src/plugins/hs_apps/vcl/vcl_test_server.c

   1 /*
   2  * Copyright (c) 2017-2019 Cisco and/or its affiliates.
   3  * Licensed under the Apache License, Version 2.0 (the "License");
   4  * you may not use this file except in compliance with the License.
   5  * You may obtain a copy of the License at:
   6  *
   7  *     http://www.apache.org/licenses/LICENSE-2.0
   8  *
   9  * Unless required by applicable law or agreed to in writing, software
  10  * distributed under the License is distributed on an "AS IS" BASIS,
  11  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  12  * See the License for the specific language governing permissions and
  13  * limitations under the License.
  14  */
  15
  16 #include <unistd.h>
  17 #include <errno.h>
  18 #include <sys/types.h>
  19 #include <sys/socket.h>
  20 #include <stdio.h>
  21 #include <string.h>
  22 #include <time.h>
  23 #include <ctype.h>
  24 #include <sys/stat.h>
  25 #include <fcntl.h>
  26 #include <hs_apps/vcl/vcl_test.h>
  27 #include <sys/epoll.h>
  28 #include <vppinfra/mem.h>
  29 #include <pthread.h>
  30
  31 typedef struct
  32 {
  33   uint16_t port;
  34   uint32_t address_ip6;
  35   u8 proto;
  36   u8 workers;
  37   vppcom_endpt_t endpt;
  38 } vcl_test_server_cfg_t;
  39
  40 typedef struct
  41 {
  42   uint32_t wrk_index;
  43   int listen_fd;
  44   int epfd;
  45   struct epoll_event wait_events[VCL_TEST_CFG_MAX_EPOLL_EVENTS];
  46   size_t conn_pool_size;
  47   vcl_test_session_t *conn_pool;
  48   int nfds;
  49   pthread_t thread_handle;
  50 } vcl_test_server_worker_t;
  51
  52 typedef struct
  53 {
  54   vcl_test_server_cfg_t cfg;
  55   vcl_test_server_worker_t *workers;
  56
  57   vcl_test_session_t *ctrl;
  58   int ctrl_listen_fd;
  59   struct sockaddr_storage servaddr;
  60   volatile int worker_fails;
  61   volatile int active_workers;
  62   u8 use_ds;
  63 } vcl_test_server_main_t;
  64
  65 static __thread int __wrk_index = 0;
  66
  67 static vcl_test_server_main_t vcl_server_main;
  68
  69 static inline void
  70 conn_pool_expand (vcl_test_server_worker_t * wrk, size_t expand_size)
  71 {
  72   vcl_test_session_t *conn_pool;
  73   size_t new_size = wrk->conn_pool_size + expand_size;
  74   int i;
  75
  76   conn_pool = realloc (wrk->conn_pool, new_size * sizeof (*wrk->conn_pool));
  77   if (conn_pool)
  78     {
  79       for (i = wrk->conn_pool_size; i < new_size; i++)
  80         {
  81           vcl_test_session_t *conn = &conn_pool[i];
  82           memset (conn, 0, sizeof (*conn));
  83           vcl_test_cfg_init (&conn->cfg);
  84           vcl_test_buf_alloc (&conn->cfg, 1 /* is_rxbuf */,
  85                               (uint8_t **) &conn->rxbuf, &conn->rxbuf_size);
  86           conn->cfg.txbuf_size = conn->cfg.rxbuf_size;
  87         }
  88
  89       wrk->conn_pool = conn_pool;
  90       wrk->conn_pool_size = new_size;
  91     }
  92   else
  93     {
  94       vterr ("conn_pool_expand()", -errno);
  95     }
  96 }
  97
  98 static inline vcl_test_session_t *
  99 conn_pool_alloc (vcl_test_server_worker_t *wrk)
 100 {
 101   int i, expand = 0;
 102
 103 again:
 104   for (i = 0; i < wrk->conn_pool_size; i++)
 105     {
 106       if (!wrk->conn_pool[i].is_alloc)
 107         {
 108           wrk->conn_pool[i].endpt.ip = wrk->conn_pool[i].ip;
 109           wrk->conn_pool[i].is_alloc = 1;
 110           return (&wrk->conn_pool[i]);
 111         }
 112     }
 113
 114   if (expand == 0)
 115     {
 116       conn_pool_expand (wrk, 2 * wrk->conn_pool_size);
 117       expand = 1;
 118       goto again;
 119     }
 120   vtwrn ("Failed to allocate connection even after expand");
 121   return 0;
 122 }
 123
 124 static inline void
 125 conn_pool_free (vcl_test_session_t *conn)
 126 {
 127   conn->fd = 0;
 128   conn->is_alloc = 0;
 129 }
 130
 131 static inline void
 132 sync_config_and_reply (vcl_test_session_t *conn, vcl_test_cfg_t *rx_cfg)
 133 {
 134   conn->cfg = *rx_cfg;
 135   vcl_test_buf_alloc (&conn->cfg, 1 /* is_rxbuf */, (uint8_t **) &conn->rxbuf,
 136                       &conn->rxbuf_size);
 137   conn->cfg.txbuf_size = conn->cfg.rxbuf_size;
 138
 139   if (conn->cfg.verbose)
 140     {
 141       vtinf ("(fd %d): Replying to cfg message!\n", conn->fd);
 142       vcl_test_cfg_dump (&conn->cfg, 0 /* is_client */ );
 143     }
 144   (void) vcl_test_write (conn, &conn->cfg, sizeof (conn->cfg));
 145 }
 146
 147 static void
 148 vts_session_close (vcl_test_session_t *conn)
 149 {
 150   if (!conn->is_open)
 151     return;
 152   vppcom_session_close (conn->fd);
 153   conn->is_open = 0;
 154 }
 155
 156 static void
 157 vts_session_cleanup (vcl_test_session_t *conn)
 158 {
 159   vts_session_close (conn);
 160   conn_pool_free (conn);
 161 }
 162
 163 static void
 164 vts_wrk_cleanup_all (vcl_test_server_worker_t *wrk)
 165 {
 166   vcl_test_session_t *conn;
 167   int i;
 168
 169   for (i = 0; i < wrk->conn_pool_size; i++)
 170     {
 171       conn = &wrk->conn_pool[i];
 172       vts_session_cleanup (conn);
 173     }
 174
 175   wrk->nfds = 0;
 176 }
 177
 178 static void
 179 vts_test_cmd (vcl_test_server_worker_t *wrk, vcl_test_session_t *conn,
 180               vcl_test_cfg_t *rx_cfg)
 181 {
 182   u8 is_bi = rx_cfg->test == VCL_TEST_TYPE_BI;
 183   vcl_test_session_t *tc;
 184   char buf[64];
 185   int i;
 186
 187   if (rx_cfg->cmd == VCL_TEST_CMD_STOP)
 188     {
 189       struct timespec stop;
 190       clock_gettime (CLOCK_REALTIME, &stop);
 191
 192       /* Test session are not closed, e.g., connection-less or errors */
 193       if (wrk->nfds > 1)
 194         {
 195           vtinf ("%u sessions are still open", wrk->nfds - 1);
 196           stop.tv_sec -= VCL_TEST_DELAY_DISCONNECT;
 197           conn->stats.stop = stop;
 198         }
 199
 200       /* Accumulate stats over all of the worker's sessions */
 201       for (i = 0; i < wrk->conn_pool_size; i++)
 202         {
 203           tc = &wrk->conn_pool[i];
 204           if (tc == conn)
 205             continue;
 206
 207           vcl_test_stats_accumulate (&conn->stats, &tc->stats);
 208           if (tc->is_open)
 209             {
 210               vts_session_close (tc);
 211               continue;
 212             }
 213           /* Only relevant if all connections previously closed */
 214           if (vcl_comp_tspec (&conn->stats.stop, &tc->stats.stop) < 0)
 215             conn->stats.stop = tc->stats.stop;
 216         }
 217
 218       if (conn->cfg.verbose)
 219         {
 220           snprintf (buf, sizeof (buf), "SERVER (fd %d) RESULTS", conn->fd);
 221           vcl_test_stats_dump (buf, &conn->stats, 1 /* show_rx */,
 222                                is_bi /* show tx */, conn->cfg.verbose);
 223         }
 224
 225       vcl_test_stats_dump ("SERVER RESULTS", &conn->stats, 1 /* show_rx */ ,
 226                            is_bi /* show_tx */ , conn->cfg.verbose);
 227       vcl_test_cfg_dump (&conn->cfg, 0 /* is_client */ );
 228       if (conn->cfg.verbose)
 229         {
 230           vtinf ("  vcl server main\n" VCL_TEST_SEPARATOR_STRING
 231                  "       buf:  %p\n"
 232                  "  buf size:  %u (0x%08x)\n" VCL_TEST_SEPARATOR_STRING,
 233                  conn->rxbuf, conn->rxbuf_size, conn->rxbuf_size);
 234         }
 235
 236       sync_config_and_reply (conn, rx_cfg);
 237       memset (&conn->stats, 0, sizeof (conn->stats));
 238     }
 239   else if (rx_cfg->cmd == VCL_TEST_CMD_SYNC)
 240     {
 241       rx_cfg->ctrl_handle = conn->fd;
 242       vtinf ("Set control fd %d for test!", conn->fd);
 243       sync_config_and_reply (conn, rx_cfg);
 244     }
 245   else if (rx_cfg->cmd == VCL_TEST_CMD_START)
 246     {
 247       vtinf ("Starting %s-directional Stream Test (fd %d)!",
 248              is_bi ? "Bi" : "Uni", conn->fd);
 249       rx_cfg->ctrl_handle = conn->fd;
 250       sync_config_and_reply (conn, rx_cfg);
 251
 252       /* read the 1st chunk, record start time */
 253       memset (&conn->stats, 0, sizeof (conn->stats));
 254       clock_gettime (CLOCK_REALTIME, &conn->stats.start);
 255     }
 256 }
 257
 258 static inline void
 259 vts_server_process_rx (vcl_test_session_t *conn, int rx_bytes)
 260 {
 261   vcl_test_server_main_t *vsm = &vcl_server_main;
 262
 263   if (conn->cfg.test == VCL_TEST_TYPE_BI)
 264     {
 265       if (vsm->use_ds)
 266         {
 267           (void) vcl_test_write (conn, conn->ds[0].data, conn->ds[0].len);
 268           if (conn->ds[1].len)
 269             (void) vcl_test_write (conn, conn->ds[1].data, conn->ds[1].len);
 270         }
 271       else
 272         (void) vcl_test_write (conn, conn->rxbuf, rx_bytes);
 273     }
 274
 275   if (vsm->use_ds)
 276     vppcom_session_free_segments (conn->fd, rx_bytes);
 277
 278   if (conn->stats.rx_bytes >= conn->cfg.total_bytes)
 279     clock_gettime (CLOCK_REALTIME, &conn->stats.stop);
 280 }
 281
 282 static void
 283 vts_server_echo (vcl_test_session_t *conn, int rx_bytes)
 284 {
 285   int tx_bytes, nbytes, pos;
 286
 287   /* If it looks vaguely like a string, make sure it's terminated */
 288   pos = rx_bytes < conn->rxbuf_size ? rx_bytes : conn->rxbuf_size - 1;
 289   ((char *) conn->rxbuf)[pos] = 0;
 290   vtinf ("(fd %d): RX (%d bytes) - '%s'", conn->fd, rx_bytes, conn->rxbuf);
 291
 292   if (conn->cfg.verbose)
 293     vtinf ("(fd %d): Echoing back", conn->fd);
 294
 295   nbytes = strlen ((const char *) conn->rxbuf) + 1;
 296   tx_bytes = vcl_test_write (conn, conn->rxbuf, nbytes);
 297   if (tx_bytes >= 0)
 298     vtinf ("(fd %d): TX (%d bytes) - '%s'", conn->fd, tx_bytes, conn->rxbuf);
 299 }
 300
 301 static vcl_test_session_t *
 302 vts_accept_client (vcl_test_server_worker_t *wrk, int listen_fd)
 303 {
 304   vcl_test_session_t *conn;
 305   struct epoll_event ev;
 306   int rv, client_fd;
 307
 308   conn = conn_pool_alloc (wrk);
 309   if (!conn)
 310     {
 311       vtwrn ("No free connections!");
 312       return 0;
 313     }
 314
 315   client_fd = vppcom_session_accept (listen_fd, &conn->endpt, 0);
 316   if (client_fd < 0)
 317     {
 318       vterr ("vppcom_session_accept()", client_fd);
 319       return 0;
 320     }
 321   conn->fd = client_fd;
 322   conn->is_open = 1;
 323
 324   vtinf ("Got a connection -- fd = %d (0x%08x) on listener fd = %d (0x%08x)",
 325          client_fd, client_fd, listen_fd, listen_fd);
 326
 327   ev.events = EPOLLIN;
 328   ev.data.u64 = conn - wrk->conn_pool;
 329   rv = vppcom_epoll_ctl (wrk->epfd, EPOLL_CTL_ADD, client_fd, &ev);
 330   if (rv < 0)
 331     {
 332       vterr ("vppcom_epoll_ctl()", rv);
 333       return 0;
 334     }
 335   wrk->nfds++;
 336
 337   return conn;
 338 }
 339
 340 static void
 341 print_usage_and_exit (void)
 342 {
 343   fprintf (stderr,
 344            "vcl_test_server [OPTIONS] <port>\n"
 345            "  OPTIONS\n"
 346            "  -h               Print this message and exit.\n"
 347            "  -6               Use IPv6\n"
 348            "  -w <num>         Number of workers\n"
 349            "  -p <PROTO>       Use <PROTO> transport layer\n"
 350            "  -D               Use UDP transport layer\n"
 351            "  -L               Use TLS transport layer\n");
 352   exit (1);
 353 }
 354
 355 static void
 356 vcl_test_init_endpoint_addr (vcl_test_server_main_t * vsm)
 357 {
 358   struct sockaddr_storage *servaddr = &vsm->servaddr;
 359   memset (servaddr, 0, sizeof (*servaddr));
 360
 361   if (vsm->cfg.address_ip6)
 362     {
 363       struct sockaddr_in6 *server_addr = (struct sockaddr_in6 *) servaddr;
 364       server_addr->sin6_family = AF_INET6;
 365       server_addr->sin6_addr = in6addr_any;
 366       server_addr->sin6_port = htons (vsm->cfg.port);
 367     }
 368   else
 369     {
 370       struct sockaddr_in *server_addr = (struct sockaddr_in *) servaddr;
 371       server_addr->sin_family = AF_INET;
 372       server_addr->sin_addr.s_addr = htonl (INADDR_ANY);
 373       server_addr->sin_port = htons (vsm->cfg.port);
 374     }
 375
 376   if (vsm->cfg.address_ip6)
 377     {
 378       struct sockaddr_in6 *server_addr = (struct sockaddr_in6 *) servaddr;
 379       vsm->cfg.endpt.is_ip4 = 0;
 380       vsm->cfg.endpt.ip = (uint8_t *) & server_addr->sin6_addr;
 381       vsm->cfg.endpt.port = (uint16_t) server_addr->sin6_port;
 382     }
 383   else
 384     {
 385       struct sockaddr_in *server_addr = (struct sockaddr_in *) servaddr;
 386       vsm->cfg.endpt.is_ip4 = 1;
 387       vsm->cfg.endpt.ip = (uint8_t *) & server_addr->sin_addr;
 388       vsm->cfg.endpt.port = (uint16_t) server_addr->sin_port;
 389     }
 390 }
 391
 392 static void
 393 vcl_test_server_process_opts (vcl_test_server_main_t * vsm, int argc,
 394                               char **argv)
 395 {
 396   int v, c;
 397
 398   vsm->cfg.proto = VPPCOM_PROTO_TCP;
 399
 400   opterr = 0;
 401   while ((c = getopt (argc, argv, "6DLsw:hp:")) != -1)
 402     switch (c)
 403       {
 404       case '6':
 405         vsm->cfg.address_ip6 = 1;
 406         break;
 407
 408       case 'p':
 409         if (vppcom_unformat_proto (&vsm->cfg.proto, optarg))
 410           vtwrn ("Invalid vppcom protocol %s, defaulting to TCP", optarg);
 411         break;
 412
 413       case 'D':
 414         vsm->cfg.proto = VPPCOM_PROTO_UDP;
 415         break;
 416
 417       case 'L':
 418         vsm->cfg.proto = VPPCOM_PROTO_TLS;
 419         break;
 420
 421       case 'w':
 422         v = atoi (optarg);
 423         if (v > 1)
 424           vsm->cfg.workers = v;
 425         else
 426           vtwrn ("Invalid number of workers %d", v);
 427         break;
 428       case 's':
 429         vsm->use_ds = 1;
 430         break;
 431       case '?':
 432         switch (optopt)
 433           {
 434           case 'w':
 435           case 'p':
 436             vtwrn ("Option `-%c' requires an argument.", optopt);
 437             break;
 438           default:
 439             if (isprint (optopt))
 440               vtwrn ("Unknown option `-%c'.", optopt);
 441             else
 442               vtwrn ("Unknown option character `\\x%x'.", optopt);
 443           }
 444         /* fall thru */
 445       case 'h':
 446       default:
 447         print_usage_and_exit ();
 448       }
 449
 450   if (argc < (optind + 1))
 451     {
 452       fprintf (stderr, "SERVER: ERROR: Insufficient number of arguments!\n");
 453       print_usage_and_exit ();
 454     }
 455
 456   if (sscanf (argv[optind], "%d", &v) == 1)
 457     vsm->cfg.port = (uint16_t) v;
 458   else
 459     {
 460       fprintf (stderr, "SERVER: ERROR: Invalid port (%s)!\n", argv[optind]);
 461       print_usage_and_exit ();
 462     }
 463
 464   vcl_test_init_endpoint_addr (vsm);
 465 }
 466
 467 static void
 468 vts_clean_connected_listeners (vcl_test_server_worker_t * wrk,
 469                                int listener_fd)
 470 {
 471   if ((vppcom_session_n_accepted (listener_fd) == 0) &
 472       vppcom_session_is_connectable_listener (listener_fd))
 473     {
 474       vtinf ("Connected Listener fd %x has no more sessions", listener_fd);
 475       vppcom_session_close (listener_fd);
 476       wrk->nfds--;
 477     }
 478 }
 479
 480 int
 481 vts_handle_ctrl_cfg (vcl_test_server_worker_t *wrk, vcl_test_cfg_t *rx_cfg,
 482                      vcl_test_session_t *conn, int rx_bytes)
 483 {
 484   int listener_fd;
 485   if (rx_cfg->verbose)
 486     {
 487       vtinf ("(fd %d): Received a cfg msg!", conn->fd);
 488       vcl_test_cfg_dump (rx_cfg, 0 /* is_client */ );
 489     }
 490
 491   if (rx_bytes != sizeof (*rx_cfg))
 492     {
 493       vtinf ("(fd %d): Invalid cfg msg size %d expected %lu!", conn->fd,
 494              rx_bytes, sizeof (*rx_cfg));
 495       conn->cfg.rxbuf_size = 0;
 496       conn->cfg.num_writes = 0;
 497       if (conn->cfg.verbose)
 498         {
 499           vtinf ("(fd %d): Replying to cfg msg", conn->fd);
 500           vcl_test_cfg_dump (rx_cfg, 0 /* is_client */ );
 501         }
 502       vcl_test_write (conn, &conn->cfg, sizeof (conn->cfg));
 503       return -1;
 504     }
 505
 506   switch (rx_cfg->test)
 507     {
 508     case VCL_TEST_TYPE_NONE:
 509     case VCL_TEST_TYPE_ECHO:
 510       sync_config_and_reply (conn, rx_cfg);
 511       break;
 512
 513     case VCL_TEST_TYPE_BI:
 514     case VCL_TEST_TYPE_UNI:
 515       vts_test_cmd (wrk, conn, rx_cfg);
 516       break;
 517
 518     case VCL_TEST_TYPE_EXIT:
 519       vtinf ("Ctrl session fd %d closing!", conn->fd);
 520       listener_fd = vppcom_session_listener (conn->fd);
 521       vts_clean_connected_listeners (wrk, listener_fd);
 522       vts_session_cleanup (conn);
 523       wrk->nfds--;
 524       if (wrk->nfds)
 525         vts_wrk_cleanup_all (wrk);
 526       break;
 527
 528     default:
 529       vtwrn ("Unknown test type %d", rx_cfg->test);
 530       vcl_test_cfg_dump (rx_cfg, 0 /* is_client */ );
 531       break;
 532     }
 533
 534   return 0;
 535 }
 536
 537 static void
 538 vts_worker_init (vcl_test_server_worker_t * wrk)
 539 {
 540   vcl_test_server_main_t *vsm = &vcl_server_main;
 541   struct epoll_event listen_ev;
 542   int rv;
 543
 544   __wrk_index = wrk->wrk_index;
 545
 546   vtinf ("Initializing worker ...");
 547
 548   conn_pool_expand (wrk, VCL_TEST_CFG_MAX_TEST_SESS + 1);
 549   if (wrk->wrk_index)
 550     if (vppcom_worker_register ())
 551       vtfail ("vppcom_worker_register()", 1);
 552
 553   wrk->listen_fd = vppcom_session_create (vsm->cfg.proto,
 554                                           0 /* is_nonblocking */ );
 555   if (wrk->listen_fd < 0)
 556     vtfail ("vppcom_session_create()", wrk->listen_fd);
 557
 558   if (vsm->cfg.proto == VPPCOM_PROTO_UDP)
 559     {
 560       vppcom_session_attr (wrk->listen_fd, VPPCOM_ATTR_SET_CONNECTED, 0, 0);
 561     }
 562
 563   if (vsm->cfg.proto == VPPCOM_PROTO_TLS ||
 564       vsm->cfg.proto == VPPCOM_PROTO_QUIC ||
 565       vsm->cfg.proto == VPPCOM_PROTO_DTLS)
 566     {
 567       vppcom_cert_key_pair_t ckpair;
 568       uint32_t ckp_len;
 569       int ckp_index;
 570
 571       vtinf ("Adding tls certs ...");
 572       ckpair.cert = vcl_test_crt_rsa;
 573       ckpair.key = vcl_test_key_rsa;
 574       ckpair.cert_len = vcl_test_crt_rsa_len;
 575       ckpair.key_len = vcl_test_key_rsa_len;
 576       ckp_index = vppcom_add_cert_key_pair (&ckpair);
 577       if (ckp_index < 0)
 578         vtfail ("vppcom_add_cert_key_pair()", ckp_index);
 579
 580       ckp_len = sizeof (ckp_index);
 581       vppcom_session_attr (wrk->listen_fd, VPPCOM_ATTR_SET_CKPAIR, &ckp_index,
 582                            &ckp_len);
 583     }
 584
 585   rv = vppcom_session_bind (wrk->listen_fd, &vsm->cfg.endpt);
 586   if (rv < 0)
 587     vtfail ("vppcom_session_bind()", rv);
 588
 589   if (!(vsm->cfg.proto == VPPCOM_PROTO_UDP))
 590     {
 591       rv = vppcom_session_listen (wrk->listen_fd, 10);
 592       if (rv < 0)
 593         vtfail ("vppcom_session_listen()", rv);
 594     }
 595
 596   /* First worker already has epoll fd */
 597   if (wrk->wrk_index)
 598     {
 599       wrk->epfd = vppcom_epoll_create ();
 600       if (wrk->epfd < 0)
 601         vtfail ("vppcom_epoll_create()", wrk->epfd);
 602     }
 603
 604   listen_ev.events = EPOLLIN;
 605   listen_ev.data.u32 = VCL_TEST_DATA_LISTENER;
 606   rv = vppcom_epoll_ctl (wrk->epfd, EPOLL_CTL_ADD, wrk->listen_fd,
 607                          &listen_ev);
 608   if (rv < 0)
 609     vtfail ("vppcom_epoll_ctl", rv);
 610
 611   vsm->active_workers += 1;
 612   vtinf ("Waiting for a client to connect on port %d ...", vsm->cfg.port);
 613 }
 614
 615 static inline int
 616 vts_conn_read (vcl_test_session_t *conn)
 617 {
 618   vcl_test_server_main_t *vsm = &vcl_server_main;
 619   if (vsm->use_ds)
 620     return vcl_test_read_ds (conn);
 621   else
 622     return vcl_test_read (conn, conn->rxbuf, conn->rxbuf_size);
 623 }
 624
 625 static void *
 626 vts_worker_loop (void *arg)
 627 {
 628   vcl_test_server_main_t *vsm = &vcl_server_main;
 629   vcl_test_server_worker_t *wrk = arg;
 630   vcl_test_session_t *conn;
 631   int i, rx_bytes, num_ev, listener_fd;
 632   vcl_test_cfg_t *rx_cfg;
 633
 634   if (wrk->wrk_index)
 635     vts_worker_init (wrk);
 636
 637   while (1)
 638     {
 639       num_ev = vppcom_epoll_wait (wrk->epfd, wrk->wait_events,
 640                                   VCL_TEST_CFG_MAX_EPOLL_EVENTS, 60000.0);
 641       if (num_ev < 0)
 642         {
 643           vterr ("vppcom_epoll_wait()", num_ev);
 644           goto fail;
 645         }
 646       else if (num_ev == 0)
 647         {
 648           vtinf ("vppcom_epoll_wait() timeout!");
 649           continue;
 650         }
 651       for (i = 0; i < num_ev; i++)
 652         {
 653           conn = &wrk->conn_pool[wrk->wait_events[i].data.u32];
 654           /*
 655            * Check for close events
 656            */
 657           if (wrk->wait_events[i].events & (EPOLLHUP | EPOLLRDHUP))
 658             {
 659               listener_fd = vppcom_session_listener (conn->fd);
 660               vts_clean_connected_listeners (wrk, listener_fd);
 661               vts_session_close (conn);
 662               wrk->nfds--;
 663               if (!wrk->nfds)
 664                 {
 665                   vtinf ("All client connections closed\n");
 666                   goto done;
 667                 }
 668               continue;
 669             }
 670
 671           /*
 672            * Check if new session needs to be accepted
 673            */
 674
 675           if (wrk->wait_events[i].data.u32 == VCL_TEST_CTRL_LISTENER)
 676             {
 677               if (vsm->ctrl)
 678                 {
 679                   vtwrn ("ctrl already exists");
 680                   continue;
 681                 }
 682               vsm->ctrl = vts_accept_client (wrk, vsm->ctrl_listen_fd);
 683               continue;
 684             }
 685           if (wrk->wait_events[i].data.u32 == VCL_TEST_DATA_LISTENER)
 686             {
 687               conn = vts_accept_client (wrk, wrk->listen_fd);
 688               conn->cfg = vsm->ctrl->cfg;
 689               continue;
 690             }
 691           else if (vppcom_session_is_connectable_listener (conn->fd))
 692             {
 693               vts_accept_client (wrk, conn->fd);
 694               continue;
 695             }
 696
 697           /*
 698            * Message on control session
 699            */
 700
 701           if (!wrk->wrk_index && conn->fd == vsm->ctrl->fd)
 702             {
 703               rx_bytes = vcl_test_read (conn, conn->rxbuf, conn->rxbuf_size);
 704               rx_cfg = (vcl_test_cfg_t *) conn->rxbuf;
 705               if (rx_cfg->magic == VCL_TEST_CFG_CTRL_MAGIC)
 706                 {
 707                   vts_handle_ctrl_cfg (wrk, rx_cfg, conn, rx_bytes);
 708                   if (!wrk->nfds)
 709                     {
 710                       vtinf ("All client connections closed\n");
 711                       goto done;
 712                     }
 713                 }
 714               else if (isascii (conn->rxbuf[0]))
 715                 {
 716                   vts_server_echo (conn, rx_bytes);
 717                 }
 718               else
 719                 {
 720                   vtwrn ("FIFO not drained! extra bytes %d", rx_bytes);
 721                 }
 722               continue;
 723             }
 724
 725           /*
 726            * Read perf test data
 727            */
 728
 729           if (EPOLLIN & wrk->wait_events[i].events)
 730             {
 731             read_again:
 732               rx_bytes = vts_conn_read (conn);
 733
 734               if (rx_bytes <= 0)
 735                 {
 736                   if (errno == ECONNRESET)
 737                     {
 738                       vtinf ("Connection reset by remote peer.\n");
 739                       goto fail;
 740                     }
 741                   else
 742                     continue;
 743                 }
 744               vts_server_process_rx (conn, rx_bytes);
 745               if (vppcom_session_attr (conn->fd, VPPCOM_ATTR_GET_NREAD, 0, 0) >
 746                   0)
 747                 goto read_again;
 748               continue;
 749             }
 750           else
 751             {
 752               vtwrn ("Unhandled event");
 753               goto fail;
 754             }
 755         }
 756     }
 757
 758 fail:
 759   vsm->worker_fails -= 1;
 760
 761 done:
 762   vppcom_session_close (wrk->listen_fd);
 763   if (wrk->conn_pool)
 764     free (wrk->conn_pool);
 765   vsm->active_workers -= 1;
 766   return 0;
 767 }
 768
 769 static void
 770 vts_ctrl_session_init (vcl_test_server_worker_t *wrk)
 771 {
 772   vcl_test_server_main_t *vsm = &vcl_server_main;
 773   struct epoll_event listen_ev;
 774   int rv;
 775
 776   vtinf ("Initializing main ctrl session ...");
 777
 778   vsm->ctrl_listen_fd =
 779     vppcom_session_create (VPPCOM_PROTO_TCP, 0 /* is_nonblocking */);
 780   if (vsm->ctrl_listen_fd < 0)
 781     vtfail ("vppcom_session_create()", vsm->ctrl_listen_fd);
 782
 783   rv = vppcom_session_bind (vsm->ctrl_listen_fd, &vsm->cfg.endpt);
 784   if (rv < 0)
 785     vtfail ("vppcom_session_bind()", rv);
 786
 787   rv = vppcom_session_listen (vsm->ctrl_listen_fd, 10);
 788   if (rv < 0)
 789     vtfail ("vppcom_session_listen()", rv);
 790
 791   wrk->epfd = vppcom_epoll_create ();
 792   if (wrk->epfd < 0)
 793     vtfail ("vppcom_epoll_create()", wrk->epfd);
 794
 795   listen_ev.events = EPOLLIN;
 796   listen_ev.data.u32 = VCL_TEST_CTRL_LISTENER;
 797   rv = vppcom_epoll_ctl (wrk->epfd, EPOLL_CTL_ADD, vsm->ctrl_listen_fd,
 798                          &listen_ev);
 799   if (rv < 0)
 800     vtfail ("vppcom_epoll_ctl", rv);
 801
 802   vtinf ("Waiting for a client to connect on port %d ...", vsm->cfg.port);
 803 }
 804
 805 int
 806 main (int argc, char **argv)
 807 {
 808   vcl_test_server_main_t *vsm = &vcl_server_main;
 809   int rv, i;
 810
 811   clib_mem_init_thread_safe (0, 64 << 20);
 812   vsm->cfg.port = VCL_TEST_SERVER_PORT;
 813   vsm->cfg.workers = 1;
 814   vsm->active_workers = 0;
 815   vcl_test_server_process_opts (vsm, argc, argv);
 816
 817   rv = vppcom_app_create ("vcl_test_server");
 818   if (rv)
 819     vtfail ("vppcom_app_create()", rv);
 820
 821   vsm->workers = calloc (vsm->cfg.workers, sizeof (*vsm->workers));
 822   vts_ctrl_session_init (&vsm->workers[0]);
 823
 824   /* Update ctrl port to data port */
 825   vsm->cfg.endpt.port += 1;
 826   vts_worker_init (&vsm->workers[0]);
 827   for (i = 1; i < vsm->cfg.workers; i++)
 828     {
 829       vsm->workers[i].wrk_index = i;
 830       rv = pthread_create (&vsm->workers[i].thread_handle, NULL,
 831                            vts_worker_loop, (void *) &vsm->workers[i]);
 832     }
 833
 834   vts_worker_loop (&vsm->workers[0]);
 835
 836   while (vsm->active_workers > 0)
 837     ;
 838
 839   vppcom_app_destroy ();
 840   free (vsm->workers);
 841
 842   return vsm->worker_fails;
 843 }
 844
 845 /*
 846  * fd.io coding-style-patch-verification: ON
 847  *
 848  * Local Variables:
 849  * eval: (c-set-style "gnu")
 850  * End:
 851  */