74ad19ebbc2e0c58787a4c8ea98e01db2dfacaef
[vpp.git] / src / vlib / unix / main.c
1 /*
2  * Copyright (c) 2015 Cisco and/or its affiliates.
3  * Licensed under the Apache License, Version 2.0 (the "License");
4  * you may not use this file except in compliance with the License.
5  * You may obtain a copy of the License at:
6  *
7  *     http://www.apache.org/licenses/LICENSE-2.0
8  *
9  * Unless required by applicable law or agreed to in writing, software
10  * distributed under the License is distributed on an "AS IS" BASIS,
11  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
12  * See the License for the specific language governing permissions and
13  * limitations under the License.
14  */
15 /*
16  * main.c: Unix main routine
17  *
18  * Copyright (c) 2008 Eliot Dresselhaus
19  *
20  * Permission is hereby granted, free of charge, to any person obtaining
21  * a copy of this software and associated documentation files (the
22  * "Software"), to deal in the Software without restriction, including
23  * without limitation the rights to use, copy, modify, merge, publish,
24  * distribute, sublicense, and/or sell copies of the Software, and to
25  * permit persons to whom the Software is furnished to do so, subject to
26  * the following conditions:
27  *
28  * The above copyright notice and this permission notice shall be
29  * included in all copies or substantial portions of the Software.
30  *
31  *  THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND,
32  *  EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF
33  *  MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND
34  *  NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE
35  *  LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION
36  *  OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION
37  *  WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.
38  */
39 #include <vlib/vlib.h>
40 #include <vlib/unix/unix.h>
41 #include <vlib/unix/plugin.h>
42
43 #include <limits.h>
44 #include <signal.h>
45 #include <sys/ucontext.h>
46 #include <syslog.h>
47 #include <sys/types.h>
48 #include <sys/stat.h>
49 #include <fcntl.h>
50 #include <sys/time.h>
51 #include <sys/resource.h>
52 #include <unistd.h>
53
54 /** Default CLI pager limit is not configured in startup.conf */
55 #define UNIX_CLI_DEFAULT_PAGER_LIMIT 100000
56
57 /** Default CLI history depth if not configured in startup.conf */
58 #define UNIX_CLI_DEFAULT_HISTORY 50
59
60 char *vlib_default_runtime_dir __attribute__ ((weak));
61 char *vlib_default_runtime_dir = "vlib";
62
63 unix_main_t unix_main;
64 clib_file_main_t file_main;
65
66 static clib_error_t *
67 unix_main_init (vlib_main_t * vm)
68 {
69   unix_main_t *um = &unix_main;
70   um->vlib_main = vm;
71   return 0;
72 }
73
74 /* *INDENT-OFF* */
75 VLIB_INIT_FUNCTION (unix_main_init) =
76 {
77   .runs_before = VLIB_INITS ("unix_input_init"),
78 };
79 /* *INDENT-ON* */
80
81 static int
82 unsetup_signal_handlers (int sig)
83 {
84   struct sigaction sa;
85
86   sa.sa_handler = SIG_DFL;
87   sa.sa_flags = 0;
88   sigemptyset (&sa.sa_mask);
89   return sigaction (sig, &sa, 0);
90 }
91
92
93 /* allocate this buffer from mheap when setting up the signal handler.
94     dangerous to vec_resize it when crashing, mheap itself might have been
95     corrupted already */
96 static u8 *syslog_msg = 0;
97 int vlib_last_signum = 0;
98 uword vlib_last_faulting_address = 0;
99
100 static void
101 unix_signal_handler (int signum, siginfo_t * si, ucontext_t * uc)
102 {
103   uword fatal = 0;
104
105   /* These come in handy when looking at core files from optimized images */
106   vlib_last_signum = signum;
107   vlib_last_faulting_address = (uword) si->si_addr;
108
109   syslog_msg = format (syslog_msg, "received signal %U, PC %U",
110                        format_signal, signum, format_ucontext_pc, uc);
111
112   if (signum == SIGSEGV)
113     syslog_msg = format (syslog_msg, ", faulting address %p", si->si_addr);
114
115   switch (signum)
116     {
117       /* these (caught) signals cause the application to exit */
118     case SIGTERM:
119       /*
120        * Ignore SIGTERM if it's sent before we're ready.
121        */
122       if (unix_main.vlib_main && unix_main.vlib_main->main_loop_exit_set)
123         {
124           syslog (LOG_ERR | LOG_DAEMON, "received SIGTERM, exiting...");
125           unix_main.vlib_main->main_loop_exit_now = 1;
126         }
127       else
128         syslog (LOG_ERR | LOG_DAEMON, "IGNORE early SIGTERM...");
129       break;
130       /* fall through */
131     case SIGQUIT:
132     case SIGINT:
133     case SIGILL:
134     case SIGBUS:
135     case SIGSEGV:
136     case SIGHUP:
137     case SIGFPE:
138     case SIGABRT:
139       fatal = 1;
140       break;
141
142       /* by default, print a message and continue */
143     default:
144       fatal = 0;
145       break;
146     }
147
148 #ifdef CLIB_GCOV
149   /*
150    * Test framework sends SIGTERM, so we need to flush the
151    * code coverage stats here.
152    */
153   {
154     void __gcov_flush (void);
155     __gcov_flush ();
156   }
157 #endif
158
159   /* Null terminate. */
160   vec_add1 (syslog_msg, 0);
161
162   if (fatal)
163     {
164       syslog (LOG_ERR | LOG_DAEMON, "%s", syslog_msg);
165
166       /* Address of callers: outer first, inner last. */
167       uword callers[15];
168       uword n_callers = clib_backtrace (callers, ARRAY_LEN (callers), 0);
169       int i;
170       for (i = 0; i < n_callers; i++)
171         {
172           vec_reset_length (syslog_msg);
173
174           syslog_msg =
175             format (syslog_msg, "#%-2d 0x%016lx %U%c", i, callers[i],
176                     format_clib_elf_symbol_with_address, callers[i], 0);
177
178           syslog (LOG_ERR | LOG_DAEMON, "%s", syslog_msg);
179         }
180
181       /* have to remove SIGABRT to avoid recursive - os_exit calling abort() */
182       unsetup_signal_handlers (SIGABRT);
183
184       /* os_exit(1) causes core generation, skip that for SIGINT, SIGHUP */
185       if (signum == SIGINT || signum == SIGHUP)
186         os_exit (0);
187       else
188         os_exit (1);
189     }
190   else
191     clib_warning ("%s", syslog_msg);
192
193 }
194
195 static clib_error_t *
196 setup_signal_handlers (unix_main_t * um)
197 {
198   uword i;
199   struct sigaction sa;
200
201   /* give a big enough buffer for msg, most likely it can avoid vec_resize  */
202   vec_alloc (syslog_msg, 2048);
203
204   for (i = 1; i < 32; i++)
205     {
206       clib_memset (&sa, 0, sizeof (sa));
207       sa.sa_sigaction = (void *) unix_signal_handler;
208       sa.sa_flags = SA_SIGINFO;
209
210       switch (i)
211         {
212           /* these signals take the default action */
213         case SIGKILL:
214         case SIGCONT:
215         case SIGSTOP:
216         case SIGUSR1:
217         case SIGUSR2:
218         case SIGPROF:
219           continue;
220
221           /* ignore SIGPIPE, SIGCHLD */
222         case SIGPIPE:
223         case SIGCHLD:
224           sa.sa_sigaction = (void *) SIG_IGN;
225           break;
226
227           /* catch and handle all other signals */
228         default:
229           break;
230         }
231
232       if (sigaction (i, &sa, 0) < 0)
233         return clib_error_return_unix (0, "sigaction %U", format_signal, i);
234     }
235
236   return 0;
237 }
238
239 static void
240 unix_error_handler (void *arg, u8 * msg, int msg_len)
241 {
242   unix_main_t *um = arg;
243
244   /* Echo to stderr when interactive or syslog is disabled. */
245   if (um->flags & (UNIX_FLAG_INTERACTIVE | UNIX_FLAG_NOSYSLOG))
246     {
247       CLIB_UNUSED (int r) = write (2, msg, msg_len);
248     }
249   else
250     {
251       syslog (LOG_ERR | LOG_DAEMON, "%.*s", msg_len, msg);
252     }
253 }
254
255 void
256 vlib_unix_error_report (vlib_main_t * vm, clib_error_t * error)
257 {
258   unix_main_t *um = &unix_main;
259
260   if (um->flags & UNIX_FLAG_INTERACTIVE || error == 0)
261     return;
262
263   {
264     u8 *msg = error->what;
265     u32 len = vec_len (msg);
266     int msg_len = (len > INT_MAX) ? INT_MAX : len;
267     syslog (LOG_ERR | LOG_DAEMON, "%.*s", msg_len, msg);
268   }
269 }
270
271 static uword
272 startup_config_process (vlib_main_t * vm,
273                         vlib_node_runtime_t * rt, vlib_frame_t * f)
274 {
275   unix_main_t *um = &unix_main;
276   unformat_input_t in;
277
278   vlib_process_suspend (vm, 2.0);
279
280   while (um->unix_config_complete == 0)
281     vlib_process_suspend (vm, 0.1);
282
283   if (!um->startup_config_filename)
284     {
285       return 0;
286     }
287
288   unformat_init_vector (&in,
289                         format (0, "exec %s", um->startup_config_filename));
290
291   vlib_cli_input (vm, &in, 0, 0);
292
293   unformat_free (&in);
294
295   return 0;
296 }
297
298 /* *INDENT-OFF* */
299 VLIB_REGISTER_NODE (startup_config_node,static) = {
300     .function = startup_config_process,
301     .type = VLIB_NODE_TYPE_PROCESS,
302     .name = "startup-config-process",
303     .process_log2_n_stack_bytes = 18,
304 };
305 /* *INDENT-ON* */
306
307 static clib_error_t *
308 unix_config (vlib_main_t * vm, unformat_input_t * input)
309 {
310   vlib_global_main_t *vgm = vlib_get_global_main ();
311   unix_main_t *um = &unix_main;
312   clib_error_t *error = 0;
313   gid_t gid;
314   int pidfd = -1;
315
316   /* Defaults */
317   um->cli_pager_buffer_limit = UNIX_CLI_DEFAULT_PAGER_LIMIT;
318   um->cli_history_limit = UNIX_CLI_DEFAULT_HISTORY;
319
320   while (unformat_check_input (input) != UNFORMAT_END_OF_INPUT)
321     {
322       char *cli_prompt;
323       if (unformat (input, "interactive"))
324         um->flags |= UNIX_FLAG_INTERACTIVE;
325       else if (unformat (input, "nodaemon"))
326         um->flags |= UNIX_FLAG_NODAEMON;
327       else if (unformat (input, "nosyslog"))
328         um->flags |= UNIX_FLAG_NOSYSLOG;
329       else if (unformat (input, "nocolor"))
330         um->flags |= UNIX_FLAG_NOCOLOR;
331       else if (unformat (input, "nobanner"))
332         um->flags |= UNIX_FLAG_NOBANNER;
333       else if (unformat (input, "cli-prompt %s", &cli_prompt))
334         vlib_unix_cli_set_prompt (cli_prompt);
335       else
336         if (unformat (input, "cli-listen %s", &um->cli_listen_socket.config))
337         ;
338       else if (unformat (input, "runtime-dir %s", &um->runtime_dir))
339         ;
340       else if (unformat (input, "cli-line-mode"))
341         um->cli_line_mode = 1;
342       else if (unformat (input, "cli-no-banner"))
343         um->cli_no_banner = 1;
344       else if (unformat (input, "cli-no-pager"))
345         um->cli_no_pager = 1;
346       else if (unformat (input, "poll-sleep-usec %d", &um->poll_sleep_usec))
347         ;
348       else if (unformat (input, "cli-pager-buffer-limit %d",
349                          &um->cli_pager_buffer_limit))
350         ;
351       else
352         if (unformat (input, "cli-history-limit %d", &um->cli_history_limit))
353         ;
354       else if (unformat (input, "coredump-size"))
355         {
356           uword coredump_size = 0;
357           if (unformat (input, "unlimited"))
358             {
359               coredump_size = RLIM_INFINITY;
360             }
361           else
362             if (!unformat (input, "%U", unformat_memory_size, &coredump_size))
363             {
364               return clib_error_return (0,
365                                         "invalid coredump-size parameter `%U'",
366                                         format_unformat_error, input);
367             }
368           const struct rlimit new_limit = { coredump_size, coredump_size };
369           if (0 != setrlimit (RLIMIT_CORE, &new_limit))
370             {
371               clib_unix_warning ("prlimit() failed");
372             }
373         }
374       else if (unformat (input, "full-coredump"))
375         {
376           int fd;
377
378           fd = open ("/proc/self/coredump_filter", O_WRONLY);
379           if (fd >= 0)
380             {
381               if (write (fd, "0x6f\n", 5) != 5)
382                 clib_unix_warning ("coredump filter write failed!");
383               close (fd);
384             }
385           else
386             clib_unix_warning ("couldn't open /proc/self/coredump_filter");
387         }
388       else if (unformat (input, "startup-config %s",
389                          &um->startup_config_filename))
390         ;
391       else if (unformat (input, "exec %s", &um->startup_config_filename))
392         ;
393       else if (unformat (input, "log %s", &um->log_filename))
394         {
395           um->log_fd = open ((char *) um->log_filename,
396                              O_CREAT | O_WRONLY | O_APPEND, 0644);
397           if (um->log_fd < 0)
398             {
399               clib_warning ("couldn't open log '%s'\n", um->log_filename);
400               um->log_fd = 0;
401             }
402           else
403             {
404               u8 *lv = 0;
405               lv = format (0, "%U: ***** Start: PID %d *****\n",
406                            format_timeval, NULL /* current bat-format */,
407                            0 /* current bat-time */, getpid ());
408               {
409                 int rv __attribute__ ((unused)) =
410                   write (um->log_fd, lv, vec_len (lv));
411               }
412               vec_free (lv);
413             }
414         }
415       else if (unformat (input, "gid %U", unformat_unix_gid, &gid))
416         {
417           if (setegid (gid) == -1)
418             return clib_error_return_unix (0, "setegid");
419         }
420       else if (unformat (input, "pidfile %s", &um->pidfile))
421         ;
422       else
423         return clib_error_return (0, "unknown input `%U'",
424                                   format_unformat_error, input);
425     }
426
427   if (um->runtime_dir == 0)
428     {
429       uid_t uid = geteuid ();
430       if (uid == 00)
431         um->runtime_dir = format (0, "/run/%s%c",
432                                   vlib_default_runtime_dir, 0);
433       else
434         um->runtime_dir = format (0, "/run/user/%u/%s%c", uid,
435                                   vlib_default_runtime_dir, 0);
436     }
437
438   /* Ensure the runtime directory is created */
439   error = vlib_unix_recursive_mkdir ((char *) um->runtime_dir);
440   if (error)
441     return error;
442
443   if (chdir ((char *) um->runtime_dir) < 0)
444     return clib_error_return_unix (0, "chdir('%s')", um->runtime_dir);
445
446   error = setup_signal_handlers (um);
447   if (error)
448     return error;
449
450   if (um->pidfile)
451     {
452       if ((error = vlib_unix_validate_runtime_file (um,
453                                                     (char *) um->pidfile,
454                                                     &um->pidfile)))
455         return error;
456
457       if (((pidfd = open ((char *) um->pidfile,
458                           O_CREAT | O_WRONLY | O_TRUNC, 0644)) < 0))
459         {
460           return clib_error_return_unix (0, "open");
461         }
462     }
463
464   if (!(um->flags & (UNIX_FLAG_INTERACTIVE | UNIX_FLAG_NOSYSLOG)))
465     {
466       openlog (vgm->name, LOG_CONS | LOG_PERROR | LOG_PID, LOG_DAEMON);
467       clib_error_register_handler (unix_error_handler, um);
468
469       if (!(um->flags & UNIX_FLAG_NODAEMON) && daemon ( /* chdir to / */ 0,
470                                                        /* stdin/stdout/stderr -> /dev/null */
471                                                        0) < 0)
472         clib_error_return (0, "daemon () fails");
473     }
474
475   if (pidfd >= 0)
476     {
477       u8 *lv = format (0, "%d", getpid ());
478       if (write (pidfd, (char *) lv, vec_len (lv)) != vec_len (lv))
479         {
480           vec_free (lv);
481           close (pidfd);
482           return clib_error_return_unix (0, "write");
483         }
484       vec_free (lv);
485       close (pidfd);
486     }
487
488   um->unix_config_complete = 1;
489
490   return 0;
491 }
492
493 /* unix { ... } configuration. */
494 /*?
495  *
496  * @cfgcmd{interactive}
497  * Attach CLI to stdin/out and provide a debugging command line interface.
498  * Implies @c nodaemon.
499  *
500  * @cfgcmd{nodaemon}
501  * Do not fork or background the VPP process. Typically used when invoking
502  * VPP applications from a process monitor.
503  *
504  * @cfgcmd{nosyslog}
505  * Do not send e.g. clib_warning(...) output to syslog. Used
506  * when invoking VPP applications from a process monitor which
507  * pipe stdout/stderr to a dedicated logger service.
508  *
509  * @cfgcmd{nocolor}
510  * Do not use colors in outputs.
511  * *
512  * @cfgcmd{nobanner}
513  * Do not display startup banner.
514  *
515  * @cfgcmd{exec, &lt;filename&gt;}
516  * @par <code>startup-config &lt;filename&gt;</code>
517  * Read startup operational configuration from @c filename.
518  * The contents of the file will be performed as though entered at the CLI.
519  * The two keywords are aliases for the same function; if both are specified,
520  * only the last will have an effect.
521  *
522  * @cfgcmd{log, &lt;filename&gt;}
523  * Logs the startup configuration and all subsequent CLI commands in
524  * @c filename.
525  * Very useful in situations where folks don't remember or can't be bothered
526  * to include CLI commands in bug reports.
527  *
528  * @cfgcmd{pidfile, &lt;filename&gt;}
529  * Writes the pid of the main thread in @c filename.
530  *
531  * @cfgcmd{full-coredump}
532  * Ask the Linux kernel to dump all memory-mapped address regions, instead
533  * of just text+data+bss.
534  *
535  * @cfgcmd{runtime-dir}
536  * Define directory where VPP is going to store all runtime files.
537  * Default is /run/vpp when running as root, /run/user/<UID>/vpp if running as
538  * an unprivileged user.
539  *
540  * @cfgcmd{cli-listen, &lt;address:port&gt;}
541  * Bind the CLI to listen at the address and port given. @c localhost
542  * on TCP port @c 5002, given as <tt>cli-listen localhost:5002</tt>,
543  * is typical.
544  *
545  * @cfgcmd{cli-line-mode}
546  * Disable character-by-character I/O on stdin. Useful when combined with,
547  * for example, <tt>emacs M-x gud-gdb</tt>.
548  *
549  * @cfgcmd{cli-prompt, &lt;string&gt;}
550  * Configure the CLI prompt to be @c string.
551  *
552  * @cfgcmd{cli-history-limit, &lt;nn&gt;}
553  * Limit command history to @c nn  lines. A value of @c 0
554  * disables command history. Default value: @c 50
555  *
556  * @cfgcmd{cli-no-banner}
557  * Disable the login banner on stdin and Telnet connections.
558  *
559  * @cfgcmd{cli-no-pager}
560  * Disable the output pager.
561  *
562  * @cfgcmd{cli-pager-buffer-limit, &lt;nn&gt;}
563  * Limit pager buffer to @c nn lines of output.
564  * A value of @c 0 disables the pager. Default value: @c 100000
565  *
566  * @cfgcmd{gid, &lt;nn&gt;}
567  * Set the effective gid under which the vpp process is to run.
568  *
569  * @cfgcmd{poll-sleep-usec, &lt;nn&gt;}
570  * Set a fixed poll sleep interval between main loop polls.
571 ?*/
572 VLIB_EARLY_CONFIG_FUNCTION (unix_config, "unix");
573
574 static clib_error_t *
575 unix_exit (vlib_main_t * vm)
576 {
577   /* Close syslog connection. */
578   closelog ();
579   return 0;
580 }
581
582 VLIB_MAIN_LOOP_EXIT_FUNCTION (unix_exit);
583
584 u8 **vlib_thread_stacks;
585
586 static uword
587 thread0 (uword arg)
588 {
589   vlib_main_t *vm = (vlib_main_t *) arg;
590   vlib_global_main_t *vgm = vlib_get_global_main ();
591   unformat_input_t input;
592   int i;
593
594   vlib_process_finish_switch_stack (vm);
595
596   unformat_init_command_line (&input, (char **) vgm->argv);
597   i = vlib_main (vm, &input);
598   unformat_free (&input);
599
600   return i;
601 }
602
603 u8 *
604 vlib_thread_stack_init (uword thread_index)
605 {
606   void *stack;
607   ASSERT (thread_index < vec_len (vlib_thread_stacks));
608   stack = clib_mem_vm_map_stack (VLIB_THREAD_STACK_SIZE,
609                                  CLIB_MEM_PAGE_SZ_DEFAULT,
610                                  "thread stack: thread %u", thread_index);
611
612   if (stack == CLIB_MEM_VM_MAP_FAILED)
613     clib_panic ("failed to allocate thread %u stack", thread_index);
614
615   vlib_thread_stacks[thread_index] = stack;
616   return stack;
617 }
618
619 #ifndef PATH_MAX
620 #define PATH_MAX 4096
621 #endif
622
623 int
624 vlib_unix_main (int argc, char *argv[])
625 {
626   vlib_global_main_t *vgm = vlib_get_global_main ();
627   vlib_main_t *vm = vlib_get_first_main (); /* one and only time for this! */
628   unformat_input_t input;
629   clib_error_t *e;
630   char buffer[PATH_MAX];
631   int i;
632
633   vec_validate_aligned (vgm->vlib_mains, 0, CLIB_CACHE_LINE_BYTES);
634
635   if ((i = readlink ("/proc/self/exe", buffer, sizeof (buffer) - 1)) > 0)
636     {
637       int j;
638       buffer[i] = 0;
639       vgm->exec_path = vec_new (char, i + 1);
640       clib_memcpy_fast (vgm->exec_path, buffer, i + 1);
641       for (j = i - 1; j > 0; j--)
642         if (buffer[j - 1] == '/')
643           break;
644       vgm->name = vec_new (char, i - j + 1);
645       clib_memcpy_fast (vgm->name, buffer + j, i - j + 1);
646     }
647   else
648     vgm->exec_path = vgm->name = argv[0];
649
650   vgm->argv = (u8 **) argv;
651
652   clib_time_init (&vm->clib_time);
653
654   /* Turn on the event logger at the first possible moment */
655   vgm->configured_elog_ring_size = 128 << 10;
656   elog_init (vlib_get_elog_main (), vgm->configured_elog_ring_size);
657   elog_enable_disable (vlib_get_elog_main (), 1);
658
659   unformat_init_command_line (&input, (char **) vgm->argv);
660   if ((e = vlib_plugin_config (vm, &input)))
661     {
662       clib_error_report (e);
663       return 1;
664     }
665   unformat_free (&input);
666
667   i = vlib_plugin_early_init (vm);
668   if (i)
669     return i;
670
671   unformat_init_command_line (&input, (char **) vgm->argv);
672   if (vgm->init_functions_called == 0)
673     vgm->init_functions_called = hash_create (0, /* value bytes */ 0);
674   e = vlib_call_all_config_functions (vm, &input, 1 /* early */ );
675   if (e != 0)
676     {
677       clib_error_report (e);
678       return 1;
679     }
680   unformat_free (&input);
681
682   /* always load symbols, for signal handler and mheap memory get/put backtrace */
683   clib_elf_main_init (vgm->exec_path);
684
685   vec_validate (vlib_thread_stacks, 0);
686   vlib_thread_stack_init (0);
687
688   __os_thread_index = 0;
689   vm->thread_index = 0;
690
691   vlib_process_start_switch_stack (vm, 0);
692   i = clib_calljmp (thread0, (uword) vm,
693                     (void *) (vlib_thread_stacks[0] +
694                               VLIB_THREAD_STACK_SIZE));
695   return i;
696 }
697
698 /*
699  * fd.io coding-style-patch-verification: ON
700  *
701  * Local Variables:
702  * eval: (c-set-style "gnu")
703  * End:
704  */