fib: A 16-8-8 and a 8-8-8-8 versions of an ip4_fib_t
[vpp.git] / src / vnet / interface_cli.c
1 /*
2  * Copyright (c) 2015 Cisco and/or its affiliates.
3  * Licensed under the Apache License, Version 2.0 (the "License");
4  * you may not use this file except in compliance with the License.
5  * You may obtain a copy of the License at:
6  *
7  *     http://www.apache.org/licenses/LICENSE-2.0
8  *
9  * Unless required by applicable law or agreed to in writing, software
10  * distributed under the License is distributed on an "AS IS" BASIS,
11  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
12  * See the License for the specific language governing permissions and
13  * limitations under the License.
14  */
15 /*
16  * interface_cli.c: interface CLI
17  *
18  * Copyright (c) 2008 Eliot Dresselhaus
19  *
20  * Permission is hereby granted, free of charge, to any person obtaining
21  * a copy of this software and associated documentation files (the
22  * "Software"), to deal in the Software without restriction, including
23  * without limitation the rights to use, copy, modify, merge, publish,
24  * distribute, sublicense, and/or sell copies of the Software, and to
25  * permit persons to whom the Software is furnished to do so, subject to
26  * the following conditions:
27  *
28  * The above copyright notice and this permission notice shall be
29  * included in all copies or substantial portions of the Software.
30  *
31  *  THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND,
32  *  EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF
33  *  MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND
34  *  NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE
35  *  LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION
36  *  OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION
37  *  WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.
38  */
39 /**
40  * @file
41  * @brief Interface CLI.
42  *
43  * Source code for several CLI interface commands.
44  *
45  */
46 #include <vnet/vnet.h>
47 #include <vnet/ip/ip.h>
48 #include <vppinfra/bitmap.h>
49 #include <vnet/fib/ip4_fib.h>
50 #include <vnet/fib/ip6_fib.h>
51 #include <vnet/l2/l2_output.h>
52 #include <vnet/l2/l2_input.h>
53 #include <vnet/classify/vnet_classify.h>
54 #include <vnet/interface/rx_queue_funcs.h>
55 #include <vnet/interface/tx_queue_funcs.h>
56 static int
57 compare_interface_names (void *a1, void *a2)
58 {
59   u32 *hi1 = a1;
60   u32 *hi2 = a2;
61
62   return vnet_hw_interface_compare (vnet_get_main (), *hi1, *hi2);
63 }
64
65 static clib_error_t *
66 show_or_clear_hw_interfaces (vlib_main_t * vm,
67                              unformat_input_t * input,
68                              vlib_cli_command_t * cmd, int is_show)
69 {
70   clib_error_t *error = 0;
71   vnet_main_t *vnm = vnet_get_main ();
72   vnet_interface_main_t *im = &vnm->interface_main;
73   vnet_hw_interface_t *hi;
74   u32 hw_if_index, *hw_if_indices = 0;
75   int i, verbose = -1, show_bond = 0;
76
77   while (unformat_check_input (input) != UNFORMAT_END_OF_INPUT)
78     {
79       /* See if user wants to show a specific interface. */
80       if (unformat
81           (input, "%U", unformat_vnet_hw_interface, vnm, &hw_if_index))
82         vec_add1 (hw_if_indices, hw_if_index);
83
84       /* See if user wants to show an interface with a specific hw_if_index. */
85       else if (unformat (input, "%u", &hw_if_index))
86         vec_add1 (hw_if_indices, hw_if_index);
87
88       else if (unformat (input, "verbose"))
89         verbose = 1;            /* this is also the default */
90
91       else if (unformat (input, "detail"))
92         verbose = 2;
93
94       else if (unformat (input, "brief"))
95         verbose = 0;
96
97       else if (unformat (input, "bond"))
98         {
99           show_bond = 1;
100           if (verbose < 0)
101             verbose = 0;        /* default to brief for link bonding */
102         }
103
104       else
105         {
106           error = clib_error_return (0, "unknown input `%U'",
107                                      format_unformat_error, input);
108           goto done;
109         }
110     }
111
112   /* Gather interfaces. */
113   if (vec_len (hw_if_indices) == 0)
114     pool_foreach (hi, im->hw_interfaces)
115       vec_add1 (hw_if_indices, hi - im->hw_interfaces);
116
117   if (verbose < 0)
118     verbose = 1;                /* default to verbose (except bond) */
119
120   if (is_show)
121     {
122       /* Sort by name. */
123       vec_sort_with_function (hw_if_indices, compare_interface_names);
124
125       vlib_cli_output (vm, "%U\n", format_vnet_hw_interface, vnm, 0, verbose);
126       for (i = 0; i < vec_len (hw_if_indices); i++)
127         {
128           hi = vnet_get_hw_interface (vnm, hw_if_indices[i]);
129           if (show_bond == 0)   /* show all interfaces */
130             vlib_cli_output (vm, "%U\n", format_vnet_hw_interface, vnm,
131                              hi, verbose);
132           else if ((hi->bond_info) &&
133                    (hi->bond_info != VNET_HW_INTERFACE_BOND_INFO_SLAVE))
134             {                   /* show only bonded interface and all its slave interfaces */
135               int hw_idx;
136               vnet_hw_interface_t *shi;
137               vlib_cli_output (vm, "%U\n", format_vnet_hw_interface, vnm,
138                                hi, verbose);
139
140               /* *INDENT-OFF* */
141               clib_bitmap_foreach (hw_idx, hi->bond_info)
142                {
143                 shi = vnet_get_hw_interface(vnm, hw_idx);
144                 vlib_cli_output (vm, "%U\n",
145                                  format_vnet_hw_interface, vnm, shi, verbose);
146               }
147               /* *INDENT-ON* */
148             }
149         }
150     }
151   else
152     {
153       for (i = 0; i < vec_len (hw_if_indices); i++)
154         {
155           vnet_device_class_t *dc;
156
157           hi = vnet_get_hw_interface (vnm, hw_if_indices[i]);
158           dc = vec_elt_at_index (im->device_classes, hi->dev_class_index);
159
160           if (dc->clear_counters)
161             dc->clear_counters (hi->dev_instance);
162         }
163     }
164
165 done:
166   vec_free (hw_if_indices);
167   return error;
168 }
169
170 static clib_error_t *
171 show_hw_interfaces (vlib_main_t * vm,
172                     unformat_input_t * input, vlib_cli_command_t * cmd)
173 {
174   return show_or_clear_hw_interfaces (vm, input, cmd, 1 /* is_show */ );
175 }
176
177 static clib_error_t *
178 clear_hw_interfaces (vlib_main_t * vm,
179                      unformat_input_t * input, vlib_cli_command_t * cmd)
180 {
181   return show_or_clear_hw_interfaces (vm, input, cmd, 0 /* is_show */ );
182 }
183
184
185 /*?
186  * Display more detailed information about all or a list of given interfaces.
187  * The verboseness of the output can be controlled by the following optional
188  * parameters:
189  * - brief: Only show name, index and state (default for bonded interfaces).
190  * - verbose: Also display additional attributes (default for all other interfaces).
191  * - detail: Also display all remaining attributes and extended statistics.
192  *
193  * To limit the output of the command to bonded interfaces and their slave
194  * interfaces, use the '<em>bond</em>' optional parameter.
195  *
196  * @cliexpar
197  * Example of how to display default data for all interfaces:
198  * @cliexstart{show hardware-interfaces}
199  *               Name                Idx   Link  Hardware
200  * GigabitEthernet7/0/0               1     up   GigabitEthernet7/0/0
201  *   Ethernet address ec:f4:bb:c0:bc:fc
202  *   Intel e1000
203  *     carrier up full duplex speed 1000 mtu 9216
204  *     rx queues 1, rx desc 1024, tx queues 3, tx desc 1024
205  *     cpu socket 0
206  * GigabitEthernet7/0/1               2     up   GigabitEthernet7/0/1
207  *   Ethernet address ec:f4:bb:c0:bc:fd
208  *   Intel e1000
209  *     carrier up full duplex speed 1000 mtu 9216
210  *     rx queues 1, rx desc 1024, tx queues 3, tx desc 1024
211  *     cpu socket 0
212  * VirtualEthernet0/0/0               3     up   VirtualEthernet0/0/0
213  *   Ethernet address 02:fe:a5:a9:8b:8e
214  * VirtualEthernet0/0/1               4     up   VirtualEthernet0/0/1
215  *   Ethernet address 02:fe:c0:4e:3b:b0
216  * VirtualEthernet0/0/2               5     up   VirtualEthernet0/0/2
217  *   Ethernet address 02:fe:1f:73:92:81
218  * VirtualEthernet0/0/3               6     up   VirtualEthernet0/0/3
219  *   Ethernet address 02:fe:f2:25:c4:68
220  * local0                             0    down  local0
221  *   local
222  * @cliexend
223  * Example of how to display '<em>verbose</em>' data for an interface by name and
224  * software index (where 2 is the software index):
225  * @cliexstart{show hardware-interfaces GigabitEthernet7/0/0 2 verbose}
226  *               Name                Idx   Link  Hardware
227  * GigabitEthernet7/0/0               1     up   GigabitEthernet7/0/0
228  *   Ethernet address ec:f4:bb:c0:bc:fc
229  *   Intel e1000
230  *     carrier up full duplex speed 1000 mtu 9216
231  *     rx queues 1, rx desc 1024, tx queues 3, tx desc 1024
232  *     cpu socket 0
233  * GigabitEthernet7/0/1               2    down  GigabitEthernet7/0/1
234  *   Ethernet address ec:f4:bb:c0:bc:fd
235  *   Intel e1000
236  *     carrier up full duplex speed 1000 mtu 9216
237  *     rx queues 1, rx desc 1024, tx queues 3, tx desc 1024
238  *     cpu socket 0
239  * @cliexend
240  ?*/
241 /* *INDENT-OFF* */
242 VLIB_CLI_COMMAND (show_hw_interfaces_command, static) = {
243   .path = "show hardware-interfaces",
244   .short_help = "show hardware-interfaces [brief|verbose|detail] [bond] "
245     "[<interface> [<interface> [..]]] [<sw_idx> [<sw_idx> [..]]]",
246   .function = show_hw_interfaces,
247 };
248 /* *INDENT-ON* */
249
250
251 /*?
252  * Clear the extended statistics for all or a list of given interfaces
253  * (statistics associated with the '<em>show hardware-interfaces</em>' command).
254  *
255  * @cliexpar
256  * Example of how to clear the extended statistics for all interfaces:
257  * @cliexcmd{clear hardware-interfaces}
258  * Example of how to clear the extended statistics for an interface by
259  * name and software index (where 2 is the software index):
260  * @cliexcmd{clear hardware-interfaces GigabitEthernet7/0/0 2}
261  ?*/
262 /* *INDENT-OFF* */
263 VLIB_CLI_COMMAND (clear_hw_interface_counters_command, static) = {
264   .path = "clear hardware-interfaces",
265   .short_help = "clear hardware-interfaces "
266     "[<interface> [<interface> [..]]] [<sw_idx> [<sw_idx> [..]]]",
267   .function = clear_hw_interfaces,
268 };
269 /* *INDENT-ON* */
270
271 static int
272 sw_interface_name_compare (void *a1, void *a2)
273 {
274   vnet_sw_interface_t *si1 = a1;
275   vnet_sw_interface_t *si2 = a2;
276
277   return vnet_sw_interface_compare (vnet_get_main (),
278                                     si1->sw_if_index, si2->sw_if_index);
279 }
280
281 static clib_error_t *
282 show_sw_interfaces (vlib_main_t * vm,
283                     unformat_input_t * input, vlib_cli_command_t * cmd)
284 {
285   clib_error_t *error = 0;
286   vnet_main_t *vnm = vnet_get_main ();
287   unformat_input_t _linput, *linput = &_linput;
288   vnet_interface_main_t *im = &vnm->interface_main;
289   vnet_sw_interface_t *si, *sorted_sis = 0;
290   u32 sw_if_index = ~(u32) 0;
291   u8 show_addresses = 0;
292   u8 show_features = 0;
293   u8 show_tag = 0;
294   u8 show_vtr = 0;
295   int verbose = 0;
296
297   /*
298    * Get a line of input. Won't work if the user typed
299    * "show interface" and nothing more.
300    */
301   if (unformat_user (input, unformat_line_input, linput))
302     {
303       while (unformat_check_input (linput) != UNFORMAT_END_OF_INPUT)
304         {
305           /* See if user wants to show specific interface */
306           if (unformat
307               (linput, "%U", unformat_vnet_sw_interface, vnm, &sw_if_index))
308             {
309               si = pool_elt_at_index (im->sw_interfaces, sw_if_index);
310               vec_add1 (sorted_sis, si[0]);
311             }
312           else if (unformat (linput, "address") || unformat (linput, "addr"))
313             show_addresses = 1;
314           else if (unformat (linput, "features") || unformat (linput, "feat"))
315             show_features = 1;
316           else if (unformat (linput, "tag"))
317             show_tag = 1;
318           else if (unformat (linput, "vtr"))
319             show_vtr = 1;
320           else if (unformat (linput, "verbose"))
321             verbose = 1;
322           else
323             {
324               vec_free (sorted_sis);
325               error = clib_error_return (0, "unknown input `%U'",
326                                          format_unformat_error, linput);
327               goto done;
328             }
329         }
330       unformat_free (linput);
331     }
332   if (show_features || show_tag || show_vtr)
333     {
334       if (sw_if_index == ~(u32) 0)
335         {
336           vec_free (sorted_sis);
337           return clib_error_return (0, "Interface not specified...");
338         }
339     }
340
341   if (show_features)
342     {
343       vnet_interface_features_show (vm, sw_if_index, verbose);
344       vlib_cli_output (vm, "%U", format_l2_input_features, sw_if_index, 1);
345
346       l2_output_config_t *l2_output = l2output_intf_config (sw_if_index);
347       vlib_cli_output (vm, "\nl2-output:");
348       if (l2_output->out_vtr_flag)
349         vlib_cli_output (vm, "%10s (%s)", "VTR", "--internal--");
350       vlib_cli_output (vm, "%U", format_l2_output_features,
351                        l2_output->feature_bitmap, 1);
352       vec_free (sorted_sis);
353       return 0;
354     }
355   if (show_tag)
356     {
357       u8 *tag;
358       tag = vnet_get_sw_interface_tag (vnm, sw_if_index);
359       vlib_cli_output (vm, "%U: %s",
360                        format_vnet_sw_if_index_name, vnm, sw_if_index,
361                        tag ? (char *) tag : "(none)");
362       vec_free (sorted_sis);
363       return 0;
364     }
365
366   /*
367    * Show vlan tag rewrite data for one interface.
368    */
369   if (show_vtr)
370     {
371       u32 vtr_op = L2_VTR_DISABLED;
372       u32 push_dot1q = 0, tag1 = 0, tag2 = 0;
373
374       if (l2vtr_get (vm, vnm, sw_if_index,
375                      &vtr_op, &push_dot1q, &tag1, &tag2) != 0)
376         {
377           vlib_cli_output (vm, "%U: Problem getting vlan tag-rewrite data",
378                            format_vnet_sw_if_index_name, vnm, sw_if_index);
379           return 0;
380         }
381       vlib_cli_output (vm, "%U:  VTR %0U",
382                        format_vnet_sw_if_index_name, vnm, sw_if_index,
383                        format_vtr, vtr_op, push_dot1q, tag1, tag2);
384       return 0;
385     }
386
387   if (!show_addresses)
388     vlib_cli_output (vm, "%U\n", format_vnet_sw_interface, vnm, 0);
389
390   if (vec_len (sorted_sis) == 0)        /* Get all interfaces */
391     {
392       /* Gather interfaces. */
393       sorted_sis =
394         vec_new (vnet_sw_interface_t, pool_elts (im->sw_interfaces));
395       _vec_len (sorted_sis) = 0;
396       /* *INDENT-OFF* */
397       pool_foreach (si, im->sw_interfaces)
398        {
399         int visible = vnet_swif_is_api_visible (si);
400         if (visible)
401           vec_add1 (sorted_sis, si[0]);
402         }
403       /* *INDENT-ON* */
404       /* Sort by name. */
405       vec_sort_with_function (sorted_sis, sw_interface_name_compare);
406     }
407
408   if (show_addresses)
409     {
410       vec_foreach (si, sorted_sis)
411       {
412         ip4_main_t *im4 = &ip4_main;
413         ip6_main_t *im6 = &ip6_main;
414         ip_lookup_main_t *lm4 = &im4->lookup_main;
415         ip_lookup_main_t *lm6 = &im6->lookup_main;
416         ip_interface_address_t *ia = 0;
417         u32 fib_index4 = 0, fib_index6 = 0;
418
419         if (vec_len (im4->fib_index_by_sw_if_index) > si->sw_if_index)
420           fib_index4 = vec_elt (im4->fib_index_by_sw_if_index,
421                                 si->sw_if_index);
422
423         if (vec_len (im6->fib_index_by_sw_if_index) > si->sw_if_index)
424           fib_index6 = vec_elt (im6->fib_index_by_sw_if_index,
425                                 si->sw_if_index);
426
427         ip4_fib_t *fib4 = ip4_fib_get (fib_index4);
428         ip6_fib_t *fib6 = ip6_fib_get (fib_index6);
429
430         if (si->flags & VNET_SW_INTERFACE_FLAG_UNNUMBERED)
431           vlib_cli_output
432             (vm, "%U (%s): \n  unnumbered, use %U",
433              format_vnet_sw_if_index_name, vnm, si->sw_if_index,
434              (si->flags & VNET_SW_INTERFACE_FLAG_ADMIN_UP) ? "up" : "dn",
435              format_vnet_sw_if_index_name, vnm, si->unnumbered_sw_if_index);
436         else
437           vlib_cli_output
438             (vm, "%U (%s):",
439              format_vnet_sw_if_index_name, vnm, si->sw_if_index,
440              (si->flags & VNET_SW_INTERFACE_FLAG_ADMIN_UP) ? "up" : "dn");
441
442         /* Display any L2 info */
443         vlib_cli_output (vm, "%U", format_l2_input, si->sw_if_index);
444
445         /* *INDENT-OFF* */
446         /* Display any IP4 addressing info */
447         foreach_ip_interface_address (lm4, ia, si->sw_if_index,
448                                       1 /* honor unnumbered */,
449         ({
450           ip4_address_t *r4 = ip_interface_address_get_address (lm4, ia);
451           if (fib4->hash.table_id)
452             vlib_cli_output (
453               vm, "  L3 %U/%d ip4 table-id %d fib-idx %d", format_ip4_address,
454               r4, ia->address_length, fib4->hash.table_id,
455               ip4_fib_index_from_table_id (fib4->hash.table_id));
456           else
457             vlib_cli_output (vm, "  L3 %U/%d",
458                              format_ip4_address, r4, ia->address_length);
459         }));
460         /* *INDENT-ON* */
461
462         /* *INDENT-OFF* */
463         /* Display any IP6 addressing info */
464         foreach_ip_interface_address (lm6, ia, si->sw_if_index,
465                                       1 /* honor unnumbered */,
466         ({
467           ip6_address_t *r6 = ip_interface_address_get_address (lm6, ia);
468           if (fib6->table_id)
469             vlib_cli_output (vm, "  L3 %U/%d ip6 table-id %d fib-idx %d",
470                              format_ip6_address, r6, ia->address_length,
471                              fib6->table_id,
472                              ip6_fib_index_from_table_id (fib6->table_id));
473           else
474             vlib_cli_output (vm, "  L3 %U/%d",
475                              format_ip6_address, r6, ia->address_length);
476         }));
477         /* *INDENT-ON* */
478       }
479     }
480   else
481     {
482       vec_foreach (si, sorted_sis)
483       {
484         vlib_cli_output (vm, "%U\n", format_vnet_sw_interface, vnm, si);
485       }
486     }
487
488 done:
489   vec_free (sorted_sis);
490   return error;
491 }
492
493 /* *INDENT-OFF* */
494 VLIB_CLI_COMMAND (show_sw_interfaces_command, static) = {
495   .path = "show interface",
496   .short_help = "show interface [address|addr|features|feat|vtr] [<interface> [<interface> [..]]] [verbose]",
497   .function = show_sw_interfaces,
498   .is_mp_safe = 1,
499 };
500 /* *INDENT-ON* */
501
502 /* Root of all interface commands. */
503 /* *INDENT-OFF* */
504 VLIB_CLI_COMMAND (vnet_cli_interface_command, static) = {
505   .path = "interface",
506   .short_help = "Interface commands",
507 };
508 /* *INDENT-ON* */
509
510 /* *INDENT-OFF* */
511 VLIB_CLI_COMMAND (vnet_cli_set_interface_command, static) = {
512   .path = "set interface",
513   .short_help = "Interface commands",
514 };
515 /* *INDENT-ON* */
516
517 static clib_error_t *
518 clear_interface_counters (vlib_main_t * vm,
519                           unformat_input_t * input, vlib_cli_command_t * cmd)
520 {
521   vnet_main_t *vnm = vnet_get_main ();
522   vnet_interface_main_t *im = &vnm->interface_main;
523   vlib_simple_counter_main_t *sm;
524   vlib_combined_counter_main_t *cm;
525   int j, n_counters;
526
527   n_counters = vec_len (im->combined_sw_if_counters);
528
529   for (j = 0; j < n_counters; j++)
530     {
531       im = &vnm->interface_main;
532       cm = im->combined_sw_if_counters + j;
533       vlib_clear_combined_counters (cm);
534     }
535
536   n_counters = vec_len (im->sw_if_counters);
537
538   for (j = 0; j < n_counters; j++)
539     {
540       im = &vnm->interface_main;
541       sm = im->sw_if_counters + j;
542       vlib_clear_simple_counters (sm);
543     }
544
545   return 0;
546 }
547
548 /*?
549  * Clear the statistics for all interfaces (statistics associated with the
550  * '<em>show interface</em>' command).
551  *
552  * @cliexpar
553  * Example of how to clear the statistics for all interfaces:
554  * @cliexcmd{clear interfaces}
555  ?*/
556 /* *INDENT-OFF* */
557 VLIB_CLI_COMMAND (clear_interface_counters_command, static) = {
558   .path = "clear interfaces",
559   .short_help = "clear interfaces",
560   .function = clear_interface_counters,
561 };
562 /* *INDENT-ON* */
563
564 /**
565  * Parse subinterface names.
566  *
567  * The following subinterface syntax is supported. The first two are for
568  * backwards compatability:
569  *
570  * <intf-name> <id>
571  *     - a subinterface with the name <intf-name>.<id>. The subinterface
572  *       is a single dot1q vlan with vlan id <id> and exact-match semantics.
573  *
574  * <intf-name> <min_id>-<max_id>
575  *     - a set of the above subinterfaces, repeating for each id
576  *       in the range <min_id> to <max_id>
577  *
578  * In the following, exact-match semantics (i.e. the number of vlan tags on the
579  * packet must match the number of tags in the configuration) are used only if
580  * the keyword exact-match is present. Non-exact match is the default.
581  *
582  * <intf-name> <id> dot1q <outer_id> [exact-match]
583  *     - a subinterface with the name <intf-name>.<id>. The subinterface
584  *       is a single dot1q vlan with vlan id <outer_id>.
585  *
586  * <intf-name> <id> dot1q any [exact-match]
587  *     - a subinterface with the name <intf-name>.<id>. The subinterface
588  *       is a single dot1q vlan with any vlan id.
589  *
590  * <intf-name> <id> dot1q <outer_id> inner-dot1q <inner_id> [exact-match]
591  *     - a subinterface with the name <intf-name>.<id>. The subinterface
592  *       is a double dot1q vlan with outer vlan id <outer_id> and inner vlan id
593  *       <inner_id>.
594  *
595  * <intf-name> <id> dot1q <outer_id> inner-dot1q any [exact-match]
596  *     - a subinterface with the name <intf-name>.<id>. The subinterface
597  *       is a double dot1q vlan with outer vlan id <id> and any inner vlan id.
598  *
599  * <intf-name> <id> dot1q any inner-dot1q any [exact-match]
600  *
601  *     - a subinterface with the name <intf-name>.<id>. The subinterface
602  *       is a double dot1q vlan with any outer vlan id and any inner vlan id.
603  *
604  * For each of the above CLI, there is a duplicate that uses the keyword
605  * "dot1ad" in place of the first "dot1q". These interfaces use ethertype
606  * 0x88ad in place of 0x8100 for the outer ethertype. Note that for double-
607  * tagged packets the inner ethertype is always 0x8100. Also note that
608  * the dot1q and dot1ad naming spaces are independent, so it is legal to
609  * have both "Gig3/0/0.1 dot1q 100" and "Gig3/0/0.2 dot1ad 100". For example:
610  *
611  * <intf-name> <id> dot1ad <outer_id> inner-dot1q <inner_id> [exact-match]
612  *     - a subinterface with the name <intf-name>.<id>. The subinterface
613  *       is a double dot1ad vlan with outer vlan id <outer_id> and inner vlan
614  *       id <inner_id>.
615  *
616  * <intf-name> <id> untagged
617  *     - a subinterface with the name <intf-name>.<id>. The subinterface
618  *       has no vlan tags. Only one can be specified per interface.
619  *
620  * <intf-name> <id> default
621  *     - a subinterface with the name <intf-name>.<id>. This is associated
622  *       with a packet that did not match any other configured subinterface
623  *       on this interface. Only one can be specified per interface.
624  */
625
626 static clib_error_t *
627 parse_vlan_sub_interfaces (unformat_input_t * input,
628                            vnet_sw_interface_t * template)
629 {
630   clib_error_t *error = 0;
631   u32 inner_vlan, outer_vlan;
632
633   if (unformat (input, "any inner-dot1q any"))
634     {
635       template->sub.eth.flags.two_tags = 1;
636       template->sub.eth.flags.outer_vlan_id_any = 1;
637       template->sub.eth.flags.inner_vlan_id_any = 1;
638     }
639   else if (unformat (input, "any"))
640     {
641       template->sub.eth.flags.one_tag = 1;
642       template->sub.eth.flags.outer_vlan_id_any = 1;
643     }
644   else if (unformat (input, "%d inner-dot1q any", &outer_vlan))
645     {
646       template->sub.eth.flags.two_tags = 1;
647       template->sub.eth.flags.inner_vlan_id_any = 1;
648       template->sub.eth.outer_vlan_id = outer_vlan;
649     }
650   else if (unformat (input, "%d inner-dot1q %d", &outer_vlan, &inner_vlan))
651     {
652       template->sub.eth.flags.two_tags = 1;
653       template->sub.eth.outer_vlan_id = outer_vlan;
654       template->sub.eth.inner_vlan_id = inner_vlan;
655     }
656   else if (unformat (input, "%d", &outer_vlan))
657     {
658       template->sub.eth.flags.one_tag = 1;
659       template->sub.eth.outer_vlan_id = outer_vlan;
660     }
661   else
662     {
663       error = clib_error_return (0, "expected dot1q config, got `%U'",
664                                  format_unformat_error, input);
665       goto done;
666     }
667
668   if (unformat_check_input (input) != UNFORMAT_END_OF_INPUT)
669     {
670       if (unformat (input, "exact-match"))
671         {
672           template->sub.eth.flags.exact_match = 1;
673         }
674     }
675
676 done:
677   return error;
678 }
679
680 static clib_error_t *
681 create_sub_interfaces (vlib_main_t * vm,
682                        unformat_input_t * input, vlib_cli_command_t * cmd)
683 {
684   vnet_main_t *vnm = vnet_get_main ();
685   clib_error_t *error = 0;
686   u32 hw_if_index, sw_if_index;
687   vnet_hw_interface_t *hi;
688   u32 id, id_min, id_max;
689   vnet_sw_interface_t template;
690
691   hw_if_index = ~0;
692   if (!unformat_user (input, unformat_vnet_hw_interface, vnm, &hw_if_index))
693     {
694       error = clib_error_return (0, "unknown interface `%U'",
695                                  format_unformat_error, input);
696       goto done;
697     }
698
699   clib_memset (&template, 0, sizeof (template));
700   template.sub.eth.raw_flags = 0;
701
702   if (unformat (input, "%d default", &id_min))
703     {
704       id_max = id_min;
705       template.sub.eth.flags.default_sub = 1;
706     }
707   else if (unformat (input, "%d untagged", &id_min))
708     {
709       id_max = id_min;
710       template.sub.eth.flags.no_tags = 1;
711       template.sub.eth.flags.exact_match = 1;
712     }
713   else if (unformat (input, "%d dot1q", &id_min))
714     {
715       /* parse dot1q config */
716       id_max = id_min;
717       error = parse_vlan_sub_interfaces (input, &template);
718       if (error)
719         goto done;
720     }
721   else if (unformat (input, "%d dot1ad", &id_min))
722     {
723       /* parse dot1ad config */
724       id_max = id_min;
725       template.sub.eth.flags.dot1ad = 1;
726       error = parse_vlan_sub_interfaces (input, &template);
727       if (error)
728         goto done;
729     }
730   else if (unformat (input, "%d-%d", &id_min, &id_max))
731     {
732       template.sub.eth.flags.one_tag = 1;
733       template.sub.eth.flags.exact_match = 1;
734       if (id_min > id_max)
735         goto id_error;
736     }
737   else if (unformat (input, "%d", &id_min))
738     {
739       id_max = id_min;
740       template.sub.eth.flags.one_tag = 1;
741       template.sub.eth.outer_vlan_id = id_min;
742       template.sub.eth.flags.exact_match = 1;
743     }
744   else
745     {
746     id_error:
747       error = clib_error_return (0, "expected ID or ID MIN-MAX, got `%U'",
748                                  format_unformat_error, input);
749       goto done;
750     }
751
752   hi = vnet_get_hw_interface (vnm, hw_if_index);
753
754   if (hi->bond_info == VNET_HW_INTERFACE_BOND_INFO_SLAVE)
755     {
756       error =
757         clib_error_return (0,
758                            "not allowed as %v belong to a BondEthernet interface",
759                            hi->name);
760       goto done;
761     }
762
763   for (id = id_min; id <= id_max; id++)
764     {
765       uword *p;
766       vnet_interface_main_t *im = &vnm->interface_main;
767       u64 sup_and_sub_key = ((u64) (hi->sw_if_index) << 32) | (u64) id;
768       u64 *kp;
769
770       p = hash_get_mem (im->sw_if_index_by_sup_and_sub, &sup_and_sub_key);
771       if (p)
772         {
773           if (CLIB_DEBUG > 0)
774             clib_warning ("sup sw_if_index %d, sub id %d already exists\n",
775                           hi->sw_if_index, id);
776           continue;
777         }
778
779       template.type = VNET_SW_INTERFACE_TYPE_SUB;
780       template.flood_class = VNET_FLOOD_CLASS_NORMAL;
781       template.sup_sw_if_index = hi->sw_if_index;
782       template.sub.id = id;
783       if (id_min < id_max)
784         template.sub.eth.outer_vlan_id = id;
785
786       error = vnet_create_sw_interface (vnm, &template, &sw_if_index);
787       if (error)
788         goto done;
789
790       kp = clib_mem_alloc (sizeof (*kp));
791       *kp = sup_and_sub_key;
792
793       hash_set (hi->sub_interface_sw_if_index_by_id, id, sw_if_index);
794       hash_set_mem (im->sw_if_index_by_sup_and_sub, kp, sw_if_index);
795       vlib_cli_output (vm, "%U\n", format_vnet_sw_if_index_name,
796                        vnet_get_main (), sw_if_index);
797     }
798
799 done:
800   return error;
801 }
802
803 /*?
804  * This command is used to add VLAN IDs to interfaces, also known as subinterfaces.
805  * The primary input to this command is the '<em>interface</em>' and '<em>subId</em>'
806  * (subinterface Id) parameters. If no additional VLAN ID is provide, the VLAN ID is
807  * assumed to be the '<em>subId</em>'. The VLAN ID and '<em>subId</em>' can be different,
808  * but this is not recommended.
809  *
810  * This command has several variations:
811  * - <b>create sub-interfaces <interface> <subId></b> - Create a subinterface to
812  * process packets with a given 802.1q VLAN ID (same value as the '<em>subId</em>').
813  *
814  * - <b>create sub-interfaces <interface> <subId> default</b> - Adding the
815  * '<em>default</em>' parameter indicates that packets with VLAN IDs that do not
816  * match any other subinterfaces should be sent to this subinterface.
817  *
818  * - <b>create sub-interfaces <interface> <subId> untagged</b> - Adding the
819  * '<em>untagged</em>' parameter indicates that packets no VLAN IDs should be sent
820  * to this subinterface.
821  *
822  * - <b>create sub-interfaces <interface> <subId>-<subId></b> - Create a range of
823  * subinterfaces to handle a range of VLAN IDs.
824  *
825  * - <b>create sub-interfaces <interface> <subId> dot1q|dot1ad <vlanId>|any [exact-match]</b> -
826  * Use this command to specify the outer VLAN ID, to either be explicit or to make the
827  * VLAN ID different from the '<em>subId</em>'.
828  *
829  * - <b>create sub-interfaces <interface> <subId> dot1q|dot1ad <vlanId>|any inner-dot1q
830  * <vlanId>|any [exact-match]</b> - Use this command to specify the outer VLAN ID and
831  * the inner VLAN ID.
832  *
833  * When '<em>dot1q</em>' or '<em>dot1ad</em>' is explicitly entered, subinterfaces
834  * can be configured as either exact-match or non-exact match. Non-exact match is the CLI
835  * default. If '<em>exact-match</em>' is specified, packets must have the same number of
836  * VLAN tags as the configuration. For non-exact-match, packets must at least that number
837  * of tags. L3 (routed) interfaces must be configured as exact-match. L2 interfaces are
838  * typically configured as non-exact-match. If '<em>dot1q</em>' or '<em>dot1ad</em>' is NOT
839  * entered, then the default behavior is exact-match.
840  *
841  * Use the '<em>show interface</em>' command to display all subinterfaces.
842  *
843  * @cliexpar
844  * @parblock
845  * Example of how to create a VLAN subinterface 11 to process packets on 802.1q VLAN ID 11:
846  * @cliexcmd{create sub-interfaces GigabitEthernet2/0/0 11}
847  *
848  * The previous example is shorthand and is equivalent to:
849  * @cliexcmd{create sub-interfaces GigabitEthernet2/0/0 11 dot1q 11 exact-match}
850  *
851  *
852  * Example of how to create a subinterface number that is different from the VLAN ID:
853  * @cliexcmd{create sub-interfaces GigabitEthernet2/0/0 11 dot1q 100}
854  *
855  *
856  * Examples of how to create q-in-q and q-in-any subinterfaces:
857  * @cliexcmd{create sub-interfaces GigabitEthernet2/0/0 11 dot1q 100 inner-dot1q 200}
858  * @cliexcmd{create sub-interfaces GigabitEthernet2/0/0 12 dot1q 100 inner-dot1q any}
859  *
860  * Examples of how to create dot1ad interfaces:
861  * @cliexcmd{create sub-interfaces GigabitEthernet2/0/0 11 dot1ad 11}
862  * @cliexcmd{create sub-interfaces GigabitEthernet2/0/0 12 dot1ad 100 inner-dot1q 200}
863  *
864  *
865  * Examples of '<em>exact-match</em>' versus non-exact match. A packet with
866  * outer VLAN 100 and inner VLAN 200 would match this interface, because the default
867  * is non-exact match:
868  * @cliexcmd{create sub-interfaces GigabitEthernet2/0/0 5 dot1q 100}
869  *
870  * However, the same packet would NOT match this interface because '<em>exact-match</em>'
871  * is specified and only one VLAN is configured, but packet contains two VLANs:
872  * @cliexcmd{create sub-interfaces GigabitEthernet2/0/0 5 dot1q 100 exact-match}
873  *
874  *
875  * Example of how to created a subinterface to process untagged packets:
876  * @cliexcmd{create sub-interfaces GigabitEthernet2/0/0 5 untagged}
877  *
878  * Example of how to created a subinterface to process any packet with a VLAN ID that
879  * does not match any other subinterface:
880  * @cliexcmd{create sub-interfaces GigabitEthernet2/0/0 7 default}
881  *
882  * When subinterfaces are created, they are in the down state. Example of how to
883  * enable a newly created subinterface:
884  * @cliexcmd{set interface GigabitEthernet2/0/0.7 up}
885  * @endparblock
886  ?*/
887 /* *INDENT-OFF* */
888 VLIB_CLI_COMMAND (create_sub_interfaces_command, static) = {
889   .path = "create sub-interfaces",
890   .short_help = "create sub-interfaces <interface> "
891     "{<subId> [default|untagged]} | "
892     "{<subId>-<subId>} | "
893     "{<subId> dot1q|dot1ad <vlanId>|any [inner-dot1q <vlanId>|any] [exact-match]}",
894   .function = create_sub_interfaces,
895 };
896 /* *INDENT-ON* */
897
898 static clib_error_t *
899 set_state (vlib_main_t * vm,
900            unformat_input_t * input, vlib_cli_command_t * cmd)
901 {
902   vnet_main_t *vnm = vnet_get_main ();
903   clib_error_t *error;
904   u32 sw_if_index, flags;
905
906   sw_if_index = ~0;
907   if (!unformat_user (input, unformat_vnet_sw_interface, vnm, &sw_if_index))
908     {
909       error = clib_error_return (0, "unknown interface `%U'",
910                                  format_unformat_error, input);
911       goto done;
912     }
913
914   if (!unformat (input, "%U", unformat_vnet_sw_interface_flags, &flags))
915     {
916       error = clib_error_return (0, "unknown flags `%U'",
917                                  format_unformat_error, input);
918       goto done;
919     }
920
921   error = vnet_sw_interface_set_flags (vnm, sw_if_index, flags);
922   if (error)
923     goto done;
924
925 done:
926   return error;
927 }
928
929
930 /*?
931  * This command is used to change the admin state (up/down) of an interface.
932  *
933  * If an interface is down, the optional '<em>punt</em>' flag can also be set.
934  * The '<em>punt</em>' flag implies the interface is disabled for forwarding
935  * but punt all traffic to slow-path. Use the '<em>enable</em>' flag to clear
936  * '<em>punt</em>' flag (interface is still down).
937  *
938  * @cliexpar
939  * Example of how to configure the admin state of an interface to '<em>up</em?':
940  * @cliexcmd{set interface state GigabitEthernet2/0/0 up}
941  * Example of how to configure the admin state of an interface to '<em>down</em?':
942  * @cliexcmd{set interface state GigabitEthernet2/0/0 down}
943  ?*/
944 /* *INDENT-OFF* */
945 VLIB_CLI_COMMAND (set_state_command, static) = {
946   .path = "set interface state",
947   .short_help = "set interface state <interface> [up|down|punt|enable]",
948   .function = set_state,
949 };
950 /* *INDENT-ON* */
951
952 static clib_error_t *
953 set_unnumbered (vlib_main_t * vm,
954                 unformat_input_t * input, vlib_cli_command_t * cmd)
955 {
956   vnet_main_t *vnm = vnet_get_main ();
957   u32 unnumbered_sw_if_index = ~0;
958   u32 inherit_from_sw_if_index = ~0;
959   int enable = 1;
960
961   if (unformat (input, "%U use %U",
962                 unformat_vnet_sw_interface, vnm, &unnumbered_sw_if_index,
963                 unformat_vnet_sw_interface, vnm, &inherit_from_sw_if_index))
964     enable = 1;
965   else if (unformat (input, "del %U",
966                      unformat_vnet_sw_interface, vnm,
967                      &unnumbered_sw_if_index))
968     enable = 0;
969   else
970     return clib_error_return (0, "parse error '%U'",
971                               format_unformat_error, input);
972
973   if (~0 == unnumbered_sw_if_index)
974     return clib_error_return (0, "Specify the unnumbered interface");
975   if (enable && ~0 == inherit_from_sw_if_index)
976     return clib_error_return (0, "When enabling unnumbered specify the"
977                               " IP enabled interface that it uses");
978
979   int rv = vnet_sw_interface_update_unnumbered (
980     unnumbered_sw_if_index, inherit_from_sw_if_index, enable);
981
982   switch (rv)
983     {
984     case 0:
985       break;
986
987     case VNET_API_ERROR_UNEXPECTED_INTF_STATE:
988       return clib_error_return (
989         0,
990         "When enabling unnumbered both interfaces must be in the same tables");
991
992     default:
993       return clib_error_return (
994         0, "vnet_sw_interface_update_unnumbered returned %d", rv);
995     }
996
997   return (NULL);
998 }
999
1000 /* *INDENT-OFF* */
1001 VLIB_CLI_COMMAND (set_unnumbered_command, static) = {
1002   .path = "set interface unnumbered",
1003   .short_help = "set interface unnumbered [<interface> use <interface> | del <interface>]",
1004   .function = set_unnumbered,
1005 };
1006 /* *INDENT-ON* */
1007
1008
1009
1010 static clib_error_t *
1011 set_hw_class (vlib_main_t * vm,
1012               unformat_input_t * input, vlib_cli_command_t * cmd)
1013 {
1014   vnet_main_t *vnm = vnet_get_main ();
1015   vnet_interface_main_t *im = &vnm->interface_main;
1016   clib_error_t *error;
1017   u32 hw_if_index, hw_class_index;
1018
1019   hw_if_index = ~0;
1020   if (!unformat_user (input, unformat_vnet_hw_interface, vnm, &hw_if_index))
1021     {
1022       error = clib_error_return (0, "unknown hardware interface `%U'",
1023                                  format_unformat_error, input);
1024       goto done;
1025     }
1026
1027   if (!unformat_user (input, unformat_hash_string,
1028                       im->hw_interface_class_by_name, &hw_class_index))
1029     {
1030       error = clib_error_return (0, "unknown hardware class `%U'",
1031                                  format_unformat_error, input);
1032       goto done;
1033     }
1034
1035   error = vnet_hw_interface_set_class (vnm, hw_if_index, hw_class_index);
1036   if (error)
1037     goto done;
1038
1039 done:
1040   return error;
1041 }
1042
1043 /* *INDENT-OFF* */
1044 VLIB_CLI_COMMAND (set_hw_class_command, static) = {
1045   .path = "set interface hw-class",
1046   .short_help = "Set interface hardware class",
1047   .function = set_hw_class,
1048 };
1049 /* *INDENT-ON* */
1050
1051 static clib_error_t *
1052 vnet_interface_cli_init (vlib_main_t * vm)
1053 {
1054   return 0;
1055 }
1056
1057 VLIB_INIT_FUNCTION (vnet_interface_cli_init);
1058
1059 static clib_error_t *
1060 renumber_interface_command_fn (vlib_main_t * vm,
1061                                unformat_input_t * input,
1062                                vlib_cli_command_t * cmd)
1063 {
1064   u32 hw_if_index;
1065   u32 new_dev_instance;
1066   vnet_main_t *vnm = vnet_get_main ();
1067   int rv;
1068
1069   if (!unformat_user (input, unformat_vnet_hw_interface, vnm, &hw_if_index))
1070     return clib_error_return (0, "unknown hardware interface `%U'",
1071                               format_unformat_error, input);
1072
1073   if (!unformat (input, "%d", &new_dev_instance))
1074     return clib_error_return (0, "new dev instance missing");
1075
1076   rv = vnet_interface_name_renumber (hw_if_index, new_dev_instance);
1077
1078   switch (rv)
1079     {
1080     case 0:
1081       break;
1082
1083     default:
1084       return clib_error_return (0, "vnet_interface_name_renumber returned %d",
1085                                 rv);
1086
1087     }
1088
1089   return 0;
1090 }
1091
1092
1093 /* *INDENT-OFF* */
1094 VLIB_CLI_COMMAND (renumber_interface_command, static) = {
1095   .path = "renumber interface",
1096   .short_help = "renumber interface <interface> <new-dev-instance>",
1097   .function = renumber_interface_command_fn,
1098 };
1099 /* *INDENT-ON* */
1100
1101 static clib_error_t *
1102 promiscuous_cmd (vlib_main_t * vm,
1103                  unformat_input_t * input, vlib_cli_command_t * cmd)
1104 {
1105   vnet_main_t *vnm = vnet_get_main ();
1106   u32 hw_if_index;
1107   u32 flags = ETHERNET_INTERFACE_FLAG_ACCEPT_ALL;
1108   ethernet_main_t *em = &ethernet_main;
1109   ethernet_interface_t *eif;
1110
1111   if (unformat (input, "on %U",
1112                 unformat_vnet_hw_interface, vnm, &hw_if_index))
1113     ;
1114   else if (unformat (input, "off %U",
1115                      unformat_ethernet_interface, vnm, &hw_if_index))
1116     flags = 0;
1117   else
1118     return clib_error_return (0, "unknown input `%U'",
1119                               format_unformat_error, input);
1120
1121   eif = ethernet_get_interface (em, hw_if_index);
1122   if (!eif)
1123     return clib_error_return (0, "not supported");
1124
1125   ethernet_set_flags (vnm, hw_if_index, flags);
1126   return 0;
1127 }
1128
1129 /* *INDENT-OFF* */
1130 VLIB_CLI_COMMAND (set_interface_promiscuous_cmd, static) = {
1131   .path = "set interface promiscuous",
1132   .short_help = "set interface promiscuous [on|off] <interface>",
1133   .function = promiscuous_cmd,
1134 };
1135 /* *INDENT-ON* */
1136
1137 static clib_error_t *
1138 mtu_cmd (vlib_main_t * vm, unformat_input_t * input, vlib_cli_command_t * cmd)
1139 {
1140   vnet_main_t *vnm = vnet_get_main ();
1141   u32 hw_if_index, sw_if_index, mtu;
1142   ethernet_main_t *em = &ethernet_main;
1143   u32 mtus[VNET_N_MTU] = { 0, 0, 0, 0 };
1144
1145   if (unformat (input, "%d %U", &mtu,
1146                 unformat_vnet_hw_interface, vnm, &hw_if_index))
1147     {
1148       /*
1149        * Change physical MTU on interface. Only supported for Ethernet
1150        * interfaces
1151        */
1152       vnet_hw_interface_t *hi = vnet_get_hw_interface (vnm, hw_if_index);
1153       ethernet_interface_t *eif = ethernet_get_interface (em, hw_if_index);
1154
1155       if (!eif)
1156         return clib_error_return (0, "not supported");
1157
1158       if (mtu < hi->min_supported_packet_bytes)
1159         return clib_error_return (0, "Invalid mtu (%d): "
1160                                   "must be >= min pkt bytes (%d)", mtu,
1161                                   hi->min_supported_packet_bytes);
1162
1163       if (mtu > hi->max_supported_packet_bytes)
1164         return clib_error_return (0, "Invalid mtu (%d): must be <= (%d)", mtu,
1165                                   hi->max_supported_packet_bytes);
1166
1167       vnet_hw_interface_set_mtu (vnm, hw_if_index, mtu);
1168       goto done;
1169     }
1170   else if (unformat (input, "packet %d %U", &mtu,
1171                      unformat_vnet_sw_interface, vnm, &sw_if_index))
1172     /* Set default packet MTU (including L3 header */
1173     mtus[VNET_MTU_L3] = mtu;
1174   else if (unformat (input, "ip4 %d %U", &mtu,
1175                      unformat_vnet_sw_interface, vnm, &sw_if_index))
1176     mtus[VNET_MTU_IP4] = mtu;
1177   else if (unformat (input, "ip6 %d %U", &mtu,
1178                      unformat_vnet_sw_interface, vnm, &sw_if_index))
1179     mtus[VNET_MTU_IP6] = mtu;
1180   else if (unformat (input, "mpls %d %U", &mtu,
1181                      unformat_vnet_sw_interface, vnm, &sw_if_index))
1182     mtus[VNET_MTU_MPLS] = mtu;
1183   else
1184     return clib_error_return (0, "unknown input `%U'",
1185                               format_unformat_error, input);
1186
1187   vnet_sw_interface_set_protocol_mtu (vnm, sw_if_index, mtus);
1188
1189 done:
1190   return 0;
1191 }
1192
1193 /* *INDENT-OFF* */
1194 VLIB_CLI_COMMAND (set_interface_mtu_cmd, static) = {
1195   .path = "set interface mtu",
1196   .short_help = "set interface mtu [packet|ip4|ip6|mpls] <value> <interface>",
1197   .function = mtu_cmd,
1198 };
1199 /* *INDENT-ON* */
1200
1201 static clib_error_t *
1202 show_interface_sec_mac_addr_fn (vlib_main_t * vm, unformat_input_t * input,
1203                                 vlib_cli_command_t * cmd)
1204 {
1205   vnet_main_t *vnm = vnet_get_main ();
1206   vnet_interface_main_t *im = &vnm->interface_main;
1207   ethernet_main_t *em = &ethernet_main;
1208   u32 sw_if_index = ~0;
1209   vnet_sw_interface_t *si, *sorted_sis = 0;
1210
1211   if (unformat (input, "%U", unformat_vnet_sw_interface, vnm, &sw_if_index))
1212     {
1213       si = pool_elt_at_index (im->sw_interfaces, sw_if_index);
1214       vec_add1 (sorted_sis, si[0]);
1215     }
1216
1217   /* if an interface name was not passed, get all interfaces */
1218   if (vec_len (sorted_sis) == 0)
1219     {
1220       sorted_sis =
1221         vec_new (vnet_sw_interface_t, pool_elts (im->sw_interfaces));
1222       _vec_len (sorted_sis) = 0;
1223       /* *INDENT-OFF* */
1224       pool_foreach (si, im->sw_interfaces)
1225        {
1226         int visible = vnet_swif_is_api_visible (si);
1227         if (visible)
1228           vec_add1 (sorted_sis, si[0]);
1229         }
1230       /* *INDENT-ON* */
1231       /* Sort by name. */
1232       vec_sort_with_function (sorted_sis, sw_interface_name_compare);
1233     }
1234
1235   vec_foreach (si, sorted_sis)
1236   {
1237     vnet_sw_interface_t *sup_si;
1238     ethernet_interface_t *ei;
1239
1240     sup_si = vnet_get_sup_sw_interface (vnm, si->sw_if_index);
1241     ei = ethernet_get_interface (em, sup_si->hw_if_index);
1242
1243     vlib_cli_output (vm, "%U (%s):",
1244                      format_vnet_sw_if_index_name, vnm, si->sw_if_index,
1245                      (si->flags & VNET_SW_INTERFACE_FLAG_ADMIN_UP) ?
1246                      "up" : "dn");
1247
1248     if (ei && ei->secondary_addrs)
1249       {
1250         ethernet_interface_address_t *sec_addr;
1251
1252         vec_foreach (sec_addr, ei->secondary_addrs)
1253         {
1254           vlib_cli_output (vm, "  %U", format_mac_address_t, &sec_addr->mac);
1255         }
1256       }
1257   }
1258
1259   vec_free (sorted_sis);
1260   return 0;
1261 }
1262
1263 /*?
1264  * This command is used to display interface secondary mac addresses.
1265  *
1266  * @cliexpar
1267  * Example of how to display interface secondary mac addresses:
1268  * @cliexstart{show interface secondary-mac-address}
1269  * @cliexend
1270 ?*/
1271 /* *INDENT-OFF* */
1272 VLIB_CLI_COMMAND (show_interface_sec_mac_addr, static) = {
1273   .path = "show interface secondary-mac-address",
1274   .short_help = "show interface secondary-mac-address [<interface>]",
1275   .function = show_interface_sec_mac_addr_fn,
1276 };
1277 /* *INDENT-ON* */
1278
1279 static clib_error_t *
1280 interface_add_del_mac_address (vlib_main_t * vm, unformat_input_t * input,
1281                                vlib_cli_command_t * cmd)
1282 {
1283   vnet_main_t *vnm = vnet_get_main ();
1284   vnet_sw_interface_t *si = NULL;
1285   clib_error_t *error = 0;
1286   u32 sw_if_index = ~0;
1287   u8 mac[6] = { 0 };
1288   u8 is_add, is_del;
1289
1290   is_add = is_del = 0;
1291
1292   if (!unformat_user (input, unformat_vnet_sw_interface, vnm, &sw_if_index))
1293     {
1294       error = clib_error_return (0, "unknown interface `%U'",
1295                                  format_unformat_error, input);
1296       goto done;
1297     }
1298   if (!unformat_user (input, unformat_ethernet_address, mac))
1299     {
1300       error = clib_error_return (0, "expected mac address `%U'",
1301                                  format_unformat_error, input);
1302       goto done;
1303     }
1304
1305   while (unformat_check_input (input) != UNFORMAT_END_OF_INPUT)
1306     {
1307       if (unformat (input, "add"))
1308         is_add = 1;
1309       else if (unformat (input, "del"))
1310         is_del = 1;
1311       else
1312         break;
1313     }
1314
1315   if (is_add == is_del)
1316     {
1317       error = clib_error_return (0, "must choose one of add or del");
1318       goto done;
1319     }
1320
1321   si = vnet_get_sw_interface (vnm, sw_if_index);
1322   error =
1323     vnet_hw_interface_add_del_mac_address (vnm, si->hw_if_index, mac, is_add);
1324
1325 done:
1326   return error;
1327 }
1328
1329 /*?
1330  * The '<em>set interface secondary-mac-address </em>' command allows adding
1331  * or deleting extra MAC addresses on a given interface without changing the
1332  * default MAC address. This could allow packets sent to these MAC addresses
1333  * to be received without setting the interface to promiscuous mode.
1334  * Not all interfaces support this operation. The ones that do are mostly
1335  * hardware NICs, though virtio does also.
1336  *
1337  * @cliexpar
1338  * @parblock
1339  * Example of how to add a secondary MAC Address on an interface:
1340  * @cliexcmd{set interface secondary-mac-address GigabitEthernet0/8/0 aa:bb:cc:dd:ee:01 add}
1341  * Example of how to delete a secondary MAC address from an interface:
1342  * @cliexcmd{set interface secondary-mac-address GigabitEthernet0/8/0 aa:bb:cc:dd:ee:01 del}
1343  * @endparblock
1344 ?*/
1345 /* *INDENT-OFF* */
1346 VLIB_CLI_COMMAND (interface_add_del_mac_address_cmd, static) = {
1347   .path = "set interface secondary-mac-address",
1348   .short_help = "set interface secondary-mac-address <interface> <mac-address> [(add|del)]",
1349   .function = interface_add_del_mac_address,
1350 };
1351 /* *INDENT-ON* */
1352
1353 static clib_error_t *
1354 set_interface_mac_address (vlib_main_t * vm, unformat_input_t * input,
1355                            vlib_cli_command_t * cmd)
1356 {
1357   vnet_main_t *vnm = vnet_get_main ();
1358   vnet_sw_interface_t *si = NULL;
1359   clib_error_t *error = 0;
1360   u32 sw_if_index = ~0;
1361   u8 mac[6] = { 0 };
1362
1363   if (!unformat_user (input, unformat_vnet_sw_interface, vnm, &sw_if_index))
1364     {
1365       error = clib_error_return (0, "unknown interface `%U'",
1366                                  format_unformat_error, input);
1367       goto done;
1368     }
1369   if (!unformat_user (input, unformat_ethernet_address, mac))
1370     {
1371       error = clib_error_return (0, "expected mac address `%U'",
1372                                  format_unformat_error, input);
1373       goto done;
1374     }
1375   si = vnet_get_sw_interface (vnm, sw_if_index);
1376   error = vnet_hw_interface_change_mac_address (vnm, si->hw_if_index, mac);
1377 done:
1378   return error;
1379 }
1380
1381 /*?
1382  * The '<em>set interface mac address </em>' command allows to set MAC address of given interface.
1383  * In case of NIC interfaces the one has to support MAC address change. A side effect of MAC address
1384  * change are changes of MAC addresses in FIB tables (ipv4 and ipv6).
1385  *
1386  * @cliexpar
1387  * @parblock
1388  * Example of how to change MAC Address of interface:
1389  * @cliexcmd{set interface mac address GigabitEthernet0/8/0 aa:bb:cc:dd:ee:01}
1390  * @cliexcmd{set interface mac address host-vpp0 aa:bb:cc:dd:ee:02}
1391  * @cliexcmd{set interface mac address tap-0 aa:bb:cc:dd:ee:03}
1392  * @cliexcmd{set interface mac address pg0 aa:bb:cc:dd:ee:04}
1393  * @endparblock
1394 ?*/
1395 /* *INDENT-OFF* */
1396 VLIB_CLI_COMMAND (set_interface_mac_address_cmd, static) = {
1397   .path = "set interface mac address",
1398   .short_help = "set interface mac address <interface> <mac-address>",
1399   .function = set_interface_mac_address,
1400 };
1401 /* *INDENT-ON* */
1402
1403 static clib_error_t *
1404 set_tag (vlib_main_t * vm, unformat_input_t * input, vlib_cli_command_t * cmd)
1405 {
1406   vnet_main_t *vnm = vnet_get_main ();
1407   u32 sw_if_index = ~0;
1408   u8 *tag = 0;
1409
1410   if (!unformat (input, "%U %s", unformat_vnet_sw_interface,
1411                  vnm, &sw_if_index, &tag))
1412     return clib_error_return (0, "unknown input `%U'",
1413                               format_unformat_error, input);
1414
1415   vnet_set_sw_interface_tag (vnm, tag, sw_if_index);
1416
1417   return 0;
1418 }
1419
1420 /* *INDENT-OFF* */
1421 VLIB_CLI_COMMAND (set_tag_command, static) = {
1422   .path = "set interface tag",
1423   .short_help = "set interface tag <interface> <tag>",
1424   .function = set_tag,
1425 };
1426 /* *INDENT-ON* */
1427
1428 static clib_error_t *
1429 clear_tag (vlib_main_t * vm, unformat_input_t * input,
1430            vlib_cli_command_t * cmd)
1431 {
1432   vnet_main_t *vnm = vnet_get_main ();
1433   u32 sw_if_index = ~0;
1434
1435   if (!unformat (input, "%U", unformat_vnet_sw_interface, vnm, &sw_if_index))
1436     return clib_error_return (0, "unknown input `%U'",
1437                               format_unformat_error, input);
1438
1439   vnet_clear_sw_interface_tag (vnm, sw_if_index);
1440
1441   return 0;
1442 }
1443
1444 /* *INDENT-OFF* */
1445 VLIB_CLI_COMMAND (clear_tag_command, static) = {
1446   .path = "clear interface tag",
1447   .short_help = "clear interface tag <interface>",
1448   .function = clear_tag,
1449 };
1450 /* *INDENT-ON* */
1451
1452 static clib_error_t *
1453 set_ip_directed_broadcast (vlib_main_t * vm,
1454                            unformat_input_t * input, vlib_cli_command_t * cmd)
1455 {
1456   vnet_main_t *vnm = vnet_get_main ();
1457   u32 sw_if_index = ~0;
1458   u8 enable = 0;
1459
1460   if (!unformat (input, "%U", unformat_vnet_sw_interface, vnm, &sw_if_index));
1461   else if (unformat (input, "enable"))
1462     enable = 1;
1463   else if (unformat (input, "disable"))
1464     enable = 0;
1465   else
1466     return clib_error_return (0, "unknown input: `%U'",
1467                               format_unformat_error, input);
1468
1469   if (~0 == sw_if_index)
1470     return clib_error_return (0, "specify an interface: `%U'",
1471                               format_unformat_error, input);
1472
1473   vnet_sw_interface_ip_directed_broadcast (vnm, sw_if_index, enable);
1474
1475   return 0;
1476 }
1477
1478 /*?
1479  * This command is used to enable/disable IP directed broadcast
1480  * If directed broadcast is enabled a packet sent to the interface's
1481  * subnet broadcast address will be sent L2 broadcast on the interface,
1482  * otherwise it is dropped.
1483  ?*/
1484 /* *INDENT-OFF* */
1485 VLIB_CLI_COMMAND (set_ip_directed_broadcast_command, static) = {
1486   .path = "set interface ip directed-broadcast",
1487   .short_help = "set interface enable <interface> <enable|disable>",
1488   .function = set_ip_directed_broadcast,
1489 };
1490 /* *INDENT-ON* */
1491
1492 clib_error_t *
1493 set_hw_interface_change_rx_mode (vnet_main_t * vnm, u32 hw_if_index,
1494                                  u8 queue_id_valid, u32 queue_id,
1495                                  vnet_hw_if_rx_mode mode)
1496 {
1497   clib_error_t *error = 0;
1498   vnet_hw_interface_t *hw;
1499   u32 *queue_indices = 0;
1500
1501   hw = vnet_get_hw_interface (vnm, hw_if_index);
1502
1503   if (queue_id_valid)
1504     {
1505       u32 queue_index;
1506       queue_index =
1507         vnet_hw_if_get_rx_queue_index_by_id (vnm, hw_if_index, queue_id);
1508       if (queue_index == ~0)
1509         return clib_error_return (0, "unknown queue %u on interface %s",
1510                                   queue_id, hw->name);
1511       vec_add1 (queue_indices, queue_index);
1512     }
1513   else
1514     queue_indices = hw->rx_queue_indices;
1515
1516   for (int i = 0; i < vec_len (queue_indices); i++)
1517     {
1518       int rv = vnet_hw_if_set_rx_queue_mode (vnm, queue_indices[i], mode);
1519       if (rv)
1520         goto done;
1521     }
1522
1523 done:
1524   if (queue_indices != hw->rx_queue_indices)
1525     vec_free (queue_indices);
1526   vnet_hw_if_update_runtime_data (vnm, hw_if_index);
1527   return error;
1528 }
1529
1530 static clib_error_t *
1531 set_interface_rx_mode (vlib_main_t * vm, unformat_input_t * input,
1532                        vlib_cli_command_t * cmd)
1533 {
1534   clib_error_t *error = 0;
1535   unformat_input_t _line_input, *line_input = &_line_input;
1536   vnet_main_t *vnm = vnet_get_main ();
1537   u32 hw_if_index = (u32) ~ 0;
1538   u32 queue_id = (u32) ~ 0;
1539   vnet_hw_if_rx_mode mode = VNET_HW_IF_RX_MODE_UNKNOWN;
1540   u8 queue_id_valid = 0;
1541
1542   if (!unformat_user (input, unformat_line_input, line_input))
1543     return 0;
1544
1545   while (unformat_check_input (line_input) != UNFORMAT_END_OF_INPUT)
1546     {
1547       if (unformat
1548           (line_input, "%U", unformat_vnet_hw_interface, vnm, &hw_if_index))
1549         ;
1550       else if (unformat (line_input, "queue %d", &queue_id))
1551         queue_id_valid = 1;
1552       else if (unformat (line_input, "polling"))
1553         mode = VNET_HW_IF_RX_MODE_POLLING;
1554       else if (unformat (line_input, "interrupt"))
1555         mode = VNET_HW_IF_RX_MODE_INTERRUPT;
1556       else if (unformat (line_input, "adaptive"))
1557         mode = VNET_HW_IF_RX_MODE_ADAPTIVE;
1558       else
1559         {
1560           error = clib_error_return (0, "parse error: '%U'",
1561                                      format_unformat_error, line_input);
1562           unformat_free (line_input);
1563           return error;
1564         }
1565     }
1566
1567   unformat_free (line_input);
1568
1569   if (hw_if_index == (u32) ~ 0)
1570     return clib_error_return (0, "please specify valid interface name");
1571
1572   if (mode == VNET_HW_IF_RX_MODE_UNKNOWN)
1573     return clib_error_return (0, "please specify valid rx-mode");
1574
1575   error = set_hw_interface_change_rx_mode (vnm, hw_if_index, queue_id_valid,
1576                                            queue_id, mode);
1577
1578   return (error);
1579 }
1580
1581 /*?
1582  * This command is used to assign the RX packet processing mode (polling,
1583  * interrupt, adaptive) of the a given interface, and optionally a
1584  * given queue. If the '<em>queue</em>' is not provided, the '<em>mode</em>'
1585  * is applied to all queues of the interface. Not all interfaces support
1586  * all modes. To display the current rx-mode use the command
1587  * '<em>show interface rx-placement</em>'.
1588  *
1589  * @cliexpar
1590  * Example of how to assign rx-mode to all queues on an interface:
1591  * @cliexcmd{set interface rx-mode VirtualEthernet0/0/12 polling}
1592  * Example of how to assign rx-mode to one queue of an interface:
1593  * @cliexcmd{set interface rx-mode VirtualEthernet0/0/12 queue 0 interrupt}
1594  * Example of how to display the rx-mode of all interfaces:
1595  * @cliexstart{show interface rx-placement}
1596  * Thread 1 (vpp_wk_0):
1597  *   node dpdk-input:
1598  *     GigabitEthernet7/0/0 queue 0 (polling)
1599  *   node vhost-user-input:
1600  *     VirtualEthernet0/0/12 queue 0 (interrupt)
1601  *     VirtualEthernet0/0/12 queue 2 (polling)
1602  *     VirtualEthernet0/0/13 queue 0 (polling)
1603  *     VirtualEthernet0/0/13 queue 2 (polling)
1604  * Thread 2 (vpp_wk_1):
1605  *   node dpdk-input:
1606  *     GigabitEthernet7/0/1 queue 0 (polling)
1607  *   node vhost-user-input:
1608  *     VirtualEthernet0/0/12 queue 1 (polling)
1609  *     VirtualEthernet0/0/12 queue 3 (polling)
1610  *     VirtualEthernet0/0/13 queue 1 (polling)
1611  *     VirtualEthernet0/0/13 queue 3 (polling)
1612  * @cliexend
1613 ?*/
1614 /* *INDENT-OFF* */
1615 VLIB_CLI_COMMAND (cmd_set_if_rx_mode,static) = {
1616     .path = "set interface rx-mode",
1617     .short_help = "set interface rx-mode <interface> [queue <n>] [polling | interrupt | adaptive]",
1618     .function = set_interface_rx_mode,
1619 };
1620 /* *INDENT-ON* */
1621
1622 static clib_error_t *
1623 show_interface_rx_placement_fn (vlib_main_t * vm, unformat_input_t * input,
1624                                 vlib_cli_command_t * cmd)
1625 {
1626   u8 *s = 0;
1627   vnet_main_t *vnm = vnet_get_main ();
1628   vnet_hw_if_rx_queue_t **all_queues = 0;
1629   vnet_hw_if_rx_queue_t **qptr;
1630   vnet_hw_if_rx_queue_t *q;
1631   pool_foreach (q, vnm->interface_main.hw_if_rx_queues)
1632     vec_add1 (all_queues, q);
1633   vec_sort_with_function (all_queues, vnet_hw_if_rxq_cmp_cli_api);
1634   u32 prev_node = ~0;
1635
1636   vec_foreach (qptr, all_queues)
1637     {
1638       u32 current_thread = qptr[0]->thread_index;
1639       u32 hw_if_index = qptr[0]->hw_if_index;
1640       vnet_hw_interface_t *hw_if = vnet_get_hw_interface (vnm, hw_if_index);
1641       u32 current_node = hw_if->input_node_index;
1642       if (current_node != prev_node)
1643         s = format (s, " node %U:\n", format_vlib_node_name, vm, current_node);
1644       s = format (s, "    %U queue %u (%U)\n", format_vnet_sw_if_index_name,
1645                   vnm, hw_if->sw_if_index, qptr[0]->queue_id,
1646                   format_vnet_hw_if_rx_mode, qptr[0]->mode);
1647       if (qptr == all_queues + vec_len (all_queues) - 1 ||
1648           current_thread != qptr[1]->thread_index)
1649         {
1650           vlib_cli_output (vm, "Thread %u (%s):\n%v", current_thread,
1651                            vlib_worker_threads[current_thread].name, s);
1652           vec_reset_length (s);
1653         }
1654       prev_node = current_node;
1655     }
1656   vec_free (s);
1657   vec_free (all_queues);
1658   return 0;
1659 }
1660
1661 /*?
1662  * This command is used to display the interface and queue worker
1663  * thread placement.
1664  *
1665  * @cliexpar
1666  * Example of how to display the interface placement:
1667  * @cliexstart{show interface rx-placement}
1668  * Thread 1 (vpp_wk_0):
1669  *   node dpdk-input:
1670  *     GigabitEthernet7/0/0 queue 0 (polling)
1671  *   node vhost-user-input:
1672  *     VirtualEthernet0/0/12 queue 0 (polling)
1673  *     VirtualEthernet0/0/12 queue 2 (polling)
1674  *     VirtualEthernet0/0/13 queue 0 (polling)
1675  *     VirtualEthernet0/0/13 queue 2 (polling)
1676  * Thread 2 (vpp_wk_1):
1677  *   node dpdk-input:
1678  *     GigabitEthernet7/0/1 queue 0 (polling)
1679  *   node vhost-user-input:
1680  *     VirtualEthernet0/0/12 queue 1 (polling)
1681  *     VirtualEthernet0/0/12 queue 3 (polling)
1682  *     VirtualEthernet0/0/13 queue 1 (polling)
1683  *     VirtualEthernet0/0/13 queue 3 (polling)
1684  * @cliexend
1685 ?*/
1686 /* *INDENT-OFF* */
1687 VLIB_CLI_COMMAND (show_interface_rx_placement, static) = {
1688   .path = "show interface rx-placement",
1689   .short_help = "show interface rx-placement",
1690   .function = show_interface_rx_placement_fn,
1691 };
1692 /* *INDENT-ON* */
1693 clib_error_t *
1694 set_hw_interface_rx_placement (u32 hw_if_index, u32 queue_id,
1695                                u32 thread_index, u8 is_main)
1696 {
1697   vnet_main_t *vnm = vnet_get_main ();
1698   vnet_device_main_t *vdm = &vnet_device_main;
1699   vnet_hw_interface_t *hw;
1700   u32 queue_index;
1701
1702   if (is_main)
1703     thread_index = 0;
1704   else
1705     thread_index += vdm->first_worker_thread_index;
1706
1707   if (thread_index > vdm->last_worker_thread_index)
1708     return clib_error_return (0,
1709                               "please specify valid worker thread or main");
1710
1711   hw = vnet_get_hw_interface (vnm, hw_if_index);
1712
1713   queue_index =
1714     vnet_hw_if_get_rx_queue_index_by_id (vnm, hw_if_index, queue_id);
1715   if (queue_index == ~0)
1716     return clib_error_return (0, "unknown queue %u on interface %s", queue_id,
1717                               hw->name);
1718   vnet_hw_if_set_rx_queue_thread_index (vnm, queue_index, thread_index);
1719   vnet_hw_if_update_runtime_data (vnm, hw_if_index);
1720   return 0;
1721 }
1722
1723 static clib_error_t *
1724 set_interface_rx_placement (vlib_main_t *vm, unformat_input_t *input,
1725                             vlib_cli_command_t *cmd)
1726 {
1727   clib_error_t *error = 0;
1728   unformat_input_t _line_input, *line_input = &_line_input;
1729   vnet_main_t *vnm = vnet_get_main ();
1730   u32 hw_if_index = (u32) ~ 0;
1731   u32 queue_id = (u32) 0;
1732   u32 thread_index = (u32) ~ 0;
1733   u8 is_main = 0;
1734
1735   if (!unformat_user (input, unformat_line_input, line_input))
1736     return 0;
1737
1738   while (unformat_check_input (line_input) != UNFORMAT_END_OF_INPUT)
1739     {
1740       if (unformat
1741           (line_input, "%U", unformat_vnet_hw_interface, vnm, &hw_if_index))
1742         ;
1743       else if (unformat (line_input, "queue %d", &queue_id))
1744         ;
1745       else if (unformat (line_input, "main", &thread_index))
1746         is_main = 1;
1747       else if (unformat (line_input, "worker %d", &thread_index))
1748         ;
1749       else
1750         {
1751           error = clib_error_return (0, "parse error: '%U'",
1752                                      format_unformat_error, line_input);
1753           unformat_free (line_input);
1754           return error;
1755         }
1756     }
1757
1758   unformat_free (line_input);
1759
1760   if (hw_if_index == (u32) ~ 0)
1761     return clib_error_return (0, "please specify valid interface name");
1762
1763   error = set_hw_interface_rx_placement (hw_if_index, queue_id, thread_index,
1764                                          is_main);
1765
1766   return (error);
1767 }
1768
1769 /*?
1770  * This command is used to assign a given interface, and optionally a
1771  * given queue, to a different thread. If the '<em>queue</em>' is not provided,
1772  * it defaults to 0. The '<em>worker</em>' parameter is zero based and the index
1773  * in the thread name, for example, 0 in the thread name '<em>vpp_wk_0</em>'.
1774  *
1775  * @cliexpar
1776  * Example of how to display the interface placement:
1777  * @cliexstart{show interface rx-placement}
1778  * Thread 1 (vpp_wk_0):
1779  *   node dpdk-input:
1780  *     GigabitEthernet7/0/0 queue 0 (polling)
1781  *   node vhost-user-input:
1782  *     VirtualEthernet0/0/12 queue 0 (polling)
1783  *     VirtualEthernet0/0/12 queue 2 (polling)
1784  *     VirtualEthernet0/0/13 queue 0 (polling)
1785  *     VirtualEthernet0/0/13 queue 2 (polling)
1786  * Thread 2 (vpp_wk_1):
1787  *   node dpdk-input:
1788  *     GigabitEthernet7/0/1 queue 0 (polling)
1789  *   node vhost-user-input:
1790  *     VirtualEthernet0/0/12 queue 1 (polling)
1791  *     VirtualEthernet0/0/12 queue 3 (polling)
1792  *     VirtualEthernet0/0/13 queue 1 (polling)
1793  *     VirtualEthernet0/0/13 queue 3 (polling)
1794  * @cliexend
1795  * Example of how to assign a interface and queue to a worker thread:
1796  * @cliexcmd{set interface rx-placement VirtualEthernet0/0/12 queue 1 worker 0}
1797  * Example of how to display the interface placement:
1798  * @cliexstart{show interface rx-placement}
1799  * Thread 1 (vpp_wk_0):
1800  *   node dpdk-input:
1801  *     GigabitEthernet7/0/0 queue 0 (polling)
1802  *   node vhost-user-input:
1803  *     VirtualEthernet0/0/12 queue 0 (polling)
1804  *     VirtualEthernet0/0/12 queue 1 (polling)
1805  *     VirtualEthernet0/0/12 queue 2 (polling)
1806  *     VirtualEthernet0/0/13 queue 0 (polling)
1807  *     VirtualEthernet0/0/13 queue 2 (polling)
1808  * Thread 2 (vpp_wk_1):
1809  *   node dpdk-input:
1810  *     GigabitEthernet7/0/1 queue 0 (polling)
1811  *   node vhost-user-input:
1812  *     VirtualEthernet0/0/12 queue 3 (polling)
1813  *     VirtualEthernet0/0/13 queue 1 (polling)
1814  *     VirtualEthernet0/0/13 queue 3 (polling)
1815  * @cliexend
1816 ?*/
1817 /* *INDENT-OFF* */
1818 VLIB_CLI_COMMAND (cmd_set_if_rx_placement,static) = {
1819     .path = "set interface rx-placement",
1820     .short_help = "set interface rx-placement <interface> [queue <n>] "
1821       "[worker <n> | main]",
1822     .function = set_interface_rx_placement,
1823     .is_mp_safe = 1,
1824 };
1825 /* *INDENT-ON* */
1826
1827 clib_error_t *
1828 set_hw_interface_tx_queue (u32 hw_if_index, u32 queue_id, uword *bitmap)
1829 {
1830   vnet_main_t *vnm = vnet_get_main ();
1831   vnet_device_main_t *vdm = &vnet_device_main;
1832   vnet_hw_interface_t *hw;
1833   vnet_hw_if_tx_queue_t *txq;
1834   u32 queue_index;
1835   u32 thread_index;
1836
1837   hw = vnet_get_hw_interface (vnm, hw_if_index);
1838
1839   /* highest set bit in bitmap should not exceed last worker thread index */
1840   thread_index = clib_bitmap_last_set (bitmap);
1841   if ((thread_index != ~0) && (thread_index > vdm->last_worker_thread_index))
1842     return clib_error_return (0, "please specify valid thread(s)");
1843
1844   queue_index =
1845     vnet_hw_if_get_tx_queue_index_by_id (vnm, hw_if_index, queue_id);
1846   if (queue_index == ~0)
1847     return clib_error_return (0, "unknown queue %u on interface %s", queue_id,
1848                               hw->name);
1849
1850   txq = vnet_hw_if_get_tx_queue (vnm, queue_index);
1851
1852   // free the existing bitmap
1853   if (clib_bitmap_count_set_bits (txq->threads))
1854     {
1855       txq->shared_queue = 0;
1856       clib_bitmap_free (txq->threads);
1857     }
1858
1859   clib_bitmap_foreach (thread_index, bitmap)
1860     vnet_hw_if_tx_queue_assign_thread (vnm, queue_index, thread_index);
1861
1862   vnet_hw_if_update_runtime_data (vnm, hw_if_index);
1863   return 0;
1864 }
1865
1866 static clib_error_t *
1867 set_interface_tx_queue (vlib_main_t *vm, unformat_input_t *input,
1868                         vlib_cli_command_t *cmd)
1869 {
1870   clib_error_t *error = 0;
1871   unformat_input_t _line_input, *line_input = &_line_input;
1872   vnet_main_t *vnm = vnet_get_main ();
1873   u32 hw_if_index = (u32) ~0;
1874   u32 queue_id = (u32) 0;
1875   uword *bitmap = 0;
1876
1877   if (!unformat_user (input, unformat_line_input, line_input))
1878     return 0;
1879
1880   while (unformat_check_input (line_input) != UNFORMAT_END_OF_INPUT)
1881     {
1882       if (unformat (line_input, "%U", unformat_vnet_hw_interface, vnm,
1883                     &hw_if_index))
1884         ;
1885       else if (unformat (line_input, "queue %d", &queue_id))
1886         ;
1887       else if (unformat (line_input, "threads %U", unformat_bitmap_list,
1888                          &bitmap))
1889         ;
1890       else
1891         {
1892           error = clib_error_return (0, "parse error: '%U'",
1893                                      format_unformat_error, line_input);
1894           unformat_free (line_input);
1895           return error;
1896         }
1897     }
1898
1899   unformat_free (line_input);
1900
1901   if (hw_if_index == (u32) ~0)
1902     {
1903       error = clib_error_return (0, "please specify valid interface name");
1904       goto error;
1905     }
1906
1907   error = set_hw_interface_tx_queue (hw_if_index, queue_id, bitmap);
1908
1909 error:
1910   clib_bitmap_free (bitmap);
1911   return (error);
1912 }
1913
1914 VLIB_CLI_COMMAND (cmd_set_if_tx_queue, static) = {
1915   .path = "set interface tx-queue",
1916   .short_help = "set interface tx-queue <interface> queue <n> "
1917                 "[threads <list>]",
1918   .function = set_interface_tx_queue,
1919   .is_mp_safe = 1,
1920 };
1921
1922 clib_error_t *
1923 set_interface_rss_queues (vlib_main_t * vm, u32 hw_if_index,
1924                           clib_bitmap_t * bitmap)
1925 {
1926   vnet_main_t *vnm = vnet_get_main ();
1927   vnet_hw_interface_t *hi = vnet_get_hw_interface (vnm, hw_if_index);
1928
1929   return vnet_hw_interface_set_rss_queues (vnm, hi, bitmap);
1930 }
1931
1932 static clib_error_t *
1933 set_interface_rss_queues_fn (vlib_main_t * vm,
1934                              unformat_input_t * input,
1935                              vlib_cli_command_t * cmd)
1936 {
1937   clib_error_t *error = 0;
1938   unformat_input_t _line_input, *line_input = &_line_input;
1939   vnet_main_t *vnm = vnet_get_main ();
1940   u32 hw_if_index = (u32) ~ 0;
1941   clib_bitmap_t *bitmap = NULL;
1942
1943   if (!unformat_user (input, unformat_line_input, line_input))
1944     return 0;
1945
1946   while (unformat_check_input (line_input) != UNFORMAT_END_OF_INPUT)
1947     {
1948       if (unformat
1949           (line_input, "%U", unformat_vnet_hw_interface, vnm, &hw_if_index))
1950         ;
1951       else
1952         if (unformat (line_input, "list %U", unformat_bitmap_list, &bitmap))
1953         ;
1954       else
1955         {
1956           error = clib_error_return (0, "parse error: '%U'",
1957                                      format_unformat_error, line_input);
1958           unformat_free (line_input);
1959           goto done;
1960         }
1961     }
1962
1963   unformat_free (line_input);
1964
1965   if (hw_if_index == (u32) ~ 0)
1966     {
1967       error = clib_error_return (0, "please specify valid interface name");
1968       goto done;
1969     }
1970
1971   if (bitmap == NULL)
1972     {
1973       error = clib_error_return (0, "please specify the valid rss queues");
1974       goto done;
1975     }
1976
1977   error = set_interface_rss_queues (vm, hw_if_index, bitmap);
1978
1979 done:
1980   if (bitmap)
1981     clib_bitmap_free (bitmap);
1982
1983   return (error);
1984 }
1985
1986 /*?
1987  * This command is used to set the rss queues of a given interface
1988  * Not all the interfaces support this operation.
1989  * To display the current rss queues, use the command
1990  * '<em>show hardware-interfaces</em>'.
1991  *
1992  * @cliexpar
1993  * Example of how to set the rss queues to 0,2-5,7 of an interface:
1994  * @cliexstart{set interface rss queues VirtualFunctionEthernet18/1/0 list 0,2-5,7}
1995  * @cliexend
1996 ?*/
1997 /* *INDENT-OFF* */
1998 VLIB_CLI_COMMAND (cmd_set_interface_rss_queues,static) = {
1999     .path = "set interface rss queues",
2000     .short_help = "set interface rss queues <interface> <list <queue-list>>",
2001     .function = set_interface_rss_queues_fn,
2002 };
2003 /* *INDENT-ON* */
2004
2005 static u8 *
2006 format_vnet_pcap (u8 * s, va_list * args)
2007 {
2008   vnet_pcap_t *pp = va_arg (*args, vnet_pcap_t *);
2009   int type = va_arg (*args, int);
2010   int printed = 0;
2011
2012   if (type == 0)
2013     {
2014       if (pp->pcap_rx_enable)
2015         {
2016           s = format (s, "rx");
2017           printed = 1;
2018         }
2019       if (pp->pcap_tx_enable)
2020         {
2021           if (printed)
2022             s = format (s, " and ");
2023           s = format (s, "tx");
2024           printed = 1;
2025         }
2026       if (pp->pcap_drop_enable)
2027         {
2028           if (printed)
2029             s = format (s, " and ");
2030           s = format (s, "drop");
2031           printed = 1;
2032         }
2033       return s;
2034     }
2035   s = format (s, "unknown type %d!", type);
2036   return s;
2037 }
2038
2039
2040 int
2041 vnet_pcap_dispatch_trace_configure (vnet_pcap_dispatch_trace_args_t * a)
2042 {
2043   vlib_main_t *vm = vlib_get_main ();
2044   vnet_main_t *vnm = vnet_get_main ();
2045   vnet_pcap_t *pp = &vnm->pcap;
2046   pcap_main_t *pm = &pp->pcap_main;
2047   vnet_classify_main_t *cm = &vnet_classify_main;
2048
2049   if (a->status)
2050     {
2051       if (pp->pcap_rx_enable || pp->pcap_tx_enable || pp->pcap_drop_enable)
2052         {
2053           vlib_cli_output
2054             (vm, "pcap %U dispatch capture enabled: %d of %d pkts...",
2055              format_vnet_pcap, pp, 0 /* print type */ ,
2056              pm->n_packets_captured, pm->n_packets_to_capture);
2057           vlib_cli_output (vm, "capture to file %s", pm->file_name);
2058         }
2059       else
2060         vlib_cli_output (vm, "pcap dispatch capture disabled");
2061
2062       return 0;
2063     }
2064
2065   /* Consistency checks */
2066
2067   /* Enable w/ capture already enabled not allowed */
2068   if ((pp->pcap_rx_enable + pp->pcap_tx_enable + pp->pcap_drop_enable)
2069       && (a->rx_enable + a->tx_enable + a->drop_enable))
2070     return VNET_API_ERROR_INVALID_VALUE;
2071
2072   /* Disable capture with capture already disabled, not interesting */
2073   if (((pp->pcap_rx_enable + pp->pcap_tx_enable + pp->pcap_drop_enable) ==
2074        0) &&
2075       ((a->rx_enable + a->tx_enable + a->drop_enable == 0)))
2076     return VNET_API_ERROR_VALUE_EXIST;
2077
2078   /* Change number of packets to capture while capturing */
2079   if ((pp->pcap_rx_enable + pp->pcap_tx_enable + pp->pcap_drop_enable)
2080       && (a->rx_enable + a->tx_enable + a->drop_enable)
2081       && (pm->n_packets_to_capture != a->packets_to_capture))
2082     return VNET_API_ERROR_INVALID_VALUE_2;
2083
2084   /* Classify filter specified, but no classify filter configured */
2085   if ((a->rx_enable + a->tx_enable + a->drop_enable) && a->filter &&
2086       (!cm->classify_table_index_by_sw_if_index ||
2087        cm->classify_table_index_by_sw_if_index[0] == ~0))
2088     return VNET_API_ERROR_NO_SUCH_LABEL;
2089
2090   if (a->rx_enable + a->tx_enable + a->drop_enable)
2091     {
2092       void *save_pcap_data;
2093
2094       /* Sanity check max bytes per pkt */
2095       if (a->max_bytes_per_pkt < 32 || a->max_bytes_per_pkt > 9000)
2096         return VNET_API_ERROR_INVALID_MEMORY_SIZE;
2097
2098       /* Clean up from previous run, if any */
2099       vec_reset_length (pm->pcap_data);
2100
2101       /* Throw away the data buffer? */
2102       if (a->free_data)
2103         vec_free (pm->pcap_data);
2104
2105       save_pcap_data = pm->pcap_data;
2106
2107       memset (pm, 0, sizeof (*pm));
2108
2109       pm->pcap_data = save_pcap_data;
2110
2111       vec_validate_aligned (vnet_trace_placeholder, 2048,
2112                             CLIB_CACHE_LINE_BYTES);
2113       if (pm->lock == 0)
2114         clib_spinlock_init (&(pm->lock));
2115
2116       if (a->filename == 0)
2117         {
2118           u8 *stem = 0;
2119
2120           if (a->rx_enable)
2121             stem = format (stem, "rx");
2122           if (a->tx_enable)
2123             stem = format (stem, "tx");
2124           if (a->drop_enable)
2125             stem = format (stem, "drop");
2126           a->filename = format (0, "/tmp/%v.pcap%c", stem, 0);
2127           vec_free (stem);
2128         }
2129
2130       pm->file_name = (char *) a->filename;
2131       pm->n_packets_captured = 0;
2132       pm->packet_type = PCAP_PACKET_TYPE_ethernet;
2133       /* Preallocate the data vector? */
2134       if (a->preallocate_data)
2135         {
2136           vec_validate
2137             (pm->pcap_data, a->packets_to_capture
2138              * ((sizeof (pcap_packet_header_t) + a->max_bytes_per_pkt)));
2139           vec_reset_length (pm->pcap_data);
2140         }
2141       pm->n_packets_to_capture = a->packets_to_capture;
2142       pp->pcap_sw_if_index = a->sw_if_index;
2143       if (a->filter)
2144         pp->filter_classify_table_index =
2145           cm->classify_table_index_by_sw_if_index[0];
2146       else
2147         pp->filter_classify_table_index = ~0;
2148       pp->pcap_error_index = a->drop_err;
2149       pp->pcap_rx_enable = a->rx_enable;
2150       pp->pcap_tx_enable = a->tx_enable;
2151       pp->pcap_drop_enable = a->drop_enable;
2152       pp->max_bytes_per_pkt = a->max_bytes_per_pkt;
2153     }
2154   else
2155     {
2156       pp->pcap_rx_enable = 0;
2157       pp->pcap_tx_enable = 0;
2158       pp->pcap_drop_enable = 0;
2159       pp->filter_classify_table_index = ~0;
2160       pp->pcap_error_index = ~0;
2161       if (pm->n_packets_captured)
2162         {
2163           clib_error_t *error;
2164           pm->n_packets_to_capture = pm->n_packets_captured;
2165           vlib_cli_output (vm, "Write %d packets to %s, and stop capture...",
2166                            pm->n_packets_captured, pm->file_name);
2167           error = pcap_write (pm);
2168           if (pm->flags & PCAP_MAIN_INIT_DONE)
2169             pcap_close (pm);
2170           /* Report I/O errors... */
2171           if (error)
2172             {
2173               clib_error_report (error);
2174               return VNET_API_ERROR_SYSCALL_ERROR_1;
2175             }
2176           vec_free (pm->file_name);
2177           if (a->free_data)
2178             vec_free (pm->pcap_data);
2179           return 0;
2180         }
2181       else
2182         return VNET_API_ERROR_NO_SUCH_ENTRY;
2183     }
2184
2185   return 0;
2186 }
2187
2188 static clib_error_t *
2189 pcap_trace_command_fn (vlib_main_t * vm,
2190                        unformat_input_t * input, vlib_cli_command_t * cmd)
2191 {
2192   unformat_input_t _line_input, *line_input = &_line_input;
2193   vnet_pcap_dispatch_trace_args_t _a, *a = &_a;
2194   vnet_main_t *vnm = vnet_get_main ();
2195   u8 *filename = 0;
2196   u32 max = 1000;
2197   u32 max_bytes_per_pkt = 512;
2198   int rv;
2199   int rx_enable = 0;
2200   int tx_enable = 0;
2201   int preallocate_data = 0;
2202   int drop_enable = 0;
2203   int status = 0;
2204   int filter = 0;
2205   int free_data = 0;
2206   u32 sw_if_index = 0;          /* default: any interface */
2207   vlib_error_t drop_err = ~0;   /* default: any error */
2208
2209   /* Get a line of input. */
2210   if (!unformat_user (input, unformat_line_input, line_input))
2211     return 0;
2212
2213   while (unformat_check_input (line_input) != UNFORMAT_END_OF_INPUT)
2214     {
2215       if (unformat (line_input, "rx"))
2216         rx_enable = 1;
2217       else if (unformat (line_input, "tx"))
2218         tx_enable = 1;
2219       else if (unformat (line_input, "drop"))
2220         drop_enable = 1;
2221       else if (unformat (line_input, "off"))
2222         rx_enable = tx_enable = drop_enable = 0;
2223       else if (unformat (line_input, "max-bytes-per-pkt %u",
2224                          &max_bytes_per_pkt))
2225         ;
2226       else if (unformat (line_input, "max %d", &max))
2227         ;
2228       else if (unformat (line_input, "packets-to-capture %d", &max))
2229         ;
2230       else if (unformat (line_input, "file %U", unformat_vlib_tmpfile,
2231                          &filename))
2232         ;
2233       else if (unformat (line_input, "status %=", &status, 1))
2234         ;
2235       else if (unformat (line_input, "intfc %U",
2236                          unformat_vnet_sw_interface, vnm, &sw_if_index))
2237         ;
2238       else if (unformat (line_input, "interface %U",
2239                          unformat_vnet_sw_interface, vnm, &sw_if_index))
2240         ;
2241       else if (unformat (line_input, "error %U", unformat_vlib_error, vm,
2242                          &drop_err))
2243         ;
2244       else if (unformat (line_input, "preallocate-data %=",
2245                          &preallocate_data, 1))
2246         ;
2247       else if (unformat (line_input, "free-data %=", &free_data, 1))
2248         ;
2249       else if (unformat (line_input, "intfc any")
2250                || unformat (line_input, "interface any"))
2251         sw_if_index = 0;
2252       else if (unformat (line_input, "filter"))
2253         filter = 1;
2254       else
2255         {
2256           return clib_error_return (0, "unknown input `%U'",
2257                                     format_unformat_error, line_input);
2258         }
2259     }
2260
2261   unformat_free (line_input);
2262
2263   /* no need for memset (a, 0, sizeof (*a)), set all fields here. */
2264   a->filename = filename;
2265   a->rx_enable = rx_enable;
2266   a->tx_enable = tx_enable;
2267   a->preallocate_data = preallocate_data;
2268   a->free_data = free_data;
2269   a->drop_enable = drop_enable;
2270   a->status = status;
2271   a->packets_to_capture = max;
2272   a->sw_if_index = sw_if_index;
2273   a->filter = filter;
2274   a->max_bytes_per_pkt = max_bytes_per_pkt;
2275   a->drop_err = drop_err;
2276
2277   rv = vnet_pcap_dispatch_trace_configure (a);
2278
2279   switch (rv)
2280     {
2281     case 0:
2282       break;
2283
2284     case VNET_API_ERROR_INVALID_VALUE:
2285       return clib_error_return (0, "dispatch trace already enabled...");
2286
2287     case VNET_API_ERROR_VALUE_EXIST:
2288       return clib_error_return (0, "dispatch trace already disabled...");
2289
2290     case VNET_API_ERROR_INVALID_VALUE_2:
2291       return clib_error_return
2292         (0, "can't change number of records to capture while tracing...");
2293
2294     case VNET_API_ERROR_SYSCALL_ERROR_1:
2295       return clib_error_return (0, "I/O writing trace capture...");
2296
2297     case VNET_API_ERROR_NO_SUCH_ENTRY:
2298       return clib_error_return (0, "No packets captured...");
2299
2300     case VNET_API_ERROR_INVALID_MEMORY_SIZE:
2301       return clib_error_return (0,
2302                                 "Max bytes per pkt must be > 32, < 9000...");
2303
2304     case VNET_API_ERROR_NO_SUCH_LABEL:
2305       return clib_error_return
2306         (0, "No classify filter configured, see 'classify filter...'");
2307
2308     default:
2309       vlib_cli_output (vm, "WARNING: trace configure returned %d", rv);
2310       break;
2311     }
2312   return 0;
2313 }
2314
2315 /*?
2316  * This command is used to start or stop a packet capture, or show
2317  * the status of packet capture.
2318  *
2319  * This command has the following optional parameters:
2320  *
2321  *
2322  * - <b>rx</b> - Capture received packets
2323  *
2324  * - <b>tx</b> - Capture transmitted packets
2325  *
2326  * - <b>drop</b> - Capture dropped packets
2327  *
2328  * - <b>off</b> - Stop capturing packets, write results to the specified file
2329  *
2330  * - <b>max <nn></b> - Depth of local buffer. Once '<em>nn</em>' number
2331  *   of packets have been received, buffer is flushed to file. Once another
2332  *   '<em>nn</em>' number of packets have been received, buffer is flushed
2333  *   to file, overwriting previous write. If not entered, value defaults
2334  *   to 100. Can only be updated if packet capture is off.
2335  *
2336  * - <b>max-bytes-per-pkt <nnnn></b> - Maximum number of bytes to capture
2337  *   for each packet. Must be >= 32, <= 9000.
2338  *
2339  * - <b>preallocate-data</b> - Preallocate the data buffer, to avoid
2340  *   vector expansion delays during pcap capture
2341  *
2342  * - <b>free-data</b> - Free the data buffer. Ordinarily it's a feature
2343  *   to retain the data buffer so this option is seldom used.
2344  *
2345  * - <b>intfc <interface-name>|any</b> - Used to specify a given interface,
2346  *   or use '<em>any</em>' to run packet capture on all interfaces.
2347  *   '<em>any</em>' is the default if not provided. Settings from a previous
2348  *   packet capture are preserved, so '<em>any</em>' can be used to reset
2349  *   the interface setting.
2350  *
2351  * - <b>filter</b> - Use the pcap rx / tx / drop trace filter, which
2352  *   must be configured. Use <b>classify filter pcap...</b> to configure the
2353  *   filter. The filter will only be executed if the per-interface or
2354  *   any-interface tests fail.
2355  *
2356  * - <b>error <node>.<error></b> - filter packets based on a specific error.
2357  *   For example: error {ip4-udp-lookup}.{No listener for dst port}
2358  *
2359  * - <b>file <name></b> - Used to specify the output filename. The file will
2360  *   be placed in the '<em>/tmp</em>' directory, so only the filename is
2361  *   supported. Directory should not be entered. If file already exists, file
2362  *   will be overwritten. If no filename is provided, the file will be
2363  *   named "/tmp/rx.pcap", "/tmp/tx.pcap", "/tmp/rxandtx.pcap", etc.
2364  *   Can only be updated if packet capture is off.
2365  *
2366  * - <b>status</b> - Displays the current status and configured attributes
2367  *   associated with a packet capture. If packet capture is in progress,
2368  *   '<em>status</em>' also will return the number of packets currently in
2369  *   the local buffer. All additional attributes entered on command line
2370  *   with '<em>status</em>' will be ignored and not applied.
2371  *
2372  * @cliexpar
2373  * Example of how to display the status of a tx packet capture when off:
2374  * @cliexstart{pcap trace status}
2375  * max is 100, for any interface to file /tmp/vpe.pcap
2376  * pcap tx capture is off...
2377  * @cliexend
2378  * Example of how to start a tx packet capture:
2379  * @cliexstart{pcap trace tx max 35 intfc GigabitEthernet0/8/0 file
2380 vppTest.pcap}
2381  * @cliexend
2382  * Example of how to display the status of a tx packet capture in progress:
2383  * @cliexstart{pcap trace status}
2384  * max is 35, for interface GigabitEthernet0/8/0 to file /tmp/vppTest.pcap
2385  * pcap tx capture is on: 20 of 35 pkts...
2386  * @cliexend
2387  * Example of how to stop a tx packet capture:
2388  * @cliexstart{pcap trace off}
2389  * captured 21 pkts...
2390  * saved to /tmp/vppTest.pcap...
2391  * @cliexend
2392 ?*/
2393 /* *INDENT-OFF* */
2394
2395 VLIB_CLI_COMMAND (pcap_tx_trace_command, static) = {
2396     .path = "pcap trace",
2397     .short_help =
2398     "pcap trace [rx] [tx] [drop] [off] [max <nn>] [intfc <interface>|any]\n"
2399     "           [file <name>] [status] [max-bytes-per-pkt <nnnn>][filter]\n"
2400     "           [preallocate-data][free-data]",
2401     .function = pcap_trace_command_fn,
2402 };
2403 /* *INDENT-ON* */
2404
2405 /*
2406  * fd.io coding-style-patch-verification: ON
2407  *
2408  * Local Variables:
2409  * eval: (c-set-style "gnu")
2410  * End:
2411  */