src/vnet/bonding/cli.c

   1 /*
   2  *------------------------------------------------------------------
   3  * Copyright (c) 2017 Cisco and/or its affiliates.
   4  * Licensed under the Apache License, Version 2.0 (the "License");
   5  * you may not use this file except in compliance with the License.
   6  * You may obtain a copy of the License at:
   7  *
   8  *     http://www.apache.org/licenses/LICENSE-2.0
   9  *
  10  * Unless required by applicable law or agreed to in writing, software
  11  * distributed under the License is distributed on an "AS IS" BASIS,
  12  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  13  * See the License for the specific language governing permissions and
  14  * limitations under the License.
  15  *------------------------------------------------------------------
  16  */
  17
  18 #include <stdint.h>
  19 #include <vlib/vlib.h>
  20 #include <vlib/unix/unix.h>
  21 #include <vnet/ethernet/ethernet.h>
  22 #include <vnet/bonding/node.h>
  23 #include <vlib/stats/stats.h>
  24
  25 void
  26 bond_disable_collecting_distributing (vlib_main_t * vm, member_if_t * mif)
  27 {
  28   bond_main_t *bm = &bond_main;
  29   bond_if_t *bif;
  30   int i;
  31   uword p;
  32   u8 switching_active = 0;
  33
  34   bif = bond_get_bond_if_by_dev_instance (mif->bif_dev_instance);
  35   clib_spinlock_lock_if_init (&bif->lockp);
  36   vec_foreach_index (i, bif->active_members)
  37   {
  38     p = *vec_elt_at_index (bif->active_members, i);
  39     if (p == mif->sw_if_index)
  40       {
  41         if ((bif->mode == BOND_MODE_ACTIVE_BACKUP) && (i == 0) &&
  42             (vec_len (bif->active_members) > 1))
  43           /* deleting the active member for active-backup */
  44           switching_active = 1;
  45         vec_del1 (bif->active_members, i);
  46         if (mif->lacp_enabled && bif->numa_only)
  47           {
  48             /* For lacp mode, if we check it is a member on local numa node,
  49                bif->n_numa_members should be decreased by 1 becasue the first
  50                bif->n_numa_members are all members on local numa node */
  51             if (i < bif->n_numa_members)
  52               {
  53                 bif->n_numa_members--;
  54                 ASSERT (bif->n_numa_members >= 0);
  55               }
  56           }
  57         break;
  58       }
  59   }
  60
  61   /* We get a new member just becoming active */
  62   if (switching_active)
  63     vlib_process_signal_event (bm->vlib_main, bond_process_node.index,
  64                                BOND_SEND_GARP_NA, bif->hw_if_index);
  65   clib_spinlock_unlock_if_init (&bif->lockp);
  66 }
  67
  68 /*
  69  * return 1 if s2 is preferred.
  70  * return -1 if s1 is preferred.
  71  */
  72 static int
  73 bond_member_sort (void *a1, void *a2)
  74 {
  75   u32 *s1 = a1;
  76   u32 *s2 = a2;
  77   member_if_t *mif1 = bond_get_member_by_sw_if_index (*s1);
  78   member_if_t *mif2 = bond_get_member_by_sw_if_index (*s2);
  79   bond_if_t *bif;
  80
  81   ALWAYS_ASSERT (mif1);
  82   ALWAYS_ASSERT (mif2);
  83   /*
  84    * sort entries according to preference rules:
  85    * 1. biggest weight
  86    * 2. numa-node
  87    * 3. current active member (to prevent churning)
  88    * 4. lowest sw_if_index (for deterministic behavior)
  89    *
  90    */
  91   if (mif2->weight > mif1->weight)
  92     return 1;
  93   if (mif2->weight < mif1->weight)
  94     return -1;
  95   else
  96     {
  97       if (mif2->is_local_numa > mif1->is_local_numa)
  98         return 1;
  99       if (mif2->is_local_numa < mif1->is_local_numa)
 100         return -1;
 101       else
 102         {
 103           bif = bond_get_bond_if_by_dev_instance (mif1->bif_dev_instance);
 104           /* Favor the current active member to avoid churning */
 105           if (bif->active_members[0] == mif2->sw_if_index)
 106             return 1;
 107           if (bif->active_members[0] == mif1->sw_if_index)
 108             return -1;
 109           /* go for the tiebreaker as the last resort */
 110           if (mif1->sw_if_index > mif2->sw_if_index)
 111             return 1;
 112           if (mif1->sw_if_index < mif2->sw_if_index)
 113             return -1;
 114           else
 115             ASSERT (0);
 116         }
 117     }
 118   return 0;
 119 }
 120
 121 static void
 122 bond_sort_members (bond_if_t * bif)
 123 {
 124   bond_main_t *bm = &bond_main;
 125   u32 old_active = bif->active_members[0];
 126
 127   vec_sort_with_function (bif->active_members, bond_member_sort);
 128   if (old_active != bif->active_members[0])
 129     vlib_process_signal_event (bm->vlib_main, bond_process_node.index,
 130                                BOND_SEND_GARP_NA, bif->hw_if_index);
 131 }
 132
 133 void
 134 bond_enable_collecting_distributing (vlib_main_t * vm, member_if_t * mif)
 135 {
 136   bond_if_t *bif;
 137   bond_main_t *bm = &bond_main;
 138   vnet_main_t *vnm = vnet_get_main ();
 139   vnet_hw_interface_t *hw = vnet_get_sup_hw_interface (vnm, mif->sw_if_index);
 140   int i;
 141   uword p;
 142
 143   bif = bond_get_bond_if_by_dev_instance (mif->bif_dev_instance);
 144   clib_spinlock_lock_if_init (&bif->lockp);
 145   vec_foreach_index (i, bif->active_members)
 146   {
 147     p = *vec_elt_at_index (bif->active_members, i);
 148     if (p == mif->sw_if_index)
 149       goto done;
 150   }
 151
 152   if (mif->lacp_enabled && bif->numa_only && (vm->numa_node == hw->numa_node))
 153     {
 154       vec_insert_elts (bif->active_members, &mif->sw_if_index, 1,
 155                        bif->n_numa_members);
 156       bif->n_numa_members++;
 157     }
 158   else
 159     vec_add1 (bif->active_members, mif->sw_if_index);
 160
 161   mif->is_local_numa = (vm->numa_node == hw->numa_node) ? 1 : 0;
 162   if (bif->mode == BOND_MODE_ACTIVE_BACKUP)
 163     {
 164       if (vec_len (bif->active_members) == 1)
 165         /* First member becomes active? */
 166         vlib_process_signal_event (bm->vlib_main, bond_process_node.index,
 167                                    BOND_SEND_GARP_NA, bif->hw_if_index);
 168       else
 169         bond_sort_members (bif);
 170     }
 171
 172 done:
 173   clib_spinlock_unlock_if_init (&bif->lockp);
 174 }
 175
 176 int
 177 bond_dump_ifs (bond_interface_details_t ** out_bondifs)
 178 {
 179   vnet_main_t *vnm = vnet_get_main ();
 180   bond_main_t *bm = &bond_main;
 181   bond_if_t *bif;
 182   vnet_hw_interface_t *hi;
 183   bond_interface_details_t *r_bondifs = NULL;
 184   bond_interface_details_t *bondif = NULL;
 185
 186   pool_foreach (bif, bm->interfaces) {
 187     vec_add2(r_bondifs, bondif, 1);
 188     clib_memset (bondif, 0, sizeof (*bondif));
 189     bondif->id = bif->id;
 190     bondif->sw_if_index = bif->sw_if_index;
 191     hi = vnet_get_hw_interface (vnm, bif->hw_if_index);
 192     clib_memcpy(bondif->interface_name, hi->name,
 193                 MIN (ARRAY_LEN (bondif->interface_name) - 1,
 194                      vec_len ((const char *) hi->name)));
 195     /* enforce by memset() above */
 196     ASSERT(0 == bondif->interface_name[ARRAY_LEN (bondif->interface_name) - 1]);
 197     bondif->mode = bif->mode;
 198     bondif->lb = bif->lb;
 199     bondif->numa_only = bif->numa_only;
 200     bondif->active_members = vec_len (bif->active_members);
 201     bondif->members = vec_len (bif->members);
 202   }
 203
 204   *out_bondifs = r_bondifs;
 205
 206   return 0;
 207 }
 208
 209 int
 210 bond_dump_member_ifs (member_interface_details_t ** out_memberifs,
 211                       u32 bond_sw_if_index)
 212 {
 213   vnet_main_t *vnm = vnet_get_main ();
 214   bond_if_t *bif;
 215   vnet_hw_interface_t *hi;
 216   vnet_sw_interface_t *sw;
 217   member_interface_details_t *r_memberifs = NULL;
 218   member_interface_details_t *memberif = NULL;
 219   u32 *sw_if_index = NULL;
 220   member_if_t *mif;
 221
 222   bif = bond_get_bond_if_by_sw_if_index (bond_sw_if_index);
 223   if (!bif)
 224     return 1;
 225
 226   vec_foreach (sw_if_index, bif->members)
 227   {
 228     vec_add2 (r_memberifs, memberif, 1);
 229     clib_memset (memberif, 0, sizeof (*memberif));
 230     mif = bond_get_member_by_sw_if_index (*sw_if_index);
 231     if (mif)
 232       {
 233         sw = vnet_get_sw_interface (vnm, mif->sw_if_index);
 234         hi = vnet_get_hw_interface (vnm, sw->hw_if_index);
 235         clib_memcpy (memberif->interface_name, hi->name,
 236                      MIN (ARRAY_LEN (memberif->interface_name) - 1,
 237                           vec_len ((const char *) hi->name)));
 238         /* enforce by memset() above */
 239         ASSERT (0 ==
 240                 memberif->interface_name[ARRAY_LEN (memberif->interface_name)
 241                                          - 1]);
 242         memberif->sw_if_index = mif->sw_if_index;
 243         memberif->is_passive = mif->is_passive;
 244         memberif->is_long_timeout = mif->is_long_timeout;
 245         memberif->is_local_numa = mif->is_local_numa;
 246         memberif->weight = mif->weight;
 247       }
 248   }
 249   *out_memberifs = r_memberifs;
 250
 251   return 0;
 252 }
 253
 254 /*
 255  * Manage secondary mac addresses when attaching/detaching a member.
 256  * If adding, copy any secondary addresses from bond interface to member.
 257  * If deleting, delete the bond interface's secondary addresses from the
 258  * member.
 259  */
 260 static void
 261 bond_member_add_del_mac_addrs (bond_if_t * bif, u32 mif_sw_if_index,
 262                                u8 is_add)
 263 {
 264   vnet_main_t *vnm = vnet_get_main ();
 265   ethernet_interface_t *b_ei;
 266   ethernet_interface_address_t *sec_mac;
 267   vnet_hw_interface_t *s_hwif;
 268
 269   b_ei = ethernet_get_interface (&ethernet_main, bif->hw_if_index);
 270   if (!b_ei || !b_ei->secondary_addrs)
 271     return;
 272
 273   s_hwif = vnet_get_sup_hw_interface (vnm, mif_sw_if_index);
 274
 275   vec_foreach (sec_mac, b_ei->secondary_addrs)
 276     vnet_hw_interface_add_del_mac_address (vnm, s_hwif->hw_if_index,
 277                                            sec_mac->mac.bytes, is_add);
 278 }
 279
 280 static void
 281 bond_delete_neighbor (vlib_main_t * vm, bond_if_t * bif, member_if_t * mif)
 282 {
 283   bond_main_t *bm = &bond_main;
 284   vnet_main_t *vnm = vnet_get_main ();
 285   int i;
 286   vnet_hw_interface_t *mif_hw;
 287
 288   mif_hw = vnet_get_sup_hw_interface (vnm, mif->sw_if_index);
 289
 290   bif->port_number_bitmap =
 291     clib_bitmap_set (bif->port_number_bitmap,
 292                      ntohs (mif->actor_admin.port_number) - 1, 0);
 293   bm->member_by_sw_if_index[mif->sw_if_index] = 0;
 294   vec_free (mif->last_marker_pkt);
 295   vec_free (mif->last_rx_pkt);
 296   vec_foreach_index (i, bif->members)
 297   {
 298     uword p = *vec_elt_at_index (bif->members, i);
 299     if (p == mif->sw_if_index)
 300       {
 301         vec_del1 (bif->members, i);
 302         break;
 303       }
 304   }
 305
 306   bond_disable_collecting_distributing (vm, mif);
 307
 308   vnet_feature_enable_disable ("device-input", "bond-input",
 309                                mif->sw_if_index, 0, 0, 0);
 310
 311   /* Put back the old mac */
 312   vnet_hw_interface_change_mac_address (vnm, mif_hw->hw_if_index,
 313                                         mif->persistent_hw_address);
 314
 315   /* delete the bond's secondary/virtual mac addrs from the member */
 316   bond_member_add_del_mac_addrs (bif, mif->sw_if_index, 0 /* is_add */ );
 317
 318
 319   if ((bif->mode == BOND_MODE_LACP) && bm->lacp_enable_disable)
 320     (*bm->lacp_enable_disable) (vm, bif, mif, 0);
 321
 322   if (bif->mode == BOND_MODE_LACP)
 323     {
 324       vlib_stats_remove_entry (
 325         bm->stats[bif->sw_if_index][mif->sw_if_index].actor_state);
 326       vlib_stats_remove_entry (
 327         bm->stats[bif->sw_if_index][mif->sw_if_index].partner_state);
 328     }
 329
 330   pool_put (bm->neighbors, mif);
 331 }
 332
 333 int
 334 bond_delete_if (vlib_main_t * vm, u32 sw_if_index)
 335 {
 336   bond_main_t *bm = &bond_main;
 337   vnet_main_t *vnm = vnet_get_main ();
 338   bond_if_t *bif;
 339   member_if_t *mif;
 340   vnet_hw_interface_t *hw;
 341   u32 *mif_sw_if_index;
 342   u32 *s_list = 0;
 343
 344   hw = vnet_get_sup_hw_interface (vnm, sw_if_index);
 345   if (hw == NULL || bond_dev_class.index != hw->dev_class_index)
 346     return VNET_API_ERROR_INVALID_SW_IF_INDEX;
 347
 348   bif = bond_get_bond_if_by_dev_instance (hw->dev_instance);
 349
 350   vec_append (s_list, bif->members);
 351   vec_foreach (mif_sw_if_index, s_list)
 352   {
 353     mif = bond_get_member_by_sw_if_index (*mif_sw_if_index);
 354     if (mif)
 355       bond_delete_neighbor (vm, bif, mif);
 356   }
 357   vec_free (s_list);
 358
 359   /* bring down the interface */
 360   vnet_hw_interface_set_flags (vnm, bif->hw_if_index, 0);
 361   vnet_sw_interface_set_flags (vnm, bif->sw_if_index, 0);
 362
 363   ethernet_delete_interface (vnm, bif->hw_if_index);
 364
 365   clib_bitmap_free (bif->port_number_bitmap);
 366   hash_unset (bm->bond_by_sw_if_index, bif->sw_if_index);
 367   hash_unset (bm->id_used, bif->id);
 368   clib_memset (bif, 0, sizeof (*bif));
 369   pool_put (bm->interfaces, bif);
 370
 371   return 0;
 372 }
 373
 374 void
 375 bond_create_if (vlib_main_t * vm, bond_create_if_args_t * args)
 376 {
 377   vnet_eth_interface_registration_t eir = {};
 378   bond_main_t *bm = &bond_main;
 379   vnet_main_t *vnm = vnet_get_main ();
 380   vnet_sw_interface_t *sw;
 381   bond_if_t *bif;
 382
 383   if ((args->mode == BOND_MODE_LACP) && bm->lacp_plugin_loaded == 0)
 384     {
 385       args->rv = VNET_API_ERROR_FEATURE_DISABLED;
 386       args->error = clib_error_return (0, "LACP plugin is not loaded");
 387       return;
 388     }
 389   if (args->mode > BOND_MODE_LACP || args->mode < BOND_MODE_ROUND_ROBIN)
 390     {
 391       args->rv = VNET_API_ERROR_INVALID_ARGUMENT;
 392       args->error = clib_error_return (0, "Invalid mode");
 393       return;
 394     }
 395   if (args->lb > BOND_LB_L23)
 396     {
 397       args->rv = VNET_API_ERROR_INVALID_ARGUMENT;
 398       args->error = clib_error_return (0, "Invalid load-balance");
 399       return;
 400     }
 401   pool_get (bm->interfaces, bif);
 402   clib_memset (bif, 0, sizeof (*bif));
 403   bif->dev_instance = bif - bm->interfaces;
 404   bif->id = args->id;
 405   bif->lb = args->lb;
 406   bif->mode = args->mode;
 407   bif->gso = args->gso;
 408
 409   if (bif->lb == BOND_LB_L2)
 410     bif->hash_func =
 411       vnet_hash_function_from_name ("hash-eth-l2", VNET_HASH_FN_TYPE_ETHERNET);
 412   else if (bif->lb == BOND_LB_L34)
 413     bif->hash_func = vnet_hash_function_from_name ("hash-eth-l34",
 414                                                    VNET_HASH_FN_TYPE_ETHERNET);
 415   else if (bif->lb == BOND_LB_L23)
 416     bif->hash_func = vnet_hash_function_from_name ("hash-eth-l23",
 417                                                    VNET_HASH_FN_TYPE_ETHERNET);
 418
 419   // Adjust requested interface id
 420   if (bif->id == ~0)
 421     bif->id = bif->dev_instance;
 422   if (hash_get (bm->id_used, bif->id))
 423     {
 424       args->rv = VNET_API_ERROR_INSTANCE_IN_USE;
 425       pool_put (bm->interfaces, bif);
 426       return;
 427     }
 428   hash_set (bm->id_used, bif->id, 1);
 429
 430   // Special load-balance mode used for rr and bc
 431   if (bif->mode == BOND_MODE_ROUND_ROBIN)
 432     bif->lb = BOND_LB_RR;
 433   else if (bif->mode == BOND_MODE_BROADCAST)
 434     bif->lb = BOND_LB_BC;
 435   else if (bif->mode == BOND_MODE_ACTIVE_BACKUP)
 436     bif->lb = BOND_LB_AB;
 437
 438   bif->use_custom_mac = args->hw_addr_set;
 439   if (!args->hw_addr_set)
 440     {
 441       f64 now = vlib_time_now (vm);
 442       u32 rnd;
 443       rnd = (u32) (now * 1e6);
 444       rnd = random_u32 (&rnd);
 445
 446       memcpy (args->hw_addr + 2, &rnd, sizeof (rnd));
 447       args->hw_addr[0] = 2;
 448       args->hw_addr[1] = 0xfe;
 449     }
 450   memcpy (bif->hw_address, args->hw_addr, 6);
 451
 452   eir.dev_class_index = bond_dev_class.index;
 453   eir.dev_instance = bif->dev_instance;
 454   eir.address = bif->hw_address;
 455   bif->hw_if_index = vnet_eth_register_interface (vnm, &eir);
 456
 457   sw = vnet_get_hw_sw_interface (vnm, bif->hw_if_index);
 458   bif->sw_if_index = sw->sw_if_index;
 459   bif->group = bif->sw_if_index;
 460   bif->numa_only = args->numa_only;
 461
 462   /*
 463    * Add GSO and Checksum offload flags if GSO is enabled on Bond
 464    */
 465   if (args->gso)
 466     {
 467       vnet_hw_if_set_caps (vnm, bif->hw_if_index,
 468                            VNET_HW_IF_CAP_TCP_GSO |
 469                              VNET_HW_IF_CAP_TX_TCP_CKSUM |
 470                              VNET_HW_IF_CAP_TX_UDP_CKSUM);
 471     }
 472   if (vlib_get_thread_main ()->n_vlib_mains > 1)
 473     clib_spinlock_init (&bif->lockp);
 474
 475   vnet_hw_interface_set_flags (vnm, bif->hw_if_index,
 476                                VNET_HW_INTERFACE_FLAG_LINK_UP);
 477
 478   hash_set (bm->bond_by_sw_if_index, bif->sw_if_index, bif->dev_instance);
 479
 480   // for return
 481   args->sw_if_index = bif->sw_if_index;
 482   args->rv = 0;
 483 }
 484
 485 static clib_error_t *
 486 bond_create_command_fn (vlib_main_t * vm, unformat_input_t * input,
 487                         vlib_cli_command_t * cmd)
 488 {
 489   unformat_input_t _line_input, *line_input = &_line_input;
 490   bond_create_if_args_t args = { 0 };
 491   u8 mode_is_set = 0;
 492
 493   /* Get a line of input. */
 494   if (!unformat_user (input, unformat_line_input, line_input))
 495     return clib_error_return (0, "Missing required arguments.");
 496
 497   args.id = ~0;
 498   args.mode = -1;
 499   args.lb = BOND_LB_L2;
 500   args.rv = -1;
 501   while (unformat_check_input (line_input) != UNFORMAT_END_OF_INPUT)
 502     {
 503       if (unformat (line_input, "mode %U", unformat_bond_mode, &args.mode))
 504         mode_is_set = 1;
 505       else if (((args.mode == BOND_MODE_LACP) || (args.mode == BOND_MODE_XOR))
 506                && unformat (line_input, "load-balance %U",
 507                             unformat_bond_load_balance, &args.lb))
 508         ;
 509       else if (unformat (line_input, "hw-addr %U",
 510                          unformat_ethernet_address, args.hw_addr))
 511         args.hw_addr_set = 1;
 512       else if (unformat (line_input, "id %u", &args.id))
 513         ;
 514       else if (unformat (line_input, "gso"))
 515         args.gso = 1;
 516       else if (unformat (line_input, "numa-only"))
 517         {
 518           if (args.mode == BOND_MODE_LACP)
 519             args.numa_only = 1;
 520           else
 521             {
 522               unformat_free (line_input);
 523               return clib_error_return (
 524                 0, "Only lacp mode supports numa-only so far!");
 525             }
 526         }
 527       else
 528         {
 529           unformat_free (line_input);
 530           return clib_error_return (0, "unknown input `%U'",
 531                                     format_unformat_error, input);
 532         }
 533     }
 534   unformat_free (line_input);
 535
 536   if (mode_is_set == 0)
 537     return clib_error_return (0, "Missing bond mode");
 538
 539   bond_create_if (vm, &args);
 540
 541   if (!args.rv)
 542     vlib_cli_output (vm, "%U\n", format_vnet_sw_if_index_name,
 543                      vnet_get_main (), args.sw_if_index);
 544
 545   return args.error;
 546 }
 547
 548 VLIB_CLI_COMMAND (bond_create_command, static) = {
 549   .path = "create bond",
 550   .short_help = "create bond mode {round-robin | active-backup | broadcast | "
 551     "{lacp | xor} [load-balance { l2 | l23 | l34 } [numa-only]]} "
 552     "[hw-addr <mac-address>] [id <if-id>] [gso]",
 553   .function = bond_create_command_fn,
 554 };
 555
 556 static clib_error_t *
 557 bond_delete_command_fn (vlib_main_t * vm, unformat_input_t * input,
 558                         vlib_cli_command_t * cmd)
 559 {
 560   unformat_input_t _line_input, *line_input = &_line_input;
 561   u32 sw_if_index = ~0;
 562   vnet_main_t *vnm = vnet_get_main ();
 563   int rv;
 564
 565   /* Get a line of input. */
 566   if (!unformat_user (input, unformat_line_input, line_input))
 567     return clib_error_return (0, "Missing <interface>");
 568
 569   while (unformat_check_input (line_input) != UNFORMAT_END_OF_INPUT)
 570     {
 571       if (unformat (line_input, "sw_if_index %d", &sw_if_index))
 572         ;
 573       else if (unformat (line_input, "%U", unformat_vnet_sw_interface,
 574                          vnm, &sw_if_index))
 575         ;
 576       else
 577         return clib_error_return (0, "unknown input `%U'",
 578                                   format_unformat_error, input);
 579     }
 580   unformat_free (line_input);
 581
 582   if (sw_if_index == ~0)
 583     return clib_error_return (0,
 584                               "please specify interface name or sw_if_index");
 585
 586   rv = bond_delete_if (vm, sw_if_index);
 587   if (rv == VNET_API_ERROR_INVALID_SW_IF_INDEX)
 588     return clib_error_return (0, "not a bond interface");
 589   else if (rv != 0)
 590     return clib_error_return (0, "error on deleting bond interface");
 591
 592   return 0;
 593 }
 594
 595 VLIB_CLI_COMMAND (bond_delete__command, static) =
 596 {
 597   .path = "delete bond",
 598   .short_help = "delete bond {<interface> | sw_if_index <sw_idx>}",
 599   .function = bond_delete_command_fn,
 600 };
 601
 602 void
 603 bond_add_member (vlib_main_t * vm, bond_add_member_args_t * args)
 604 {
 605   bond_main_t *bm = &bond_main;
 606   vnet_main_t *vnm = vnet_get_main ();
 607   bond_if_t *bif;
 608   member_if_t *mif;
 609   vnet_interface_main_t *im = &vnm->interface_main;
 610   vnet_hw_interface_t *bif_hw, *mif_hw;
 611   vnet_sw_interface_t *sw;
 612   u32 thread_index;
 613   u32 mif_if_index;
 614
 615   bif = bond_get_bond_if_by_sw_if_index (args->group);
 616   if (!bif)
 617     {
 618       args->rv = VNET_API_ERROR_INVALID_INTERFACE;
 619       args->error = clib_error_return (0, "bond interface not found");
 620       return;
 621     }
 622   // make sure the interface is not already added as member
 623   if (bond_get_member_by_sw_if_index (args->member))
 624     {
 625       args->rv = VNET_API_ERROR_VALUE_EXIST;
 626       args->error = clib_error_return
 627         (0, "interface was already added as member");
 628       return;
 629     }
 630   mif_hw = vnet_get_sup_hw_interface (vnm, args->member);
 631   if (mif_hw->dev_class_index == bond_dev_class.index)
 632     {
 633       args->rv = VNET_API_ERROR_INVALID_INTERFACE;
 634       args->error =
 635         clib_error_return (0, "bond interface cannot be added as member");
 636       return;
 637     }
 638   if (bif->gso && !(mif_hw->caps & VNET_HW_IF_CAP_TCP_GSO))
 639     {
 640       args->rv = VNET_API_ERROR_INVALID_INTERFACE;
 641       args->error =
 642         clib_error_return (0, "member interface is not gso capable");
 643       return;
 644     }
 645   if (bif->mode == BOND_MODE_LACP)
 646     {
 647       u32 actor_idx, partner_idx;
 648
 649       actor_idx = vlib_stats_add_gauge ("/if/lacp/%u/%u/state",
 650                                         bif->sw_if_index, args->member);
 651       if (actor_idx == ~0)
 652         {
 653           args->rv = VNET_API_ERROR_INVALID_INTERFACE;
 654           return;
 655         }
 656
 657       partner_idx = vlib_stats_add_gauge ("/if/lacp/%u/%u/partner-state",
 658                                           bif->sw_if_index, args->member);
 659       if (partner_idx == ~0)
 660         {
 661           vlib_stats_remove_entry (actor_idx);
 662           args->rv = VNET_API_ERROR_INVALID_INTERFACE;
 663           return;
 664         }
 665
 666       vec_validate (bm->stats, bif->sw_if_index);
 667       vec_validate (bm->stats[bif->sw_if_index], args->member);
 668       bm->stats[bif->sw_if_index][args->member].actor_state = actor_idx;
 669       bm->stats[bif->sw_if_index][args->member].partner_state = partner_idx;
 670     }
 671
 672   pool_get (bm->neighbors, mif);
 673   clib_memset (mif, 0, sizeof (*mif));
 674   sw = pool_elt_at_index (im->sw_interfaces, args->member);
 675   /* port_enabled is both admin up and hw link up */
 676   mif->port_enabled = vnet_sw_interface_is_up (vnm, sw->sw_if_index);
 677   mif->sw_if_index = sw->sw_if_index;
 678   mif->hw_if_index = sw->hw_if_index;
 679   mif->packet_template_index = (u8) ~ 0;
 680   mif->is_passive = args->is_passive;
 681   mif->group = args->group;
 682   mif->bif_dev_instance = bif->dev_instance;
 683   mif->mode = bif->mode;
 684
 685   mif->is_long_timeout = args->is_long_timeout;
 686   if (args->is_long_timeout)
 687     mif->ttl_in_seconds = LACP_LONG_TIMOUT_TIME;
 688   else
 689     mif->ttl_in_seconds = LACP_SHORT_TIMOUT_TIME;
 690
 691   vec_validate_aligned (bm->member_by_sw_if_index, mif->sw_if_index,
 692                         CLIB_CACHE_LINE_BYTES);
 693   /*
 694    * mif - bm->neighbors may be 0
 695    * Left shift it by 1 bit to distinguish the valid entry that we actually
 696    * store from the null entries
 697    */
 698   bm->member_by_sw_if_index[mif->sw_if_index] =
 699     (uword) (((mif - bm->neighbors) << 1) | 1);
 700   vec_add1 (bif->members, mif->sw_if_index);
 701
 702   mif_hw = vnet_get_sup_hw_interface (vnm, mif->sw_if_index);
 703
 704   /* Save the old mac */
 705   memcpy (mif->persistent_hw_address, mif_hw->hw_address, 6);
 706   bif_hw = vnet_get_sup_hw_interface (vnm, bif->sw_if_index);
 707   if (bif->use_custom_mac)
 708     {
 709       vnet_hw_interface_change_mac_address (vnm, mif_hw->hw_if_index,
 710                                             bif->hw_address);
 711     }
 712   else
 713     {
 714       // bond interface gets the mac address from the first member
 715       if (vec_len (bif->members) == 1)
 716         {
 717           memcpy (bif->hw_address, mif_hw->hw_address, 6);
 718           vnet_hw_interface_change_mac_address (vnm, bif_hw->hw_if_index,
 719                                                 mif_hw->hw_address);
 720         }
 721       else
 722         {
 723           // subsequent members gets the mac address of the bond interface
 724           vnet_hw_interface_change_mac_address (vnm, mif_hw->hw_if_index,
 725                                                 bif->hw_address);
 726         }
 727     }
 728
 729   /* if there are secondary/virtual mac addrs, propagate to the member */
 730   bond_member_add_del_mac_addrs (bif, mif->sw_if_index, 1 /* is_add */ );
 731
 732   if (bif_hw->l2_if_count)
 733     ethernet_set_flags (vnm, mif_hw->hw_if_index,
 734                         ETHERNET_INTERFACE_FLAG_ACCEPT_ALL);
 735   else
 736     ethernet_set_flags (vnm, mif_hw->hw_if_index,
 737                         /*ETHERNET_INTERFACE_FLAG_DEFAULT_L3 */ 0);
 738
 739   if (bif->mode == BOND_MODE_LACP)
 740     {
 741       if (bm->lacp_enable_disable)
 742         (*bm->lacp_enable_disable) (vm, bif, mif, 1);
 743     }
 744   else if (mif->port_enabled)
 745     {
 746       bond_enable_collecting_distributing (vm, mif);
 747     }
 748
 749   vec_foreach_index (thread_index, bm->per_thread_data)
 750   {
 751     bond_per_thread_data_t *ptd = vec_elt_at_index (bm->per_thread_data,
 752                                                     thread_index);
 753
 754     vec_validate_aligned (ptd->per_port_queue, vec_len (bif->members) - 1,
 755                           CLIB_CACHE_LINE_BYTES);
 756
 757     vec_foreach_index (mif_if_index, ptd->per_port_queue)
 758     {
 759       ptd->per_port_queue[mif_if_index].n_buffers = 0;
 760     }
 761   }
 762
 763   args->rv = vnet_feature_enable_disable ("device-input", "bond-input",
 764                                           mif->sw_if_index, 1, 0, 0);
 765
 766   if (args->rv)
 767     {
 768       args->error =
 769         clib_error_return (0,
 770                            "Error encountered on input feature arc enable");
 771     }
 772 }
 773
 774 static clib_error_t *
 775 add_member_interface_command_fn (vlib_main_t * vm, unformat_input_t * input,
 776                                  vlib_cli_command_t * cmd)
 777 {
 778   bond_add_member_args_t args = { 0 };
 779   unformat_input_t _line_input, *line_input = &_line_input;
 780   vnet_main_t *vnm = vnet_get_main ();
 781
 782   /* Get a line of input. */
 783   if (!unformat_user (input, unformat_line_input, line_input))
 784     return clib_error_return (0, "Missing required arguments.");
 785
 786   args.member = ~0;
 787   args.group = ~0;
 788   while (unformat_check_input (line_input) != UNFORMAT_END_OF_INPUT)
 789     {
 790       if (unformat (line_input, "%U %U",
 791                     unformat_vnet_sw_interface, vnm, &args.group,
 792                     unformat_vnet_sw_interface, vnm, &args.member))
 793         ;
 794       else if (unformat (line_input, "passive"))
 795         args.is_passive = 1;
 796       else if (unformat (line_input, "long-timeout"))
 797         args.is_long_timeout = 1;
 798       else
 799         {
 800           args.error = clib_error_return (0, "unknown input `%U'",
 801                                           format_unformat_error, input);
 802           break;
 803         }
 804     }
 805   unformat_free (line_input);
 806
 807   if (args.error)
 808     return args.error;
 809   if (args.group == ~0)
 810     return clib_error_return (0, "Missing bond interface");
 811   if (args.member == ~0)
 812     return clib_error_return (0,
 813                               "please specify valid member interface name");
 814
 815   bond_add_member (vm, &args);
 816
 817   return args.error;
 818 }
 819
 820 VLIB_CLI_COMMAND (add_member_interface_command, static) = {
 821   .path = "bond add",
 822   .short_help = "bond add <BondEthernetx> <member-interface> "
 823                 "[passive] [long-timeout]",
 824   .function = add_member_interface_command_fn,
 825 };
 826
 827 void
 828 bond_detach_member (vlib_main_t * vm, bond_detach_member_args_t * args)
 829 {
 830   bond_if_t *bif;
 831   member_if_t *mif;
 832
 833   mif = bond_get_member_by_sw_if_index (args->member);
 834   if (!mif)
 835     {
 836       args->rv = VNET_API_ERROR_INVALID_INTERFACE;
 837       args->error = clib_error_return (0, "interface was not a member");
 838       return;
 839     }
 840   bif = bond_get_bond_if_by_dev_instance (mif->bif_dev_instance);
 841   bond_delete_neighbor (vm, bif, mif);
 842 }
 843
 844 static clib_error_t *
 845 detach_interface_command_fn (vlib_main_t * vm, unformat_input_t * input,
 846                              vlib_cli_command_t * cmd)
 847 {
 848   bond_detach_member_args_t args = { 0 };
 849   unformat_input_t _line_input, *line_input = &_line_input;
 850   vnet_main_t *vnm = vnet_get_main ();
 851
 852   /* Get a line of input. */
 853   if (!unformat_user (input, unformat_line_input, line_input))
 854     return clib_error_return (0, "Missing required arguments.");
 855
 856   args.member = ~0;
 857   while (unformat_check_input (line_input) != UNFORMAT_END_OF_INPUT)
 858     {
 859       if (unformat (line_input, "%U",
 860                     unformat_vnet_sw_interface, vnm, &args.member))
 861         ;
 862       else
 863         {
 864           args.error = clib_error_return (0, "unknown input `%U'",
 865                                           format_unformat_error, input);
 866           break;
 867         }
 868     }
 869   unformat_free (line_input);
 870
 871   if (args.error)
 872     return args.error;
 873   if (args.member == ~0)
 874     return clib_error_return (0,
 875                               "please specify valid member interface name");
 876
 877   bond_detach_member (vm, &args);
 878
 879   return args.error;
 880 }
 881
 882 VLIB_CLI_COMMAND (detach_interface_command, static) = {
 883   .path = "bond del",
 884   .short_help = "bond del <member-interface>",
 885   .function = detach_interface_command_fn,
 886 };
 887
 888 static void
 889 show_bond (vlib_main_t * vm)
 890 {
 891   bond_main_t *bm = &bond_main;
 892   bond_if_t *bif;
 893
 894   vlib_cli_output (vm, "%-16s %-12s %-13s %-13s %-14s %s",
 895                    "interface name", "sw_if_index", "mode",
 896                    "load balance", "active members", "members");
 897
 898   pool_foreach (bif, bm->interfaces)
 899    {
 900     vlib_cli_output (vm, "%-16U %-12d %-13U %-13U %-14u %u",
 901                      format_bond_interface_name, bif->dev_instance,
 902                      bif->sw_if_index, format_bond_mode, bif->mode,
 903                      format_bond_load_balance, bif->lb,
 904                      vec_len (bif->active_members), vec_len (bif->members));
 905   }
 906 }
 907
 908 static void
 909 show_bond_details (vlib_main_t * vm)
 910 {
 911   bond_main_t *bm = &bond_main;
 912   bond_if_t *bif;
 913   u32 *sw_if_index;
 914
 915   pool_foreach (bif, bm->interfaces)
 916    {
 917     vlib_cli_output (vm, "%U", format_bond_interface_name, bif->dev_instance);
 918     vlib_cli_output (vm, "  mode: %U",
 919                      format_bond_mode, bif->mode);
 920     vlib_cli_output (vm, "  load balance: %U",
 921                      format_bond_load_balance, bif->lb);
 922     if (bif->gso)
 923       vlib_cli_output (vm, "  gso enable");
 924     if (bif->mode == BOND_MODE_ROUND_ROBIN)
 925       vlib_cli_output (vm, "  last xmit member index: %u",
 926                        bif->lb_rr_last_index);
 927     vlib_cli_output (vm, "  number of active members: %d",
 928                      vec_len (bif->active_members));
 929     vec_foreach (sw_if_index, bif->active_members)
 930       {
 931         vlib_cli_output (vm, "    %U", format_vnet_sw_if_index_name,
 932                          vnet_get_main (), *sw_if_index);
 933         if (bif->mode == BOND_MODE_ACTIVE_BACKUP)
 934           {
 935             member_if_t *mif = bond_get_member_by_sw_if_index (*sw_if_index);
 936             if (mif)
 937               vlib_cli_output (vm, "      weight: %u, is_local_numa: %u, "
 938                                "sw_if_index: %u", mif->weight,
 939                                mif->is_local_numa, mif->sw_if_index);
 940           }
 941       }
 942     vlib_cli_output (vm, "  number of members: %d", vec_len (bif->members));
 943     vec_foreach (sw_if_index, bif->members)
 944       {
 945         vlib_cli_output (vm, "    %U", format_vnet_sw_if_index_name,
 946                          vnet_get_main (), *sw_if_index);
 947       }
 948     vlib_cli_output (vm, "  device instance: %d", bif->dev_instance);
 949     vlib_cli_output (vm, "  interface id: %d", bif->id);
 950     vlib_cli_output (vm, "  sw_if_index: %d", bif->sw_if_index);
 951     vlib_cli_output (vm, "  hw_if_index: %d", bif->hw_if_index);
 952   }
 953 }
 954
 955 static clib_error_t *
 956 show_bond_fn (vlib_main_t * vm, unformat_input_t * input,
 957               vlib_cli_command_t * cmd)
 958 {
 959   u8 details = 0;
 960
 961   while (unformat_check_input (input) != UNFORMAT_END_OF_INPUT)
 962     {
 963       if (unformat (input, "details"))
 964         details = 1;
 965       else
 966         {
 967           return clib_error_return (0, "unknown input `%U'",
 968                                     format_unformat_error, input);
 969         }
 970     }
 971
 972   if (details)
 973     show_bond_details (vm);
 974   else
 975     show_bond (vm);
 976
 977   return 0;
 978 }
 979
 980 VLIB_CLI_COMMAND (show_bond_command, static) = {
 981   .path = "show bond",
 982   .short_help = "show bond [details]",
 983   .function = show_bond_fn,
 984 };
 985
 986 void
 987 bond_set_intf_weight (vlib_main_t * vm, bond_set_intf_weight_args_t * args)
 988 {
 989   member_if_t *mif;
 990   bond_if_t *bif;
 991   vnet_main_t *vnm;
 992   u32 old_weight;
 993
 994   mif = bond_get_member_by_sw_if_index (args->sw_if_index);
 995   if (!mif)
 996     {
 997       args->rv = VNET_API_ERROR_INVALID_INTERFACE;
 998       args->error = clib_error_return (0, "Interface not a member");
 999       return;
1000     }
1001   bif = bond_get_bond_if_by_dev_instance (mif->bif_dev_instance);
1002   if (!bif)
1003     {
1004       args->rv = VNET_API_ERROR_INVALID_INTERFACE;
1005       args->error = clib_error_return (0, "bond interface not found");
1006       return;
1007     }
1008   if (bif->mode != BOND_MODE_ACTIVE_BACKUP)
1009     {
1010       args->rv = VNET_API_ERROR_INVALID_ARGUMENT;
1011       args->error =
1012         clib_error_return (0, "Weight valid for active-backup only");
1013       return;
1014     }
1015
1016   old_weight = mif->weight;
1017   mif->weight = args->weight;
1018   vnm = vnet_get_main ();
1019   /*
1020    * No need to sort the list if the affected member is not up (not in active
1021    * member set), active member count is 1, or the current member is already the
1022    * primary member and new weight > old weight.
1023    */
1024   if (!vnet_sw_interface_is_up (vnm, mif->sw_if_index) ||
1025       (vec_len (bif->active_members) == 1) ||
1026       ((bif->active_members[0] == mif->sw_if_index) &&
1027        (mif->weight >= old_weight)))
1028     return;
1029
1030   bond_sort_members (bif);
1031 }
1032
1033 static clib_error_t *
1034 bond_set_intf_cmd (vlib_main_t * vm, unformat_input_t * input,
1035                    vlib_cli_command_t * cmd)
1036 {
1037   bond_set_intf_weight_args_t args = { 0 };
1038   u32 sw_if_index = (u32) ~ 0;
1039   unformat_input_t _line_input, *line_input = &_line_input;
1040   vnet_main_t *vnm = vnet_get_main ();
1041   u8 weight_enter = 0;
1042   u32 weight = 0;
1043
1044   /* Get a line of input. */
1045   if (!unformat_user (input, unformat_line_input, line_input))
1046     return clib_error_return (0, "Missing required arguments.");
1047
1048   while (unformat_check_input (line_input) != UNFORMAT_END_OF_INPUT)
1049     {
1050       if (unformat (line_input, "sw_if_index %d", &sw_if_index))
1051         ;
1052       else if (unformat (line_input, "%U", unformat_vnet_sw_interface, vnm,
1053                          &sw_if_index))
1054         ;
1055       else if (unformat (line_input, "weight %u", &weight))
1056         weight_enter = 1;
1057       else
1058         {
1059           clib_error_return (0, "unknown input `%U'", format_unformat_error,
1060                              input);
1061           break;
1062         }
1063     }
1064
1065   unformat_free (line_input);
1066   if (sw_if_index == (u32) ~ 0)
1067     {
1068       args.rv = VNET_API_ERROR_INVALID_INTERFACE;
1069       clib_error_return (0, "Interface name is invalid!");
1070     }
1071   if (weight_enter == 0)
1072     {
1073       args.rv = VNET_API_ERROR_INVALID_ARGUMENT;
1074       clib_error_return (0, "weight missing");
1075     }
1076
1077   args.sw_if_index = sw_if_index;
1078   args.weight = weight;
1079   bond_set_intf_weight (vm, &args);
1080
1081   return args.error;
1082 }
1083
1084 VLIB_CLI_COMMAND(set_interface_bond_cmd, static) = {
1085   .path = "set interface bond",
1086   .short_help = "set interface bond <interface> | sw_if_index <idx>"
1087                 " weight <value>",
1088   .function = bond_set_intf_cmd,
1089 };
1090
1091 clib_error_t *
1092 bond_cli_init (vlib_main_t * vm)
1093 {
1094   bond_main_t *bm = &bond_main;
1095
1096   bm->vlib_main = vm;
1097   bm->vnet_main = vnet_get_main ();
1098   vec_validate_aligned (bm->member_by_sw_if_index, 1, CLIB_CACHE_LINE_BYTES);
1099   vec_validate_aligned (bm->per_thread_data,
1100                         vlib_get_thread_main ()->n_vlib_mains - 1,
1101                         CLIB_CACHE_LINE_BYTES);
1102
1103   return 0;
1104 }
1105
1106 VLIB_INIT_FUNCTION (bond_cli_init);
1107
1108 /*
1109  * fd.io coding-style-patch-verification: ON
1110  *
1111  * Local Variables:
1112  * eval: (c-set-style "gnu")
1113  * End:
1114  */