src/plugins/lb/lb.h

   1 /*
   2  * Copyright (c) 2016 Cisco and/or its affiliates.
   3  * Licensed under the Apache License, Version 2.0 (the "License");
   4  * you may not use this file except in compliance with the License.
   5  * You may obtain a copy of the License at:
   6  *
   7  *     http://www.apache.org/licenses/LICENSE-2.0
   8  *
   9  * Unless required by applicable law or agreed to in writing, software
  10  * distributed under the License is distributed on an "AS IS" BASIS,
  11  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  12  * See the License for the specific language governing permissions and
  13  * limitations under the License.
  14  */
  15
  16 /**
  17  * lb-plugin implements a MagLev-like load balancer.
  18  * http://research.google.com/pubs/pub44824.html
  19  *
  20  * It hasn't been tested for interoperability with the original MagLev
  21  * but intends to provide similar functionality.
  22  * The load-balancer receives traffic destined to VIP (Virtual IP)
  23  * addresses from one or multiple(ECMP) routers.
  24  * The load-balancer tunnels the traffic toward many application servers
  25  * ensuring session stickyness (i.e. that a single sessions is tunneled
  26  * towards a single application server).
  27  *
  28  */
  29
  30 #ifndef LB_PLUGIN_LB_LB_H_
  31 #define LB_PLUGIN_LB_LB_H_
  32
  33 #include <lb/util.h>
  34 #include <vnet/util/refcount.h>
  35
  36 #include <vnet/vnet.h>
  37 #include <vnet/ip/ip.h>
  38 #include <vnet/dpo/dpo.h>
  39 #include <vnet/fib/fib_table.h>
  40 #include <vppinfra/hash.h>
  41
  42 #include <lb/lbhash.h>
  43
  44 #define LB_DEFAULT_PER_CPU_STICKY_BUCKETS 1 << 10
  45 #define LB_DEFAULT_FLOW_TIMEOUT 40
  46
  47 typedef enum {
  48   LB_NEXT_DROP,
  49   LB_N_NEXT,
  50 } lb_next_t;
  51
  52 /**
  53  * Each VIP is configured with a set of
  54  * application server.
  55  */
  56 typedef struct {
  57   /**
  58    * Registration to FIB event.
  59    */
  60   fib_node_t fib_node;
  61
  62   /**
  63    * Destination address used to tunnel traffic towards
  64    * that application server.
  65    * The address is also used as ID and pseudo-random
  66    * seed for the load-balancing process.
  67    */
  68   ip46_address_t address;
  69
  70   /**
  71    * ASs are indexed by address and VIP Index.
  72    * Which means there will be duplicated if the same server
  73    * address is used for multiple VIPs.
  74    */
  75   u32 vip_index;
  76
  77   /**
  78    * Some per-AS flags.
  79    * For now only LB_AS_FLAGS_USED is defined.
  80    */
  81   u8 flags;
  82
  83 #define LB_AS_FLAGS_USED 0x1
  84
  85   /**
  86    * Rotating timestamp of when LB_AS_FLAGS_USED flag was last set.
  87    *
  88    * AS removal is based on garbage collection and reference counting.
  89    * When an AS is removed, there is a race between configuration core
  90    * and worker cores which may still add a reference while it should not
  91    * be used. This timestamp is used to not remove the AS while a race condition
  92    * may happen.
  93    */
  94   u32 last_used;
  95
  96   /**
  97    * The FIB entry index for the next-hop
  98    */
  99   fib_node_index_t next_hop_fib_entry_index;
 100
 101   /**
 102    * The child index on the FIB entry
 103    */
 104   u32 next_hop_child_index;
 105
 106   /**
 107    * The next DPO in the graph to follow.
 108    */
 109   dpo_id_t dpo;
 110
 111 } lb_as_t;
 112
 113 format_function_t format_lb_as;
 114
 115 typedef struct {
 116   u32 as_index;
 117 } lb_new_flow_entry_t;
 118
 119 #define lb_foreach_vip_counter \
 120  _(NEXT_PACKET, "packet from existing sessions", 0) \
 121  _(FIRST_PACKET, "first session packet", 1) \
 122  _(UNTRACKED_PACKET, "untracked packet", 2) \
 123  _(NO_SERVER, "no server configured", 3)
 124
 125 typedef enum {
 126 #define _(a,b,c) LB_VIP_COUNTER_##a = c,
 127   lb_foreach_vip_counter
 128 #undef _
 129   LB_N_VIP_COUNTERS
 130 } lb_vip_counter_t;
 131
 132 typedef enum {
 133   LB_ENCAP_TYPE_GRE4,
 134   LB_ENCAP_TYPE_GRE6,
 135   LB_ENCAP_TYPE_L3DSR,
 136   LB_ENCAP_N_TYPES,
 137 } lb_encap_type_t;
 138
 139 /**
 140  * The load balancer supports IPv4 and IPv6 traffic
 141  * and GRE4, GRE6 and L3DSR encap.
 142  */
 143 typedef enum {
 144   LB_VIP_TYPE_IP6_GRE6,
 145   LB_VIP_TYPE_IP6_GRE4,
 146   LB_VIP_TYPE_IP4_GRE6,
 147   LB_VIP_TYPE_IP4_GRE4,
 148   LB_VIP_TYPE_IP4_L3DSR,
 149   LB_VIP_N_TYPES,
 150 } lb_vip_type_t;
 151
 152
 153 format_function_t format_lb_vip_type;
 154 unformat_function_t unformat_lb_vip_type;
 155
 156 /**
 157  * Load balancing service is provided per VIP.
 158  * In this data model, a VIP can be a whole prefix.
 159  * But load balancing only
 160  * occurs on a per-source-address/port basis. Meaning that if a given source
 161  * reuses the same port for multiple destinations within the same VIP,
 162  * they will be considered as a single flow.
 163  */
 164 typedef struct {
 165
 166   //Runtime
 167
 168   /**
 169    * Vector mapping (flow-hash & new_connect_table_mask) to AS index.
 170    * This is used for new flows.
 171    */
 172   lb_new_flow_entry_t *new_flow_table;
 173
 174   /**
 175    * New flows table length - 1
 176    * (length MUST be a power of 2)
 177    */
 178   u32 new_flow_table_mask;
 179
 180   /**
 181    * Last time garbage collection was run to free the ASs.
 182    */
 183   u32 last_garbage_collection;
 184
 185   //Not runtime
 186
 187   /**
 188    * A Virtual IP represents a given service delivered
 189    * by a set of application servers. It can be a single
 190    * address or a prefix.
 191    * IPv4 prefixes are encoded using IPv4-in-IPv6 embedded address
 192    * (i.e. ::/96 prefix).
 193    */
 194   ip46_address_t prefix;
 195
 196   /**
 197    * The VIP prefix length.
 198    * In case of IPv4, plen = 96 + ip4_plen.
 199    */
 200   u8 plen;
 201
 202   /**
 203    * The type of traffic for this.
 204    * LB_TYPE_UNDEFINED if unknown.
 205    */
 206   lb_vip_type_t type;
 207
 208   /**
 209    * DSCP bits for L3DSR
 210    */
 211   u8 dscp;
 212
 213   /**
 214    * Flags related to this VIP.
 215    * LB_VIP_FLAGS_USED means the VIP is active.
 216    * When it is not set, the VIP in the process of being removed.
 217    * We cannot immediately remove a VIP because the VIP index still may be stored
 218    * in the adjacency index.
 219    */
 220   u8 flags;
 221 #define LB_VIP_FLAGS_USED 0x1
 222
 223   /**
 224    * Pool of AS indexes used for this VIP.
 225    * This also includes ASs that have been removed (but are still referenced).
 226    */
 227   u32 *as_indexes;
 228 } lb_vip_t;
 229
 230 #define lb_vip_is_ip4(vip) ((vip)->type == LB_VIP_TYPE_IP4_GRE6 \
 231                             || (vip)->type == LB_VIP_TYPE_IP4_GRE4 \
 232                             || (vip)->type == LB_VIP_TYPE_IP4_L3DSR )
 233
 234 #define lb_vip_is_gre4(vip) ((vip)->type == LB_VIP_TYPE_IP6_GRE4 \
 235                              || (vip)->type == LB_VIP_TYPE_IP4_GRE4)
 236 #define lb_vip_is_gre6(vip) ((vip)->type == LB_VIP_TYPE_IP6_GRE6 \
 237                              || (vip)->type == LB_VIP_TYPE_IP4_GRE6)
 238 #define lb_vip_is_l3dsr(vip) ((vip)->type == LB_VIP_TYPE_IP4_L3DSR)
 239
 240 #define lb_encap_is_ip4(vip) ((vip)->type == LB_VIP_TYPE_IP6_GRE4 \
 241                              || (vip)->type == LB_VIP_TYPE_IP4_GRE4 \
 242                              || (vip)->type == LB_VIP_TYPE_IP4_L3DSR)
 243
 244 format_function_t format_lb_vip;
 245 format_function_t format_lb_vip_detailed;
 246
 247 typedef struct {
 248   /**
 249    * Each CPU has its own sticky flow hash table.
 250    * One single table is used for all VIPs.
 251    */
 252   lb_hash_t *sticky_ht;
 253 } lb_per_cpu_t;
 254
 255 typedef struct {
 256   /**
 257    * Pool of all Virtual IPs
 258    */
 259   lb_vip_t *vips;
 260
 261   /**
 262    * Pool of ASs.
 263    * ASs are referenced by address and vip index.
 264    * The first element (index 0) is special and used only to fill
 265    * new_flow_tables when no AS has been configured.
 266    */
 267   lb_as_t *ass;
 268
 269   /**
 270    * Each AS has an associated reference counter.
 271    * As ass[0] has a special meaning, its associated counter
 272    * starts at 0 and is decremented instead. i.e. do not use it.
 273    */
 274   vlib_refcount_t as_refcount;
 275
 276   /**
 277    * Some global data is per-cpu
 278    */
 279   lb_per_cpu_t *per_cpu;
 280
 281   /**
 282    * Node next index for IP adjacencies, for each of the traffic types.
 283    */
 284   u32 ip_lookup_next_index[LB_VIP_N_TYPES];
 285
 286   /**
 287    * Source address used in IPv6 encapsulated traffic
 288    */
 289   ip6_address_t ip6_src_address;
 290
 291   /**
 292    * Source address used for IPv4 encapsulated traffic
 293    */
 294   ip4_address_t ip4_src_address;
 295
 296   /**
 297    * Number of buckets in the per-cpu sticky hash table.
 298    */
 299   u32 per_cpu_sticky_buckets;
 300
 301   /**
 302    * Flow timeout in seconds.
 303    */
 304   u32 flow_timeout;
 305
 306   /**
 307    * Per VIP counter
 308    */
 309   vlib_simple_counter_main_t vip_counters[LB_N_VIP_COUNTERS];
 310
 311   /**
 312    * DPO used to send packet from IP4/6 lookup to LB node.
 313    */
 314   dpo_type_t dpo_gre4_type;
 315   dpo_type_t dpo_gre6_type;
 316   dpo_type_t dpo_l3dsr_type;
 317
 318   /**
 319    * Node type for registering to fib changes.
 320    */
 321   fib_node_type_t fib_node_type;
 322
 323   /**
 324    * API dynamically registered base ID.
 325    */
 326   u16 msg_id_base;
 327
 328   volatile u32 *writer_lock;
 329 } lb_main_t;
 330
 331 extern lb_main_t lb_main;
 332 extern vlib_node_registration_t lb6_node;
 333 extern vlib_node_registration_t lb4_node;
 334
 335 /**
 336  * Fix global load-balancer parameters.
 337  * @param ip4_address IPv4 source address used for encapsulated traffic
 338  * @param ip6_address IPv6 source address used for encapsulated traffic
 339  * @return 0 on success. VNET_LB_ERR_XXX on error
 340  */
 341 int lb_conf(ip4_address_t *ip4_address, ip6_address_t *ip6_address,
 342             u32 sticky_buckets, u32 flow_timeout);
 343
 344 int lb_vip_add(ip46_address_t *prefix, u8 plen, lb_vip_type_t type, u8 dscp,
 345                u32 new_length, u32 *vip_index);
 346 int lb_vip_del(u32 vip_index);
 347
 348 int lb_vip_find_index(ip46_address_t *prefix, u8 plen, u32 *vip_index);
 349
 350 #define lb_vip_get_by_index(index) (pool_is_free_index(lb_main.vips, index)?NULL:pool_elt_at_index(lb_main.vips, index))
 351
 352 int lb_vip_add_ass(u32 vip_index, ip46_address_t *addresses, u32 n);
 353 int lb_vip_del_ass(u32 vip_index, ip46_address_t *addresses, u32 n);
 354
 355 u32 lb_hash_time_now(vlib_main_t * vm);
 356
 357 void lb_garbage_collection();
 358
 359 format_function_t format_lb_main;
 360
 361 #endif /* LB_PLUGIN_LB_LB_H_ */