ip: allocate ip4 mtrie pages in htlb memory
[vpp.git] / src / vnet / ip / ip4.h
1 /*
2  * Copyright (c) 2015 Cisco and/or its affiliates.
3  * Licensed under the Apache License, Version 2.0 (the "License");
4  * you may not use this file except in compliance with the License.
5  * You may obtain a copy of the License at:
6  *
7  *     http://www.apache.org/licenses/LICENSE-2.0
8  *
9  * Unless required by applicable law or agreed to in writing, software
10  * distributed under the License is distributed on an "AS IS" BASIS,
11  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
12  * See the License for the specific language governing permissions and
13  * limitations under the License.
14  */
15 /*
16  * ip/ip4.h: ip4 main include file
17  *
18  * Copyright (c) 2008 Eliot Dresselhaus
19  *
20  * Permission is hereby granted, free of charge, to any person obtaining
21  * a copy of this software and associated documentation files (the
22  * "Software"), to deal in the Software without restriction, including
23  * without limitation the rights to use, copy, modify, merge, publish,
24  * distribute, sublicense, and/or sell copies of the Software, and to
25  * permit persons to whom the Software is furnished to do so, subject to
26  * the following conditions:
27  *
28  * The above copyright notice and this permission notice shall be
29  * included in all copies or substantial portions of the Software.
30  *
31  *  THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND,
32  *  EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF
33  *  MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND
34  *  NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE
35  *  LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION
36  *  OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION
37  *  WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.
38  */
39
40 #ifndef included_ip_ip4_h
41 #define included_ip_ip4_h
42
43 #include <vnet/ip/ip4_packet.h>
44 #include <vnet/ip/lookup.h>
45 #include <vnet/ip/ip_interface.h>
46 #include <vnet/buffer.h>
47 #include <vnet/feature/feature.h>
48 #include <vnet/ip/icmp46_packet.h>
49 #include <vnet/util/throttle.h>
50
51 typedef struct ip4_mfib_t
52 {
53   /* Hash table for each prefix length mapping. */
54   uword *fib_entry_by_dst_address[65];
55
56   /* Table ID (hash key) for this FIB. */
57   u32 table_id;
58
59   /* Index into FIB vector. */
60   u32 index;
61 } ip4_mfib_t;
62
63 struct ip4_main_t;
64
65 typedef void (ip4_add_del_interface_address_function_t)
66   (struct ip4_main_t * im,
67    uword opaque,
68    u32 sw_if_index,
69    ip4_address_t * address,
70    u32 address_length, u32 if_address_index, u32 is_del);
71
72 typedef struct
73 {
74   ip4_add_del_interface_address_function_t *function;
75   uword function_opaque;
76 } ip4_add_del_interface_address_callback_t;
77
78 typedef void (ip4_enable_disable_interface_function_t)
79   (struct ip4_main_t * im, uword opaque, u32 sw_if_index, u32 is_enable);
80
81 typedef struct
82 {
83   ip4_enable_disable_interface_function_t *function;
84   uword function_opaque;
85 } ip4_enable_disable_interface_callback_t;
86
87 typedef void (ip4_table_bind_function_t)
88   (struct ip4_main_t * im,
89    uword opaque, u32 sw_if_index, u32 new_fib_index, u32 old_fib_index);
90
91 typedef struct
92 {
93   ip4_table_bind_function_t *function;
94   uword function_opaque;
95 } ip4_table_bind_callback_t;
96
97 /**
98  * @brief IPv4 main type.
99  *
100  * State of IPv4 VPP processing including:
101  * - FIBs
102  * - Feature indices used in feature topological sort
103  * - Feature node run time references
104  */
105
106 typedef struct ip4_main_t
107 {
108   ip_lookup_main_t lookup_main;
109
110   /** Vector of FIBs. */
111   struct fib_table_t_ *fibs;
112
113   /** Vector of MTries. */
114   struct ip4_fib_t_ *v4_fibs;
115
116   /** Vector of MFIBs. */
117   struct mfib_table_t_ *mfibs;
118
119   u32 fib_masks[33];
120
121   /** Table index indexed by software interface. */
122   u32 *fib_index_by_sw_if_index;
123
124   /** Table index indexed by software interface. */
125   u32 *mfib_index_by_sw_if_index;
126
127   /* IP4 enabled count by software interface */
128   u8 *ip_enabled_by_sw_if_index;
129
130   /** Hash table mapping table id to fib index.
131      ID space is not necessarily dense; index space is dense. */
132   uword *fib_index_by_table_id;
133
134   /** Hash table mapping table id to multicast fib index.
135      ID space is not necessarily dense; index space is dense. */
136   uword *mfib_index_by_table_id;
137
138   /** Functions to call when interface address changes. */
139     ip4_add_del_interface_address_callback_t
140     * add_del_interface_address_callbacks;
141
142   /** Functions to call when interface becomes IPv4 enabled/disable. */
143     ip4_enable_disable_interface_callback_t
144     * enable_disable_interface_callbacks;
145
146   /** Functions to call when interface to table biding changes. */
147   ip4_table_bind_callback_t *table_bind_callbacks;
148
149   /** Template used to generate IP4 ARP packets. */
150   vlib_packet_template_t ip4_arp_request_packet_template;
151
152   /** Seed for Jenkins hash used to compute ip4 flow hash. */
153   u32 flow_hash_seed;
154
155   /** @brief Template information for VPP generated packets */
156   struct
157   {
158     /** TTL to use for host generated packets. */
159     u8 ttl;
160
161     /** TOS byte to use for host generated packets. */
162     u8 tos;
163
164     u8 pad[2];
165   } host_config;
166
167   /** Heapsize for the Mtries */
168   uword mtrie_heap_size;
169
170   /** Use hugetlb pages for the Mtries */
171   int mtrie_hugetlb;
172
173   /** The memory heap for the mtries */
174   void *mtrie_mheap;
175
176   /** ARP throttling */
177   throttle_t arp_throttle;
178
179 } ip4_main_t;
180
181 #define ARP_THROTTLE_BITS       (512)
182
183 /** Global ip4 main structure. */
184 extern ip4_main_t ip4_main;
185 extern char *ip4_error_strings[];
186
187 /** Global ip4 input node.  Errors get attached to ip4 input node. */
188 extern vlib_node_registration_t ip4_input_node;
189 extern vlib_node_registration_t ip4_lookup_node;
190 extern vlib_node_registration_t ip4_local_node;
191 extern vlib_node_registration_t ip4_rewrite_node;
192 extern vlib_node_registration_t ip4_rewrite_mcast_node;
193 extern vlib_node_registration_t ip4_rewrite_local_node;
194 extern vlib_node_registration_t ip4_arp_node;
195 extern vlib_node_registration_t ip4_glean_node;
196 extern vlib_node_registration_t ip4_midchain_node;
197 extern vlib_node_registration_t ip4_punt_node;
198
199 always_inline uword
200 ip4_destination_matches_route (const ip4_main_t * im,
201                                const ip4_address_t * key,
202                                const ip4_address_t * dest, uword dest_length)
203 {
204   return 0 == ((key->data_u32 ^ dest->data_u32) & im->fib_masks[dest_length]);
205 }
206
207 always_inline uword
208 ip4_destination_matches_interface (ip4_main_t * im,
209                                    ip4_address_t * key,
210                                    ip_interface_address_t * ia)
211 {
212   ip4_address_t *a = ip_interface_address_get_address (&im->lookup_main, ia);
213   return ip4_destination_matches_route (im, key, a, ia->address_length);
214 }
215
216 always_inline int
217 ip4_src_address_for_packet (ip_lookup_main_t * lm,
218                             u32 sw_if_index, ip4_address_t * src)
219 {
220   u32 if_add_index = lm->if_address_pool_index_by_sw_if_index[sw_if_index];
221   if (PREDICT_TRUE (if_add_index != ~0))
222     {
223       ip_interface_address_t *if_add =
224         pool_elt_at_index (lm->if_address_pool, if_add_index);
225       ip4_address_t *if_ip = ip_interface_address_get_address (lm, if_add);
226       *src = *if_ip;
227       return 0;
228     }
229   else
230     {
231       src->as_u32 = 0;
232     }
233   return (!0);
234 }
235
236 /* Find interface address which matches destination. */
237 always_inline ip4_address_t *
238 ip4_interface_address_matching_destination (ip4_main_t * im,
239                                             const ip4_address_t * dst,
240                                             u32 sw_if_index,
241                                             ip_interface_address_t **
242                                             result_ia)
243 {
244   ip_lookup_main_t *lm = &im->lookup_main;
245   ip_interface_address_t *ia;
246   ip4_address_t *result = 0;
247
248   /* *INDENT-OFF* */
249   foreach_ip_interface_address (lm, ia, sw_if_index,
250                                 1 /* honor unnumbered */,
251   ({
252     ip4_address_t * a = ip_interface_address_get_address (lm, ia);
253     if (ip4_destination_matches_route (im, dst, a, ia->address_length))
254       {
255         result = a;
256         break;
257       }
258   }));
259   /* *INDENT-ON* */
260   if (result_ia)
261     *result_ia = result ? ia : 0;
262   return result;
263 }
264
265 ip4_address_t *ip4_interface_first_address (ip4_main_t * im, u32 sw_if_index,
266                                             ip_interface_address_t **
267                                             result_ia);
268
269 clib_error_t *ip4_add_del_interface_address (vlib_main_t * vm,
270                                              u32 sw_if_index,
271                                              ip4_address_t * address,
272                                              u32 address_length, u32 is_del);
273
274 void ip4_directed_broadcast (u32 sw_if_index, u8 enable);
275
276 void ip4_sw_interface_enable_disable (u32 sw_if_index, u32 is_enable);
277
278 int ip4_address_compare (ip4_address_t * a1, ip4_address_t * a2);
279
280 uword
281 ip4_udp_register_listener (vlib_main_t * vm,
282                            u16 dst_port, u32 next_node_index);
283
284 u16 ip4_tcp_udp_compute_checksum (vlib_main_t * vm, vlib_buffer_t * p0,
285                                   ip4_header_t * ip0);
286
287 void ip4_register_protocol (u32 protocol, u32 node_index);
288 void ip4_unregister_protocol (u32 protocolx);
289
290 serialize_function_t serialize_vnet_ip4_main, unserialize_vnet_ip4_main;
291
292 int vnet_set_ip4_flow_hash (u32 table_id,
293                             flow_hash_config_t flow_hash_config);
294
295 int vnet_set_ip4_classify_intfc (vlib_main_t * vm, u32 sw_if_index,
296                                  u32 table_index);
297
298 void ip4_punt_policer_add_del (u8 is_add, u32 policer_index);
299
300 void ip4_punt_redirect_add (u32 rx_sw_if_index,
301                             u32 tx_sw_if_index, ip46_address_t * nh);
302 void ip4_punt_redirect_add_paths (u32 rx_sw_if_index,
303                                   fib_route_path_t * paths);
304
305 void ip4_punt_redirect_del (u32 rx_sw_if_index);
306
307 /* Compute flow hash.  We'll use it to select which adjacency to use for this
308    flow.  And other things. */
309 always_inline u32
310 ip4_compute_flow_hash (const ip4_header_t * ip,
311                        flow_hash_config_t flow_hash_config)
312 {
313   tcp_header_t *tcp = (void *) (ip + 1);
314   u32 a, b, c, t1, t2;
315   uword is_tcp_udp = (ip->protocol == IP_PROTOCOL_TCP
316                       || ip->protocol == IP_PROTOCOL_UDP);
317
318   t1 = (flow_hash_config & IP_FLOW_HASH_SRC_ADDR)
319     ? ip->src_address.data_u32 : 0;
320   t2 = (flow_hash_config & IP_FLOW_HASH_DST_ADDR)
321     ? ip->dst_address.data_u32 : 0;
322
323   a = (flow_hash_config & IP_FLOW_HASH_REVERSE_SRC_DST) ? t2 : t1;
324   b = (flow_hash_config & IP_FLOW_HASH_REVERSE_SRC_DST) ? t1 : t2;
325
326   t1 = is_tcp_udp ? tcp->src : 0;
327   t2 = is_tcp_udp ? tcp->dst : 0;
328
329   t1 = (flow_hash_config & IP_FLOW_HASH_SRC_PORT) ? t1 : 0;
330   t2 = (flow_hash_config & IP_FLOW_HASH_DST_PORT) ? t2 : 0;
331
332   if (flow_hash_config & IP_FLOW_HASH_SYMMETRIC)
333     {
334       if (b < a)
335         {
336           c = a;
337           a = b;
338           b = c;
339         }
340       if (t2 < t1)
341         {
342           t2 += t1;
343           t1 = t2 - t1;
344           t2 = t2 - t1;
345         }
346     }
347
348   b ^= (flow_hash_config & IP_FLOW_HASH_PROTO) ? ip->protocol : 0;
349   c = (flow_hash_config & IP_FLOW_HASH_REVERSE_SRC_DST) ?
350     (t1 << 16) | t2 : (t2 << 16) | t1;
351
352   hash_v3_mix32 (a, b, c);
353   hash_v3_finalize32 (a, b, c);
354
355   return c;
356 }
357
358 void
359 ip4_forward_next_trace (vlib_main_t * vm,
360                         vlib_node_runtime_t * node,
361                         vlib_frame_t * frame,
362                         vlib_rx_or_tx_t which_adj_index);
363
364 u8 *format_ip4_forward_next_trace (u8 * s, va_list * args);
365
366 u32 ip4_tcp_udp_validate_checksum (vlib_main_t * vm, vlib_buffer_t * p0);
367
368 #define IP_DF 0x4000            /* don't fragment */
369
370 always_inline void *
371 vlib_buffer_push_ip4_custom (vlib_main_t * vm, vlib_buffer_t * b,
372                              ip4_address_t * src, ip4_address_t * dst,
373                              int proto, u8 csum_offload, u8 is_df)
374 {
375   ip4_header_t *ih;
376
377   /* make some room */
378   ih = vlib_buffer_push_uninit (b, sizeof (ip4_header_t));
379
380   ih->ip_version_and_header_length = 0x45;
381   ih->tos = 0;
382   ih->length = clib_host_to_net_u16 (vlib_buffer_length_in_chain (vm, b));
383
384   /* No fragments */
385   ih->flags_and_fragment_offset = is_df ? clib_host_to_net_u16 (IP_DF) : 0;
386   ih->ttl = 255;
387   ih->protocol = proto;
388   ih->src_address.as_u32 = src->as_u32;
389   ih->dst_address.as_u32 = dst->as_u32;
390
391   vnet_buffer (b)->l3_hdr_offset = (u8 *) ih - b->data;
392   b->flags |= VNET_BUFFER_F_IS_IP4 | VNET_BUFFER_F_L3_HDR_OFFSET_VALID;
393
394   /* Offload ip4 header checksum generation */
395   if (csum_offload)
396     {
397       ih->checksum = 0;
398       b->flags |= VNET_BUFFER_F_OFFLOAD_IP_CKSUM;
399     }
400   else
401     ih->checksum = ip4_header_checksum (ih);
402
403   return ih;
404 }
405
406 /**
407  * Push IPv4 header to buffer
408  *
409  * This does not support fragmentation.
410  *
411  * @param vm - vlib_main
412  * @param b - buffer to write the header to
413  * @param src - source IP
414  * @param dst - destination IP
415  * @param prot - payload proto
416  *
417  * @return - pointer to start of IP header
418  */
419 always_inline void *
420 vlib_buffer_push_ip4 (vlib_main_t * vm, vlib_buffer_t * b,
421                       ip4_address_t * src, ip4_address_t * dst, int proto,
422                       u8 csum_offload)
423 {
424   return vlib_buffer_push_ip4_custom (vm, b, src, dst, proto, csum_offload,
425                                       1 /* is_df */ );
426 }
427
428 always_inline u32
429 vlib_buffer_get_ip4_fib_index (vlib_buffer_t * b)
430 {
431   u32 fib_index, sw_if_index;
432   sw_if_index = vnet_buffer (b)->sw_if_index[VLIB_RX];
433   fib_index = vnet_buffer (b)->sw_if_index[VLIB_TX];
434   return (fib_index == (u32) ~ 0) ?
435     vec_elt (ip4_main.fib_index_by_sw_if_index, sw_if_index) : fib_index;
436 }
437 #endif /* included_ip_ip4_h */
438
439 /*
440  * fd.io coding-style-patch-verification: ON
441  *
442  * Local Variables:
443  * eval: (c-set-style "gnu")
444  * End:
445  */