tapv2: multiple improvements
[vpp.git] / src / vnet / ethernet / ethernet.h
1 /*
2  * Copyright (c) 2015 Cisco and/or its affiliates.
3  * Licensed under the Apache License, Version 2.0 (the "License");
4  * you may not use this file except in compliance with the License.
5  * You may obtain a copy of the License at:
6  *
7  *     http://www.apache.org/licenses/LICENSE-2.0
8  *
9  * Unless required by applicable law or agreed to in writing, software
10  * distributed under the License is distributed on an "AS IS" BASIS,
11  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
12  * See the License for the specific language governing permissions and
13  * limitations under the License.
14  */
15 /*
16  * ethernet.h: types/functions for ethernet.
17  *
18  * Copyright (c) 2008 Eliot Dresselhaus
19  *
20  * Permission is hereby granted, free of charge, to any person obtaining
21  * a copy of this software and associated documentation files (the
22  * "Software"), to deal in the Software without restriction, including
23  * without limitation the rights to use, copy, modify, merge, publish,
24  * distribute, sublicense, and/or sell copies of the Software, and to
25  * permit persons to whom the Software is furnished to do so, subject to
26  * the following conditions:
27  *
28  * The above copyright notice and this permission notice shall be
29  * included in all copies or substantial portions of the Software.
30  *
31  *  THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND,
32  *  EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF
33  *  MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND
34  *  NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE
35  *  LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION
36  *  OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION
37  *  WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.
38  */
39
40 #ifndef included_ethernet_h
41 #define included_ethernet_h
42
43 #include <vnet/vnet.h>
44 #include <vnet/ethernet/packet.h>
45 #include <vnet/pg/pg.h>
46 #include <vnet/feature/feature.h>
47
48 always_inline u64
49 ethernet_mac_address_u64 (u8 * a)
50 {
51   return (((u64) a[0] << (u64) (5 * 8))
52           | ((u64) a[1] << (u64) (4 * 8))
53           | ((u64) a[2] << (u64) (3 * 8))
54           | ((u64) a[3] << (u64) (2 * 8))
55           | ((u64) a[4] << (u64) (1 * 8)) | ((u64) a[5] << (u64) (0 * 8)));
56 }
57
58 static inline int
59 ethernet_mac_address_is_multicast_u64 (u64 a)
60 {
61   return (a & (1ULL << (5 * 8))) != 0;
62 }
63
64 static inline int
65 ethernet_mac_address_is_zero (u8 * mac)
66 {
67   return ((*((u32 *) mac) == 0) && (*((u16 *) (mac + 4)) == 0));
68 }
69
70 static_always_inline int
71 ethernet_frame_is_tagged (u16 type)
72 {
73 #if __SSE4_2__
74   const __m128i ethertype_mask = _mm_set_epi16 (ETHERNET_TYPE_VLAN,
75                                                 ETHERNET_TYPE_DOT1AD,
76                                                 ETHERNET_TYPE_VLAN_9100,
77                                                 ETHERNET_TYPE_VLAN_9200,
78                                                 /* duplicate last one to
79                                                    fill register */
80                                                 ETHERNET_TYPE_VLAN_9200,
81                                                 ETHERNET_TYPE_VLAN_9200,
82                                                 ETHERNET_TYPE_VLAN_9200,
83                                                 ETHERNET_TYPE_VLAN_9200);
84
85   __m128i r = _mm_set1_epi16 (type);
86   r = _mm_cmpeq_epi16 (ethertype_mask, r);
87   return !_mm_test_all_zeros (r, r);
88 #else
89   if ((type == ETHERNET_TYPE_VLAN) ||
90       (type == ETHERNET_TYPE_DOT1AD) ||
91       (type == ETHERNET_TYPE_VLAN_9100) || (type == ETHERNET_TYPE_VLAN_9200))
92     return 1;
93 #endif
94   return 0;
95 }
96
97 /* Max. sized ethernet/vlan header for parsing. */
98 typedef struct
99 {
100   ethernet_header_t ethernet;
101
102   /* Allow up to 2 stacked vlan headers. */
103   ethernet_vlan_header_t vlan[2];
104 } ethernet_max_header_t;
105
106 struct vnet_hw_interface_t;
107 /* Ethernet flag change callback. */
108 typedef u32 (ethernet_flag_change_function_t)
109   (vnet_main_t * vnm, struct vnet_hw_interface_t * hi, u32 flags);
110
111 #define ETHERNET_MIN_PACKET_BYTES  64
112 #define ETHERNET_MAX_PACKET_BYTES  9216
113
114 /* Ethernet interface instance. */
115 typedef struct ethernet_interface
116 {
117
118   /* Accept all packets (promiscuous mode). */
119 #define ETHERNET_INTERFACE_FLAG_ACCEPT_ALL (1 << 0)
120 #define ETHERNET_INTERFACE_FLAG_CONFIG_PROMISC(flags) \
121   (((flags) & ~ETHERNET_INTERFACE_FLAG_ACCEPT_ALL) == 0)
122
123   /* Change MTU on interface from hw interface structure */
124 #define ETHERNET_INTERFACE_FLAG_MTU (1 << 1)
125 #define ETHERNET_INTERFACE_FLAG_CONFIG_MTU(flags) \
126   ((flags) & ETHERNET_INTERFACE_FLAG_MTU)
127
128   /* Callback, e.g. to turn on/off promiscuous mode */
129   ethernet_flag_change_function_t *flag_change;
130
131   u32 driver_instance;
132
133   /* Ethernet (MAC) address for this interface. */
134   u8 address[6];
135 } ethernet_interface_t;
136
137 extern vnet_hw_interface_class_t ethernet_hw_interface_class;
138
139 typedef struct
140 {
141   /* Name (a c string). */
142   char *name;
143
144   /* Ethernet type in host byte order. */
145   ethernet_type_t type;
146
147   /* Node which handles this type. */
148   u32 node_index;
149
150   /* Next index for this type. */
151   u32 next_index;
152 } ethernet_type_info_t;
153
154 typedef enum
155 {
156 #define ethernet_error(n,c,s) ETHERNET_ERROR_##n,
157 #include <vnet/ethernet/error.def>
158 #undef ethernet_error
159   ETHERNET_N_ERROR,
160 } ethernet_error_t;
161
162
163 // Structs used when parsing packet to find sw_if_index
164
165 typedef struct
166 {
167   u32 sw_if_index;
168   u32 flags;
169   // config entry is-valid flag
170   // exact match flags (valid if packet has 0/1/2/3 tags)
171   // L2 vs L3 forwarding mode
172 #define SUBINT_CONFIG_MATCH_0_TAG (1<<0)
173 #define SUBINT_CONFIG_MATCH_1_TAG (1<<1)
174 #define SUBINT_CONFIG_MATCH_2_TAG (1<<2)
175 #define SUBINT_CONFIG_MATCH_3_TAG (1<<3)
176 #define SUBINT_CONFIG_VALID       (1<<4)
177 #define SUBINT_CONFIG_L2          (1<<5)
178 #define SUBINT_CONFIG_P2P         (1<<6)
179
180 } subint_config_t;
181
182 always_inline u32
183 eth_create_valid_subint_match_flags (u32 num_tags)
184 {
185   return SUBINT_CONFIG_VALID | (1 << num_tags);
186 }
187
188
189 typedef struct
190 {
191   subint_config_t untagged_subint;
192   subint_config_t default_subint;
193   u16 dot1q_vlans;              // pool id for vlan table
194   u16 dot1ad_vlans;             // pool id for vlan table
195 } main_intf_t;
196
197 typedef struct
198 {
199   subint_config_t single_tag_subint;
200   subint_config_t inner_any_subint;
201   u32 qinqs;                    // pool id for qinq table
202 } vlan_intf_t;
203
204 typedef struct
205 {
206   vlan_intf_t vlans[ETHERNET_N_VLAN];
207 } vlan_table_t;
208
209 typedef struct
210 {
211   subint_config_t subint;
212 } qinq_intf_t;
213
214 typedef struct
215 {
216   qinq_intf_t vlans[ETHERNET_N_VLAN];
217 } qinq_table_t;
218
219 // Structure mapping to a next index based on ethertype.
220 // Common ethertypes are stored explicitly, others are
221 // stored in a sparse table.
222 typedef struct
223 {
224   /* Sparse vector mapping ethernet type in network byte order
225      to next index. */
226   u16 *input_next_by_type;
227   u32 *sparse_index_by_input_next_index;
228
229   /* cached next indexes for common ethertypes */
230   u32 input_next_ip4;
231   u32 input_next_ip6;
232   u32 input_next_mpls;
233 } next_by_ethertype_t;
234
235 typedef struct
236 {
237   vlib_main_t *vlib_main;
238
239   /* next node index for the L3 input node of each ethertype */
240   next_by_ethertype_t l3_next;
241
242   /* next node index for L2 interfaces */
243   u32 l2_next;
244
245   /* flag and next node index for L3 redirect */
246   u32 redirect_l3;
247   u32 redirect_l3_next;
248
249   /* Pool of ethernet interface instances. */
250   ethernet_interface_t *interfaces;
251
252   ethernet_type_info_t *type_infos;
253
254   /* Hash tables mapping name/type to type info index. */
255   uword *type_info_by_name, *type_info_by_type;
256
257   // The root of the vlan parsing tables. A vector with one element
258   // for each main interface, indexed by hw_if_index.
259   main_intf_t *main_intfs;
260
261   // Pool of vlan tables
262   vlan_table_t *vlan_pool;
263
264   // Pool of qinq tables;
265   qinq_table_t *qinq_pool;
266
267   /* Set to one to use AB.CD.EF instead of A:B:C:D:E:F as ethernet format. */
268   int format_ethernet_address_16bit;
269
270   /* debug: make sure we don't wipe out an ethernet registration by mistake */
271   u8 next_by_ethertype_register_called;
272
273   /* Feature arc index */
274   u8 output_feature_arc_index;
275
276   /* Allocated loopback instances */
277   uword *bm_loopback_instances;
278 } ethernet_main_t;
279
280 extern ethernet_main_t ethernet_main;
281
282 always_inline ethernet_type_info_t *
283 ethernet_get_type_info (ethernet_main_t * em, ethernet_type_t type)
284 {
285   uword *p = hash_get (em->type_info_by_type, type);
286   return p ? vec_elt_at_index (em->type_infos, p[0]) : 0;
287 }
288
289 ethernet_interface_t *ethernet_get_interface (ethernet_main_t * em,
290                                               u32 hw_if_index);
291
292 clib_error_t *ethernet_register_interface (vnet_main_t * vnm,
293                                            u32 dev_class_index,
294                                            u32 dev_instance,
295                                            u8 * address,
296                                            u32 * hw_if_index_return,
297                                            ethernet_flag_change_function_t
298                                            flag_change);
299
300 void ethernet_delete_interface (vnet_main_t * vnm, u32 hw_if_index);
301
302 /* Register given node index to take input for given ethernet type. */
303 void
304 ethernet_register_input_type (vlib_main_t * vm,
305                               ethernet_type_t type, u32 node_index);
306
307 /* Register given node index to take input for packet from L2 interfaces. */
308 void ethernet_register_l2_input (vlib_main_t * vm, u32 node_index);
309
310 /* Register given node index to take redirected L3 traffic, and enable L3 redirect */
311 void ethernet_register_l3_redirect (vlib_main_t * vm, u32 node_index);
312
313 /* Formats ethernet address X:X:X:X:X:X */
314 u8 *format_ethernet_address (u8 * s, va_list * args);
315 u8 *format_ethernet_type (u8 * s, va_list * args);
316 u8 *format_ethernet_vlan_tci (u8 * s, va_list * va);
317 u8 *format_ethernet_header (u8 * s, va_list * args);
318 u8 *format_ethernet_header_with_length (u8 * s, va_list * args);
319
320 /* Parse ethernet address in either X:X:X:X:X:X unix or X.X.X cisco format. */
321 uword unformat_ethernet_address (unformat_input_t * input, va_list * args);
322
323 /* Parse ethernet type as 0xXXXX or type name from ethernet/types.def.
324    In either host or network byte order. */
325 uword
326 unformat_ethernet_type_host_byte_order (unformat_input_t * input,
327                                         va_list * args);
328 uword
329 unformat_ethernet_type_net_byte_order (unformat_input_t * input,
330                                        va_list * args);
331
332 /* Parse ethernet header. */
333 uword unformat_ethernet_header (unformat_input_t * input, va_list * args);
334
335 /* Parse ethernet interface name; return hw_if_index. */
336 uword unformat_ethernet_interface (unformat_input_t * input, va_list * args);
337
338 uword unformat_pg_ethernet_header (unformat_input_t * input, va_list * args);
339
340 always_inline void
341 ethernet_setup_node (vlib_main_t * vm, u32 node_index)
342 {
343   vlib_node_t *n = vlib_get_node (vm, node_index);
344   pg_node_t *pn = pg_get_node (node_index);
345
346   n->format_buffer = format_ethernet_header_with_length;
347   n->unformat_buffer = unformat_ethernet_header;
348   pn->unformat_edit = unformat_pg_ethernet_header;
349 }
350
351 always_inline ethernet_header_t *
352 ethernet_buffer_get_header (vlib_buffer_t * b)
353 {
354   return (void *) (b->data + vnet_buffer (b)->l2_hdr_offset);
355 }
356
357 /** Returns the number of VLAN headers in the current Ethernet frame in the
358  * buffer. Returns 0, 1, 2 for the known header count. The value 3 indicates
359  * the number of headers is not known.
360  */
361 #define ethernet_buffer_get_vlan_count(b) ( \
362     ((b)->flags & VNET_BUFFER_FLAGS_VLAN_BITS) >> VNET_BUFFER_F_LOG2_VLAN_1_DEEP \
363 )
364
365 /** Sets the number of VLAN headers in the current Ethernet frame in the
366  * buffer. Values 0, 1, 2 indicate  the header count. The value 3 indicates
367  * the number of headers is not known.
368  */
369 #define ethernet_buffer_set_vlan_count(b, v) ( \
370     (b)->flags = ((b)->flags & ~VNET_BUFFER_FLAGS_VLAN_BITS) | \
371         (((v) << VNET_BUFFER_F_LOG2_VLAN_1_DEEP) & VNET_BUFFER_FLAGS_VLAN_BITS) \
372 )
373
374 /** Adjusts the vlan count by the delta in 'v' */
375 #define ethernet_buffer_adjust_vlan_count(b, v) ( \
376   ethernet_buffer_set_vlan_count(b,  \
377       (word)ethernet_buffer_get_vlan_count(b) + (word)(v)) \
378 )
379
380 /** Adjusts the vlan count by the header size byte delta in 'v' */
381 #define ethernet_buffer_adjust_vlan_count_by_bytes(b, v) ( \
382     (b)->flags = ((b)->flags & ~VNET_BUFFER_FLAGS_VLAN_BITS) | (( \
383         ((b)->flags & VNET_BUFFER_FLAGS_VLAN_BITS) + \
384         ((v) << (VNET_BUFFER_F_LOG2_VLAN_1_DEEP - 2)) \
385     ) & VNET_BUFFER_FLAGS_VLAN_BITS) \
386 )
387
388 /**
389  * Determine the size of the Ethernet headers of the current frame in
390  * the buffer. This uses the VLAN depth flags that are set by
391  * ethernet-input. Because these flags are stored in the vlib_buffer_t
392  * "flags" field this count is valid regardless of the node so long as it's
393  * checked downstream of ethernet-input; That is, the value is not stored in
394  * the opaque space.
395  */
396 #define ethernet_buffer_header_size(b) ( \
397         ethernet_buffer_get_vlan_count((b)) * sizeof(ethernet_vlan_header_t) + \
398         sizeof(ethernet_header_t) \
399 )
400
401 ethernet_main_t *ethernet_get_main (vlib_main_t * vm);
402 u32 ethernet_set_flags (vnet_main_t * vnm, u32 hw_if_index, u32 flags);
403 void ethernet_sw_interface_set_l2_mode (vnet_main_t * vnm, u32 sw_if_index,
404                                         u32 l2);
405 void ethernet_sw_interface_set_l2_mode_noport (vnet_main_t * vnm,
406                                                u32 sw_if_index, u32 l2);
407 void ethernet_set_rx_redirect (vnet_main_t * vnm, vnet_hw_interface_t * hi,
408                                u32 enable);
409
410 int
411 vnet_arp_set_ip4_over_ethernet (vnet_main_t * vnm,
412                                 u32 sw_if_index, void *a_arg,
413                                 int is_static, int is_no_fib_entry);
414
415 int
416 vnet_arp_unset_ip4_over_ethernet (vnet_main_t * vnm,
417                                   u32 sw_if_index, void *a_arg);
418
419 int vnet_proxy_arp_fib_reset (u32 fib_id);
420
421 clib_error_t *next_by_ethertype_init (next_by_ethertype_t * l3_next);
422 clib_error_t *next_by_ethertype_register (next_by_ethertype_t * l3_next,
423                                           u32 ethertype, u32 next_index);
424
425 int vnet_create_loopback_interface (u32 * sw_if_indexp, u8 * mac_address,
426                                     u8 is_specified, u32 user_instance);
427 int vnet_delete_loopback_interface (u32 sw_if_index);
428 int vnet_delete_sub_interface (u32 sw_if_index);
429
430 // Perform ethernet subinterface classification table lookups given
431 // the ports's sw_if_index and fields extracted from the ethernet header.
432 // The resulting tables are used by identify_subint().
433 always_inline void
434 eth_vlan_table_lookups (ethernet_main_t * em,
435                         vnet_main_t * vnm,
436                         u32 port_sw_if_index0,
437                         u16 first_ethertype,
438                         u16 outer_id,
439                         u16 inner_id,
440                         vnet_hw_interface_t ** hi,
441                         main_intf_t ** main_intf,
442                         vlan_intf_t ** vlan_intf, qinq_intf_t ** qinq_intf)
443 {
444   vlan_table_t *vlan_table;
445   qinq_table_t *qinq_table;
446   u32 vlan_table_id;
447
448   // Read the main, vlan, and qinq interface table entries
449   // TODO: Consider if/how to prefetch tables. Also consider
450   // single-entry cache to skip table lookups and identify_subint()
451   // processing.
452   *hi = vnet_get_sup_hw_interface (vnm, port_sw_if_index0);
453   *main_intf = vec_elt_at_index (em->main_intfs, (*hi)->hw_if_index);
454
455   // Always read the vlan and qinq tables, even if there are not that
456   // many tags on the packet. This makes the lookups and comparisons
457   // easier (and less branchy).
458   vlan_table_id = (first_ethertype == ETHERNET_TYPE_DOT1AD) ?
459     (*main_intf)->dot1ad_vlans : (*main_intf)->dot1q_vlans;
460   vlan_table = vec_elt_at_index (em->vlan_pool, vlan_table_id);
461   *vlan_intf = &vlan_table->vlans[outer_id];
462
463   qinq_table = vec_elt_at_index (em->qinq_pool, (*vlan_intf)->qinqs);
464   *qinq_intf = &qinq_table->vlans[inner_id];
465 }
466
467
468 // Determine the subinterface for this packet, given the result of the
469 // vlan table lookups and vlan header parsing. Check the most specific
470 // matches first.
471 // Returns 1 if a matching subinterface was found, otherwise returns 0.
472 always_inline u32
473 eth_identify_subint (vnet_hw_interface_t * hi,
474                      vlib_buffer_t * b0,
475                      u32 match_flags,
476                      main_intf_t * main_intf,
477                      vlan_intf_t * vlan_intf,
478                      qinq_intf_t * qinq_intf,
479                      u32 * new_sw_if_index, u8 * error0, u32 * is_l2)
480 {
481   subint_config_t *subint;
482
483   // Each comparison is checking both the valid flag and the number of tags
484   // (incorporating exact-match/non-exact-match).
485
486   // check for specific double tag
487   subint = &qinq_intf->subint;
488   if ((subint->flags & match_flags) == match_flags)
489     goto matched;
490
491   // check for specific outer and 'any' inner
492   subint = &vlan_intf->inner_any_subint;
493   if ((subint->flags & match_flags) == match_flags)
494     goto matched;
495
496   // check for specific single tag
497   subint = &vlan_intf->single_tag_subint;
498   if ((subint->flags & match_flags) == match_flags)
499     goto matched;
500
501   // check for untagged interface
502   subint = &main_intf->untagged_subint;
503   if ((subint->flags & match_flags) == match_flags)
504     goto matched;
505
506   // check for default interface
507   subint = &main_intf->default_subint;
508   if ((subint->flags & match_flags) == match_flags)
509     goto matched;
510
511   // No matching subinterface
512   *new_sw_if_index = ~0;
513   *error0 = ETHERNET_ERROR_UNKNOWN_VLAN;
514   *is_l2 = 0;
515   return 0;
516
517 matched:
518   *new_sw_if_index = subint->sw_if_index;
519   *is_l2 = subint->flags & SUBINT_CONFIG_L2;
520   return 1;
521 }
522
523 // Compare two ethernet macs. Return 1 if they are the same, 0 if different
524 always_inline u32
525 eth_mac_equal (u8 * mac1, u8 * mac2)
526 {
527   return (*((u32 *) (mac1 + 0)) == *((u32 *) (mac2 + 0)) &&
528           *((u32 *) (mac1 + 2)) == *((u32 *) (mac2 + 2)));
529 }
530
531
532 always_inline ethernet_main_t *
533 vnet_get_ethernet_main (void)
534 {
535   return &ethernet_main;
536 }
537
538 void vnet_register_ip4_arp_resolution_event (vnet_main_t * vnm,
539                                              void *address_arg,
540                                              uword node_index,
541                                              uword type_opaque, uword data);
542
543
544 int vnet_add_del_ip4_arp_change_event (vnet_main_t * vnm,
545                                        void *data_callback,
546                                        u32 pid,
547                                        void *address_arg,
548                                        uword node_index,
549                                        uword type_opaque,
550                                        uword data, int is_add);
551
552 void wc_arp_set_publisher_node (uword inode_index, uword event_type);
553
554 void ethernet_arp_change_mac (u32 sw_if_index);
555 void ethernet_ndp_change_mac (u32 sw_if_index);
556
557 void arp_update_adjacency (vnet_main_t * vnm, u32 sw_if_index, u32 ai);
558
559 void ethernet_update_adjacency (vnet_main_t * vnm, u32 sw_if_index, u32 ai);
560 u8 *ethernet_build_rewrite (vnet_main_t * vnm,
561                             u32 sw_if_index,
562                             vnet_link_t link_type, const void *dst_address);
563 const u8 *ethernet_ip4_mcast_dst_addr (void);
564 const u8 *ethernet_ip6_mcast_dst_addr (void);
565
566 extern vlib_node_registration_t ethernet_input_node;
567
568 typedef struct
569 {
570   u32 sw_if_index;
571   u32 ip4;
572   u8 mac[6];
573 } wc_arp_report_t;
574
575 #endif /* included_ethernet_h */
576
577 /*
578  * fd.io coding-style-patch-verification: ON
579  *
580  * Local Variables:
581  * eval: (c-set-style "gnu")
582  * End:
583  */