ethernet: mac must support 64-bits loads
[vpp.git] / src / vnet / ethernet / ethernet.h
1 /*
2  * Copyright (c) 2015 Cisco and/or its affiliates.
3  * Licensed under the Apache License, Version 2.0 (the "License");
4  * you may not use this file except in compliance with the License.
5  * You may obtain a copy of the License at:
6  *
7  *     http://www.apache.org/licenses/LICENSE-2.0
8  *
9  * Unless required by applicable law or agreed to in writing, software
10  * distributed under the License is distributed on an "AS IS" BASIS,
11  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
12  * See the License for the specific language governing permissions and
13  * limitations under the License.
14  */
15 /*
16  * ethernet.h: types/functions for ethernet.
17  *
18  * Copyright (c) 2008 Eliot Dresselhaus
19  *
20  * Permission is hereby granted, free of charge, to any person obtaining
21  * a copy of this software and associated documentation files (the
22  * "Software"), to deal in the Software without restriction, including
23  * without limitation the rights to use, copy, modify, merge, publish,
24  * distribute, sublicense, and/or sell copies of the Software, and to
25  * permit persons to whom the Software is furnished to do so, subject to
26  * the following conditions:
27  *
28  * The above copyright notice and this permission notice shall be
29  * included in all copies or substantial portions of the Software.
30  *
31  *  THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND,
32  *  EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF
33  *  MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND
34  *  NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE
35  *  LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION
36  *  OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION
37  *  WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.
38  */
39
40 #ifndef included_ethernet_h
41 #define included_ethernet_h
42
43 #include <vnet/vnet.h>
44 #include <vnet/ethernet/packet.h>
45 #include <vnet/ethernet/mac_address.h>
46 #include <vnet/pg/pg.h>
47 #include <vnet/feature/feature.h>
48
49 /* ethernet-input frame flags and scalar data */
50
51 /* all packets in frame share same sw_if_index */
52 #define ETH_INPUT_FRAME_F_SINGLE_SW_IF_IDX (1 << 0)
53
54 /* all ip4 packets in frame have correct ip4 checksum */
55 #define ETH_INPUT_FRAME_F_IP4_CKSUM_OK (1 << 1)
56
57 typedef struct
58 {
59   u32 sw_if_index;
60   u32 hw_if_index;
61 } ethernet_input_frame_t;
62
63 #ifdef CLIB_HAVE_VEC128
64 static const u16x8 tagged_ethertypes = {
65   (u16) ETHERNET_TYPE_VLAN,
66   (u16) ETHERNET_TYPE_DOT1AD,
67   (u16) ETHERNET_TYPE_VLAN_9100,
68   (u16) ETHERNET_TYPE_VLAN_9200,
69   /* duplicate last one to fill register */
70   (u16) ETHERNET_TYPE_VLAN_9200,
71   (u16) ETHERNET_TYPE_VLAN_9200,
72   (u16) ETHERNET_TYPE_VLAN_9200,
73   (u16) ETHERNET_TYPE_VLAN_9200
74 };
75 #endif
76
77 static_always_inline int
78 ethernet_frame_is_tagged (u16 type)
79 {
80 #ifdef CLIB_HAVE_VEC128
81   return !u16x8_is_all_zero (tagged_ethertypes == u16x8_splat (type));
82 #else
83   if ((type == ETHERNET_TYPE_VLAN) ||
84       (type == ETHERNET_TYPE_DOT1AD) ||
85       (type == ETHERNET_TYPE_VLAN_9100) || (type == ETHERNET_TYPE_VLAN_9200))
86     return 1;
87 #endif
88   return 0;
89 }
90
91 static_always_inline int
92 ethernet_frame_is_any_tagged_x2 (u16 type0, u16 type1)
93 {
94 #ifdef CLIB_HAVE_VEC128
95   u16x8 r0 = (tagged_ethertypes == u16x8_splat (type0));
96   u16x8 r1 = (tagged_ethertypes == u16x8_splat (type1));
97   return !u16x8_is_all_zero (r0 | r1);
98 #else
99   return ethernet_frame_is_tagged (type0) || ethernet_frame_is_tagged (type1);
100 #endif
101 }
102
103 static_always_inline int
104 ethernet_frame_is_any_tagged_x4 (u16 type0, u16 type1, u16 type2, u16 type3)
105 {
106 #ifdef CLIB_HAVE_VEC128
107   u16x8 r0 = (tagged_ethertypes == u16x8_splat (type0));
108   u16x8 r1 = (tagged_ethertypes == u16x8_splat (type1));
109   u16x8 r2 = (tagged_ethertypes == u16x8_splat (type2));
110   u16x8 r3 = (tagged_ethertypes == u16x8_splat (type3));
111   return !u16x8_is_all_zero (r0 | r1 | r2 | r3);
112 #else
113   return ethernet_frame_is_tagged (type0) || ethernet_frame_is_tagged (type1)
114     || ethernet_frame_is_tagged (type2) || ethernet_frame_is_tagged (type3);
115 #endif
116 }
117
118 /* Max. sized ethernet/vlan header for parsing. */
119 typedef struct
120 {
121   ethernet_header_t ethernet;
122
123   /* Allow up to 2 stacked vlan headers. */
124   ethernet_vlan_header_t vlan[2];
125 } ethernet_max_header_t;
126
127 struct vnet_hw_interface_t;
128 /* Ethernet flag change callback. */
129 typedef u32 (ethernet_flag_change_function_t)
130   (vnet_main_t * vnm, struct vnet_hw_interface_t * hi, u32 flags);
131
132 #define ETHERNET_MIN_PACKET_BYTES  64
133 #define ETHERNET_MAX_PACKET_BYTES  9216
134
135 /* ethernet dataplane loads mac address as u64 for efficiency */
136 typedef union ethernet_interface_address
137 {
138   struct
139   {
140     mac_address_t mac;
141     u16 zero;
142   };
143   u64 as_u64;
144 } ethernet_interface_address_t;
145
146 /* Ethernet interface instance. */
147 typedef struct ethernet_interface
148 {
149   u32 flags;
150
151   /* Top 16 bits for status and bottom 16 bits for set operation */
152 #define ETHERNET_INTERFACE_FLAGS_STATUS_MASK  (0xffff0000)
153 #define ETHERNET_INTERFACE_FLAGS_SET_OPN_MASK (0x0000ffff)
154
155   /* Interface driver/hw is in L3/non-promiscuous mode so packet DMAC
156      would already be filtered */
157 #define ETHERNET_INTERFACE_FLAG_STATUS_L3 (1 << 16)
158
159   /* Set interface to default L3 mode */
160 #define ETHERNET_INTERFACE_FLAG_DEFAULT_L3 0
161
162   /* Set interface to accept all packets (promiscuous mode). */
163 #define ETHERNET_INTERFACE_FLAG_ACCEPT_ALL 1
164
165   /* Change MTU on interface from hw interface structure */
166 #define ETHERNET_INTERFACE_FLAG_MTU        2
167
168   /* Callback, e.g. to turn on/off promiscuous mode */
169   ethernet_flag_change_function_t *flag_change;
170
171   u32 driver_instance;
172
173   /* Ethernet (MAC) address for this interface. */
174   ethernet_interface_address_t address;
175
176   /* Secondary MAC addresses for this interface */
177   ethernet_interface_address_t *secondary_addrs;
178 } ethernet_interface_t;
179
180 extern vnet_hw_interface_class_t ethernet_hw_interface_class;
181
182 typedef struct
183 {
184   /* Name (a c string). */
185   char *name;
186
187   /* Ethernet type in host byte order. */
188   ethernet_type_t type;
189
190   /* Node which handles this type. */
191   u32 node_index;
192
193   /* Next index for this type. */
194   u32 next_index;
195 } ethernet_type_info_t;
196
197 typedef enum
198 {
199 #define ethernet_error(n,c,s) ETHERNET_ERROR_##n,
200 #include <vnet/ethernet/error.def>
201 #undef ethernet_error
202   ETHERNET_N_ERROR,
203 } ethernet_error_t;
204
205
206 // Structs used when parsing packet to find sw_if_index
207
208 typedef struct
209 {
210   u32 sw_if_index;
211   u32 flags;
212   // config entry is-valid flag
213   // exact match flags (valid if packet has 0/1/2/3 tags)
214   // L2 vs L3 forwarding mode
215 #define SUBINT_CONFIG_MATCH_0_TAG (1<<0)
216 #define SUBINT_CONFIG_MATCH_1_TAG (1<<1)
217 #define SUBINT_CONFIG_MATCH_2_TAG (1<<2)
218 #define SUBINT_CONFIG_MATCH_3_TAG (1<<3)
219 #define SUBINT_CONFIG_VALID       (1<<4)
220 #define SUBINT_CONFIG_L2          (1<<5)
221 #define SUBINT_CONFIG_P2P         (1<<6)
222
223 } subint_config_t;
224
225 always_inline u32
226 eth_create_valid_subint_match_flags (u32 num_tags)
227 {
228   return SUBINT_CONFIG_VALID | (1 << num_tags);
229 }
230
231
232 typedef struct
233 {
234   subint_config_t untagged_subint;
235   subint_config_t default_subint;
236   u16 dot1q_vlans;              // pool id for vlan table
237   u16 dot1ad_vlans;             // pool id for vlan table
238 } main_intf_t;
239
240 typedef struct
241 {
242   subint_config_t single_tag_subint;
243   subint_config_t inner_any_subint;
244   u32 qinqs;                    // pool id for qinq table
245 } vlan_intf_t;
246
247 typedef struct
248 {
249   vlan_intf_t vlans[ETHERNET_N_VLAN];
250 } vlan_table_t;
251
252 typedef struct
253 {
254   subint_config_t subint;
255 } qinq_intf_t;
256
257 typedef struct
258 {
259   qinq_intf_t vlans[ETHERNET_N_VLAN];
260 } qinq_table_t;
261
262 // Structure mapping to a next index based on ethertype.
263 // Common ethertypes are stored explicitly, others are
264 // stored in a sparse table.
265 typedef struct
266 {
267   /* Sparse vector mapping ethernet type in network byte order
268      to next index. */
269   u16 *input_next_by_type;
270   u32 *sparse_index_by_input_next_index;
271
272   /* cached next indexes for common ethertypes */
273   u32 input_next_ip4;
274   u32 input_next_ip6;
275   u32 input_next_mpls;
276 } next_by_ethertype_t;
277
278 struct ethernet_main_t_;
279
280 typedef void (ethernet_address_change_function_t)
281   (struct ethernet_main_t_ * im, u32 sw_if_index, uword opaque);
282
283 typedef struct
284 {
285   ethernet_address_change_function_t *function;
286   uword function_opaque;
287 } ethernet_address_change_ctx_t;
288
289 typedef struct ethernet_main_t_
290 {
291   vlib_main_t *vlib_main;
292
293   /* next node index for the L3 input node of each ethertype */
294   next_by_ethertype_t l3_next;
295
296   /* next node index for L2 interfaces */
297   u32 l2_next;
298
299   /* flag and next node index for L3 redirect */
300   u32 redirect_l3;
301   u32 redirect_l3_next;
302
303   /* Pool of ethernet interface instances. */
304   ethernet_interface_t *interfaces;
305
306   ethernet_type_info_t *type_infos;
307
308   /* Hash tables mapping name/type to type info index. */
309   uword *type_info_by_name, *type_info_by_type;
310
311   // The root of the vlan parsing tables. A vector with one element
312   // for each main interface, indexed by hw_if_index.
313   main_intf_t *main_intfs;
314
315   // Pool of vlan tables
316   vlan_table_t *vlan_pool;
317
318   // Pool of qinq tables;
319   qinq_table_t *qinq_pool;
320
321   /* Set to one to use AB.CD.EF instead of A:B:C:D:E:F as ethernet format. */
322   int format_ethernet_address_16bit;
323
324   /* debug: make sure we don't wipe out an ethernet registration by mistake */
325   u8 next_by_ethertype_register_called;
326
327   /* Feature arc index */
328   u8 output_feature_arc_index;
329
330   /* Allocated loopback instances */
331   uword *bm_loopback_instances;
332
333   /** Functions to call when interface hw address changes. */
334   ethernet_address_change_ctx_t *address_change_callbacks;
335
336   /** Default interface MTU */
337   u32 default_mtu;
338
339 } ethernet_main_t;
340
341 extern ethernet_main_t ethernet_main;
342
343 always_inline ethernet_type_info_t *
344 ethernet_get_type_info (ethernet_main_t * em, ethernet_type_t type)
345 {
346   uword *p = hash_get (em->type_info_by_type, type);
347   return p ? vec_elt_at_index (em->type_infos, p[0]) : 0;
348 }
349
350 ethernet_interface_t *ethernet_get_interface (ethernet_main_t * em,
351                                               u32 hw_if_index);
352 mac_address_t *ethernet_interface_add_del_address (ethernet_main_t * em,
353                                                    u32 hw_if_index,
354                                                    const u8 * address,
355                                                    u8 is_add);
356
357 clib_error_t *ethernet_register_interface (vnet_main_t * vnm,
358                                            u32 dev_class_index,
359                                            u32 dev_instance,
360                                            const u8 * address,
361                                            u32 * hw_if_index_return,
362                                            ethernet_flag_change_function_t
363                                            flag_change);
364
365 void ethernet_delete_interface (vnet_main_t * vnm, u32 hw_if_index);
366
367 /* Register given node index to take input for given ethernet type. */
368 void
369 ethernet_register_input_type (vlib_main_t * vm,
370                               ethernet_type_t type, u32 node_index);
371
372 /* Register given node index to take input for packet from L2 interfaces. */
373 void ethernet_register_l2_input (vlib_main_t * vm, u32 node_index);
374
375 /* Register given node index to take redirected L3 traffic, and enable L3 redirect */
376 void ethernet_register_l3_redirect (vlib_main_t * vm, u32 node_index);
377
378 /* Formats ethernet address X:X:X:X:X:X */
379 u8 *format_mac_address (u8 * s, va_list * args);
380 u8 *format_ethernet_address (u8 * s, va_list * args);
381 u8 *format_ethernet_type (u8 * s, va_list * args);
382 u8 *format_ethernet_vlan_tci (u8 * s, va_list * va);
383 u8 *format_ethernet_header (u8 * s, va_list * args);
384 u8 *format_ethernet_header_with_length (u8 * s, va_list * args);
385
386 /* Parse ethernet address in either X:X:X:X:X:X unix or X.X.X cisco format. */
387 uword unformat_ethernet_address (unformat_input_t * input, va_list * args);
388 uword unformat_mac_address (unformat_input_t * input, va_list * args);
389
390 /* Parse ethernet type as 0xXXXX or type name from ethernet/types.def.
391    In either host or network byte order. */
392 uword
393 unformat_ethernet_type_host_byte_order (unformat_input_t * input,
394                                         va_list * args);
395 uword
396 unformat_ethernet_type_net_byte_order (unformat_input_t * input,
397                                        va_list * args);
398
399 /* Parse ethernet header. */
400 uword unformat_ethernet_header (unformat_input_t * input, va_list * args);
401
402 /* Parse ethernet interface name; return hw_if_index. */
403 uword unformat_ethernet_interface (unformat_input_t * input, va_list * args);
404
405 uword unformat_pg_ethernet_header (unformat_input_t * input, va_list * args);
406
407 always_inline void
408 ethernet_setup_node (vlib_main_t * vm, u32 node_index)
409 {
410   vlib_node_t *n = vlib_get_node (vm, node_index);
411   pg_node_t *pn = pg_get_node (node_index);
412
413   n->format_buffer = format_ethernet_header_with_length;
414   n->unformat_buffer = unformat_ethernet_header;
415   pn->unformat_edit = unformat_pg_ethernet_header;
416 }
417
418 always_inline ethernet_header_t *
419 ethernet_buffer_get_header (vlib_buffer_t * b)
420 {
421   return (void *) (b->data + vnet_buffer (b)->l2_hdr_offset);
422 }
423
424 /** Returns the number of VLAN headers in the current Ethernet frame in the
425  * buffer. Returns 0, 1, 2 for the known header count. The value 3 indicates
426  * the number of headers is not known.
427  */
428 #define ethernet_buffer_get_vlan_count(b) ( \
429     ((b)->flags & VNET_BUFFER_FLAGS_VLAN_BITS) >> VNET_BUFFER_F_LOG2_VLAN_1_DEEP \
430 )
431
432 /** Sets the number of VLAN headers in the current Ethernet frame in the
433  * buffer. Values 0, 1, 2 indicate  the header count. The value 3 indicates
434  * the number of headers is not known.
435  */
436 #define ethernet_buffer_set_vlan_count(b, v) ( \
437     (b)->flags = ((b)->flags & ~VNET_BUFFER_FLAGS_VLAN_BITS) | \
438         (((v) << VNET_BUFFER_F_LOG2_VLAN_1_DEEP) & VNET_BUFFER_FLAGS_VLAN_BITS) \
439 )
440
441 /** Adjusts the vlan count by the delta in 'v' */
442 #define ethernet_buffer_adjust_vlan_count(b, v) ( \
443   ethernet_buffer_set_vlan_count(b,  \
444       (word)ethernet_buffer_get_vlan_count(b) + (word)(v)) \
445 )
446
447 /** Adjusts the vlan count by the header size byte delta in 'v' */
448 #define ethernet_buffer_adjust_vlan_count_by_bytes(b, v) ( \
449     (b)->flags = ((b)->flags & ~VNET_BUFFER_FLAGS_VLAN_BITS) | (( \
450         ((b)->flags & VNET_BUFFER_FLAGS_VLAN_BITS) + \
451         ((v) << (VNET_BUFFER_F_LOG2_VLAN_1_DEEP - 2)) \
452     ) & VNET_BUFFER_FLAGS_VLAN_BITS) \
453 )
454
455 /**
456  * Determine the size of the Ethernet headers of the current frame in
457  * the buffer. This uses the VLAN depth flags that are set by
458  * ethernet-input. Because these flags are stored in the vlib_buffer_t
459  * "flags" field this count is valid regardless of the node so long as it's
460  * checked downstream of ethernet-input; That is, the value is not stored in
461  * the opaque space.
462  */
463 #define ethernet_buffer_header_size(b) ( \
464         ethernet_buffer_get_vlan_count((b)) * sizeof(ethernet_vlan_header_t) + \
465         sizeof(ethernet_header_t) \
466 )
467
468 ethernet_main_t *ethernet_get_main (vlib_main_t * vm);
469 u32 ethernet_set_flags (vnet_main_t * vnm, u32 hw_if_index, u32 flags);
470 void ethernet_sw_interface_set_l2_mode (vnet_main_t * vnm, u32 sw_if_index,
471                                         u32 l2);
472 void ethernet_sw_interface_set_l2_mode_noport (vnet_main_t * vnm,
473                                                u32 sw_if_index, u32 l2);
474 void ethernet_set_rx_redirect (vnet_main_t * vnm, vnet_hw_interface_t * hi,
475                                u32 enable);
476
477 clib_error_t *next_by_ethertype_init (next_by_ethertype_t * l3_next);
478 clib_error_t *next_by_ethertype_register (next_by_ethertype_t * l3_next,
479                                           u32 ethertype, u32 next_index);
480
481 int vnet_create_loopback_interface (u32 * sw_if_indexp, u8 * mac_address,
482                                     u8 is_specified, u32 user_instance);
483 int vnet_delete_loopback_interface (u32 sw_if_index);
484 int vnet_create_sub_interface (u32 sw_if_index, u32 id,
485                                u32 flags, u16 inner_vlan_id,
486                                u16 outer_vlan_id, u32 * sub_sw_if_index);
487 int vnet_delete_sub_interface (u32 sw_if_index);
488
489 // Perform ethernet subinterface classification table lookups given
490 // the ports's sw_if_index and fields extracted from the ethernet header.
491 // The resulting tables are used by identify_subint().
492 always_inline void
493 eth_vlan_table_lookups (ethernet_main_t * em,
494                         vnet_main_t * vnm,
495                         u32 port_sw_if_index0,
496                         u16 first_ethertype,
497                         u16 outer_id,
498                         u16 inner_id,
499                         vnet_hw_interface_t ** hi,
500                         main_intf_t ** main_intf,
501                         vlan_intf_t ** vlan_intf, qinq_intf_t ** qinq_intf)
502 {
503   vlan_table_t *vlan_table;
504   qinq_table_t *qinq_table;
505   u32 vlan_table_id;
506
507   // Read the main, vlan, and qinq interface table entries
508   // TODO: Consider if/how to prefetch tables. Also consider
509   // single-entry cache to skip table lookups and identify_subint()
510   // processing.
511   *hi = vnet_get_sup_hw_interface (vnm, port_sw_if_index0);
512   *main_intf = vec_elt_at_index (em->main_intfs, (*hi)->hw_if_index);
513
514   // Always read the vlan and qinq tables, even if there are not that
515   // many tags on the packet. This makes the lookups and comparisons
516   // easier (and less branchy).
517   vlan_table_id = (first_ethertype == ETHERNET_TYPE_DOT1AD) ?
518     (*main_intf)->dot1ad_vlans : (*main_intf)->dot1q_vlans;
519   vlan_table = vec_elt_at_index (em->vlan_pool, vlan_table_id);
520   *vlan_intf = &vlan_table->vlans[outer_id];
521
522   qinq_table = vec_elt_at_index (em->qinq_pool, (*vlan_intf)->qinqs);
523   *qinq_intf = &qinq_table->vlans[inner_id];
524 }
525
526
527 // Determine the subinterface for this packet, given the result of the
528 // vlan table lookups and vlan header parsing. Check the most specific
529 // matches first.
530 // Returns 1 if a matching subinterface was found, otherwise returns 0.
531 always_inline u32
532 eth_identify_subint (vnet_hw_interface_t * hi,
533                      u32 match_flags,
534                      main_intf_t * main_intf,
535                      vlan_intf_t * vlan_intf,
536                      qinq_intf_t * qinq_intf,
537                      u32 * new_sw_if_index, u8 * error0, u32 * is_l2)
538 {
539   subint_config_t *subint;
540
541   // Each comparison is checking both the valid flag and the number of tags
542   // (incorporating exact-match/non-exact-match).
543
544   // check for specific double tag
545   subint = &qinq_intf->subint;
546   if ((subint->flags & match_flags) == match_flags)
547     goto matched;
548
549   // check for specific outer and 'any' inner
550   subint = &vlan_intf->inner_any_subint;
551   if ((subint->flags & match_flags) == match_flags)
552     goto matched;
553
554   // check for specific single tag
555   subint = &vlan_intf->single_tag_subint;
556   if ((subint->flags & match_flags) == match_flags)
557     goto matched;
558
559   // check for default interface
560   subint = &main_intf->default_subint;
561   if ((subint->flags & match_flags) == match_flags)
562     goto matched;
563
564   // check for untagged interface
565   subint = &main_intf->untagged_subint;
566   if ((subint->flags & match_flags) == match_flags)
567     goto matched;
568
569   // No matching subinterface
570   *new_sw_if_index = ~0;
571   *error0 = ETHERNET_ERROR_UNKNOWN_VLAN;
572   *is_l2 = 0;
573   return 0;
574
575 matched:
576   *new_sw_if_index = subint->sw_if_index;
577   *is_l2 = subint->flags & SUBINT_CONFIG_L2;
578   return 1;
579 }
580
581 always_inline ethernet_main_t *
582 vnet_get_ethernet_main (void)
583 {
584   return &ethernet_main;
585 }
586
587 void ethernet_update_adjacency (vnet_main_t * vnm, u32 sw_if_index, u32 ai);
588 u8 *ethernet_build_rewrite (vnet_main_t * vnm,
589                             u32 sw_if_index,
590                             vnet_link_t link_type, const void *dst_address);
591 void ethernet_input_init (vlib_main_t * vm, ethernet_main_t * em);
592
593 extern vlib_node_registration_t ethernet_input_node;
594
595 #endif /* included_ethernet_h */
596
597 /*
598  * fd.io coding-style-patch-verification: ON
599  *
600  * Local Variables:
601  * eval: (c-set-style "gnu")
602  * End:
603  */