l2: input performance
[vpp.git] / src / vnet / l2 / l2_input_node.c
1 /*
2  * l2_input.c : layer 2 input packet processing
3  *
4  * Copyright (c) 2013 Cisco and/or its affiliates.
5  * Licensed under the Apache License, Version 2.0 (the "License");
6  * you may not use this file except in compliance with the License.
7  * You may obtain a copy of the License at:
8  *
9  *     http://www.apache.org/licenses/LICENSE-2.0
10  *
11  * Unless required by applicable law or agreed to in writing, software
12  * distributed under the License is distributed on an "AS IS" BASIS,
13  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
14  * See the License for the specific language governing permissions and
15  * limitations under the License.
16  */
17
18 #include <vlib/vlib.h>
19 #include <vnet/vnet.h>
20 #include <vnet/pg/pg.h>
21 #include <vnet/ethernet/ethernet.h>
22 #include <vnet/ethernet/packet.h>
23 #include <vnet/ip/ip_packet.h>
24 #include <vnet/ip/ip4_packet.h>
25 #include <vnet/ip/ip6_packet.h>
26 #include <vnet/fib/fib_node.h>
27 #include <vnet/ethernet/arp_packet.h>
28 #include <vlib/cli.h>
29 #include <vnet/l2/l2_input.h>
30 #include <vnet/l2/l2_output.h>
31 #include <vnet/l2/feat_bitmap.h>
32 #include <vnet/l2/l2_bvi.h>
33 #include <vnet/l2/l2_fib.h>
34 #include <vnet/l2/l2_bd.h>
35
36 #include <vppinfra/error.h>
37 #include <vppinfra/hash.h>
38 #include <vppinfra/cache.h>
39
40 /**
41  * @file
42  * @brief Interface Input Mode (Layer 2 Cross-Connect or Bridge / Layer 3).
43  *
44  * This file contains the CLI Commands that modify the input mode of an
45  * interface. For interfaces in a Layer 2 cross-connect, all packets
46  * received on one interface will be transmitted to the other. For
47  * interfaces in a bridge-domain, packets will be forwarded to other
48  * interfaces in the same bridge-domain based on destination mac address.
49  * For interfaces in Layer 3 mode, the packets will be routed.
50  */
51
52 typedef struct
53 {
54   /* per-pkt trace data */
55   u8 dst_and_src[12];
56   u32 next_index;
57   u32 sw_if_index;
58   u32 feat_mask;
59 } l2input_trace_t;
60
61 /* packet trace format function */
62 static u8 *
63 format_l2input_trace (u8 * s, va_list * args)
64 {
65   CLIB_UNUSED (vlib_main_t * vm) = va_arg (*args, vlib_main_t *);
66   CLIB_UNUSED (vlib_node_t * node) = va_arg (*args, vlib_node_t *);
67   l2input_trace_t *t = va_arg (*args, l2input_trace_t *);
68
69   s = format (s, "l2-input: sw_if_index %d dst %U src %U [%U]",
70               t->sw_if_index,
71               format_ethernet_address, t->dst_and_src,
72               format_ethernet_address, t->dst_and_src + 6,
73               format_l2_input_feature_bitmap, t->feat_mask, 0);
74   return s;
75 }
76
77 extern l2input_main_t l2input_main;
78
79 #ifndef CLIB_MARCH_VARIANT
80 l2input_main_t l2input_main;
81 #endif /* CLIB_MARCH_VARIANT */
82
83 #define foreach_l2input_error                   \
84 _(L2INPUT,     "L2 input packets")              \
85 _(DROP,        "L2 input drops")
86
87 typedef enum
88 {
89 #define _(sym,str) L2INPUT_ERROR_##sym,
90   foreach_l2input_error
91 #undef _
92     L2INPUT_N_ERROR,
93 } l2input_error_t;
94
95 static char *l2input_error_strings[] = {
96 #define _(sym,string) string,
97   foreach_l2input_error
98 #undef _
99 };
100
101 typedef enum
102 {                               /*  */
103   L2INPUT_NEXT_LEARN,
104   L2INPUT_NEXT_FWD,
105   L2INPUT_NEXT_DROP,
106   L2INPUT_N_NEXT,
107 } l2input_next_t;
108
109 static_always_inline void
110 classify_and_dispatch (l2input_main_t * msm, vlib_buffer_t * b0, u16 * next0)
111 {
112   /*
113    * Load L2 input feature struct
114    * Load bridge domain struct
115    * Parse ethernet header to determine unicast/mcast/broadcast
116    * take L2 input stat
117    * classify packet as IP/UDP/TCP, control, other
118    * mask feature bitmap
119    * go to first node in bitmap
120    * Later: optimize VTM
121    *
122    * For L2XC,
123    *   set tx sw-if-handle
124    */
125
126   u32 feat_mask = ~0;
127   u32 sw_if_index0 = vnet_buffer (b0)->sw_if_index[VLIB_RX];
128   ethernet_header_t *h0 = vlib_buffer_get_current (b0);
129
130   /* Get config for the input interface */
131   l2_input_config_t *config = vec_elt_at_index (msm->configs, sw_if_index0);
132
133   /* Save split horizon group */
134   vnet_buffer (b0)->l2.shg = config->shg;
135
136   /* determine layer2 kind for stat and mask */
137   if (PREDICT_FALSE (ethernet_address_cast (h0->dst_address)))
138     {
139       u8 *l3h0 = (u8 *) h0 + vnet_buffer (b0)->l2.l2_len;
140
141 #define get_u16(addr) ( *((u16 *)(addr)) )
142       u16 ethertype = clib_net_to_host_u16 (get_u16 (l3h0 - 2));
143       u8 protocol = ((ip6_header_t *) l3h0)->protocol;
144
145       /* Disable bridge forwarding (flooding will execute instead if not xconnect) */
146       feat_mask &= ~(L2INPUT_FEAT_FWD |
147                      L2INPUT_FEAT_UU_FLOOD |
148                      L2INPUT_FEAT_UU_FWD | L2INPUT_FEAT_GBP_FWD);
149
150       if (ethertype != ETHERNET_TYPE_ARP)
151         feat_mask &= ~(L2INPUT_FEAT_ARP_UFWD);
152
153       /* Disable ARP-term for non-ARP and non-ICMP6 packet */
154       if (ethertype != ETHERNET_TYPE_ARP &&
155           (ethertype != ETHERNET_TYPE_IP6 || protocol != IP_PROTOCOL_ICMP6))
156         feat_mask &= ~(L2INPUT_FEAT_ARP_TERM);
157       /*
158        * For packet from BVI - set SHG of ARP request or ICMPv6 neighbor
159        * solicitation packet from BVI to 0 so it can also flood to VXLAN
160        * tunnels or other ports with the same SHG as that of the BVI.
161        */
162       else if (PREDICT_FALSE (vnet_buffer (b0)->sw_if_index[VLIB_TX] ==
163                               L2INPUT_BVI))
164         {
165           if (ethertype == ETHERNET_TYPE_ARP)
166             {
167               ethernet_arp_header_t *arp0 = (ethernet_arp_header_t *) l3h0;
168               if (arp0->opcode ==
169                   clib_host_to_net_u16 (ETHERNET_ARP_OPCODE_request))
170                 vnet_buffer (b0)->l2.shg = 0;
171             }
172           else                  /* must be ICMPv6 */
173             {
174               ip6_header_t *iph0 = (ip6_header_t *) l3h0;
175               icmp6_neighbor_solicitation_or_advertisement_header_t *ndh0;
176               ndh0 = ip6_next_header (iph0);
177               if (ndh0->icmp.type == ICMP6_neighbor_solicitation)
178                 vnet_buffer (b0)->l2.shg = 0;
179             }
180         }
181     }
182   else
183     {
184       /*
185        * For packet from BVI - set SHG of unicast packet from BVI to 0 so it
186        * is not dropped on output to VXLAN tunnels or other ports with the
187        * same SHG as that of the BVI.
188        */
189       if (PREDICT_FALSE (vnet_buffer (b0)->sw_if_index[VLIB_TX] ==
190                          L2INPUT_BVI))
191         vnet_buffer (b0)->l2.shg = 0;
192     }
193
194
195   if (l2_input_is_bridge (config))
196     {
197       /* Do bridge-domain processing */
198       /* save BD ID for next feature graph nodes */
199       vnet_buffer (b0)->l2.bd_index = config->bd_index;
200
201       /* Save bridge domain and interface seq_num */
202       vnet_buffer (b0)->l2.l2fib_sn = l2_fib_mk_seq_num
203         (config->bd_seq_num, config->seq_num);
204       vnet_buffer (b0)->l2.bd_age = config->bd_mac_age;
205
206       /*
207        * Process bridge domain feature enables.
208        * To perform learning/flooding/forwarding, the corresponding bit
209        * must be enabled in both the input interface config and in the
210        * bridge domain config. In the bd_bitmap, bits for features other
211        * than learning/flooding/forwarding should always be set.
212        */
213       feat_mask = feat_mask & config->bd_feature_bitmap;
214     }
215   else if (l2_input_is_xconnect (config))
216     {
217       /* Set the output interface */
218       vnet_buffer (b0)->sw_if_index[VLIB_TX] = config->output_sw_if_index;
219     }
220   else
221     feat_mask = L2INPUT_FEAT_DROP;
222
223   /* mask out features from bitmap using packet type and bd config */
224   u32 feature_bitmap = config->feature_bitmap & feat_mask;
225
226   /* save for next feature graph nodes */
227   vnet_buffer (b0)->l2.feature_bitmap = feature_bitmap;
228
229   /* Determine the next node */
230   *next0 = feat_bitmap_get_next_node_index (msm->feat_next_node_index,
231                                             feature_bitmap);
232 }
233
234 static_always_inline uword
235 l2input_node_inline (vlib_main_t * vm,
236                      vlib_node_runtime_t * node, vlib_frame_t * frame,
237                      int do_trace)
238 {
239   u32 n_left, *from;
240   l2input_next_t next_index;
241   l2input_main_t *msm = &l2input_main;
242   vlib_buffer_t *bufs[VLIB_FRAME_SIZE], **b = bufs;
243   u16 nexts[VLIB_FRAME_SIZE], *next = nexts;
244
245   from = vlib_frame_vector_args (frame);
246   n_left = frame->n_vectors;    /* number of packets to process */
247   next_index = node->cached_next_index;
248
249   vlib_get_buffers (vm, from, bufs, n_left);
250
251   while (n_left > 0)
252     {
253       while (n_left >= 8)
254         {
255           u32 sw_if_index0, sw_if_index1, sw_if_index2, sw_if_index3;
256
257           /* Prefetch next iteration. */
258           {
259             /* Prefetch the buffer header and packet for the N+2 loop iteration */
260             vlib_prefetch_buffer_header (b[4], LOAD);
261             vlib_prefetch_buffer_header (b[5], LOAD);
262             vlib_prefetch_buffer_header (b[6], LOAD);
263             vlib_prefetch_buffer_header (b[7], LOAD);
264
265             CLIB_PREFETCH (b[4]->data, CLIB_CACHE_LINE_BYTES, STORE);
266             CLIB_PREFETCH (b[5]->data, CLIB_CACHE_LINE_BYTES, STORE);
267             CLIB_PREFETCH (b[6]->data, CLIB_CACHE_LINE_BYTES, STORE);
268             CLIB_PREFETCH (b[7]->data, CLIB_CACHE_LINE_BYTES, STORE);
269           }
270
271           classify_and_dispatch (msm, b[0], &next[0]);
272           classify_and_dispatch (msm, b[1], &next[1]);
273           classify_and_dispatch (msm, b[2], &next[2]);
274           classify_and_dispatch (msm, b[3], &next[3]);
275
276           if (do_trace)
277             {
278               /* RX interface handles */
279               sw_if_index0 = vnet_buffer (b[0])->sw_if_index[VLIB_RX];
280               sw_if_index1 = vnet_buffer (b[1])->sw_if_index[VLIB_RX];
281               sw_if_index2 = vnet_buffer (b[2])->sw_if_index[VLIB_RX];
282               sw_if_index3 = vnet_buffer (b[3])->sw_if_index[VLIB_RX];
283
284               if (b[0]->flags & VLIB_BUFFER_IS_TRACED)
285                 {
286                   ethernet_header_t *h0 = vlib_buffer_get_current (b[0]);
287                   l2input_trace_t *t =
288                     vlib_add_trace (vm, node, b[0], sizeof (*t));
289                   t->sw_if_index = sw_if_index0;
290                   t->feat_mask = vnet_buffer (b[0])->l2.feature_bitmap;
291                   clib_memcpy_fast (t->dst_and_src, h0->dst_address,
292                                     sizeof (h0->dst_address) +
293                                     sizeof (h0->src_address));
294                 }
295               if (b[1]->flags & VLIB_BUFFER_IS_TRACED)
296                 {
297                   ethernet_header_t *h1 = vlib_buffer_get_current (b[1]);
298                   l2input_trace_t *t =
299                     vlib_add_trace (vm, node, b[1], sizeof (*t));
300                   t->sw_if_index = sw_if_index1;
301                   t->feat_mask = vnet_buffer (b[1])->l2.feature_bitmap;
302                   clib_memcpy_fast (t->dst_and_src, h1->dst_address,
303                                     sizeof (h1->dst_address) +
304                                     sizeof (h1->src_address));
305                 }
306               if (b[2]->flags & VLIB_BUFFER_IS_TRACED)
307                 {
308                   ethernet_header_t *h2 = vlib_buffer_get_current (b[2]);
309                   l2input_trace_t *t =
310                     vlib_add_trace (vm, node, b[2], sizeof (*t));
311                   t->sw_if_index = sw_if_index2;
312                   t->feat_mask = vnet_buffer (b[2])->l2.feature_bitmap;
313                   clib_memcpy_fast (t->dst_and_src, h2->dst_address,
314                                     sizeof (h2->dst_address) +
315                                     sizeof (h2->src_address));
316                 }
317               if (b[3]->flags & VLIB_BUFFER_IS_TRACED)
318                 {
319                   ethernet_header_t *h3 = vlib_buffer_get_current (b[3]);
320                   l2input_trace_t *t =
321                     vlib_add_trace (vm, node, b[3], sizeof (*t));
322                   t->sw_if_index = sw_if_index3;
323                   t->feat_mask = vnet_buffer (b[3])->l2.feature_bitmap;
324                   clib_memcpy_fast (t->dst_and_src, h3->dst_address,
325                                     sizeof (h3->dst_address) +
326                                     sizeof (h3->src_address));
327                 }
328             }
329
330           b += 4;
331           n_left -= 4;
332           next += 4;
333         }
334
335       while (n_left > 0)
336         {
337           classify_and_dispatch (msm, b[0], &next[0]);
338
339           if (do_trace && PREDICT_FALSE (b[0]->flags & VLIB_BUFFER_IS_TRACED))
340             {
341               ethernet_header_t *h0 = vlib_buffer_get_current (b[0]);
342               l2input_trace_t *t =
343                 vlib_add_trace (vm, node, b[0], sizeof (*t));
344               t->sw_if_index = vnet_buffer (b[0])->sw_if_index[VLIB_RX];
345               t->feat_mask = vnet_buffer (b[0])->l2.feature_bitmap;
346               clib_memcpy_fast (t->dst_and_src, h0->dst_address,
347                                 sizeof (h0->dst_address) +
348                                 sizeof (h0->src_address));
349             }
350
351           b += 1;
352           next += 1;
353           n_left -= 1;
354         }
355     }
356
357   vlib_node_increment_counter (vm, l2input_node.index,
358                                L2INPUT_ERROR_L2INPUT, frame->n_vectors);
359
360   vlib_buffer_enqueue_to_next (vm, node, from, nexts, frame->n_vectors);
361
362   return frame->n_vectors;
363 }
364
365 VLIB_NODE_FN (l2input_node) (vlib_main_t * vm,
366                              vlib_node_runtime_t * node, vlib_frame_t * frame)
367 {
368   if (PREDICT_FALSE ((node->flags & VLIB_NODE_FLAG_TRACE)))
369     return l2input_node_inline (vm, node, frame, 1 /* do_trace */ );
370   return l2input_node_inline (vm, node, frame, 0 /* do_trace */ );
371 }
372
373 /* *INDENT-OFF* */
374 VLIB_REGISTER_NODE (l2input_node) = {
375   .name = "l2-input",
376   .vector_size = sizeof (u32),
377   .format_trace = format_l2input_trace,
378   .format_buffer = format_ethernet_header_with_length,
379   .type = VLIB_NODE_TYPE_INTERNAL,
380
381   .n_errors = ARRAY_LEN(l2input_error_strings),
382   .error_strings = l2input_error_strings,
383
384   .n_next_nodes = L2INPUT_N_NEXT,
385
386   /* edit / add dispositions here */
387   .next_nodes = {
388        [L2INPUT_NEXT_LEARN] = "l2-learn",
389        [L2INPUT_NEXT_FWD]   = "l2-fwd",
390        [L2INPUT_NEXT_DROP]  = "error-drop",
391   },
392 };
393 /* *INDENT-ON* */
394
395 /*
396  * fd.io coding-style-patch-verification: ON
397  *
398  * Local Variables:
399  * eval: (c-set-style "gnu")
400  * End:
401  */