ip: Punt node does not free iovecs
[vpp.git] / src / vnet / ip / punt_node.c
1 /*
2  * Copyright (c) 2016 Cisco and/or its affiliates.
3  * Licensed under the Apache License, Version 2.0 (the "License");
4  * you may not use this file except in compliance with the License.
5  * You may obtain a copy of the License at:
6  *
7  *     http://www.apache.org/licenses/LICENSE-2.0
8  *
9  * Unless required by applicable law or agreed to in writing, software
10  * distributed under the License is distributed on an "AS IS" BASIS,
11  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
12  * See the License for the specific language governing permissions and
13  * limitations under the License.
14  */
15
16 /**
17  * @file
18  * @brief Local TCP/IP stack punt infrastructure.
19  *
20  * Provides a set of VPP nodes together with the relevant APIs and CLI
21  * commands in order to adjust and dispatch packets from the VPP data plane
22  * to the local TCP/IP stack
23  */
24
25 #include <vnet/ip/ip.h>
26 #include <vlib/vlib.h>
27 #include <vnet/pg/pg.h>
28 #include <vnet/udp/udp.h>
29 #include <vnet/tcp/tcp.h>
30 #include <vnet/ip/punt.h>
31 #include <vlib/unix/unix.h>
32
33 #include <stdio.h>
34 #include <unistd.h>
35 #include <sys/socket.h>
36 #include <sys/uio.h>
37 #include <stdlib.h>
38
39 typedef enum
40 {
41 #define punt_error(n,s) PUNT_ERROR_##n,
42 #include <vnet/ip/punt_error.def>
43 #undef punt_error
44   PUNT_N_ERROR,
45 } punt_error_t;
46
47 #define foreach_punt_next                       \
48   _ (PUNT4, "ip4-punt")                         \
49   _ (PUNT6, "ip6-punt")
50
51 typedef enum
52 {
53 #define _(s,n) PUNT_NEXT_##s,
54   foreach_punt_next
55 #undef _
56     PUNT_N_NEXT,
57 } punt_next_t;
58
59 enum punt_socket_rx_next_e
60 {
61   PUNT_SOCKET_RX_NEXT_INTERFACE_OUTPUT,
62   PUNT_SOCKET_RX_NEXT_IP4_LOOKUP,
63   PUNT_SOCKET_RX_NEXT_IP6_LOOKUP,
64   PUNT_SOCKET_RX_N_NEXT
65 };
66
67 #define punt_next_punt(is_ip4) (is_ip4 ? PUNT_NEXT_PUNT4 : PUNT_NEXT_PUNT6)
68
69 /** @brief IPv4/IPv6 UDP punt node main loop.
70
71     This is the main loop inline function for IPv4/IPv6 UDP punt
72     transition node.
73
74     @param vm vlib_main_t corresponding to the current thread
75     @param node vlib_node_runtime_t
76     @param frame vlib_frame_t whose contents should be dispatched
77     @param is_ipv4 indicates if called for IPv4 or IPv6 node
78 */
79 always_inline uword
80 udp46_punt_inline (vlib_main_t * vm,
81                    vlib_node_runtime_t * node,
82                    vlib_frame_t * from_frame, int is_ip4)
83 {
84   u32 n_left_from, *from, *to_next;
85   word advance;
86
87   from = vlib_frame_vector_args (from_frame);
88   n_left_from = from_frame->n_vectors;
89
90   /* udp[46]_lookup hands us the data payload, not the IP header */
91   if (is_ip4)
92     advance = -(sizeof (ip4_header_t) + sizeof (udp_header_t));
93   else
94     advance = -(sizeof (ip6_header_t) + sizeof (udp_header_t));
95
96   while (n_left_from > 0)
97     {
98       u32 n_left_to_next;
99
100       vlib_get_next_frame (vm, node, punt_next_punt (is_ip4), to_next,
101                            n_left_to_next);
102
103       while (n_left_from > 0 && n_left_to_next > 0)
104         {
105           u32 bi0;
106           vlib_buffer_t *b0;
107
108           bi0 = from[0];
109           to_next[0] = bi0;
110           from += 1;
111           to_next += 1;
112           n_left_from -= 1;
113           n_left_to_next -= 1;
114
115           b0 = vlib_get_buffer (vm, bi0);
116           vlib_buffer_advance (b0, advance);
117           b0->error = node->errors[PUNT_ERROR_UDP_PORT];
118         }
119
120       vlib_put_next_frame (vm, node, punt_next_punt (is_ip4), n_left_to_next);
121     }
122
123   return from_frame->n_vectors;
124 }
125
126 static char *punt_error_strings[] = {
127 #define punt_error(n,s) s,
128 #include "punt_error.def"
129 #undef punt_error
130 };
131
132 /** @brief IPv4 UDP punt node.
133     @node ip4-udp-punt
134
135     This is the IPv4 UDP punt transition node. It is registered as a next
136     node for the "ip4-udp-lookup" handling UDP port(s) requested for punt.
137     The buffer's current data pointer is adjusted to the original packet
138     IPv4 header. All buffers are dispatched to "error-punt".
139
140     @param vm vlib_main_t corresponding to the current thread
141     @param node vlib_node_runtime_t
142     @param frame vlib_frame_t whose contents should be dispatched
143
144     @par Graph mechanics: next index usage
145
146     @em Sets:
147     - <code>vnet_buffer(b)->current_data</code>
148     - <code>vnet_buffer(b)->current_len</code>
149
150     <em>Next Index:</em>
151     - Dispatches the packet to the "error-punt" node
152 */
153 VLIB_NODE_FN (udp4_punt_node) (vlib_main_t * vm,
154                                vlib_node_runtime_t * node,
155                                vlib_frame_t * from_frame)
156 {
157   return udp46_punt_inline (vm, node, from_frame, 1 /* is_ip4 */ );
158 }
159
160 /** @brief IPv6 UDP punt node.
161     @node ip6-udp-punt
162
163     This is the IPv6 UDP punt transition node. It is registered as a next
164     node for the "ip6-udp-lookup" handling UDP port(s) requested for punt.
165     The buffer's current data pointer is adjusted to the original packet
166     IPv6 header. All buffers are dispatched to "error-punt".
167
168     @param vm vlib_main_t corresponding to the current thread
169     @param node vlib_node_runtime_t
170     @param frame vlib_frame_t whose contents should be dispatched
171
172     @par Graph mechanics: next index usage
173
174     @em Sets:
175     - <code>vnet_buffer(b)->current_data</code>
176     - <code>vnet_buffer(b)->current_len</code>
177
178     <em>Next Index:</em>
179     - Dispatches the packet to the "error-punt" node
180 */
181 VLIB_NODE_FN (udp6_punt_node) (vlib_main_t * vm,
182                                vlib_node_runtime_t * node,
183                                vlib_frame_t * from_frame)
184 {
185   return udp46_punt_inline (vm, node, from_frame, 0 /* is_ip4 */ );
186 }
187
188 /* *INDENT-OFF* */
189 VLIB_REGISTER_NODE (udp4_punt_node) = {
190   .name = "ip4-udp-punt",
191   /* Takes a vector of packets. */
192   .vector_size = sizeof (u32),
193
194   .n_errors = PUNT_N_ERROR,
195   .error_strings = punt_error_strings,
196
197   .n_next_nodes = PUNT_N_NEXT,
198   .next_nodes = {
199 #define _(s,n) [PUNT_NEXT_##s] = n,
200      foreach_punt_next
201 #undef _
202   },
203 };
204
205 VLIB_REGISTER_NODE (udp6_punt_node) = {
206   .name = "ip6-udp-punt",
207   /* Takes a vector of packets. */
208   .vector_size = sizeof (u32),
209
210   .n_errors = PUNT_N_ERROR,
211   .error_strings = punt_error_strings,
212
213   .n_next_nodes = PUNT_N_NEXT,
214   .next_nodes = {
215 #define _(s,n) [PUNT_NEXT_##s] = n,
216      foreach_punt_next
217 #undef _
218   },
219 };
220 /* *INDENT-ON* */
221
222 typedef struct
223 {
224   punt_client_t client;
225   u8 is_midchain;
226 } udp_punt_trace_t;
227
228 static u8 *
229 format_udp_punt_trace (u8 * s, va_list * args)
230 {
231   CLIB_UNUSED (vlib_main_t * vm) = va_arg (*args, vlib_main_t *);
232   CLIB_UNUSED (vlib_node_t * node) = va_arg (*args, vlib_node_t *);
233   udp_punt_trace_t *t = va_arg (*args, udp_punt_trace_t *);
234   u32 indent = format_get_indent (s);
235   s = format (s, "to: %s", t->client.caddr.sun_path);
236   if (t->is_midchain)
237     {
238       s = format (s, "\n%U(buffer is part of chain)", format_white_space,
239                   indent);
240     }
241   return s;
242 }
243
244 always_inline uword
245 punt_socket_inline (vlib_main_t * vm,
246                     vlib_node_runtime_t * node,
247                     vlib_frame_t * frame,
248                     punt_type_t pt, ip_address_family_t af)
249 {
250   u32 *buffers = vlib_frame_vector_args (frame);
251   u32 thread_index = vm->thread_index;
252   uword n_packets = frame->n_vectors;
253   punt_main_t *pm = &punt_main;
254   int i;
255
256   punt_thread_data_t *ptd = &pm->thread_data[thread_index];
257   u32 node_index = (AF_IP4 == af ?
258                     udp4_punt_socket_node.index :
259                     udp6_punt_socket_node.index);
260
261   for (i = 0; i < n_packets; i++)
262     {
263       struct iovec *iov;
264       vlib_buffer_t *b;
265       uword l;
266       punt_packetdesc_t packetdesc;
267       punt_client_t *c;
268
269       b = vlib_get_buffer (vm, buffers[i]);
270
271       if (PUNT_TYPE_L4 == pt)
272         {
273           /* Reverse UDP Punt advance */
274           udp_header_t *udp;
275           if (AF_IP4 == af)
276             {
277               vlib_buffer_advance (b, -(sizeof (ip4_header_t) +
278                                         sizeof (udp_header_t)));
279               ip4_header_t *ip = vlib_buffer_get_current (b);
280               udp = (udp_header_t *) (ip + 1);
281             }
282           else
283             {
284               vlib_buffer_advance (b, -(sizeof (ip6_header_t) +
285                                         sizeof (udp_header_t)));
286               ip6_header_t *ip = vlib_buffer_get_current (b);
287               udp = (udp_header_t *) (ip + 1);
288             }
289
290           /*
291            * Find registerered client
292            * If no registered client, drop packet and count
293            */
294           c = punt_client_l4_get (af, clib_net_to_host_u16 (udp->dst_port));
295         }
296       else if (PUNT_TYPE_IP_PROTO == pt)
297         {
298           /* Reverse UDP Punt advance */
299           ip_protocol_t proto;
300
301           if (AF_IP4 == af)
302             {
303               ip4_header_t *ip = vlib_buffer_get_current (b);
304               proto = ip->protocol;
305             }
306           else
307             {
308               ip6_header_t *ip = vlib_buffer_get_current (b);
309               proto = ip->protocol;
310             }
311
312           c = punt_client_ip_proto_get (af, proto);
313         }
314       else if (PUNT_TYPE_EXCEPTION == pt)
315         {
316           c = punt_client_exception_get (b->punt_reason);
317         }
318       else
319         c = NULL;
320
321       if (PREDICT_FALSE (NULL == c))
322         {
323           vlib_node_increment_counter (vm, node_index,
324                                        PUNT_ERROR_SOCKET_TX_ERROR, 1);
325           goto error;
326         }
327
328       struct sockaddr_un *caddr = &c->caddr;
329
330       if (PREDICT_FALSE (b->flags & VLIB_BUFFER_IS_TRACED))
331         {
332           udp_punt_trace_t *t;
333           t = vlib_add_trace (vm, node, b, sizeof (t[0]));
334           clib_memcpy_fast (&t->client, c, sizeof (t->client));
335         }
336
337       /* Re-set iovecs */
338       vec_reset_length (ptd->iovecs);
339
340       /* Add packet descriptor */
341       packetdesc.sw_if_index = vnet_buffer (b)->sw_if_index[VLIB_RX];
342       packetdesc.action = 0;
343       vec_add2 (ptd->iovecs, iov, 1);
344       iov->iov_base = &packetdesc;
345       iov->iov_len = sizeof (packetdesc);
346
347       /** VLIB buffer chain -> Unix iovec(s). */
348       vlib_buffer_advance (b, -(sizeof (ethernet_header_t)));
349       vec_add2 (ptd->iovecs, iov, 1);
350       iov->iov_base = b->data + b->current_data;
351       iov->iov_len = l = b->current_length;
352
353       if (PREDICT_FALSE (b->flags & VLIB_BUFFER_NEXT_PRESENT))
354         {
355           do
356             {
357               b = vlib_get_buffer (vm, b->next_buffer);
358               if (PREDICT_FALSE (b->flags & VLIB_BUFFER_IS_TRACED))
359                 {
360                   udp_punt_trace_t *t;
361                   t = vlib_add_trace (vm, node, b, sizeof (t[0]));
362                   clib_memcpy_fast (&t->client, c, sizeof (t->client));
363                   t->is_midchain = 1;
364                 }
365
366               vec_add2 (ptd->iovecs, iov, 1);
367
368               iov->iov_base = b->data + b->current_data;
369               iov->iov_len = b->current_length;
370               l += b->current_length;
371             }
372           while (b->flags & VLIB_BUFFER_NEXT_PRESENT);
373         }
374
375       struct msghdr msg = {
376         .msg_name = caddr,
377         .msg_namelen = sizeof (*caddr),
378         .msg_iov = ptd->iovecs,
379         .msg_iovlen = vec_len (ptd->iovecs),
380       };
381
382       if (sendmsg (pm->socket_fd, &msg, 0) < (ssize_t) l)
383         vlib_node_increment_counter (vm, node_index,
384                                      PUNT_ERROR_SOCKET_TX_ERROR, 1);
385       else
386         vlib_node_increment_counter (vm, node_index, PUNT_ERROR_SOCKET_TX, 1);
387     }
388
389 error:
390   vlib_buffer_free (vm, buffers, n_packets);
391
392   return n_packets;
393 }
394
395 static uword
396 udp4_punt_socket (vlib_main_t * vm,
397                   vlib_node_runtime_t * node, vlib_frame_t * from_frame)
398 {
399   return punt_socket_inline (vm, node, from_frame, PUNT_TYPE_L4, AF_IP4);
400 }
401
402 static uword
403 udp6_punt_socket (vlib_main_t * vm,
404                   vlib_node_runtime_t * node, vlib_frame_t * from_frame)
405 {
406   return punt_socket_inline (vm, node, from_frame, PUNT_TYPE_L4, AF_IP6);
407 }
408
409 static uword
410 ip4_proto_punt_socket (vlib_main_t * vm,
411                        vlib_node_runtime_t * node, vlib_frame_t * from_frame)
412 {
413   return punt_socket_inline (vm, node, from_frame,
414                              PUNT_TYPE_IP_PROTO, AF_IP4);
415 }
416
417 static uword
418 ip6_proto_punt_socket (vlib_main_t * vm,
419                        vlib_node_runtime_t * node, vlib_frame_t * from_frame)
420 {
421   return punt_socket_inline (vm, node, from_frame,
422                              PUNT_TYPE_IP_PROTO, AF_IP6);
423 }
424
425 static uword
426 exception_punt_socket (vlib_main_t * vm,
427                        vlib_node_runtime_t * node, vlib_frame_t * from_frame)
428 {
429   return punt_socket_inline (vm, node, from_frame,
430                              PUNT_TYPE_EXCEPTION, AF_IP4);
431 }
432
433
434 /* *INDENT-OFF* */
435 VLIB_REGISTER_NODE (udp4_punt_socket_node) = {
436   .function = udp4_punt_socket,
437   .name = "ip4-udp-punt-socket",
438   .format_trace = format_udp_punt_trace,
439   .flags = VLIB_NODE_FLAG_IS_DROP,
440   /* Takes a vector of packets. */
441   .vector_size = sizeof (u32),
442   .n_errors = PUNT_N_ERROR,
443   .error_strings = punt_error_strings,
444 };
445 VLIB_REGISTER_NODE (udp6_punt_socket_node) = {
446   .function = udp6_punt_socket,
447   .name = "ip6-udp-punt-socket",
448   .format_trace = format_udp_punt_trace,
449   .flags = VLIB_NODE_FLAG_IS_DROP,
450   .vector_size = sizeof (u32),
451   .n_errors = PUNT_N_ERROR,
452   .error_strings = punt_error_strings,
453 };
454 VLIB_REGISTER_NODE (ip4_proto_punt_socket_node) = {
455   .function = ip4_proto_punt_socket,
456   .name = "ip4-proto-punt-socket",
457   .format_trace = format_udp_punt_trace,
458   .flags = VLIB_NODE_FLAG_IS_DROP,
459   /* Takes a vector of packets. */
460   .vector_size = sizeof (u32),
461   .n_errors = PUNT_N_ERROR,
462   .error_strings = punt_error_strings,
463 };
464 VLIB_REGISTER_NODE (ip6_proto_punt_socket_node) = {
465   .function = ip6_proto_punt_socket,
466   .name = "ip6-proto-punt-socket",
467   .format_trace = format_udp_punt_trace,
468   .flags = VLIB_NODE_FLAG_IS_DROP,
469   .vector_size = sizeof (u32),
470   .n_errors = PUNT_N_ERROR,
471   .error_strings = punt_error_strings,
472 };
473 VLIB_REGISTER_NODE (exception_punt_socket_node) = {
474   .function = exception_punt_socket,
475   .name = "exception-punt-socket",
476   .format_trace = format_udp_punt_trace,
477   .flags = VLIB_NODE_FLAG_IS_DROP,
478   .vector_size = sizeof (u32),
479   .n_errors = PUNT_N_ERROR,
480   .error_strings = punt_error_strings,
481 };
482 /* *INDENT-ON* */
483
484 typedef struct
485 {
486   enum punt_action_e action;
487   u32 sw_if_index;
488 } punt_trace_t;
489
490 static u8 *
491 format_punt_trace (u8 * s, va_list * va)
492 {
493   CLIB_UNUSED (vlib_main_t * vm) = va_arg (*va, vlib_main_t *);
494   CLIB_UNUSED (vlib_node_t * node) = va_arg (*va, vlib_node_t *);
495   vnet_main_t *vnm = vnet_get_main ();
496   punt_trace_t *t = va_arg (*va, punt_trace_t *);
497   s = format (s, "%U Action: %d", format_vnet_sw_if_index_name,
498               vnm, t->sw_if_index, t->action);
499   return s;
500 }
501
502 static uword
503 punt_socket_rx_fd (vlib_main_t * vm, vlib_node_runtime_t * node, u32 fd)
504 {
505   const uword buffer_size = vlib_buffer_get_default_data_size (vm);
506   u32 n_trace = vlib_get_trace_count (vm, node);
507   u32 next = node->cached_next_index;
508   u32 n_left_to_next, next_index;
509   u32 *to_next;
510   u32 error = PUNT_ERROR_NONE;
511   vlib_get_next_frame (vm, node, next, to_next, n_left_to_next);
512
513   /* $$$$ Only dealing with one buffer at the time for now */
514
515   u32 bi;
516   vlib_buffer_t *b;
517   punt_packetdesc_t packetdesc;
518   ssize_t size;
519   struct iovec io[2];
520
521   if (vlib_buffer_alloc (vm, &bi, 1) != 1)
522     {
523       error = PUNT_ERROR_NOBUFFER;
524       goto error;
525     }
526
527   b = vlib_get_buffer (vm, bi);
528   io[0].iov_base = &packetdesc;
529   io[0].iov_len = sizeof (packetdesc);
530   io[1].iov_base = b->data;
531   io[1].iov_len = buffer_size;
532
533   size = readv (fd, io, 2);
534   /* We need at least the packet descriptor plus a header */
535   if (size <= (int) (sizeof (packetdesc) + sizeof (ip4_header_t)))
536     {
537       vlib_buffer_free (vm, &bi, 1);
538       error = PUNT_ERROR_READV;
539       goto error;
540     }
541
542   b->flags = VNET_BUFFER_F_LOCALLY_ORIGINATED;
543   b->current_length = size - sizeof (packetdesc);
544
545   VLIB_BUFFER_TRACE_TRAJECTORY_INIT (b);
546
547   switch (packetdesc.action)
548     {
549     case PUNT_L2:
550       vnet_buffer (b)->sw_if_index[VLIB_TX] = packetdesc.sw_if_index;
551       next_index = PUNT_SOCKET_RX_NEXT_INTERFACE_OUTPUT;
552       break;
553
554     case PUNT_IP4_ROUTED:
555       vnet_buffer (b)->sw_if_index[VLIB_RX] = packetdesc.sw_if_index;
556       vnet_buffer (b)->sw_if_index[VLIB_TX] = ~0;
557       next_index = PUNT_SOCKET_RX_NEXT_IP4_LOOKUP;
558       break;
559
560     case PUNT_IP6_ROUTED:
561       vnet_buffer (b)->sw_if_index[VLIB_RX] = packetdesc.sw_if_index;
562       vnet_buffer (b)->sw_if_index[VLIB_TX] = ~0;
563       next_index = PUNT_SOCKET_RX_NEXT_IP6_LOOKUP;
564       break;
565
566     default:
567       error = PUNT_ERROR_ACTION;
568       vlib_buffer_free (vm, &bi, 1);
569       goto error;
570     }
571
572   if (PREDICT_FALSE (n_trace > 0))
573     {
574       punt_trace_t *t;
575       vlib_trace_buffer (vm, node, next_index, b, 1 /* follow_chain */ );
576       vlib_set_trace_count (vm, node, --n_trace);
577       t = vlib_add_trace (vm, node, b, sizeof (*t));
578       t->sw_if_index = packetdesc.sw_if_index;
579       t->action = packetdesc.action;
580     }
581
582   to_next[0] = bi;
583   to_next++;
584   n_left_to_next--;
585
586   vlib_validate_buffer_enqueue_x1 (vm, node, next, to_next, n_left_to_next,
587                                    bi, next_index);
588   vlib_put_next_frame (vm, node, next, n_left_to_next);
589   return 1;
590
591 error:
592   vlib_node_increment_counter (vm, punt_socket_rx_node.index, error, 1);
593   return 0;
594 }
595
596 static uword
597 punt_socket_rx (vlib_main_t * vm,
598                 vlib_node_runtime_t * node, vlib_frame_t * frame)
599 {
600   punt_main_t *pm = &punt_main;
601   u32 total_count = 0;
602   int i;
603
604   for (i = 0; i < vec_len (pm->ready_fds); i++)
605     {
606       total_count += punt_socket_rx_fd (vm, node, pm->ready_fds[i]);
607       vec_del1 (pm->ready_fds, i);
608     }
609   return total_count;
610 }
611
612 /* *INDENT-OFF* */
613 VLIB_REGISTER_NODE (punt_socket_rx_node) =
614 {
615  .function = punt_socket_rx,
616  .name = "punt-socket-rx",
617  .type = VLIB_NODE_TYPE_INPUT,
618  .state = VLIB_NODE_STATE_INTERRUPT,
619  .vector_size = 1,
620  .n_errors = PUNT_N_ERROR,
621  .error_strings = punt_error_strings,
622  .n_next_nodes = PUNT_SOCKET_RX_N_NEXT,
623  .next_nodes = {
624     [PUNT_SOCKET_RX_NEXT_INTERFACE_OUTPUT] = "interface-output",
625     [PUNT_SOCKET_RX_NEXT_IP4_LOOKUP] = "ip4-lookup",
626     [PUNT_SOCKET_RX_NEXT_IP6_LOOKUP] = "ip6-lookup",
627   },
628  .format_trace = format_punt_trace,
629 };
630 /* *INDENT-ON* */
631
632 /*
633  * fd.io coding-style-patch-verification: ON
634  *
635  * Local Variables:
636  * eval: (c-set-style "gnu")
637  * End:
638  */