dpdk: quad loop dpdk tx and code optimizations
[vpp.git] / vnet / vnet / buffer.h
1 /*
2  * Copyright (c) 2015 Cisco and/or its affiliates.
3  * Licensed under the Apache License, Version 2.0 (the "License");
4  * you may not use this file except in compliance with the License.
5  * You may obtain a copy of the License at:
6  *
7  *     http://www.apache.org/licenses/LICENSE-2.0
8  *
9  * Unless required by applicable law or agreed to in writing, software
10  * distributed under the License is distributed on an "AS IS" BASIS,
11  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
12  * See the License for the specific language governing permissions and
13  * limitations under the License.
14  */
15 /*
16  * vnet/buffer.h: vnet buffer flags
17  *
18  * Copyright (c) 2008 Eliot Dresselhaus
19  *
20  * Permission is hereby granted, free of charge, to any person obtaining
21  * a copy of this software and associated documentation files (the
22  * "Software"), to deal in the Software without restriction, including
23  * without limitation the rights to use, copy, modify, merge, publish,
24  * distribute, sublicense, and/or sell copies of the Software, and to
25  * permit persons to whom the Software is furnished to do so, subject to
26  * the following conditions:
27  *
28  * The above copyright notice and this permission notice shall be
29  * included in all copies or substantial portions of the Software.
30  *
31  *  THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND,
32  *  EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF
33  *  MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND
34  *  NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE
35  *  LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION
36  *  OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION
37  *  WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.
38  */
39
40 #ifndef included_vnet_buffer_h
41 #define included_vnet_buffer_h
42
43 #include <vlib/vlib.h>
44
45 /* VLIB buffer flags for ip4/ip6 packets.  Set by input interfaces for ip4/ip6
46    tcp/udp packets with hardware computed checksums. */
47 #define LOG2_IP_BUFFER_L4_CHECKSUM_COMPUTED LOG2_VLIB_BUFFER_FLAG_USER(1)
48 #define LOG2_IP_BUFFER_L4_CHECKSUM_CORRECT  LOG2_VLIB_BUFFER_FLAG_USER(2)
49 #define IP_BUFFER_L4_CHECKSUM_COMPUTED (1 << LOG2_IP_BUFFER_L4_CHECKSUM_COMPUTED)
50 #define IP_BUFFER_L4_CHECKSUM_CORRECT  (1 << LOG2_IP_BUFFER_L4_CHECKSUM_CORRECT)
51
52 /* VLAN header flags.
53  * These bits are zeroed in vlib_buffer_init_for_free_list()
54  * meaning wherever the buffer comes from they have a reasonable
55  * value (eg, if ip4/ip6 generates the packet.)
56  */
57 #define LOG2_ETH_BUFFER_VLAN_2_DEEP LOG2_VLIB_BUFFER_FLAG_USER(3)
58 #define LOG2_ETH_BUFFER_VLAN_1_DEEP LOG2_VLIB_BUFFER_FLAG_USER(4)
59 #define ETH_BUFFER_VLAN_2_DEEP (1 << LOG2_ETH_BUFFER_VLAN_2_DEEP)
60 #define ETH_BUFFER_VLAN_1_DEEP (1 << LOG2_ETH_BUFFER_VLAN_1_DEEP)
61 #define ETH_BUFFER_VLAN_BITS (ETH_BUFFER_VLAN_1_DEEP | \
62                               ETH_BUFFER_VLAN_2_DEEP)
63
64 #define LOG2_VNET_BUFFER_RTE_MBUF_VALID LOG2_VLIB_BUFFER_FLAG_USER(5)
65 #define VNET_BUFFER_RTE_MBUF_VALID (1 << LOG2_VNET_BUFFER_RTE_MBUF_VALID)
66
67 #define LOG2_BUFFER_HANDOFF_NEXT_VALID LOG2_VLIB_BUFFER_FLAG_USER(6)
68 #define BUFFER_HANDOFF_NEXT_VALID (1 << LOG2_BUFFER_HANDOFF_NEXT_VALID)
69
70 #define foreach_buffer_opaque_union_subtype     \
71 _(ethernet)                                     \
72 _(ip)                                           \
73 _(mcast)                                        \
74 _(swt)                                          \
75 _(l2)                                           \
76 _(l2t)                                          \
77 _(gre)                                          \
78 _(l2_classify)                                  \
79 _(handoff)                                      \
80 _(policer)                                      \
81 _(ipsec)                                        \
82 _(map)                                          \
83 _(map_t)                                        \
84 _(ip_frag)
85
86 /*
87  * vnet stack buffer opaque array overlay structure.
88  * The vnet_buffer_opaque_t *must* be the same size as the
89  * vlib_buffer_t "opaque" structure member, 32 bytes.
90  *
91  * When adding a union type, please add a stanza to
92  * foreach_buffer_opaque_union_subtype (directly above).
93  * Code in vnet_interface_init(...) verifies the size
94  * of the union, and will announce any deviations in an
95  * impossible-to-miss manner.
96  */
97 typedef struct
98 {
99   u32 sw_if_index[VLIB_N_RX_TX];
100
101   union
102   {
103     /* Ethernet. */
104     struct
105     {
106       /* Saved value of current header by ethernet-input. */
107       i32 start_of_ethernet_header;
108     } ethernet;
109
110     /* IP4/6 buffer opaque. */
111     struct
112     {
113       /* Adjacency from destination IP address lookup [VLIB_TX].
114          Adjacency from source IP address lookup [VLIB_RX].
115          This gets set to ~0 until source lookup is performed. */
116       u32 adj_index[VLIB_N_RX_TX];
117
118       union
119       {
120         struct
121         {
122           /* Flow hash value for this packet computed from IP src/dst address
123              protocol and ports. */
124           u32 flow_hash;
125
126           /* next protocol */
127           u32 save_protocol;
128
129           /* Rewrite length */
130           u32 save_rewrite_length;
131         };
132
133         /* ICMP */
134         struct
135         {
136           u8 type;
137           u8 code;
138           u32 data;
139         } icmp;
140       };
141     } ip;
142
143     /* Multicast replication */
144     struct
145     {
146       u32 pad[3];
147       u32 mcast_group_index;
148       u32 mcast_current_index;
149       u32 original_free_list_index;
150     } mcast;
151
152     /* ip4-in-ip6 softwire termination, only valid there */
153     struct
154     {
155       u8 swt_disable;
156       u32 mapping_index;
157     } swt;
158
159     /* l2 bridging path, only valid there */
160     struct
161     {
162       u32 feature_bitmap;
163       u16 bd_index;             // bridge-domain index
164       u8 l2_len;                // ethernet header length
165       u8 shg;                   // split-horizon group
166     } l2;
167
168     /* l2tpv3 softwire encap, only valid there */
169     struct
170     {
171       u32 pad[4];               /* do not overlay w/ ip.adj_index[0,1] */
172       u8 next_index;
173       u32 session_index;
174     } l2t;
175
176     struct
177     {
178       u32 src, dst;
179     } gre;
180
181     /* L2 classify */
182     struct
183     {
184       u64 pad;
185       u32 table_index;
186       u32 opaque_index;
187       u64 hash;
188     } l2_classify;
189
190     /* IO - worker thread handoff */
191     struct
192     {
193       u32 next_index;
194     } handoff;
195
196     /* vnet policer */
197     struct
198     {
199       u32 pad[8 - VLIB_N_RX_TX - 1];    /* to end of opaque */
200       u32 index;
201     } policer;
202
203     /* interface output features */
204     struct
205     {
206       u32 flags;
207       u32 sad_index;
208     } ipsec;
209
210     /* vcgn udp inside input, only valid there */
211     struct
212     {
213       /* This part forms context of the packet. The structure should be
214        * exactly same as spp_ctx_t. Also this should be the first
215        * element of this vcgn_uii structure.
216        */
217       /****** BEGIN spp_ctx_t section ***********************/
218       union
219       {                         /* Roddick specific */
220         u32 roddick_info;
221         struct _tx_pkt_info
222         {                       /* Used by PI to PI communication for TX */
223           u32 uidb_index:16;    /* uidb_index to transmit */
224           u32 packet_type:2;    /* 1-IPv4, 2-Ipv6, - 0,3 - Unused */
225           u32 ipv4_defrag:1;    /* 0 - Normal, 1 - update first
226                                  * segment size
227                                  * (set by 6rd defrag node)
228                                  */
229
230           u32 dst_ip_port_idx:4;        /* Index to dst_ip_port_table */
231           u32 from_node:4;
232           u32 calc_chksum:1;
233           u32 reserved:4;
234         } tx;
235         struct _rx_pkt_info
236         {                       /* Used by PD / PI communication */
237           u32 uidb_index:16;    /* uidb_index received in packet */
238           u32 packet_type:2;    /* 1-IPv4, 2-Ipv6, - 0,3 - Unused */
239           u32 icmp_type:1;      /* 0-ICMP query type, 1-ICMP error type */
240           u32 protocol_type:2;  /* 1-TCP, 2-UDP, 3-ICMP, 0 - Unused */
241           u32 ipv4_defrag:1;    /* 0 - Normal, 1 - update first
242                                  * segment size
243                                  * (set by 6rd defrag node)
244                                  */
245
246           u32 direction:1;      /* 0-Outside, 1-Inside */
247           u32 frag:1;           /*IP fragment-1, Otherwise-0 */
248           u32 option:1;         /* 0-No IP option (v4) present, non-fragHdr
249                                  * option hdr present (v6)
250                                  */
251           u32 df_bit:1;         /* IPv4 DF bit copied here */
252           u32 reserved1:6;
253         } rx;
254       } ru;
255       /****** END  spp_ctx_t section ***********************/
256
257       union
258       {
259         struct
260         {
261           u32 ipv4;
262           u16 port;
263           u16 vrf;              //bit0-13:i/f, bit14-15:protocol
264         } k;
265
266         u64 key64;
267       } key;
268
269       u32 bucket;
270
271       u16 ovrf;                 /* Exit interface */
272       u8 frag_pkt;
273       u8 vcgn_unused1;
274     } vcgn_uii;
275
276     /* MAP */
277     struct
278     {
279       u16 mtu;
280     } map;
281
282     /* MAP-T */
283     struct
284     {
285       u32 map_domain_index;
286       struct
287       {
288         u32 saddr, daddr;
289         u16 frag_offset;        //Fragmentation header offset
290         u16 l4_offset;          //L4 header overall offset
291         u8 l4_protocol;         //The final protocol number
292       } v6;                     //Used by ip6_map_t only
293       u16 checksum_offset;      //L4 checksum overall offset
294       u16 mtu;                  //Exit MTU
295     } map_t;
296
297     /* IP Fragmentation */
298     struct
299     {
300       u16 header_offset;
301       u16 mtu;
302       u8 next_index;
303       u8 flags;                 //See ip_frag.h
304     } ip_frag;
305
306     /* COP - configurable junk filter(s) */
307     struct
308     {
309       /* Current configuration index. */
310       u32 current_config_index;
311     } cop;
312
313     /* LISP */
314     struct
315     {
316       /* overlay address family */
317       u16 overlay_afi;
318     } lisp;
319
320     /* Driver rx feature */
321     struct
322     {
323       u32 saved_next_index;             /**< saved by drivers for short-cut */
324       u16 buffer_advance;
325     } device_input_feat;
326
327     u32 unused[6];
328   };
329 } vnet_buffer_opaque_t;
330
331 #define vnet_buffer(b) ((vnet_buffer_opaque_t *) (b)->opaque)
332
333 /* Full cache line (64 bytes) of additional space */
334 typedef struct
335 {
336   union
337   {
338   };
339 } vnet_buffer_opaque2_t;
340
341
342
343 #endif /* included_vnet_buffer_h */
344
345 /*
346  * fd.io coding-style-patch-verification: ON
347  *
348  * Local Variables:
349  * eval: (c-set-style "gnu")
350  * End:
351  */