Move pkt replication counter to the opaque2 cache line
[vpp.git] / vnet / vnet / replication.h
1 /*
2  * replication.h : packet replication
3  *
4  * Copyright (c) 2013 Cisco and/or its affiliates.
5  * Licensed under the Apache License, Version 2.0 (the "License");
6  * you may not use this file except in compliance with the License.
7  * You may obtain a copy of the License at:
8  *
9  *     http://www.apache.org/licenses/LICENSE-2.0
10  *
11  * Unless required by applicable law or agreed to in writing, software
12  * distributed under the License is distributed on an "AS IS" BASIS,
13  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
14  * See the License for the specific language governing permissions and
15  * limitations under the License.
16  */
17
18 #ifndef included_replication_h
19 #define included_replication_h
20
21
22 #include <vlib/vlib.h>
23 #include <vnet/vnet.h>
24 #include <vnet/replication.h>
25
26
27 typedef struct {
28
29   // The entire vnet buffer header restored for each replica
30   u8   vnet_buffer[32];      // 16B aligned to allow vector unit copy
31   u8   reserved[32];         // space for future expansion of vnet buffer header
32
33   // feature state used during this replication
34   u64  feature_replicas;     // feature's id for its set of replicas
35   u32  feature_counter;      // feature's current index into set of replicas
36   u32  recycle_node_index;   // feature's recycle node index
37
38   // data saved from the start of replication and restored at the end of replication
39   u32  saved_free_list_index; // from vlib buffer
40
41   // data saved from the original packet and restored for each replica
42   u64  l2_header[3];         // 24B (must be at least 22B for l2 packets)
43   u16  ip_tos;               // v4 and v6
44   u16  ip4_checksum;         // needed for v4 only
45
46   // data saved from the vlib buffer header and restored for each replica
47   i16  current_data;         // offset of first byte of packet in packet data
48   u8   pad[6];               // to 64B
49   u8   l2_packet;            // flag for l2 vs l3 packet data
50
51 } replication_context_t;    // 128B
52
53
54 typedef struct {
55
56   u32 recycle_list_index;
57
58   // per-thread pools of replication contexts
59   replication_context_t ** contexts;
60
61   vlib_main_t * vlib_main;
62   vnet_main_t * vnet_main;
63
64 } replication_main_t;
65
66
67 extern replication_main_t replication_main;
68
69
70 // Return 1 if this buffer just came from the replication recycle handler.
71 always_inline u32
72 replication_is_recycled (vlib_buffer_t * b0)
73 {
74   return b0->flags & VLIB_BUFFER_IS_RECYCLED;
75 }
76
77 // Clear the recycle flag. If buffer came from the replication recycle
78 // handler, this flag must be cleared before the packet is transmitted again.
79 always_inline void
80 replication_clear_recycled (vlib_buffer_t * b0)
81 {
82   b0->flags &= ~VLIB_BUFFER_IS_RECYCLED;
83 }
84
85 // Return the active replication context if this buffer has 
86 // been recycled, otherwise return 0. (Note that this essentially
87 // restricts access to the replication context to the replication
88 // feature's prep and recycle nodes.)
89 always_inline replication_context_t *
90 replication_get_ctx (vlib_buffer_t * b0)
91 {
92   replication_main_t * rm = &replication_main;
93
94   return replication_is_recycled (b0) ? 
95    pool_elt_at_index (rm->contexts[os_get_cpu_number()], b0->recycle_count) :
96    0;
97 }
98
99 // Prefetch the replication context for this buffer, if it exists
100 always_inline void
101 replication_prefetch_ctx (vlib_buffer_t * b0)
102 {
103   replication_context_t *ctx = replication_get_ctx (b0);
104
105   if (ctx) {
106     CLIB_PREFETCH (ctx, (2*CLIB_CACHE_LINE_BYTES), STORE);
107   }
108 }
109
110 replication_context_t *
111 replication_prep (vlib_main_t * vm,
112                   vlib_buffer_t * b0,
113                   u32 recycle_node_index,
114                   u32 l2_packet);
115
116 replication_context_t *
117 replication_recycle (vlib_main_t * vm,
118                      vlib_buffer_t * b0,
119                      u32 is_last);
120
121
122 #endif