b7eb1f14839a4b72abcee9f52aeadcf86e13463a
[vpp.git] / vnet / vnet / map / map.c
1 /*
2  * map.c : MAP support
3  *
4  * Copyright (c) 2015 Cisco and/or its affiliates.
5  * Licensed under the Apache License, Version 2.0 (the "License");
6  * you may not use this file except in compliance with the License.
7  * You may obtain a copy of the License at:
8  *
9  *     http://www.apache.org/licenses/LICENSE-2.0
10  *
11  * Unless required by applicable law or agreed to in writing, software
12  * distributed under the License is distributed on an "AS IS" BASIS,
13  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
14  * See the License for the specific language governing permissions and
15  * limitations under the License.
16  */
17
18 #include "map.h"
19
20 /*
21  * This code supports the following MAP modes:
22  * 
23  * Algorithmic Shared IPv4 address (ea_bits_len > 0):
24  *   ea_bits_len + ip4_prefix > 32
25  *   psid_length > 0, ip6_prefix < 64, ip4_prefix <= 32
26  * Algorithmic Full IPv4 address (ea_bits_len > 0):
27  *   ea_bits_len + ip4_prefix = 32
28  *   psid_length = 0, ip6_prefix < 64, ip4_prefix <= 32
29  * Algorithmic IPv4 prefix (ea_bits_len > 0):
30  *   ea_bits_len + ip4_prefix < 32
31  *   psid_length = 0, ip6_prefix < 64, ip4_prefix <= 32
32  *
33  * Independent Shared IPv4 address (ea_bits_len = 0):
34  *   ip4_prefix = 32
35  *   psid_length > 0
36  *   Rule IPv6 address = 128, Rule PSID Set
37  * Independent Full IPv4 address (ea_bits_len = 0):
38  *   ip4_prefix = 32
39  *   psid_length = 0, ip6_prefix = 128
40  * Independent IPv4 prefix (ea_bits_len = 0):
41  *   ip4_prefix < 32
42  *   psid_length = 0, ip6_prefix = 128
43  *
44  */
45
46 /*
47  * This code supports MAP-T:
48  *
49  * With DMR prefix length equal to 96.
50  *
51  */
52
53
54 i32
55 ip4_get_port (ip4_header_t *ip, map_dir_e dir, u16 buffer_len)
56 {
57   //TODO: use buffer length
58   if (ip->ip_version_and_header_length != 0x45 ||
59       ip4_get_fragment_offset(ip))
60       return -1;
61
62   if (PREDICT_TRUE((ip->protocol == IP_PROTOCOL_TCP) ||
63                    (ip->protocol == IP_PROTOCOL_UDP))) {
64     udp_header_t *udp = (void *)(ip + 1);
65     return (dir == MAP_SENDER) ? udp->src_port : udp->dst_port;
66   } else if (ip->protocol == IP_PROTOCOL_ICMP) {
67     icmp46_header_t *icmp = (void *)(ip + 1);
68     if (icmp->type == ICMP4_echo_request ||
69         icmp->type == ICMP4_echo_reply) {
70       return *((u16 *)(icmp + 1));
71     } else if (clib_net_to_host_u16(ip->length) >= 64) {
72       ip = (ip4_header_t *)(icmp + 2);
73       if (PREDICT_TRUE((ip->protocol == IP_PROTOCOL_TCP) ||
74                        (ip->protocol == IP_PROTOCOL_UDP))) {
75         udp_header_t *udp = (void *)(ip + 1);
76         return (dir == MAP_SENDER) ? udp->dst_port : udp->src_port;
77       } else if (ip->protocol == IP_PROTOCOL_ICMP) {
78         icmp46_header_t *icmp = (void *)(ip + 1);
79         if (icmp->type == ICMP4_echo_request ||
80             icmp->type == ICMP4_echo_reply) {
81           return *((u16 *)(icmp + 1));
82         }
83       }
84     }
85   }
86   return -1;
87 }
88
89 i32
90 ip6_get_port (ip6_header_t *ip6, map_dir_e dir, u16 buffer_len)
91 {
92   u8 l4_protocol;
93   u16 l4_offset;
94   u16 frag_offset;
95   u8 *l4;
96
97   if (ip6_parse(ip6, buffer_len, &l4_protocol, &l4_offset, &frag_offset))
98     return -1;
99
100   //TODO: Use buffer length
101
102   if (frag_offset &&
103       ip6_frag_hdr_offset(((ip6_frag_hdr_t *)u8_ptr_add(ip6, frag_offset))))
104     return -1; //Can't deal with non-first fragment for now
105
106   l4 = u8_ptr_add(ip6, l4_offset);
107   if (l4_protocol == IP_PROTOCOL_TCP ||
108       l4_protocol == IP_PROTOCOL_UDP) {
109     return (dir == MAP_SENDER) ? ((udp_header_t *)(l4))->src_port : ((udp_header_t *)(l4))->dst_port;
110   } else if (l4_protocol == IP_PROTOCOL_ICMP6) {
111     icmp46_header_t *icmp = (icmp46_header_t *)(l4);
112     if (icmp->type == ICMP6_echo_request) {
113       return (dir == MAP_SENDER) ? ((u16*)(icmp))[2] : -1;
114     } else if (icmp->type == ICMP6_echo_reply) {
115       return (dir == MAP_SENDER) ? -1 : ((u16*)(icmp))[2];
116     }
117   }
118   return -1;
119 }
120
121
122 int
123 map_create_domain (ip4_address_t *ip4_prefix,
124                    u8 ip4_prefix_len,
125                    ip6_address_t *ip6_prefix,
126                    u8 ip6_prefix_len,
127                    ip6_address_t *ip6_src,
128                    u8 ip6_src_len,
129                    u8 ea_bits_len,
130                    u8 psid_offset,
131                    u8 psid_length,
132                    u32 *map_domain_index,
133                    u16 mtu,
134                    u8 flags)
135 {
136   map_main_t *mm = &map_main;
137   ip4_main_t *im4 = &ip4_main;
138   ip6_main_t *im6 = &ip6_main;
139   map_domain_t *d;
140   ip_adjacency_t adj;
141   ip4_add_del_route_args_t args4;
142   ip6_add_del_route_args_t args6;
143   u8 suffix_len;
144   uword *p;
145
146   /* EA bits must be within the first 64 bits */
147   if (ea_bits_len > 0 && (ip6_prefix_len + ea_bits_len) > 64)
148     return -1;
149
150   /* Sanity check on the src prefix length */
151   if (flags & MAP_DOMAIN_TRANSLATION) {
152       if (ip6_src_len != 96) {
153           clib_warning("MAP-T only supports ip6_src_len = 96 for now.");
154           return -1;
155       }
156   } else {
157       if (ip6_src_len != 128) {
158           clib_warning("MAP-E requires a BR address, not a prefix (ip6_src_len should be 128).");
159           return -1;
160       }
161   }
162
163   /* Get domain index */
164   pool_get_aligned(mm->domains, d, CLIB_CACHE_LINE_BYTES);
165   memset(d, 0, sizeof (*d));
166   *map_domain_index = d - mm->domains;
167
168   /* Init domain struct */
169   d->ip4_prefix.as_u32 = ip4_prefix->as_u32;
170   d->ip4_prefix_len = ip4_prefix_len;
171   d->ip6_prefix = *ip6_prefix;
172   d->ip6_prefix_len = ip6_prefix_len;
173   d->ip6_src = *ip6_src;
174   d->ip6_src_len = ip6_src_len;
175   d->ea_bits_len = ea_bits_len;
176   d->psid_offset = psid_offset;
177   d->psid_length = psid_length;
178   d->mtu = mtu;
179   d->flags = flags;
180
181   /* How many, and which bits to grab from the IPv4 DA */
182   if (ip4_prefix_len + ea_bits_len < 32) {
183     d->flags |= MAP_DOMAIN_PREFIX;
184     suffix_len = d->suffix_shift = 32 - ip4_prefix_len - ea_bits_len;
185   } else {
186     d->suffix_shift = 0;
187     suffix_len = 32 - ip4_prefix_len;
188   }
189   d->suffix_mask = (1<<suffix_len) - 1;
190
191   d->psid_shift = 16 - psid_length - psid_offset;
192   d->psid_mask = (1 << d->psid_length) - 1;
193   d->ea_shift = 64 - ip6_prefix_len - suffix_len - d->psid_length;
194
195   /* Init IP adjacency */
196   memset(&adj, 0, sizeof(adj));
197   adj.explicit_fib_index = ~0;
198   adj.lookup_next_index = (d->flags & MAP_DOMAIN_TRANSLATION) ? IP_LOOKUP_NEXT_MAP_T : IP_LOOKUP_NEXT_MAP;
199   p = (uword *)&adj.rewrite_data[0];
200   *p = (uword) (*map_domain_index);
201
202   if (ip4_get_route(im4, 0, 0, (u8 *)ip4_prefix, ip4_prefix_len)) {
203     clib_warning("IPv4 route already defined: %U/%d", format_ip4_address, ip4_prefix, ip4_prefix_len);
204     pool_put(mm->domains, d);
205     return -1;
206   }
207     
208   /* Create ip4 adjacency */
209   memset(&args4, 0, sizeof(args4));
210   args4.table_index_or_table_id = 0;
211   args4.flags = IP4_ROUTE_FLAG_ADD;
212   args4.dst_address.as_u32 = ip4_prefix->as_u32;
213   args4.dst_address_length = ip4_prefix_len;
214
215   args4.adj_index = ~0;
216   args4.add_adj = &adj;
217   args4.n_add_adj = 1;
218   ip4_add_del_route(im4, &args4);
219
220   /* Multiple MAP domains may share same source IPv6 TEP */
221   u32 ai = ip6_get_route(im6, 0, 0, ip6_src, ip6_src_len);
222   if (ai > 0) {
223     ip_lookup_main_t *lm6 = &ip6_main.lookup_main;
224     ip_adjacency_t *adj6 = ip_get_adjacency(lm6, ai);
225     if (adj6->lookup_next_index != IP_LOOKUP_NEXT_MAP &&
226         adj6->lookup_next_index != IP_LOOKUP_NEXT_MAP_T) {
227       clib_warning("BR source address already assigned: %U", format_ip6_address, ip6_src);
228       pool_put(mm->domains, d);
229       return -1;
230     }
231     /* Shared source */
232     p = (uword *)&adj6->rewrite_data[0];
233     p[0] = ~0;
234
235     /* Add refcount, so we don't accidentially delete the route underneath someone */
236     p[1]++;
237   } else {
238     /* Create ip6 adjacency. */
239     memset(&args6, 0, sizeof(args6));
240     args6.table_index_or_table_id = 0;
241     args6.flags = IP6_ROUTE_FLAG_ADD;
242     args6.dst_address.as_u64[0] = ip6_src->as_u64[0];
243     args6.dst_address.as_u64[1] = ip6_src->as_u64[1];
244     args6.dst_address_length = ip6_src_len;
245     args6.adj_index = ~0;
246     args6.add_adj = &adj;
247     args6.n_add_adj = 1;
248     ip6_add_del_route(im6, &args6);
249   }
250
251   /* Validate packet/byte counters */
252   map_domain_counter_lock(mm);
253   int i;
254   for (i = 0; i < vec_len(mm->simple_domain_counters); i++) {
255     vlib_validate_simple_counter(&mm->simple_domain_counters[i], *map_domain_index);
256     vlib_zero_simple_counter(&mm->simple_domain_counters[i], *map_domain_index);
257   }
258   for (i = 0; i < vec_len(mm->domain_counters); i++) {
259     vlib_validate_combined_counter(&mm->domain_counters[i], *map_domain_index);
260     vlib_zero_combined_counter(&mm->domain_counters[i], *map_domain_index);
261   }
262   map_domain_counter_unlock(mm);
263
264   return 0;
265 }
266
267 /*
268  * map_delete_domain
269  */
270 int
271 map_delete_domain (u32 map_domain_index)
272 {
273   map_main_t *mm = &map_main;
274   ip4_main_t *im4 = &ip4_main;
275   ip6_main_t *im6 = &ip6_main;
276   map_domain_t *d;
277   ip_adjacency_t adj;
278   ip4_add_del_route_args_t args4;
279   ip6_add_del_route_args_t args6;
280
281   if (pool_is_free_index(mm->domains, map_domain_index)) {
282     clib_warning("MAP domain delete: domain does not exist: %d", map_domain_index);
283     return -1;
284   }
285
286   d = pool_elt_at_index(mm->domains, map_domain_index);
287
288   memset(&adj, 0, sizeof(adj));
289   adj.explicit_fib_index = ~0;
290   adj.lookup_next_index = (d->flags & MAP_DOMAIN_TRANSLATION) ? IP_LOOKUP_NEXT_MAP_T : IP_LOOKUP_NEXT_MAP;
291
292   /* Delete ip4 adjacency */
293   memset(&args4, 0, sizeof(args4));
294   args4.table_index_or_table_id = 0;
295   args4.flags = IP4_ROUTE_FLAG_DEL;
296   args4.dst_address.as_u32 = d->ip4_prefix.as_u32;
297   args4.dst_address_length = d->ip4_prefix_len;
298   args4.adj_index = 0;
299   args4.add_adj = &adj;
300   args4.n_add_adj = 0;
301   ip4_add_del_route(im4, &args4);
302
303   /* Delete ip6 adjacency */
304   u32 ai = ip6_get_route(im6, 0, 0, &d->ip6_src, d->ip6_src_len);
305   if (ai > 0) {
306     ip_lookup_main_t *lm6 = &ip6_main.lookup_main;
307     ip_adjacency_t *adj6 = ip_get_adjacency(lm6, ai);
308
309     uword *p = (uword *)&adj6->rewrite_data[0];
310     /* Delete route when no other domains use this source */
311     if (p[1] == 0) {
312       memset(&args6, 0, sizeof (args6));
313       args6.table_index_or_table_id = 0;
314       args6.flags = IP6_ROUTE_FLAG_DEL;
315       args6.dst_address.as_u64[0] = d->ip6_src.as_u64[0];
316       args6.dst_address.as_u64[1] = d->ip6_src.as_u64[1];
317       args6.dst_address_length = d->ip6_src_len;
318       args6.adj_index = 0;
319       args6.add_adj = &adj;
320       args6.n_add_adj = 0;
321       ip6_add_del_route(im6, &args6);
322     }
323     p[1]--;
324   }
325   /* Deleting rules */
326   if (d->rules)
327     clib_mem_free(d->rules);
328
329   pool_put(mm->domains, d);
330
331   return 0;
332 }
333
334 int
335 map_add_del_psid (u32 map_domain_index, u16 psid, ip6_address_t *tep,
336                   u8 is_add)
337 {
338   map_domain_t *d;
339   map_main_t *mm = &map_main;
340
341   if (pool_is_free_index(mm->domains, map_domain_index)) {
342     clib_warning("MAP rule: domain does not exist: %d", map_domain_index);
343     return -1;
344   }
345   d = pool_elt_at_index(mm->domains, map_domain_index);
346
347   /* Rules are only used in 1:1 independent case */
348   if (d->ea_bits_len > 0)
349     return (-1);
350
351   if (!d->rules) {
352     u32 l = (0x1 << d->psid_length) * sizeof(ip6_address_t);
353     d->rules = clib_mem_alloc_aligned(l, CLIB_CACHE_LINE_BYTES);
354     if (!d->rules) return -1;
355     memset(d->rules, 0, l);
356   }
357
358   if (psid >= (0x1 << d->psid_length)) {
359     clib_warning("MAP rule: PSID outside bounds: %d [%d]", psid, 0x1 << d->psid_length);
360     return -1;
361   }
362
363   if (is_add) {
364     d->rules[psid] = *tep;
365   } else {
366     memset(&d->rules[psid], 0, sizeof(ip6_address_t));
367   }
368   return 0;
369 }
370
371 #ifdef MAP_SKIP_IP6_LOOKUP
372 static void
373 map_pre_resolve (ip4_address_t *ip4, ip6_address_t *ip6)
374 {
375   map_main_t *mm = &map_main;
376   ip4_main_t *im4 = &ip4_main;
377   ip6_main_t *im6 = &ip6_main;
378
379   if (ip6->as_u64[0] != 0 || ip6->as_u64[1] != 0) {
380     mm->adj6_index = ip6_fib_lookup_with_table(im6, 0, ip6);
381     clib_warning("FIB lookup results in: %u", mm->adj6_index);
382   }
383   if (ip4->as_u32 != 0) {
384     mm->adj4_index = ip4_fib_lookup_with_table(im4, 0, ip4, 0);
385     clib_warning("FIB lookup results in: %u", mm->adj4_index);
386   }
387 }
388 #endif
389
390 static clib_error_t *
391 map_security_check_command_fn (vlib_main_t *vm,
392                                unformat_input_t *input,
393                                vlib_cli_command_t *cmd)
394 {
395   unformat_input_t _line_input, *line_input = &_line_input;
396   map_main_t *mm = &map_main;
397   /* Get a line of input. */
398   if (!unformat_user(input, unformat_line_input, line_input))
399     return 0;
400  
401   while (unformat_check_input(line_input) != UNFORMAT_END_OF_INPUT) {
402     if (unformat(line_input, "off"))
403       mm->sec_check = false;
404     else if (unformat(line_input, "on"))
405       mm->sec_check = true;
406     else
407       return clib_error_return(0, "unknown input `%U'",
408                                format_unformat_error, input);
409   }
410   unformat_free(line_input);
411   return 0;
412 }
413
414 static clib_error_t *
415 map_security_check_frag_command_fn (vlib_main_t *vm,
416                                     unformat_input_t *input,
417                                     vlib_cli_command_t *cmd)
418 {
419   unformat_input_t _line_input, *line_input = &_line_input;
420   map_main_t *mm = &map_main;
421   /* Get a line of input. */
422   if (!unformat_user(input, unformat_line_input, line_input))
423     return 0;
424  
425   while (unformat_check_input(line_input) != UNFORMAT_END_OF_INPUT) {
426     if (unformat(line_input, "off"))
427       mm->sec_check_frag = false;
428     else if (unformat(line_input, "on"))
429       mm->sec_check_frag = true;
430     else
431       return clib_error_return(0, "unknown input `%U'",
432                                format_unformat_error, input);
433   }
434   unformat_free(line_input);
435   return 0;
436 }
437
438 static clib_error_t *
439 map_add_domain_command_fn (vlib_main_t *vm,
440                            unformat_input_t *input,
441                            vlib_cli_command_t *cmd)
442 {
443   unformat_input_t _line_input, *line_input = &_line_input;
444   ip4_address_t ip4_prefix;
445   ip6_address_t ip6_prefix;
446   ip6_address_t ip6_src;
447   u32 ip6_prefix_len, ip4_prefix_len, map_domain_index, ip6_src_len;
448   u32 num_m_args = 0;
449   /* Optional arguments */
450   u32 ea_bits_len, psid_offset = 0, psid_length = 0;
451   u32 mtu = 0;
452   u8 flags = 0;
453   ip6_src_len = 128;
454
455   /* Get a line of input. */
456   if (!unformat_user(input, unformat_line_input, line_input))
457     return 0;
458  
459   while (unformat_check_input (line_input) != UNFORMAT_END_OF_INPUT) {
460     if (unformat(line_input, "ip4-pfx %U/%d", unformat_ip4_address, &ip4_prefix, &ip4_prefix_len))
461       num_m_args++;
462     else if (unformat(line_input, "ip6-pfx %U/%d", unformat_ip6_address, &ip6_prefix, &ip6_prefix_len))
463       num_m_args++;
464     else if (unformat(line_input, "ip6-src %U/%d", unformat_ip6_address, &ip6_src, &ip6_src_len))
465       num_m_args++;
466     else if (unformat(line_input, "ip6-src %U", unformat_ip6_address, &ip6_src))
467       num_m_args++;
468     else if (unformat(line_input, "ea-bits-len %d", &ea_bits_len))
469       num_m_args++;
470     else if (unformat(line_input, "psid-offset %d", &psid_offset))
471       num_m_args++;
472     else if (unformat(line_input, "psid-len %d", &psid_length))
473       num_m_args++;
474     else if (unformat(line_input, "mtu %d", &mtu))
475       num_m_args++;
476     else if (unformat(line_input, "map-t"))
477       flags |= MAP_DOMAIN_TRANSLATION;
478     else
479       return clib_error_return(0, "unknown input `%U'",
480                                format_unformat_error, input);
481   }
482   unformat_free(line_input);
483
484   if (num_m_args < 3)
485     return clib_error_return(0, "mandatory argument(s) missing");
486
487   map_create_domain(&ip4_prefix, ip4_prefix_len,
488                     &ip6_prefix, ip6_prefix_len, &ip6_src, ip6_src_len,
489                     ea_bits_len, psid_offset, psid_length, &map_domain_index,
490                     mtu, flags);
491
492   return 0;
493 }
494
495 static clib_error_t *
496 map_del_domain_command_fn (vlib_main_t *vm,
497                            unformat_input_t *input,
498                            vlib_cli_command_t *cmd)
499 {
500   unformat_input_t _line_input, *line_input = &_line_input;
501   u32 num_m_args = 0;
502   u32 map_domain_index;
503
504   /* Get a line of input. */
505   if (! unformat_user(input, unformat_line_input, line_input))
506     return 0;
507  
508   while (unformat_check_input(line_input) != UNFORMAT_END_OF_INPUT) {
509     if (unformat(line_input, "index %d", &map_domain_index))
510       num_m_args++;
511     else
512       return clib_error_return(0, "unknown input `%U'",
513                                 format_unformat_error, input);
514   }
515   unformat_free(line_input);
516
517   if (num_m_args != 1)
518     return clib_error_return(0, "mandatory argument(s) missing");
519
520   map_delete_domain(map_domain_index);
521
522   return 0;
523 }
524
525 static clib_error_t *
526 map_add_rule_command_fn (vlib_main_t *vm,
527                          unformat_input_t *input,
528                          vlib_cli_command_t *cmd)
529 {
530   unformat_input_t _line_input, *line_input = &_line_input;
531   ip6_address_t tep;
532   u32 num_m_args = 0;
533   u32 psid, map_domain_index;
534     
535   /* Get a line of input. */
536   if (! unformat_user(input, unformat_line_input, line_input))
537     return 0;
538
539   while (unformat_check_input(line_input) != UNFORMAT_END_OF_INPUT) {
540     if (unformat(line_input, "index %d", &map_domain_index))
541       num_m_args++;
542     else if (unformat(line_input, "psid %d", &psid))
543       num_m_args++;
544     else if (unformat(line_input, "ip6-dst %U", unformat_ip6_address, &tep))
545       num_m_args++;
546     else
547       return clib_error_return(0, "unknown input `%U'",
548                                format_unformat_error, input);
549   }
550   unformat_free(line_input);
551
552   if (num_m_args != 3)
553     return clib_error_return(0, "mandatory argument(s) missing");
554
555   if (map_add_del_psid(map_domain_index, psid, &tep, 1) != 0) {
556     return clib_error_return(0, "Failing to add Mapping Rule");
557   }
558   return 0;
559 }
560
561 #if MAP_SKIP_IP6_LOOKUP
562 static clib_error_t *
563 map_pre_resolve_command_fn (vlib_main_t *vm,
564                             unformat_input_t *input,
565                             vlib_cli_command_t *cmd)
566 {
567   unformat_input_t _line_input, *line_input = &_line_input;
568   ip4_address_t ip4nh;
569   ip6_address_t ip6nh;
570   map_main_t *mm = &map_main;
571
572   memset(&ip4nh, 0, sizeof(ip4nh));
573   memset(&ip6nh, 0, sizeof(ip6nh));
574
575   /* Get a line of input. */
576   if (!unformat_user(input, unformat_line_input, line_input))
577     return 0;
578  
579   while (unformat_check_input(line_input) != UNFORMAT_END_OF_INPUT) {
580     if (unformat(line_input, "ip4-nh %U", unformat_ip4_address, &ip4nh))
581       mm->preresolve_ip4 = ip4nh;
582     else if (unformat(line_input, "ip6-nh %U", unformat_ip6_address, &ip6nh))
583       mm->preresolve_ip6 = ip6nh;
584     else
585       return clib_error_return(0, "unknown input `%U'",
586                                format_unformat_error, input);
587   }
588   unformat_free(line_input);
589
590   map_pre_resolve(&ip4nh, &ip6nh);
591
592   return 0;
593 }
594 #endif
595
596 static clib_error_t *
597 map_icmp_relay_source_address_command_fn (vlib_main_t *vm,
598                                           unformat_input_t *input,
599                                           vlib_cli_command_t *cmd)
600 {
601   unformat_input_t _line_input, *line_input = &_line_input;
602   ip4_address_t icmp_src_address;
603   map_main_t *mm = &map_main;
604
605   memset(&icmp_src_address, 0, sizeof(icmp_src_address));
606
607
608   /* Get a line of input. */
609   if (!unformat_user(input, unformat_line_input, line_input))
610     return 0;
611  
612   while (unformat_check_input(line_input) != UNFORMAT_END_OF_INPUT) {
613     if (unformat(line_input, "%U", unformat_ip4_address, &icmp_src_address))
614       mm->icmp_src_address = icmp_src_address;
615     else
616       return clib_error_return(0, "unknown input `%U'",
617                                format_unformat_error, input);
618   }
619   unformat_free(line_input);
620
621   return 0;
622 }
623
624 static clib_error_t *
625 map_traffic_class_command_fn (vlib_main_t *vm,
626                               unformat_input_t *input,
627                               vlib_cli_command_t *cmd)
628 {
629   unformat_input_t _line_input, *line_input = &_line_input;
630   map_main_t *mm = &map_main;
631   u32 tc = 0;
632
633   mm->tc_copy = false;
634
635   /* Get a line of input. */
636   if (!unformat_user(input, unformat_line_input, line_input))
637     return 0;
638  
639   while (unformat_check_input(line_input) != UNFORMAT_END_OF_INPUT) {
640     if (unformat(line_input, "copy"))
641       mm->tc_copy = true;
642     else if (unformat(line_input, "%x", &tc))
643       mm->tc = tc & 0xff;
644     else
645       return clib_error_return(0, "unknown input `%U'",
646                                format_unformat_error, input);
647   }
648   unformat_free(line_input);
649
650   return 0;
651 }
652
653 static u8 *
654 format_map_domain (u8 *s, va_list *args)
655 {
656   map_domain_t *d = va_arg(*args, map_domain_t *);
657   bool counters = va_arg(*args, int);
658   map_main_t *mm = &map_main;
659   ip6_address_t ip6_prefix;
660
661   if (d->rules)
662     memset(&ip6_prefix, 0, sizeof(ip6_prefix));
663   else
664     ip6_prefix = d->ip6_prefix;
665   
666   s = format(s,
667              "[%d] ip4-pfx %U/%d ip6-pfx %U/%d ip6-src %U/%d ea_bits_len %d psid-offset %d psid-len %d mtu %d %s",
668              d - mm->domains,
669              format_ip4_address, &d->ip4_prefix, d->ip4_prefix_len,
670              format_ip6_address, &ip6_prefix, d->ip6_prefix_len,
671              format_ip6_address, &d->ip6_src, d->ip6_src_len,
672              d->ea_bits_len, d->psid_offset, d->psid_length, d->mtu,
673              (d->flags & MAP_DOMAIN_TRANSLATION) ? "map-t" : "");
674
675   if (counters) {
676     map_domain_counter_lock(mm);
677     vlib_counter_t v;
678     vlib_get_combined_counter(&mm->domain_counters[MAP_DOMAIN_COUNTER_TX], d - mm->domains, &v);
679     s = format(s, "  TX: %lld/%lld", v.packets, v.bytes);
680     vlib_get_combined_counter(&mm->domain_counters[MAP_DOMAIN_COUNTER_RX], d - mm->domains, &v);
681     s = format(s, "  RX: %lld/%lld", v.packets, v.bytes);
682     map_domain_counter_unlock(mm);
683   }
684   s = format(s, "\n");
685
686   if (d->rules) {
687     int i;
688     ip6_address_t dst;
689     for (i = 0; i < (0x1 << d->psid_length); i++) {
690       dst = d->rules[i];
691       if (dst.as_u64[0] == 0 && dst.as_u64[1] == 0 )
692         continue;
693       s = format(s,
694                  " rule psid: %d ip6-dst %U\n", i, format_ip6_address, &dst);
695     }
696   }
697   return s;
698 }
699
700 static u8 *
701 format_map_ip4_reass (u8 *s, va_list *args)
702 {
703   map_main_t *mm = &map_main;
704   map_ip4_reass_t *r = va_arg(*args, map_ip4_reass_t *);
705   map_ip4_reass_key_t *k = &r->key;
706   f64 now = vlib_time_now(mm->vlib_main);
707   f64 lifetime = (((f64)mm->ip4_reass_conf_lifetime_ms) / 1000);
708   f64 dt = (r->ts + lifetime > now) ? (r->ts + lifetime - now) : -1;
709   s = format(s,
710              "ip4-reass src=%U  dst=%U  protocol=%d  identifier=%d  port=%d  lifetime=%.3lf\n",
711              format_ip4_address, &k->src.as_u8, format_ip4_address, &k->dst.as_u8,
712              k->protocol, clib_net_to_host_u16(k->fragment_id), (r->port >= 0)?clib_net_to_host_u16(r->port):-1, dt);
713   return s;
714 }
715
716 static u8 *
717 format_map_ip6_reass (u8 *s, va_list *args)
718 {
719   map_main_t *mm = &map_main;
720   map_ip6_reass_t *r = va_arg(*args, map_ip6_reass_t *);
721   map_ip6_reass_key_t *k = &r->key;
722   f64 now = vlib_time_now(mm->vlib_main);
723   f64 lifetime = (((f64)mm->ip6_reass_conf_lifetime_ms) / 1000);
724   f64 dt = (r->ts + lifetime > now) ? (r->ts + lifetime - now) : -1;
725   s = format(s,
726              "ip6-reass src=%U  dst=%U  protocol=%d  identifier=%d  lifetime=%.3lf\n",
727              format_ip6_address, &k->src.as_u8, format_ip6_address, &k->dst.as_u8,
728              k->protocol, clib_net_to_host_u32(k->fragment_id), dt);
729   return s;
730 }
731
732 static clib_error_t *
733 show_map_domain_command_fn (vlib_main_t *vm, unformat_input_t *input, vlib_cli_command_t *cmd)
734 {
735   unformat_input_t _line_input, *line_input = &_line_input;
736   map_main_t *mm = &map_main;
737   map_domain_t *d;
738   bool counters = false;
739   u32 map_domain_index = ~0;
740
741   /* Get a line of input. */
742   if (!unformat_user(input, unformat_line_input, line_input))
743     return 0;
744  
745   while (unformat_check_input(line_input) != UNFORMAT_END_OF_INPUT) {
746     if (unformat(line_input, "counters"))
747       counters = true;
748     else if (unformat(line_input, "index %d", &map_domain_index))
749       ;
750     else
751       return clib_error_return(0, "unknown input `%U'",
752                                format_unformat_error, input);
753   }
754   unformat_free(line_input);
755
756   if (pool_elts(mm->domains) == 0)
757     vlib_cli_output(vm, "No MAP domains are configured...");
758
759   if (map_domain_index == ~0) {
760     pool_foreach(d, mm->domains, ({vlib_cli_output(vm, "%U", format_map_domain, d, counters);}));
761   } else {
762     if (pool_is_free_index(mm->domains, map_domain_index)) {
763       return clib_error_return(0, "MAP domain does not exists %d", map_domain_index);
764     }
765
766     d = pool_elt_at_index(mm->domains, map_domain_index);
767     vlib_cli_output(vm, "%U", format_map_domain, d, counters);
768   }
769
770   return 0;
771 }
772
773 static clib_error_t *
774 show_map_fragments_command_fn (vlib_main_t *vm, unformat_input_t *input, vlib_cli_command_t *cmd)
775 {
776   map_main_t *mm = &map_main;
777   map_ip4_reass_t *f4;
778   map_ip6_reass_t *f6;
779
780   pool_foreach(f4, mm->ip4_reass_pool, ({vlib_cli_output (vm, "%U", format_map_ip4_reass, f4);}));
781   pool_foreach(f6, mm->ip6_reass_pool, ({vlib_cli_output (vm, "%U", format_map_ip6_reass, f6);}));
782   return (0);
783 }
784
785 u64
786 map_error_counter_get (u32 node_index, map_error_t map_error)
787 {
788   vlib_main_t *vm = vlib_get_main();
789   vlib_node_runtime_t *error_node = vlib_node_get_runtime(vm, node_index);
790   vlib_error_main_t *em = &vm->error_main;
791   vlib_error_t e = error_node->errors[map_error];
792   vlib_node_t *n = vlib_get_node(vm, node_index);
793   u32 ci;
794
795   ci = vlib_error_get_code(e);
796   ASSERT (ci < n->n_errors);
797   ci += n->error_heap_index;
798
799   return (em->counters[ci]);
800 }
801
802 static clib_error_t *
803 show_map_stats_command_fn (vlib_main_t *vm, unformat_input_t *input, vlib_cli_command_t *cmd)
804 {
805   map_main_t *mm = &map_main;
806   map_domain_t *d;
807   int domains = 0, rules = 0, domaincount = 0, rulecount = 0;
808   if (pool_elts (mm->domains) == 0)
809     vlib_cli_output(vm, "No MAP domains are configured...");
810
811   pool_foreach(d, mm->domains, ({
812     if (d->rules) {
813       rulecount+= 0x1 << d->psid_length;
814       rules += sizeof(ip6_address_t) * 0x1 << d->psid_length;
815     }
816     domains += sizeof(*d);
817     domaincount++;
818   }));
819
820   vlib_cli_output(vm, "MAP domains structure: %d\n", sizeof (map_domain_t));
821   vlib_cli_output(vm, "MAP domains: %d (%d bytes)\n", domaincount, domains);
822   vlib_cli_output(vm, "MAP rules: %d (%d bytes)\n", rulecount, rules);
823   vlib_cli_output(vm, "Total: %d bytes)\n", rules + domains);
824
825 #if MAP_SKIP_IP6_LOOKUP
826   vlib_cli_output(vm, "MAP pre-resolve: IP6 next-hop: %U (%u), IP4 next-hop: %U (%u)\n",
827                   format_ip6_address, &mm->preresolve_ip6, mm->adj6_index,
828                   format_ip4_address, &mm->preresolve_ip4, mm->adj4_index);
829 #endif
830
831   if (mm->tc_copy)
832     vlib_cli_output(vm, "MAP traffic-class: copy");
833   else
834     vlib_cli_output(vm, "MAP traffic-class: %x", mm->tc);
835
836   vlib_cli_output(vm, "MAP IPv6 inbound security check: %s Fragments: %s", mm->sec_check ? "enabled" : "disabled",
837                   mm->sec_check_frag ? "enabled" : "disabled");
838
839
840   /*
841    * Counters
842    */
843   vlib_combined_counter_main_t *cm = mm->domain_counters;
844   u64 total_pkts[MAP_N_DOMAIN_COUNTER];
845   u64 total_bytes[MAP_N_DOMAIN_COUNTER];
846   int which, i;
847   vlib_counter_t v;
848
849   memset (total_pkts, 0, sizeof (total_pkts));
850   memset (total_bytes, 0, sizeof (total_bytes));
851
852   map_domain_counter_lock (mm);
853   vec_foreach (cm, mm->domain_counters) {
854     which = cm - mm->domain_counters;
855
856     for (i = 0; i < vec_len (cm->maxi); i++) {
857       vlib_get_combined_counter (cm, i, &v);
858       total_pkts[which] += v.packets;
859       total_bytes[which] += v.bytes;
860     }
861   }
862   map_domain_counter_unlock (mm);
863
864   vlib_cli_output(vm, "Encapsulated packets: %d bytes: %d\n", total_pkts[MAP_DOMAIN_COUNTER_TX],
865                   total_bytes[MAP_DOMAIN_COUNTER_TX]);
866   vlib_cli_output(vm, "Decapsulated packets: %d bytes: %d\n", total_pkts[MAP_DOMAIN_COUNTER_RX],
867                   total_bytes[MAP_DOMAIN_COUNTER_RX]);
868
869   vlib_cli_output(vm, "ICMP relayed packets: %d\n", vlib_get_simple_counter(&mm->icmp_relayed, 0));
870
871   return 0;
872 }
873
874 static clib_error_t *
875 map_params_reass_command_fn (vlib_main_t *vm, unformat_input_t *input, vlib_cli_command_t *cmd)
876 {
877   unformat_input_t _line_input, *line_input = &_line_input;
878   u32 lifetime = ~0;
879   f64 ht_ratio = (MAP_IP4_REASS_CONF_HT_RATIO_MAX+1);
880   u32 pool_size = ~0;
881   u64 buffers = ~(0ull);
882   u8 ip4 = 0, ip6 = 0;
883
884   if (!unformat_user(input, unformat_line_input, line_input))
885       return 0;
886
887   while (unformat_check_input(line_input) != UNFORMAT_END_OF_INPUT) {
888     if (!unformat(line_input, "lifetime %u", &lifetime) &&
889         !unformat(line_input, "ht-ratio %lf", &ht_ratio) &&
890         !unformat(line_input, "pool-size %u", &pool_size) &&
891         !unformat(line_input, "buffers %llu", &buffers) &&
892         !((unformat(line_input, "ip4")) && (ip4 = 1)) &&
893         !((unformat(line_input, "ip6")) && (ip6 = 1))) {
894       unformat_free(line_input);
895       return clib_error_return(0, "invalid input");
896     }
897   }
898   unformat_free(line_input);
899
900   if (!ip4 && !ip6)
901     return clib_error_return(0, "must specify ip4 and/or ip6");
902
903   if (ip4) {
904     if (pool_size != ~0 && pool_size > MAP_IP4_REASS_CONF_POOL_SIZE_MAX)
905       return clib_error_return(0, "invalid ip4-reass pool-size ( > %d)", MAP_IP4_REASS_CONF_POOL_SIZE_MAX);
906     if (ht_ratio != (MAP_IP4_REASS_CONF_HT_RATIO_MAX+1) && ht_ratio > MAP_IP4_REASS_CONF_HT_RATIO_MAX)
907       return clib_error_return(0, "invalid ip4-reass ht-ratio ( > %d)", MAP_IP4_REASS_CONF_HT_RATIO_MAX);
908     if (lifetime != ~0 && lifetime > MAP_IP4_REASS_CONF_LIFETIME_MAX)
909       return clib_error_return(0, "invalid ip4-reass lifetime ( > %d)", MAP_IP4_REASS_CONF_LIFETIME_MAX);
910     if (buffers != ~(0ull) && buffers > MAP_IP4_REASS_CONF_BUFFERS_MAX)
911       return clib_error_return(0, "invalid ip4-reass buffers ( > %ld)", MAP_IP4_REASS_CONF_BUFFERS_MAX);
912   }
913
914   if (ip6) {
915     if (pool_size != ~0 && pool_size > MAP_IP6_REASS_CONF_POOL_SIZE_MAX)
916       return clib_error_return(0, "invalid ip6-reass pool-size ( > %d)", MAP_IP6_REASS_CONF_POOL_SIZE_MAX);
917     if (ht_ratio != (MAP_IP4_REASS_CONF_HT_RATIO_MAX+1) && ht_ratio > MAP_IP6_REASS_CONF_HT_RATIO_MAX)
918       return clib_error_return(0, "invalid ip6-reass ht-log2len ( > %d)", MAP_IP6_REASS_CONF_HT_RATIO_MAX);
919     if (lifetime != ~0 && lifetime > MAP_IP6_REASS_CONF_LIFETIME_MAX)
920       return clib_error_return(0, "invalid ip6-reass lifetime ( > %d)", MAP_IP6_REASS_CONF_LIFETIME_MAX);
921     if (buffers != ~(0ull) && buffers > MAP_IP6_REASS_CONF_BUFFERS_MAX)
922       return clib_error_return(0, "invalid ip6-reass buffers ( > %ld)", MAP_IP6_REASS_CONF_BUFFERS_MAX);
923   }
924
925   if (ip4) {
926     u32 reass = 0, packets = 0;
927     if (pool_size != ~0) {
928       if (map_ip4_reass_conf_pool_size(pool_size, &reass, &packets)) {
929         vlib_cli_output(vm, "Could not set ip4-reass pool-size");
930       } else {
931         vlib_cli_output(vm, "Setting ip4-reass pool-size (destroyed-reassembly=%u , dropped-fragments=%u)", reass, packets);
932       }
933     }
934     if (ht_ratio != (MAP_IP4_REASS_CONF_HT_RATIO_MAX+1)) {
935       if (map_ip4_reass_conf_ht_ratio(ht_ratio, &reass, &packets)) {
936         vlib_cli_output(vm, "Could not set ip4-reass ht-log2len");
937       } else {
938         vlib_cli_output(vm, "Setting ip4-reass ht-log2len (destroyed-reassembly=%u , dropped-fragments=%u)", reass, packets);
939       }
940     }
941     if (lifetime != ~0) {
942       if (map_ip4_reass_conf_lifetime(lifetime))
943         vlib_cli_output(vm, "Could not set ip4-reass lifetime");
944       else
945         vlib_cli_output(vm, "Setting ip4-reass lifetime");
946     }
947     if (buffers != ~(0ull)) {
948       if (map_ip4_reass_conf_buffers(buffers))
949         vlib_cli_output(vm, "Could not set ip4-reass buffers");
950       else
951         vlib_cli_output(vm, "Setting ip4-reass buffers");
952     }
953
954     if (map_main.ip4_reass_conf_buffers >
955       map_main.ip4_reass_conf_pool_size * MAP_IP4_REASS_MAX_FRAGMENTS_PER_REASSEMBLY) {
956       vlib_cli_output(vm, "Note: 'ip4-reass buffers' > pool-size * max-fragments-per-reassembly.");
957     }
958   }
959
960   if (ip6) {
961     u32 reass = 0, packets = 0;
962     if (pool_size != ~0) {
963       if (map_ip6_reass_conf_pool_size(pool_size, &reass, &packets)) {
964         vlib_cli_output(vm, "Could not set ip6-reass pool-size");
965       } else {
966         vlib_cli_output(vm, "Setting ip6-reass pool-size (destroyed-reassembly=%u , dropped-fragments=%u)", reass, packets);
967       }
968     }
969     if (ht_ratio != (MAP_IP4_REASS_CONF_HT_RATIO_MAX+1)) {
970       if (map_ip6_reass_conf_ht_ratio(ht_ratio, &reass, &packets)) {
971         vlib_cli_output(vm, "Could not set ip6-reass ht-log2len");
972       } else {
973         vlib_cli_output(vm, "Setting ip6-reass ht-log2len (destroyed-reassembly=%u , dropped-fragments=%u)", reass, packets);
974       }
975     }
976     if (lifetime != ~0) {
977       if (map_ip6_reass_conf_lifetime(lifetime))
978         vlib_cli_output(vm, "Could not set ip6-reass lifetime");
979       else
980         vlib_cli_output(vm, "Setting ip6-reass lifetime");
981     }
982     if (buffers != ~(0ull)) {
983       if (map_ip6_reass_conf_buffers(buffers))
984         vlib_cli_output(vm, "Could not set ip6-reass buffers");
985       else
986         vlib_cli_output(vm, "Setting ip6-reass buffers");
987     }
988
989     if (map_main.ip6_reass_conf_buffers >
990         map_main.ip6_reass_conf_pool_size * MAP_IP6_REASS_MAX_FRAGMENTS_PER_REASSEMBLY) {
991       vlib_cli_output(vm, "Note: 'ip6-reass buffers' > pool-size * max-fragments-per-reassembly.");
992     }
993   }
994
995   return 0;
996 }
997
998
999 /*
1000  * packet trace format function
1001  */
1002 u8 *
1003 format_map_trace (u8 *s, va_list *args)
1004 {
1005   CLIB_UNUSED(vlib_main_t *vm) = va_arg (*args, vlib_main_t *);
1006   CLIB_UNUSED(vlib_node_t *node) = va_arg (*args, vlib_node_t *);
1007   map_trace_t *t = va_arg (*args, map_trace_t *);
1008   u32 map_domain_index = t->map_domain_index;
1009   u16 port = t->port;
1010
1011   s = format(s, "MAP domain index: %d L4 port: %u", map_domain_index, clib_net_to_host_u16(port));
1012
1013   return s;
1014 }
1015
1016 static_always_inline map_ip4_reass_t *
1017 map_ip4_reass_lookup(map_ip4_reass_key_t *k, u32 bucket, f64 now)
1018 {
1019   map_main_t *mm = &map_main;
1020   u32 ri = mm->ip4_reass_hash_table[bucket];
1021   while(ri != MAP_REASS_INDEX_NONE) {
1022     map_ip4_reass_t * r = pool_elt_at_index(mm->ip4_reass_pool, ri);
1023     if (r->key.as_u64[0] == k->as_u64[0] &&
1024         r->key.as_u64[1] == k->as_u64[1] &&
1025         now < r->ts + (((f64)mm->ip4_reass_conf_lifetime_ms) / 1000)) {
1026       return r;
1027     }
1028     ri = r->bucket_next;
1029   }
1030   return NULL;
1031 }
1032
1033 #define map_ip4_reass_pool_index(r) (r - map_main.ip4_reass_pool)
1034
1035 void
1036 map_ip4_reass_free(map_ip4_reass_t *r, u32 **pi_to_drop)
1037 {
1038   map_main_t *mm = &map_main;
1039   map_ip4_reass_get_fragments(r, pi_to_drop);
1040
1041   // Unlink in hash bucket
1042   map_ip4_reass_t *r2 = NULL;
1043   u32 r2i = mm->ip4_reass_hash_table[r->bucket];
1044   while (r2i != map_ip4_reass_pool_index(r)) {
1045     ASSERT(r2i != MAP_REASS_INDEX_NONE);
1046     r2 = pool_elt_at_index(mm->ip4_reass_pool, r2i);
1047     r2i = r2->bucket_next;
1048   }
1049   if (r2) {
1050     r2->bucket_next = r->bucket_next;
1051   } else {
1052     mm->ip4_reass_hash_table[r->bucket] = r->bucket_next;
1053   }
1054
1055   // Unlink in list
1056   if (r->fifo_next == map_ip4_reass_pool_index(r)) {
1057     mm->ip4_reass_fifo_last = MAP_REASS_INDEX_NONE;
1058   } else {
1059     if(mm->ip4_reass_fifo_last == map_ip4_reass_pool_index(r))
1060       mm->ip4_reass_fifo_last = r->fifo_prev;
1061     pool_elt_at_index(mm->ip4_reass_pool, r->fifo_prev)->fifo_next = r->fifo_next;
1062     pool_elt_at_index(mm->ip4_reass_pool, r->fifo_next)->fifo_prev = r->fifo_prev;
1063   }
1064
1065   pool_put(mm->ip4_reass_pool, r);
1066   mm->ip4_reass_allocated--;
1067 }
1068
1069 map_ip4_reass_t *
1070 map_ip4_reass_get(u32 src, u32 dst, u16 fragment_id,
1071                   u8 protocol, u32 **pi_to_drop)
1072 {
1073   map_ip4_reass_t * r;
1074   map_main_t *mm = &map_main;
1075   map_ip4_reass_key_t k = {.src.data_u32 = src,
1076       .dst.data_u32 = dst,
1077       .fragment_id = fragment_id,
1078       .protocol = protocol };
1079
1080   u32 h = 0;
1081   h = crc_u32(k.as_u32[0], h);
1082   h = crc_u32(k.as_u32[1], h);
1083   h = crc_u32(k.as_u32[2], h);
1084   h = crc_u32(k.as_u32[3], h);
1085   h = h >> (32 - mm->ip4_reass_ht_log2len);
1086
1087   f64 now = vlib_time_now(mm->vlib_main);
1088
1089   //Cache garbage collection
1090   while (mm->ip4_reass_fifo_last != MAP_REASS_INDEX_NONE) {
1091     map_ip4_reass_t *last = pool_elt_at_index(mm->ip4_reass_pool, mm->ip4_reass_fifo_last);
1092     if (last->ts + (((f64)mm->ip4_reass_conf_lifetime_ms) / 1000) < now)
1093       map_ip4_reass_free(last, pi_to_drop);
1094     else
1095       break;
1096   }
1097
1098   if ((r = map_ip4_reass_lookup(&k, h, now)))
1099     return r;
1100
1101   if (mm->ip4_reass_allocated >= mm->ip4_reass_conf_pool_size)
1102     return NULL;
1103
1104   pool_get(mm->ip4_reass_pool, r);
1105   mm->ip4_reass_allocated++;
1106   int i;
1107   for (i=0; i<MAP_IP4_REASS_MAX_FRAGMENTS_PER_REASSEMBLY; i++)
1108     r->fragments[i] = ~0;
1109
1110   u32 ri = map_ip4_reass_pool_index(r);
1111
1112   //Link in new bucket
1113   r->bucket = h;
1114   r->bucket_next = mm->ip4_reass_hash_table[h];
1115   mm->ip4_reass_hash_table[h] = ri;
1116
1117   //Link in fifo
1118   if(mm->ip4_reass_fifo_last != MAP_REASS_INDEX_NONE) {
1119     r->fifo_next = pool_elt_at_index(mm->ip4_reass_pool, mm->ip4_reass_fifo_last)->fifo_next;
1120     r->fifo_prev = mm->ip4_reass_fifo_last;
1121     pool_elt_at_index(mm->ip4_reass_pool, r->fifo_prev)->fifo_next = ri;
1122     pool_elt_at_index(mm->ip4_reass_pool, r->fifo_next)->fifo_prev = ri;
1123   } else {
1124     r->fifo_next = r->fifo_prev = ri;
1125     mm->ip4_reass_fifo_last = ri;
1126   }
1127
1128   //Set other fields
1129   r->ts = now;
1130   r->key = k;
1131   r->port = -1;
1132 #ifdef MAP_IP4_REASS_COUNT_BYTES
1133   r->expected_total = 0xffff;
1134   r->forwarded = 0;
1135 #endif
1136
1137   return r;
1138 }
1139
1140 int
1141 map_ip4_reass_add_fragment(map_ip4_reass_t *r, u32 pi)
1142 {
1143   if (map_main.ip4_reass_buffered_counter >= map_main.ip4_reass_conf_buffers)
1144     return -1;
1145
1146   int i;
1147   for (i=0; i<MAP_IP4_REASS_MAX_FRAGMENTS_PER_REASSEMBLY; i++)
1148     if(r->fragments[i] == ~0) {
1149       r->fragments[i] = pi;
1150       map_main.ip4_reass_buffered_counter++;
1151       return 0;
1152     }
1153   return -1;
1154 }
1155
1156 static_always_inline map_ip6_reass_t *
1157 map_ip6_reass_lookup(map_ip6_reass_key_t *k, u32 bucket, f64 now)
1158 {
1159   map_main_t *mm = &map_main;
1160   u32 ri = mm->ip6_reass_hash_table[bucket];
1161   while(ri != MAP_REASS_INDEX_NONE) {
1162     map_ip6_reass_t * r = pool_elt_at_index(mm->ip6_reass_pool, ri);
1163     if(now < r->ts + (((f64)mm->ip6_reass_conf_lifetime_ms) / 1000) &&
1164         r->key.as_u64[0] == k->as_u64[0] &&
1165         r->key.as_u64[1] == k->as_u64[1] &&
1166         r->key.as_u64[2] == k->as_u64[2] &&
1167         r->key.as_u64[3] == k->as_u64[3] &&
1168         r->key.as_u64[4] == k->as_u64[4])
1169       return r;
1170     ri = r->bucket_next;
1171   }
1172   return NULL;
1173 }
1174
1175 #define map_ip6_reass_pool_index(r) (r - map_main.ip6_reass_pool)
1176
1177 void
1178 map_ip6_reass_free(map_ip6_reass_t *r, u32 **pi_to_drop)
1179 {
1180   map_main_t *mm = &map_main;
1181   int i;
1182   for (i=0; i<MAP_IP6_REASS_MAX_FRAGMENTS_PER_REASSEMBLY; i++)
1183     if(r->fragments[i].pi != ~0) {
1184       vec_add1(*pi_to_drop, r->fragments[i].pi);
1185       r->fragments[i].pi = ~0;
1186       map_main.ip6_reass_buffered_counter--;
1187     }
1188
1189   // Unlink in hash bucket
1190   map_ip6_reass_t *r2 = NULL;
1191   u32 r2i = mm->ip6_reass_hash_table[r->bucket];
1192   while (r2i != map_ip6_reass_pool_index(r)) {
1193     ASSERT(r2i != MAP_REASS_INDEX_NONE);
1194     r2 = pool_elt_at_index(mm->ip6_reass_pool, r2i);
1195     r2i = r2->bucket_next;
1196   }
1197   if (r2) {
1198     r2->bucket_next = r->bucket_next;
1199   } else {
1200     mm->ip6_reass_hash_table[r->bucket] = r->bucket_next;
1201   }
1202
1203   // Unlink in list
1204   if (r->fifo_next == map_ip6_reass_pool_index(r)) {
1205     //Single element in the list, list is now empty
1206     mm->ip6_reass_fifo_last = MAP_REASS_INDEX_NONE;
1207   } else {
1208     if (mm->ip6_reass_fifo_last == map_ip6_reass_pool_index(r)) //First element
1209       mm->ip6_reass_fifo_last = r->fifo_prev;
1210     pool_elt_at_index(mm->ip6_reass_pool, r->fifo_prev)->fifo_next = r->fifo_next;
1211     pool_elt_at_index(mm->ip6_reass_pool, r->fifo_next)->fifo_prev = r->fifo_prev;
1212   }
1213
1214   // Free from pool if necessary
1215   pool_put(mm->ip6_reass_pool, r);
1216   mm->ip6_reass_allocated--;
1217 }
1218
1219 map_ip6_reass_t *
1220 map_ip6_reass_get(ip6_address_t *src, ip6_address_t *dst, u32 fragment_id,
1221                   u8 protocol, u32 **pi_to_drop)
1222 {
1223   map_ip6_reass_t * r;
1224   map_main_t *mm = &map_main;
1225   map_ip6_reass_key_t k = {
1226       .src = *src,
1227       .dst = *dst,
1228       .fragment_id = fragment_id,
1229       .protocol = protocol };
1230
1231   u32 h = 0;
1232   int i;
1233   for (i=0; i<10; i++)
1234     h = crc_u32(k.as_u32[i], h);
1235   h = h >> (32 - mm->ip6_reass_ht_log2len);
1236
1237   f64 now = vlib_time_now(mm->vlib_main);
1238
1239   //Cache garbage collection
1240   while (mm->ip6_reass_fifo_last != MAP_REASS_INDEX_NONE) {
1241     map_ip6_reass_t *last = pool_elt_at_index(mm->ip6_reass_pool, mm->ip6_reass_fifo_last);
1242     if (last->ts + (((f64)mm->ip6_reass_conf_lifetime_ms) / 1000) < now)
1243       map_ip6_reass_free(last, pi_to_drop);
1244     else
1245       break;
1246   }
1247
1248   if ((r = map_ip6_reass_lookup(&k, h, now)))
1249     return r;
1250
1251   if (mm->ip6_reass_allocated >= mm->ip6_reass_conf_pool_size)
1252     return NULL;
1253
1254   pool_get(mm->ip6_reass_pool, r);
1255   mm->ip6_reass_allocated++;
1256   for (i=0; i<MAP_IP6_REASS_MAX_FRAGMENTS_PER_REASSEMBLY; i++) {
1257     r->fragments[i].pi = ~0;
1258     r->fragments[i].next_data_len = 0;
1259     r->fragments[i].next_data_offset = 0;
1260   }
1261
1262   u32 ri = map_ip6_reass_pool_index(r);
1263
1264   //Link in new bucket
1265   r->bucket = h;
1266   r->bucket_next = mm->ip6_reass_hash_table[h];
1267   mm->ip6_reass_hash_table[h] = ri;
1268
1269   //Link in fifo
1270   if(mm->ip6_reass_fifo_last != MAP_REASS_INDEX_NONE) {
1271     r->fifo_next = pool_elt_at_index(mm->ip6_reass_pool, mm->ip6_reass_fifo_last)->fifo_next;
1272     r->fifo_prev = mm->ip6_reass_fifo_last;
1273     pool_elt_at_index(mm->ip6_reass_pool, r->fifo_prev)->fifo_next = ri;
1274     pool_elt_at_index(mm->ip6_reass_pool, r->fifo_next)->fifo_prev = ri;
1275   } else {
1276     r->fifo_next = r->fifo_prev = ri;
1277     mm->ip6_reass_fifo_last = ri;
1278   }
1279
1280   //Set other fields
1281   r->ts = now;
1282   r->key = k;
1283   r->ip4_header.ip_version_and_header_length = 0;
1284 #ifdef MAP_IP6_REASS_COUNT_BYTES
1285   r->expected_total = 0xffff;
1286   r->forwarded = 0;
1287 #endif
1288   return r;
1289 }
1290
1291 int
1292 map_ip6_reass_add_fragment(map_ip6_reass_t *r, u32 pi,
1293                            u16 data_offset, u16 next_data_offset,
1294                            u8 *data_start, u16 data_len)
1295 {
1296   map_ip6_fragment_t *f = NULL, *prev_f = NULL;
1297   u16 copied_len = (data_len > 20) ? 20 : data_len;
1298
1299   if (map_main.ip6_reass_buffered_counter >= map_main.ip6_reass_conf_buffers)
1300     return -1;
1301
1302   //Lookup for fragments for the current buffer
1303   //and the one before that
1304   int i;
1305   for (i=0; i<MAP_IP6_REASS_MAX_FRAGMENTS_PER_REASSEMBLY; i++) {
1306     if (data_offset && r->fragments[i].next_data_offset == data_offset) {
1307       prev_f = &r->fragments[i]; // This is buffer for previous packet
1308     } else if (r->fragments[i].next_data_offset == next_data_offset) {
1309       f = &r->fragments[i]; // This is a buffer for the current packet
1310     } else if (r->fragments[i].next_data_offset == 0) { //Available
1311       if (f == NULL)
1312         f = &r->fragments[i];
1313       else if (prev_f == NULL)
1314         prev_f = &r->fragments[i];
1315     }
1316   }
1317
1318   if (!f || f->pi != ~0)
1319     return -1;
1320
1321   if (data_offset) {
1322     if (!prev_f)
1323       return -1;
1324
1325     memcpy(prev_f->next_data, data_start, copied_len);
1326     prev_f->next_data_len = copied_len;
1327     prev_f->next_data_offset = data_offset;
1328   } else {
1329     if (((ip4_header_t *)data_start)->ip_version_and_header_length != 0x45)
1330       return -1;
1331
1332     if (r->ip4_header.ip_version_and_header_length == 0)
1333       memcpy(&r->ip4_header, data_start, sizeof(ip4_header_t));
1334   }
1335
1336   if(data_len > 20) {
1337     f->next_data_offset = next_data_offset;
1338     f->pi = pi;
1339     map_main.ip6_reass_buffered_counter++;
1340   }
1341   return 0;
1342 }
1343
1344 void map_ip4_reass_reinit(u32 *trashed_reass, u32 *dropped_packets)
1345 {
1346   map_main_t *mm = &map_main;
1347   int i;
1348
1349   if(dropped_packets)
1350     *dropped_packets = mm->ip4_reass_buffered_counter;
1351   if(trashed_reass)
1352     *trashed_reass = mm->ip4_reass_allocated;
1353   if (mm->ip4_reass_fifo_last != MAP_REASS_INDEX_NONE) {
1354     u16 ri = mm->ip4_reass_fifo_last;
1355     do {
1356       map_ip4_reass_t *r = pool_elt_at_index(mm->ip4_reass_pool, ri);
1357       for (i=0; i<MAP_IP4_REASS_MAX_FRAGMENTS_PER_REASSEMBLY; i++)
1358         if (r->fragments[i] != ~0)
1359           map_ip4_drop_pi(r->fragments[i]);
1360
1361       ri = r->fifo_next;
1362       pool_put(mm->ip4_reass_pool, r);
1363     } while (ri != mm->ip4_reass_fifo_last);
1364   }
1365
1366   vec_free(mm->ip4_reass_hash_table);
1367   vec_resize(mm->ip4_reass_hash_table, 1 << mm->ip4_reass_ht_log2len);
1368   for (i=0; i<(1 << mm->ip4_reass_ht_log2len); i++)
1369     mm->ip4_reass_hash_table[i] = MAP_REASS_INDEX_NONE;
1370   pool_free(mm->ip4_reass_pool);
1371   pool_alloc(mm->ip4_reass_pool, mm->ip4_reass_conf_pool_size);
1372
1373   mm->ip4_reass_allocated = 0;
1374   mm->ip4_reass_fifo_last = MAP_REASS_INDEX_NONE;
1375   mm->ip4_reass_buffered_counter = 0;
1376 }
1377
1378 u8 map_get_ht_log2len(f32 ht_ratio, u16 pool_size)
1379 {
1380   u32 desired_size = (u32)(pool_size * ht_ratio);
1381   u8 i;
1382   for (i=1; i<31; i++)
1383     if ((1 << i) >= desired_size)
1384       return i;
1385   return 4;
1386 }
1387
1388 int map_ip4_reass_conf_ht_ratio(f32 ht_ratio, u32 *trashed_reass, u32 *dropped_packets)
1389 {
1390   map_main_t *mm = &map_main;
1391   if (ht_ratio > MAP_IP4_REASS_CONF_HT_RATIO_MAX)
1392     return -1;
1393
1394   map_ip4_reass_lock();
1395   mm->ip4_reass_conf_ht_ratio = ht_ratio;
1396   mm->ip4_reass_ht_log2len = map_get_ht_log2len(ht_ratio, mm->ip4_reass_conf_pool_size);
1397   map_ip4_reass_reinit(trashed_reass, dropped_packets);
1398   map_ip4_reass_unlock();
1399   return 0;
1400 }
1401
1402 int map_ip4_reass_conf_pool_size(u16 pool_size, u32 *trashed_reass, u32 *dropped_packets)
1403 {
1404   map_main_t *mm = &map_main;
1405   if (pool_size > MAP_IP4_REASS_CONF_POOL_SIZE_MAX)
1406     return -1;
1407
1408   map_ip4_reass_lock();
1409   mm->ip4_reass_conf_pool_size = pool_size;
1410   map_ip4_reass_reinit(trashed_reass, dropped_packets);
1411   map_ip4_reass_unlock();
1412   return 0;
1413 }
1414
1415 int map_ip4_reass_conf_lifetime(u16 lifetime_ms)
1416 {
1417   map_main.ip4_reass_conf_lifetime_ms = lifetime_ms;
1418   return 0;
1419 }
1420
1421 int map_ip4_reass_conf_buffers(u32 buffers)
1422 {
1423   map_main.ip4_reass_conf_buffers = buffers;
1424   return 0;
1425 }
1426
1427 void map_ip6_reass_reinit(u32 *trashed_reass, u32 *dropped_packets)
1428 {
1429   map_main_t *mm = &map_main;
1430   if(dropped_packets)
1431     *dropped_packets = mm->ip6_reass_buffered_counter;
1432   if(trashed_reass)
1433     *trashed_reass = mm->ip6_reass_allocated;
1434   int i;
1435   if (mm->ip6_reass_fifo_last != MAP_REASS_INDEX_NONE) {
1436     u16 ri = mm->ip6_reass_fifo_last;
1437     do {
1438       map_ip6_reass_t *r = pool_elt_at_index(mm->ip6_reass_pool, ri);
1439       for (i=0; i<MAP_IP6_REASS_MAX_FRAGMENTS_PER_REASSEMBLY; i++)
1440         if (r->fragments[i].pi != ~0)
1441           map_ip6_drop_pi(r->fragments[i].pi);
1442
1443       ri = r->fifo_next;
1444       pool_put(mm->ip6_reass_pool, r);
1445     } while (ri != mm->ip6_reass_fifo_last);
1446     mm->ip6_reass_fifo_last = MAP_REASS_INDEX_NONE;
1447   }
1448
1449   vec_free(mm->ip6_reass_hash_table);
1450   vec_resize(mm->ip6_reass_hash_table, 1 << mm->ip6_reass_ht_log2len);
1451   for(i=0; i<(1 << mm->ip6_reass_ht_log2len); i++)
1452     mm->ip6_reass_hash_table[i] = MAP_REASS_INDEX_NONE;
1453   pool_free(mm->ip6_reass_pool);
1454   pool_alloc(mm->ip6_reass_pool, mm->ip4_reass_conf_pool_size);
1455
1456   mm->ip6_reass_allocated = 0;
1457   mm->ip6_reass_buffered_counter = 0;
1458 }
1459
1460 int map_ip6_reass_conf_ht_ratio(f32 ht_ratio, u32 *trashed_reass, u32 *dropped_packets)
1461 {
1462   map_main_t *mm = &map_main;
1463   if (ht_ratio > MAP_IP6_REASS_CONF_HT_RATIO_MAX)
1464     return -1;
1465
1466   map_ip6_reass_lock();
1467   mm->ip6_reass_conf_ht_ratio = ht_ratio;
1468   mm->ip6_reass_ht_log2len = map_get_ht_log2len(ht_ratio, mm->ip6_reass_conf_pool_size);
1469   map_ip6_reass_reinit(trashed_reass, dropped_packets);
1470   map_ip6_reass_unlock();
1471   return 0;
1472 }
1473
1474 int map_ip6_reass_conf_pool_size(u16 pool_size, u32 *trashed_reass, u32 *dropped_packets)
1475 {
1476   map_main_t *mm = &map_main;
1477   if (pool_size > MAP_IP6_REASS_CONF_POOL_SIZE_MAX)
1478     return -1;
1479
1480   map_ip6_reass_lock();
1481   mm->ip6_reass_conf_pool_size = pool_size;
1482   map_ip6_reass_reinit(trashed_reass, dropped_packets);
1483   map_ip6_reass_unlock();
1484   return 0;
1485 }
1486
1487 int map_ip6_reass_conf_lifetime(u16 lifetime_ms)
1488 {
1489   map_main.ip6_reass_conf_lifetime_ms = lifetime_ms;
1490   return 0;
1491 }
1492
1493 int map_ip6_reass_conf_buffers(u32 buffers)
1494 {
1495   map_main.ip6_reass_conf_buffers = buffers;
1496   return 0;
1497 }
1498
1499 VLIB_CLI_COMMAND(map_ip4_reass_lifetime_command, static) = {
1500   .path = "map params reassembly",
1501   .short_help = "[ip4 | ip6] [lifetime <lifetime-ms>] [pool-size <pool-size>] [buffers <buffers>] [ht-ratio <ht-ratio>]",
1502   .function = map_params_reass_command_fn,
1503 };
1504
1505 VLIB_CLI_COMMAND(map_traffic_class_command, static) = {
1506   .path = "map params traffic-class",
1507   .short_help = 
1508   "traffic-class {0x0-0xff | copy}",
1509   .function = map_traffic_class_command_fn,
1510 };
1511
1512 VLIB_CLI_COMMAND(map_pre_resolve_command, static) = {
1513   .path = "map params pre-resolve",
1514   .short_help = 
1515   "pre-resolve {ip4-nh <address>} | {ip6-nh <address>}",
1516   .function = map_pre_resolve_command_fn,
1517 };
1518
1519 VLIB_CLI_COMMAND(map_security_check_command, static) = {
1520   .path = "map params security-check",
1521   .short_help = 
1522   "security-check on|off",
1523   .function = map_security_check_command_fn,
1524 };
1525
1526 VLIB_CLI_COMMAND(map_icmp_relay_source_address_command, static) = {
1527   .path = "map params icmp-source-address",
1528   .short_help = 
1529   "icmp-source-address <ip4-address>",
1530   .function = map_icmp_relay_source_address_command_fn,
1531 };
1532
1533 VLIB_CLI_COMMAND(map_security_check_frag_command, static) = {
1534   .path = "map params security-check fragments",
1535   .short_help = 
1536   "fragments on|off",
1537   .function = map_security_check_frag_command_fn,
1538 };
1539
1540 VLIB_CLI_COMMAND(map_add_domain_command, static) = {
1541   .path = "map add domain",
1542   .short_help = 
1543   "map add domain ip4-pfx <ip4-pfx> ip6-pfx <ip6-pfx> ip6-src <ip6-pfx> "
1544       "ea-bits-len <n> psid-offset <n> psid-len <n> [map-t] [mtu <mtu>]",
1545   .function = map_add_domain_command_fn,
1546 };
1547
1548 VLIB_CLI_COMMAND(map_add_rule_command, static) = {
1549   .path = "map add rule",
1550   .short_help = 
1551   "map add rule index <domain> psid <psid> ip6-dst <ip6-addr>",
1552   .function = map_add_rule_command_fn,
1553 };
1554
1555 VLIB_CLI_COMMAND(map_del_command, static) = {
1556   .path = "map del domain",
1557   .short_help = 
1558   "map del domain index <domain>",
1559   .function = map_del_domain_command_fn,
1560 };
1561
1562 VLIB_CLI_COMMAND(show_map_domain_command, static) = {
1563   .path = "show map domain",
1564   .function = show_map_domain_command_fn,
1565 };
1566
1567 VLIB_CLI_COMMAND(show_map_stats_command, static) = {
1568   .path = "show map stats",
1569   .function = show_map_stats_command_fn,
1570 };
1571
1572 VLIB_CLI_COMMAND(show_map_fragments_command, static) = {
1573   .path = "show map fragments",
1574   .function = show_map_fragments_command_fn,
1575 };
1576
1577 /*
1578  * map_init
1579  */
1580 clib_error_t *map_init (vlib_main_t *vm)
1581 {
1582   map_main_t *mm = &map_main;
1583   mm->vnet_main = vnet_get_main();
1584   mm->vlib_main = vm;
1585
1586 #ifdef MAP_SKIP_IP6_LOOKUP  
1587   memset(&mm->preresolve_ip4, 0, sizeof(mm->preresolve_ip4));
1588   memset(&mm->preresolve_ip6, 0, sizeof(mm->preresolve_ip6));
1589   mm->adj4_index = 0;
1590   mm->adj6_index = 0;
1591 #endif
1592
1593   /* traffic class */
1594   mm->tc = 0;
1595   mm->tc_copy = true;
1596
1597   /* Inbound security check */
1598   mm->sec_check = true;
1599   mm->sec_check_frag = false;
1600
1601   vec_validate(mm->domain_counters, MAP_N_DOMAIN_COUNTER - 1);
1602   mm->domain_counters[MAP_DOMAIN_COUNTER_RX].name = "rx";
1603   mm->domain_counters[MAP_DOMAIN_COUNTER_TX].name = "tx";
1604
1605   vlib_validate_simple_counter(&mm->icmp_relayed, 0);
1606   vlib_zero_simple_counter(&mm->icmp_relayed, 0);
1607
1608   /* IP4 virtual reassembly */
1609   mm->ip4_reass_hash_table = 0;
1610   mm->ip4_reass_pool = 0;
1611   mm->ip4_reass_lock = clib_mem_alloc_aligned(CLIB_CACHE_LINE_BYTES, CLIB_CACHE_LINE_BYTES);
1612   mm->ip4_reass_conf_ht_ratio = MAP_IP4_REASS_HT_RATIO_DEFAULT;
1613   mm->ip4_reass_conf_lifetime_ms = MAP_IP4_REASS_LIFETIME_DEFAULT;
1614   mm->ip4_reass_conf_pool_size = MAP_IP4_REASS_POOL_SIZE_DEFAULT;
1615   mm->ip4_reass_conf_buffers = MAP_IP4_REASS_BUFFERS_DEFAULT;
1616   mm->ip4_reass_ht_log2len = map_get_ht_log2len(mm->ip4_reass_conf_ht_ratio, mm->ip4_reass_conf_pool_size);
1617   mm->ip4_reass_fifo_last = MAP_REASS_INDEX_NONE;
1618   map_ip4_reass_reinit(NULL, NULL);
1619
1620   /* IP6 virtual reassembly */
1621   mm->ip6_reass_hash_table = 0;
1622   mm->ip6_reass_pool = 0;
1623   mm->ip6_reass_lock = clib_mem_alloc_aligned(CLIB_CACHE_LINE_BYTES, CLIB_CACHE_LINE_BYTES);
1624   mm->ip6_reass_conf_ht_ratio = MAP_IP6_REASS_HT_RATIO_DEFAULT;
1625   mm->ip6_reass_conf_lifetime_ms = MAP_IP6_REASS_LIFETIME_DEFAULT;
1626   mm->ip6_reass_conf_pool_size = MAP_IP6_REASS_POOL_SIZE_DEFAULT;
1627   mm->ip6_reass_conf_buffers = MAP_IP6_REASS_BUFFERS_DEFAULT;
1628   mm->ip6_reass_ht_log2len = map_get_ht_log2len(mm->ip6_reass_conf_ht_ratio, mm->ip6_reass_conf_pool_size);
1629   mm->ip6_reass_fifo_last = MAP_REASS_INDEX_NONE;
1630   map_ip6_reass_reinit(NULL, NULL);
1631
1632   return 0;
1633 }
1634
1635 VLIB_INIT_FUNCTION(map_init);