cnat: Add maglev support
[vpp.git] / src / plugins / cnat / cnat_translation.c
1 /*
2  * Copyright (c) 2020 Cisco and/or its affiliates.
3  * Licensed under the Apache License, Version 2.0 (the "License");
4  * you may not use this file except in compliance with the License.
5  * You may obtain a copy of the License at:
6  *
7  *     http://www.apache.org/licenses/LICENSE-2.0
8  *
9  * Unless required by applicable law or agreed to in writing, software
10  * distributed under the License is distributed on an "AS IS" BASIS,
11  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
12  * See the License for the specific language governing permissions and
13  * limitations under the License.
14  */
15
16 #include <vnet/fib/fib_source.h>
17 #include <vnet/fib/fib_table.h>
18 #include <vnet/fib/fib_entry_track.h>
19 #include <vnet/dpo/load_balance.h>
20 #include <vnet/dpo/drop_dpo.h>
21
22 #include <cnat/cnat_translation.h>
23 #include <cnat/cnat_session.h>
24 #include <cnat/cnat_client.h>
25
26 cnat_translation_t *cnat_translation_pool;
27 clib_bihash_8_8_t cnat_translation_db;
28 addr_resolution_t *tr_resolutions;
29
30 typedef void (*cnat_if_addr_add_cb_t) (addr_resolution_t * ar,
31                                        ip_address_t * address, u8 is_del);
32 cnat_if_addr_add_cb_t *cnat_if_addr_add_cbs;
33
34 static fib_node_type_t cnat_translation_fib_node_type;
35
36 vlib_combined_counter_main_t cnat_translation_counters = {
37   .name = "cnat-translation",
38   .stat_segment_name = "/net/cnat-translation",
39 };
40
41 void
42 cnat_translation_watch_addr (index_t cti, u64 opaque, cnat_endpoint_t * ep,
43                              cnat_addr_resol_type_t type)
44 {
45   addr_resolution_t *ar;
46
47   if (INDEX_INVALID == ep->ce_sw_if_index)
48     return;
49
50   pool_get (tr_resolutions, ar);
51   ar->af = ep->ce_ip.version;
52   ar->sw_if_index = ep->ce_sw_if_index;
53   ar->type = type;
54   ar->opaque = opaque;
55   ar->cti = cti;
56 }
57
58 static void
59 cnat_resolve_ep_tuple (cnat_endpoint_tuple_t * path)
60 {
61   cnat_resolve_ep (&path->src_ep);
62   cnat_resolve_ep (&path->dst_ep);
63 }
64
65 void
66 cnat_translation_unwatch_addr (u32 cti, cnat_addr_resol_type_t type)
67 {
68   /* Delete tr resolution entries matching translation index */
69   addr_resolution_t *ar;
70   index_t *indexes = 0, *ari;
71   pool_foreach (ar, tr_resolutions)
72     {
73       if ((cti == INDEX_INVALID || ar->cti == cti) &&
74           (ar->type == type || CNAT_RESOLV_ADDR_ANY == type))
75         vec_add1 (indexes, ar - tr_resolutions);
76     }
77   vec_foreach (ari, indexes) pool_put_index (tr_resolutions, *ari);
78
79   vec_free (indexes);
80 }
81
82 static void
83 cnat_tracker_release (cnat_ep_trk_t * trk)
84 {
85   /* We only track fully resolved endpoints */
86   if (!(trk->ct_flags & CNAT_TRK_ACTIVE))
87     return;
88   fib_entry_untrack (trk->ct_fei, trk->ct_sibling);
89 }
90
91 static void
92 cnat_tracker_track (index_t cti, cnat_ep_trk_t * trk)
93 {
94   fib_prefix_t pfx;
95   /* We only track fully resolved endpoints */
96   if (trk->ct_ep[VLIB_TX].ce_flags & CNAT_EP_FLAG_RESOLVED &&
97       trk->ct_ep[VLIB_RX].ce_flags & CNAT_EP_FLAG_RESOLVED)
98     trk->ct_flags |= CNAT_TRK_ACTIVE;
99   else
100     {
101       trk->ct_flags &= ~CNAT_TRK_ACTIVE;
102       return;
103     }
104
105   ip_address_to_fib_prefix (&trk->ct_ep[VLIB_TX].ce_ip, &pfx);
106   trk->ct_fei = fib_entry_track (CNAT_FIB_TABLE,
107                                  &pfx,
108                                  cnat_translation_fib_node_type,
109                                  cti, &trk->ct_sibling);
110
111   fib_entry_contribute_forwarding (trk->ct_fei,
112                                    fib_forw_chain_type_from_fib_proto
113                                    (pfx.fp_proto), &trk->ct_dpo);
114 }
115
116 u8 *
117 format_cnat_lb_type (u8 *s, va_list *args)
118 {
119   cnat_lb_type_t lb_type = va_arg (*args, int);
120   if (CNAT_LB_DEFAULT == lb_type)
121     s = format (s, "default");
122   else if (CNAT_LB_MAGLEV == lb_type)
123     s = format (s, "maglev");
124   else
125     s = format (s, "unknown");
126   return (s);
127 }
128
129 uword
130 unformat_cnat_lb_type (unformat_input_t *input, va_list *args)
131 {
132   cnat_lb_type_t *a = va_arg (*args, cnat_lb_type_t *);
133   if (unformat (input, "default"))
134     *a = CNAT_LB_DEFAULT;
135   else if (unformat (input, "maglev"))
136     *a = CNAT_LB_MAGLEV;
137   else
138     return 0;
139   return 1;
140 }
141
142 /**
143  * Add a translation to the bihash
144  *
145  * @param cci the ID of the parent client (invalid if vip not resolved)
146  * @param vip the translation endpoint
147  * @param proto the translation proto
148  * @param cti the translation index to be used as value
149  */
150 static void
151 cnat_add_translation_to_db (index_t cci, cnat_endpoint_t * vip,
152                             ip_protocol_t proto, index_t cti)
153 {
154   clib_bihash_kv_8_8_t bkey;
155   u64 key;
156   if (INDEX_INVALID == cci)
157     {
158       key = proto << 8 | 0x80 | vip->ce_ip.version;
159       key = key << 16 | vip->ce_port;
160       key = key << 32 | (u32) vip->ce_sw_if_index;
161     }
162   else
163     {
164       key = proto << 8;
165       key = key << 16 | vip->ce_port;
166       key = key << 32 | (u32) cci;
167     }
168
169   bkey.key = key;
170   bkey.value = cti;
171
172   clib_bihash_add_del_8_8 (&cnat_translation_db, &bkey, 1);
173 }
174
175 /**
176  * Remove a translation from the bihash
177  *
178  * @param cci the ID of the parent client
179  * @param vip the translation endpoint
180  * @param proto the translation proto
181  */
182 static void
183 cnat_remove_translation_from_db (index_t cci, cnat_endpoint_t * vip,
184                                  ip_protocol_t proto)
185 {
186   clib_bihash_kv_8_8_t bkey;
187   u64 key;
188   if (INDEX_INVALID == cci)
189     {
190       key = proto << 8 | 0x80 | vip->ce_ip.version;
191       key = key << 16 | vip->ce_port;
192       key = key << 32 | (u32) vip->ce_sw_if_index;
193     }
194   else
195     {
196       key = proto << 8;
197       key = key << 16 | vip->ce_port;
198       key = key << 32 | (u32) cci;
199     }
200
201   bkey.key = key;
202
203   clib_bihash_add_del_8_8 (&cnat_translation_db, &bkey, 0);
204 }
205
206 typedef struct
207 {
208   cnat_ep_trk_t *trk;
209   u32 index;
210   u32 offset;
211   u32 skip;
212 } cnat_maglev_entry_t;
213
214 static int
215 cnat_maglev_entry_compare (void *_a, void *_b)
216 {
217   cnat_ep_trk_t *a = ((cnat_maglev_entry_t *) _a)->trk;
218   cnat_ep_trk_t *b = ((cnat_maglev_entry_t *) _b)->trk;
219   int rv = 0;
220   if ((rv =
221          ip_address_cmp (&a->ct_ep[VLIB_TX].ce_ip, &b->ct_ep[VLIB_TX].ce_ip)))
222     return rv;
223   if ((rv = a->ct_ep[VLIB_TX].ce_port - a->ct_ep[VLIB_TX].ce_port))
224     return rv;
225   if ((rv =
226          ip_address_cmp (&a->ct_ep[VLIB_RX].ce_ip, &b->ct_ep[VLIB_RX].ce_ip)))
227     return rv;
228   if ((rv = a->ct_ep[VLIB_RX].ce_port - a->ct_ep[VLIB_RX].ce_port))
229     return rv;
230   return 0;
231 }
232
233 static void
234 cnat_translation_init_maglev (cnat_translation_t *ct)
235 {
236   cnat_maglev_entry_t *backends = NULL, *bk;
237   cnat_main_t *cm = &cnat_main;
238   u32 done = 0;
239   cnat_ep_trk_t *trk;
240   int ep_idx = 0;
241
242   vec_foreach (trk, ct->ct_active_paths)
243     {
244       cnat_maglev_entry_t bk;
245       u32 h1, h2;
246
247       if (AF_IP4 == ip_addr_version (&trk->ct_ep[VLIB_TX].ce_ip))
248         {
249           u32 a, b, c;
250           a = ip_addr_v4 (&trk->ct_ep[VLIB_TX].ce_ip).data_u32;
251           b = trk->ct_ep[VLIB_TX].ce_port << 16 | trk->ct_ep[VLIB_RX].ce_port;
252           c = ip_addr_v4 (&trk->ct_ep[VLIB_RX].ce_ip).data_u32;
253           hash_v3_mix32 (a, b, c);
254           hash_v3_finalize32 (a, b, c);
255           h1 = c;
256           h2 = b;
257         }
258       else
259         {
260           u64 a, b, c;
261           a = ip_addr_v6 (&trk->ct_ep[VLIB_TX].ce_ip).as_u64[0] ^
262               ip_addr_v6 (&trk->ct_ep[VLIB_TX].ce_ip).as_u64[1];
263           b = trk->ct_ep[VLIB_TX].ce_port << 16 | trk->ct_ep[VLIB_RX].ce_port;
264           c = ip_addr_v6 (&trk->ct_ep[VLIB_RX].ce_ip).as_u64[0] ^
265               ip_addr_v6 (&trk->ct_ep[VLIB_RX].ce_ip).as_u64[1];
266           hash_mix64 (a, b, c);
267           h1 = c;
268           h2 = b;
269         }
270
271       bk.offset = h1 % cm->maglev_len;
272       bk.skip = h2 % (cm->maglev_len - 1) + 1;
273       bk.index = ep_idx++;
274       bk.trk = trk;
275       vec_add1 (backends, bk);
276     }
277
278   if (0 == ep_idx)
279     return;
280
281   vec_sort_with_function (backends, cnat_maglev_entry_compare);
282
283   /* Don't free if previous vector exists, just zero */
284   vec_validate (ct->lb_maglev, cm->maglev_len);
285   vec_set (ct->lb_maglev, -1);
286
287   while (1)
288     {
289       vec_foreach (bk, backends)
290         {
291           u32 next = 0;
292           u32 c = (bk->offset + next * bk->skip) % cm->maglev_len;
293           while (ct->lb_maglev[c] != (u32) -1)
294             {
295               next++;
296               c = (bk->offset + next * bk->skip) % cm->maglev_len;
297             }
298           ct->lb_maglev[c] = bk->index;
299           done++;
300           if (done == cm->maglev_len)
301             goto finished;
302         }
303     }
304
305 finished:
306   vec_free (backends);
307 }
308
309 static void
310 cnat_translation_stack (cnat_translation_t * ct)
311 {
312   fib_protocol_t fproto;
313   cnat_ep_trk_t *trk;
314   dpo_proto_t dproto;
315   u32 ep_idx = 0;
316   index_t lbi;
317
318   fproto = ip_address_family_to_fib_proto (ct->ct_vip.ce_ip.version);
319   dproto = fib_proto_to_dpo (fproto);
320
321   vec_reset_length (ct->ct_active_paths);
322
323   vec_foreach (trk, ct->ct_paths)
324     if (trk->ct_flags & CNAT_TRK_ACTIVE)
325       vec_add1 (ct->ct_active_paths, *trk);
326
327   lbi = load_balance_create (vec_len (ct->ct_active_paths),
328                              fib_proto_to_dpo (fproto), IP_FLOW_HASH_DEFAULT);
329
330   ep_idx = 0;
331   vec_foreach (trk, ct->ct_active_paths)
332     load_balance_set_bucket (lbi, ep_idx++, &trk->ct_dpo);
333
334   if (ep_idx > 0 && CNAT_LB_MAGLEV == ct->lb_type)
335     cnat_translation_init_maglev (ct);
336
337   dpo_set (&ct->ct_lb, DPO_LOAD_BALANCE, dproto, lbi);
338   dpo_stack (cnat_client_dpo, dproto, &ct->ct_lb, &ct->ct_lb);
339   ct->flags |= CNAT_TRANSLATION_STACKED;
340 }
341
342 int
343 cnat_translation_delete (u32 id)
344 {
345   cnat_translation_t *ct;
346   cnat_ep_trk_t *trk;
347
348   if (pool_is_free_index (cnat_translation_pool, id))
349     return (VNET_API_ERROR_NO_SUCH_ENTRY);
350
351   ct = pool_elt_at_index (cnat_translation_pool, id);
352
353   dpo_reset (&ct->ct_lb);
354
355   vec_foreach (trk, ct->ct_active_paths)
356     cnat_tracker_release (trk);
357
358   cnat_remove_translation_from_db (ct->ct_cci, &ct->ct_vip, ct->ct_proto);
359   cnat_client_translation_deleted (ct->ct_cci);
360   cnat_translation_unwatch_addr (id, CNAT_RESOLV_ADDR_ANY);
361   pool_put (cnat_translation_pool, ct);
362
363   return (0);
364 }
365
366 u32
367 cnat_translation_update (cnat_endpoint_t *vip, ip_protocol_t proto,
368                          cnat_endpoint_tuple_t *paths, u8 flags,
369                          cnat_lb_type_t lb_type)
370 {
371   cnat_endpoint_tuple_t *path;
372   const cnat_client_t *cc;
373   cnat_translation_t *ct;
374   cnat_ep_trk_t *trk;
375   index_t cci;
376
377   cnat_lazy_init ();
378   if (cnat_resolve_ep (vip))
379     {
380       /* vip only contains a sw_if_index for now */
381       ct = cnat_find_translation (vip->ce_sw_if_index, vip->ce_port, proto);
382       cci = INDEX_INVALID;
383     }
384   else
385     {
386       /* do we know of this ep's vip */
387       cci = cnat_client_add (&vip->ce_ip, flags);
388       cc = cnat_client_get (cci);
389
390       ct = cnat_find_translation (cc->parent_cci, vip->ce_port, proto);
391     }
392
393   if (NULL == ct)
394     {
395       pool_get_zero (cnat_translation_pool, ct);
396
397       clib_memcpy (&ct->ct_vip, vip, sizeof (*vip));
398       ct->ct_proto = proto;
399       ct->ct_cci = cci;
400       ct->index = ct - cnat_translation_pool;
401       ct->lb_type = lb_type;
402
403       cnat_add_translation_to_db (cci, vip, proto, ct->index);
404       cnat_client_translation_added (cci);
405
406       vlib_validate_combined_counter (&cnat_translation_counters, ct->index);
407       vlib_zero_combined_counter (&cnat_translation_counters, ct->index);
408     }
409   ct->flags = flags;
410
411   cnat_translation_unwatch_addr (ct->index, CNAT_RESOLV_ADDR_ANY);
412   cnat_translation_watch_addr (ct->index, 0, vip,
413                                CNAT_RESOLV_ADDR_TRANSLATION);
414
415   vec_foreach (trk, ct->ct_paths)
416   {
417     cnat_tracker_release (trk);
418   }
419
420   vec_reset_length (ct->ct_paths);
421   ct->flags &= ~CNAT_TRANSLATION_STACKED;
422
423   u64 path_idx = 0;
424   vec_foreach (path, paths)
425   {
426     cnat_resolve_ep_tuple (path);
427     cnat_translation_watch_addr (ct->index,
428                                  path_idx << 32 | VLIB_RX, &path->src_ep,
429                                  CNAT_RESOLV_ADDR_BACKEND);
430     cnat_translation_watch_addr (ct->index,
431                                  path_idx << 32 | VLIB_TX, &path->dst_ep,
432                                  CNAT_RESOLV_ADDR_BACKEND);
433     path_idx++;
434
435     vec_add2 (ct->ct_paths, trk, 1);
436
437     clib_memcpy (&trk->ct_ep[VLIB_TX], &path->dst_ep,
438                  sizeof (trk->ct_ep[VLIB_TX]));
439     clib_memcpy (&trk->ct_ep[VLIB_RX], &path->src_ep,
440                  sizeof (trk->ct_ep[VLIB_RX]));
441     trk->ct_flags = path->ep_flags;
442
443     cnat_tracker_track (ct->index, trk);
444   }
445
446   cnat_translation_stack (ct);
447
448   return (ct->index);
449 }
450
451 void
452 cnat_translation_walk (cnat_translation_walk_cb_t cb, void *ctx)
453 {
454   u32 api;
455
456   pool_foreach_index (api, cnat_translation_pool)
457    {
458     if (!cb(api, ctx))
459       break;
460   }
461 }
462
463 static u8 *
464 format_cnat_ep_trk (u8 * s, va_list * args)
465 {
466   cnat_ep_trk_t *ck = va_arg (*args, cnat_ep_trk_t *);
467   u32 indent = va_arg (*args, u32);
468
469   s = format (s, "%U->%U", format_cnat_endpoint, &ck->ct_ep[VLIB_RX],
470               format_cnat_endpoint, &ck->ct_ep[VLIB_TX]);
471   s = format (s, "\n%Ufib-entry:%d", format_white_space, indent, ck->ct_fei);
472   s = format (s, "\n%U%U",
473               format_white_space, indent, format_dpo_id, &ck->ct_dpo, 6);
474
475   return (s);
476 }
477
478 u8 *
479 format_cnat_translation (u8 * s, va_list * args)
480 {
481   cnat_translation_t *ct = va_arg (*args, cnat_translation_t *);
482   cnat_main_t *cm = &cnat_main;
483   cnat_ep_trk_t *ck;
484
485   s = format (s, "[%d] ", ct->index);
486   s = format (s, "%U %U ", format_cnat_endpoint, &ct->ct_vip,
487               format_ip_protocol, ct->ct_proto);
488   s = format (s, "lb:%U ", format_cnat_lb_type, ct->lb_type);
489
490   vec_foreach (ck, ct->ct_paths)
491     s = format (s, "\n%U", format_cnat_ep_trk, ck, 2);
492
493   /* If printing a trace, the LB object might be deleted */
494   if (!pool_is_free_index (load_balance_pool, ct->ct_lb.dpoi_index))
495     {
496       s = format (s, "\n via:");
497       s = format (s, "\n%U%U",
498                   format_white_space, 2, format_dpo_id, &ct->ct_lb, 2);
499     }
500
501   u32 bid = 0;
502   if (CNAT_LB_MAGLEV == ct->lb_type)
503     {
504       s = format (s, "\nmaglev backends map");
505       uword *bitmap = NULL;
506       clib_bitmap_alloc (bitmap, cm->maglev_len);
507       vec_foreach (ck, ct->ct_paths)
508         {
509           clib_bitmap_zero (bitmap);
510           for (u32 i = 0; i < vec_len (ct->lb_maglev); i++)
511             if (ct->lb_maglev[i] == bid)
512               clib_bitmap_set (bitmap, i, 1);
513           s = format (s, "\n  backend#%d: %U", bid, format_bitmap_hex, bitmap);
514
515           bid++;
516         }
517       clib_bitmap_free (bitmap);
518     }
519
520   return (s);
521 }
522
523 static clib_error_t *
524 cnat_translation_show (vlib_main_t * vm,
525                        unformat_input_t * input, vlib_cli_command_t * cmd)
526 {
527   index_t cti;
528   cnat_translation_t *ct;
529
530   cti = INDEX_INVALID;
531
532   while (unformat_check_input (input) != UNFORMAT_END_OF_INPUT)
533     {
534       if (unformat (input, "%d", &cti))
535         ;
536       else
537         return (clib_error_return (0, "unknown input '%U'",
538                                    format_unformat_error, input));
539     }
540
541   if (INDEX_INVALID == cti)
542     {
543       pool_foreach_index (cti, cnat_translation_pool)
544        {
545         ct = pool_elt_at_index (cnat_translation_pool, cti);
546         vlib_cli_output(vm, "%U", format_cnat_translation, ct);
547       }
548     }
549   else
550     {
551       vlib_cli_output (vm, "Invalid policy ID:%d", cti);
552     }
553
554   return (NULL);
555 }
556
557 int
558 cnat_translation_purge (void)
559 {
560   /* purge all the translations */
561   index_t tri, *trp, *trs = NULL;
562
563   pool_foreach_index (tri, cnat_translation_pool)
564    {
565     vec_add1(trs, tri);
566   }
567
568   vec_foreach (trp, trs) cnat_translation_delete (*trp);
569
570   ASSERT (0 == pool_elts (cnat_translation_pool));
571
572   vec_free (trs);
573
574   return (0);
575 }
576
577 VLIB_CLI_COMMAND (cnat_translation_show_cmd_node, static) = {
578   .path = "show cnat translation",
579   .function = cnat_translation_show,
580   .short_help = "show cnat translation <VIP>",
581   .is_mp_safe = 1,
582 };
583
584 static fib_node_t *
585 cnat_translation_get_node (fib_node_index_t index)
586 {
587   cnat_translation_t *ct = cnat_translation_get (index);
588   return (&(ct->ct_node));
589 }
590
591 static cnat_translation_t *
592 cnat_translation_get_from_node (fib_node_t * node)
593 {
594   return ((cnat_translation_t *) (((char *) node) -
595                                   STRUCT_OFFSET_OF (cnat_translation_t,
596                                                     ct_node)));
597 }
598
599 static void
600 cnat_translation_last_lock_gone (fib_node_t * node)
601 {
602  /**/}
603
604 /*
605  * A back walk has reached this ABF policy
606  */
607 static fib_node_back_walk_rc_t
608 cnat_translation_back_walk_notify (fib_node_t * node,
609                                    fib_node_back_walk_ctx_t * ctx)
610 {
611   /*
612    * re-stack the fmask on the n-eos of the via
613    */
614   cnat_translation_t *ct = cnat_translation_get_from_node (node);
615
616   /* If we have more than FIB_PATH_LIST_POPULAR paths
617    * we might get called during path tracking
618    * (cnat_tracker_track) */
619   if (!(ct->flags & CNAT_TRANSLATION_STACKED))
620     return (FIB_NODE_BACK_WALK_CONTINUE);
621
622   cnat_translation_stack (ct);
623
624   return (FIB_NODE_BACK_WALK_CONTINUE);
625 }
626
627 /*
628  * The translation's graph node virtual function table
629  */
630 static const fib_node_vft_t cnat_translation_vft = {
631   .fnv_get = cnat_translation_get_node,
632   .fnv_last_lock = cnat_translation_last_lock_gone,
633   .fnv_back_walk = cnat_translation_back_walk_notify,
634 };
635
636 static clib_error_t *
637 cnat_translation_cli_add_del (vlib_main_t * vm,
638                               unformat_input_t * input,
639                               vlib_cli_command_t * cmd)
640 {
641   u32 del_index = INDEX_INVALID;
642   ip_protocol_t proto = IP_PROTOCOL_TCP;
643   cnat_endpoint_t vip;
644   u8 flags = CNAT_FLAG_EXCLUSIVE;
645   cnat_endpoint_tuple_t tmp, *paths = NULL, *path;
646   unformat_input_t _line_input, *line_input = &_line_input;
647   clib_error_t *e = 0;
648   cnat_lb_type_t lb_type;
649
650   /* Get a line of input. */
651   if (!unformat_user (input, unformat_line_input, line_input))
652     return 0;
653
654   while (unformat_check_input (line_input) != UNFORMAT_END_OF_INPUT)
655     {
656       if (unformat (line_input, "add"))
657         del_index = INDEX_INVALID;
658       else if (unformat (line_input, "del %d", &del_index))
659         ;
660       else
661         if (unformat (line_input, "proto %U", unformat_ip_protocol, &proto))
662         ;
663       else if (unformat (line_input, "vip %U", unformat_cnat_ep, &vip))
664         flags = CNAT_FLAG_EXCLUSIVE;
665       else if (unformat (line_input, "real %U", unformat_cnat_ep, &vip))
666         flags = 0;
667       else if (unformat (line_input, "to %U", unformat_cnat_ep_tuple, &tmp))
668         {
669           vec_add2 (paths, path, 1);
670           clib_memcpy (path, &tmp, sizeof (cnat_endpoint_tuple_t));
671         }
672       else if (unformat (line_input, "%U", unformat_cnat_lb_type, &lb_type))
673         ;
674       else
675         {
676           e = clib_error_return (0, "unknown input '%U'",
677                                  format_unformat_error, line_input);
678           goto done;
679         }
680     }
681
682   if (INDEX_INVALID == del_index)
683     cnat_translation_update (&vip, proto, paths, flags, lb_type);
684   else
685     cnat_translation_delete (del_index);
686
687 done:
688   vec_free (paths);
689   unformat_free (line_input);
690   return (e);
691 }
692
693 VLIB_CLI_COMMAND (cnat_translation_cli_add_del_command, static) =
694 {
695   .path = "cnat translation",
696   .short_help = "cnat translation [add|del] proto [TCP|UDP] [vip|real] [ip|sw_if_index [v6]] [port] [to [ip|sw_if_index [v6]] [port]->[ip|sw_if_index [v6]] [port]]",
697   .function = cnat_translation_cli_add_del,
698 };
699
700 static void
701 cnat_if_addr_add_del_translation_cb (addr_resolution_t * ar,
702                                      ip_address_t * address, u8 is_del)
703 {
704   cnat_translation_t *ct;
705   ct = cnat_translation_get (ar->cti);
706   if (!is_del && ct->ct_vip.ce_flags & CNAT_EP_FLAG_RESOLVED)
707     return;
708
709   cnat_remove_translation_from_db (ct->ct_cci, &ct->ct_vip, ct->ct_proto);
710
711   if (is_del)
712     {
713       ct->ct_vip.ce_flags &= ~CNAT_EP_FLAG_RESOLVED;
714       ct->ct_cci = INDEX_INVALID;
715       cnat_client_translation_deleted (ct->ct_cci);
716       /* Are there remaining addresses ? */
717       if (0 == cnat_resolve_addr (ar->sw_if_index, ar->af, address))
718         is_del = 0;
719     }
720
721   if (!is_del)
722     {
723       ct->ct_cci = cnat_client_add (address, ct->flags);
724       cnat_client_translation_added (ct->ct_cci);
725       ip_address_copy (&ct->ct_vip.ce_ip, address);
726       ct->ct_vip.ce_flags |= CNAT_EP_FLAG_RESOLVED;
727     }
728
729   cnat_add_translation_to_db (ct->ct_cci, &ct->ct_vip, ct->ct_proto,
730                               ct->index);
731 }
732
733 static void
734 cnat_if_addr_add_del_backend_cb (addr_resolution_t * ar,
735                                  ip_address_t * address, u8 is_del)
736 {
737   cnat_translation_t *ct;
738   cnat_ep_trk_t *trk;
739   cnat_endpoint_t *ep;
740
741   u8 direction = ar->opaque & 0xf;
742   u32 path_idx = ar->opaque >> 32;
743
744   ct = cnat_translation_get (ar->cti);
745
746   trk = &ct->ct_paths[path_idx];
747   ep = &trk->ct_ep[direction];
748
749   if (!is_del && ep->ce_flags & CNAT_EP_FLAG_RESOLVED)
750     return;
751
752   ASSERT (ep->ce_sw_if_index == ar->sw_if_index);
753
754   if (is_del)
755     {
756       ep->ce_flags &= ~CNAT_EP_FLAG_RESOLVED;
757       /* Are there remaining addresses ? */
758       if (0 == cnat_resolve_addr (ar->sw_if_index, ar->af, address))
759         is_del = 0;
760     }
761
762   if (!is_del)
763     {
764       ip_address_copy (&ep->ce_ip, address);
765       ep->ce_flags |= CNAT_EP_FLAG_RESOLVED;
766     }
767
768   ct->flags &= ~CNAT_TRANSLATION_STACKED;
769   cnat_tracker_track (ar->cti, trk);
770
771   cnat_translation_stack (ct);
772   ct->flags |= CNAT_TRANSLATION_STACKED;
773 }
774
775 static void
776 cnat_if_addr_add_del_snat_cb (addr_resolution_t * ar, ip_address_t * address,
777                               u8 is_del)
778 {
779   cnat_endpoint_t *ep;
780   ep = AF_IP4 == ar->af ? &cnat_main.snat_ip4 : &cnat_main.snat_ip6;
781
782   if (!is_del && ep->ce_flags & CNAT_EP_FLAG_RESOLVED)
783     return;
784
785   if (is_del)
786     {
787       ep->ce_flags &= ~CNAT_EP_FLAG_RESOLVED;
788       /* Are there remaining addresses ? */
789       if (0 == cnat_resolve_addr (ar->sw_if_index, ar->af, address))
790         is_del = 0;
791     }
792
793   if (!is_del)
794     {
795       ip_address_copy (&ep->ce_ip, address);
796       ep->ce_flags |= CNAT_EP_FLAG_RESOLVED;
797     }
798
799 }
800
801 static void
802 cnat_if_addr_add_del_callback (u32 sw_if_index, ip_address_t * address,
803                                u8 is_del)
804 {
805   addr_resolution_t *ar;
806   pool_foreach (ar, tr_resolutions)
807     {
808       if (ar->sw_if_index != sw_if_index)
809         continue;
810       if (ar->af != ip_addr_version (address))
811         continue;
812       cnat_if_addr_add_cbs[ar->type](ar, address, is_del);
813     }
814 }
815
816 static void
817 cnat_ip6_if_addr_add_del_callback (struct ip6_main_t *im,
818                                    uword opaque, u32 sw_if_index,
819                                    ip6_address_t * address,
820                                    u32 address_length, u32 if_address_index,
821                                    u32 is_del)
822 {
823   ip_address_t addr;
824   ip_address_set (&addr, address, AF_IP6);
825   cnat_if_addr_add_del_callback (sw_if_index, &addr, is_del);
826 }
827
828 static void
829 cnat_ip4_if_addr_add_del_callback (struct ip4_main_t *im,
830                                    uword opaque, u32 sw_if_index,
831                                    ip4_address_t * address,
832                                    u32 address_length, u32 if_address_index,
833                                    u32 is_del)
834 {
835   ip_address_t addr;
836   ip_address_set (&addr, address, AF_IP4);
837   cnat_if_addr_add_del_callback (sw_if_index, &addr, is_del);
838 }
839
840 static clib_error_t *
841 cnat_translation_init (vlib_main_t * vm)
842 {
843   ip4_main_t *i4m = &ip4_main;
844   ip6_main_t *i6m = &ip6_main;
845   cnat_main_t *cm = &cnat_main;
846   cnat_translation_fib_node_type =
847     fib_node_register_new_type (&cnat_translation_vft);
848
849   clib_bihash_init_8_8 (&cnat_translation_db, "CNat translation DB",
850                         cm->translation_hash_buckets,
851                         cm->translation_hash_memory);
852
853   ip4_add_del_interface_address_callback_t cb4 = { 0 };
854   cb4.function = cnat_ip4_if_addr_add_del_callback;
855   vec_add1 (i4m->add_del_interface_address_callbacks, cb4);
856
857   ip6_add_del_interface_address_callback_t cb6 = { 0 };
858   cb6.function = cnat_ip6_if_addr_add_del_callback;
859   vec_add1 (i6m->add_del_interface_address_callbacks, cb6);
860
861   vec_validate (cnat_if_addr_add_cbs, CNAT_ADDR_N_RESOLUTIONS);
862   cnat_if_addr_add_cbs[CNAT_RESOLV_ADDR_BACKEND] =
863     cnat_if_addr_add_del_backend_cb;
864   cnat_if_addr_add_cbs[CNAT_RESOLV_ADDR_SNAT] = cnat_if_addr_add_del_snat_cb;
865   cnat_if_addr_add_cbs[CNAT_RESOLV_ADDR_TRANSLATION] =
866     cnat_if_addr_add_del_translation_cb;
867   return (NULL);
868 }
869
870 VLIB_INIT_FUNCTION (cnat_translation_init);
871
872 /*
873  * fd.io coding-style-patch-verification: ON
874  *
875  * Local Variables:
876  * eval: (c-set-style "gnu")
877  * End:
878  */