svm: move fifo tests to a separate file
[vpp.git] / src / plugins / unittest / svm_fifo_test.c
1 /*
2  * Copyright (c) 2019 Cisco and/or its affiliates.
3  * Licensed under the Apache License, Version 2.0 (the "License");
4  * you may not use this file except in compliance with the License.
5  * You may obtain a copy of the License at:
6  *
7  *     http://www.apache.org/licenses/LICENSE-2.0
8  *
9  * Unless required by applicable law or agreed to in writing, software
10  * distributed under the License is distributed on an "AS IS" BASIS,
11  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
12  * See the License for the specific language governing permissions and
13  * limitations under the License.
14  */
15 #include <svm/svm_fifo.h>
16 #include <vlib/vlib.h>
17
18 #define SFIFO_TEST_I(_cond, _comment, _args...)                 \
19 ({                                                              \
20   int _evald = (_cond);                                         \
21   if (!(_evald)) {                                              \
22     fformat(stderr, "FAIL:%d: " _comment "\n",                  \
23             __LINE__, ##_args);                                 \
24   } else {                                                      \
25     fformat(stderr, "PASS:%d: " _comment "\n",                  \
26             __LINE__, ##_args);                                 \
27   }                                                             \
28   _evald;                                                       \
29 })
30
31 #define SFIFO_TEST(_cond, _comment, _args...)                   \
32 {                                                               \
33     if (!SFIFO_TEST_I(_cond, _comment, ##_args)) {              \
34         return 1;                                               \
35     }                                                           \
36 }
37
38 typedef struct
39 {
40   u32 offset;
41   u32 len;
42 } test_pattern_t;
43
44 /* *INDENT-OFF* */
45 test_pattern_t test_pattern[] = {
46   {380, 8}, {768, 8}, {1156, 8}, {1544, 8}, {1932, 8}, {2320, 8}, {2708, 8},
47   {2992, 8}, {372, 8}, {760, 8}, {1148, 8}, {1536, 8}, {1924, 8}, {2312, 8},
48   {2700, 8}, {2984, 8}, {364, 8}, {752, 8}, {1140, 8}, {1528, 8}, {1916, 8},
49   {2304, 8}, {2692, 8}, {2976, 8}, {356, 8}, {744, 8}, {1132, 8}, {1520, 8},
50   {1908, 8}, {2296, 8}, {2684, 8}, {2968, 8}, {348, 8}, {736, 8}, {1124, 8},
51   {1512, 8}, {1900, 8}, {2288, 8}, {2676, 8}, {2960, 8}, {340, 8}, {728, 8},
52   {1116, 8}, {1504, 8}, {1892, 8}, {2280, 8}, {2668, 8}, {2952, 8}, {332, 8},
53   {720, 8}, {1108, 8}, {1496, 8}, {1884, 8}, {2272, 8}, {2660, 8}, {2944, 8},
54   {324, 8}, {712, 8}, {1100, 8}, {1488, 8}, {1876, 8}, {2264, 8}, {2652, 8},
55   {2936, 8}, {316, 8}, {704, 8}, {1092, 8}, {1480, 8}, {1868, 8}, {2256, 8},
56   {2644, 8}, {2928, 8}, {308, 8}, {696, 8}, {1084, 8}, {1472, 8}, {1860, 8},
57   {2248, 8}, {2636, 8}, {2920, 8}, {300, 8}, {688, 8}, {1076, 8}, {1464, 8},
58   {1852, 8}, {2240, 8}, {2628, 8}, {2912, 8}, {292, 8}, {680, 8}, {1068, 8},
59   {1456, 8}, {1844, 8}, {2232, 8}, {2620, 8}, {2904, 8}, {284, 8}, {672, 8},
60   {1060, 8}, {1448, 8}, {1836, 8}, {2224, 8}, {2612, 8}, {2896, 8}, {276, 8},
61   {664, 8}, {1052, 8}, {1440, 8}, {1828, 8},  {2216, 8}, {2604, 8}, {2888, 8},
62   {268, 8}, {656, 8}, {1044, 8}, {1432, 8}, {1820, 8}, {2208, 8}, {2596, 8},
63   {2880, 8}, {260, 8}, {648, 8}, {1036, 8}, {1424, 8}, {1812, 8}, {2200, 8},
64   {2588, 8}, {2872, 8}, {252, 8}, {640, 8}, {1028, 8}, {1416, 8}, {1804, 8},
65   {2192, 8}, {2580, 8}, {2864, 8}, {244, 8}, {632, 8}, {1020, 8}, {1408, 8},
66   {1796, 8}, {2184, 8}, {2572, 8}, {2856, 8}, {236, 8}, {624, 8}, {1012, 8},
67   {1400, 8}, {1788, 8}, {2176, 8}, {2564, 8}, {2848, 8}, {228, 8}, {616, 8},
68   {1004, 8}, {1392, 8}, {1780, 8}, {2168, 8}, {2556, 8}, {2840, 8}, {220, 8},
69   {608, 8}, {996, 8}, {1384, 8}, {1772, 8}, {2160, 8}, {2548, 8}, {2832, 8},
70   {212, 8}, {600, 8}, {988, 8}, {1376, 8}, {1764, 8}, {2152, 8}, {2540, 8},
71   {2824, 8}, {204, 8}, {592, 8}, {980, 8}, {1368, 8}, {1756, 8}, {2144, 8},
72   {2532, 8}, {2816, 8}, {196, 8}, {584, 8}, {972, 8}, {1360, 8}, {1748, 8},
73   {2136, 8}, {2524, 8}, {2808, 8}, {188, 8}, {576, 8}, {964, 8}, {1352, 8},
74   {1740, 8}, {2128, 8}, {2516, 8}, {2800, 8}, {180, 8}, {568, 8}, {956, 8},
75   {1344, 8}, {1732, 8}, {2120, 8}, {2508, 8}, {2792, 8}, {172, 8}, {560, 8},
76   {948, 8}, {1336, 8}, {1724, 8}, {2112, 8}, {2500, 8}, {2784, 8}, {164, 8},
77   {552, 8}, {940, 8}, {1328, 8}, {1716, 8}, {2104, 8}, {2492, 8}, {2776, 8},
78   {156, 8}, {544, 8}, {932, 8}, {1320, 8}, {1708, 8}, {2096, 8}, {2484, 8},
79   {2768, 8}, {148, 8}, {536, 8}, {924, 8}, {1312, 8}, {1700, 8}, {2088, 8},
80   {2476, 8}, {2760, 8}, {140, 8}, {528, 8}, {916, 8}, {1304, 8}, {1692, 8},
81   {2080, 8}, {2468, 8}, {2752, 8}, {132, 8}, {520, 8}, {908, 8}, {1296, 8},
82   {1684, 8}, {2072, 8}, {2460, 8}, {2744, 8}, {124, 8}, {512, 8}, {900, 8},
83   {1288, 8}, {1676, 8}, {2064, 8}, {2452, 8}, {2736, 8}, {116, 8}, {504, 8},
84   {892, 8}, {1280, 8}, {1668, 8}, {2056, 8}, {2444, 8}, {2728, 8}, {108, 8},
85   {496, 8}, {884, 8}, {1272, 8}, {1660, 8}, {2048, 8}, {2436, 8}, {2720, 8},
86   {100, 8}, {488, 8}, {876, 8}, {1264, 8}, {1652, 8}, {2040, 8}, {2428, 8},
87   {2716, 4}, {92, 8}, {480, 8}, {868, 8}, {1256, 8}, {1644, 8}, {2032, 8},
88   {2420, 8}, {84, 8}, {472, 8}, {860, 8}, {1248, 8}, {1636, 8}, {2024, 8},
89   {2412, 8}, {76, 8}, {464, 8}, {852, 8}, {1240, 8}, {1628, 8}, {2016, 8},
90   {2404, 8}, {68, 8}, {456, 8}, {844, 8}, {1232, 8}, {1620, 8}, {2008, 8},
91   {2396, 8}, {60, 8}, {448, 8}, {836, 8}, {1224, 8}, {1612, 8}, {2000, 8},
92   {2388, 8}, {52, 8}, {440, 8}, {828, 8}, {1216, 8}, {1604, 8}, {1992, 8},
93   {2380, 8}, {44, 8}, {432, 8}, {820, 8}, {1208, 8}, {1596, 8}, {1984, 8},
94   {2372, 8}, {36, 8}, {424, 8}, {812, 8}, {1200, 8}, {1588, 8}, {1976, 8},
95   {2364, 8}, {28, 8}, {416, 8}, {804, 8}, {1192, 8}, {1580, 8}, {1968, 8},
96   {2356, 8}, {20, 8}, {408, 8}, {796, 8}, {1184, 8}, {1572, 8}, {1960, 8},
97   {2348, 8}, {12, 8}, {400, 8}, {788, 8}, {1176, 8}, {1564, 8}, {1952, 8},
98   {2340, 8}, {4, 8}, {392, 8}, {780, 8}, {1168, 8}, {1556, 8}, {1944, 8},
99   {2332, 8},
100   /* missing from original data set */
101   {388, 4}, {776, 4}, {1164, 4}, {1552, 4}, {1940, 4}, {2328, 4},
102 };
103 /* *INDENT-ON* */
104
105 int
106 pattern_cmp (const void *arg1, const void *arg2)
107 {
108   test_pattern_t *a1 = (test_pattern_t *) arg1;
109   test_pattern_t *a2 = (test_pattern_t *) arg2;
110
111   if (a1->offset < a2->offset)
112     return -1;
113   else if (a1->offset > a2->offset)
114     return 1;
115   return 0;
116 }
117
118 static u8
119 fifo_validate_pattern (vlib_main_t * vm, test_pattern_t * pattern,
120                        u32 pattern_length)
121 {
122   test_pattern_t *tp = pattern;
123   int i;
124
125   /* Go through the pattern and make 100% sure it's sane */
126   for (i = 0; i < pattern_length - 1; i++)
127     {
128       if (tp->offset + tp->len != (tp + 1)->offset)
129         {
130           vlib_cli_output (vm, "[%d] missing {%d, %d}", i,
131                            (tp->offset + tp->len),
132                            (tp + 1)->offset - (tp->offset + tp->len));
133           return 0;
134         }
135       tp++;
136     }
137   return 1;
138 }
139
140 static test_pattern_t *
141 fifo_get_validate_pattern (vlib_main_t * vm, test_pattern_t * test_data,
142                            u32 test_data_len)
143 {
144   test_pattern_t *validate_pattern = 0;
145
146   /* Validate, and try segments in order... */
147   vec_validate (validate_pattern, test_data_len - 1);
148   memcpy (validate_pattern, test_data,
149           test_data_len * sizeof (test_pattern_t));
150   qsort ((u8 *) validate_pattern, test_data_len, sizeof (test_pattern_t),
151          pattern_cmp);
152
153   if (fifo_validate_pattern (vm, validate_pattern, test_data_len) == 0)
154     return 0;
155
156   return validate_pattern;
157 }
158
159 static svm_fifo_t *
160 fifo_prepare (u32 fifo_size)
161 {
162   svm_fifo_t *f;
163   f = svm_fifo_create (fifo_size);
164
165   /* Paint fifo data vector with -1's */
166   clib_memset (f->head_chunk->data, 0xFF, fifo_size);
167
168   return f;
169 }
170
171 static int
172 compare_data (u8 * data1, u8 * data2, u32 start, u32 len, u32 * index)
173 {
174   int i;
175
176   for (i = start; i < len; i++)
177     {
178       if (data1[i] != data2[i])
179         {
180           *index = i;
181           return 1;
182         }
183     }
184   return 0;
185 }
186
187 int
188 tcp_test_fifo1 (vlib_main_t * vm, unformat_input_t * input)
189 {
190   svm_fifo_t *f;
191   u32 fifo_size = 1 << 20;
192   u32 *test_data = 0;
193   u32 offset;
194   int i, rv, verbose = 0;
195   u32 data_word, test_data_len, j;
196   ooo_segment_t *ooo_seg;
197   u8 *data, *s, *data_buf = 0;
198
199   while (unformat_check_input (input) != UNFORMAT_END_OF_INPUT)
200     {
201       if (unformat (input, "verbose"))
202         verbose = 1;
203     }
204
205   test_data_len = fifo_size / sizeof (u32);
206   vec_validate (test_data, test_data_len - 1);
207
208   for (i = 0; i < vec_len (test_data); i++)
209     test_data[i] = i;
210
211   f = fifo_prepare (fifo_size);
212
213   /*
214    * Enqueue an initial (un-dequeued) chunk
215    */
216   rv = svm_fifo_enqueue_nowait (f, sizeof (u32), (u8 *) test_data);
217   SFIFO_TEST ((rv == sizeof (u32)), "enqueued %d", rv);
218   SFIFO_TEST ((f->tail == 4), "fifo tail %u", f->tail);
219
220   /*
221    * Create 3 chunks in the future. The offsets are relative
222    * to the current fifo tail
223    */
224   for (i = 0; i < 3; i++)
225     {
226       offset = (2 * i + 1) * sizeof (u32) - f->tail;
227       data = (u8 *) (test_data + (2 * i + 1));
228       if (i == 0)
229         {
230           rv = svm_fifo_enqueue_nowait (f, sizeof (u32), data);
231           rv = rv > 0 ? 0 : rv;
232         }
233       else
234         rv = svm_fifo_enqueue_with_offset (f, offset, sizeof (u32), data);
235       if (verbose)
236         vlib_cli_output (vm, "add [%d] [%d, %d]", 2 * i + 1, offset,
237                          offset + sizeof (u32));
238       if (rv)
239         {
240           clib_warning ("enqueue returned %d", rv);
241           goto err;
242         }
243     }
244
245   if (verbose)
246     vlib_cli_output (vm, "fifo after odd segs: %U", format_svm_fifo, f, 1);
247
248   SFIFO_TEST ((f->tail == 8), "fifo tail %u", f->tail);
249   SFIFO_TEST ((svm_fifo_number_ooo_segments (f) == 2),
250               "number of ooo segments %u", svm_fifo_number_ooo_segments (f));
251
252   /*
253    * Try adding a completely overlapped segment
254    */
255   offset = 3 * sizeof (u32) - f->tail;
256   data = (u8 *) (test_data + 3);
257   rv = svm_fifo_enqueue_with_offset (f, offset, sizeof (u32), data);
258   if (rv)
259     {
260       clib_warning ("enqueue returned %d", rv);
261       goto err;
262     }
263
264   if (verbose)
265     vlib_cli_output (vm, "fifo after overlap seg: %U", format_svm_fifo, f, 1);
266
267   SFIFO_TEST ((svm_fifo_number_ooo_segments (f) == 2),
268               "number of ooo segments %u", svm_fifo_number_ooo_segments (f));
269
270   /*
271    * Make sure format functions are not buggy
272    */
273   s = format (0, "%U", format_svm_fifo, f, 2);
274   vec_free (s);
275
276   /*
277    * Paint some of missing data backwards
278    */
279   for (i = 3; i > 1; i--)
280     {
281       offset = (2 * i + 0) * sizeof (u32) - f->tail;
282       data = (u8 *) (test_data + (2 * i + 0));
283       rv = svm_fifo_enqueue_with_offset (f, offset, sizeof (u32), data);
284       if (verbose)
285         vlib_cli_output (vm, "add [%d] [%d, %d]", 2 * i, offset,
286                          offset + sizeof (u32));
287       if (rv)
288         {
289           clib_warning ("enqueue returned %d", rv);
290           goto err;
291         }
292     }
293
294   if (verbose)
295     vlib_cli_output (vm, "fifo before missing link: %U", format_svm_fifo, f,
296                      1);
297   SFIFO_TEST ((svm_fifo_number_ooo_segments (f) == 1),
298               "number of ooo segments %u", svm_fifo_number_ooo_segments (f));
299   ooo_seg = svm_fifo_first_ooo_segment (f);
300   SFIFO_TEST ((ooo_seg->start == 12),
301               "first ooo seg position %u", ooo_seg->start);
302   SFIFO_TEST ((ooo_seg->length == 16),
303               "first ooo seg length %u", ooo_seg->length);
304
305   /*
306    * Enqueue the missing u32
307    */
308   rv = svm_fifo_enqueue_nowait (f, sizeof (u32), (u8 *) (test_data + 2));
309   if (verbose)
310     vlib_cli_output (vm, "fifo after missing link: %U", format_svm_fifo, f,
311                      1);
312   SFIFO_TEST ((rv == 20), "bytes to be enqueued %u", rv);
313   SFIFO_TEST ((svm_fifo_number_ooo_segments (f) == 0),
314               "number of ooo segments %u", svm_fifo_number_ooo_segments (f));
315
316   /*
317    * Collect results
318    */
319   for (i = 0; i < 7; i++)
320     {
321       rv = svm_fifo_dequeue_nowait (f, sizeof (u32), (u8 *) & data_word);
322       if (rv != sizeof (u32))
323         {
324           clib_warning ("bytes dequeues %u", rv);
325           goto err;
326         }
327       if (data_word != test_data[i])
328         {
329           clib_warning ("recovered [%d] %d not %d", i, data_word,
330                         test_data[i]);
331           goto err;
332         }
333     }
334
335   /*
336    * Test segment overlaps: last ooo segment overlaps all
337    */
338   svm_fifo_free (f);
339   f = fifo_prepare (fifo_size);
340
341   for (i = 0; i < 4; i++)
342     {
343       offset = (2 * i + 1) * sizeof (u32) - f->tail;
344       data = (u8 *) (test_data + (2 * i + 1));
345       rv = svm_fifo_enqueue_with_offset (f, offset, sizeof (u32), data);
346       if (verbose)
347         vlib_cli_output (vm, "add [%d] [%d, %d]", 2 * i + 1, offset,
348                          offset + sizeof (u32));
349       if (rv)
350         {
351           clib_warning ("enqueue returned %d", rv);
352           goto err;
353         }
354     }
355
356   rv = svm_fifo_enqueue_with_offset (f, 8 - f->tail, 21, data);
357   SFIFO_TEST ((rv == 0), "ooo enqueued %u", rv);
358   SFIFO_TEST ((svm_fifo_number_ooo_segments (f) == 1),
359               "number of ooo segments %u", svm_fifo_number_ooo_segments (f));
360
361   vec_validate (data_buf, vec_len (data));
362   svm_fifo_peek (f, 0, vec_len (data), data_buf);
363   if (compare_data (data_buf, data, 8, vec_len (data), &j))
364     {
365       SFIFO_TEST (0, "[%d] peeked %u expected %u", j, data_buf[j], data[j]);
366     }
367   vec_reset_length (data_buf);
368
369   /*
370    * Test segment overlaps: enqueue and overlap ooo segments
371    */
372   svm_fifo_free (f);
373   f = fifo_prepare (fifo_size);
374
375   for (i = 0; i < 4; i++)
376     {
377       offset = (2 * i + 1) * sizeof (u32) - f->tail;
378       data = (u8 *) (test_data + (2 * i + 1));
379       rv = svm_fifo_enqueue_with_offset (f, offset, sizeof (u32), data);
380       if (verbose)
381         vlib_cli_output (vm, "add [%d] [%d, %d]", 2 * i + 1, offset,
382                          offset + sizeof (u32));
383       if (rv)
384         {
385           clib_warning ("enqueue returned %d", rv);
386           goto err;
387         }
388     }
389
390   if (verbose)
391     vlib_cli_output (vm, "fifo after enqueue: %U", format_svm_fifo, f, 1);
392
393   rv = svm_fifo_enqueue_nowait (f, 29, data);
394   if (verbose)
395     vlib_cli_output (vm, "fifo after enqueueing 29: %U", format_svm_fifo, f,
396                      1);
397   SFIFO_TEST ((rv == 32), "ooo enqueued %u", rv);
398   SFIFO_TEST ((svm_fifo_number_ooo_segments (f) == 0),
399               "number of ooo segments %u", svm_fifo_number_ooo_segments (f));
400
401   vec_validate (data_buf, vec_len (data));
402   svm_fifo_peek (f, 0, vec_len (data), data_buf);
403   if (compare_data (data_buf, data, 0, vec_len (data), &j))
404     {
405       SFIFO_TEST (0, "[%d] peeked %u expected %u", j, data_buf[j], data[j]);
406     }
407
408   /* Try to peek beyond the data */
409   rv = svm_fifo_peek (f, svm_fifo_max_dequeue (f), vec_len (data), data_buf);
410   SFIFO_TEST ((rv == 0), "peeked %u expected 0", rv);
411
412   vec_free (data_buf);
413   svm_fifo_free (f);
414   vec_free (test_data);
415
416   return 0;
417
418 err:
419   svm_fifo_free (f);
420   vec_free (test_data);
421   return -1;
422 }
423
424 static int
425 tcp_test_fifo2 (vlib_main_t * vm)
426 {
427   svm_fifo_t *f;
428   u32 fifo_size = 1 << 20;
429   int i, rv, test_data_len;
430   u64 data64;
431   test_pattern_t *tp, *vp, *test_data;
432   ooo_segment_t *ooo_seg;
433
434   test_data = test_pattern;
435   test_data_len = ARRAY_LEN (test_pattern);
436
437   vp = fifo_get_validate_pattern (vm, test_data, test_data_len);
438
439   /* Create a fifo */
440   f = fifo_prepare (fifo_size);
441
442   /*
443    * Try with sorted data
444    */
445   for (i = 0; i < test_data_len; i++)
446     {
447       tp = vp + i;
448       data64 = tp->offset;
449       svm_fifo_enqueue_with_offset (f, tp->offset - f->tail, tp->len,
450                                     (u8 *) & data64);
451     }
452
453   /* Expected result: one big fat chunk at offset 4 */
454   SFIFO_TEST ((svm_fifo_number_ooo_segments (f) == 1),
455               "number of ooo segments %u", svm_fifo_number_ooo_segments (f));
456   ooo_seg = svm_fifo_first_ooo_segment (f);
457   SFIFO_TEST ((ooo_seg->start == 4),
458               "first ooo seg position %u", ooo_seg->start);
459   SFIFO_TEST ((ooo_seg->length == 2996),
460               "first ooo seg length %u", ooo_seg->length);
461
462   data64 = 0;
463   rv = svm_fifo_enqueue_nowait (f, sizeof (u32), (u8 *) & data64);
464   SFIFO_TEST ((rv == 3000), "bytes to be enqueued %u", rv);
465
466   svm_fifo_free (f);
467   vec_free (vp);
468
469   /*
470    * Now try it again w/ unsorted data...
471    */
472
473   f = fifo_prepare (fifo_size);
474
475   for (i = 0; i < test_data_len; i++)
476     {
477       tp = &test_data[i];
478       data64 = tp->offset;
479       rv = svm_fifo_enqueue_with_offset (f, tp->offset - f->tail, tp->len,
480                                          (u8 *) & data64);
481       if (rv)
482         {
483           clib_warning ("enqueue returned %d", rv);
484         }
485     }
486
487   /* Expecting the same result: one big fat chunk at offset 4 */
488   SFIFO_TEST ((svm_fifo_number_ooo_segments (f) == 1),
489               "number of ooo segments %u", svm_fifo_number_ooo_segments (f));
490   ooo_seg = svm_fifo_first_ooo_segment (f);
491   SFIFO_TEST ((ooo_seg->start == 4),
492               "first ooo seg position %u", ooo_seg->start);
493   SFIFO_TEST ((ooo_seg->length == 2996),
494               "first ooo seg length %u", ooo_seg->length);
495
496   data64 = 0;
497   rv = svm_fifo_enqueue_nowait (f, sizeof (u32), (u8 *) & data64);
498
499   SFIFO_TEST ((rv == 3000), "bytes to be enqueued %u", rv);
500
501   svm_fifo_free (f);
502
503   return 0;
504 }
505
506 static int
507 tcp_test_fifo3 (vlib_main_t * vm, unformat_input_t * input)
508 {
509   svm_fifo_t *f;
510   u32 fifo_size = 4 << 10;
511   u32 fifo_initial_offset = 0;
512   u32 total_size = 2 << 10;
513   int overlap = 0, verbose = 0, randomize = 1, drop = 0, in_seq_all = 0;
514   u8 *data_pattern = 0, *data_buf = 0;
515   test_pattern_t *tp, *generate = 0;
516   u32 nsegs = 2, seg_size, length_so_far;
517   u32 current_offset, offset_increment, len_this_chunk;
518   u32 seed = 0xdeaddabe, j;
519   int i, rv;
520
521   while (unformat_check_input (input) != UNFORMAT_END_OF_INPUT)
522     {
523       if (unformat (input, "fifo-size %d", &fifo_size))
524         ;
525       else if (unformat (input, "total-size %d", &total_size))
526         ;
527       else if (unformat (input, "verbose"))
528         verbose = 1;
529       else if (unformat (input, "overlap"))
530         overlap = 1;
531       else if (unformat (input, "initial-offset %d", &fifo_initial_offset))
532         ;
533       else if (unformat (input, "seed %d", &seed))
534         ;
535       else if (unformat (input, "nsegs %d", &nsegs))
536         ;
537       else if (unformat (input, "no-randomize"))
538         randomize = 0;
539       else if (unformat (input, "in-seq-all"))
540         in_seq_all = 1;
541       else if (unformat (input, "drop"))
542         drop = 1;
543       else
544         {
545           clib_error_t *e = clib_error_return
546             (0, "unknown input `%U'", format_unformat_error, input);
547           clib_error_report (e);
548           return -1;
549         }
550     }
551
552   if (total_size > fifo_size)
553     {
554       clib_warning ("total_size %d greater than fifo size %d", total_size,
555                     fifo_size);
556       return -1;
557     }
558   if (overlap && randomize == 0)
559     {
560       clib_warning ("Can't enqueue in-order with overlap");
561       return -1;
562     }
563
564   /*
565    * Generate data
566    */
567   vec_validate (data_pattern, total_size - 1);
568   for (i = 0; i < vec_len (data_pattern); i++)
569     data_pattern[i] = i & 0xff;
570
571   /*
572    * Generate segments
573    */
574   seg_size = total_size / nsegs;
575   length_so_far = 0;
576   current_offset = randomize;
577   while (length_so_far < total_size)
578     {
579       vec_add2 (generate, tp, 1);
580       len_this_chunk = clib_min (seg_size, total_size - length_so_far);
581       tp->offset = current_offset;
582       tp->len = len_this_chunk;
583
584       if (overlap && (len_this_chunk == seg_size))
585         do
586           {
587             offset_increment = len_this_chunk
588               % (1 + (random_u32 (&seed) % len_this_chunk));
589           }
590         while (offset_increment == 0);
591       else
592         offset_increment = len_this_chunk;
593
594       current_offset += offset_increment;
595       length_so_far = tp->offset + tp->len;
596     }
597
598   /*
599    * Validate segment list. Only valid for non-overlap cases.
600    */
601   if (overlap == 0)
602     fifo_validate_pattern (vm, generate, vec_len (generate));
603
604   if (verbose)
605     {
606       vlib_cli_output (vm, "raw data pattern:");
607       for (i = 0; i < vec_len (generate); i++)
608         {
609           vlib_cli_output (vm, "[%d] offset %u len %u", i,
610                            generate[i].offset, generate[i].len);
611         }
612     }
613
614   /* Randomize data pattern */
615   if (randomize)
616     {
617       for (i = 0; i < vec_len (generate) / 2; i++)
618         {
619           u32 src_index, dst_index;
620           test_pattern_t _tmp, *tmp = &_tmp;
621
622           src_index = random_u32 (&seed) % vec_len (generate);
623           dst_index = random_u32 (&seed) % vec_len (generate);
624
625           tmp[0] = generate[dst_index];
626           generate[dst_index] = generate[src_index];
627           generate[src_index] = tmp[0];
628         }
629       if (verbose)
630         {
631           vlib_cli_output (vm, "randomized data pattern:");
632           for (i = 0; i < vec_len (generate); i++)
633             {
634               vlib_cli_output (vm, "[%d] offset %u len %u", i,
635                                generate[i].offset, generate[i].len);
636             }
637         }
638     }
639
640   /*
641    * Create a fifo and add segments
642    */
643   f = fifo_prepare (fifo_size);
644
645   /* manually set head and tail pointers to validate modular arithmetic */
646   fifo_initial_offset = fifo_initial_offset % fifo_size;
647   svm_fifo_init_pointers (f, fifo_initial_offset);
648
649   for (i = !randomize; i < vec_len (generate); i++)
650     {
651       tp = generate + i;
652       svm_fifo_enqueue_with_offset (f,
653                                     fifo_initial_offset + tp->offset -
654                                     f->tail, tp->len,
655                                     (u8 *) data_pattern + tp->offset);
656     }
657
658   /* Add the first segment in order for non random data */
659   if (!randomize)
660     svm_fifo_enqueue_nowait (f, generate[0].len, (u8 *) data_pattern);
661
662   /*
663    * Expected result: one big fat chunk at offset 1 if randomize == 1
664    */
665
666   if (verbose)
667     vlib_cli_output (vm, "fifo before missing link: %U",
668                      format_svm_fifo, f, 1 /* verbose */ );
669
670   /*
671    * Add the missing byte if segments were randomized
672    */
673   if (randomize)
674     {
675       u32 bytes_to_enq = 1;
676       if (in_seq_all)
677         bytes_to_enq = total_size;
678       rv = svm_fifo_enqueue_nowait (f, bytes_to_enq, data_pattern + 0);
679
680       if (verbose)
681         vlib_cli_output (vm, "in-order enqueue returned %d", rv);
682
683       SFIFO_TEST ((rv == total_size), "enqueued %u expected %u", rv,
684                   total_size);
685
686     }
687
688   SFIFO_TEST ((svm_fifo_has_ooo_data (f) == 0), "number of ooo segments %u",
689               svm_fifo_number_ooo_segments (f));
690
691   /*
692    * Test if peeked data is the same as original data
693    */
694   vec_validate (data_buf, vec_len (data_pattern));
695   svm_fifo_peek (f, 0, vec_len (data_pattern), data_buf);
696   if (compare_data (data_buf, data_pattern, 0, vec_len (data_pattern), &j))
697     {
698       SFIFO_TEST (0, "[%d] peeked %u expected %u", j, data_buf[j],
699                   data_pattern[j]);
700     }
701   vec_reset_length (data_buf);
702
703   /*
704    * Dequeue or drop all data
705    */
706   if (drop)
707     {
708       svm_fifo_dequeue_drop (f, vec_len (data_pattern));
709     }
710   else
711     {
712       svm_fifo_dequeue_nowait (f, vec_len (data_pattern), data_buf);
713       if (compare_data
714           (data_buf, data_pattern, 0, vec_len (data_pattern), &j))
715         {
716           SFIFO_TEST (0, "[%d] dequeued %u expected %u", j, data_buf[j],
717                       data_pattern[j]);
718         }
719     }
720
721   SFIFO_TEST ((svm_fifo_max_dequeue (f) == 0), "fifo has %d bytes",
722               svm_fifo_max_dequeue (f));
723
724   svm_fifo_free (f);
725   vec_free (data_pattern);
726   vec_free (data_buf);
727
728   return 0;
729 }
730
731 static int
732 tcp_test_fifo4 (vlib_main_t * vm, unformat_input_t * input)
733 {
734   svm_fifo_t *f;
735   u32 fifo_size = 6 << 10;
736   u32 fifo_initial_offset = 1000000000;
737   u32 test_n_bytes = 5000, j;
738   u8 *test_data = 0, *data_buf = 0;
739   int i, rv, verbose = 0;
740
741   while (unformat_check_input (input) != UNFORMAT_END_OF_INPUT)
742     {
743       if (unformat (input, "verbose"))
744         verbose = 1;
745       else
746         {
747           clib_error_t *e = clib_error_return
748             (0, "unknown input `%U'", format_unformat_error, input);
749           clib_error_report (e);
750           return -1;
751         }
752     }
753
754   /*
755    * Create a fifo and add segments
756    */
757   f = fifo_prepare (fifo_size);
758
759   /* Set head and tail pointers */
760   fifo_initial_offset = fifo_initial_offset % fifo_size;
761   svm_fifo_init_pointers (f, fifo_initial_offset);
762
763   vec_validate (test_data, test_n_bytes - 1);
764   for (i = 0; i < vec_len (test_data); i++)
765     test_data[i] = i;
766
767   for (i = test_n_bytes - 1; i > 0; i--)
768     {
769       rv = svm_fifo_enqueue_with_offset (f, fifo_initial_offset + i - f->tail,
770                                          sizeof (u8), &test_data[i]);
771       if (verbose)
772         vlib_cli_output (vm, "add [%d] [%d, %d]", i, i, i + sizeof (u8));
773       if (rv)
774         {
775           clib_warning ("enqueue returned %d", rv);
776           svm_fifo_free (f);
777           vec_free (test_data);
778           return -1;
779         }
780     }
781
782   svm_fifo_enqueue_nowait (f, sizeof (u8), &test_data[0]);
783
784   vec_validate (data_buf, vec_len (test_data));
785
786   svm_fifo_dequeue_nowait (f, vec_len (test_data), data_buf);
787   rv = compare_data (data_buf, test_data, 0, vec_len (test_data), &j);
788   if (rv)
789     vlib_cli_output (vm, "[%d] dequeued %u expected %u", j, data_buf[j],
790                      test_data[j]);
791   SFIFO_TEST ((rv == 0), "dequeued compared to original returned %d", rv);
792
793   svm_fifo_free (f);
794   vec_free (test_data);
795   return 0;
796 }
797
798 static u32
799 fifo_pos (svm_fifo_t * f, u32 pos)
800 {
801   return pos;
802 }
803
804 static int
805 tcp_test_fifo5 (vlib_main_t * vm, unformat_input_t * input)
806 {
807   svm_fifo_t *f;
808   u32 fifo_size = 401, j = 0, offset = 200;
809   int i, rv, verbose = 0;
810   u8 *test_data = 0, *data_buf = 0;
811   ooo_segment_t *ooo_seg;
812
813   while (unformat_check_input (input) != UNFORMAT_END_OF_INPUT)
814     {
815       if (unformat (input, "verbose"))
816         verbose = 1;
817       else
818         {
819           clib_error_t *e = clib_error_return (0, "unknown input `%U'",
820                                                format_unformat_error, input);
821           clib_error_report (e);
822           return -1;
823         }
824     }
825
826   f = fifo_prepare (fifo_size);
827   svm_fifo_init_pointers (f, offset);
828
829   vec_validate (test_data, 399);
830   for (i = 0; i < vec_len (test_data); i++)
831     test_data[i] = i % 0xff;
832
833   /*
834    * Start with [100, 200] and [300, 400]
835    */
836   svm_fifo_enqueue_with_offset (f, 100, 100, &test_data[100]);
837   svm_fifo_enqueue_with_offset (f, 300, 100, &test_data[300]);
838
839   SFIFO_TEST ((svm_fifo_number_ooo_segments (f) == 2),
840               "number of ooo segments %u", svm_fifo_number_ooo_segments (f));
841   SFIFO_TEST ((f->ooos_newest == 1), "newest %u", f->ooos_newest);
842   if (verbose)
843     vlib_cli_output (vm, "fifo after [100, 200] and [300, 400] : %U",
844                      format_svm_fifo, f, 2 /* verbose */ );
845
846   /*
847    * Add [225, 275]
848    */
849
850   rv = svm_fifo_enqueue_with_offset (f, 225, 50, &test_data[200]);
851   if (verbose)
852     vlib_cli_output (vm, "fifo after [225, 275] : %U",
853                      format_svm_fifo, f, 2 /* verbose */ );
854   SFIFO_TEST ((svm_fifo_number_ooo_segments (f) == 3),
855               "number of ooo segments %u", svm_fifo_number_ooo_segments (f));
856   ooo_seg = svm_fifo_first_ooo_segment (f);
857   SFIFO_TEST ((ooo_seg->start == fifo_pos (f, 100 + offset)),
858               "first seg start %u expected %u", ooo_seg->start,
859               fifo_pos (f, 100 + offset));
860   SFIFO_TEST ((ooo_seg->length == 100), "first seg length %u expected %u",
861               ooo_seg->length, 100);
862   ooo_seg = ooo_segment_next (f, ooo_seg);
863   SFIFO_TEST ((ooo_seg->start == fifo_pos (f, 225 + offset)),
864               "second seg start %u expected %u",
865               ooo_seg->start, fifo_pos (f, 225 + offset));
866   SFIFO_TEST ((ooo_seg->length == 50), "second seg length %u expected %u",
867               ooo_seg->length, 50);
868   ooo_seg = ooo_segment_next (f, ooo_seg);
869   SFIFO_TEST ((ooo_seg->start == fifo_pos (f, 300 + offset)),
870               "third seg start %u expected %u",
871               ooo_seg->start, fifo_pos (f, 300 + offset));
872   SFIFO_TEST ((ooo_seg->length == 100), "third seg length %u expected %u",
873               ooo_seg->length, 100);
874   SFIFO_TEST ((f->ooos_newest == 2), "newest %u", f->ooos_newest);
875   /*
876    * Add [190, 310]
877    */
878   rv = svm_fifo_enqueue_with_offset (f, 190, 120, &test_data[190]);
879   if (verbose)
880     vlib_cli_output (vm, "fifo after [190, 310] : %U",
881                      format_svm_fifo, f, 1 /* verbose */ );
882   SFIFO_TEST ((svm_fifo_number_ooo_segments (f) == 1),
883               "number of ooo segments %u", svm_fifo_number_ooo_segments (f));
884   ooo_seg = svm_fifo_first_ooo_segment (f);
885   SFIFO_TEST ((ooo_seg->start == fifo_pos (f, offset + 100)),
886               "first seg start %u expected %u",
887               ooo_seg->start, fifo_pos (f, offset + 100));
888   SFIFO_TEST ((ooo_seg->length == 300), "first seg length %u expected %u",
889               ooo_seg->length, 300);
890
891   /*
892    * Add [0, 150]
893    */
894   rv = svm_fifo_enqueue_nowait (f, 150, test_data);
895
896   if (verbose)
897     vlib_cli_output (vm, "fifo after [0 150] : %U", format_svm_fifo, f,
898                      2 /* verbose */ );
899
900   SFIFO_TEST ((rv == 400), "managed to enqueue %u expected %u", rv, 400);
901   SFIFO_TEST ((svm_fifo_number_ooo_segments (f) == 0),
902               "number of ooo segments %u", svm_fifo_number_ooo_segments (f));
903
904   vec_validate (data_buf, 399);
905   svm_fifo_peek (f, 0, 400, data_buf);
906   if (compare_data (data_buf, test_data, 0, 400, &j))
907     {
908       SFIFO_TEST (0, "[%d] peeked %u expected %u", j, data_buf[j],
909                   test_data[j]);
910     }
911
912   /*
913    * Add [100 200] and overlap it with [50 250]
914    */
915   svm_fifo_free (f);
916   f = fifo_prepare (fifo_size);
917
918   svm_fifo_enqueue_with_offset (f, 100, 100, &test_data[100]);
919   svm_fifo_enqueue_with_offset (f, 50, 200, &test_data[50]);
920   SFIFO_TEST ((svm_fifo_number_ooo_segments (f) == 1),
921               "number of ooo segments %u", svm_fifo_number_ooo_segments (f));
922   ooo_seg = svm_fifo_first_ooo_segment (f);
923   SFIFO_TEST ((ooo_seg->start == 50), "first seg start %u expected %u",
924               ooo_seg->start, 50);
925   SFIFO_TEST ((ooo_seg->length == 200), "first seg length %u expected %u",
926               ooo_seg->length, 200);
927
928   svm_fifo_free (f);
929   vec_free (test_data);
930   return 0;
931 }
932
933 static int
934 tcp_test_fifo_grow (vlib_main_t * vm, unformat_input_t * input)
935 {
936   int __clib_unused verbose, fifo_size = 201, start_offset = 100, i;
937   svm_fifo_chunk_t *c, *next, *prev;
938   svm_fifo_t *f;
939   u8 *buf = 0;
940
941   while (unformat_check_input (input) != UNFORMAT_END_OF_INPUT)
942     {
943       if (unformat (input, "verbose"))
944         verbose = 1;
945       else
946         {
947           vlib_cli_output (vm, "parse error: '%U'", format_unformat_error,
948                            input);
949           return -1;
950         }
951     }
952
953   f = fifo_prepare (fifo_size);
954   svm_fifo_init_pointers (f, start_offset);
955
956   /*
957    * Add with fifo not wrapped
958    */
959   c = clib_mem_alloc (sizeof (svm_fifo_chunk_t) + 100);
960   c->length = 100;
961   c->start_byte = ~0;
962   c->next = 0;
963
964   svm_fifo_add_chunk (f, c);
965
966   SFIFO_TEST (f->size == fifo_size + 100, "size expected %u is %u",
967               fifo_size + 100, f->size);
968   SFIFO_TEST (c->start_byte == fifo_size, "start byte expected %u is %u",
969               fifo_size, c->start_byte);
970
971   /*
972    *  Add with fifo wrapped
973    */
974
975   f->tail = f->head + f->nitems;
976   c = clib_mem_alloc (sizeof (svm_fifo_chunk_t) + 100);
977   c->length = 100;
978   c->start_byte = ~0;
979   c->next = 0;
980
981   svm_fifo_add_chunk (f, c);
982
983   SFIFO_TEST (f->end_chunk != c, "tail chunk should not be updated");
984   SFIFO_TEST (f->size == fifo_size + 100, "size expected %u is %u",
985               fifo_size + 100, f->size);
986   SFIFO_TEST (c->start_byte == ~0, "start byte expected %u is %u", ~0,
987               c->start_byte);
988
989   /*
990    * Unwrap fifo
991    */
992   vec_validate (buf, 200);
993   svm_fifo_dequeue_nowait (f, 201, buf);
994
995   SFIFO_TEST (f->end_chunk == c, "tail chunk should be updated");
996   SFIFO_TEST (f->size == fifo_size + 200, "size expected %u is %u",
997               fifo_size + 200, f->size);
998   SFIFO_TEST (c->start_byte == fifo_size + 100, "start byte expected %u is "
999               "%u", fifo_size + 100, c->start_byte);
1000
1001   /*
1002    * Add N chunks
1003    */
1004
1005   f->head = f->nitems - 100;
1006   f->tail = f->head + f->nitems;
1007
1008   prev = 0;
1009   for (i = 0; i < 5; i++)
1010     {
1011       c = clib_mem_alloc (sizeof (svm_fifo_chunk_t) + 100);
1012       c->length = 100;
1013       c->start_byte = ~0;
1014       c->next = prev;
1015       prev = c;
1016     }
1017
1018   svm_fifo_add_chunk (f, c);
1019   SFIFO_TEST (f->size == fifo_size + 200, "size expected %u is %u",
1020               fifo_size + 200, f->size);
1021
1022   prev = 0;
1023   for (i = 0; i < 5; i++)
1024     {
1025       c = clib_mem_alloc (sizeof (svm_fifo_chunk_t) + 100);
1026       c->length = 100;
1027       c->start_byte = ~0;
1028       c->next = prev;
1029       prev = c;
1030     }
1031
1032   svm_fifo_add_chunk (f, c);
1033   SFIFO_TEST (f->size == fifo_size + 200, "size expected %u is %u",
1034               fifo_size + 200, f->size);
1035
1036   svm_fifo_dequeue_nowait (f, 201, buf);
1037
1038   SFIFO_TEST (f->size == fifo_size + 200 + 10 * 100, "size expected %u is %u",
1039               fifo_size + 200 + 10 * 100, f->size);
1040
1041   /*
1042    * Cleanup
1043    */
1044   c = f->start_chunk->next;
1045   while (c && c != f->start_chunk)
1046     {
1047       next = c->next;
1048       clib_mem_free (c);
1049       c = next;
1050     }
1051
1052   svm_fifo_free (f);
1053
1054   vec_free (buf);
1055   return 0;
1056 }
1057
1058 /* *INDENT-OFF* */
1059 svm_fifo_trace_elem_t fifo_trace[] = {};
1060 /* *INDENT-ON* */
1061
1062 static int
1063 tcp_test_fifo_replay (vlib_main_t * vm, unformat_input_t * input)
1064 {
1065   svm_fifo_t f;
1066   int verbose = 0;
1067   u8 no_read = 0, *str = 0;
1068
1069   while (unformat_check_input (input) != UNFORMAT_END_OF_INPUT)
1070     {
1071       if (unformat (input, "verbose"))
1072         verbose = 1;
1073       else if (unformat (input, "no-read"))
1074         no_read = 1;
1075       else
1076         {
1077           clib_error_t *e = clib_error_return
1078             (0, "unknown input `%U'", format_unformat_error, input);
1079           clib_error_report (e);
1080           return -1;
1081         }
1082     }
1083
1084 #if SVMF_FIFO_TRACE
1085   f.trace = fifo_trace;
1086 #endif
1087
1088   str = svm_fifo_replay (str, &f, no_read, verbose);
1089   vlib_cli_output (vm, "%v", str);
1090   return 0;
1091 }
1092
1093 static clib_error_t *
1094 svm_fifo_test (vlib_main_t * vm, unformat_input_t * input,
1095                vlib_cli_command_t * cmd_arg)
1096 {
1097   int res = 0;
1098   char *str;
1099
1100   while (unformat_check_input (input) != UNFORMAT_END_OF_INPUT)
1101     {
1102       if (unformat (input, "fifo1"))
1103         res = tcp_test_fifo1 (vm, input);
1104       else if (unformat (input, "fifo2"))
1105         res = tcp_test_fifo2 (vm);
1106       else if (unformat (input, "fifo3"))
1107         res = tcp_test_fifo3 (vm, input);
1108       else if (unformat (input, "fifo4"))
1109         res = tcp_test_fifo4 (vm, input);
1110       else if (unformat (input, "fifo5"))
1111         res = tcp_test_fifo5 (vm, input);
1112       else if (unformat (input, "replay"))
1113         res = tcp_test_fifo_replay (vm, input);
1114       else if (unformat (input, "grow"))
1115         res = tcp_test_fifo_grow (vm, input);
1116       else if (unformat (input, "all"))
1117         {
1118           if ((res = tcp_test_fifo1 (vm, input)))
1119             goto done;
1120
1121           if ((res = tcp_test_fifo2 (vm)))
1122             goto done;
1123
1124           /*
1125            * Run a number of fifo3 configs
1126            */
1127           str = "nsegs 10 overlap seed 123";
1128           unformat_init_cstring (input, str);
1129           if ((res = tcp_test_fifo3 (vm, input)))
1130             goto done;
1131           unformat_free (input);
1132
1133           str = "nsegs 10 overlap seed 123 in-seq-all";
1134           unformat_init_cstring (input, str);
1135           if ((res = tcp_test_fifo3 (vm, input)))
1136             goto done;
1137           unformat_free (input);
1138
1139           str = "nsegs 10 overlap seed 123 initial-offset 3917";
1140           unformat_init_cstring (input, str);
1141           if ((res = tcp_test_fifo3 (vm, input)))
1142             goto done;
1143           unformat_free (input);
1144
1145           str = "nsegs 10 overlap seed 123 initial-offset 3917 drop";
1146           unformat_init_cstring (input, str);
1147           if ((res = tcp_test_fifo3 (vm, input)))
1148             goto done;
1149           unformat_free (input);
1150
1151           str = "nsegs 10 seed 123 initial-offset 3917 drop no-randomize";
1152           unformat_init_cstring (input, str);
1153           if ((res = tcp_test_fifo3 (vm, input)))
1154             goto done;
1155           unformat_free (input);
1156
1157           if ((res = tcp_test_fifo4 (vm, input)))
1158             goto done;
1159
1160           if ((res = tcp_test_fifo5 (vm, input)))
1161             goto done;
1162
1163           if ((res = tcp_test_fifo_grow (vm, input)))
1164             goto done;
1165         }
1166       else
1167         {
1168           vlib_cli_output (vm, "unknown input `%U'", format_unformat_error,
1169                            input);
1170           res = -1;
1171           goto done;
1172         }
1173
1174     }
1175
1176 done:
1177   if (res)
1178     return clib_error_return (0, "svm fifo unit test failed");
1179   return 0;
1180 }
1181
1182 /* *INDENT-OFF* */
1183 VLIB_CLI_COMMAND (svm_fifo_test_command, static) =
1184 {
1185   .path = "test svm fifo",
1186   .short_help = "internal svm fifo unit tests",
1187   .function = svm_fifo_test,
1188 };
1189 /* *INDENT-ON* */
1190
1191 /*
1192  * fd.io coding-style-patch-verification: ON
1193  *
1194  * Local Variables:
1195  * eval: (c-set-style "gnu")
1196  * End:
1197  */