8261ec115443e9b43c80b821e219736f0ef6ba2f
[csit.git] / resources / tools / presentation / specifications / report / elements.yaml
1 ################################################################################
2 ###                               T A B L E S                                ###
3 ################################################################################
4
5 # Statistics: job-specs' durations
6
7 - type: "table"
8   title: "Job Specification Duration: 2n-icx-iterative"
9   algorithm: "table_job_spec_duration"
10   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-icx-iter"
11   jb-type: "iterative"
12   lines:
13     - job-spec: "vpp-mrr-00"
14       data-set: "vpp-2n-icx-curr-iter-mrr"
15     - job-spec: "vpp-mlr-00"
16       data-set: "vpp-2n-icx-curr-iter"
17     # - job-spec: "vpp-gso-mrr-00"
18     #   data-set: "vpp-2n-icx-curr-iter-gso"
19     # - job-spec: "soak-00"
20     #   data-set: "vpp-2n-icx-curr-soak"
21     # - job-spec: "vsap-00"
22     #   data-set: "vpp-2n-icx-curr-iter-vsap"
23     # - job-spec: "nfv-density-mrr-00"
24     #   data-set: "vpp-2n-icx-curr-nfv-mrr"
25     # - job-spec: "nfv-density-mlr-00"
26     #   data-set: "vpp-2n-icx-curr-nfv-ndrpdr"
27     # - job-spec: "reconf-00"
28     #   data-set: "vpp-2n-icx-curr-nfv-reconf"
29     - job-spec: "dpdk-mlr-00"
30       data-set: "dpdk-2n-icx-curr-iter"
31
32 # - type: "table"
33 #   title: "Job Specification Duration: 2n-icx-coverage"
34 #   algorithm: "table_job_spec_duration"
35 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-icx-cov"
36 #   jb-type: "coverage"
37 #   data: "vpp-2n-icx-curr-cov"
38 #   lines:
39
40 - type: "table"
41   title: "Job Specification Duration: 3n-icx-iterative"
42   algorithm: "table_job_spec_duration"
43   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-icx-iter"
44   jb-type: "iterative"
45   lines:
46     - job-spec: "vpp-mrr-00"
47       data-set: "vpp-3n-icx-curr-iter-mrr"
48     - job-spec: "vpp-mlr-00"
49       data-set: "vpp-3n-icx-curr-iter"
50     # - job-spec: "vpp-gso-mrr-00"
51     #   data-set: "vpp-3n-icx-curr-iter-gso"
52     # - job-spec: "soak-00"
53     #   data-set: "vpp-3n-icx-curr-soak"
54     # - job-spec: "vsap-00"
55     #   data-set: "vpp-3n-icx-curr-iter-vsap"
56     # - job-spec: "nfv-density-mrr-00"
57     #   data-set: "vpp-3n-icx-curr-nfv-mrr"
58     # - job-spec: "nfv-density-mlr-00"
59     #   data-set: "vpp-3n-icx-curr-nfv-ndrpdr"
60     # - job-spec: "reconf-00"
61     #   data-set: "vpp-3n-icx-curr-nfv-reconf"
62     - job-spec: "dpdk-mlr-00"
63       data-set: "dpdk-3n-icx-curr-iter"
64
65 # - type: "table"
66 #   title: "Job Specification Duration: 3n-icx-coverage"
67 #   algorithm: "table_job_spec_duration"
68 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-icx-cov"
69 #   jb-type: "coverage"
70 #   data: "vpp-3n-icx-curr-cov"
71 #   lines:
72
73 - type: "table"
74   title: "Job Specification Duration: 2n-clx-iterative"
75   algorithm: "table_job_spec_duration"
76   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-clx-iter"
77   jb-type: "iterative"
78   lines:
79     - job-spec: "vpp-mrr-00"
80       data-set: "vpp-2n-clx-curr-iter-mrr"
81     - job-spec: "vpp-mlr-00"
82       data-set: "vpp-2n-clx-curr-iter"
83     - job-spec: "vpp-gso-mrr-00"
84       data-set: "vpp-2n-clx-curr-iter-gso"
85     - job-spec: "soak-00"
86       data-set: "vpp-2n-clx-curr-soak"
87     - job-spec: "vsap-00"
88       data-set: "vpp-2n-clx-curr-iter-vsap"
89     - job-spec: "nfv-density-mrr-00"
90       data-set: "vpp-2n-clx-curr-nfv-mrr"
91     - job-spec: "nfv-density-mlr-00"
92       data-set: "vpp-2n-clx-curr-nfv-ndrpdr"
93     - job-spec: "reconf-00"
94       data-set: "vpp-2n-clx-curr-nfv-reconf"
95     - job-spec: "dpdk-mlr-00"
96       data-set: "dpdk-2n-clx-curr-iter"
97
98 # - type: "table"
99 #   title: "Job Specification Duration: 2n-clx-coverage"
100 #   algorithm: "table_job_spec_duration"
101 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-clx-cov"
102 #   jb-type: "coverage"
103 #   data: "vpp-2n-clx-curr-cov"
104 #   lines:
105 #     - job-spec: "gso-00"
106 #       build: "18"
107 #     - job-spec: "ip4-00"
108 #       build: "19"
109 #     - job-spec: "ip4-01"
110 #       build: "20"
111 #     - job-spec: "ip4-02"
112 #       build: "21"
113 #     - job-spec: "ip4-03"
114 #       build: "22"
115 #     - job-spec: "ip4-04"
116 #       build: "23"
117 #     - job-spec: "ip4-05"
118 #       build: "24"
119 #     - job-spec: "ip4-06"
120 #       build: "25"
121 #     - job-spec: "ip4-07"
122 #       build: "26"
123 #     - job-spec: "ip4tun-00"
124 #       build: "27"
125 #     - job-spec: "ip6-00"
126 #       build: "28"
127 #     - job-spec: "ip6-01"
128 #       build: "29"
129 #     - job-spec: "l2-00"
130 #       build: "30"
131 #     - job-spec: "l2-01"
132 #       build: "31"
133 #     - job-spec: "lb-00"
134 #       build: "32"
135 #     - job-spec: "memif-00"
136 #       build: "33"
137 #     - job-spec: "vhost-00"
138 #       build: "34"
139
140 - type: "table"
141   title: "Job Specification Duration: 2n-dnv-iterative"
142   algorithm: "table_job_spec_duration"
143   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-dnv-iter"
144   jb-type: "iterative"
145   lines:
146     - job-spec: "vpp-mrr-00"
147       data-set: "vpp-2n-dnv-curr-iter-mrr"
148     - job-spec: "vpp-mlr-00"
149       data-set: "vpp-2n-dnv-curr-iter"
150
151 # - type: "table"
152 #   title: "Job Specification Duration: 2n-dnv-coverage"
153 #   algorithm: "table_job_spec_duration"
154 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-dnv-cov"
155 #   jb-type: "coverage"
156 #   data: "vpp-2n-dnv-curr-cov"
157 #   lines:
158 #     - job-spec: "ip4-00"
159 #       build: "7"
160 #     - job-spec: "ip4-01"
161 #       build: "8"
162 #     - job-spec: "ip6-00"
163 #       build: "9"
164 #     - job-spec: "ip6-01"
165 #       build: "10"
166 #     - job-spec: "l2-00"
167 #       build: "11"
168 #     - job-spec: "l2-01"
169 #       build: "12"
170
171 - type: "table"
172   title: "Job Specification Duration: 2n-aws-iterative"
173   algorithm: "table_job_spec_duration"
174   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-aws-iter"
175   jb-type: "iterative"
176   lines:
177     - job-spec: "vpp-mrr-00"
178       data-set: "vpp-2n-aws-curr-iter-mrr"
179     - job-spec: "vpp-mlr-00"
180       data-set: "vpp-2n-aws-curr-iter"
181
182 # - type: "table"
183 #   title: "Job Specification Duration: 2n-aws-coverage"
184 #   algorithm: "table_job_spec_duration"
185 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-aws-cov"
186 #   jb-type: "coverage"
187 #   data: "vpp-2n-aws-curr-cov"
188 #   lines:
189 #     - job-spec: "vpp-00"
190 #       build: "26"
191
192 - type: "table"
193   title: "Job Specification Duration: 3n-aws-iterative"
194   algorithm: "table_job_spec_duration"
195   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-aws-iter"
196   jb-type: "iterative"
197   lines:
198     - job-spec: "vpp-mrr-00"
199       data-set: "vpp-3n-aws-curr-iter-mrr"
200     - job-spec: "vpp-mlr-00"
201       data-set: "vpp-3n-aws-curr-iter"
202
203 # - type: "table"
204 #   title: "Job Specification Duration: 3n-aws-coverage"
205 #   algorithm: "table_job_spec_duration"
206 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-aws-cov"
207 #   jb-type: "coverage"
208 #   data: "vpp-3n-aws-curr-cov"
209 #   lines:
210 #     - job-spec: "vpp-00"
211 #       build: "34"
212
213 - type: "table"
214   title: "Job Specification Duration: 2n-skx-iterative"
215   algorithm: "table_job_spec_duration"
216   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-skx-iter"
217   jb-type: "iterative"
218   lines:
219     - job-spec: "vpp-mrr-00"
220       data-set: "vpp-2n-skx-curr-iter-mrr"
221     - job-spec: "vpp-mlr-00"
222       data-set: "vpp-2n-skx-curr-iter"
223     - job-spec: "vpp-gso-mrr-00"
224       data-set: "vpp-2n-skx-curr-gso"
225     - job-spec: "soak-00"
226       data-set: "vpp-2n-skx-curr-soak"
227     - job-spec: "nfv-density-mrr-00"
228       data-set: "vpp-2n-skx-curr-nfv-mrr"
229     - job-spec: "nfv-density-mlr-00"
230       data-set: "vpp-2n-skx-curr-nfv-ndrpdr"
231     - job-spec: "reconf-00"
232       data-set: "vpp-2n-skx-curr-nfv-reconf"
233     - job-spec: "dpdk-mlr-00"
234       data-set: "dpdk-2n-skx-curr-iter"
235     - job-spec: "trex-mlr-00"
236       data-set: "trex-2n-skx-curr-iter"
237
238 # - type: "table"
239 #   title: "Job Specification Duration: 2n-skx-coverage"
240 #   algorithm: "table_job_spec_duration"
241 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-skx-cov"
242 #   jb-type: "coverage"
243 #   data: "vpp-2n-skx-curr-cov"
244 #   lines:
245 #     - job-spec: "gso-00"
246 #       build: "18"
247 #     - job-spec: "ip4-00"
248 #       build: "19"
249 #     - job-spec: "ip4-01"
250 #       build: "20"
251 #     - job-spec: "ip4-02"
252 #       build: "21"
253 #     - job-spec: "ip4-03"
254 #       build: "22"
255 #     - job-spec: "ip4-04"
256 #       build: "23"
257 #     - job-spec: "ip4-05"
258 #       build: "24"
259 #     - job-spec: "ip4-06"
260 #       build: "25"
261 #     - job-spec: "ip4-07"
262 #       build: "26"
263 #     - job-spec: "ip4tun-00"
264 #       build: "27"
265 #     - job-spec: "ip6-00"
266 #       build: "28"
267 #     - job-spec: "ip6-01"
268 #       build: "29"
269 #     - job-spec: "l2-00"
270 #       build: "30"
271 #     - job-spec: "l2-01"
272 #       build: "31"
273 #     - job-spec: "lb-00"
274 #       build: "32"
275 #     - job-spec: "memif-00"
276 #       build: "33"
277 #     - job-spec: "vhost-00"
278 #       build: "34"
279
280 - type: "table"
281   title: "Job Specification Duration: 2n-tx2-iterative"
282   algorithm: "table_job_spec_duration"
283   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-tx2-iter"
284   jb-type: "iterative"
285   lines:
286     - job-spec: "vpp-mrr-00"
287       data-set: "vpp-2n-tx2-curr-iter-mrr"
288     - job-spec: "vpp-mlr-00"
289       data-set: "vpp-2n-tx2-curr-iter"
290
291 # - type: "table"
292 #   title: "Job Specification Duration: 2n-tx2-coverage"
293 #   algorithm: "table_job_spec_duration"
294 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-tx2-cov"
295 #   jb-type: "coverage"
296 #   data: "vpp-2n-tx2-curr-cov"
297 #   lines:
298 #     - job-spec: "ip4-00"
299 #       build: "1"
300 #     - job-spec: "ip4-01"
301 #       build: "2"
302 #     - job-spec: "ip4-02"
303 #       build: "3"
304 #     - job-spec: "ip4-03"
305 #       build: "4"
306 #     - job-spec: "ip4-04"
307 #       build: "5"
308 #     - job-spec: "ip4-05"
309 #       build: "6"
310 #     - job-spec: "ip4-06"
311 #       build: "7"
312 #     - job-spec: "ip6-00"
313 #       build: "8"
314 #     - job-spec: "ip6-01"
315 #       build: "9"
316 #     - job-spec: "l2-00"
317 #       build: "10"
318 #     - job-spec: "l2-01"
319 #       build: "11"
320 #     - job-spec: "l2-02"
321 #       build: "12"
322 #     - job-spec: "l2-03"
323 #       build: "13"
324 #     - job-spec: "l2-04"
325 #       build: "14"
326
327 - type: "table"
328   title: "Job Specification Duration: 2n-zn2-iterative"
329   algorithm: "table_job_spec_duration"
330   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-zn2-iter"
331   jb-type: "iterative"
332   lines:
333     - job-spec: "vpp-mrr-00"
334       data-set: "vpp-2n-zn2-curr-iter-mrr"
335     - job-spec: "vpp-mlr-00"
336       data-set: "vpp-2n-zn2-curr-iter"
337     - job-spec: "vpp-gso-mrr-00"
338       data-set: "vpp-2n-zn2-curr-iter-gso"
339     - job-spec: "dpdk-mlr-00"
340       data-set: "dpdk-2n-zn2-curr-iter"
341
342 # - type: "table"
343 #   title: "Job Specification Duration: 2n-zn2-coverage"
344 #   algorithm: "table_job_spec_duration"
345 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-zn2-cov"
346 #   jb-type: "coverage"
347 #   data: "vpp-2n-zn2-curr-cov"
348 #   lines:
349 #     - job-spec: "gso-00"
350 #       build: "1"
351 #     - job-spec: "ip4-00"
352 #       build: "2"
353 #     - job-spec: "ip4-01"
354 #       build: "3"
355 #     - job-spec: "ip4-02"
356 #       build: "4"
357 #     - job-spec: "ip4-03"
358 #       build: "18"
359 #     - job-spec: "ip4-04"
360 #       build: "6"
361 #     - job-spec: "ip4-05"
362 #       build: "7"
363 #     - job-spec: "ip4tun-00"
364 #       build: "8"
365 #     - job-spec: "ip6-00"
366 #       build: "9"
367 #     - job-spec: "ip6-01"
368 #       build: "19"
369 #     - job-spec: "l2-00"
370 #       build: "11"
371 #     - job-spec: "l2-01"
372 #       build: "12"
373 #     - job-spec: "lb-00"
374 #       build: "13"
375 #     - job-spec: "memif-00"
376 #       build: "14"
377 #     - job-spec: "vhost-00"
378 #       build: "15"
379
380 - type: "table"
381   title: "Job Specification Duration: 3n-dnv-iterative"
382   algorithm: "table_job_spec_duration"
383   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-dnv-iter"
384   jb-type: "iterative"
385   lines:
386     - job-spec: "vpp-mrr-00"
387       data-set: "vpp-3n-dnv-curr-iter-mrr"
388     - job-spec: "vpp-mlr-00"
389       data-set: "vpp-3n-dnv-curr-iter"
390
391 # - type: "table"
392 #   title: "Job Specification Duration: 3n-dnv-coverage"
393 #   algorithm: "table_job_spec_duration"
394 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-dnv-cov"
395 #   jb-type: "coverage"
396 #   data: "vpp-3n-dnv-curr-cov"
397 #   lines:
398 #     - job-spec: "crypto-00"
399 #       build: "12"
400 #     - job-spec: "crypto-01"
401 #       build: "13"
402 #     - job-spec: "crypto-02"
403 #       build: "14"
404 #     - job-spec: "ip4-00"
405 #       build: "15"
406 #     - job-spec: "ip4-01"
407 #       build: "16"
408 #     - job-spec: "ip4tun-00"
409 #       build: "17"
410 #     - job-spec: "ip6-00"
411 #       build: "18"
412 #     - job-spec: "ip6-01"
413 #       build: "19"
414 #     - job-spec: "l2-00"
415 #       build: "20"
416 #     - job-spec: "l2-01"
417 #       build: "21"
418
419 - type: "table"
420   title: "Job Specification Duration: 3n-skx-iterative"
421   algorithm: "table_job_spec_duration"
422   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-skx-iter"
423   jb-type: "iterative"
424   lines:
425     - job-spec: "vpp-mrr-00"
426       data-set: "vpp-3n-skx-curr-iter-mrr"
427     - job-spec: "vpp-mlr-00"
428       data-set: "vpp-3n-skx-curr-iter"
429     - job-spec: "hoststack-00"
430       data-set: "vpp-3n-skx-curr-iter-hoststack"
431     - job-spec: "dpdk-mlr-00"
432       data-set: "dpdk-3n-skx-curr-iter"
433
434 # - type: "table"
435 #   title: "Job Specification Duration: 3n-skx-coverage"
436 #   algorithm: "table_job_spec_duration"
437 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-skx-cov"
438 #   jb-type: "coverage"
439 #   data: "vpp-3n-skx-curr-cov"
440 #   lines:
441 #     - job-spec: "crypto-00"
442 #       build: "35"
443 #     - job-spec: "crypto-01"
444 #       build: "36"
445 #     - job-spec: "crypto-02"
446 #       build: "37"
447 #     - job-spec: "crypto-03"  # Completly failed
448 #       build: "38"
449 #     - job-spec: "crypto-04"
450 #       build: "39"
451 #     - job-spec: "ip4-00"
452 #       build: "40"
453 #     - job-spec: "ip4-01"
454 #       build: "41"
455 #     - job-spec: "ip4-02"
456 #       build: "42"
457 #     - job-spec: "ip4-03"
458 #       build: "43"
459 #     - job-spec: "ip4-04"
460 #       build: "44"
461 #     - job-spec: "ip4-05"
462 #       build: "45"
463 #     - job-spec: "ip4-06"
464 #       build: "46"
465 #     - job-spec: "ip4-07"
466 #       build: "47"
467 #     - job-spec: "ip4tun-00"
468 #       build: "48"
469 #     - job-spec: "ip4tun-02"
470 #       build: "49"
471 #     - job-spec: "ip6-00"
472 #       build: "50"
473 #     - job-spec: "ip6-01"
474 #       build: "51"
475 #     - job-spec: "ip6tun-00"
476 #       build: "52"
477 #     - job-spec: "l2-00"
478 #       build: "53"
479 #     - job-spec: "l2-01"
480 #       build: "54"
481 #     - job-spec: "l2-02"
482 #       build: "55"
483 #     - job-spec: "l2-03"
484 #       build: "56"
485 #     - job-spec: "l2-04"
486 #       build: "57"
487 #     - job-spec: "l2-05"
488 #       build: "58"
489 #     - job-spec: "l2-06"
490 #       build: "59"
491 #     - job-spec: "l2-07"
492 #       build: "60"
493 #     - job-spec: "l2-08"
494 #       build: "61"
495 #     - job-spec: "l2-09"
496 #       build: "62"
497 #     - job-spec: "l2-10"
498 #       build: "63"
499 #     - job-spec: "memif-00"
500 #       build: "64"
501 #     - job-spec: "srv6-00"
502 #       build: "65"
503 #     - job-spec: "srv6-01"
504 #       build: "66"
505 #     - job-spec: "vhost-00"
506 #       build: "67"
507 #     - job-spec: "vhost-01"
508 #       build: "68"
509
510 - type: "table"
511   title: "Job Specification Duration: 3n-tsh-iterative"
512   algorithm: "table_job_spec_duration"
513   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-tsh-iter"
514   jb-type: "iterative"
515   lines:
516     - job-spec: "vpp-mrr-00"
517       data-set: "vpp-3n-tsh-curr-iter-mrr"
518     - job-spec: "vpp-mlr-00"
519       data-set: "vpp-3n-tsh-curr-iter"
520     - job-spec: "dpdk-mlr-00"
521       data-set: "dpdk-3n-tsh-curr-iter"
522
523 # - type: "table"
524 #   title: "Job Specification Duration: 3n-tsh-coverage"
525 #   algorithm: "table_job_spec_duration"
526 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-tsh-cov"
527 #   jb-type: "coverage"
528 #   data: "vpp-3n-tsh-curr-cov"
529 #   lines:
530 #     - job-spec: "ip4-00"
531 #       build: "1"
532 #     - job-spec: "ip4-01"
533 #       build: "2"
534 #     - job-spec: "ip4-02"
535 #       build: "3"
536 #     - job-spec: "ip4-03"
537 #       build: "4"
538 #     - job-spec: "ip4tun-00"
539 #       build: "5"
540 #     - job-spec: "ip6-00"
541 #       build: "6"
542 #     - job-spec: "ip6-01"
543 #       build: "7"
544 #     - job-spec: "l2-00"
545 #       build: "8"
546 #     - job-spec: "l2-01"
547 #       build: "9"
548 #     - job-spec: "l2-02"
549 #       build: "10"
550 #     - job-spec: "l2-03"
551 #       build: "11"
552 #     - job-spec: "l2-04"
553 #       build: "12"
554 #     - job-spec: "memif-00"
555 #       build: "13"
556 #     - job-spec: "srv6-00"
557 #       build: "14"
558 #     - job-spec: "srv6-01"
559 #       build: "15"
560 #     - job-spec: "vhost-00"
561 #       build: "16"
562 #     - job-spec: "vhost-01"
563 #       build: "17"
564
565 # VPP Latency Changes 3n-skx 2t1c
566 - type: "table"
567   title: "VPP Latency Changes 3n-skx 2t1c PDR50-direction1-avg"
568   algorithm: "table_comparison"
569   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-skx-xxv710-2t1c-pdr50-d1-avg"
570   include-tests: "latency-PDR50-direction1-avg"
571   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
572   columns:
573     - title: "2106.0-8"
574       data-set: "vpp-3n-skx-hist-iter-new-env"
575     - title: "2110.0-8"
576       data-set: "vpp-3n-skx-prev-iter-old-env"
577     - title: "2110.0-9"
578       data-set: "vpp-3n-skx-prev-iter-new-env"
579     - title: "2202.0-9"
580       data-set: "vpp-3n-skx-curr-iter"
581   comparisons:
582     - title: "2110.0-9 vs 2110.0-8"
583       reference: 2
584       compare: 3
585     - title: "2202.0-9 vs 2110.0-9"
586       reference: 3
587       compare: 4
588   legend:
589     - ''
590     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
591     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
592     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
593     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
594     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
595
596 # VPP Latency Changes 3n-skx 2t1c
597 - type: "table"
598   title: "VPP Latency Changes 3n-skx 2t1c PDR90-direction1-avg"
599   algorithm: "table_comparison"
600   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-skx-xxv710-2t1c-pdr90-d1-avg"
601   include-tests: "latency-PDR90-direction1-avg"
602   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
603   columns:
604     - title: "2106.0-8"
605       data-set: "vpp-3n-skx-hist-iter-new-env"
606     - title: "2110.0-8"
607       data-set: "vpp-3n-skx-prev-iter-old-env"
608     - title: "2110.0-9"
609       data-set: "vpp-3n-skx-prev-iter-new-env"
610     - title: "2202.0-9"
611       data-set: "vpp-3n-skx-curr-iter"
612   comparisons:
613     - title: "2110.0-9 vs 2110.0-8"
614       reference: 2
615       compare: 3
616     - title: "2202.0-9 vs 2110.0-9"
617       reference: 3
618       compare: 4
619   legend:
620     - ''
621     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
622     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
623     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
624     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
625     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
626
627 # VPP Latency Changes 3n-skx 2t1c
628 - type: "table"
629   title: "VPP Latency Changes 3n-skx 2t1c PDR90-direction1-max"
630   algorithm: "table_comparison"
631   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-skx-xxv710-2t1c-pdr90-d1-max"
632   include-tests: "latency-PDR90-direction1-max"
633   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
634   columns:
635     - title: "2106.0-8"
636       data-set: "vpp-3n-skx-hist-iter-new-env"
637     - title: "2110.0-8"
638       data-set: "vpp-3n-skx-prev-iter-old-env"
639     - title: "2110.0-9"
640       data-set: "vpp-3n-skx-prev-iter-new-env"
641     - title: "2202.0-9"
642       data-set: "vpp-3n-skx-curr-iter"
643   comparisons:
644     - title: "2110.0-9 vs 2110.0-8"
645       reference: 2
646       compare: 3
647     - title: "2202.0-9 vs 2110.0-9"
648       reference: 3
649       compare: 4
650   legend:
651     - ''
652     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
653     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
654     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
655     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
656     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
657
658 # VPP Latency Changes 2n-skx 2t1c
659 - type: "table"
660   title: "VPP Latency Changes 2n-skx 2t1c PDR50-direction1-avg"
661   algorithm: "table_comparison"
662   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-skx-xxv710-2t1c-pdr50-d1-avg"
663   include-tests: "latency-PDR50-direction1-avg"
664   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
665   columns:
666     - title: "2106.0-8"
667       data-set: "vpp-2n-skx-hist-iter-new-env"
668     - title: "2110.0-8"
669       data-set: "vpp-2n-skx-prev-iter-old-env"
670     - title: "2110.0-9"
671       data-set: "vpp-2n-skx-prev-iter-new-env"
672     - title: "2202.0-9"
673       data-set: "vpp-2n-skx-curr-iter"
674   comparisons:
675     - title: "2110.0-9 vs 2110.0-8"
676       reference: 2
677       compare: 3
678     - title: "2202.0-9 vs 2110.0-9"
679       reference: 3
680       compare: 4
681   legend:
682     - ''
683     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
684     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
685     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
686     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
687     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
688
689 # VPP Latency Changes 2n-skx 2t1c
690 - type: "table"
691   title: "VPP Latency Changes 2n-skx 2t1c PDR90-direction1-avg"
692   algorithm: "table_comparison"
693   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-skx-xxv710-2t1c-pdr90-d1-avg"
694   include-tests: "latency-PDR90-direction1-avg"
695   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
696   columns:
697     - title: "2106.0-8"
698       data-set: "vpp-2n-skx-hist-iter-new-env"
699     - title: "2110.0-8"
700       data-set: "vpp-2n-skx-prev-iter-old-env"
701     - title: "2110.0-9"
702       data-set: "vpp-2n-skx-prev-iter-new-env"
703     - title: "2202.0-9"
704       data-set: "vpp-2n-skx-curr-iter"
705   comparisons:
706     - title: "2110.0-9 vs 2110.0-8"
707       reference: 2
708       compare: 3
709     - title: "2202.0-9 vs 2110.0-9"
710       reference: 3
711       compare: 4
712   legend:
713     - ''
714     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
715     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
716     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
717     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
718     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
719
720 # VPP Latency Changes 2n-skx 2t1c
721 - type: "table"
722   title: "VPP Latency Changes 2n-skx 2t1c PDR90-direction1-max"
723   algorithm: "table_comparison"
724   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-skx-xxv710-2t1c-pdr90-d1-max"
725   include-tests: "latency-PDR90-direction1-max"
726   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
727   columns:
728     - title: "2106.0-8"
729       data-set: "vpp-2n-skx-hist-iter-new-env"
730     - title: "2110.0-8"
731       data-set: "vpp-2n-skx-prev-iter-old-env"
732     - title: "2110.0-9"
733       data-set: "vpp-2n-skx-prev-iter-new-env"
734     - title: "2202.0-9"
735       data-set: "vpp-2n-skx-curr-iter"
736   comparisons:
737     - title: "2110.0-9 vs 2110.0-8"
738       reference: 2
739       compare: 3
740     - title: "2202.0-9 vs 2110.0-9"
741       reference: 3
742       compare: 4
743   legend:
744     - ''
745     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
746     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
747     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
748     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
749     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
750
751 # VPP Latency Changes 2n-clx 2t1c
752 - type: "table"
753   title: "VPP Latency Changes 2n-clx 2t1c PDR50-direction1-avg"
754   algorithm: "table_comparison"
755   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-xxv710-2t1c-pdr50-d1-avg"
756   include-tests: "latency-PDR50-direction1-avg"
757   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
758   columns:
759     - title: "2106.0-8"
760       data-set: "vpp-2n-clx-hist-iter-new-env"
761     - title: "2110.0-8"
762       data-set: "vpp-2n-clx-prev-iter-old-env"
763     - title: "2110.0-9"
764       data-set: "vpp-2n-clx-prev-iter-new-env"
765     - title: "2202.0-9"
766       data-set: "vpp-2n-clx-curr-iter"
767   comparisons:
768     - title: "2110.0-9 vs 2110.0-8"
769       reference: 2
770       compare: 3
771     - title: "2202.0-9 vs 2110.0-9"
772       reference: 3
773       compare: 4
774   legend:
775     - ''
776     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
777     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
778     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
779     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
780     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
781
782 # VPP Latency Changes 2n-clx 2t1c
783 - type: "table"
784   title: "VPP Latency Changes 2n-clx 2t1c PDR90-direction1-avg"
785   algorithm: "table_comparison"
786   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-xxv710-2t1c-pdr90-d1-avg"
787   include-tests: "latency-PDR90-direction1-avg"
788   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
789   columns:
790     - title: "2106.0-8"
791       data-set: "vpp-2n-clx-hist-iter-new-env"
792     - title: "2110.0-8"
793       data-set: "vpp-2n-clx-prev-iter-old-env"
794     - title: "2110.0-9"
795       data-set: "vpp-2n-clx-prev-iter-new-env"
796     - title: "2202.0-9"
797       data-set: "vpp-2n-clx-curr-iter"
798   comparisons:
799     - title: "2110.0-9 vs 2110.0-8"
800       reference: 2
801       compare: 3
802     - title: "2202.0-9 vs 2110.0-9"
803       reference: 3
804       compare: 4
805   legend:
806     - ''
807     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
808     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
809     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
810     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
811     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
812
813 # VPP Latency Changes 2n-clx 2t1c
814 - type: "table"
815   title: "VPP Latency Changes 2n-clx 2t1c PDR90-direction1-max"
816   algorithm: "table_comparison"
817   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-xxv710-2t1c-pdr90-d1-max"
818   include-tests: "latency-PDR90-direction1-max"
819   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
820   columns:
821     - title: "2106.0-8"
822       data-set: "vpp-2n-clx-hist-iter-new-env"
823     - title: "2110.0-8"
824       data-set: "vpp-2n-clx-prev-iter-old-env"
825     - title: "2110.0-9"
826       data-set: "vpp-2n-clx-prev-iter-new-env"
827     - title: "2202.0-9"
828       data-set: "vpp-2n-clx-curr-iter"
829   comparisons:
830     - title: "2110.0-9 vs 2110.0-8"
831       reference: 2
832       compare: 3
833     - title: "2202.0-9 vs 2110.0-9"
834       reference: 3
835       compare: 4
836   legend:
837     - ''
838     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
839     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
840     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
841     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
842     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
843
844 # VPP Latency Changes 2n-clx 2t1c
845 - type: "table"
846   title: "VPP Latency Changes 2n-clx 2t1c PDR50-direction1-avg"
847   algorithm: "table_comparison"
848   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-cx556a-2t1c-pdr50-d1-avg"
849   include-tests: "latency-PDR50-direction1-avg"
850   filter: "'2T1C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
851   columns:
852     - title: "2106.0-8"
853       data-set: "vpp-2n-clx-hist-iter-new-env"
854     - title: "2110.0-8"
855       data-set: "vpp-2n-clx-prev-iter-old-env"
856     - title: "2110.0-9"
857       data-set: "vpp-2n-clx-prev-iter-new-env"
858     - title: "2202.0-9"
859       data-set: "vpp-2n-clx-curr-iter"
860   comparisons:
861     - title: "2110.0-9 vs 2110.0-8"
862       reference: 2
863       compare: 3
864     - title: "2202.0-9 vs 2110.0-9"
865       reference: 3
866       compare: 4
867   legend:
868     - ''
869     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
870     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
871     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
872     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
873     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
874
875 # VPP Latency Changes 2n-clx 2t1c
876 - type: "table"
877   title: "VPP Latency Changes 2n-clx 2t1c PDR90-direction1-avg"
878   algorithm: "table_comparison"
879   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-cx556a-2t1c-pdr90-d1-avg"
880   include-tests: "latency-PDR90-direction1-avg"
881   filter: "'2T1C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
882   columns:
883     - title: "2106.0-8"
884       data-set: "vpp-2n-clx-hist-iter-new-env"
885     - title: "2110.0-8"
886       data-set: "vpp-2n-clx-prev-iter-old-env"
887     - title: "2110.0-9"
888       data-set: "vpp-2n-clx-prev-iter-new-env"
889     - title: "2202.0-9"
890       data-set: "vpp-2n-clx-curr-iter"
891   comparisons:
892     - title: "2110.0-9 vs 2110.0-8"
893       reference: 2
894       compare: 3
895     - title: "2202.0-9 vs 2110.0-9"
896       reference: 3
897       compare: 4
898   legend:
899     - ''
900     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
901     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
902     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
903     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
904     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
905
906 # VPP Latency Changes 2n-clx 2t1c
907 - type: "table"
908   title: "VPP Latency Changes 2n-clx 2t1c PDR90-direction1-max"
909   algorithm: "table_comparison"
910   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-cx556a-2t1c-pdr90-d1-max"
911   include-tests: "latency-PDR90-direction1-max"
912   filter: "'2T1C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
913   columns:
914     - title: "2106.0-8"
915       data-set: "vpp-2n-clx-hist-iter-new-env"
916     - title: "2110.0-8"
917       data-set: "vpp-2n-clx-prev-iter-old-env"
918     - title: "2110.0-9"
919       data-set: "vpp-2n-clx-prev-iter-new-env"
920     - title: "2202.0-9"
921       data-set: "vpp-2n-clx-curr-iter"
922   comparisons:
923     - title: "2110.0-9 vs 2110.0-8"
924       reference: 2
925       compare: 3
926     - title: "2202.0-9 vs 2110.0-9"
927       reference: 3
928       compare: 4
929   legend:
930     - ''
931     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
932     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
933     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
934     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
935     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
936
937 # VPP Latency Changes 2n-zn2 2t1c
938 - type: "table"
939   title: "VPP Latency Changes 2n-zn2 2t1c PDR50-direction1-avg"
940   algorithm: "table_comparison"
941   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-zn2-xxv710-2t1c-pdr50-d1-avg"
942   include-tests: "latency-PDR50-direction1-avg"
943   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
944   columns:
945     - title: "2106.0-8"
946       data-set: "vpp-2n-zn2-hist-iter-new-env"
947     - title: "2110.0-8"
948       data-set: "vpp-2n-zn2-prev-iter-old-env"
949     - title: "2110.0-9"
950       data-set: "vpp-2n-zn2-prev-iter-new-env"
951     - title: "2202.0-9"
952       data-set: "vpp-2n-zn2-curr-iter"
953   comparisons:
954     - title: "2110.0-9 vs 2110.0-8"
955       reference: 2
956       compare: 3
957     - title: "2202.0-9 vs 2110.0-9"
958       reference: 3
959       compare: 4
960   legend:
961     - ''
962     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
963     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
964     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
965     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
966     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
967
968 # VPP Latency Changes 2n-zn2 2t1c
969 - type: "table"
970   title: "VPP Latency Changes 2n-zn2 2t1c PDR90-direction1-avg"
971   algorithm: "table_comparison"
972   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-zn2-xxv710-2t1c-pdr90-d1-avg"
973   include-tests: "latency-PDR90-direction1-avg"
974   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
975   columns:
976     - title: "2106.0-8"
977       data-set: "vpp-2n-zn2-hist-iter-new-env"
978     - title: "2110.0-8"
979       data-set: "vpp-2n-zn2-prev-iter-old-env"
980     - title: "2110.0-9"
981       data-set: "vpp-2n-zn2-prev-iter-new-env"
982     - title: "2202.0-9"
983       data-set: "vpp-2n-zn2-curr-iter"
984   comparisons:
985     - title: "2110.0-9 vs 2110.0-8"
986       reference: 2
987       compare: 3
988     - title: "2202.0-9 vs 2110.0-9"
989       reference: 3
990       compare: 4
991   legend:
992     - ''
993     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
994     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
995     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
996     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
997     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
998
999 # VPP Latency Changes 2n-zn2 2t1c
1000 - type: "table"
1001   title: "VPP Latency Changes 2n-zn2 2t1c PDR90-direction1-max"
1002   algorithm: "table_comparison"
1003   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-zn2-xxv710-2t1c-pdr90-d1-max"
1004   include-tests: "latency-PDR90-direction1-max"
1005   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
1006   columns:
1007     - title: "2106.0-8"
1008       data-set: "vpp-2n-zn2-hist-iter-new-env"
1009     - title: "2110.0-8"
1010       data-set: "vpp-2n-zn2-prev-iter-old-env"
1011     - title: "2110.0-9"
1012       data-set: "vpp-2n-zn2-prev-iter-new-env"
1013     - title: "2202.0-9"
1014       data-set: "vpp-2n-zn2-curr-iter"
1015   comparisons:
1016     - title: "2110.0-9 vs 2110.0-8"
1017       reference: 2
1018       compare: 3
1019     - title: "2202.0-9 vs 2110.0-9"
1020       reference: 3
1021       compare: 4
1022   legend:
1023     - ''
1024     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
1025     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1026     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1027     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1028     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1029
1030 # VPP Latency Changes 2n-tx2 1t1c
1031 - type: "table"
1032   title: "VPP Latency Changes 2n-tx2 1t1c PDR50-direction1-avg"
1033   algorithm: "table_comparison"
1034   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-tx2-xl710-1t1c-pdr50-d1-avg"
1035   include-tests: "latency-PDR50-direction1-avg"
1036   filter: "'1T1C' and 'NDRPDR'"
1037   columns:
1038     - title: "2106.0-8"
1039       data-set: "vpp-2n-tx2-hist-iter-new-env"
1040     - title: "2110.0-8"
1041       data-set: "vpp-2n-tx2-prev-iter-old-env"
1042     - title: "2110.0-9"
1043       data-set: "vpp-2n-tx2-prev-iter-new-env"
1044     - title: "2202.0-9"
1045       data-set: "vpp-2n-tx2-curr-iter"
1046   comparisons:
1047     - title: "2110.0-9 vs 2110.0-8"
1048       reference: 2
1049       compare: 3
1050     - title: "2202.0-9 vs 2110.0-9"
1051       reference: 3
1052       compare: 4
1053   legend:
1054     - ''
1055     - 'Test Case:            Test cases executed for: PDR throughput on 2n-tx2 with xl710.'
1056     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1057     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1058     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1059     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1060
1061 # VPP Latency Changes 2n-tx2 1t1c
1062 - type: "table"
1063   title: "VPP Latency Changes 2n-tx2 1t1c PDR90-direction1-avg"
1064   algorithm: "table_comparison"
1065   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-tx2-xl710-1t1c-pdr90-d1-avg"
1066   include-tests: "latency-PDR90-direction1-avg"
1067   filter: "'1T1C' and 'NDRPDR'"
1068   columns:
1069     - title: "2106.0-8"
1070       data-set: "vpp-2n-tx2-hist-iter-new-env"
1071     - title: "2110.0-8"
1072       data-set: "vpp-2n-tx2-prev-iter-old-env"
1073     - title: "2110.0-9"
1074       data-set: "vpp-2n-tx2-prev-iter-new-env"
1075     - title: "2202.0-9"
1076       data-set: "vpp-2n-tx2-curr-iter"
1077   comparisons:
1078     - title: "2110.0-9 vs 2110.0-8"
1079       reference: 2
1080       compare: 3
1081     - title: "2202.0-9 vs 2110.0-9"
1082       reference: 3
1083       compare: 4
1084   legend:
1085     - ''
1086     - 'Test Case:            Test cases executed for: PDR throughput on 2n-tx2 with xl710.'
1087     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1088     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1089     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1090     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1091
1092 # VPP Latency Changes 2n-tx2 1t1c
1093 - type: "table"
1094   title: "VPP Latency Changes 2n-tx2 1t1c PDR90-direction1-max"
1095   algorithm: "table_comparison"
1096   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-tx2-xl710-1t1c-pdr90-d1-max"
1097   include-tests: "latency-PDR90-direction1-max"
1098   filter: "'1T1C' and 'NDRPDR'"
1099   columns:
1100     - title: "2106.0-8"
1101       data-set: "vpp-2n-tx2-hist-iter-new-env"
1102     - title: "2110.0-8"
1103       data-set: "vpp-2n-tx2-prev-iter-old-env"
1104     - title: "2110.0-9"
1105       data-set: "vpp-2n-tx2-prev-iter-new-env"
1106     - title: "2202.0-9"
1107       data-set: "vpp-2n-tx2-curr-iter"
1108   comparisons:
1109     - title: "2110.0-9 vs 2110.0-8"
1110       reference: 2
1111       compare: 3
1112     - title: "2202.0-9 vs 2110.0-9"
1113       reference: 3
1114       compare: 4
1115   legend:
1116     - ''
1117     - 'Test Case:            Test cases executed for: PDR throughput on 2n-tx2 with xl710.'
1118     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1119     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1120     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1121     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1122
1123 # VPP Latency Changes 3n-tsh 1t1c
1124 - type: "table"
1125   title: "VPP Latency Changes 3n-tsh 1t1c PDR50-direction1-avg"
1126   algorithm: "table_comparison"
1127   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-tsh-x520-1t1c-pdr50-d1-avg"
1128   include-tests: "latency-PDR50-direction1-avg"
1129   filter: "'1T1C' and 'NDRPDR'"
1130   columns:
1131     - title: "2106.0-8"
1132       data-set: "vpp-3n-tsh-hist-iter-new-env"
1133     - title: "2110.0-8"
1134       data-set: "vpp-3n-tsh-prev-iter-old-env"
1135     - title: "2110.0-9"
1136       data-set: "vpp-3n-tsh-prev-iter-new-env"
1137     - title: "2202.0-9"
1138       data-set: "vpp-3n-tsh-curr-iter"
1139   comparisons:
1140     - title: "2110.0-9 vs 2110.0-8"
1141       reference: 2
1142       compare: 3
1143     - title: "2202.0-9 vs 2110.0-9"
1144       reference: 3
1145       compare: 4
1146   legend:
1147     - ''
1148     - 'Test Case:            Test cases executed for: PDR throughput on 3n-tsh with x520.'
1149     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1150     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1151     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1152     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1153
1154 # VPP Latency Changes 3n-tsh 1t1c
1155 - type: "table"
1156   title: "VPP Latency Changes 3n-tsh 1t1c PDR90-direction1-avg"
1157   algorithm: "table_comparison"
1158   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-tsh-x520-1t1c-pdr90-d1-avg"
1159   include-tests: "latency-PDR90-direction1-avg"
1160   filter: "'1T1C' and 'NDRPDR'"
1161   columns:
1162     - title: "2106.0-8"
1163       data-set: "vpp-3n-tsh-hist-iter-new-env"
1164     - title: "2110.0-8"
1165       data-set: "vpp-3n-tsh-prev-iter-old-env"
1166     - title: "2110.0-9"
1167       data-set: "vpp-3n-tsh-prev-iter-new-env"
1168     - title: "2202.0-9"
1169       data-set: "vpp-3n-tsh-curr-iter"
1170   comparisons:
1171     - title: "2110.0-9 vs 2110.0-8"
1172       reference: 2
1173       compare: 3
1174     - title: "2202.0-9 vs 2110.0-9"
1175       reference: 3
1176       compare: 4
1177   legend:
1178     - ''
1179     - 'Test Case:            Test cases executed for: PDR throughput on 3n-tsh with x520.'
1180     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1181     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1182     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1183     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1184
1185 # VPP Latency Changes 3n-tsh 1t1c
1186 - type: "table"
1187   title: "VPP Latency Changes 3n-tsh 1t1c PDR90-direction1-max"
1188   algorithm: "table_comparison"
1189   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-tsh-x520-1t1c-pdr90-d1-max"
1190   include-tests: "latency-PDR90-direction1-max"
1191   filter: "'1T1C' and 'NDRPDR'"
1192   columns:
1193     - title: "2106.0-8"
1194       data-set: "vpp-3n-tsh-hist-iter-new-env"
1195     - title: "2110.0-8"
1196       data-set: "vpp-3n-tsh-prev-iter-old-env"
1197     - title: "2110.0-9"
1198       data-set: "vpp-3n-tsh-prev-iter-new-env"
1199     - title: "2202.0-9"
1200       data-set: "vpp-3n-tsh-curr-iter"
1201   comparisons:
1202     - title: "2110.0-9 vs 2110.0-8"
1203       reference: 2
1204       compare: 3
1205     - title: "2202.0-9 vs 2110.0-9"
1206       reference: 3
1207       compare: 4
1208   legend:
1209     - ''
1210     - 'Test Case:            Test cases executed for: PDR throughput on 3n-tsh with x520.'
1211     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1212     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1213     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1214     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1215
1216 # VPP Soak vs NDR - 2n-icx
1217 - type: "table"
1218   title: "VPP Soak vs NDR 2n-icx"
1219   algorithm: "table_soak_vs_ndr"
1220   output-file: "{DIR[STATIC,VPP]}/soak-vs-ndr-2n-icx"
1221   reference:
1222     title: "NDR"
1223     data: "vpp-soak-vs-ndr-2n-icx-ref"
1224   compare:
1225     title: "Soak"
1226     data: "vpp-2n-icx-curr-soak"
1227   data: "vpp-soak-vs-ndr-2n-icx"
1228   include-tests: "NDR"
1229   filter: "'NDRPDR' or 'SOAK'"
1230   parameters:
1231     - "throughput"
1232     - "name"
1233     - "parent"
1234
1235 # VPP Soak vs NDR - 2n-skx
1236 - type: "table"
1237   title: "VPP Soak vs NDR 2n-skx"
1238   algorithm: "table_soak_vs_ndr"
1239   output-file: "{DIR[STATIC,VPP]}/soak-vs-ndr-2n-skx"
1240   reference:
1241     title: "NDR"
1242     data: "vpp-soak-vs-ndr-2n-skx-ref"
1243   compare:
1244     title: "Soak"
1245     data: "vpp-2n-skx-curr-soak"
1246   data: "vpp-soak-vs-ndr-2n-skx"
1247   include-tests: "NDR"
1248   filter: "('NDRPDR' or 'SOAK') and not 'NF_DENSITY'"
1249   parameters:
1250     - "throughput"
1251     - "name"
1252     - "parent"
1253
1254 # VPP Soak vs NDR - 2n-clx
1255 - type: "table"
1256   title: "VPP Soak vs NDR 2n-clx"
1257   algorithm: "table_soak_vs_ndr"
1258   output-file: "{DIR[STATIC,VPP]}/soak-vs-ndr-2n-clx"
1259   reference:
1260     title: "NDR"
1261     data: "vpp-soak-vs-ndr-2n-clx-ref"
1262   compare:
1263     title: "Soak"
1264     data: "vpp-2n-clx-curr-soak"
1265   data: "vpp-soak-vs-ndr-2n-clx"
1266   include-tests: "NDR"
1267   filter: "('NDRPDR' or 'SOAK') and not 'NF_DENSITY'"
1268   parameters:
1269     - "throughput"
1270     - "name"
1271     - "parent"
1272
1273 ################################################################################
1274
1275 # VPP Compare NICs 3n-skx 2t1c ndr
1276 - type: "table"
1277   title: "VPP Compare NICs 3n-skx 2t1c ndr"
1278   algorithm: "table_comparison"
1279   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-ndr"
1280   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1281   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
1282   columns:
1283     - title: "x710"
1284       data-set: "vpp-3n-skx-curr-iter"
1285       tag: "NIC_Intel-X710"
1286     - title: "xxv710"
1287       data-set: "vpp-3n-skx-curr-iter"
1288       tag: "NIC_Intel-XXV710"
1289   comparisons:
1290     - title: "Diff"
1291       reference: 1
1292       compare: 2
1293   legend:
1294     - ""
1295     - "x710, xxv710 - NICs tested."
1296     - "Diff - difference between x710 and xxv710 NIC."
1297
1298 # VPP Compare NICs 3n-skx 4t2c ndr
1299 - type: "table"
1300   title: "VPP Compare NICs 3n-skx 4t2c ndr"
1301   algorithm: "table_comparison"
1302   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-ndr"
1303   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1304   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
1305   columns:
1306     - title: "x710"
1307       data-set: "vpp-3n-skx-curr-iter"
1308       tag: "NIC_Intel-X710"
1309     - title: "xxv710"
1310       data-set: "vpp-3n-skx-curr-iter"
1311       tag: "NIC_Intel-XXV710"
1312   comparisons:
1313     - title: "Diff"
1314       reference: 1
1315       compare: 2
1316   legend:
1317     - ""
1318     - "x710, xxv710 - NICs tested."
1319     - "Diff - difference between x710 and xxv710 NIC."
1320
1321 # VPP Compare NICs 3n-skx 2t1c pdr
1322 - type: "table"
1323   title: "VPP Compare NICs 3n-skx 2t1c pdr"
1324   algorithm: "table_comparison"
1325   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-pdr"
1326   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1327   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
1328   columns:
1329     - title: "x710"
1330       data-set: "vpp-3n-skx-curr-iter"
1331       tag: "NIC_Intel-X710"
1332     - title: "xxv710"
1333       data-set: "vpp-3n-skx-curr-iter"
1334       tag: "NIC_Intel-XXV710"
1335   comparisons:
1336     - title: "Diff"
1337       reference: 1
1338       compare: 2
1339   legend:
1340     - ""
1341     - "x710, xxv710 - NICs tested."
1342     - "Diff - difference between x710 and xxv710 NIC."
1343
1344 # VPP Compare NICs 3n-skx 4t2c pdr
1345 - type: "table"
1346   title: "VPP Compare NICs 3n-skx 4t2c pdr"
1347   algorithm: "table_comparison"
1348   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-pdr"
1349   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1350   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
1351   columns:
1352     - title: "x710"
1353       data-set: "vpp-3n-skx-curr-iter"
1354       tag: "NIC_Intel-X710"
1355     - title: "xxv710"
1356       data-set: "vpp-3n-skx-curr-iter"
1357       tag: "NIC_Intel-XXV710"
1358   comparisons:
1359     - title: "Diff"
1360       reference: 1
1361       compare: 2
1362   legend:
1363     - ""
1364     - "x710, xxv710 - NICs tested."
1365     - "Diff - difference between x710 and xxv710 NIC."
1366
1367 # VPP Compare NICs 3n-skx 2t1c mrr
1368 - type: "table"
1369   title: "VPP Compare NICs 3n-skx 2t1c mrr"
1370   algorithm: "table_comparison"
1371   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-mrr"
1372   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1373   filter: "'2T1C' and 'MRR' and not 'NF_DENSITY'"
1374   columns:
1375     - title: "x710"
1376       data-set: "vpp-3n-skx-curr-iter-mrr"
1377       tag: "NIC_Intel-X710"
1378     - title: "xxv710"
1379       data-set: "vpp-3n-skx-curr-iter-mrr"
1380       tag: "NIC_Intel-XXV710"
1381   comparisons:
1382     - title: "Diff"
1383       reference: 1
1384       compare: 2
1385   legend:
1386     - ""
1387     - "x710, xxv710 - NICs tested."
1388     - "Diff - difference between x710 and xxv710 NIC."
1389
1390 # VPP Compare NICs 3n-skx 4t2c mrr
1391 - type: "table"
1392   title: "VPP Compare NICs 3n-skx 4t2c mrr"
1393   algorithm: "table_comparison"
1394   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-mrr"
1395   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1396   filter: "'4T2C' and 'MRR' and not 'NF_DENSITY'"
1397   columns:
1398     - title: "x710"
1399       data-set: "vpp-3n-skx-curr-iter-mrr"
1400       tag: "NIC_Intel-X710"
1401     - title: "xxv710"
1402       data-set: "vpp-3n-skx-curr-iter-mrr"
1403       tag: "NIC_Intel-XXV710"
1404   comparisons:
1405     - title: "Diff"
1406       reference: 1
1407       compare: 2
1408   legend:
1409     - ""
1410     - "x710, xxv710 - NICs tested."
1411     - "Diff - difference between x710 and xxv710 NIC."
1412
1413 # VPP Compare NICs 3n-skx 8t4c mrr
1414 - type: "table"
1415   title: "VPP Compare NICs 3n-skx 8t4c mrr"
1416   algorithm: "table_comparison"
1417   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-8t4c-nics-mrr"
1418   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1419   filter: "'8T4C' and 'MRR' and not 'NF_DENSITY'"
1420   columns:
1421     - title: "x710"
1422       data-set: "vpp-3n-skx-curr-iter-mrr"
1423       tag: "NIC_Intel-X710"
1424     - title: "xxv710"
1425       data-set: "vpp-3n-skx-curr-iter-mrr"
1426       tag: "NIC_Intel-XXV710"
1427   comparisons:
1428     - title: "Diff"
1429       reference: 1
1430       compare: 2
1431   legend:
1432     - ""
1433     - "x710, xxv710 - NICs tested."
1434     - "Diff - difference between x710 and xxv710 NIC."
1435
1436 # VPP Compare NICs 2n-skx 2t1c ndr
1437 - type: "table"
1438   title: "VPP Compare NICs 2n-skx 2t1c ndr"
1439   algorithm: "table_comparison"
1440   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-nics-ndr"
1441   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1442   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
1443   columns:
1444     - title: "x710"
1445       data-set: "vpp-2n-skx-curr-iter"
1446       tag: "NIC_Intel-X710"
1447     - title: "xxv710"
1448       data-set: "vpp-2n-skx-curr-iter"
1449       tag: "NIC_Intel-XXV710"
1450   comparisons:
1451     - title: "Diff"
1452       reference: 1
1453       compare: 2
1454   legend:
1455     - ""
1456     - "x710, xxv710 - NICs tested."
1457     - "Diff - difference between x710 and xxv710 NIC."
1458
1459 # VPP Compare NICs 2n-skx 4t2c ndr
1460 - type: "table"
1461   title: "VPP Compare NICs 2n-skx 4t2c ndr"
1462   algorithm: "table_comparison"
1463   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-nics-ndr"
1464   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1465   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
1466   columns:
1467     - title: "x710"
1468       data-set: "vpp-2n-skx-curr-iter"
1469       tag: "NIC_Intel-X710"
1470     - title: "xxv710"
1471       data-set: "vpp-2n-skx-curr-iter"
1472       tag: "NIC_Intel-XXV710"
1473   comparisons:
1474     - title: "Diff"
1475       reference: 1
1476       compare: 2
1477   legend:
1478     - ""
1479     - "x710, xxv710 - NICs tested."
1480     - "Diff - difference between x710 and xxv710 NIC."
1481
1482 # VPP Compare NICs 2n-skx 2t1c pdr
1483 - type: "table"
1484   title: "VPP Compare NICs 2n-skx 2t1c pdr"
1485   algorithm: "table_comparison"
1486   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-nics-pdr"
1487   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1488   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
1489   columns:
1490     - title: "x710"
1491       data-set: "vpp-2n-skx-curr-iter"
1492       tag: "NIC_Intel-X710"
1493     - title: "xxv710"
1494       data-set: "vpp-2n-skx-curr-iter"
1495       tag: "NIC_Intel-XXV710"
1496   comparisons:
1497     - title: "Diff"
1498       reference: 1
1499       compare: 2
1500   legend:
1501     - ""
1502     - "x710, xxv710 - NICs tested."
1503     - "Diff - difference between x710 and xxv710 NIC."
1504
1505 # VPP Compare NICs 2n-skx 4t2c pdr
1506 - type: "table"
1507   title: "VPP Compare NICs 2n-skx 4t2c pdr"
1508   algorithm: "table_comparison"
1509   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-nics-pdr"
1510   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1511   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
1512   columns:
1513     - title: "x710"
1514       data-set: "vpp-2n-skx-curr-iter"
1515       tag: "NIC_Intel-X710"
1516     - title: "xxv710"
1517       data-set: "vpp-2n-skx-curr-iter"
1518       tag: "NIC_Intel-XXV710"
1519   comparisons:
1520     - title: "Diff"
1521       reference: 1
1522       compare: 2
1523   legend:
1524     - ""
1525     - "x710, xxv710 - NICs tested."
1526     - "Diff - difference between x710 and xxv710 NIC."
1527
1528 # VPP Compare NICs 2n-skx 2t1c mrr
1529 - type: "table"
1530   title: "VPP Compare NICs 2n-skx 2t1c mrr"
1531   algorithm: "table_comparison"
1532   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-nics-mrr"
1533   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1534   filter: "'2T1C' and 'MRR' and not 'NF_DENSITY'"
1535   columns:
1536     - title: "x710"
1537       data-set: "vpp-2n-skx-curr-iter-mrr"
1538       tag: "NIC_Intel-X710"
1539     - title: "xxv710"
1540       data-set: "vpp-2n-skx-curr-iter-mrr"
1541       tag: "NIC_Intel-XXV710"
1542   comparisons:
1543     - title: "Diff"
1544       reference: 1
1545       compare: 2
1546   legend:
1547     - ""
1548     - "x710, xxv710 - NICs tested."
1549     - "Diff - difference between x710 and xxv710 NIC."
1550
1551 # VPP Compare NICs 2n-skx 4t2c mrr
1552 - type: "table"
1553   title: "VPP Compare NICs 2n-skx 4t2c mrr"
1554   algorithm: "table_comparison"
1555   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-nics-mrr"
1556   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1557   filter: "'4T2C' and 'MRR' and not 'NF_DENSITY'"
1558   columns:
1559     - title: "x710"
1560       data-set: "vpp-2n-skx-curr-iter-mrr"
1561       tag: "NIC_Intel-X710"
1562     - title: "xxv710"
1563       data-set: "vpp-2n-skx-curr-iter-mrr"
1564       tag: "NIC_Intel-XXV710"
1565   comparisons:
1566     - title: "Diff"
1567       reference: 1
1568       compare: 2
1569   legend:
1570     - ""
1571     - "x710, xxv710 - NICs tested."
1572     - "Diff - difference between x710 and xxv710 NIC."
1573
1574 # VPP Compare NICs 2n-skx 8t4c mrr
1575 - type: "table"
1576   title: "VPP Compare NICs 2n-skx 8t4c mrr"
1577   algorithm: "table_comparison"
1578   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-8t4c-nics-mrr"
1579   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1580   filter: "'8T4C' and 'MRR' and not 'NF_DENSITY'"
1581   columns:
1582     - title: "x710"
1583       data-set: "vpp-2n-skx-curr-iter-mrr"
1584       tag: "NIC_Intel-X710"
1585     - title: "xxv710"
1586       data-set: "vpp-2n-skx-curr-iter-mrr"
1587       tag: "NIC_Intel-XXV710"
1588   comparisons:
1589     - title: "Diff"
1590       reference: 1
1591       compare: 2
1592   legend:
1593     - ""
1594     - "x710, xxv710 - NICs tested."
1595     - "Diff - difference between x710 and xxv710 NIC."
1596
1597 ################################################################################
1598 # VPP
1599
1600 # VPP Performance Changes 3n-skx 2t1c pdr
1601 - type: "table"
1602   title: "VPP Performance Changes 3n-skx 2t1c pdr"
1603   algorithm: "table_comparison"
1604   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-pdr"
1605   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1606   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1607   columns:
1608     - title: "2106.0-8"
1609       data-set: "vpp-3n-skx-hist-iter-new-env"
1610     - title: "2110.0-8"
1611       data-set: "vpp-3n-skx-prev-iter-old-env"
1612     - title: "2110.0-9"
1613       data-set: "vpp-3n-skx-prev-iter-new-env"
1614     - title: "2202.0-9"
1615       data-set: "vpp-3n-skx-curr-iter"
1616   comparisons:
1617     - title: "2110.0-9 vs 2110.0-8"
1618       reference: 2
1619       compare: 3
1620     - title: "2202.0-9 vs 2110.0-9"
1621       reference: 3
1622       compare: 4
1623   legend:
1624     - ''
1625     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
1626     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1627     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1628     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1629     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1630
1631 # VPP Performance Changes 3n-skx 4t2c pdr
1632 - type: "table"
1633   title: "VPP Performance Changes 3n-skx 4t2c pdr"
1634   algorithm: "table_comparison"
1635   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-pdr"
1636   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1637   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1638   columns:
1639     - title: "2106.0-8"
1640       data-set: "vpp-3n-skx-hist-iter-new-env"
1641     - title: "2110.0-8"
1642       data-set: "vpp-3n-skx-prev-iter-old-env"
1643     - title: "2110.0-9"
1644       data-set: "vpp-3n-skx-prev-iter-new-env"
1645     - title: "2202.0-9"
1646       data-set: "vpp-3n-skx-curr-iter"
1647   comparisons:
1648     - title: "2110.0-9 vs 2110.0-8"
1649       reference: 2
1650       compare: 3
1651     - title: "2202.0-9 vs 2110.0-9"
1652       reference: 3
1653       compare: 4
1654   legend:
1655     - ''
1656     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
1657     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1658     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1659     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1660     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1661
1662 # VPP Performance Changes 3n-skx 2t1c ndr
1663 - type: "table"
1664   title: "VPP Performance Changes 3n-skx 2t1c ndr"
1665   algorithm: "table_comparison"
1666   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-ndr"
1667   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1668   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1669   columns:
1670     - title: "2106.0-8"
1671       data-set: "vpp-3n-skx-hist-iter-new-env"
1672     - title: "2110.0-8"
1673       data-set: "vpp-3n-skx-prev-iter-old-env"
1674     - title: "2110.0-9"
1675       data-set: "vpp-3n-skx-prev-iter-new-env"
1676     - title: "2202.0-9"
1677       data-set: "vpp-3n-skx-curr-iter"
1678   comparisons:
1679     - title: "2110.0-9 vs 2110.0-8"
1680       reference: 2
1681       compare: 3
1682     - title: "2202.0-9 vs 2110.0-9"
1683       reference: 3
1684       compare: 4
1685   legend:
1686     - ''
1687     - 'Test Case:            Test cases executed for: NDR throughput on 3n-skx with xxv710.'
1688     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1689     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1690     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1691     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1692
1693 # VPP Performance Changes 3n-skx 4t2c ndr
1694 - type: "table"
1695   title: "VPP Performance Changes 3n-skx 4t2c ndr"
1696   algorithm: "table_comparison"
1697   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-ndr"
1698   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1699   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1700   columns:
1701     - title: "2106.0-8"
1702       data-set: "vpp-3n-skx-hist-iter-new-env"
1703     - title: "2110.0-8"
1704       data-set: "vpp-3n-skx-prev-iter-old-env"
1705     - title: "2110.0-9"
1706       data-set: "vpp-3n-skx-prev-iter-new-env"
1707     - title: "2202.0-9"
1708       data-set: "vpp-3n-skx-curr-iter"
1709   comparisons:
1710     - title: "2110.0-9 vs 2110.0-8"
1711       reference: 2
1712       compare: 3
1713     - title: "2202.0-9 vs 2110.0-9"
1714       reference: 3
1715       compare: 4
1716   legend:
1717     - ''
1718     - 'Test Case:            Test cases executed for: NDR throughput on 3n-skx with xxv710.'
1719     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1720     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1721     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1722     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1723
1724 # VPP Performance Changes 2n-skx 2t1c pdr
1725 - type: "table"
1726   title: "VPP Performance Changes 2n-skx 2t1c pdr"
1727   algorithm: "table_comparison"
1728   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-pdr"
1729   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1730   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1731   columns:
1732     - title: "2106.0-8"
1733       data-set: "vpp-2n-skx-hist-iter-new-env"
1734     - title: "2110.0-8"
1735       data-set: "vpp-2n-skx-prev-iter-old-env"
1736     - title: "2110.0-9"
1737       data-set: "vpp-2n-skx-prev-iter-new-env"
1738     - title: "2202.0-9"
1739       data-set: "vpp-2n-skx-curr-iter"
1740   comparisons:
1741     - title: "2110.0-9 vs 2110.0-8"
1742       reference: 2
1743       compare: 3
1744     - title: "2202.0-9 vs 2110.0-9"
1745       reference: 3
1746       compare: 4
1747   legend:
1748     - ''
1749     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
1750     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1751     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1752     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1753     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1754
1755 # VPP Performance Changes 2n-skx 4t2c pdr
1756 - type: "table"
1757   title: "VPP Performance Changes 2n-skx 4t2c pdr"
1758   algorithm: "table_comparison"
1759   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-pdr"
1760   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1761   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1762   columns:
1763     - title: "2106.0-8"
1764       data-set: "vpp-2n-skx-hist-iter-new-env"
1765     - title: "2110.0-8"
1766       data-set: "vpp-2n-skx-prev-iter-old-env"
1767     - title: "2110.0-9"
1768       data-set: "vpp-2n-skx-prev-iter-new-env"
1769     - title: "2202.0-9"
1770       data-set: "vpp-2n-skx-curr-iter"
1771   comparisons:
1772     - title: "2110.0-9 vs 2110.0-8"
1773       reference: 2
1774       compare: 3
1775     - title: "2202.0-9 vs 2110.0-9"
1776       reference: 3
1777       compare: 4
1778   legend:
1779     - ''
1780     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
1781     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1782     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1783     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1784     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1785
1786 # VPP Performance Changes 2n-skx 2t1c ndr
1787 - type: "table"
1788   title: "VPP Performance Changes 2n-skx 2t1c ndr"
1789   algorithm: "table_comparison"
1790   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-ndr"
1791   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1792   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1793   columns:
1794     - title: "2106.0-8"
1795       data-set: "vpp-2n-skx-hist-iter-new-env"
1796     - title: "2110.0-8"
1797       data-set: "vpp-2n-skx-prev-iter-old-env"
1798     - title: "2110.0-9"
1799       data-set: "vpp-2n-skx-prev-iter-new-env"
1800     - title: "2202.0-9"
1801       data-set: "vpp-2n-skx-curr-iter"
1802   comparisons:
1803     - title: "2110.0-9 vs 2110.0-8"
1804       reference: 2
1805       compare: 3
1806     - title: "2202.0-9 vs 2110.0-9"
1807       reference: 3
1808       compare: 4
1809   legend:
1810     - ''
1811     - 'Test Case:            Test cases executed for: NDR throughput on 2n-skx with xxv710.'
1812     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1813     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1814     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1815     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1816
1817 # VPP Performance Changes 2n-skx 4t2c ndr
1818 - type: "table"
1819   title: "VPP Performance Changes 2n-skx 4t2c ndr"
1820   algorithm: "table_comparison"
1821   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-ndr"
1822   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1823   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1824   columns:
1825     - title: "2106.0-8"
1826       data-set: "vpp-2n-skx-hist-iter-new-env"
1827     - title: "2110.0-8"
1828       data-set: "vpp-2n-skx-prev-iter-old-env"
1829     - title: "2110.0-9"
1830       data-set: "vpp-2n-skx-prev-iter-new-env"
1831     - title: "2202.0-9"
1832       data-set: "vpp-2n-skx-curr-iter"
1833   comparisons:
1834     - title: "2110.0-9 vs 2110.0-8"
1835       reference: 2
1836       compare: 3
1837     - title: "2202.0-9 vs 2110.0-9"
1838       reference: 3
1839       compare: 4
1840   legend:
1841     - ''
1842     - 'Test Case:            Test cases executed for: NDR throughput on 2n-skx with xxv710.'
1843     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1844     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1845     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1846     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1847
1848 # VPP Performance Changes 2n-clx-xxv710 2t1c pdr
1849 - type: "table"
1850   title: "VPP Performance Changes 2n-clx-xxv710 2t1c pdr"
1851   algorithm: "table_comparison"
1852   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-xxv710-2t1c-pdr"
1853   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1854   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1855   columns:
1856     - title: "2106.0-8"
1857       data-set: "vpp-2n-clx-hist-iter-new-env"
1858     - title: "2110.0-8"
1859       data-set: "vpp-2n-clx-prev-iter-old-env"
1860     - title: "2110.0-9"
1861       data-set: "vpp-2n-clx-prev-iter-new-env"
1862     - title: "2202.0-9"
1863       data-set: "vpp-2n-clx-curr-iter"
1864   comparisons:
1865     - title: "2110.0-9 vs 2110.0-8"
1866       reference: 2
1867       compare: 3
1868     - title: "2202.0-9 vs 2110.0-9"
1869       reference: 3
1870       compare: 4
1871   legend:
1872     - ''
1873     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
1874     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1875     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1876     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1877     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1878
1879 # VPP Performance Changes 2n-clx-xxv710 4t2c pdr
1880 - type: "table"
1881   title: "VPP Performance Changes 2n-clx-xxv710 4t2c pdr"
1882   algorithm: "table_comparison"
1883   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-xxv710-4t2c-pdr"
1884   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1885   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1886   columns:
1887     - title: "2106.0-8"
1888       data-set: "vpp-2n-clx-hist-iter-new-env"
1889     - title: "2110.0-8"
1890       data-set: "vpp-2n-clx-prev-iter-old-env"
1891     - title: "2110.0-9"
1892       data-set: "vpp-2n-clx-prev-iter-new-env"
1893     - title: "2202.0-9"
1894       data-set: "vpp-2n-clx-curr-iter"
1895   comparisons:
1896     - title: "2110.0-9 vs 2110.0-8"
1897       reference: 2
1898       compare: 3
1899     - title: "2202.0-9 vs 2110.0-9"
1900       reference: 3
1901       compare: 4
1902   legend:
1903     - ''
1904     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
1905     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1906     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1907     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1908     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1909
1910 # VPP Performance Changes 2n-clx-xxv710 2t1c ndr
1911 - type: "table"
1912   title: "VPP Performance Changes 2n-clx-xxv710 2t1c ndr"
1913   algorithm: "table_comparison"
1914   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-xxv710-2t1c-ndr"
1915   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1916   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1917   columns:
1918     - title: "2106.0-8"
1919       data-set: "vpp-2n-clx-hist-iter-new-env"
1920     - title: "2110.0-8"
1921       data-set: "vpp-2n-clx-prev-iter-old-env"
1922     - title: "2110.0-9"
1923       data-set: "vpp-2n-clx-prev-iter-new-env"
1924     - title: "2202.0-9"
1925       data-set: "vpp-2n-clx-curr-iter"
1926   comparisons:
1927     - title: "2110.0-9 vs 2110.0-8"
1928       reference: 2
1929       compare: 3
1930     - title: "2202.0-9 vs 2110.0-9"
1931       reference: 3
1932       compare: 4
1933   legend:
1934     - ''
1935     - 'Test Case:            Test cases executed for: NDR throughput on 2n-clx with xxv710.'
1936     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1937     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1938     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1939     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1940
1941 # VPP Performance Changes 2n-clx-xxv710 4t2c ndr
1942 - type: "table"
1943   title: "VPP Performance Changes 2n-clx-xxv710 ndr"
1944   algorithm: "table_comparison"
1945   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-xxv710-4t2c-ndr"
1946   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1947   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1948   columns:
1949     - title: "2106.0-8"
1950       data-set: "vpp-2n-clx-hist-iter-new-env"
1951     - title: "2110.0-8"
1952       data-set: "vpp-2n-clx-prev-iter-old-env"
1953     - title: "2110.0-9"
1954       data-set: "vpp-2n-clx-prev-iter-new-env"
1955     - title: "2202.0-9"
1956       data-set: "vpp-2n-clx-curr-iter"
1957   comparisons:
1958     - title: "2110.0-9 vs 2110.0-8"
1959       reference: 2
1960       compare: 3
1961     - title: "2202.0-9 vs 2110.0-9"
1962       reference: 3
1963       compare: 4
1964   legend:
1965     - ''
1966     - 'Test Case:            Test cases executed for: NDR throughput on 2n-clx with xxv710.'
1967     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1968     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1969     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1970     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1971
1972 # VPP Performance Changes 2n-clx-cx556a 2t1c pdr
1973 - type: "table"
1974   title: "VPP Performance Changes 2n-clx-cx556a 2t1c pdr"
1975   algorithm: "table_comparison"
1976   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-cx556a-2t1c-pdr"
1977   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1978   filter: "'2T1C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
1979   columns:
1980     - title: "2106.0-8"
1981       data-set: "vpp-2n-clx-hist-iter-new-env"
1982     - title: "2110.0-8"
1983       data-set: "vpp-2n-clx-prev-iter-old-env"
1984     - title: "2110.0-9"
1985       data-set: "vpp-2n-clx-prev-iter-new-env"
1986     - title: "2202.0-9"
1987       data-set: "vpp-2n-clx-curr-iter"
1988   comparisons:
1989     - title: "2110.0-9 vs 2110.0-8"
1990       reference: 2
1991       compare: 3
1992     - title: "2202.0-9 vs 2110.0-9"
1993       reference: 3
1994       compare: 4
1995   legend:
1996     - ''
1997     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
1998     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1999     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2000     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2001     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2002
2003 # VPP Performance Changes 2n-clx-cx556a 4t2c pdr
2004 - type: "table"
2005   title: "VPP Performance Changes 2n-clx-cx556a 4t2c pdr"
2006   algorithm: "table_comparison"
2007   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-cx556a-4t2c-pdr"
2008   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2009   filter: "'4T2C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
2010   columns:
2011     - title: "2106.0-8"
2012       data-set: "vpp-2n-clx-hist-iter-new-env"
2013     - title: "2110.0-8"
2014       data-set: "vpp-2n-clx-prev-iter-old-env"
2015     - title: "2110.0-9"
2016       data-set: "vpp-2n-clx-prev-iter-new-env"
2017     - title: "2202.0-9"
2018       data-set: "vpp-2n-clx-curr-iter"
2019   comparisons:
2020     - title: "2110.0-9 vs 2110.0-8"
2021       reference: 2
2022       compare: 3
2023     - title: "2202.0-9 vs 2110.0-9"
2024       reference: 3
2025       compare: 4
2026   legend:
2027     - ''
2028     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
2029     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2030     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2031     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2032     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2033
2034 # VPP Performance Changes 2n-clx-cx556a 2t1c ndr
2035 - type: "table"
2036   title: "VPP Performance Changes 2n-clx-cx556a 2t1c ndr"
2037   algorithm: "table_comparison"
2038   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-cx556a-2t1c-ndr"
2039   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2040   filter: "'2T1C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
2041   columns:
2042     - title: "2106.0-8"
2043       data-set: "vpp-2n-clx-hist-iter-new-env"
2044     - title: "2110.0-8"
2045       data-set: "vpp-2n-clx-prev-iter-old-env"
2046     - title: "2110.0-9"
2047       data-set: "vpp-2n-clx-prev-iter-new-env"
2048     - title: "2202.0-9"
2049       data-set: "vpp-2n-clx-curr-iter"
2050   comparisons:
2051     - title: "2110.0-9 vs 2110.0-8"
2052       reference: 2
2053       compare: 3
2054     - title: "2202.0-9 vs 2110.0-9"
2055       reference: 3
2056       compare: 4
2057   legend:
2058     - ''
2059     - 'Test Case:            Test cases executed for: NDR throughput on 2n-clx with cx556a.'
2060     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2061     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2062     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2063     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2064
2065 # VPP Performance Changes 2n-clx-cx556a 4t2c ndr
2066 - type: "table"
2067   title: "VPP Performance Changes 2n-clx-cx556a ndr"
2068   algorithm: "table_comparison"
2069   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-cx556a-4t2c-ndr"
2070   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2071   filter: "'4T2C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
2072   columns:
2073     - title: "2106.0-8"
2074       data-set: "vpp-2n-clx-hist-iter-new-env"
2075     - title: "2110.0-8"
2076       data-set: "vpp-2n-clx-prev-iter-old-env"
2077     - title: "2110.0-9"
2078       data-set: "vpp-2n-clx-prev-iter-new-env"
2079     - title: "2202.0-9"
2080       data-set: "vpp-2n-clx-curr-iter"
2081   comparisons:
2082     - title: "2110.0-9 vs 2110.0-8"
2083       reference: 2
2084       compare: 3
2085     - title: "2202.0-9 vs 2110.0-9"
2086       reference: 3
2087       compare: 4
2088   legend:
2089     - ''
2090     - 'Test Case:            Test cases executed for: NDR throughput on 2n-clx with cx556a.'
2091     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2092     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2093     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2094     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2095
2096 # VPP Performance Changes 2n-zn2-xxv710 2t1c pdr
2097 - type: "table"
2098   title: "VPP Performance Changes 2n-zn2-xxv710 2t1c pdr"
2099   algorithm: "table_comparison"
2100   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-zn2-xxv710-2t1c-pdr"
2101   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2102   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
2103   columns:
2104     - title: "2106.0-8"
2105       data-set: "vpp-2n-zn2-hist-iter-new-env"
2106     - title: "2110.0-8"
2107       data-set: "vpp-2n-zn2-prev-iter-old-env"
2108     - title: "2110.0-9"
2109       data-set: "vpp-2n-zn2-prev-iter-new-env"
2110     - title: "2202.0-9"
2111       data-set: "vpp-2n-zn2-curr-iter"
2112   comparisons:
2113     - title: "2110.0-9 vs 2110.0-8"
2114       reference: 2
2115       compare: 3
2116     - title: "2202.0-9 vs 2110.0-9"
2117       reference: 3
2118       compare: 4
2119   legend:
2120     - ''
2121     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
2122     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2123     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2124     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2125     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2126
2127 # VPP Performance Changes 2n-zn2-xxv710 4t2c pdr
2128 - type: "table"
2129   title: "VPP Performance Changes 2n-zn2-xxv710 4t2c pdr"
2130   algorithm: "table_comparison"
2131   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-zn2-xxv710-4t2c-pdr"
2132   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2133   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
2134   columns:
2135     - title: "2106.0-8"
2136       data-set: "vpp-2n-zn2-hist-iter-new-env"
2137     - title: "2110.0-8"
2138       data-set: "vpp-2n-zn2-prev-iter-old-env"
2139     - title: "2110.0-9"
2140       data-set: "vpp-2n-zn2-prev-iter-new-env"
2141     - title: "2202.0-9"
2142       data-set: "vpp-2n-zn2-curr-iter"
2143   comparisons:
2144     - title: "2110.0-9 vs 2110.0-8"
2145       reference: 2
2146       compare: 3
2147     - title: "2202.0-9 vs 2110.0-9"
2148       reference: 3
2149       compare: 4
2150   legend:
2151     - ''
2152     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
2153     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2154     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2155     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2156     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2157
2158 # VPP Performance Changes 2n-zn2-xxv710 2t1c ndr
2159 - type: "table"
2160   title: "VPP Performance Changes 2n-zn2-xxv710 2t1c ndr"
2161   algorithm: "table_comparison"
2162   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-zn2-xxv710-2t1c-ndr"
2163   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2164   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
2165   columns:
2166     - title: "2106.0-8"
2167       data-set: "vpp-2n-zn2-hist-iter-new-env"
2168     - title: "2110.0-8"
2169       data-set: "vpp-2n-zn2-prev-iter-old-env"
2170     - title: "2110.0-9"
2171       data-set: "vpp-2n-zn2-prev-iter-new-env"
2172     - title: "2202.0-9"
2173       data-set: "vpp-2n-zn2-curr-iter"
2174   comparisons:
2175     - title: "2110.0-9 vs 2110.0-8"
2176       reference: 2
2177       compare: 3
2178     - title: "2202.0-9 vs 2110.0-9"
2179       reference: 3
2180       compare: 4
2181   legend:
2182     - ''
2183     - 'Test Case:            Test cases executed for: NDR throughput on 2n-zn2 with xxv710.'
2184     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2185     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2186     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2187     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2188
2189 # VPP Performance Changes 2n-zn2-xxv710 4t2c ndr
2190 - type: "table"
2191   title: "VPP Performance Changes 2n-zn2-xxv710 4t2c ndr"
2192   algorithm: "table_comparison"
2193   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-zn2-xxv710-4t2c-ndr"
2194   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2195   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
2196   columns:
2197     - title: "2106.0-8"
2198       data-set: "vpp-2n-zn2-hist-iter-new-env"
2199     - title: "2110.0-8"
2200       data-set: "vpp-2n-zn2-prev-iter-old-env"
2201     - title: "2110.0-9"
2202       data-set: "vpp-2n-zn2-prev-iter-new-env"
2203     - title: "2202.0-9"
2204       data-set: "vpp-2n-zn2-curr-iter"
2205   comparisons:
2206     - title: "2110.0-9 vs 2110.0-8"
2207       reference: 2
2208       compare: 3
2209     - title: "2202.0-9 vs 2110.0-9"
2210       reference: 3
2211       compare: 4
2212   legend:
2213     - ''
2214     - 'Test Case:            Test cases executed for: NDR throughput on 2n-zn2 with xxv710.'
2215     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2216     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2217     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2218     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2219
2220 # VPP Performance Changes 2n-dnv 1t1c pdr
2221 - type: "table"
2222   title: "VPP Performance Changes 2n-dnv 1t1c pdr"
2223   algorithm: "table_comparison"
2224   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-dnv-1t1c-pdr"
2225   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2226   filter: "'1T1C'"
2227   columns:
2228     - title: "2106.0-8"
2229       data-set: "vpp-2n-dnv-hist-iter-new-env"
2230     - title: "2110.0-8"
2231       data-set: "vpp-2n-dnv-prev-iter-old-env"
2232     - title: "2110.0-9"
2233       data-set: "vpp-2n-dnv-prev-iter-new-env"
2234     - title: "2202.0-9"
2235       data-set: "vpp-2n-dnv-curr-iter"
2236   comparisons:
2237     - title: "2110.0-9 vs 2110.0-8"
2238       reference: 2
2239       compare: 3
2240     - title: "2202.0-9 vs 2110.0-9"
2241       reference: 3
2242       compare: 4
2243   legend:
2244     - ''
2245     - 'Test Case:            Test cases executed for: PDR throughput on 2n-dnv with x553.'
2246     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2247     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2248     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2249     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2250
2251 # VPP Performance Changes 2n-dnv 2t2c pdr
2252 - type: "table"
2253   title: "VPP Performance Changes 2n-dnv 2t2c pdr"
2254   algorithm: "table_comparison"
2255   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-dnv-2t2c-pdr"
2256   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2257   filter: "'2T2C'"
2258   columns:
2259     - title: "2106.0-8"
2260       data-set: "vpp-2n-dnv-hist-iter-new-env"
2261     - title: "2110.0-8"
2262       data-set: "vpp-2n-dnv-prev-iter-old-env"
2263     - title: "2110.0-9"
2264       data-set: "vpp-2n-dnv-prev-iter-new-env"
2265     - title: "2202.0-9"
2266       data-set: "vpp-2n-dnv-curr-iter"
2267   comparisons:
2268     - title: "2110.0-9 vs 2110.0-8"
2269       reference: 2
2270       compare: 3
2271     - title: "2202.0-9 vs 2110.0-9"
2272       reference: 3
2273       compare: 4
2274   legend:
2275     - ''
2276     - 'Test Case:            Test cases executed for: PDR throughput on 2n-dnv with x553.'
2277     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2278     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2279     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2280     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2281
2282 # VPP Performance Changes 2n-dnv 1t1c ndr
2283 - type: "table"
2284   title: "VPP Performance Changes 2n-dnv 1t1c ndr"
2285   algorithm: "table_comparison"
2286   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-dnv-1t1c-ndr"
2287   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2288   filter: "'1T1C'"
2289   columns:
2290     - title: "2106.0-8"
2291       data-set: "vpp-2n-dnv-hist-iter-new-env"
2292     - title: "2110.0-8"
2293       data-set: "vpp-2n-dnv-prev-iter-old-env"
2294     - title: "2110.0-9"
2295       data-set: "vpp-2n-dnv-prev-iter-new-env"
2296     - title: "2202.0-9"
2297       data-set: "vpp-2n-dnv-curr-iter"
2298   comparisons:
2299     - title: "2110.0-9 vs 2110.0-8"
2300       reference: 2
2301       compare: 3
2302     - title: "2202.0-9 vs 2110.0-9"
2303       reference: 3
2304       compare: 4
2305   legend:
2306     - ''
2307     - 'Test Case:            Test cases executed for: NDR throughput on 2n-dnv with x553.'
2308     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2309     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2310     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2311     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2312
2313 # VPP Performance Changes 2n-dnv 2t2c ndr
2314 - type: "table"
2315   title: "VPP Performance Changes 2n-dnv 2t2c ndr"
2316   algorithm: "table_comparison"
2317   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-dnv-2t2c-ndr"
2318   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2319   filter: "'2T2C'"
2320   columns:
2321     - title: "2106.0-8"
2322       data-set: "vpp-2n-dnv-hist-iter-new-env"
2323     - title: "2110.0-8"
2324       data-set: "vpp-2n-dnv-prev-iter-old-env"
2325     - title: "2110.0-9"
2326       data-set: "vpp-2n-dnv-prev-iter-new-env"
2327     - title: "2202.0-9"
2328       data-set: "vpp-2n-dnv-curr-iter"
2329   comparisons:
2330     - title: "2110.0-9 vs 2110.0-8"
2331       reference: 2
2332       compare: 3
2333     - title: "2202.0-9 vs 2110.0-9"
2334       reference: 3
2335       compare: 4
2336   legend:
2337     - ''
2338     - 'Test Case:            Test cases executed for: NDR throughput on 2n-dnv with x553.'
2339     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2340     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2341     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2342     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2343
2344 # VPP Performance Changes 3n-dnv 1t1c pdr
2345 - type: "table"
2346   title: "VPP Performance Changes 3n-dnv 1t1c pdr"
2347   algorithm: "table_comparison"
2348   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-dnv-1t1c-pdr"
2349   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2350   filter: "'1T1C'"
2351   columns:
2352     - title: "2106.0-8"
2353       data-set: "vpp-3n-dnv-hist-iter-new-env"
2354     - title: "2110.0-8"
2355       data-set: "vpp-3n-dnv-prev-iter-old-env"
2356     - title: "2110.0-9"
2357       data-set: "vpp-3n-dnv-prev-iter-new-env"
2358     - title: "2202.0-9"
2359       data-set: "vpp-3n-dnv-curr-iter"
2360   comparisons:
2361     - title: "2110.0-9 vs 2110.0-8"
2362       reference: 2
2363       compare: 3
2364     - title: "2202.0-9 vs 2110.0-9"
2365       reference: 3
2366       compare: 4
2367   legend:
2368     - ''
2369     - 'Test Case:            Test cases executed for: PDR throughput on 3n-dnv with x553.'
2370     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2371     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2372     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2373     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2374
2375 # VPP Performance Changes 3n-dnv 2t2c pdr
2376 - type: "table"
2377   title: "VPP Performance Changes 3n-dnv 2t2c pdr"
2378   algorithm: "table_comparison"
2379   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-dnv-2t2c-pdr"
2380   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2381   filter: "'2T2C'"
2382   columns:
2383     - title: "2106.0-8"
2384       data-set: "vpp-3n-dnv-hist-iter-new-env"
2385     - title: "2110.0-8"
2386       data-set: "vpp-3n-dnv-prev-iter-old-env"
2387     - title: "2110.0-9"
2388       data-set: "vpp-3n-dnv-prev-iter-new-env"
2389     - title: "2202.0-9"
2390       data-set: "vpp-3n-dnv-curr-iter"
2391   comparisons:
2392     - title: "2110.0-9 vs 2110.0-8"
2393       reference: 2
2394       compare: 3
2395     - title: "2202.0-9 vs 2110.0-9"
2396       reference: 3
2397       compare: 4
2398   legend:
2399     - ''
2400     - 'Test Case:            Test cases executed for: PDR throughput on 3n-dnv with x553.'
2401     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2402     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2403     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2404     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2405
2406 # VPP Performance Changes 3n-dnv 1t1c ndr
2407 - type: "table"
2408   title: "VPP Performance Changes 3n-dnv 1t1c ndr"
2409   algorithm: "table_comparison"
2410   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-dnv-1t1c-ndr"
2411   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2412   filter: "'1T1C'"
2413   columns:
2414     - title: "2106.0-8"
2415       data-set: "vpp-3n-dnv-hist-iter-new-env"
2416     - title: "2110.0-8"
2417       data-set: "vpp-3n-dnv-prev-iter-old-env"
2418     - title: "2110.0-9"
2419       data-set: "vpp-3n-dnv-prev-iter-new-env"
2420     - title: "2202.0-9"
2421       data-set: "vpp-3n-dnv-curr-iter"
2422   comparisons:
2423     - title: "2110.0-9 vs 2110.0-8"
2424       reference: 2
2425       compare: 3
2426     - title: "2202.0-9 vs 2110.0-9"
2427       reference: 3
2428       compare: 4
2429   legend:
2430     - ''
2431     - 'Test Case:            Test cases executed for: NDR throughput on 3n-dnv with x553.'
2432     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2433     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2434     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2435     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2436
2437 # VPP Performance Changes 3n-dnv 2t2c ndr
2438 - type: "table"
2439   title: "VPP Performance Changes 3n-dnv 2t2c ndr"
2440   algorithm: "table_comparison"
2441   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-dnv-2t2c-ndr"
2442   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2443   filter: "'2T2C'"
2444   columns:
2445     - title: "2106.0-8"
2446       data-set: "vpp-3n-dnv-hist-iter-new-env"
2447     - title: "2110.0-8"
2448       data-set: "vpp-3n-dnv-prev-iter-old-env"
2449     - title: "2110.0-9"
2450       data-set: "vpp-3n-dnv-prev-iter-new-env"
2451     - title: "2202.0-9"
2452       data-set: "vpp-3n-dnv-curr-iter"
2453   comparisons:
2454     - title: "2110.0-9 vs 2110.0-8"
2455       reference: 2
2456       compare: 3
2457     - title: "2202.0-9 vs 2110.0-9"
2458       reference: 3
2459       compare: 4
2460   legend:
2461     - ''
2462     - 'Test Case:            Test cases executed for: NDR throughput on 3n-dnv with x553.'
2463     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2464     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2465     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2466     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2467
2468 # VPP Performance Changes 3n-tsh 1t1c pdr
2469 - type: "table"
2470   title: "VPP Performance Changes 3n-tsh 1t1c pdr"
2471   algorithm: "table_comparison"
2472   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-tsh-1t1c-pdr"
2473   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2474   filter: "'1T1C'"
2475   columns:
2476     - title: "2106.0-8"
2477       data-set: "vpp-3n-tsh-hist-iter-new-env"
2478     - title: "2110.0-8"
2479       data-set: "vpp-3n-tsh-prev-iter-old-env"
2480     - title: "2110.0-9"
2481       data-set: "vpp-3n-tsh-prev-iter-new-env"
2482     - title: "2202.0-9"
2483       data-set: "vpp-3n-tsh-curr-iter"
2484   comparisons:
2485     - title: "2110.0-9 vs 2110.0-8"
2486       reference: 2
2487       compare: 3
2488     - title: "2202.0-9 vs 2110.0-9"
2489       reference: 3
2490       compare: 4
2491   legend:
2492     - ''
2493     - 'Test Case:            Test cases executed for: PDR throughput on 3n-tsh with x520.'
2494     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2495     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2496     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2497     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2498
2499 # VPP Performance Changes 3n-tsh 2t2c pdr
2500 - type: "table"
2501   title: "VPP Performance Changes 3n-tsh 2t2c pdr"
2502   algorithm: "table_comparison"
2503   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-tsh-2t2c-pdr"
2504   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2505   filter: "'2T2C'"
2506   columns:
2507     - title: "2106.0-8"
2508       data-set: "vpp-3n-tsh-hist-iter-new-env"
2509     - title: "2110.0-8"
2510       data-set: "vpp-3n-tsh-prev-iter-old-env"
2511     - title: "2110.0-9"
2512       data-set: "vpp-3n-tsh-prev-iter-new-env"
2513     - title: "2202.0-9"
2514       data-set: "vpp-3n-tsh-curr-iter"
2515   comparisons:
2516     - title: "2110.0-9 vs 2110.0-8"
2517       reference: 2
2518       compare: 3
2519     - title: "2202.0-9 vs 2110.0-9"
2520       reference: 3
2521       compare: 4
2522   legend:
2523     - ''
2524     - 'Test Case:            Test cases executed for: PDR throughput on 3n-tsh with x520.'
2525     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2526     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2527     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2528     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2529
2530 # VPP Performance Changes 3n-tsh 1t1c ndr
2531 - type: "table"
2532   title: "VPP Performance Changes 3n-tsh 1t1c ndr"
2533   algorithm: "table_comparison"
2534   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-tsh-1t1c-ndr"
2535   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2536   filter: "'1T1C'"
2537   columns:
2538     - title: "2106.0-8"
2539       data-set: "vpp-3n-tsh-hist-iter-new-env"
2540     - title: "2110.0-8"
2541       data-set: "vpp-3n-tsh-prev-iter-old-env"
2542     - title: "2110.0-9"
2543       data-set: "vpp-3n-tsh-prev-iter-new-env"
2544     - title: "2202.0-9"
2545       data-set: "vpp-3n-tsh-curr-iter"
2546   comparisons:
2547     - title: "2110.0-9 vs 2110.0-8"
2548       reference: 2
2549       compare: 3
2550     - title: "2202.0-9 vs 2110.0-9"
2551       reference: 3
2552       compare: 4
2553   legend:
2554     - ''
2555     - 'Test Case:            Test cases executed for: NDR throughput on 3n-tsh with x520.'
2556     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2557     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2558     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2559     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2560
2561 # VPP Performance Changes 3n-tsh 2t2c ndr
2562 - type: "table"
2563   title: "VPP Performance Changes 3n-tsh 2t2c ndr"
2564   algorithm: "table_comparison"
2565   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-tsh-2t2c-ndr"
2566   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2567   filter: "'2T2C'"
2568   columns:
2569     - title: "2106.0-8"
2570       data-set: "vpp-3n-tsh-hist-iter-new-env"
2571     - title: "2110.0-8"
2572       data-set: "vpp-3n-tsh-prev-iter-old-env"
2573     - title: "2110.0-9"
2574       data-set: "vpp-3n-tsh-prev-iter-new-env"
2575     - title: "2202.0-9"
2576       data-set: "vpp-3n-tsh-curr-iter"
2577   comparisons:
2578     - title: "2110.0-9 vs 2110.0-8"
2579       reference: 2
2580       compare: 3
2581     - title: "2202.0-9 vs 2110.0-9"
2582       reference: 3
2583       compare: 4
2584   legend:
2585     - ''
2586     - 'Test Case:            Test cases executed for: NDR throughput on 3n-tsh with x520.'
2587     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2588     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2589     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2590     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2591
2592 # VPP Performance Changes 2n-tx2 1t1c pdr
2593 - type: "table"
2594   title: "VPP Performance Changes 2n-tx2 1t1c pdr"
2595   algorithm: "table_comparison"
2596   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-tx2-1t1c-pdr"
2597   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2598   filter: "'1T1C'"
2599   columns:
2600     - title: "2106.0-8"
2601       data-set: "vpp-2n-tx2-hist-iter-new-env"
2602     - title: "2110.0-8"
2603       data-set: "vpp-2n-tx2-prev-iter-old-env"
2604     - title: "2110.0-9"
2605       data-set: "vpp-2n-tx2-prev-iter-new-env"
2606     - title: "2202.0-9"
2607       data-set: "vpp-2n-tx2-curr-iter"
2608   comparisons:
2609     - title: "2110.0-9 vs 2110.0-8"
2610       reference: 2
2611       compare: 3
2612     - title: "2202.0-9 vs 2110.0-9"
2613       reference: 3
2614       compare: 4
2615   legend:
2616     - ''
2617     - 'Test Case:            Test cases executed for: PDR throughput on 2n-tx2 with xl710.'
2618     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2619     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2620     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2621     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2622
2623 # VPP Performance Changes 2n-tx2 2t2c pdr
2624 - type: "table"
2625   title: "VPP Performance Changes 2n-tx2 2t2c pdr"
2626   algorithm: "table_comparison"
2627   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-tx2-2t2c-pdr"
2628   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2629   filter: "'2T2C'"
2630   columns:
2631     - title: "2106.0-8"
2632       data-set: "vpp-2n-tx2-hist-iter-new-env"
2633     - title: "2110.0-8"
2634       data-set: "vpp-2n-tx2-prev-iter-old-env"
2635     - title: "2110.0-9"
2636       data-set: "vpp-2n-tx2-prev-iter-new-env"
2637     - title: "2202.0-9"
2638       data-set: "vpp-2n-tx2-curr-iter"
2639   comparisons:
2640     - title: "2110.0-9 vs 2110.0-8"
2641       reference: 2
2642       compare: 3
2643     - title: "2202.0-9 vs 2110.0-9"
2644       reference: 3
2645       compare: 4
2646   legend:
2647     - ''
2648     - 'Test Case:            Test cases executed for: PDR throughput on 2n-tx2 with xl710.'
2649     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2650     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2651     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2652     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2653
2654 # VPP Performance Changes 2n-tx2 1t1c ndr
2655 - type: "table"
2656   title: "VPP Performance Changes 2n-tx2 1t1c ndr"
2657   algorithm: "table_comparison"
2658   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-tx2-1t1c-ndr"
2659   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2660   filter: "'1T1C'"
2661   columns:
2662     - title: "2106.0-8"
2663       data-set: "vpp-2n-tx2-hist-iter-new-env"
2664     - title: "2110.0-8"
2665       data-set: "vpp-2n-tx2-prev-iter-old-env"
2666     - title: "2110.0-9"
2667       data-set: "vpp-2n-tx2-prev-iter-new-env"
2668     - title: "2202.0-9"
2669       data-set: "vpp-2n-tx2-curr-iter"
2670   comparisons:
2671     - title: "2110.0-9 vs 2110.0-8"
2672       reference: 2
2673       compare: 3
2674     - title: "2202.0-9 vs 2110.0-9"
2675       reference: 3
2676       compare: 4
2677   legend:
2678     - ''
2679     - 'Test Case:            Test cases executed for: NDR throughput on 2n-tx2 with xl710.'
2680     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2681     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2682     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2683     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2684
2685 # VPP Performance Changes 2n-tx2 2t2c ndr
2686 - type: "table"
2687   title: "VPP Performance Changes 2n-tx2 2t2c ndr"
2688   algorithm: "table_comparison"
2689   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-tx2-2t2c-ndr"
2690   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2691   filter: "'2T2C'"
2692   columns:
2693     - title: "2106.0-8"
2694       data-set: "vpp-2n-tx2-hist-iter-new-env"
2695     - title: "2110.0-8"
2696       data-set: "vpp-2n-tx2-prev-iter-old-env"
2697     - title: "2110.0-9"
2698       data-set: "vpp-2n-tx2-prev-iter-new-env"
2699     - title: "2202.0-9"
2700       data-set: "vpp-2n-tx2-curr-iter"
2701   comparisons:
2702     - title: "2110.0-9 vs 2110.0-8"
2703       reference: 2
2704       compare: 3
2705     - title: "2202.0-9 vs 2110.0-9"
2706       reference: 3
2707       compare: 4
2708   legend:
2709     - ''
2710     - 'Test Case:            Test cases executed for: NDR throughput on 2n-tx2 with xl710.'
2711     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2712     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2713     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2714     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2715
2716 # VPP Performance Changes 2n-aws 2t1c pdr
2717 - type: "table"
2718   title: "VPP Performance Changes 2n-aws 2t1c pdr"
2719   algorithm: "table_comparison"
2720   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-aws-2t1c-pdr"
2721   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2722   filter: "'2T1C' and 'NDRPDR'"
2723   columns:
2724     - title: "2110.0-8"
2725       data-set: "vpp-2n-aws-prev-iter"
2726     - title: "2202.0-9"
2727       data-set: "vpp-2n-aws-curr-iter"
2728   comparisons:
2729     - title: "2202.0-9 vs 2110.0-8"
2730       reference: 1
2731       compare: 2
2732   legend:
2733     - ''
2734     - 'Test Case:            Test cases executed for: PDR throughput on 2n-aws with nitro50g.'
2735     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2736     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2737     - '2202.0-9 vs 2110.0-8: Compares VPP code current vs previous.'
2738
2739 # VPP Performance Changes 2n-aws 4t2c pdr
2740 - type: "table"
2741   title: "VPP Performance Changes 2n-aws 4t2c pdr"
2742   algorithm: "table_comparison"
2743   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-aws-4t2c-pdr"
2744   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2745   filter: "'4T2C' and 'NDRPDR'"
2746   columns:
2747     - title: "2110.0-8"
2748       data-set: "vpp-2n-aws-prev-iter"
2749     - title: "2202.0-9"
2750       data-set: "vpp-2n-aws-curr-iter"
2751   comparisons:
2752     - title: "2202.0-9 vs 2110.0-8"
2753       reference: 1
2754       compare: 2
2755   legend:
2756     - ''
2757     - 'Test Case:            Test cases executed for: PDR throughput on 2n-aws with nitro50g.'
2758     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2759     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2760     - '2202.0-9 vs 2110.0-8: Compares VPP code current vs previous.'
2761
2762 # VPP Performance Changes 2n-aws 2t1c ndr
2763 - type: "table"
2764   title: "VPP Performance Changes 2n-aws 2t1c ndr"
2765   algorithm: "table_comparison"
2766   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-aws-2t1c-ndr"
2767   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2768   filter: "'2T1C' and 'NDRPDR'"
2769   columns:
2770     - title: "2110.0-8"
2771       data-set: "vpp-2n-aws-prev-iter"
2772     - title: "2202.0-9"
2773       data-set: "vpp-2n-aws-curr-iter"
2774   comparisons:
2775     - title: "2202.0-9 vs 2110.0-8"
2776       reference: 1
2777       compare: 2
2778   legend:
2779     - ''
2780     - 'Test Case:            Test cases executed for: NDR throughput on 2n-aws with nitro50g.'
2781     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2782     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2783     - '2202.0-9 vs 2110.0-8: Compares VPP code current vs previous.'
2784
2785 # VPP Performance Changes 2n-aws 4t2c ndr
2786 - type: "table"
2787   title: "VPP Performance Changes 2n-aws 4t2c ndr"
2788   algorithm: "table_comparison"
2789   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-aws-4t2c-ndr"
2790   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2791   filter: "'4T2C' and 'NDRPDR'"
2792   columns:
2793     - title: "2110.0-8"
2794       data-set: "vpp-2n-aws-prev-iter"
2795     - title: "2202.0-9"
2796       data-set: "vpp-2n-aws-curr-iter"
2797   comparisons:
2798     - title: "2202.0-9 vs 2110.0-8"
2799       reference: 1
2800       compare: 2
2801   legend:
2802     - ''
2803     - 'Test Case:            Test cases executed for: NDR throughput on 2n-aws with nitro50g.'
2804     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2805     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2806     - '2202.0-9 vs 2110.0-8: Compares VPP code current vs previous.'
2807
2808 # VPP Performance Changes 3n-aws 2t1c pdr
2809 - type: "table"
2810   title: "VPP Performance Changes 3n-aws 2t1c pdr"
2811   algorithm: "table_comparison"
2812   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-aws-2t1c-pdr"
2813   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2814   filter: "'2T1C' and 'NDRPDR'"
2815   columns:
2816     - title: "2110.0-8"
2817       data-set: "vpp-3n-aws-prev-iter"
2818     - title: "2202.0-9"
2819       data-set: "vpp-3n-aws-curr-iter"
2820   comparisons:
2821     - title: "2202.0-9 vs 2110.0-8"
2822       reference: 1
2823       compare: 2
2824   legend:
2825     - ''
2826     - 'Test Case:            Test cases executed for: PDR throughput on 3n-aws with nitro50g.'
2827     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2828     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2829     - '2202.0-9 vs 2110.0-8: Compares VPP code current vs previous.'
2830
2831 # VPP Performance Changes 3n-aws 4t2c pdr
2832 - type: "table"
2833   title: "VPP Performance Changes 3n-aws 4t2c pdr"
2834   algorithm: "table_comparison"
2835   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-aws-4t2c-pdr"
2836   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2837   filter: "'4T2C' and 'NDRPDR'"
2838   columns:
2839     - title: "2110.0-8"
2840       data-set: "vpp-3n-aws-prev-iter"
2841     - title: "2202.0-9"
2842       data-set: "vpp-3n-aws-curr-iter"
2843   comparisons:
2844     - title: "2202.0-9 vs 2110.0-8"
2845       reference: 1
2846       compare: 2
2847   legend:
2848     - ''
2849     - 'Test Case:            Test cases executed for: PDR throughput on 3n-aws with nitro50g.'
2850     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2851     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2852     - '2202.0-9 vs 2110.0-8: Compares VPP code current vs previous.'
2853
2854 # VPP Performance Changes 3n-aws 2t1c ndr
2855 - type: "table"
2856   title: "VPP Performance Changes 3n-aws 2t1c ndr"
2857   algorithm: "table_comparison"
2858   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-aws-2t1c-ndr"
2859   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2860   filter: "'2T1C' and 'NDRPDR'"
2861   columns:
2862     - title: "2110.0-8"
2863       data-set: "vpp-3n-aws-prev-iter"
2864     - title: "2202.0-9"
2865       data-set: "vpp-3n-aws-curr-iter"
2866   comparisons:
2867     - title: "2202.0-9 vs 2110.0-8"
2868       reference: 1
2869       compare: 2
2870   legend:
2871     - ''
2872     - 'Test Case:            Test cases executed for: NDR throughput on 3n-aws with nitro50g.'
2873     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2874     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2875     - '2202.0-9 vs 2110.0-8: Compares VPP code current vs previous.'
2876
2877 # VPP Performance Changes 3n-aws 4t2c ndr
2878 - type: "table"
2879   title: "VPP Performance Changes 3n-aws 4t2c ndr"
2880   algorithm: "table_comparison"
2881   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-aws-4t2c-ndr"
2882   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2883   filter: "'4T2C' and 'NDRPDR'"
2884   columns:
2885     - title: "2110.0-8"
2886       data-set: "vpp-3n-aws-prev-iter"
2887     - title: "2202.0-9"
2888       data-set: "vpp-3n-aws-curr-iter"
2889   comparisons:
2890     - title: "2202.0-9 vs 2110.0-8"
2891       reference: 1
2892       compare: 2
2893   legend:
2894     - ''
2895     - 'Test Case:            Test cases executed for: NDR throughput on 3n-aws with nitro50g.'
2896     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2897     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2898     - '2202.0-9 vs 2110.0-8: Compares VPP code current vs previous.'
2899
2900 # VPP Comparison Across Testbeds 2n-skx to 2n-clx 2t1c ndr
2901 - type: "table"
2902   title: "VPP Comparison Across Testbeds 2n-skx to 2n-clx 2t1c ndr"
2903   algorithm: "table_comparison"
2904   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-skx-2n-clx-2t1c-ndr"
2905   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2906   filter: "'2T1C' and 'NIC_Intel-XXV710'"
2907   columns:
2908     - title: "2n-skx"
2909       data-set: "vpp-2n-skx-curr-iter"
2910     - title: "2n-clx"
2911       data-set: "vpp-2n-clx-curr-iter"
2912   comparisons:
2913     - title: "Diff"
2914       reference: 1
2915       compare: 2
2916   legend:
2917     - ""
2918     - "2n-skx, 2n-clx - testbeds and NICs tested."
2919     - "Diff - difference between 2n-skx and 2n-clx testbeds."
2920
2921 # VPP Comparison Across Testbeds 2n-skx to 2n-clx 4t2c ndr
2922 - type: "table"
2923   title: "VPP Comparison Across Testbeds 2n-skx to 2n-clx 4t2c ndr"
2924   algorithm: "table_comparison"
2925   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-skx-2n-clx-4t2c-ndr"
2926   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2927   filter: "'4T2C' and 'NIC_Intel-XXV710'"
2928   columns:
2929     - title: "2n-skx"
2930       data-set: "vpp-2n-skx-curr-iter"
2931     - title: "2n-clx"
2932       data-set: "vpp-2n-clx-curr-iter"
2933   comparisons:
2934     - title: "Diff"
2935       reference: 1
2936       compare: 2
2937   legend:
2938     - ""
2939     - "2n-skx, 2n-clx - testbeds and NICs tested."
2940     - "Diff - difference between 2n-skx and 2n-clx testbeds."
2941
2942 # VPP Comparison Across Testbeds 2n-skx to 2n-clx 2t1c pdr
2943 - type: "table"
2944   title: "VPP Comparison Across Testbeds 2n-skx to 2n-clx 2t1c pdr"
2945   algorithm: "table_comparison"
2946   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-skx-2n-clx-2t1c-pdr"
2947   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2948   filter: "'2T1C' and 'NIC_Intel-XXV710'"
2949   columns:
2950     - title: "2n-skx"
2951       data-set: "vpp-2n-skx-curr-iter"
2952     - title: "2n-clx"
2953       data-set: "vpp-2n-clx-curr-iter"
2954   comparisons:
2955     - title: "Diff"
2956       reference: 1
2957       compare: 2
2958   legend:
2959     - ""
2960     - "2n-skx, 2n-clx - testbeds and NICs tested."
2961     - "Diff - difference between 2n-skx and 2n-clx testbeds."
2962
2963 # VPP Comparison Across Testbeds 2n-skx to 2n-clx 4t2c pdr
2964 - type: "table"
2965   title: "VPP Comparison Across Testbeds 2n-skx to 2n-clx 4t2c pdr"
2966   algorithm: "table_comparison"
2967   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-skx-2n-clx-4t2c-pdr"
2968   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2969   filter: "'4T2C' and 'NIC_Intel-XXV710'"
2970   columns:
2971     - title: "2n-skx"
2972       data-set: "vpp-2n-skx-curr-iter"
2973     - title: "2n-clx"
2974       data-set: "vpp-2n-clx-curr-iter"
2975   comparisons:
2976     - title: "Diff"
2977       reference: 1
2978       compare: 2
2979   legend:
2980     - ""
2981     - "2n-skx, 2n-clx - testbeds and NICs tested."
2982     - "Diff - difference between 2n-skx and 2n-clx testbeds."
2983
2984 # VPP Comparison Across Testbeds 2n-clx to 2n-icx 1c ndr
2985 - type: "table"
2986   title: "VPP Comparison Across Testbeds 2n-clx to 2n-icx 1c ndr"
2987   algorithm: "table_comparison"
2988   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-clx-2n-icx-1c-ndr"
2989   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2990   filter: "'NIC_Intel-XXV710' and 'NDRPDR' and '1C'"
2991   columns:
2992     - title: "2n-clx xxv710"
2993       data-set: "vpp-2n-clx-curr-iter"
2994     - title: "2n-icx xxv710"
2995       data-set: "vpp-2n-icx-curr-iter"
2996   comparisons:
2997     - title: "Diff"
2998       reference: 1
2999       compare: 2
3000   legend:
3001     - ""
3002     - "2n-clx xxv710, 2n-icx xxv710 - testbeds and NICs tested."
3003     - "Diff - difference between 2n-clx xxv710 and 2n-icx xxv710 testbeds."
3004
3005 # VPP Comparison Across Testbeds 2n-clx to 2n-icx 2c ndr
3006 - type: "table"
3007   title: "VPP Comparison Across Testbeds 2n-clx to 2n-icx 2c ndr"
3008   algorithm: "table_comparison"
3009   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-clx-2n-icx-2c-ndr"
3010   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
3011   filter: "'NIC_Intel-XXV710' and 'NDRPDR' and '2C'"
3012   columns:
3013     - title: "2n-clx xxv710"
3014       data-set: "vpp-2n-clx-curr-iter"
3015     - title: "2n-icx xxv710"
3016       data-set: "vpp-2n-icx-curr-iter"
3017   comparisons:
3018     - title: "Diff"
3019       reference: 1
3020       compare: 2
3021   legend:
3022     - ""
3023     - "2n-clx xxv710, 2n-icx xxv710 - testbeds and NICs tested."
3024     - "Diff - difference between 2n-clx xxv710 and 2n-icx xxv710 testbeds."
3025
3026 # VPP Comparison Across Testbeds 2n-clx to 2n-icx 1c pdr
3027 - type: "table"
3028   title: "VPP Comparison Across Testbeds 2n-clx to 2n-icx 1c pdr"
3029   algorithm: "table_comparison"
3030   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-clx-2n-icx-1c-pdr"
3031   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3032   filter: "'NIC_Intel-XXV710' and 'NDRPDR' and '1C'"
3033   columns:
3034     - title: "2n-clx xxv710"
3035       data-set: "vpp-2n-clx-curr-iter"
3036     - title: "2n-icx xxv710"
3037       data-set: "vpp-2n-icx-curr-iter"
3038   comparisons:
3039     - title: "Diff"
3040       reference: 1
3041       compare: 2
3042   legend:
3043     - ""
3044     - "2n-clx xxv710, 2n-icx xxv710 - testbeds and NICs tested."
3045     - "Diff - difference between 2n-clx xxv710 and 2n-icx xxv710 testbeds."
3046
3047 # VPP Comparison Across Testbeds 2n-clx to 2n-icx 2c pdr
3048 - type: "table"
3049   title: "VPP Comparison Across Testbeds 2n-clx to 2n-icx 2c pdr"
3050   algorithm: "table_comparison"
3051   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-clx-2n-icx-2c-pdr"
3052   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3053   filter: "'NIC_Intel-XXV710' and 'NDRPDR' and '2C'"
3054   columns:
3055     - title: "2n-clx xxv710"
3056       data-set: "vpp-3n-skx-curr-iter"
3057     - title: "2n-icx xxv710"
3058       data-set: "vpp-2n-icx-curr-iter"
3059   comparisons:
3060     - title: "Diff"
3061       reference: 1
3062       compare: 2
3063   legend:
3064     - ""
3065     - "2n-clx xxv710, 2n-icx xxv710 - testbeds and NICs tested."
3066     - "Diff - difference between 2n-clx xxv710 and 2n-icx xxv710 testbeds."
3067
3068 # VPP Comparison Across Testbeds 3n-skx to 3n-icx 1c ndr
3069 - type: "table"
3070   title: "VPP Comparison Across Testbeds 3n-skx to 3n-icx 1c ndr"
3071   algorithm: "table_comparison"
3072   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-skx-3n-icx-1c-ndr"
3073   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
3074   filter: "'NIC_Intel-XXV710' and 'NDRPDR' and '1C'"
3075   columns:
3076     - title: "3n-skx xxv710"
3077       data-set: "vpp-3n-skx-curr-iter"
3078     - title: "3n-icx xxv710"
3079       data-set: "vpp-3n-icx-curr-iter"
3080   comparisons:
3081     - title: "Diff"
3082       reference: 1
3083       compare: 2
3084   legend:
3085     - ""
3086     - "3n-skx xxv710, 3n-icx xxv710 - testbeds and NICs tested."
3087     - "Diff - difference between 3n-skx xxv710 and 3n-icx xxv710 testbeds."
3088
3089 # VPP Comparison Across Testbeds 3n-skx to 3n-icx 2c ndr
3090 - type: "table"
3091   title: "VPP Comparison Across Testbeds 3n-skx to 3n-icx ndr"
3092   algorithm: "table_comparison"
3093   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-skx-3n-icx-2c-ndr"
3094   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
3095   filter: "'NIC_Intel-XXV710' and 'NDRPDR' and '2C'"
3096   columns:
3097     - title: "3n-skx xxv710"
3098       data-set: "vpp-3n-skx-curr-iter"
3099     - title: "3n-icx xxv710"
3100       data-set: "vpp-3n-icx-curr-iter"
3101   comparisons:
3102     - title: "Diff"
3103       reference: 1
3104       compare: 2
3105   legend:
3106     - ""
3107     - "3n-skx xxv710, 3n-icx xxv710 - testbeds and NICs tested."
3108     - "Diff - difference between 3n-skx xxv710 and 3n-icx xxv710 testbeds."
3109
3110 # VPP Comparison Across Testbeds 3n-skx to 3n-icx 1c pdr
3111 - type: "table"
3112   title: "VPP Comparison Across Testbeds 3n-skx to 3n-icx 1c pdr"
3113   algorithm: "table_comparison"
3114   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-skx-3n-icx-1c-pdr"
3115   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3116   filter: "'NIC_Intel-XXV710' and 'NDRPDR' and '1C'"
3117   columns:
3118     - title: "3n-skx xxv710"
3119       data-set: "vpp-3n-skx-curr-iter"
3120     - title: "3n-icx xxv710"
3121       data-set: "vpp-3n-icx-curr-iter"
3122   comparisons:
3123     - title: "Diff"
3124       reference: 1
3125       compare: 2
3126   legend:
3127     - ""
3128     - "3n-skx xxv710, 3n-icx xxv710 - testbeds and NICs tested."
3129     - "Diff - difference between 3n-skx xxv710 and 3n-icx xxv710 testbeds."
3130
3131 # VPP Comparison Across Testbeds 3n-skx to 3n-icx 2c pdr
3132 - type: "table"
3133   title: "VPP Comparison Across Testbeds 3n-skx to 3n-icx 2c pdr"
3134   algorithm: "table_comparison"
3135   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-skx-3n-icx-2c-pdr"
3136   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3137   filter: "'NIC_Intel-XXV710' and 'NDRPDR' and '2C'"
3138   columns:
3139     - title: "3n-skx xxv710"
3140       data-set: "vpp-3n-skx-curr-iter"
3141     - title: "3n-icx xxv710"
3142       data-set: "vpp-3n-icx-curr-iter"
3143   comparisons:
3144     - title: "Diff"
3145       reference: 1
3146       compare: 2
3147   legend:
3148     - ""
3149     - "3n-skx xxv710, 3n-icx xxv710 - testbeds and NICs tested."
3150     - "Diff - difference between 3n-skx xxv710 and 3n-icx xxv710 testbeds."
3151
3152 # VPP Comparison Across Topologies 3n-skx to 2n-skx 1c ndr
3153 - type: "table"
3154   title: "VPP Comparison Across Topologies 3n-skx to 2n-skx 1c ndr"
3155   algorithm: "table_comparison"
3156   output-file: "{DIR[STATIC,VPP]}/performance-compare-topologies-3n-skx-2n-skx-1c-ndr"
3157   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
3158   filter: "'NDRPDR' and '1C' and 'NIC_Intel-XXV710'"
3159   columns:
3160     - title: "3n-skx"
3161       data-set: "vpp-3n-skx-curr-iter"
3162     - title: "2n-skx"
3163       data-set: "vpp-2n-skx-curr-iter"
3164   comparisons:
3165     - title: "Diff"
3166       reference: 1
3167       compare: 2
3168   legend:
3169     - ""
3170     - "3n-skx, 2n-skx - topologies tested."
3171     - "Diff - difference between 3n-skx and 2n-skx topologies."
3172
3173 # VPP Comparison Across Topologies 3n-skx to 2n-skx 2c ndr
3174 - type: "table"
3175   title: "VPP Comparison Across Topologies 3n-skx to 2n-skx 2c ndr"
3176   algorithm: "table_comparison"
3177   output-file: "{DIR[STATIC,VPP]}/performance-compare-topologies-3n-skx-2n-skx-2c-ndr"
3178   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
3179   filter: "'NDRPDR' and '2C' and 'NIC_Intel-XXV710'"
3180   columns:
3181     - title: "3n-skx"
3182       data-set: "vpp-3n-skx-curr-iter"
3183     - title: "2n-skx"
3184       data-set: "vpp-2n-skx-curr-iter"
3185   comparisons:
3186     - title: "Diff"
3187       reference: 1
3188       compare: 2
3189   legend:
3190     - ""
3191     - "3n-skx, 2n-skx - topologies tested."
3192     - "Diff - difference between 3n-skx and 2n-skx topologies."
3193
3194 # VPP Comparison Across Topologies 3n-skx to 2n-skx 1c pdr
3195 - type: "table"
3196   title: "VPP Comparison Across Topologies 3n-skx to 2n-skx 1c pdr"
3197   algorithm: "table_comparison"
3198   output-file: "{DIR[STATIC,VPP]}/performance-compare-topologies-3n-skx-2n-skx-1c-pdr"
3199   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3200   filter: "'NDRPDR' and '1C' and 'NIC_Intel-XXV710'"
3201   columns:
3202     - title: "3n-skx"
3203       data-set: "vpp-3n-skx-curr-iter"
3204     - title: "2n-skx"
3205       data-set: "vpp-2n-skx-curr-iter"
3206   comparisons:
3207     - title: "Diff"
3208       reference: 1
3209       compare: 2
3210   legend:
3211     - ""
3212     - "3n-skx, 2n-skx - topologies tested."
3213     - "Diff - difference between 3n-skx and 2n-skx topologies."
3214
3215 # VPP Comparison Across Topologies 3n-skx to 2n-skx 2c pdr
3216 - type: "table"
3217   title: "VPP Comparison Across Topologies 3n-skx to 2n-skx 2c pdr"
3218   algorithm: "table_comparison"
3219   output-file: "{DIR[STATIC,VPP]}/performance-compare-topologies-3n-skx-2n-skx-2c-pdr"
3220   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3221   filter: "'NDRPDR' and '2C' and 'NIC_Intel-XXV710'"
3222   columns:
3223     - title: "3n-skx"
3224       data-set: "vpp-3n-skx-curr-iter"
3225     - title: "2n-skx"
3226       data-set: "vpp-2n-skx-curr-iter"
3227   comparisons:
3228     - title: "Diff"
3229       reference: 1
3230       compare: 2
3231   legend:
3232     - ""
3233     - "3n-skx, 2n-skx - topologies tested."
3234     - "Diff - difference between 3n-skx and 2n-skx topologies."
3235
3236 # VPP Performance Changes 3n-skx 2t1c mrr
3237 - type: "table"
3238   title: "VPP Performance Changes 3n-skx 2t1c mrr"
3239   algorithm: "table_comparison"
3240   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-mrr"
3241   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3242   filter: "'2T1C' and 'MRR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
3243   columns:
3244     - title: "2106.0-8"
3245       data-set: "vpp-3n-skx-hist-iter-mrr-new-env"
3246     - title: "2110.0-8"
3247       data-set: "vpp-3n-skx-prev-iter-mrr-old-env"
3248     - title: "2110.0-9"
3249       data-set: "vpp-3n-skx-prev-iter-mrr-new-env"
3250     - title: "2202.0-9"
3251       data-set: "vpp-3n-skx-curr-iter-mrr"
3252   comparisons:
3253     - title: "2110.0-9 vs 2110.0-8"
3254       reference: 2
3255       compare: 3
3256     - title: "2202.0-9 vs 2110.0-9"
3257       reference: 3
3258       compare: 4
3259   legend:
3260     - ''
3261     - 'Test Case:            Test cases executed for: MRR throughput on 3n-skx with xxv710.'
3262     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
3263     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
3264     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
3265     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
3266
3267 # VPP Performance Changes 3n-skx 4t2c mrr
3268 - type: "table"
3269   title: "VPP Performance Changes 3n-skx 4t2c mrr"
3270   algorithm: "table_comparison"
3271   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-mrr"
3272   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3273   filter: "'4T2C' and 'MRR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
3274   columns:
3275     - title: "2106.0-8"
3276       data-set: "vpp-3n-skx-hist-iter-mrr-new-env"
3277     - title: "2110.0-8"
3278       data-set: "vpp-3n-skx-prev-iter-mrr-old-env"
3279     - title: "2110.0-9"
3280       data-set: "vpp-3n-skx-prev-iter-mrr-new-env"
3281     - title: "2202.0-9"
3282       data-set: "vpp-3n-skx-curr-iter-mrr"
3283   comparisons:
3284     - title: "2110.0-9 vs 2110.0-8"
3285       reference: 2
3286       compare: 3
3287     - title: "2202.0-9 vs 2110.0-9"
3288       reference: 3
3289       compare: 4
3290   legend:
3291     - ''
3292     - 'Test Case:            Test cases executed for: MRR throughput on 3n-skx with xxv710.'
3293     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
3294     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
3295     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
3296     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
3297
3298 # VPP Performance Changes 3n-skx 8t4c mrr
3299 - type: "table"
3300   title: "VPP Performance Changes 3n-skx 8t4c mrr"
3301   algorithm: "table_comparison"
3302   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-8t4c-mrr"
3303   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3304   filter: "'8T4C' and 'MRR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
3305   columns:
3306     - title: "2106.0-8"
3307       data-set: "vpp-3n-skx-hist-iter-mrr-new-env"
3308     - title: "2110.0-8"
3309       data-set: "vpp-3n-skx-prev-iter-mrr-old-env"
3310     - title: "2110.0-9"
3311       data-set: "vpp-3n-skx-prev-iter-mrr-new-env"
3312     - title: "2202.0-9"
3313       data-set: "vpp-3n-skx-curr-iter-mrr"
3314   comparisons:
3315     - title: "2110.0-9 vs 2110.0-8"
3316       reference: 2
3317       compare: 3
3318     - title: "2202.0-9 vs 2110.0-9"
3319       reference: 3
3320       compare: 4
3321   legend:
3322     - ''
3323     - 'Test Case:            Test cases executed for: MRR throughput on 3n-skx with xxv710.'
3324     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
3325     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
3326     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
3327     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
3328
3329 # VPP Performance Changes 2n-skx 2t1c mrr
3330 - type: "table"
3331   title: "VPP Performance Changes 2n-skx 2t1c mrr"
3332   algorithm: "table_comparison"
3333   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-mrr"
3334   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3335   filter: "'2T1C' and 'MRR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
3336   columns:
3337     - title: "2106.0-8"
3338       data-set: "vpp-2n-skx-hist-iter-mrr-new-env"
3339     - title: "2110.0-8"
3340       data-set: "vpp-2n-skx-prev-iter-mrr-old-env"
3341     - title: "2110.0-9"
3342       data-set: "vpp-2n-skx-prev-iter-mrr-new-env"
3343     - title: "2202.0-9"
3344       data-set: "vpp-2n-skx-curr-iter-mrr"
3345   comparisons:
3346     - title: "2110.0-9 vs 2110.0-8"
3347       reference: 2
3348       compare: 3
3349     - title: "2202.0-9 vs 2110.0-9"
3350       reference: 3
3351       compare: 4
3352   legend:
3353     - ''
3354     - 'Test Case:            Test cases executed for: MRR throughput on 2n-skx with xxv710.'
3355     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
3356     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
3357     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
3358     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
3359
3360 # VPP Performance Changes 2n-skx 4t2c mrr
3361 - type: "table"
3362   title: "VPP Performance Changes 2n-skx 4t2c mrr"
3363   algorithm: "table_comparison"
3364   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-mrr"
3365   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3366   filter: "'4T2C' and 'MRR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
3367   columns:
3368     - title: "2106.0-8"
3369       data-set: "vpp-2n-skx-hist-iter-mrr-new-env"
3370     - title: "2110.0-8"
3371       data-set: "vpp-2n-skx-prev-iter-mrr-old-env"
3372     - title: "2110.0-9"
3373       data-set: "vpp-2n-skx-prev-iter-mrr-new-env"
3374     - title: "2202.0-9"
3375       data-set: "vpp-2n-skx-curr-iter-mrr"
3376   comparisons:
3377     - title: "2110.0-9 vs 2110.0-8"
3378       reference: 2
3379       compare: 3
3380     - title: "2202.0-9 vs 2110.0-9"
3381       reference: 3
3382       compare: 4
3383   legend:
3384     - ''
3385     - 'Test Case:            Test cases executed for: MRR throughput on 2n-skx with xxv710.'
3386     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
3387     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
3388     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
3389     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
3390
3391 # VPP Performance Changes 2n-skx 8t4c mrr
3392 - type: "table"
3393   title: "VPP Performance Changes 2n-skx 8t4c mrr"
3394   algorithm: "table_comparison"
3395   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-8t4c-mrr"
3396   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3397   filter: "'8T4C' and 'MRR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
3398   columns:
3399     - title: "2106.0-8"
3400       data-set: "vpp-2n-skx-hist-iter-mrr-new-env"
3401     - title: "2110.0-8"
3402       data-set: "vpp-2n-skx-prev-iter-mrr-old-env"
3403     - title: "2110.0-9"
3404       data-set: "vpp-2n-skx-prev-iter-mrr-new-env"
3405     - title: "2202.0-9"
3406       data-set: "vpp-2n-skx-curr-iter-mrr"
3407   comparisons:
3408     - title: "2110.0-9 vs 2110.0-8"
3409       reference: 2
3410       compare: 3
3411     - title: "2202.0-9 vs 2110.0-9"
3412       reference: 3
3413       compare: 4
3414   legend:
3415     - ''
3416     - 'Test Case:            Test cases executed for: MRR throughput on 2n-skx with xxv710.'
3417     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
3418     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
3419     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
3420     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
3421
3422 # VPP Performance Changes 2n-clx-xxv710 2t1c mrr
3423 - type: "table"
3424   title: "VPP Performance Changes 2n-clx-xxv710 2t1c mrr"
3425   algorithm: "table_comparison"
3426   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-xxv710-2t1c-mrr"
3427   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3428   filter: "'2T1C' and 'MRR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
3429   columns:
3430     - title: "2106.0-8"
3431       data-set: "vpp-2n-clx-hist-iter-mrr-new-env"
3432     - title: "2110.0-8"
3433       data-set: "vpp-2n-clx-prev-iter-mrr-old-env"
3434     - title: "2110.0-9"
3435       data-set: "vpp-2n-clx-prev-iter-mrr-new-env"
3436     - title: "2202.0-9"
3437       data-set: "vpp-2n-clx-curr-iter-mrr"
3438   comparisons:
3439     - title: "2110.0-9 vs 2110.0-8"
3440       reference: 2
3441       compare: 3
3442     - title: "2202.0-9 vs 2110.0-9"
3443       reference: 3
3444       compare: 4
3445   legend:
3446     - ''
3447     - 'Test Case:            Test cases executed for: MRR throughput on 2n-clx with xxv710.'
3448     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
3449     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
3450     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
3451     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
3452
3453 # VPP Performance Changes 2n-clx-xxv710 4t2c mrr
3454 - type: "table"
3455   title: "VPP Performance Changes 2n-clx-xxv710 4t2c mrr"
3456   algorithm: "table_comparison"
3457   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-xxv710-4t2c-mrr"
3458   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3459   filter: "'4T2C' and 'MRR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
3460   columns:
3461     - title: "2106.0-8"
3462       data-set: "vpp-2n-clx-hist-iter-mrr-new-env"
3463     - title: "2110.0-8"
3464       data-set: "vpp-2n-clx-prev-iter-mrr-old-env"
3465     - title: "2110.0-9"
3466       data-set: "vpp-2n-clx-prev-iter-mrr-new-env"
3467     - title: "2202.0-9"
3468       data-set: "vpp-2n-clx-curr-iter-mrr"
3469   comparisons:
3470     - title: "2110.0-9 vs 2110.0-8"
3471       reference: 2
3472       compare: 3
3473     - title: "2202.0-9 vs 2110.0-9"
3474       reference: 3
3475       compare: 4
3476   legend:
3477     - ''
3478     - 'Test Case:            Test cases executed for: MRR throughput on 2n-clx with xxv710.'
3479     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
3480     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
3481     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
3482     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
3483
3484 # VPP Performance Changes 2n-clx-xxv710 8t4c mrr
3485 - type: "table"
3486   title: "VPP Performance Changes 2n-clx-xxv710 8t4c mrr"
3487   algorithm: "table_comparison"
3488   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-xxv710-8t4c-mrr"
3489   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3490   filter: "'8T4C' and 'MRR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
3491   columns:
3492     - title: "2106.0-8"
3493       data-set: "vpp-2n-clx-hist-iter-mrr-new-env"
3494     - title: "2110.0-8"
3495       data-set: "vpp-2n-clx-prev-iter-mrr-old-env"
3496     - title: "2110.0-9"
3497       data-set: "vpp-2n-clx-prev-iter-mrr-new-env"
3498     - title: "2202.0-9"
3499       data-set: "vpp-2n-clx-curr-iter-mrr"
3500   comparisons:
3501     - title: "2110.0-9 vs 2110.0-8"
3502       reference: 2
3503       compare: 3
3504     - title: "2202.0-9 vs 2110.0-9"
3505       reference: 3
3506       compare: 4
3507   legend:
3508     - ''
3509     - 'Test Case:            Test cases executed for: MRR throughput on 2n-clx with xxv710.'
3510     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
3511     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'