Report: Add ICX
[csit.git] / resources / tools / presentation / specifications / report / elements.yaml
1 ################################################################################
2 ###                               T A B L E S                                ###
3 ################################################################################
4
5 # Statistics: job-specs' durations
6
7 - type: "table"
8   title: "Job Specification Duration: 2n-icx-iterative"
9   algorithm: "table_job_spec_duration"
10   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-icx-iter"
11   jb-type: "iterative"
12   lines:
13     - job-spec: "vpp-mrr-00"
14       data-set: "vpp-2n-icx-curr-iter-mrr"
15     - job-spec: "vpp-mlr-00"
16       data-set: "vpp-2n-icx-curr-iter"
17     # - job-spec: "vpp-gso-mrr-00"
18     #   data-set: "vpp-2n-icx-curr-iter-gso"
19     # - job-spec: "soak-00"
20     #   data-set: "vpp-2n-icx-curr-soak"
21     # - job-spec: "vsap-00"
22     #   data-set: "vpp-2n-icx-curr-iter-vsap"
23     # - job-spec: "nfv-density-mrr-00"
24     #   data-set: "vpp-2n-icx-curr-nfv-mrr"
25     # - job-spec: "nfv-density-mlr-00"
26     #   data-set: "vpp-2n-icx-curr-nfv-ndrpdr"
27     # - job-spec: "reconf-00"
28     #   data-set: "vpp-2n-icx-curr-nfv-reconf"
29     - job-spec: "dpdk-mlr-00"
30       data-set: "dpdk-2n-icx-curr-iter"
31
32 # - type: "table"
33 #   title: "Job Specification Duration: 2n-icx-coverage"
34 #   algorithm: "table_job_spec_duration"
35 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-icx-cov"
36 #   jb-type: "coverage"
37 #   data: "vpp-2n-icx-curr-cov"
38 #   lines:
39
40 - type: "table"
41   title: "Job Specification Duration: 3n-icx-iterative"
42   algorithm: "table_job_spec_duration"
43   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-icx-iter"
44   jb-type: "iterative"
45   lines:
46     - job-spec: "vpp-mrr-00"
47       data-set: "vpp-3n-icx-curr-iter-mrr"
48     - job-spec: "vpp-mlr-00"
49       data-set: "vpp-3n-icx-curr-iter"
50     # - job-spec: "vpp-gso-mrr-00"
51     #   data-set: "vpp-3n-icx-curr-iter-gso"
52     # - job-spec: "soak-00"
53     #   data-set: "vpp-3n-icx-curr-soak"
54     # - job-spec: "vsap-00"
55     #   data-set: "vpp-3n-icx-curr-iter-vsap"
56     # - job-spec: "nfv-density-mrr-00"
57     #   data-set: "vpp-3n-icx-curr-nfv-mrr"
58     # - job-spec: "nfv-density-mlr-00"
59     #   data-set: "vpp-3n-icx-curr-nfv-ndrpdr"
60     # - job-spec: "reconf-00"
61     #   data-set: "vpp-3n-icx-curr-nfv-reconf"
62     - job-spec: "dpdk-mlr-00"
63       data-set: "dpdk-3n-icx-curr-iter"
64
65 # - type: "table"
66 #   title: "Job Specification Duration: 3n-icx-coverage"
67 #   algorithm: "table_job_spec_duration"
68 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-icx-cov"
69 #   jb-type: "coverage"
70 #   data: "vpp-3n-icx-curr-cov"
71 #   lines:
72
73 - type: "table"
74   title: "Job Specification Duration: 2n-clx-iterative"
75   algorithm: "table_job_spec_duration"
76   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-clx-iter"
77   jb-type: "iterative"
78   lines:
79     - job-spec: "vpp-mrr-00"
80       data-set: "vpp-2n-clx-curr-iter-mrr"
81     - job-spec: "vpp-mlr-00"
82       data-set: "vpp-2n-clx-curr-iter"
83     - job-spec: "vpp-gso-mrr-00"
84       data-set: "vpp-2n-clx-curr-iter-gso"
85     - job-spec: "soak-00"
86       data-set: "vpp-2n-clx-curr-soak"
87     - job-spec: "vsap-00"
88       data-set: "vpp-2n-clx-curr-iter-vsap"
89     - job-spec: "nfv-density-mrr-00"
90       data-set: "vpp-2n-clx-curr-nfv-mrr"
91     - job-spec: "nfv-density-mlr-00"
92       data-set: "vpp-2n-clx-curr-nfv-ndrpdr"
93     - job-spec: "reconf-00"
94       data-set: "vpp-2n-clx-curr-nfv-reconf"
95     - job-spec: "dpdk-mlr-00"
96       data-set: "dpdk-2n-clx-curr-iter"
97
98 # - type: "table"
99 #   title: "Job Specification Duration: 2n-clx-coverage"
100 #   algorithm: "table_job_spec_duration"
101 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-clx-cov"
102 #   jb-type: "coverage"
103 #   data: "vpp-2n-clx-curr-cov"
104 #   lines:
105 #     - job-spec: "gso-00"
106 #       build: "18"
107 #     - job-spec: "ip4-00"
108 #       build: "19"
109 #     - job-spec: "ip4-01"
110 #       build: "20"
111 #     - job-spec: "ip4-02"
112 #       build: "21"
113 #     - job-spec: "ip4-03"
114 #       build: "22"
115 #     - job-spec: "ip4-04"
116 #       build: "23"
117 #     - job-spec: "ip4-05"
118 #       build: "24"
119 #     - job-spec: "ip4-06"
120 #       build: "25"
121 #     - job-spec: "ip4-07"
122 #       build: "26"
123 #     - job-spec: "ip4tun-00"
124 #       build: "27"
125 #     - job-spec: "ip6-00"
126 #       build: "28"
127 #     - job-spec: "ip6-01"
128 #       build: "29"
129 #     - job-spec: "l2-00"
130 #       build: "30"
131 #     - job-spec: "l2-01"
132 #       build: "31"
133 #     - job-spec: "lb-00"
134 #       build: "32"
135 #     - job-spec: "memif-00"
136 #       build: "33"
137 #     - job-spec: "vhost-00"
138 #       build: "34"
139
140 - type: "table"
141   title: "Job Specification Duration: 2n-dnv-iterative"
142   algorithm: "table_job_spec_duration"
143   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-dnv-iter"
144   jb-type: "iterative"
145   lines:
146     - job-spec: "vpp-mrr-00"
147       data-set: "vpp-2n-dnv-curr-iter-mrr"
148     - job-spec: "vpp-mlr-00"
149       data-set: "vpp-2n-dnv-curr-iter"
150
151 # - type: "table"
152 #   title: "Job Specification Duration: 2n-dnv-coverage"
153 #   algorithm: "table_job_spec_duration"
154 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-dnv-cov"
155 #   jb-type: "coverage"
156 #   data: "vpp-2n-dnv-curr-cov"
157 #   lines:
158 #     - job-spec: "ip4-00"
159 #       build: "7"
160 #     - job-spec: "ip4-01"
161 #       build: "8"
162 #     - job-spec: "ip6-00"
163 #       build: "9"
164 #     - job-spec: "ip6-01"
165 #       build: "10"
166 #     - job-spec: "l2-00"
167 #       build: "11"
168 #     - job-spec: "l2-01"
169 #       build: "12"
170
171 - type: "table"
172   title: "Job Specification Duration: 2n-aws-iterative"
173   algorithm: "table_job_spec_duration"
174   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-aws-iter"
175   jb-type: "iterative"
176   lines:
177     - job-spec: "vpp-mrr-00"
178       data-set: "vpp-2n-aws-curr-iter-mrr"
179     - job-spec: "vpp-mlr-00"
180       data-set: "vpp-2n-aws-curr-iter"
181
182 # - type: "table"
183 #   title: "Job Specification Duration: 2n-aws-coverage"
184 #   algorithm: "table_job_spec_duration"
185 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-aws-cov"
186 #   jb-type: "coverage"
187 #   data: "vpp-2n-aws-curr-cov"
188 #   lines:
189 #     - job-spec: "vpp-00"
190 #       build: "26"
191
192 - type: "table"
193   title: "Job Specification Duration: 3n-aws-iterative"
194   algorithm: "table_job_spec_duration"
195   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-aws-iter"
196   jb-type: "iterative"
197   lines:
198     - job-spec: "vpp-mrr-00"
199       data-set: "vpp-3n-aws-curr-iter-mrr"
200     - job-spec: "vpp-mlr-00"
201       data-set: "vpp-3n-aws-curr-iter"
202
203 # - type: "table"
204 #   title: "Job Specification Duration: 3n-aws-coverage"
205 #   algorithm: "table_job_spec_duration"
206 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-aws-cov"
207 #   jb-type: "coverage"
208 #   data: "vpp-3n-aws-curr-cov"
209 #   lines:
210 #     - job-spec: "vpp-00"
211 #       build: "34"
212
213 - type: "table"
214   title: "Job Specification Duration: 2n-skx-iterative"
215   algorithm: "table_job_spec_duration"
216   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-skx-iter"
217   jb-type: "iterative"
218   lines:
219     - job-spec: "vpp-mrr-00"
220       data-set: "vpp-2n-skx-curr-iter-mrr"
221     - job-spec: "vpp-mlr-00"
222       data-set: "vpp-2n-skx-curr-iter"
223     - job-spec: "vpp-gso-mrr-00"
224       data-set: "vpp-2n-skx-curr-gso"
225     - job-spec: "soak-00"
226       data-set: "vpp-2n-skx-curr-soak"
227     - job-spec: "nfv-density-mrr-00"
228       data-set: "vpp-2n-skx-curr-nfv-mrr"
229     - job-spec: "nfv-density-mlr-00"
230       data-set: "vpp-2n-skx-curr-nfv-ndrpdr"
231     - job-spec: "reconf-00"
232       data-set: "vpp-2n-skx-curr-nfv-reconf"
233     - job-spec: "dpdk-mlr-00"
234       data-set: "dpdk-2n-skx-curr-iter"
235     - job-spec: "trex-mlr-00"
236       data-set: "trex-2n-skx-curr-iter"
237
238 # - type: "table"
239 #   title: "Job Specification Duration: 2n-skx-coverage"
240 #   algorithm: "table_job_spec_duration"
241 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-skx-cov"
242 #   jb-type: "coverage"
243 #   data: "vpp-2n-skx-curr-cov"
244 #   lines:
245 #     - job-spec: "gso-00"
246 #       build: "18"
247 #     - job-spec: "ip4-00"
248 #       build: "19"
249 #     - job-spec: "ip4-01"
250 #       build: "20"
251 #     - job-spec: "ip4-02"
252 #       build: "21"
253 #     - job-spec: "ip4-03"
254 #       build: "22"
255 #     - job-spec: "ip4-04"
256 #       build: "23"
257 #     - job-spec: "ip4-05"
258 #       build: "24"
259 #     - job-spec: "ip4-06"
260 #       build: "25"
261 #     - job-spec: "ip4-07"
262 #       build: "26"
263 #     - job-spec: "ip4tun-00"
264 #       build: "27"
265 #     - job-spec: "ip6-00"
266 #       build: "28"
267 #     - job-spec: "ip6-01"
268 #       build: "29"
269 #     - job-spec: "l2-00"
270 #       build: "30"
271 #     - job-spec: "l2-01"
272 #       build: "31"
273 #     - job-spec: "lb-00"
274 #       build: "32"
275 #     - job-spec: "memif-00"
276 #       build: "33"
277 #     - job-spec: "vhost-00"
278 #       build: "34"
279
280 - type: "table"
281   title: "Job Specification Duration: 2n-tx2-iterative"
282   algorithm: "table_job_spec_duration"
283   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-tx2-iter"
284   jb-type: "iterative"
285   lines:
286     - job-spec: "vpp-mrr-00"
287       data-set: "vpp-2n-tx2-curr-iter-mrr"
288     - job-spec: "vpp-mlr-00"
289       data-set: "vpp-2n-tx2-curr-iter"
290
291 # - type: "table"
292 #   title: "Job Specification Duration: 2n-tx2-coverage"
293 #   algorithm: "table_job_spec_duration"
294 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-tx2-cov"
295 #   jb-type: "coverage"
296 #   data: "vpp-2n-tx2-curr-cov"
297 #   lines:
298 #     - job-spec: "ip4-00"
299 #       build: "1"
300 #     - job-spec: "ip4-01"
301 #       build: "2"
302 #     - job-spec: "ip4-02"
303 #       build: "3"
304 #     - job-spec: "ip4-03"
305 #       build: "4"
306 #     - job-spec: "ip4-04"
307 #       build: "5"
308 #     - job-spec: "ip4-05"
309 #       build: "6"
310 #     - job-spec: "ip4-06"
311 #       build: "7"
312 #     - job-spec: "ip6-00"
313 #       build: "8"
314 #     - job-spec: "ip6-01"
315 #       build: "9"
316 #     - job-spec: "l2-00"
317 #       build: "10"
318 #     - job-spec: "l2-01"
319 #       build: "11"
320 #     - job-spec: "l2-02"
321 #       build: "12"
322 #     - job-spec: "l2-03"
323 #       build: "13"
324 #     - job-spec: "l2-04"
325 #       build: "14"
326
327 - type: "table"
328   title: "Job Specification Duration: 2n-zn2-iterative"
329   algorithm: "table_job_spec_duration"
330   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-zn2-iter"
331   jb-type: "iterative"
332   lines:
333     - job-spec: "vpp-mrr-00"
334       data-set: "vpp-2n-zn2-curr-iter-mrr"
335     - job-spec: "vpp-mlr-00"
336       data-set: "vpp-2n-zn2-curr-iter"
337     - job-spec: "vpp-gso-mrr-00"
338       data-set: "vpp-2n-zn2-curr-iter-gso"
339     - job-spec: "dpdk-mlr-00"
340       data-set: "dpdk-2n-zn2-curr-iter"
341
342 # - type: "table"
343 #   title: "Job Specification Duration: 2n-zn2-coverage"
344 #   algorithm: "table_job_spec_duration"
345 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-zn2-cov"
346 #   jb-type: "coverage"
347 #   data: "vpp-2n-zn2-curr-cov"
348 #   lines:
349 #     - job-spec: "gso-00"
350 #       build: "1"
351 #     - job-spec: "ip4-00"
352 #       build: "2"
353 #     - job-spec: "ip4-01"
354 #       build: "3"
355 #     - job-spec: "ip4-02"
356 #       build: "4"
357 #     - job-spec: "ip4-03"
358 #       build: "18"
359 #     - job-spec: "ip4-04"
360 #       build: "6"
361 #     - job-spec: "ip4-05"
362 #       build: "7"
363 #     - job-spec: "ip4tun-00"
364 #       build: "8"
365 #     - job-spec: "ip6-00"
366 #       build: "9"
367 #     - job-spec: "ip6-01"
368 #       build: "19"
369 #     - job-spec: "l2-00"
370 #       build: "11"
371 #     - job-spec: "l2-01"
372 #       build: "12"
373 #     - job-spec: "lb-00"
374 #       build: "13"
375 #     - job-spec: "memif-00"
376 #       build: "14"
377 #     - job-spec: "vhost-00"
378 #       build: "15"
379
380 - type: "table"
381   title: "Job Specification Duration: 3n-dnv-iterative"
382   algorithm: "table_job_spec_duration"
383   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-dnv-iter"
384   jb-type: "iterative"
385   lines:
386     - job-spec: "vpp-mrr-00"
387       data-set: "vpp-3n-dnv-curr-iter-mrr"
388     - job-spec: "vpp-mlr-00"
389       data-set: "vpp-3n-dnv-curr-iter"
390
391 # - type: "table"
392 #   title: "Job Specification Duration: 3n-dnv-coverage"
393 #   algorithm: "table_job_spec_duration"
394 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-dnv-cov"
395 #   jb-type: "coverage"
396 #   data: "vpp-3n-dnv-curr-cov"
397 #   lines:
398 #     - job-spec: "crypto-00"
399 #       build: "12"
400 #     - job-spec: "crypto-01"
401 #       build: "13"
402 #     - job-spec: "crypto-02"
403 #       build: "14"
404 #     - job-spec: "ip4-00"
405 #       build: "15"
406 #     - job-spec: "ip4-01"
407 #       build: "16"
408 #     - job-spec: "ip4tun-00"
409 #       build: "17"
410 #     - job-spec: "ip6-00"
411 #       build: "18"
412 #     - job-spec: "ip6-01"
413 #       build: "19"
414 #     - job-spec: "l2-00"
415 #       build: "20"
416 #     - job-spec: "l2-01"
417 #       build: "21"
418
419 - type: "table"
420   title: "Job Specification Duration: 3n-skx-iterative"
421   algorithm: "table_job_spec_duration"
422   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-skx-iter"
423   jb-type: "iterative"
424   lines:
425     - job-spec: "vpp-mrr-00"
426       data-set: "vpp-3n-skx-curr-iter-mrr"
427     - job-spec: "vpp-mlr-00"
428       data-set: "vpp-3n-skx-curr-iter"
429     - job-spec: "hoststack-00"
430       data-set: "vpp-3n-skx-curr-iter-hoststack"
431     - job-spec: "dpdk-mlr-00"
432       data-set: "dpdk-3n-skx-curr-iter"
433
434 # - type: "table"
435 #   title: "Job Specification Duration: 3n-skx-coverage"
436 #   algorithm: "table_job_spec_duration"
437 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-skx-cov"
438 #   jb-type: "coverage"
439 #   data: "vpp-3n-skx-curr-cov"
440 #   lines:
441 #     - job-spec: "crypto-00"
442 #       build: "35"
443 #     - job-spec: "crypto-01"
444 #       build: "36"
445 #     - job-spec: "crypto-02"
446 #       build: "37"
447 #     - job-spec: "crypto-03"  # Completly failed
448 #       build: "38"
449 #     - job-spec: "crypto-04"
450 #       build: "39"
451 #     - job-spec: "ip4-00"
452 #       build: "40"
453 #     - job-spec: "ip4-01"
454 #       build: "41"
455 #     - job-spec: "ip4-02"
456 #       build: "42"
457 #     - job-spec: "ip4-03"
458 #       build: "43"
459 #     - job-spec: "ip4-04"
460 #       build: "44"
461 #     - job-spec: "ip4-05"
462 #       build: "45"
463 #     - job-spec: "ip4-06"
464 #       build: "46"
465 #     - job-spec: "ip4-07"
466 #       build: "47"
467 #     - job-spec: "ip4tun-00"
468 #       build: "48"
469 #     - job-spec: "ip4tun-02"
470 #       build: "49"
471 #     - job-spec: "ip6-00"
472 #       build: "50"
473 #     - job-spec: "ip6-01"
474 #       build: "51"
475 #     - job-spec: "ip6tun-00"
476 #       build: "52"
477 #     - job-spec: "l2-00"
478 #       build: "53"
479 #     - job-spec: "l2-01"
480 #       build: "54"
481 #     - job-spec: "l2-02"
482 #       build: "55"
483 #     - job-spec: "l2-03"
484 #       build: "56"
485 #     - job-spec: "l2-04"
486 #       build: "57"
487 #     - job-spec: "l2-05"
488 #       build: "58"
489 #     - job-spec: "l2-06"
490 #       build: "59"
491 #     - job-spec: "l2-07"
492 #       build: "60"
493 #     - job-spec: "l2-08"
494 #       build: "61"
495 #     - job-spec: "l2-09"
496 #       build: "62"
497 #     - job-spec: "l2-10"
498 #       build: "63"
499 #     - job-spec: "memif-00"
500 #       build: "64"
501 #     - job-spec: "srv6-00"
502 #       build: "65"
503 #     - job-spec: "srv6-01"
504 #       build: "66"
505 #     - job-spec: "vhost-00"
506 #       build: "67"
507 #     - job-spec: "vhost-01"
508 #       build: "68"
509
510 - type: "table"
511   title: "Job Specification Duration: 3n-tsh-iterative"
512   algorithm: "table_job_spec_duration"
513   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-tsh-iter"
514   jb-type: "iterative"
515   lines:
516     - job-spec: "vpp-mrr-00"
517       data-set: "vpp-3n-tsh-curr-iter-mrr"
518     - job-spec: "vpp-mlr-00"
519       data-set: "vpp-3n-tsh-curr-iter"
520     - job-spec: "dpdk-mlr-00"
521       data-set: "dpdk-3n-tsh-curr-iter"
522
523 # - type: "table"
524 #   title: "Job Specification Duration: 3n-tsh-coverage"
525 #   algorithm: "table_job_spec_duration"
526 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-tsh-cov"
527 #   jb-type: "coverage"
528 #   data: "vpp-3n-tsh-curr-cov"
529 #   lines:
530 #     - job-spec: "ip4-00"
531 #       build: "1"
532 #     - job-spec: "ip4-01"
533 #       build: "2"
534 #     - job-spec: "ip4-02"
535 #       build: "3"
536 #     - job-spec: "ip4-03"
537 #       build: "4"
538 #     - job-spec: "ip4tun-00"
539 #       build: "5"
540 #     - job-spec: "ip6-00"
541 #       build: "6"
542 #     - job-spec: "ip6-01"
543 #       build: "7"
544 #     - job-spec: "l2-00"
545 #       build: "8"
546 #     - job-spec: "l2-01"
547 #       build: "9"
548 #     - job-spec: "l2-02"
549 #       build: "10"
550 #     - job-spec: "l2-03"
551 #       build: "11"
552 #     - job-spec: "l2-04"
553 #       build: "12"
554 #     - job-spec: "memif-00"
555 #       build: "13"
556 #     - job-spec: "srv6-00"
557 #       build: "14"
558 #     - job-spec: "srv6-01"
559 #       build: "15"
560 #     - job-spec: "vhost-00"
561 #       build: "16"
562 #     - job-spec: "vhost-01"
563 #       build: "17"
564
565 # VPP Latency Changes 3n-skx 2t1c
566 - type: "table"
567   title: "VPP Latency Changes 3n-skx 2t1c PDR50-direction1-avg"
568   algorithm: "table_comparison"
569   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-skx-xxv710-2t1c-pdr50-d1-avg"
570   include-tests: "latency-PDR50-direction1-avg"
571   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
572   columns:
573     - title: "2106.0-8"
574       data-set: "vpp-3n-skx-hist-iter-new-env"
575     - title: "2110.0-8"
576       data-set: "vpp-3n-skx-prev-iter-old-env"
577     - title: "2110.0-9"
578       data-set: "vpp-3n-skx-prev-iter-new-env"
579     - title: "2202.0-9"
580       data-set: "vpp-3n-skx-curr-iter"
581   comparisons:
582     - title: "2110.0-9 vs 2110.0-8"
583       reference: 2
584       compare: 3
585     - title: "2202.0-9 vs 2110.0-9"
586       reference: 3
587       compare: 4
588   legend:
589     - ''
590     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
591     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
592     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
593     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
594     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
595
596 # VPP Latency Changes 3n-skx 2t1c
597 - type: "table"
598   title: "VPP Latency Changes 3n-skx 2t1c PDR90-direction1-avg"
599   algorithm: "table_comparison"
600   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-skx-xxv710-2t1c-pdr90-d1-avg"
601   include-tests: "latency-PDR90-direction1-avg"
602   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
603   columns:
604     - title: "2106.0-8"
605       data-set: "vpp-3n-skx-hist-iter-new-env"
606     - title: "2110.0-8"
607       data-set: "vpp-3n-skx-prev-iter-old-env"
608     - title: "2110.0-9"
609       data-set: "vpp-3n-skx-prev-iter-new-env"
610     - title: "2202.0-9"
611       data-set: "vpp-3n-skx-curr-iter"
612   comparisons:
613     - title: "2110.0-9 vs 2110.0-8"
614       reference: 2
615       compare: 3
616     - title: "2202.0-9 vs 2110.0-9"
617       reference: 3
618       compare: 4
619   legend:
620     - ''
621     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
622     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
623     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
624     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
625     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
626
627 # VPP Latency Changes 3n-skx 2t1c
628 - type: "table"
629   title: "VPP Latency Changes 3n-skx 2t1c PDR90-direction1-max"
630   algorithm: "table_comparison"
631   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-skx-xxv710-2t1c-pdr90-d1-max"
632   include-tests: "latency-PDR90-direction1-max"
633   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
634   columns:
635     - title: "2106.0-8"
636       data-set: "vpp-3n-skx-hist-iter-new-env"
637     - title: "2110.0-8"
638       data-set: "vpp-3n-skx-prev-iter-old-env"
639     - title: "2110.0-9"
640       data-set: "vpp-3n-skx-prev-iter-new-env"
641     - title: "2202.0-9"
642       data-set: "vpp-3n-skx-curr-iter"
643   comparisons:
644     - title: "2110.0-9 vs 2110.0-8"
645       reference: 2
646       compare: 3
647     - title: "2202.0-9 vs 2110.0-9"
648       reference: 3
649       compare: 4
650   legend:
651     - ''
652     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
653     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
654     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
655     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
656     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
657
658 # VPP Latency Changes 2n-skx 2t1c
659 - type: "table"
660   title: "VPP Latency Changes 2n-skx 2t1c PDR50-direction1-avg"
661   algorithm: "table_comparison"
662   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-skx-xxv710-2t1c-pdr50-d1-avg"
663   include-tests: "latency-PDR50-direction1-avg"
664   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
665   columns:
666     - title: "2106.0-8"
667       data-set: "vpp-2n-skx-hist-iter-new-env"
668     - title: "2110.0-8"
669       data-set: "vpp-2n-skx-prev-iter-old-env"
670     - title: "2110.0-9"
671       data-set: "vpp-2n-skx-prev-iter-new-env"
672     - title: "2202.0-9"
673       data-set: "vpp-2n-skx-curr-iter"
674   comparisons:
675     - title: "2110.0-9 vs 2110.0-8"
676       reference: 2
677       compare: 3
678     - title: "2202.0-9 vs 2110.0-9"
679       reference: 3
680       compare: 4
681   legend:
682     - ''
683     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
684     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
685     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
686     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
687     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
688
689 # VPP Latency Changes 2n-skx 2t1c
690 - type: "table"
691   title: "VPP Latency Changes 2n-skx 2t1c PDR90-direction1-avg"
692   algorithm: "table_comparison"
693   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-skx-xxv710-2t1c-pdr90-d1-avg"
694   include-tests: "latency-PDR90-direction1-avg"
695   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
696   columns:
697     - title: "2106.0-8"
698       data-set: "vpp-2n-skx-hist-iter-new-env"
699     - title: "2110.0-8"
700       data-set: "vpp-2n-skx-prev-iter-old-env"
701     - title: "2110.0-9"
702       data-set: "vpp-2n-skx-prev-iter-new-env"
703     - title: "2202.0-9"
704       data-set: "vpp-2n-skx-curr-iter"
705   comparisons:
706     - title: "2110.0-9 vs 2110.0-8"
707       reference: 2
708       compare: 3
709     - title: "2202.0-9 vs 2110.0-9"
710       reference: 3
711       compare: 4
712   legend:
713     - ''
714     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
715     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
716     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
717     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
718     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
719
720 # VPP Latency Changes 2n-skx 2t1c
721 - type: "table"
722   title: "VPP Latency Changes 2n-skx 2t1c PDR90-direction1-max"
723   algorithm: "table_comparison"
724   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-skx-xxv710-2t1c-pdr90-d1-max"
725   include-tests: "latency-PDR90-direction1-max"
726   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
727   columns:
728     - title: "2106.0-8"
729       data-set: "vpp-2n-skx-hist-iter-new-env"
730     - title: "2110.0-8"
731       data-set: "vpp-2n-skx-prev-iter-old-env"
732     - title: "2110.0-9"
733       data-set: "vpp-2n-skx-prev-iter-new-env"
734     - title: "2202.0-9"
735       data-set: "vpp-2n-skx-curr-iter"
736   comparisons:
737     - title: "2110.0-9 vs 2110.0-8"
738       reference: 2
739       compare: 3
740     - title: "2202.0-9 vs 2110.0-9"
741       reference: 3
742       compare: 4
743   legend:
744     - ''
745     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
746     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
747     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
748     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
749     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
750
751 # VPP Latency Changes 2n-clx 2t1c
752 - type: "table"
753   title: "VPP Latency Changes 2n-clx 2t1c PDR50-direction1-avg"
754   algorithm: "table_comparison"
755   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-xxv710-2t1c-pdr50-d1-avg"
756   include-tests: "latency-PDR50-direction1-avg"
757   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
758   columns:
759     - title: "2106.0-8"
760       data-set: "vpp-2n-clx-hist-iter-new-env"
761     - title: "2110.0-8"
762       data-set: "vpp-2n-clx-prev-iter-old-env"
763     - title: "2110.0-9"
764       data-set: "vpp-2n-clx-prev-iter-new-env"
765     - title: "2202.0-9"
766       data-set: "vpp-2n-clx-curr-iter"
767   comparisons:
768     - title: "2110.0-9 vs 2110.0-8"
769       reference: 2
770       compare: 3
771     - title: "2202.0-9 vs 2110.0-9"
772       reference: 3
773       compare: 4
774   legend:
775     - ''
776     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
777     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
778     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
779     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
780     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
781
782 # VPP Latency Changes 2n-clx 2t1c
783 - type: "table"
784   title: "VPP Latency Changes 2n-clx 2t1c PDR90-direction1-avg"
785   algorithm: "table_comparison"
786   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-xxv710-2t1c-pdr90-d1-avg"
787   include-tests: "latency-PDR90-direction1-avg"
788   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
789   columns:
790     - title: "2106.0-8"
791       data-set: "vpp-2n-clx-hist-iter-new-env"
792     - title: "2110.0-8"
793       data-set: "vpp-2n-clx-prev-iter-old-env"
794     - title: "2110.0-9"
795       data-set: "vpp-2n-clx-prev-iter-new-env"
796     - title: "2202.0-9"
797       data-set: "vpp-2n-clx-curr-iter"
798   comparisons:
799     - title: "2110.0-9 vs 2110.0-8"
800       reference: 2
801       compare: 3
802     - title: "2202.0-9 vs 2110.0-9"
803       reference: 3
804       compare: 4
805   legend:
806     - ''
807     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
808     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
809     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
810     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
811     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
812
813 # VPP Latency Changes 2n-clx 2t1c
814 - type: "table"
815   title: "VPP Latency Changes 2n-clx 2t1c PDR90-direction1-max"
816   algorithm: "table_comparison"
817   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-xxv710-2t1c-pdr90-d1-max"
818   include-tests: "latency-PDR90-direction1-max"
819   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
820   columns:
821     - title: "2106.0-8"
822       data-set: "vpp-2n-clx-hist-iter-new-env"
823     - title: "2110.0-8"
824       data-set: "vpp-2n-clx-prev-iter-old-env"
825     - title: "2110.0-9"
826       data-set: "vpp-2n-clx-prev-iter-new-env"
827     - title: "2202.0-9"
828       data-set: "vpp-2n-clx-curr-iter"
829   comparisons:
830     - title: "2110.0-9 vs 2110.0-8"
831       reference: 2
832       compare: 3
833     - title: "2202.0-9 vs 2110.0-9"
834       reference: 3
835       compare: 4
836   legend:
837     - ''
838     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
839     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
840     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
841     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
842     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
843
844 # VPP Latency Changes 2n-clx 2t1c
845 - type: "table"
846   title: "VPP Latency Changes 2n-clx 2t1c PDR50-direction1-avg"
847   algorithm: "table_comparison"
848   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-cx556a-2t1c-pdr50-d1-avg"
849   include-tests: "latency-PDR50-direction1-avg"
850   filter: "'2T1C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
851   columns:
852     - title: "2106.0-8"
853       data-set: "vpp-2n-clx-hist-iter-new-env"
854     - title: "2110.0-8"
855       data-set: "vpp-2n-clx-prev-iter-old-env"
856     - title: "2110.0-9"
857       data-set: "vpp-2n-clx-prev-iter-new-env"
858     - title: "2202.0-9"
859       data-set: "vpp-2n-clx-curr-iter"
860   comparisons:
861     - title: "2110.0-9 vs 2110.0-8"
862       reference: 2
863       compare: 3
864     - title: "2202.0-9 vs 2110.0-9"
865       reference: 3
866       compare: 4
867   legend:
868     - ''
869     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
870     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
871     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
872     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
873     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
874
875 # VPP Latency Changes 2n-clx 2t1c
876 - type: "table"
877   title: "VPP Latency Changes 2n-clx 2t1c PDR90-direction1-avg"
878   algorithm: "table_comparison"
879   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-cx556a-2t1c-pdr90-d1-avg"
880   include-tests: "latency-PDR90-direction1-avg"
881   filter: "'2T1C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
882   columns:
883     - title: "2106.0-8"
884       data-set: "vpp-2n-clx-hist-iter-new-env"
885     - title: "2110.0-8"
886       data-set: "vpp-2n-clx-prev-iter-old-env"
887     - title: "2110.0-9"
888       data-set: "vpp-2n-clx-prev-iter-new-env"
889     - title: "2202.0-9"
890       data-set: "vpp-2n-clx-curr-iter"
891   comparisons:
892     - title: "2110.0-9 vs 2110.0-8"
893       reference: 2
894       compare: 3
895     - title: "2202.0-9 vs 2110.0-9"
896       reference: 3
897       compare: 4
898   legend:
899     - ''
900     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
901     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
902     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
903     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
904     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
905
906 # VPP Latency Changes 2n-clx 2t1c
907 - type: "table"
908   title: "VPP Latency Changes 2n-clx 2t1c PDR90-direction1-max"
909   algorithm: "table_comparison"
910   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-cx556a-2t1c-pdr90-d1-max"
911   include-tests: "latency-PDR90-direction1-max"
912   filter: "'2T1C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
913   columns:
914     - title: "2106.0-8"
915       data-set: "vpp-2n-clx-hist-iter-new-env"
916     - title: "2110.0-8"
917       data-set: "vpp-2n-clx-prev-iter-old-env"
918     - title: "2110.0-9"
919       data-set: "vpp-2n-clx-prev-iter-new-env"
920     - title: "2202.0-9"
921       data-set: "vpp-2n-clx-curr-iter"
922   comparisons:
923     - title: "2110.0-9 vs 2110.0-8"
924       reference: 2
925       compare: 3
926     - title: "2202.0-9 vs 2110.0-9"
927       reference: 3
928       compare: 4
929   legend:
930     - ''
931     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
932     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
933     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
934     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
935     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
936
937 # VPP Latency Changes 2n-zn2 2t1c
938 - type: "table"
939   title: "VPP Latency Changes 2n-zn2 2t1c PDR50-direction1-avg"
940   algorithm: "table_comparison"
941   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-zn2-xxv710-2t1c-pdr50-d1-avg"
942   include-tests: "latency-PDR50-direction1-avg"
943   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
944   columns:
945     - title: "2106.0-8"
946       data-set: "vpp-2n-zn2-hist-iter-new-env"
947     - title: "2110.0-8"
948       data-set: "vpp-2n-zn2-prev-iter-old-env"
949     - title: "2110.0-9"
950       data-set: "vpp-2n-zn2-prev-iter-new-env"
951     - title: "2202.0-9"
952       data-set: "vpp-2n-zn2-curr-iter"
953   comparisons:
954     - title: "2110.0-9 vs 2110.0-8"
955       reference: 2
956       compare: 3
957     - title: "2202.0-9 vs 2110.0-9"
958       reference: 3
959       compare: 4
960   legend:
961     - ''
962     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
963     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
964     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
965     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
966     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
967
968 # VPP Latency Changes 2n-zn2 2t1c
969 - type: "table"
970   title: "VPP Latency Changes 2n-zn2 2t1c PDR90-direction1-avg"
971   algorithm: "table_comparison"
972   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-zn2-xxv710-2t1c-pdr90-d1-avg"
973   include-tests: "latency-PDR90-direction1-avg"
974   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
975   columns:
976     - title: "2106.0-8"
977       data-set: "vpp-2n-zn2-hist-iter-new-env"
978     - title: "2110.0-8"
979       data-set: "vpp-2n-zn2-prev-iter-old-env"
980     - title: "2110.0-9"
981       data-set: "vpp-2n-zn2-prev-iter-new-env"
982     - title: "2202.0-9"
983       data-set: "vpp-2n-zn2-curr-iter"
984   comparisons:
985     - title: "2110.0-9 vs 2110.0-8"
986       reference: 2
987       compare: 3
988     - title: "2202.0-9 vs 2110.0-9"
989       reference: 3
990       compare: 4
991   legend:
992     - ''
993     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
994     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
995     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
996     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
997     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
998
999 # VPP Latency Changes 2n-zn2 2t1c
1000 - type: "table"
1001   title: "VPP Latency Changes 2n-zn2 2t1c PDR90-direction1-max"
1002   algorithm: "table_comparison"
1003   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-zn2-xxv710-2t1c-pdr90-d1-max"
1004   include-tests: "latency-PDR90-direction1-max"
1005   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
1006   columns:
1007     - title: "2106.0-8"
1008       data-set: "vpp-2n-zn2-hist-iter-new-env"
1009     - title: "2110.0-8"
1010       data-set: "vpp-2n-zn2-prev-iter-old-env"
1011     - title: "2110.0-9"
1012       data-set: "vpp-2n-zn2-prev-iter-new-env"
1013     - title: "2202.0-9"
1014       data-set: "vpp-2n-zn2-curr-iter"
1015   comparisons:
1016     - title: "2110.0-9 vs 2110.0-8"
1017       reference: 2
1018       compare: 3
1019     - title: "2202.0-9 vs 2110.0-9"
1020       reference: 3
1021       compare: 4
1022   legend:
1023     - ''
1024     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
1025     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1026     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1027     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1028     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1029
1030 # VPP Latency Changes 2n-tx2 1t1c
1031 - type: "table"
1032   title: "VPP Latency Changes 2n-tx2 1t1c PDR50-direction1-avg"
1033   algorithm: "table_comparison"
1034   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-tx2-xl710-1t1c-pdr50-d1-avg"
1035   include-tests: "latency-PDR50-direction1-avg"
1036   filter: "'1T1C' and 'NDRPDR'"
1037   columns:
1038     - title: "2106.0-8"
1039       data-set: "vpp-2n-tx2-hist-iter-new-env"
1040     - title: "2110.0-8"
1041       data-set: "vpp-2n-tx2-prev-iter-old-env"
1042     - title: "2110.0-9"
1043       data-set: "vpp-2n-tx2-prev-iter-new-env"
1044     - title: "2202.0-9"
1045       data-set: "vpp-2n-tx2-curr-iter"
1046   comparisons:
1047     - title: "2110.0-9 vs 2110.0-8"
1048       reference: 2
1049       compare: 3
1050     - title: "2202.0-9 vs 2110.0-9"
1051       reference: 3
1052       compare: 4
1053   legend:
1054     - ''
1055     - 'Test Case:            Test cases executed for: PDR throughput on 2n-tx2 with xl710.'
1056     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1057     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1058     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1059     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1060
1061 # VPP Latency Changes 2n-tx2 1t1c
1062 - type: "table"
1063   title: "VPP Latency Changes 2n-tx2 1t1c PDR90-direction1-avg"
1064   algorithm: "table_comparison"
1065   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-tx2-xl710-1t1c-pdr90-d1-avg"
1066   include-tests: "latency-PDR90-direction1-avg"
1067   filter: "'1T1C' and 'NDRPDR'"
1068   columns:
1069     - title: "2106.0-8"
1070       data-set: "vpp-2n-tx2-hist-iter-new-env"
1071     - title: "2110.0-8"
1072       data-set: "vpp-2n-tx2-prev-iter-old-env"
1073     - title: "2110.0-9"
1074       data-set: "vpp-2n-tx2-prev-iter-new-env"
1075     - title: "2202.0-9"
1076       data-set: "vpp-2n-tx2-curr-iter"
1077   comparisons:
1078     - title: "2110.0-9 vs 2110.0-8"
1079       reference: 2
1080       compare: 3
1081     - title: "2202.0-9 vs 2110.0-9"
1082       reference: 3
1083       compare: 4
1084   legend:
1085     - ''
1086     - 'Test Case:            Test cases executed for: PDR throughput on 2n-tx2 with xl710.'
1087     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1088     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1089     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1090     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1091
1092 # VPP Latency Changes 2n-tx2 1t1c
1093 - type: "table"
1094   title: "VPP Latency Changes 2n-tx2 1t1c PDR90-direction1-max"
1095   algorithm: "table_comparison"
1096   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-tx2-xl710-1t1c-pdr90-d1-max"
1097   include-tests: "latency-PDR90-direction1-max"
1098   filter: "'1T1C' and 'NDRPDR'"
1099   columns:
1100     - title: "2106.0-8"
1101       data-set: "vpp-2n-tx2-hist-iter-new-env"
1102     - title: "2110.0-8"
1103       data-set: "vpp-2n-tx2-prev-iter-old-env"
1104     - title: "2110.0-9"
1105       data-set: "vpp-2n-tx2-prev-iter-new-env"
1106     - title: "2202.0-9"
1107       data-set: "vpp-2n-tx2-curr-iter"
1108   comparisons:
1109     - title: "2110.0-9 vs 2110.0-8"
1110       reference: 2
1111       compare: 3
1112     - title: "2202.0-9 vs 2110.0-9"
1113       reference: 3
1114       compare: 4
1115   legend:
1116     - ''
1117     - 'Test Case:            Test cases executed for: PDR throughput on 2n-tx2 with xl710.'
1118     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1119     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1120     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1121     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1122
1123 # VPP Latency Changes 3n-tsh 1t1c
1124 - type: "table"
1125   title: "VPP Latency Changes 3n-tsh 1t1c PDR50-direction1-avg"
1126   algorithm: "table_comparison"
1127   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-tsh-x520-1t1c-pdr50-d1-avg"
1128   include-tests: "latency-PDR50-direction1-avg"
1129   filter: "'1T1C' and 'NDRPDR'"
1130   columns:
1131     - title: "2106.0-8"
1132       data-set: "vpp-3n-tsh-hist-iter-new-env"
1133     - title: "2110.0-8"
1134       data-set: "vpp-3n-tsh-prev-iter-old-env"
1135     - title: "2110.0-9"
1136       data-set: "vpp-3n-tsh-prev-iter-new-env"
1137     - title: "2202.0-9"
1138       data-set: "vpp-3n-tsh-curr-iter"
1139   comparisons:
1140     - title: "2110.0-9 vs 2110.0-8"
1141       reference: 2
1142       compare: 3
1143     - title: "2202.0-9 vs 2110.0-9"
1144       reference: 3
1145       compare: 4
1146   legend:
1147     - ''
1148     - 'Test Case:            Test cases executed for: PDR throughput on 3n-tsh with x520.'
1149     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1150     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1151     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1152     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1153
1154 # VPP Latency Changes 3n-tsh 1t1c
1155 - type: "table"
1156   title: "VPP Latency Changes 3n-tsh 1t1c PDR90-direction1-avg"
1157   algorithm: "table_comparison"
1158   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-tsh-x520-1t1c-pdr90-d1-avg"
1159   include-tests: "latency-PDR90-direction1-avg"
1160   filter: "'1T1C' and 'NDRPDR'"
1161   columns:
1162     - title: "2106.0-8"
1163       data-set: "vpp-3n-tsh-hist-iter-new-env"
1164     - title: "2110.0-8"
1165       data-set: "vpp-3n-tsh-prev-iter-old-env"
1166     - title: "2110.0-9"
1167       data-set: "vpp-3n-tsh-prev-iter-new-env"
1168     - title: "2202.0-9"
1169       data-set: "vpp-3n-tsh-curr-iter"
1170   comparisons:
1171     - title: "2110.0-9 vs 2110.0-8"
1172       reference: 2
1173       compare: 3
1174     - title: "2202.0-9 vs 2110.0-9"
1175       reference: 3
1176       compare: 4
1177   legend:
1178     - ''
1179     - 'Test Case:            Test cases executed for: PDR throughput on 3n-tsh with x520.'
1180     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1181     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1182     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1183     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1184
1185 # VPP Latency Changes 3n-tsh 1t1c
1186 - type: "table"
1187   title: "VPP Latency Changes 3n-tsh 1t1c PDR90-direction1-max"
1188   algorithm: "table_comparison"
1189   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-tsh-x520-1t1c-pdr90-d1-max"
1190   include-tests: "latency-PDR90-direction1-max"
1191   filter: "'1T1C' and 'NDRPDR'"
1192   columns:
1193     - title: "2106.0-8"
1194       data-set: "vpp-3n-tsh-hist-iter-new-env"
1195     - title: "2110.0-8"
1196       data-set: "vpp-3n-tsh-prev-iter-old-env"
1197     - title: "2110.0-9"
1198       data-set: "vpp-3n-tsh-prev-iter-new-env"
1199     - title: "2202.0-9"
1200       data-set: "vpp-3n-tsh-curr-iter"
1201   comparisons:
1202     - title: "2110.0-9 vs 2110.0-8"
1203       reference: 2
1204       compare: 3
1205     - title: "2202.0-9 vs 2110.0-9"
1206       reference: 3
1207       compare: 4
1208   legend:
1209     - ''
1210     - 'Test Case:            Test cases executed for: PDR throughput on 3n-tsh with x520.'
1211     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1212     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1213     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1214     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1215
1216 # VPP Soak vs NDR - 2n-skx
1217 - type: "table"
1218   title: "VPP Soak vs NDR 2n-skx"
1219   algorithm: "table_soak_vs_ndr"
1220   output-file: "{DIR[STATIC,VPP]}/soak-vs-ndr-2n-skx"
1221   reference:
1222     title: "NDR"
1223     data: "vpp-soak-vs-ndr-2n-skx-ref"
1224   compare:
1225     title: "Soak"
1226     data: "vpp-2n-skx-curr-soak"
1227   data: "vpp-soak-vs-ndr-2n-skx"
1228   include-tests: "NDR"
1229   filter: "('NDRPDR' or 'SOAK') and not 'NF_DENSITY'"
1230   parameters:
1231     - "throughput"
1232     - "name"
1233     - "parent"
1234
1235 # VPP Soak vs NDR - 2n-clx
1236 - type: "table"
1237   title: "VPP Soak vs NDR 2n-clx"
1238   algorithm: "table_soak_vs_ndr"
1239   output-file: "{DIR[STATIC,VPP]}/soak-vs-ndr-2n-clx"
1240   reference:
1241     title: "NDR"
1242     data: "vpp-soak-vs-ndr-2n-clx-ref"
1243   compare:
1244     title: "Soak"
1245     data: "vpp-2n-clx-curr-soak"
1246   data: "vpp-soak-vs-ndr-2n-clx"
1247   include-tests: "NDR"
1248   filter: "('NDRPDR' or 'SOAK') and not 'NF_DENSITY'"
1249   parameters:
1250     - "throughput"
1251     - "name"
1252     - "parent"
1253
1254 ################################################################################
1255
1256 # VPP Compare NICs 3n-skx 2t1c ndr
1257 - type: "table"
1258   title: "VPP Compare NICs 3n-skx 2t1c ndr"
1259   algorithm: "table_comparison"
1260   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-ndr"
1261   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1262   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
1263   columns:
1264     - title: "x710"
1265       data-set: "vpp-3n-skx-curr-iter"
1266       tag: "NIC_Intel-X710"
1267     - title: "xxv710"
1268       data-set: "vpp-3n-skx-curr-iter"
1269       tag: "NIC_Intel-XXV710"
1270   comparisons:
1271     - title: "Diff"
1272       reference: 1
1273       compare: 2
1274   legend:
1275     - ""
1276     - "x710, xxv710 - NICs tested."
1277     - "Diff - difference between x710 and xxv710 NIC."
1278
1279 # VPP Compare NICs 3n-skx 4t2c ndr
1280 - type: "table"
1281   title: "VPP Compare NICs 3n-skx 4t2c ndr"
1282   algorithm: "table_comparison"
1283   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-ndr"
1284   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1285   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
1286   columns:
1287     - title: "x710"
1288       data-set: "vpp-3n-skx-curr-iter"
1289       tag: "NIC_Intel-X710"
1290     - title: "xxv710"
1291       data-set: "vpp-3n-skx-curr-iter"
1292       tag: "NIC_Intel-XXV710"
1293   comparisons:
1294     - title: "Diff"
1295       reference: 1
1296       compare: 2
1297   legend:
1298     - ""
1299     - "x710, xxv710 - NICs tested."
1300     - "Diff - difference between x710 and xxv710 NIC."
1301
1302 # VPP Compare NICs 3n-skx 2t1c pdr
1303 - type: "table"
1304   title: "VPP Compare NICs 3n-skx 2t1c pdr"
1305   algorithm: "table_comparison"
1306   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-pdr"
1307   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1308   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
1309   columns:
1310     - title: "x710"
1311       data-set: "vpp-3n-skx-curr-iter"
1312       tag: "NIC_Intel-X710"
1313     - title: "xxv710"
1314       data-set: "vpp-3n-skx-curr-iter"
1315       tag: "NIC_Intel-XXV710"
1316   comparisons:
1317     - title: "Diff"
1318       reference: 1
1319       compare: 2
1320   legend:
1321     - ""
1322     - "x710, xxv710 - NICs tested."
1323     - "Diff - difference between x710 and xxv710 NIC."
1324
1325 # VPP Compare NICs 3n-skx 4t2c pdr
1326 - type: "table"
1327   title: "VPP Compare NICs 3n-skx 4t2c pdr"
1328   algorithm: "table_comparison"
1329   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-pdr"
1330   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1331   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
1332   columns:
1333     - title: "x710"
1334       data-set: "vpp-3n-skx-curr-iter"
1335       tag: "NIC_Intel-X710"
1336     - title: "xxv710"
1337       data-set: "vpp-3n-skx-curr-iter"
1338       tag: "NIC_Intel-XXV710"
1339   comparisons:
1340     - title: "Diff"
1341       reference: 1
1342       compare: 2
1343   legend:
1344     - ""
1345     - "x710, xxv710 - NICs tested."
1346     - "Diff - difference between x710 and xxv710 NIC."
1347
1348 # VPP Compare NICs 3n-skx 2t1c mrr
1349 - type: "table"
1350   title: "VPP Compare NICs 3n-skx 2t1c mrr"
1351   algorithm: "table_comparison"
1352   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-mrr"
1353   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1354   filter: "'2T1C' and 'MRR' and not 'NF_DENSITY'"
1355   columns:
1356     - title: "x710"
1357       data-set: "vpp-3n-skx-curr-iter-mrr"
1358       tag: "NIC_Intel-X710"
1359     - title: "xxv710"
1360       data-set: "vpp-3n-skx-curr-iter-mrr"
1361       tag: "NIC_Intel-XXV710"
1362   comparisons:
1363     - title: "Diff"
1364       reference: 1
1365       compare: 2
1366   legend:
1367     - ""
1368     - "x710, xxv710 - NICs tested."
1369     - "Diff - difference between x710 and xxv710 NIC."
1370
1371 # VPP Compare NICs 3n-skx 4t2c mrr
1372 - type: "table"
1373   title: "VPP Compare NICs 3n-skx 4t2c mrr"
1374   algorithm: "table_comparison"
1375   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-mrr"
1376   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1377   filter: "'4T2C' and 'MRR' and not 'NF_DENSITY'"
1378   columns:
1379     - title: "x710"
1380       data-set: "vpp-3n-skx-curr-iter-mrr"
1381       tag: "NIC_Intel-X710"
1382     - title: "xxv710"
1383       data-set: "vpp-3n-skx-curr-iter-mrr"
1384       tag: "NIC_Intel-XXV710"
1385   comparisons:
1386     - title: "Diff"
1387       reference: 1
1388       compare: 2
1389   legend:
1390     - ""
1391     - "x710, xxv710 - NICs tested."
1392     - "Diff - difference between x710 and xxv710 NIC."
1393
1394 # VPP Compare NICs 3n-skx 8t4c mrr
1395 - type: "table"
1396   title: "VPP Compare NICs 3n-skx 8t4c mrr"
1397   algorithm: "table_comparison"
1398   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-8t4c-nics-mrr"
1399   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1400   filter: "'8T4C' and 'MRR' and not 'NF_DENSITY'"
1401   columns:
1402     - title: "x710"
1403       data-set: "vpp-3n-skx-curr-iter-mrr"
1404       tag: "NIC_Intel-X710"
1405     - title: "xxv710"
1406       data-set: "vpp-3n-skx-curr-iter-mrr"
1407       tag: "NIC_Intel-XXV710"
1408   comparisons:
1409     - title: "Diff"
1410       reference: 1
1411       compare: 2
1412   legend:
1413     - ""
1414     - "x710, xxv710 - NICs tested."
1415     - "Diff - difference between x710 and xxv710 NIC."
1416
1417 # VPP Compare NICs 2n-skx 2t1c ndr
1418 - type: "table"
1419   title: "VPP Compare NICs 2n-skx 2t1c ndr"
1420   algorithm: "table_comparison"
1421   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-nics-ndr"
1422   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1423   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
1424   columns:
1425     - title: "x710"
1426       data-set: "vpp-2n-skx-curr-iter"
1427       tag: "NIC_Intel-X710"
1428     - title: "xxv710"
1429       data-set: "vpp-2n-skx-curr-iter"
1430       tag: "NIC_Intel-XXV710"
1431   comparisons:
1432     - title: "Diff"
1433       reference: 1
1434       compare: 2
1435   legend:
1436     - ""
1437     - "x710, xxv710 - NICs tested."
1438     - "Diff - difference between x710 and xxv710 NIC."
1439
1440 # VPP Compare NICs 2n-skx 4t2c ndr
1441 - type: "table"
1442   title: "VPP Compare NICs 2n-skx 4t2c ndr"
1443   algorithm: "table_comparison"
1444   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-nics-ndr"
1445   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1446   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
1447   columns:
1448     - title: "x710"
1449       data-set: "vpp-2n-skx-curr-iter"
1450       tag: "NIC_Intel-X710"
1451     - title: "xxv710"
1452       data-set: "vpp-2n-skx-curr-iter"
1453       tag: "NIC_Intel-XXV710"
1454   comparisons:
1455     - title: "Diff"
1456       reference: 1
1457       compare: 2
1458   legend:
1459     - ""
1460     - "x710, xxv710 - NICs tested."
1461     - "Diff - difference between x710 and xxv710 NIC."
1462
1463 # VPP Compare NICs 2n-skx 2t1c pdr
1464 - type: "table"
1465   title: "VPP Compare NICs 2n-skx 2t1c pdr"
1466   algorithm: "table_comparison"
1467   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-nics-pdr"
1468   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1469   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
1470   columns:
1471     - title: "x710"
1472       data-set: "vpp-2n-skx-curr-iter"
1473       tag: "NIC_Intel-X710"
1474     - title: "xxv710"
1475       data-set: "vpp-2n-skx-curr-iter"
1476       tag: "NIC_Intel-XXV710"
1477   comparisons:
1478     - title: "Diff"
1479       reference: 1
1480       compare: 2
1481   legend:
1482     - ""
1483     - "x710, xxv710 - NICs tested."
1484     - "Diff - difference between x710 and xxv710 NIC."
1485
1486 # VPP Compare NICs 2n-skx 4t2c pdr
1487 - type: "table"
1488   title: "VPP Compare NICs 2n-skx 4t2c pdr"
1489   algorithm: "table_comparison"
1490   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-nics-pdr"
1491   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1492   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
1493   columns:
1494     - title: "x710"
1495       data-set: "vpp-2n-skx-curr-iter"
1496       tag: "NIC_Intel-X710"
1497     - title: "xxv710"
1498       data-set: "vpp-2n-skx-curr-iter"
1499       tag: "NIC_Intel-XXV710"
1500   comparisons:
1501     - title: "Diff"
1502       reference: 1
1503       compare: 2
1504   legend:
1505     - ""
1506     - "x710, xxv710 - NICs tested."
1507     - "Diff - difference between x710 and xxv710 NIC."
1508
1509 # VPP Compare NICs 2n-skx 2t1c mrr
1510 - type: "table"
1511   title: "VPP Compare NICs 2n-skx 2t1c mrr"
1512   algorithm: "table_comparison"
1513   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-nics-mrr"
1514   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1515   filter: "'2T1C' and 'MRR' and not 'NF_DENSITY'"
1516   columns:
1517     - title: "x710"
1518       data-set: "vpp-2n-skx-curr-iter-mrr"
1519       tag: "NIC_Intel-X710"
1520     - title: "xxv710"
1521       data-set: "vpp-2n-skx-curr-iter-mrr"
1522       tag: "NIC_Intel-XXV710"
1523   comparisons:
1524     - title: "Diff"
1525       reference: 1
1526       compare: 2
1527   legend:
1528     - ""
1529     - "x710, xxv710 - NICs tested."
1530     - "Diff - difference between x710 and xxv710 NIC."
1531
1532 # VPP Compare NICs 2n-skx 4t2c mrr
1533 - type: "table"
1534   title: "VPP Compare NICs 2n-skx 4t2c mrr"
1535   algorithm: "table_comparison"
1536   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-nics-mrr"
1537   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1538   filter: "'4T2C' and 'MRR' and not 'NF_DENSITY'"
1539   columns:
1540     - title: "x710"
1541       data-set: "vpp-2n-skx-curr-iter-mrr"
1542       tag: "NIC_Intel-X710"
1543     - title: "xxv710"
1544       data-set: "vpp-2n-skx-curr-iter-mrr"
1545       tag: "NIC_Intel-XXV710"
1546   comparisons:
1547     - title: "Diff"
1548       reference: 1
1549       compare: 2
1550   legend:
1551     - ""
1552     - "x710, xxv710 - NICs tested."
1553     - "Diff - difference between x710 and xxv710 NIC."
1554
1555 # VPP Compare NICs 2n-skx 8t4c mrr
1556 - type: "table"
1557   title: "VPP Compare NICs 2n-skx 8t4c mrr"
1558   algorithm: "table_comparison"
1559   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-8t4c-nics-mrr"
1560   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1561   filter: "'8T4C' and 'MRR' and not 'NF_DENSITY'"
1562   columns:
1563     - title: "x710"
1564       data-set: "vpp-2n-skx-curr-iter-mrr"
1565       tag: "NIC_Intel-X710"
1566     - title: "xxv710"
1567       data-set: "vpp-2n-skx-curr-iter-mrr"
1568       tag: "NIC_Intel-XXV710"
1569   comparisons:
1570     - title: "Diff"
1571       reference: 1
1572       compare: 2
1573   legend:
1574     - ""
1575     - "x710, xxv710 - NICs tested."
1576     - "Diff - difference between x710 and xxv710 NIC."
1577
1578 ################################################################################
1579 # VPP
1580
1581 # VPP Performance Changes 3n-skx 2t1c pdr
1582 - type: "table"
1583   title: "VPP Performance Changes 3n-skx 2t1c pdr"
1584   algorithm: "table_comparison"
1585   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-pdr"
1586   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1587   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1588   columns:
1589     - title: "2106.0-8"
1590       data-set: "vpp-3n-skx-hist-iter-new-env"
1591     - title: "2110.0-8"
1592       data-set: "vpp-3n-skx-prev-iter-old-env"
1593     - title: "2110.0-9"
1594       data-set: "vpp-3n-skx-prev-iter-new-env"
1595     - title: "2202.0-9"
1596       data-set: "vpp-3n-skx-curr-iter"
1597   comparisons:
1598     - title: "2110.0-9 vs 2110.0-8"
1599       reference: 2
1600       compare: 3
1601     - title: "2202.0-9 vs 2110.0-9"
1602       reference: 3
1603       compare: 4
1604   legend:
1605     - ''
1606     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
1607     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1608     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1609     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1610     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1611
1612 # VPP Performance Changes 3n-skx 4t2c pdr
1613 - type: "table"
1614   title: "VPP Performance Changes 3n-skx 4t2c pdr"
1615   algorithm: "table_comparison"
1616   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-pdr"
1617   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1618   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1619   columns:
1620     - title: "2106.0-8"
1621       data-set: "vpp-3n-skx-hist-iter-new-env"
1622     - title: "2110.0-8"
1623       data-set: "vpp-3n-skx-prev-iter-old-env"
1624     - title: "2110.0-9"
1625       data-set: "vpp-3n-skx-prev-iter-new-env"
1626     - title: "2202.0-9"
1627       data-set: "vpp-3n-skx-curr-iter"
1628   comparisons:
1629     - title: "2110.0-9 vs 2110.0-8"
1630       reference: 2
1631       compare: 3
1632     - title: "2202.0-9 vs 2110.0-9"
1633       reference: 3
1634       compare: 4
1635   legend:
1636     - ''
1637     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
1638     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1639     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1640     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1641     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1642
1643 # VPP Performance Changes 3n-skx 2t1c ndr
1644 - type: "table"
1645   title: "VPP Performance Changes 3n-skx 2t1c ndr"
1646   algorithm: "table_comparison"
1647   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-ndr"
1648   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1649   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1650   columns:
1651     - title: "2106.0-8"
1652       data-set: "vpp-3n-skx-hist-iter-new-env"
1653     - title: "2110.0-8"
1654       data-set: "vpp-3n-skx-prev-iter-old-env"
1655     - title: "2110.0-9"
1656       data-set: "vpp-3n-skx-prev-iter-new-env"
1657     - title: "2202.0-9"
1658       data-set: "vpp-3n-skx-curr-iter"
1659   comparisons:
1660     - title: "2110.0-9 vs 2110.0-8"
1661       reference: 2
1662       compare: 3
1663     - title: "2202.0-9 vs 2110.0-9"
1664       reference: 3
1665       compare: 4
1666   legend:
1667     - ''
1668     - 'Test Case:            Test cases executed for: NDR throughput on 3n-skx with xxv710.'
1669     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1670     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1671     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1672     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1673
1674 # VPP Performance Changes 3n-skx 4t2c ndr
1675 - type: "table"
1676   title: "VPP Performance Changes 3n-skx 4t2c ndr"
1677   algorithm: "table_comparison"
1678   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-ndr"
1679   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1680   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1681   columns:
1682     - title: "2106.0-8"
1683       data-set: "vpp-3n-skx-hist-iter-new-env"
1684     - title: "2110.0-8"
1685       data-set: "vpp-3n-skx-prev-iter-old-env"
1686     - title: "2110.0-9"
1687       data-set: "vpp-3n-skx-prev-iter-new-env"
1688     - title: "2202.0-9"
1689       data-set: "vpp-3n-skx-curr-iter"
1690   comparisons:
1691     - title: "2110.0-9 vs 2110.0-8"
1692       reference: 2
1693       compare: 3
1694     - title: "2202.0-9 vs 2110.0-9"
1695       reference: 3
1696       compare: 4
1697   legend:
1698     - ''
1699     - 'Test Case:            Test cases executed for: NDR throughput on 3n-skx with xxv710.'
1700     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1701     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1702     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1703     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1704
1705 # VPP Performance Changes 2n-skx 2t1c pdr
1706 - type: "table"
1707   title: "VPP Performance Changes 2n-skx 2t1c pdr"
1708   algorithm: "table_comparison"
1709   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-pdr"
1710   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1711   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1712   columns:
1713     - title: "2106.0-8"
1714       data-set: "vpp-2n-skx-hist-iter-new-env"
1715     - title: "2110.0-8"
1716       data-set: "vpp-2n-skx-prev-iter-old-env"
1717     - title: "2110.0-9"
1718       data-set: "vpp-2n-skx-prev-iter-new-env"
1719     - title: "2202.0-9"
1720       data-set: "vpp-2n-skx-curr-iter"
1721   comparisons:
1722     - title: "2110.0-9 vs 2110.0-8"
1723       reference: 2
1724       compare: 3
1725     - title: "2202.0-9 vs 2110.0-9"
1726       reference: 3
1727       compare: 4
1728   legend:
1729     - ''
1730     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
1731     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1732     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1733     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1734     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1735
1736 # VPP Performance Changes 2n-skx 4t2c pdr
1737 - type: "table"
1738   title: "VPP Performance Changes 2n-skx 4t2c pdr"
1739   algorithm: "table_comparison"
1740   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-pdr"
1741   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1742   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1743   columns:
1744     - title: "2106.0-8"
1745       data-set: "vpp-2n-skx-hist-iter-new-env"
1746     - title: "2110.0-8"
1747       data-set: "vpp-2n-skx-prev-iter-old-env"
1748     - title: "2110.0-9"
1749       data-set: "vpp-2n-skx-prev-iter-new-env"
1750     - title: "2202.0-9"
1751       data-set: "vpp-2n-skx-curr-iter"
1752   comparisons:
1753     - title: "2110.0-9 vs 2110.0-8"
1754       reference: 2
1755       compare: 3
1756     - title: "2202.0-9 vs 2110.0-9"
1757       reference: 3
1758       compare: 4
1759   legend:
1760     - ''
1761     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
1762     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1763     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1764     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1765     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1766
1767 # VPP Performance Changes 2n-skx 2t1c ndr
1768 - type: "table"
1769   title: "VPP Performance Changes 2n-skx 2t1c ndr"
1770   algorithm: "table_comparison"
1771   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-ndr"
1772   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1773   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1774   columns:
1775     - title: "2106.0-8"
1776       data-set: "vpp-2n-skx-hist-iter-new-env"
1777     - title: "2110.0-8"
1778       data-set: "vpp-2n-skx-prev-iter-old-env"
1779     - title: "2110.0-9"
1780       data-set: "vpp-2n-skx-prev-iter-new-env"
1781     - title: "2202.0-9"
1782       data-set: "vpp-2n-skx-curr-iter"
1783   comparisons:
1784     - title: "2110.0-9 vs 2110.0-8"
1785       reference: 2
1786       compare: 3
1787     - title: "2202.0-9 vs 2110.0-9"
1788       reference: 3
1789       compare: 4
1790   legend:
1791     - ''
1792     - 'Test Case:            Test cases executed for: NDR throughput on 2n-skx with xxv710.'
1793     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1794     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1795     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1796     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1797
1798 # VPP Performance Changes 2n-skx 4t2c ndr
1799 - type: "table"
1800   title: "VPP Performance Changes 2n-skx 4t2c ndr"
1801   algorithm: "table_comparison"
1802   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-ndr"
1803   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1804   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1805   columns:
1806     - title: "2106.0-8"
1807       data-set: "vpp-2n-skx-hist-iter-new-env"
1808     - title: "2110.0-8"
1809       data-set: "vpp-2n-skx-prev-iter-old-env"
1810     - title: "2110.0-9"
1811       data-set: "vpp-2n-skx-prev-iter-new-env"
1812     - title: "2202.0-9"
1813       data-set: "vpp-2n-skx-curr-iter"
1814   comparisons:
1815     - title: "2110.0-9 vs 2110.0-8"
1816       reference: 2
1817       compare: 3
1818     - title: "2202.0-9 vs 2110.0-9"
1819       reference: 3
1820       compare: 4
1821   legend:
1822     - ''
1823     - 'Test Case:            Test cases executed for: NDR throughput on 2n-skx with xxv710.'
1824     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1825     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1826     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1827     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1828
1829 # VPP Performance Changes 2n-clx-xxv710 2t1c pdr
1830 - type: "table"
1831   title: "VPP Performance Changes 2n-clx-xxv710 2t1c pdr"
1832   algorithm: "table_comparison"
1833   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-xxv710-2t1c-pdr"
1834   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1835   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1836   columns:
1837     - title: "2106.0-8"
1838       data-set: "vpp-2n-clx-hist-iter-new-env"
1839     - title: "2110.0-8"
1840       data-set: "vpp-2n-clx-prev-iter-old-env"
1841     - title: "2110.0-9"
1842       data-set: "vpp-2n-clx-prev-iter-new-env"
1843     - title: "2202.0-9"
1844       data-set: "vpp-2n-clx-curr-iter"
1845   comparisons:
1846     - title: "2110.0-9 vs 2110.0-8"
1847       reference: 2
1848       compare: 3
1849     - title: "2202.0-9 vs 2110.0-9"
1850       reference: 3
1851       compare: 4
1852   legend:
1853     - ''
1854     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
1855     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1856     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1857     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1858     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1859
1860 # VPP Performance Changes 2n-clx-xxv710 4t2c pdr
1861 - type: "table"
1862   title: "VPP Performance Changes 2n-clx-xxv710 4t2c pdr"
1863   algorithm: "table_comparison"
1864   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-xxv710-4t2c-pdr"
1865   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1866   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1867   columns:
1868     - title: "2106.0-8"
1869       data-set: "vpp-2n-clx-hist-iter-new-env"
1870     - title: "2110.0-8"
1871       data-set: "vpp-2n-clx-prev-iter-old-env"
1872     - title: "2110.0-9"
1873       data-set: "vpp-2n-clx-prev-iter-new-env"
1874     - title: "2202.0-9"
1875       data-set: "vpp-2n-clx-curr-iter"
1876   comparisons:
1877     - title: "2110.0-9 vs 2110.0-8"
1878       reference: 2
1879       compare: 3
1880     - title: "2202.0-9 vs 2110.0-9"
1881       reference: 3
1882       compare: 4
1883   legend:
1884     - ''
1885     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
1886     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1887     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1888     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1889     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1890
1891 # VPP Performance Changes 2n-clx-xxv710 2t1c ndr
1892 - type: "table"
1893   title: "VPP Performance Changes 2n-clx-xxv710 2t1c ndr"
1894   algorithm: "table_comparison"
1895   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-xxv710-2t1c-ndr"
1896   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1897   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1898   columns:
1899     - title: "2106.0-8"
1900       data-set: "vpp-2n-clx-hist-iter-new-env"
1901     - title: "2110.0-8"
1902       data-set: "vpp-2n-clx-prev-iter-old-env"
1903     - title: "2110.0-9"
1904       data-set: "vpp-2n-clx-prev-iter-new-env"
1905     - title: "2202.0-9"
1906       data-set: "vpp-2n-clx-curr-iter"
1907   comparisons:
1908     - title: "2110.0-9 vs 2110.0-8"
1909       reference: 2
1910       compare: 3
1911     - title: "2202.0-9 vs 2110.0-9"
1912       reference: 3
1913       compare: 4
1914   legend:
1915     - ''
1916     - 'Test Case:            Test cases executed for: NDR throughput on 2n-clx with xxv710.'
1917     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1918     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1919     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1920     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1921
1922 # VPP Performance Changes 2n-clx-xxv710 4t2c ndr
1923 - type: "table"
1924   title: "VPP Performance Changes 2n-clx-xxv710 ndr"
1925   algorithm: "table_comparison"
1926   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-xxv710-4t2c-ndr"
1927   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1928   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1929   columns:
1930     - title: "2106.0-8"
1931       data-set: "vpp-2n-clx-hist-iter-new-env"
1932     - title: "2110.0-8"
1933       data-set: "vpp-2n-clx-prev-iter-old-env"
1934     - title: "2110.0-9"
1935       data-set: "vpp-2n-clx-prev-iter-new-env"
1936     - title: "2202.0-9"
1937       data-set: "vpp-2n-clx-curr-iter"
1938   comparisons:
1939     - title: "2110.0-9 vs 2110.0-8"
1940       reference: 2
1941       compare: 3
1942     - title: "2202.0-9 vs 2110.0-9"
1943       reference: 3
1944       compare: 4
1945   legend:
1946     - ''
1947     - 'Test Case:            Test cases executed for: NDR throughput on 2n-clx with xxv710.'
1948     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1949     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1950     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1951     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1952
1953 # VPP Performance Changes 2n-clx-cx556a 2t1c pdr
1954 - type: "table"
1955   title: "VPP Performance Changes 2n-clx-cx556a 2t1c pdr"
1956   algorithm: "table_comparison"
1957   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-cx556a-2t1c-pdr"
1958   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1959   filter: "'2T1C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
1960   columns:
1961     - title: "2106.0-8"
1962       data-set: "vpp-2n-clx-hist-iter-new-env"
1963     - title: "2110.0-8"
1964       data-set: "vpp-2n-clx-prev-iter-old-env"
1965     - title: "2110.0-9"
1966       data-set: "vpp-2n-clx-prev-iter-new-env"
1967     - title: "2202.0-9"
1968       data-set: "vpp-2n-clx-curr-iter"
1969   comparisons:
1970     - title: "2110.0-9 vs 2110.0-8"
1971       reference: 2
1972       compare: 3
1973     - title: "2202.0-9 vs 2110.0-9"
1974       reference: 3
1975       compare: 4
1976   legend:
1977     - ''
1978     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
1979     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1980     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1981     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1982     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1983
1984 # VPP Performance Changes 2n-clx-cx556a 4t2c pdr
1985 - type: "table"
1986   title: "VPP Performance Changes 2n-clx-cx556a 4t2c pdr"
1987   algorithm: "table_comparison"
1988   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-cx556a-4t2c-pdr"
1989   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1990   filter: "'4T2C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
1991   columns:
1992     - title: "2106.0-8"
1993       data-set: "vpp-2n-clx-hist-iter-new-env"
1994     - title: "2110.0-8"
1995       data-set: "vpp-2n-clx-prev-iter-old-env"
1996     - title: "2110.0-9"
1997       data-set: "vpp-2n-clx-prev-iter-new-env"
1998     - title: "2202.0-9"
1999       data-set: "vpp-2n-clx-curr-iter"
2000   comparisons:
2001     - title: "2110.0-9 vs 2110.0-8"
2002       reference: 2
2003       compare: 3
2004     - title: "2202.0-9 vs 2110.0-9"
2005       reference: 3
2006       compare: 4
2007   legend:
2008     - ''
2009     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
2010     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2011     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2012     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2013     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2014
2015 # VPP Performance Changes 2n-clx-cx556a 2t1c ndr
2016 - type: "table"
2017   title: "VPP Performance Changes 2n-clx-cx556a 2t1c ndr"
2018   algorithm: "table_comparison"
2019   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-cx556a-2t1c-ndr"
2020   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2021   filter: "'2T1C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
2022   columns:
2023     - title: "2106.0-8"
2024       data-set: "vpp-2n-clx-hist-iter-new-env"
2025     - title: "2110.0-8"
2026       data-set: "vpp-2n-clx-prev-iter-old-env"
2027     - title: "2110.0-9"
2028       data-set: "vpp-2n-clx-prev-iter-new-env"
2029     - title: "2202.0-9"
2030       data-set: "vpp-2n-clx-curr-iter"
2031   comparisons:
2032     - title: "2110.0-9 vs 2110.0-8"
2033       reference: 2
2034       compare: 3
2035     - title: "2202.0-9 vs 2110.0-9"
2036       reference: 3
2037       compare: 4
2038   legend:
2039     - ''
2040     - 'Test Case:            Test cases executed for: NDR throughput on 2n-clx with cx556a.'
2041     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2042     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2043     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2044     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2045
2046 # VPP Performance Changes 2n-clx-cx556a 4t2c ndr
2047 - type: "table"
2048   title: "VPP Performance Changes 2n-clx-cx556a ndr"
2049   algorithm: "table_comparison"
2050   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-cx556a-4t2c-ndr"
2051   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2052   filter: "'4T2C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
2053   columns:
2054     - title: "2106.0-8"
2055       data-set: "vpp-2n-clx-hist-iter-new-env"
2056     - title: "2110.0-8"
2057       data-set: "vpp-2n-clx-prev-iter-old-env"
2058     - title: "2110.0-9"
2059       data-set: "vpp-2n-clx-prev-iter-new-env"
2060     - title: "2202.0-9"
2061       data-set: "vpp-2n-clx-curr-iter"
2062   comparisons:
2063     - title: "2110.0-9 vs 2110.0-8"
2064       reference: 2
2065       compare: 3
2066     - title: "2202.0-9 vs 2110.0-9"
2067       reference: 3
2068       compare: 4
2069   legend:
2070     - ''
2071     - 'Test Case:            Test cases executed for: NDR throughput on 2n-clx with cx556a.'
2072     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2073     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2074     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2075     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2076
2077 # VPP Performance Changes 2n-zn2-xxv710 2t1c pdr
2078 - type: "table"
2079   title: "VPP Performance Changes 2n-zn2-xxv710 2t1c pdr"
2080   algorithm: "table_comparison"
2081   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-zn2-xxv710-2t1c-pdr"
2082   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2083   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
2084   columns:
2085     - title: "2106.0-8"
2086       data-set: "vpp-2n-zn2-hist-iter-new-env"
2087     - title: "2110.0-8"
2088       data-set: "vpp-2n-zn2-prev-iter-old-env"
2089     - title: "2110.0-9"
2090       data-set: "vpp-2n-zn2-prev-iter-new-env"
2091     - title: "2202.0-9"
2092       data-set: "vpp-2n-zn2-curr-iter"
2093   comparisons:
2094     - title: "2110.0-9 vs 2110.0-8"
2095       reference: 2
2096       compare: 3
2097     - title: "2202.0-9 vs 2110.0-9"
2098       reference: 3
2099       compare: 4
2100   legend:
2101     - ''
2102     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
2103     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2104     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2105     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2106     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2107
2108 # VPP Performance Changes 2n-zn2-xxv710 4t2c pdr
2109 - type: "table"
2110   title: "VPP Performance Changes 2n-zn2-xxv710 4t2c pdr"
2111   algorithm: "table_comparison"
2112   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-zn2-xxv710-4t2c-pdr"
2113   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2114   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
2115   columns:
2116     - title: "2106.0-8"
2117       data-set: "vpp-2n-zn2-hist-iter-new-env"
2118     - title: "2110.0-8"
2119       data-set: "vpp-2n-zn2-prev-iter-old-env"
2120     - title: "2110.0-9"
2121       data-set: "vpp-2n-zn2-prev-iter-new-env"
2122     - title: "2202.0-9"
2123       data-set: "vpp-2n-zn2-curr-iter"
2124   comparisons:
2125     - title: "2110.0-9 vs 2110.0-8"
2126       reference: 2
2127       compare: 3
2128     - title: "2202.0-9 vs 2110.0-9"
2129       reference: 3
2130       compare: 4
2131   legend:
2132     - ''
2133     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
2134     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2135     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2136     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2137     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2138
2139 # VPP Performance Changes 2n-zn2-xxv710 2t1c ndr
2140 - type: "table"
2141   title: "VPP Performance Changes 2n-zn2-xxv710 2t1c ndr"
2142   algorithm: "table_comparison"
2143   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-zn2-xxv710-2t1c-ndr"
2144   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2145   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
2146   columns:
2147     - title: "2106.0-8"
2148       data-set: "vpp-2n-zn2-hist-iter-new-env"
2149     - title: "2110.0-8"
2150       data-set: "vpp-2n-zn2-prev-iter-old-env"
2151     - title: "2110.0-9"
2152       data-set: "vpp-2n-zn2-prev-iter-new-env"
2153     - title: "2202.0-9"
2154       data-set: "vpp-2n-zn2-curr-iter"
2155   comparisons:
2156     - title: "2110.0-9 vs 2110.0-8"
2157       reference: 2
2158       compare: 3
2159     - title: "2202.0-9 vs 2110.0-9"
2160       reference: 3
2161       compare: 4
2162   legend:
2163     - ''
2164     - 'Test Case:            Test cases executed for: NDR throughput on 2n-zn2 with xxv710.'
2165     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2166     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2167     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2168     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2169
2170 # VPP Performance Changes 2n-zn2-xxv710 4t2c ndr
2171 - type: "table"
2172   title: "VPP Performance Changes 2n-zn2-xxv710 4t2c ndr"
2173   algorithm: "table_comparison"
2174   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-zn2-xxv710-4t2c-ndr"
2175   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2176   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
2177   columns:
2178     - title: "2106.0-8"
2179       data-set: "vpp-2n-zn2-hist-iter-new-env"
2180     - title: "2110.0-8"
2181       data-set: "vpp-2n-zn2-prev-iter-old-env"
2182     - title: "2110.0-9"
2183       data-set: "vpp-2n-zn2-prev-iter-new-env"
2184     - title: "2202.0-9"
2185       data-set: "vpp-2n-zn2-curr-iter"
2186   comparisons:
2187     - title: "2110.0-9 vs 2110.0-8"
2188       reference: 2
2189       compare: 3
2190     - title: "2202.0-9 vs 2110.0-9"
2191       reference: 3
2192       compare: 4
2193   legend:
2194     - ''
2195     - 'Test Case:            Test cases executed for: NDR throughput on 2n-zn2 with xxv710.'
2196     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2197     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2198     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2199     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2200
2201 # VPP Performance Changes 2n-dnv 1t1c pdr
2202 - type: "table"
2203   title: "VPP Performance Changes 2n-dnv 1t1c pdr"
2204   algorithm: "table_comparison"
2205   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-dnv-1t1c-pdr"
2206   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2207   filter: "'1T1C'"
2208   columns:
2209     - title: "2106.0-8"
2210       data-set: "vpp-2n-dnv-hist-iter-new-env"
2211     - title: "2110.0-8"
2212       data-set: "vpp-2n-dnv-prev-iter-old-env"
2213     - title: "2110.0-9"
2214       data-set: "vpp-2n-dnv-prev-iter-new-env"
2215     - title: "2202.0-9"
2216       data-set: "vpp-2n-dnv-curr-iter"
2217   comparisons:
2218     - title: "2110.0-9 vs 2110.0-8"
2219       reference: 2
2220       compare: 3
2221     - title: "2202.0-9 vs 2110.0-9"
2222       reference: 3
2223       compare: 4
2224   legend:
2225     - ''
2226     - 'Test Case:            Test cases executed for: PDR throughput on 2n-dnv with x553.'
2227     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2228     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2229     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2230     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2231
2232 # VPP Performance Changes 2n-dnv 2t2c pdr
2233 - type: "table"
2234   title: "VPP Performance Changes 2n-dnv 2t2c pdr"
2235   algorithm: "table_comparison"
2236   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-dnv-2t2c-pdr"
2237   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2238   filter: "'2T2C'"
2239   columns:
2240     - title: "2106.0-8"
2241       data-set: "vpp-2n-dnv-hist-iter-new-env"
2242     - title: "2110.0-8"
2243       data-set: "vpp-2n-dnv-prev-iter-old-env"
2244     - title: "2110.0-9"
2245       data-set: "vpp-2n-dnv-prev-iter-new-env"
2246     - title: "2202.0-9"
2247       data-set: "vpp-2n-dnv-curr-iter"
2248   comparisons:
2249     - title: "2110.0-9 vs 2110.0-8"
2250       reference: 2
2251       compare: 3
2252     - title: "2202.0-9 vs 2110.0-9"
2253       reference: 3
2254       compare: 4
2255   legend:
2256     - ''
2257     - 'Test Case:            Test cases executed for: PDR throughput on 2n-dnv with x553.'
2258     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2259     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2260     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2261     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2262
2263 # VPP Performance Changes 2n-dnv 1t1c ndr
2264 - type: "table"
2265   title: "VPP Performance Changes 2n-dnv 1t1c ndr"
2266   algorithm: "table_comparison"
2267   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-dnv-1t1c-ndr"
2268   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2269   filter: "'1T1C'"
2270   columns:
2271     - title: "2106.0-8"
2272       data-set: "vpp-2n-dnv-hist-iter-new-env"
2273     - title: "2110.0-8"
2274       data-set: "vpp-2n-dnv-prev-iter-old-env"
2275     - title: "2110.0-9"
2276       data-set: "vpp-2n-dnv-prev-iter-new-env"
2277     - title: "2202.0-9"
2278       data-set: "vpp-2n-dnv-curr-iter"
2279   comparisons:
2280     - title: "2110.0-9 vs 2110.0-8"
2281       reference: 2
2282       compare: 3
2283     - title: "2202.0-9 vs 2110.0-9"
2284       reference: 3
2285       compare: 4
2286   legend:
2287     - ''
2288     - 'Test Case:            Test cases executed for: NDR throughput on 2n-dnv with x553.'
2289     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2290     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2291     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2292     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2293
2294 # VPP Performance Changes 2n-dnv 2t2c ndr
2295 - type: "table"
2296   title: "VPP Performance Changes 2n-dnv 2t2c ndr"
2297   algorithm: "table_comparison"
2298   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-dnv-2t2c-ndr"
2299   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2300   filter: "'2T2C'"
2301   columns:
2302     - title: "2106.0-8"
2303       data-set: "vpp-2n-dnv-hist-iter-new-env"
2304     - title: "2110.0-8"
2305       data-set: "vpp-2n-dnv-prev-iter-old-env"
2306     - title: "2110.0-9"
2307       data-set: "vpp-2n-dnv-prev-iter-new-env"
2308     - title: "2202.0-9"
2309       data-set: "vpp-2n-dnv-curr-iter"
2310   comparisons:
2311     - title: "2110.0-9 vs 2110.0-8"
2312       reference: 2
2313       compare: 3
2314     - title: "2202.0-9 vs 2110.0-9"
2315       reference: 3
2316       compare: 4
2317   legend:
2318     - ''
2319     - 'Test Case:            Test cases executed for: NDR throughput on 2n-dnv with x553.'
2320     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2321     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2322     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2323     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2324
2325 # VPP Performance Changes 3n-dnv 1t1c pdr
2326 - type: "table"
2327   title: "VPP Performance Changes 3n-dnv 1t1c pdr"
2328   algorithm: "table_comparison"
2329   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-dnv-1t1c-pdr"
2330   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2331   filter: "'1T1C'"
2332   columns:
2333     - title: "2106.0-8"
2334       data-set: "vpp-3n-dnv-hist-iter-new-env"
2335     - title: "2110.0-8"
2336       data-set: "vpp-3n-dnv-prev-iter-old-env"
2337     - title: "2110.0-9"
2338       data-set: "vpp-3n-dnv-prev-iter-new-env"
2339     - title: "2202.0-9"
2340       data-set: "vpp-3n-dnv-curr-iter"
2341   comparisons:
2342     - title: "2110.0-9 vs 2110.0-8"
2343       reference: 2
2344       compare: 3
2345     - title: "2202.0-9 vs 2110.0-9"
2346       reference: 3
2347       compare: 4
2348   legend:
2349     - ''
2350     - 'Test Case:            Test cases executed for: PDR throughput on 3n-dnv with x553.'
2351     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2352     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2353     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2354     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2355
2356 # VPP Performance Changes 3n-dnv 2t2c pdr
2357 - type: "table"
2358   title: "VPP Performance Changes 3n-dnv 2t2c pdr"
2359   algorithm: "table_comparison"
2360   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-dnv-2t2c-pdr"
2361   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2362   filter: "'2T2C'"
2363   columns:
2364     - title: "2106.0-8"
2365       data-set: "vpp-3n-dnv-hist-iter-new-env"
2366     - title: "2110.0-8"
2367       data-set: "vpp-3n-dnv-prev-iter-old-env"
2368     - title: "2110.0-9"
2369       data-set: "vpp-3n-dnv-prev-iter-new-env"
2370     - title: "2202.0-9"
2371       data-set: "vpp-3n-dnv-curr-iter"
2372   comparisons:
2373     - title: "2110.0-9 vs 2110.0-8"
2374       reference: 2
2375       compare: 3
2376     - title: "2202.0-9 vs 2110.0-9"
2377       reference: 3
2378       compare: 4
2379   legend:
2380     - ''
2381     - 'Test Case:            Test cases executed for: PDR throughput on 3n-dnv with x553.'
2382     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2383     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2384     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2385     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2386
2387 # VPP Performance Changes 3n-dnv 1t1c ndr
2388 - type: "table"
2389   title: "VPP Performance Changes 3n-dnv 1t1c ndr"
2390   algorithm: "table_comparison"
2391   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-dnv-1t1c-ndr"
2392   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2393   filter: "'1T1C'"
2394   columns:
2395     - title: "2106.0-8"
2396       data-set: "vpp-3n-dnv-hist-iter-new-env"
2397     - title: "2110.0-8"
2398       data-set: "vpp-3n-dnv-prev-iter-old-env"
2399     - title: "2110.0-9"
2400       data-set: "vpp-3n-dnv-prev-iter-new-env"
2401     - title: "2202.0-9"
2402       data-set: "vpp-3n-dnv-curr-iter"
2403   comparisons:
2404     - title: "2110.0-9 vs 2110.0-8"
2405       reference: 2
2406       compare: 3
2407     - title: "2202.0-9 vs 2110.0-9"
2408       reference: 3
2409       compare: 4
2410   legend:
2411     - ''
2412     - 'Test Case:            Test cases executed for: NDR throughput on 3n-dnv with x553.'
2413     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2414     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2415     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2416     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2417
2418 # VPP Performance Changes 3n-dnv 2t2c ndr
2419 - type: "table"
2420   title: "VPP Performance Changes 3n-dnv 2t2c ndr"
2421   algorithm: "table_comparison"
2422   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-dnv-2t2c-ndr"
2423   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2424   filter: "'2T2C'"
2425   columns:
2426     - title: "2106.0-8"
2427       data-set: "vpp-3n-dnv-hist-iter-new-env"
2428     - title: "2110.0-8"
2429       data-set: "vpp-3n-dnv-prev-iter-old-env"
2430     - title: "2110.0-9"
2431       data-set: "vpp-3n-dnv-prev-iter-new-env"
2432     - title: "2202.0-9"
2433       data-set: "vpp-3n-dnv-curr-iter"
2434   comparisons:
2435     - title: "2110.0-9 vs 2110.0-8"
2436       reference: 2
2437       compare: 3
2438     - title: "2202.0-9 vs 2110.0-9"
2439       reference: 3
2440       compare: 4
2441   legend:
2442     - ''
2443     - 'Test Case:            Test cases executed for: NDR throughput on 3n-dnv with x553.'
2444     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2445     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2446     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2447     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2448
2449 # VPP Performance Changes 3n-tsh 1t1c pdr
2450 - type: "table"
2451   title: "VPP Performance Changes 3n-tsh 1t1c pdr"
2452   algorithm: "table_comparison"
2453   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-tsh-1t1c-pdr"
2454   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2455   filter: "'1T1C'"
2456   columns:
2457     - title: "2106.0-8"
2458       data-set: "vpp-3n-tsh-hist-iter-new-env"
2459     - title: "2110.0-8"
2460       data-set: "vpp-3n-tsh-prev-iter-old-env"
2461     - title: "2110.0-9"
2462       data-set: "vpp-3n-tsh-prev-iter-new-env"
2463     - title: "2202.0-9"
2464       data-set: "vpp-3n-tsh-curr-iter"
2465   comparisons:
2466     - title: "2110.0-9 vs 2110.0-8"
2467       reference: 2
2468       compare: 3
2469     - title: "2202.0-9 vs 2110.0-9"
2470       reference: 3
2471       compare: 4
2472   legend:
2473     - ''
2474     - 'Test Case:            Test cases executed for: PDR throughput on 3n-tsh with x520.'
2475     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2476     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2477     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2478     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2479
2480 # VPP Performance Changes 3n-tsh 2t2c pdr
2481 - type: "table"
2482   title: "VPP Performance Changes 3n-tsh 2t2c pdr"
2483   algorithm: "table_comparison"
2484   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-tsh-2t2c-pdr"
2485   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2486   filter: "'2T2C'"
2487   columns:
2488     - title: "2106.0-8"
2489       data-set: "vpp-3n-tsh-hist-iter-new-env"
2490     - title: "2110.0-8"
2491       data-set: "vpp-3n-tsh-prev-iter-old-env"
2492     - title: "2110.0-9"
2493       data-set: "vpp-3n-tsh-prev-iter-new-env"
2494     - title: "2202.0-9"
2495       data-set: "vpp-3n-tsh-curr-iter"
2496   comparisons:
2497     - title: "2110.0-9 vs 2110.0-8"
2498       reference: 2
2499       compare: 3
2500     - title: "2202.0-9 vs 2110.0-9"
2501       reference: 3
2502       compare: 4
2503   legend:
2504     - ''
2505     - 'Test Case:            Test cases executed for: PDR throughput on 3n-tsh with x520.'
2506     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2507     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2508     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2509     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2510
2511 # VPP Performance Changes 3n-tsh 1t1c ndr
2512 - type: "table"
2513   title: "VPP Performance Changes 3n-tsh 1t1c ndr"
2514   algorithm: "table_comparison"
2515   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-tsh-1t1c-ndr"
2516   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2517   filter: "'1T1C'"
2518   columns:
2519     - title: "2106.0-8"
2520       data-set: "vpp-3n-tsh-hist-iter-new-env"
2521     - title: "2110.0-8"
2522       data-set: "vpp-3n-tsh-prev-iter-old-env"
2523     - title: "2110.0-9"
2524       data-set: "vpp-3n-tsh-prev-iter-new-env"
2525     - title: "2202.0-9"
2526       data-set: "vpp-3n-tsh-curr-iter"
2527   comparisons:
2528     - title: "2110.0-9 vs 2110.0-8"
2529       reference: 2
2530       compare: 3
2531     - title: "2202.0-9 vs 2110.0-9"
2532       reference: 3
2533       compare: 4
2534   legend:
2535     - ''
2536     - 'Test Case:            Test cases executed for: NDR throughput on 3n-tsh with x520.'
2537     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2538     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2539     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2540     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2541
2542 # VPP Performance Changes 3n-tsh 2t2c ndr
2543 - type: "table"
2544   title: "VPP Performance Changes 3n-tsh 2t2c ndr"
2545   algorithm: "table_comparison"
2546   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-tsh-2t2c-ndr"
2547   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2548   filter: "'2T2C'"
2549   columns:
2550     - title: "2106.0-8"
2551       data-set: "vpp-3n-tsh-hist-iter-new-env"
2552     - title: "2110.0-8"
2553       data-set: "vpp-3n-tsh-prev-iter-old-env"
2554     - title: "2110.0-9"
2555       data-set: "vpp-3n-tsh-prev-iter-new-env"
2556     - title: "2202.0-9"
2557       data-set: "vpp-3n-tsh-curr-iter"
2558   comparisons:
2559     - title: "2110.0-9 vs 2110.0-8"
2560       reference: 2
2561       compare: 3
2562     - title: "2202.0-9 vs 2110.0-9"
2563       reference: 3
2564       compare: 4
2565   legend:
2566     - ''
2567     - 'Test Case:            Test cases executed for: NDR throughput on 3n-tsh with x520.'
2568     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2569     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2570     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2571     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2572
2573 # VPP Performance Changes 2n-tx2 1t1c pdr
2574 - type: "table"
2575   title: "VPP Performance Changes 2n-tx2 1t1c pdr"
2576   algorithm: "table_comparison"
2577   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-tx2-1t1c-pdr"
2578   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2579   filter: "'1T1C'"
2580   columns:
2581     - title: "2106.0-8"
2582       data-set: "vpp-2n-tx2-hist-iter-new-env"
2583     - title: "2110.0-8"
2584       data-set: "vpp-2n-tx2-prev-iter-old-env"
2585     - title: "2110.0-9"
2586       data-set: "vpp-2n-tx2-prev-iter-new-env"
2587     - title: "2202.0-9"
2588       data-set: "vpp-2n-tx2-curr-iter"
2589   comparisons:
2590     - title: "2110.0-9 vs 2110.0-8"
2591       reference: 2
2592       compare: 3
2593     - title: "2202.0-9 vs 2110.0-9"
2594       reference: 3
2595       compare: 4
2596   legend:
2597     - ''
2598     - 'Test Case:            Test cases executed for: PDR throughput on 2n-tx2 with xl710.'
2599     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2600     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2601     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2602     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2603
2604 # VPP Performance Changes 2n-tx2 2t2c pdr
2605 - type: "table"
2606   title: "VPP Performance Changes 2n-tx2 2t2c pdr"
2607   algorithm: "table_comparison"
2608   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-tx2-2t2c-pdr"
2609   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2610   filter: "'2T2C'"
2611   columns:
2612     - title: "2106.0-8"
2613       data-set: "vpp-2n-tx2-hist-iter-new-env"
2614     - title: "2110.0-8"
2615       data-set: "vpp-2n-tx2-prev-iter-old-env"
2616     - title: "2110.0-9"
2617       data-set: "vpp-2n-tx2-prev-iter-new-env"
2618     - title: "2202.0-9"
2619       data-set: "vpp-2n-tx2-curr-iter"
2620   comparisons:
2621     - title: "2110.0-9 vs 2110.0-8"
2622       reference: 2
2623       compare: 3
2624     - title: "2202.0-9 vs 2110.0-9"
2625       reference: 3
2626       compare: 4
2627   legend:
2628     - ''
2629     - 'Test Case:            Test cases executed for: PDR throughput on 2n-tx2 with xl710.'
2630     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2631     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2632     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2633     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2634
2635 # VPP Performance Changes 2n-tx2 1t1c ndr
2636 - type: "table"
2637   title: "VPP Performance Changes 2n-tx2 1t1c ndr"
2638   algorithm: "table_comparison"
2639   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-tx2-1t1c-ndr"
2640   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2641   filter: "'1T1C'"
2642   columns:
2643     - title: "2106.0-8"
2644       data-set: "vpp-2n-tx2-hist-iter-new-env"
2645     - title: "2110.0-8"
2646       data-set: "vpp-2n-tx2-prev-iter-old-env"
2647     - title: "2110.0-9"
2648       data-set: "vpp-2n-tx2-prev-iter-new-env"
2649     - title: "2202.0-9"
2650       data-set: "vpp-2n-tx2-curr-iter"
2651   comparisons:
2652     - title: "2110.0-9 vs 2110.0-8"
2653       reference: 2
2654       compare: 3
2655     - title: "2202.0-9 vs 2110.0-9"
2656       reference: 3
2657       compare: 4
2658   legend:
2659     - ''
2660     - 'Test Case:            Test cases executed for: NDR throughput on 2n-tx2 with xl710.'
2661     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2662     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2663     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2664     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2665
2666 # VPP Performance Changes 2n-tx2 2t2c ndr
2667 - type: "table"
2668   title: "VPP Performance Changes 2n-tx2 2t2c ndr"
2669   algorithm: "table_comparison"
2670   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-tx2-2t2c-ndr"
2671   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2672   filter: "'2T2C'"
2673   columns:
2674     - title: "2106.0-8"
2675       data-set: "vpp-2n-tx2-hist-iter-new-env"
2676     - title: "2110.0-8"
2677       data-set: "vpp-2n-tx2-prev-iter-old-env"
2678     - title: "2110.0-9"
2679       data-set: "vpp-2n-tx2-prev-iter-new-env"
2680     - title: "2202.0-9"
2681       data-set: "vpp-2n-tx2-curr-iter"
2682   comparisons:
2683     - title: "2110.0-9 vs 2110.0-8"
2684       reference: 2
2685       compare: 3
2686     - title: "2202.0-9 vs 2110.0-9"
2687       reference: 3
2688       compare: 4
2689   legend:
2690     - ''
2691     - 'Test Case:            Test cases executed for: NDR throughput on 2n-tx2 with xl710.'
2692     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2693     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2694     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2695     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2696
2697 # VPP Performance Changes 2n-aws 2t1c pdr
2698 - type: "table"
2699   title: "VPP Performance Changes 2n-aws 2t1c pdr"
2700   algorithm: "table_comparison"
2701   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-aws-2t1c-pdr"
2702   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2703   filter: "'2T1C' and 'NDRPDR'"
2704   columns:
2705     - title: "2110.0-8"
2706       data-set: "vpp-2n-aws-prev-iter"
2707     - title: "2202.0-9"
2708       data-set: "vpp-2n-aws-curr-iter"
2709   comparisons:
2710     - title: "2202.0-9 vs 2110.0-8"
2711       reference: 1
2712       compare: 2
2713   legend:
2714     - ''
2715     - 'Test Case:            Test cases executed for: PDR throughput on 2n-aws with nitro50g.'
2716     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2717     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2718     - '2202.0-9 vs 2110.0-8: Compares VPP code current vs previous.'
2719
2720 # VPP Performance Changes 2n-aws 4t2c pdr
2721 - type: "table"
2722   title: "VPP Performance Changes 2n-aws 4t2c pdr"
2723   algorithm: "table_comparison"
2724   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-aws-4t2c-pdr"
2725   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2726   filter: "'4T2C' and 'NDRPDR'"
2727   columns:
2728     - title: "2110.0-8"
2729       data-set: "vpp-2n-aws-prev-iter"
2730     - title: "2202.0-9"
2731       data-set: "vpp-2n-aws-curr-iter"
2732   comparisons:
2733     - title: "2202.0-9 vs 2110.0-8"
2734       reference: 1
2735       compare: 2
2736   legend:
2737     - ''
2738     - 'Test Case:            Test cases executed for: PDR throughput on 2n-aws with nitro50g.'
2739     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2740     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2741     - '2202.0-9 vs 2110.0-8: Compares VPP code current vs previous.'
2742
2743 # VPP Performance Changes 2n-aws 2t1c ndr
2744 - type: "table"
2745   title: "VPP Performance Changes 2n-aws 2t1c ndr"
2746   algorithm: "table_comparison"
2747   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-aws-2t1c-ndr"
2748   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2749   filter: "'2T1C' and 'NDRPDR'"
2750   columns:
2751     - title: "2110.0-8"
2752       data-set: "vpp-2n-aws-prev-iter"
2753     - title: "2202.0-9"
2754       data-set: "vpp-2n-aws-curr-iter"
2755   comparisons:
2756     - title: "2202.0-9 vs 2110.0-8"
2757       reference: 1
2758       compare: 2
2759   legend:
2760     - ''
2761     - 'Test Case:            Test cases executed for: NDR throughput on 2n-aws with nitro50g.'
2762     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2763     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2764     - '2202.0-9 vs 2110.0-8: Compares VPP code current vs previous.'
2765
2766 # VPP Performance Changes 2n-aws 4t2c ndr
2767 - type: "table"
2768   title: "VPP Performance Changes 2n-aws 4t2c ndr"
2769   algorithm: "table_comparison"
2770   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-aws-4t2c-ndr"
2771   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2772   filter: "'4T2C' and 'NDRPDR'"
2773   columns:
2774     - title: "2110.0-8"
2775       data-set: "vpp-2n-aws-prev-iter"
2776     - title: "2202.0-9"
2777       data-set: "vpp-2n-aws-curr-iter"
2778   comparisons:
2779     - title: "2202.0-9 vs 2110.0-8"
2780       reference: 1
2781       compare: 2
2782   legend:
2783     - ''
2784     - 'Test Case:            Test cases executed for: NDR throughput on 2n-aws with nitro50g.'
2785     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2786     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2787     - '2202.0-9 vs 2110.0-8: Compares VPP code current vs previous.'
2788
2789 # VPP Performance Changes 3n-aws 2t1c pdr
2790 - type: "table"
2791   title: "VPP Performance Changes 3n-aws 2t1c pdr"
2792   algorithm: "table_comparison"
2793   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-aws-2t1c-pdr"
2794   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2795   filter: "'2T1C' and 'NDRPDR'"
2796   columns:
2797     - title: "2110.0-8"
2798       data-set: "vpp-3n-aws-prev-iter"
2799     - title: "2202.0-9"
2800       data-set: "vpp-3n-aws-curr-iter"
2801   comparisons:
2802     - title: "2202.0-9 vs 2110.0-8"
2803       reference: 1
2804       compare: 2
2805   legend:
2806     - ''
2807     - 'Test Case:            Test cases executed for: PDR throughput on 3n-aws with nitro50g.'
2808     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2809     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2810     - '2202.0-9 vs 2110.0-8: Compares VPP code current vs previous.'
2811
2812 # VPP Performance Changes 3n-aws 4t2c pdr
2813 - type: "table"
2814   title: "VPP Performance Changes 3n-aws 4t2c pdr"
2815   algorithm: "table_comparison"
2816   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-aws-4t2c-pdr"
2817   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2818   filter: "'4T2C' and 'NDRPDR'"
2819   columns:
2820     - title: "2110.0-8"
2821       data-set: "vpp-3n-aws-prev-iter"
2822     - title: "2202.0-9"
2823       data-set: "vpp-3n-aws-curr-iter"
2824   comparisons:
2825     - title: "2202.0-9 vs 2110.0-8"
2826       reference: 1
2827       compare: 2
2828   legend:
2829     - ''
2830     - 'Test Case:            Test cases executed for: PDR throughput on 3n-aws with nitro50g.'
2831     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2832     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2833     - '2202.0-9 vs 2110.0-8: Compares VPP code current vs previous.'
2834
2835 # VPP Performance Changes 3n-aws 2t1c ndr
2836 - type: "table"
2837   title: "VPP Performance Changes 3n-aws 2t1c ndr"
2838   algorithm: "table_comparison"
2839   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-aws-2t1c-ndr"
2840   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2841   filter: "'2T1C' and 'NDRPDR'"
2842   columns:
2843     - title: "2110.0-8"
2844       data-set: "vpp-3n-aws-prev-iter"
2845     - title: "2202.0-9"
2846       data-set: "vpp-3n-aws-curr-iter"
2847   comparisons:
2848     - title: "2202.0-9 vs 2110.0-8"
2849       reference: 1
2850       compare: 2
2851   legend:
2852     - ''
2853     - 'Test Case:            Test cases executed for: NDR throughput on 3n-aws with nitro50g.'
2854     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2855     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2856     - '2202.0-9 vs 2110.0-8: Compares VPP code current vs previous.'
2857
2858 # VPP Performance Changes 3n-aws 4t2c ndr
2859 - type: "table"
2860   title: "VPP Performance Changes 3n-aws 4t2c ndr"
2861   algorithm: "table_comparison"
2862   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-aws-4t2c-ndr"
2863   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2864   filter: "'4T2C' and 'NDRPDR'"
2865   columns:
2866     - title: "2110.0-8"
2867       data-set: "vpp-3n-aws-prev-iter"
2868     - title: "2202.0-9"
2869       data-set: "vpp-3n-aws-curr-iter"
2870   comparisons:
2871     - title: "2202.0-9 vs 2110.0-8"
2872       reference: 1
2873       compare: 2
2874   legend:
2875     - ''
2876     - 'Test Case:            Test cases executed for: NDR throughput on 3n-aws with nitro50g.'
2877     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2878     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2879     - '2202.0-9 vs 2110.0-8: Compares VPP code current vs previous.'
2880
2881 # VPP Comparison Across Testbeds 2n-skx to 2n-clx 2t1c ndr
2882 - type: "table"
2883   title: "VPP Comparison Across Testbeds 2n-skx to 2n-clx 2t1c ndr"
2884   algorithm: "table_comparison"
2885   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-skx-2n-clx-2t1c-ndr"
2886   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2887   filter: "'2T1C' and 'NIC_Intel-XXV710'"
2888   columns:
2889     - title: "2n-skx"
2890       data-set: "vpp-2n-skx-curr-iter"
2891     - title: "2n-clx"
2892       data-set: "vpp-2n-clx-curr-iter"
2893   comparisons:
2894     - title: "Diff"
2895       reference: 1
2896       compare: 2
2897   legend:
2898     - ""
2899     - "2n-skx, 2n-clx - testbeds and NICs tested."
2900     - "Diff - difference between 2n-skx and 2n-clx testbeds."
2901
2902 # VPP Comparison Across Testbeds 2n-skx to 2n-clx 4t2c ndr
2903 - type: "table"
2904   title: "VPP Comparison Across Testbeds 2n-skx to 2n-clx 4t2c ndr"
2905   algorithm: "table_comparison"
2906   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-skx-2n-clx-4t2c-ndr"
2907   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2908   filter: "'4T2C' and 'NIC_Intel-XXV710'"
2909   columns:
2910     - title: "2n-skx"
2911       data-set: "vpp-2n-skx-curr-iter"
2912     - title: "2n-clx"
2913       data-set: "vpp-2n-clx-curr-iter"
2914   comparisons:
2915     - title: "Diff"
2916       reference: 1
2917       compare: 2
2918   legend:
2919     - ""
2920     - "2n-skx, 2n-clx - testbeds and NICs tested."
2921     - "Diff - difference between 2n-skx and 2n-clx testbeds."
2922
2923 # VPP Comparison Across Testbeds 2n-skx to 2n-clx 2t1c pdr
2924 - type: "table"
2925   title: "VPP Comparison Across Testbeds 2n-skx to 2n-clx 2t1c pdr"
2926   algorithm: "table_comparison"
2927   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-skx-2n-clx-2t1c-pdr"
2928   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2929   filter: "'2T1C' and 'NIC_Intel-XXV710'"
2930   columns:
2931     - title: "2n-skx"
2932       data-set: "vpp-2n-skx-curr-iter"
2933     - title: "2n-clx"
2934       data-set: "vpp-2n-clx-curr-iter"
2935   comparisons:
2936     - title: "Diff"
2937       reference: 1
2938       compare: 2
2939   legend:
2940     - ""
2941     - "2n-skx, 2n-clx - testbeds and NICs tested."
2942     - "Diff - difference between 2n-skx and 2n-clx testbeds."
2943
2944 # VPP Comparison Across Testbeds 2n-skx to 2n-clx 4t2c pdr
2945 - type: "table"
2946   title: "VPP Comparison Across Testbeds 2n-skx to 2n-clx 4t2c pdr"
2947   algorithm: "table_comparison"
2948   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-skx-2n-clx-4t2c-pdr"
2949   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2950   filter: "'4T2C' and 'NIC_Intel-XXV710'"
2951   columns:
2952     - title: "2n-skx"
2953       data-set: "vpp-2n-skx-curr-iter"
2954     - title: "2n-clx"
2955       data-set: "vpp-2n-clx-curr-iter"
2956   comparisons:
2957     - title: "Diff"
2958       reference: 1
2959       compare: 2
2960   legend:
2961     - ""
2962     - "2n-skx, 2n-clx - testbeds and NICs tested."
2963     - "Diff - difference between 2n-skx and 2n-clx testbeds."
2964
2965 # VPP Comparison Across Testbeds 2n-clx to 2n-icx 1c ndr
2966 - type: "table"
2967   title: "VPP Comparison Across Testbeds 2n-clx to 2n-icx 1c ndr"
2968   algorithm: "table_comparison"
2969   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-clx-2n-icx-1c-ndr"
2970   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2971   filter: "'NIC_Intel-XXV710' and 'NDRPDR' and '1C'"
2972   columns:
2973     - title: "2n-clx xxv710"
2974       data-set: "vpp-2n-clx-curr-iter"
2975     - title: "2n-icx xxv710"
2976       data-set: "vpp-2n-icx-curr-iter"
2977   comparisons:
2978     - title: "Diff"
2979       reference: 1
2980       compare: 2
2981   legend:
2982     - ""
2983     - "2n-clx xxv710, 2n-icx xxv710 - testbeds and NICs tested."
2984     - "Diff - difference between 2n-clx xxv710 and 2n-icx xxv710 testbeds."
2985
2986 # VPP Comparison Across Testbeds 2n-clx to 2n-icx 2c ndr
2987 - type: "table"
2988   title: "VPP Comparison Across Testbeds 2n-clx to 2n-icx 2c ndr"
2989   algorithm: "table_comparison"
2990   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-clx-2n-icx-2c-ndr"
2991   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2992   filter: "'NIC_Intel-XXV710' and 'NDRPDR' and '2C'"
2993   columns:
2994     - title: "2n-clx xxv710"
2995       data-set: "vpp-2n-clx-curr-iter"
2996     - title: "2n-icx xxv710"
2997       data-set: "vpp-2n-icx-curr-iter"
2998   comparisons:
2999     - title: "Diff"
3000       reference: 1
3001       compare: 2
3002   legend:
3003     - ""
3004     - "2n-clx xxv710, 2n-icx xxv710 - testbeds and NICs tested."
3005     - "Diff - difference between 2n-clx xxv710 and 2n-icx xxv710 testbeds."
3006
3007 # VPP Comparison Across Testbeds 2n-clx to 2n-icx 1c pdr
3008 - type: "table"
3009   title: "VPP Comparison Across Testbeds 2n-clx to 2n-icx 1c pdr"
3010   algorithm: "table_comparison"
3011   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-clx-2n-icx-1c-pdr"
3012   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3013   filter: "'NIC_Intel-XXV710' and 'NDRPDR' and '1C'"
3014   columns:
3015     - title: "2n-clx xxv710"
3016       data-set: "vpp-2n-clx-curr-iter"
3017     - title: "2n-icx xxv710"
3018       data-set: "vpp-2n-icx-curr-iter"
3019   comparisons:
3020     - title: "Diff"
3021       reference: 1
3022       compare: 2
3023   legend:
3024     - ""
3025     - "2n-clx xxv710, 2n-icx xxv710 - testbeds and NICs tested."
3026     - "Diff - difference between 2n-clx xxv710 and 2n-icx xxv710 testbeds."
3027
3028 # VPP Comparison Across Testbeds 2n-clx to 2n-icx 2c pdr
3029 - type: "table"
3030   title: "VPP Comparison Across Testbeds 2n-clx to 2n-icx 2c pdr"
3031   algorithm: "table_comparison"
3032   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-clx-2n-icx-2c-pdr"
3033   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3034   filter: "'NIC_Intel-XXV710' and 'NDRPDR' and '2C'"
3035   columns:
3036     - title: "2n-clx xxv710"
3037       data-set: "vpp-3n-skx-curr-iter"
3038     - title: "2n-icx xxv710"
3039       data-set: "vpp-2n-icx-curr-iter"
3040   comparisons:
3041     - title: "Diff"
3042       reference: 1
3043       compare: 2
3044   legend:
3045     - ""
3046     - "2n-clx xxv710, 2n-icx xxv710 - testbeds and NICs tested."
3047     - "Diff - difference between 2n-clx xxv710 and 2n-icx xxv710 testbeds."
3048
3049 # VPP Comparison Across Testbeds 3n-skx to 3n-icx 1c ndr
3050 - type: "table"
3051   title: "VPP Comparison Across Testbeds 3n-skx to 3n-icx 1c ndr"
3052   algorithm: "table_comparison"
3053   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-skx-3n-icx-1c-ndr"
3054   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
3055   filter: "'NIC_Intel-XXV710' and 'NDRPDR' and '1C'"
3056   columns: