Report: Add release data
[csit.git] / resources / tools / presentation / specifications / report / elements.yaml
1 ################################################################################
2 ###                               T A B L E S                                ###
3 ################################################################################
4
5 # Statistics: job-specs' durations
6
7 - type: "table"
8   title: "Job Specification Duration: 2n-icx-iterative"
9   algorithm: "table_job_spec_duration"
10   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-icx-iter"
11   jb-type: "iterative"
12   lines:
13     - job-spec: "vpp-mrr-00"
14       data-set: "vpp-2n-icx-curr-iter-mrr"
15     - job-spec: "vpp-mlr-00"
16       data-set: "vpp-2n-icx-curr-iter"
17     - job-spec: "vpp-gso-mrr-00"
18       data-set: "vpp-2n-icx-curr-iter-gso"
19     - job-spec: "soak-00"
20       data-set: "vpp-2n-icx-curr-soak"
21     - job-spec: "nfv-density-mrr-00"
22       data-set: "vpp-2n-icx-curr-nfv-mrr"
23     - job-spec: "nfv-density-mlr-00"
24       data-set: "vpp-2n-icx-curr-nfv-ndrpdr"
25     - job-spec: "reconf-00"
26       data-set: "vpp-2n-icx-curr-nfv-reconf"
27     - job-spec: "dpdk-mlr-00"
28       data-set: "dpdk-2n-icx-curr-iter"
29
30 - type: "table"
31   title: "Job Specification Duration: 2n-icx-coverage"
32   algorithm: "table_job_spec_duration"
33   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-icx-cov"
34   jb-type: "coverage"
35   data: "vpp-2n-icx-curr-cov"
36   lines:
37     - job-spec: "gso-00"
38       build: "1"
39     - job-spec: "ip4-00"
40       build: "2"
41     - job-spec: "ip4-01"
42       build: "3"
43     - job-spec: "ip4-02"
44       build: "4"
45     - job-spec: "ip4-03"
46       build: "5"
47     - job-spec: "ip4-04"
48       build: "6"
49     - job-spec: "ip4-05"
50       build: "7"
51     - job-spec: "ip4-06"
52       build: "8"
53     - job-spec: "ip4-07"
54       build: "9"
55     - job-spec: "ip4tun-00"
56       build: "10"
57     - job-spec: "ip6-00"
58       build: "11"
59     - job-spec: "ip6-01"
60       build: "12"
61     - job-spec: "l2-00"
62       build: "13"
63     - job-spec: "l2-01"
64       build: "14"
65     - job-spec: "lb-00"
66       build: "15"
67     - job-spec: "memif-00"
68       build: "16"
69     - job-spec: "vhost-00"
70       build: "17"
71
72 - type: "table"
73   title: "Job Specification Duration: 3n-icx-iterative"
74   algorithm: "table_job_spec_duration"
75   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-icx-iter"
76   jb-type: "iterative"
77   lines:
78     - job-spec: "vpp-mrr-00"
79       data-set: "vpp-3n-icx-curr-iter-mrr"
80     - job-spec: "vpp-mlr-00"
81       data-set: "vpp-3n-icx-curr-iter"
82     - job-spec: "dpdk-mlr-00"
83       data-set: "dpdk-3n-icx-curr-iter"
84
85 - type: "table"
86   title: "Job Specification Duration: 3n-icx-coverage"
87   algorithm: "table_job_spec_duration"
88   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-icx-cov"
89   jb-type: "coverage"
90   data: "vpp-3n-icx-curr-cov"
91   lines:
92     - job-spec: "crypto-00"
93       build: "1"
94     - job-spec: "crypto-01"
95       build: "2"
96     - job-spec: "crypto-02"
97       build: "3"
98     # - job-spec: "crypto-03"
99     #   build: "35"
100     - job-spec: "crypto-04"
101       build: "4"
102     - job-spec: "crypto-05"
103       build: "34"
104     - job-spec: "ip4-00"
105       build: "5"
106     - job-spec: "ip4-01"
107       build: "6"
108     - job-spec: "ip4-02"
109       build: "7"
110     - job-spec: "ip4-03"
111       build: "8"
112     - job-spec: "ip4-04"
113       build: "9"
114     - job-spec: "ip4-05"
115       build: "10"
116     - job-spec: "ip4-06"
117       build: "11"
118     - job-spec: "ip4-07"
119       build: "12"
120     - job-spec: "ip4tun-00"
121       build: "13"
122     - job-spec: "ip4tun-02"
123       build: "14"
124     - job-spec: "ip6-00"
125       build: "15"
126     - job-spec: "ip6-01"
127       build: "16"
128     - job-spec: "ip6tun-00"
129       build: "17"
130     - job-spec: "l2-00"
131       build: "18"
132     - job-spec: "l2-01"
133       build: "19"
134     - job-spec: "l2-02"
135       build: "20"
136     - job-spec: "l2-03"
137       build: "21"
138     - job-spec: "l2-04"
139       build: "22"
140     - job-spec: "l2-05"
141       build: "23"
142     - job-spec: "l2-06"
143       build: "24"
144     - job-spec: "l2-07"
145       build: "25"
146     - job-spec: "l2-08"
147       build: "26"
148     - job-spec: "l2-09"
149       build: "27"
150     - job-spec: "l2-10"
151       build: "28"
152     - job-spec: "memif-00"
153       build: "29"
154     - job-spec: "srv6-00"
155       build: "30"
156     - job-spec: "srv6-01"
157       build: "31"
158     - job-spec: "vhost-00"
159       build: "32"
160     - job-spec: "vhost-01"
161       build: "33"
162
163 - type: "table"
164   title: "Job Specification Duration: 2n-clx-iterative"
165   algorithm: "table_job_spec_duration"
166   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-clx-iter"
167   jb-type: "iterative"
168   lines:
169     - job-spec: "vpp-mrr-00"
170       data-set: "vpp-2n-clx-curr-iter-mrr"
171     - job-spec: "vpp-mlr-00"
172       data-set: "vpp-2n-clx-curr-iter"
173     - job-spec: "vpp-gso-mrr-00"
174       data-set: "vpp-2n-clx-curr-iter-gso"
175     - job-spec: "soak-00"
176       data-set: "vpp-2n-clx-curr-soak"
177     - job-spec: "vsap-00"
178       data-set: "vpp-2n-clx-curr-iter-vsap"
179     - job-spec: "nfv-density-mrr-00"
180       data-set: "vpp-2n-clx-curr-nfv-mrr"
181     - job-spec: "nfv-density-mlr-00"
182       data-set: "vpp-2n-clx-curr-nfv-ndrpdr"
183     - job-spec: "reconf-00"
184       data-set: "vpp-2n-clx-curr-nfv-reconf"
185     - job-spec: "dpdk-mlr-00"
186       data-set: "dpdk-2n-clx-curr-iter"
187
188 - type: "table"
189   title: "Job Specification Duration: 2n-clx-coverage"
190   algorithm: "table_job_spec_duration"
191   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-clx-cov"
192   jb-type: "coverage"
193   data: "vpp-2n-clx-curr-cov"
194   lines:
195     - job-spec: "gso-00"
196       build: "4"
197     # - job-spec: "ip4-00"
198     #   build: "5"
199     - job-spec: "ip4-01"
200       build: "6"
201     - job-spec: "ip4-02"
202       build: "7"
203     - job-spec: "ip4-03"
204       build: "8"
205     - job-spec: "ip4-04"
206       build: "9"
207     - job-spec: "ip4-05"
208       build: "10"
209     - job-spec: "ip4-06"
210       build: "11"
211     - job-spec: "ip4-07"
212       build: "12"
213     - job-spec: "ip4tun-00"
214       build: "13"
215     - job-spec: "ip6-00"
216       build: "14"
217     - job-spec: "ip6-01"
218       build: "15"
219     - job-spec: "l2-00"
220       build: "16"
221     - job-spec: "l2-01"
222       build: "17"
223     - job-spec: "lb-00"
224       build: "18"
225     - job-spec: "memif-00"
226       build: "19"
227     - job-spec: "vhost-00"
228       build: "20"
229
230 - type: "table"
231   title: "Job Specification Duration: 2n-dnv-iterative"
232   algorithm: "table_job_spec_duration"
233   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-dnv-iter"
234   jb-type: "iterative"
235   lines:
236     - job-spec: "vpp-mrr-00"
237       data-set: "vpp-2n-dnv-curr-iter-mrr"
238     - job-spec: "vpp-mlr-00"
239       data-set: "vpp-2n-dnv-curr-iter"
240
241 - type: "table"
242   title: "Job Specification Duration: 2n-dnv-coverage"
243   algorithm: "table_job_spec_duration"
244   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-dnv-cov"
245   jb-type: "coverage"
246   data: "vpp-2n-dnv-curr-cov"
247   lines:
248     - job-spec: "ip4-00"
249       build: "1"
250     - job-spec: "ip4-01"
251       build: "7"
252     - job-spec: "ip6-00"
253       build: "3"
254     - job-spec: "ip6-01"
255       build: "4"
256     - job-spec: "l2-00"
257       build: "5"
258     - job-spec: "l2-01"
259       build: "6"
260
261 - type: "table"
262   title: "Job Specification Duration: 2n-aws-iterative"
263   algorithm: "table_job_spec_duration"
264   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-aws-iter"
265   jb-type: "iterative"
266   lines:
267     - job-spec: "vpp-mrr-00"
268       data-set: "vpp-2n-aws-curr-iter-mrr"
269     - job-spec: "vpp-mlr-00"
270       data-set: "vpp-2n-aws-curr-iter"
271
272 - type: "table"
273   title: "Job Specification Duration: 2n-aws-coverage"
274   algorithm: "table_job_spec_duration"
275   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-aws-cov"
276   jb-type: "coverage"
277   data: "vpp-2n-aws-curr-cov"
278   lines:
279     - job-spec: "vpp-00"
280       build: "1"
281
282 # - type: "table"
283 #   title: "Job Specification Duration: 3n-aws-iterative"
284 #   algorithm: "table_job_spec_duration"
285 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-aws-iter"
286 #   jb-type: "iterative"
287 #   lines:
288 #     - job-spec: "vpp-mrr-00"
289 #       data-set: "vpp-3n-aws-curr-iter-mrr"
290 #     - job-spec: "vpp-mlr-00"
291 #       data-set: "vpp-3n-aws-curr-iter"
292
293 # - type: "table"
294 #   title: "Job Specification Duration: 3n-aws-coverage"
295 #   algorithm: "table_job_spec_duration"
296 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-aws-cov"
297 #   jb-type: "coverage"
298 #   data: "vpp-3n-aws-curr-cov"
299 #   lines:
300 #     - job-spec: "vpp-00"
301 #       build: "1"
302
303 - type: "table"
304   title: "Job Specification Duration: 2n-skx-iterative"
305   algorithm: "table_job_spec_duration"
306   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-skx-iter"
307   jb-type: "iterative"
308   lines:
309     - job-spec: "vpp-mrr-00"
310       data-set: "vpp-2n-skx-curr-iter-mrr"
311     - job-spec: "vpp-mlr-00"
312       data-set: "vpp-2n-skx-curr-iter"
313     - job-spec: "vpp-gso-mrr-00"
314       data-set: "vpp-2n-skx-curr-iter-gso"
315     - job-spec: "soak-00"
316       data-set: "vpp-2n-skx-curr-soak"
317     - job-spec: "nfv-density-mrr-00"
318       data-set: "vpp-2n-skx-curr-nfv-mrr"
319     - job-spec: "nfv-density-mlr-00"
320       data-set: "vpp-2n-skx-curr-nfv-ndrpdr"
321     - job-spec: "reconf-00"
322       data-set: "vpp-2n-skx-curr-nfv-reconf"
323     - job-spec: "dpdk-mlr-00"
324       data-set: "dpdk-2n-skx-curr-iter"
325     - job-spec: "trex-mlr-00"
326       data-set: "trex-2n-skx-curr-iter"
327
328 - type: "table"
329   title: "Job Specification Duration: 2n-skx-coverage"
330   algorithm: "table_job_spec_duration"
331   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-skx-cov"
332   jb-type: "coverage"
333   data: "vpp-2n-skx-curr-cov"
334   lines:
335     - job-spec: "gso-00"
336       build: "1"
337     - job-spec: "ip4-00"
338       build: "2"
339     - job-spec: "ip4-01"
340       build: "3"
341     - job-spec: "ip4-02"
342       build: "4"
343     - job-spec: "ip4-03"
344       build: "5"
345     - job-spec: "ip4-04"
346       build: "6"
347     - job-spec: "ip4-05"
348       build: "7"
349     - job-spec: "ip4-06"
350       build: "8"
351     - job-spec: "ip4-07"
352       build: "9"
353     - job-spec: "ip4tun-00"
354       build: "10"
355     - job-spec: "ip6-00"
356       build: "11"
357     - job-spec: "ip6-01"
358       build: "12"
359     - job-spec: "l2-00"
360       build: "13"
361     - job-spec: "l2-01"
362       build: "14"
363     - job-spec: "lb-00"
364       build: "15"
365     - job-spec: "memif-00"
366       build: "16"
367     - job-spec: "vhost-00"
368       build: "17"
369
370 - type: "table"
371   title: "Job Specification Duration: 2n-tx2-iterative"
372   algorithm: "table_job_spec_duration"
373   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-tx2-iter"
374   jb-type: "iterative"
375   lines:
376     - job-spec: "vpp-mrr-00"
377       data-set: "vpp-2n-tx2-curr-iter-mrr"
378     - job-spec: "vpp-mlr-00"
379       data-set: "vpp-2n-tx2-curr-iter"
380
381 - type: "table"
382   title: "Job Specification Duration: 2n-tx2-coverage"
383   algorithm: "table_job_spec_duration"
384   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-tx2-cov"
385   jb-type: "coverage"
386   data: "vpp-2n-tx2-curr-cov"
387   lines:
388     # - job-spec: "ip4-00"
389     #   build: "1"
390     - job-spec: "ip4-01"
391       build: "2"
392     - job-spec: "ip4-02"
393       build: "3"
394     - job-spec: "ip4-03"
395       build: "4"
396     - job-spec: "ip4-04"
397       build: "5"
398     - job-spec: "ip4-05"
399       build: "6"
400     - job-spec: "ip4-06"
401       build: "7"
402     - job-spec: "ip6-00"
403       build: "8"
404     - job-spec: "ip6-01"
405       build: "9"
406     - job-spec: "l2-00"
407       build: "10"
408     - job-spec: "l2-01"
409       build: "11"
410     - job-spec: "l2-02"
411       build: "12"
412     # - job-spec: "l2-03"
413     #   build: "13"
414     - job-spec: "l2-04"
415       build: "14"
416
417 - type: "table"
418   title: "Job Specification Duration: 2n-zn2-iterative"
419   algorithm: "table_job_spec_duration"
420   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-zn2-iter"
421   jb-type: "iterative"
422   lines:
423     - job-spec: "vpp-mrr-00"
424       data-set: "vpp-2n-zn2-curr-iter-mrr"
425     - job-spec: "vpp-mlr-00"
426       data-set: "vpp-2n-zn2-curr-iter"
427     - job-spec: "vpp-gso-mrr-00"
428       data-set: "vpp-2n-zn2-curr-iter-gso"
429     - job-spec: "dpdk-mlr-00"
430       data-set: "dpdk-2n-zn2-curr-iter"
431
432 - type: "table"
433   title: "Job Specification Duration: 2n-zn2-coverage"
434   algorithm: "table_job_spec_duration"
435   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-zn2-cov"
436   jb-type: "coverage"
437   data: "vpp-2n-zn2-curr-cov"
438   lines:
439     # - job-spec: "gso-00"
440     #   build: "1"
441     - job-spec: "ip4-00"
442       build: "2"
443     - job-spec: "ip4-01"
444       build: "3"
445     # - job-spec: "ip4-02"
446     #   build: "4"
447     - job-spec: "ip4-03"
448       build: "5"
449     - job-spec: "ip4-04"
450       build: "6"
451     - job-spec: "ip4-05"
452       build: "7"
453     # - job-spec: "ip4tun-00"
454     #   build: "8"
455     - job-spec: "ip6-00"
456       build: "9"
457     # - job-spec: "ip6-01"
458     #   build: "10"
459     # - job-spec: "l2-00"
460     #   build: "11"
461     # - job-spec: "l2-01"
462     #   build: "12"
463     # - job-spec: "lb-00"
464     #   build: "13"
465     # - job-spec: "memif-00"
466     #   build: "14"
467     # - job-spec: "vhost-00"
468     #   build: "15"
469
470 - type: "table"
471   title: "Job Specification Duration: 3n-dnv-iterative"
472   algorithm: "table_job_spec_duration"
473   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-dnv-iter"
474   jb-type: "iterative"
475   lines:
476     - job-spec: "vpp-mrr-00"
477       data-set: "vpp-3n-dnv-curr-iter-mrr"
478     - job-spec: "vpp-mlr-00"
479       data-set: "vpp-3n-dnv-curr-iter"
480
481 - type: "table"
482   title: "Job Specification Duration: 3n-dnv-coverage"
483   algorithm: "table_job_spec_duration"
484   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-dnv-cov"
485   jb-type: "coverage"
486   data: "vpp-3n-dnv-curr-cov"
487   lines:
488     - job-spec: "crypto-00"
489       build: "1"
490     - job-spec: "crypto-01"
491       build: "2"
492     - job-spec: "crypto-02"
493       build: "3"
494     - job-spec: "ip4-00"
495       build: "4"
496     - job-spec: "ip4-01"
497       build: "5"
498     - job-spec: "ip4tun-00"
499       build: "6"
500     - job-spec: "ip6-00"
501       build: "7"
502     - job-spec: "ip6-01"
503       build: "8"
504     - job-spec: "l2-00"
505       build: "9"
506     - job-spec: "l2-01"
507       build: "10"
508
509 - type: "table"
510   title: "Job Specification Duration: 3n-skx-iterative"
511   algorithm: "table_job_spec_duration"
512   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-skx-iter"
513   jb-type: "iterative"
514   lines:
515     - job-spec: "vpp-mrr-00"
516       data-set: "vpp-3n-skx-curr-iter-mrr"
517     - job-spec: "vpp-mlr-00"
518       data-set: "vpp-3n-skx-curr-iter"
519     - job-spec: "hoststack-00"
520       data-set: "vpp-3n-skx-curr-iter-hoststack"
521     - job-spec: "dpdk-mlr-00"
522       data-set: "dpdk-3n-skx-curr-iter"
523
524 - type: "table"
525   title: "Job Specification Duration: 3n-skx-coverage"
526   algorithm: "table_job_spec_duration"
527   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-skx-cov"
528   jb-type: "coverage"
529   data: "vpp-3n-skx-curr-cov"
530   lines:
531     - job-spec: "crypto-00"
532       build: "1"
533     - job-spec: "crypto-01"
534       build: "2"
535     - job-spec: "crypto-02"
536       build: "3"
537     - job-spec: "crypto-03"
538       build: "34"
539     - job-spec: "crypto-04"
540       build: "4"
541     - job-spec: "ip4-00"
542       build: "5"
543     - job-spec: "ip4-01"
544       build: "6"
545     - job-spec: "ip4-02"
546       build: "7"
547     - job-spec: "ip4-03"
548       build: "8"
549     - job-spec: "ip4-04"
550       build: "9"
551     - job-spec: "ip4-05"
552       build: "10"
553     - job-spec: "ip4-06"
554       build: "11"
555     - job-spec: "ip4-07"
556       build: "12"
557     - job-spec: "ip4tun-00"
558       build: "13"
559     - job-spec: "ip4tun-02"
560       build: "14"
561     - job-spec: "ip6-00"
562       build: "15"
563     - job-spec: "ip6-01"
564       build: "16"
565     - job-spec: "ip6tun-00"
566       build: "17"
567     - job-spec: "l2-00"
568       build: "18"
569     - job-spec: "l2-01"
570       build: "19"
571     - job-spec: "l2-02"
572       build: "20"
573     - job-spec: "l2-03"
574       build: "21"
575     - job-spec: "l2-04"
576       build: "22"
577     - job-spec: "l2-05"
578       build: "23"
579     - job-spec: "l2-06"
580       build: "24"
581     - job-spec: "l2-07"
582       build: "25"
583     - job-spec: "l2-08"
584       build: "26"
585     - job-spec: "l2-09"
586       build: "27"
587     - job-spec: "l2-10"
588       build: "28"
589     - job-spec: "memif-00"
590       build: "29"
591     - job-spec: "srv6-00"
592       build: "30"
593     - job-spec: "srv6-01"
594       build: "31"
595     - job-spec: "vhost-00"
596       build: "32"
597     - job-spec: "vhost-01"
598       build: "33"
599
600 - type: "table"
601   title: "Job Specification Duration: 3n-tsh-iterative"
602   algorithm: "table_job_spec_duration"
603   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-tsh-iter"
604   jb-type: "iterative"
605   lines:
606     - job-spec: "vpp-mrr-00"
607       data-set: "vpp-3n-tsh-curr-iter-mrr"
608     - job-spec: "vpp-mlr-00"
609       data-set: "vpp-3n-tsh-curr-iter"
610     - job-spec: "dpdk-mlr-00"
611       data-set: "dpdk-3n-tsh-curr-iter"
612
613 - type: "table"
614   title: "Job Specification Duration: 3n-tsh-coverage"
615   algorithm: "table_job_spec_duration"
616   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-tsh-cov"
617   jb-type: "coverage"
618   data: "vpp-3n-tsh-curr-cov"
619   lines:
620     - job-spec: "ip4-00"
621       build: "1"
622     - job-spec: "ip4-01"
623       build: "2"
624     - job-spec: "ip4-02"
625       build: "3"
626     - job-spec: "ip4-03"
627       build: "4"
628     - job-spec: "ip4tun-00"
629       build: "5"
630     - job-spec: "ip6-00"
631       build: "6"
632     - job-spec: "ip6-01"
633       build: "7"
634     - job-spec: "l2-00"
635       build: "8"
636     - job-spec: "l2-01"
637       build: "9"
638     - job-spec: "l2-02"
639       build: "10"
640     - job-spec: "l2-03"
641       build: "11"
642     # - job-spec: "l2-04"
643     #   build: "12"
644     # - job-spec: "memif-00"
645     #   build: "13"
646     # - job-spec: "srv6-00"
647     #   build: "14"
648     - job-spec: "srv6-01"
649       build: "15"
650     - job-spec: "vhost-00"
651       build: "16"
652     - job-spec: "vhost-01"
653       build: "17"
654
655 - type: "table"
656   title: "Job Specification Duration: 3n-alt-iterative"
657   algorithm: "table_job_spec_duration"
658   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-alt-iter"
659   jb-type: "iterative"
660   lines:
661     - job-spec: "vpp-mrr-00"
662       data-set: "vpp-3n-alt-curr-iter-mrr"
663     - job-spec: "vpp-mlr-00"
664       data-set: "vpp-3n-alt-curr-iter"
665     - job-spec: "dpdk-mlr-00"
666       data-set: "dpdk-3n-alt-curr-iter"
667
668 - type: "table"
669   title: "Job Specification Duration: 3n-alt-coverage"
670   algorithm: "table_job_spec_duration"
671   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-alt-cov"
672   jb-type: "coverage"
673   data: "vpp-3n-alt-curr-cov"
674   lines:
675     # - job-spec: "ip4-00"
676     #   build: "1"
677     # - job-spec: "ip4-01"
678     #   build: "2"
679     - job-spec: "ip4-02"
680       build: "3"
681     # - job-spec: "ip4-03"
682     #   build: "4"
683     - job-spec: "ip4tun-00"
684       build: "5"
685     - job-spec: "ip6-00"
686       build: "6"
687     # - job-spec: "ip6-01"
688     #   build: "7"
689     # - job-spec: "l2-00"
690     #   build: "8"
691     # - job-spec: "l2-01"
692     #   build: "9"
693     # - job-spec: "l2-02"
694     #   build: "10"
695     - job-spec: "l2-03"
696       build: "11"
697     # - job-spec: "l2-04"
698     #   build: "12"
699     # - job-spec: "memif-00"
700     #   build: "13"
701     # - job-spec: "srv6-00"
702     #   build: "14"
703     # - job-spec: "srv6-01"
704     #   build: "15"
705     # - job-spec: "vhost-00"
706     #   build: "16"
707     # - job-spec: "vhost-01"
708     #   build: "17"
709
710 # VPP Normalized Comparison Across Testbeds 2n-skx to 2n-clx 2t1c ndr
711 - type: "table"
712   title: "VPP Normalized Comparison Across Testbeds 2n-skx to 2n-clx 2t1c ndr"
713   algorithm: "table_comparison"
714   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-skx-2n-clx-2t1c-ndr"
715   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
716   filter: "'2T1C' and 'NIC_Intel-XXV710'"
717   columns:
718     - title: "2n-skx xxv710"
719       data-set: "vpp-2n-skx-curr-iter"
720     - title: "2n-clx xxv710"
721       data-set: "vpp-2n-clx-curr-iter"
722   comparisons:
723     - title: "2n-clx vs 2n-skx"
724       reference: 1
725       compare: 2
726     - title: "Normalized 2n-clx vs 2n-skx"
727       reference: 1
728       compare: 2
729       norm-ref: "2n-skx"
730       norm-cmp: "2n-clx"
731   legend:
732     - ''
733     - 'Test Case:                   Test cases executed for: NDR throughput on 2n-skx and 2n-clx with xxv710.'
734     - '2n-skx, 2n-clx:              [Mpps +- StDev] results for VPP tested in CSIT'
735     - '2n-clx vs 2n-skx:            [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
736     - 'Normalized 2n-clx vs 2n-skx: [% +- StDev] Normalized relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
737
738 # VPP Normalized Comparison Across Testbeds 2n-skx to 2n-clx 4t2c ndr
739 - type: "table"
740   title: "VPP Normalized Comparison Across Testbeds 2n-skx to 2n-clx 4t2c ndr"
741   algorithm: "table_comparison"
742   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-skx-2n-clx-4t2c-ndr"
743   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
744   filter: "'4T2C' and 'NIC_Intel-XXV710'"
745   columns:
746     - title: "2n-skx xxv710"
747       data-set: "vpp-2n-skx-curr-iter"
748     - title: "2n-clx xxv710"
749       data-set: "vpp-2n-clx-curr-iter"
750   comparisons:
751     - title: "2n-clx vs 2n-skx"
752       reference: 1
753       compare: 2
754     - title: "Normalized 2n-clx vs 2n-skx"
755       reference: 1
756       compare: 2
757       norm-ref: "2n-skx"
758       norm-cmp: "2n-clx"
759   legend:
760     - ''
761     - 'Test Case:                   Test cases executed for: NDR throughput on 2n-skx and 2n-clx with xxv710.'
762     - '2n-skx, 2n-clx:              [Mpps +- StDev] results for VPP tested in CSIT'
763     - '2n-clx vs 2n-skx:            [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
764     - 'Normalized 2n-clx vs 2n-skx: [% +- StDev] Normalized relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
765
766 # VPP Normalized Comparison Across Testbeds 2n-skx to 2n-clx 2t1c pdr
767 - type: "table"
768   title: "VPP Normalized Comparison Across Testbeds 2n-skx to 2n-clx 2t1c pdr"
769   algorithm: "table_comparison"
770   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-skx-2n-clx-2t1c-pdr"
771   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
772   filter: "'2T1C' and 'NIC_Intel-XXV710'"
773   columns:
774     - title: "2n-skx xxv710"
775       data-set: "vpp-2n-skx-curr-iter"
776     - title: "2n-clx xxv710"
777       data-set: "vpp-2n-clx-curr-iter"
778   comparisons:
779     - title: "2n-clx vs 2n-skx"
780       reference: 1
781       compare: 2
782     - title: "Normalized 2n-clx vs 2n-skx"
783       reference: 1
784       compare: 2
785       norm-ref: "2n-skx"
786       norm-cmp: "2n-clx"
787   legend:
788     - ''
789     - 'Test Case:                   Test cases executed for: PDR throughput on 2n-skx and 2n-clx with xxv710.'
790     - '2n-skx, 2n-clx:              [Mpps +- StDev] results for VPP tested in CSIT'
791     - '2n-clx vs 2n-skx:            [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
792     - 'Normalized 2n-clx vs 2n-skx: [% +- StDev] Normalized relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
793
794 # VPP Normalized Comparison Across Testbeds 2n-skx to 2n-clx 4t2c pdr
795 - type: "table"
796   title: "VPP Normalized Comparison Across Testbeds 2n-skx to 2n-clx 4t2c pdr"
797   algorithm: "table_comparison"
798   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-skx-2n-clx-4t2c-pdr"
799   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
800   filter: "'4T2C' and 'NIC_Intel-XXV710'"
801   columns:
802     - title: "2n-skx xxv710"
803       data-set: "vpp-2n-skx-curr-iter"
804     - title: "2n-clx xxv710"
805       data-set: "vpp-2n-clx-curr-iter"
806   comparisons:
807     - title: "2n-clx vs 2n-skx"
808       reference: 1
809       compare: 2
810     - title: "Normalized 2n-clx vs 2n-skx"
811       reference: 1
812       compare: 2
813       norm-ref: "2n-skx"
814       norm-cmp: "2n-clx"
815   legend:
816     - ''
817     - 'Test Case:                   Test cases executed for: PDR throughput on 2n-skx and 2n-clx with xxv710.'
818     - '2n-skx, 2n-clx:              [Mpps +- StDev] results for VPP tested in CSIT'
819     - '2n-clx vs 2n-skx:            [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
820     - 'Normalized 2n-clx vs 2n-skx: [% +- StDev] Normalized relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
821
822 # VPP Normalized Comparison Across Testbeds 2n-clx to 2n-icx 1c ndr
823 - type: "table"
824   title: "VPP Normalized Comparison Across Testbeds 2n-clx to 2n-icx 1c ndr"
825   algorithm: "table_comparison"
826   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-clx-2n-icx-1c-ndr"
827   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
828   filter: "'NIC_Intel-XXV710' and 'NDRPDR' and '1C'"
829   columns:
830     - title: "2n-clx xxv710"
831       data-set: "vpp-2n-clx-curr-iter"
832     - title: "2n-icx xxv710"
833       data-set: "vpp-2n-icx-curr-iter"
834   comparisons:
835     - title: "2n-icx vs 2n-clx"
836       reference: 1
837       compare: 2
838     - title: "Normalized 2n-icx vs 2n-clx"
839       reference: 1
840       compare: 2
841       norm-ref: "2n-clx"
842       norm-cmp: "2n-icx"
843   legend:
844     - ''
845     - 'Test Case:                   Test cases executed for: NDR throughput on 2n-clx and 2n-icx with xxv710.'
846     - '2n-clx, 2n-icx:              [Mpps +- StDev] results for VPP tested in CSIT'
847     - '2n-icx vs 2n-clx:            [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
848     - 'Normalized 2n-icx vs 2n-clx: [% +- StDev] Normalized relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
849
850 # VPP Normalized Comparison Across Testbeds 2n-clx to 2n-icx 2c ndr
851 - type: "table"
852   title: "VPP Normalized Comparison Across Testbeds 2n-clx to 2n-icx 2c ndr"
853   algorithm: "table_comparison"
854   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-clx-2n-icx-2c-ndr"
855   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
856   filter: "'NIC_Intel-XXV710' and 'NDRPDR' and '2C'"
857   columns:
858     - title: "2n-clx xxv710"
859       data-set: "vpp-2n-clx-curr-iter"
860     - title: "2n-icx xxv710"
861       data-set: "vpp-2n-icx-curr-iter"
862   comparisons:
863     - title: "2n-icx vs 2n-clx"
864       reference: 1
865       compare: 2
866     - title: "Normalized 2n-icx vs 2n-clx"
867       reference: 1
868       compare: 2
869       norm-ref: "2n-clx"
870       norm-cmp: "2n-icx"
871   legend:
872     - ''
873     - 'Test Case:                   Test cases executed for: NDR throughput on 2n-clx and 2n-icx with xxv710.'
874     - '2n-clx, 2n-icx:              [Mpps +- StDev] results for VPP tested in CSIT'
875     - '2n-icx vs 2n-clx:            [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
876     - 'Normalized 2n-icx vs 2n-clx: [% +- StDev] Normalized relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
877
878 # VPP Normalized Comparison Across Testbeds 2n-clx to 2n-icx 1c pdr
879 - type: "table"
880   title: "VPP Normalized Comparison Across Testbeds 2n-clx to 2n-icx 1c pdr"
881   algorithm: "table_comparison"
882   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-clx-2n-icx-1c-pdr"
883   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
884   filter: "'NIC_Intel-XXV710' and 'NDRPDR' and '1C'"
885   columns:
886     - title: "2n-clx xxv710"
887       data-set: "vpp-2n-clx-curr-iter"
888     - title: "2n-icx xxv710"
889       data-set: "vpp-2n-icx-curr-iter"
890   comparisons:
891     - title: "2n-icx vs 2n-clx"
892       reference: 1
893       compare: 2
894     - title: "Normalized 2n-icx vs 2n-clx"
895       reference: 1
896       compare: 2
897       norm-ref: "2n-clx"
898       norm-cmp: "2n-icx"
899   legend:
900     - ''
901     - 'Test Case:                   Test cases executed for: PDR throughput on 2n-clx and 2n-icx with xxv710.'
902     - '2n-clx, 2n-icx:              [Mpps +- StDev] results for VPP tested in CSIT'
903     - '2n-icx vs 2n-clx:            [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
904     - 'Normalized 2n-icx vs 2n-clx: [% +- StDev] Normalized relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
905
906 # VPP Normalized Comparison Across Testbeds 2n-clx to 2n-icx 2c pdr
907 - type: "table"
908   title: "VPP Normalized Comparison Across Testbeds 2n-clx to 2n-icx 2c pdr"
909   algorithm: "table_comparison"
910   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-clx-2n-icx-2c-pdr"
911   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
912   filter: "'NIC_Intel-XXV710' and 'NDRPDR' and '2C'"
913   columns:
914     - title: "2n-clx xxv710"
915       data-set: "vpp-2n-clx-curr-iter"
916     - title: "2n-icx xxv710"
917       data-set: "vpp-2n-icx-curr-iter"
918   comparisons:
919     - title: "2n-icx vs 2n-clx"
920       reference: 1
921       compare: 2
922     - title: "Normalized 2n-icx vs 2n-clx"
923       reference: 1
924       compare: 2
925       norm-ref: "2n-clx"
926       norm-cmp: "2n-icx"
927   legend:
928     - ''
929     - 'Test Case:                   Test cases executed for: PDR throughput on 2n-clx and 2n-icx with xxv710.'
930     - '2n-clx, 2n-icx:              [Mpps +- StDev] results for VPP tested in CSIT'
931     - '2n-icx vs 2n-clx:            [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
932     - 'Normalized 2n-icx vs 2n-clx: [% +- StDev] Normalized relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
933
934 # VPP Normalized Comparison Across Testbeds 2n-skx to 2n-icx 1c ndr
935 - type: "table"
936   title: "VPP Normalized Comparison Across Testbeds 2n-skx to 2n-icx 1c ndr"
937   algorithm: "table_comparison"
938   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-skx-2n-icx-1c-ndr"
939   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
940   filter: "'NIC_Intel-XXV710' and 'NDRPDR' and '1C'"
941   columns:
942     - title: "2n-skx xxv710"
943       data-set: "vpp-2n-skx-curr-iter"
944     - title: "2n-icx xxv710"
945       data-set: "vpp-2n-icx-curr-iter"
946   comparisons:
947     - title: "2n-icx vs 2n-skx"
948       reference: 1
949       compare: 2
950     - title: "Normalized 2n-icx vs 2n-skx"
951       reference: 1
952       compare: 2
953       norm-ref: "2n-skx"
954       norm-cmp: "2n-icx"
955   legend:
956     - ''
957     - 'Test Case:                   Test cases executed for: NDR throughput on 2n-skx and 2n-icx with xxv710.'
958     - '2n-skx, 2n-icx:              [Mpps +- StDev] results for VPP tested in CSIT'
959     - '2n-icx vs 2n-skx:            [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
960     - 'Normalized 2n-icx vs 2n-skx: [% +- StDev] Normalized relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
961
962 # VPP Normalized Comparison Across Testbeds 2n-skx to 2n-icx 2c ndr
963 - type: "table"
964   title: "VPP Normalized Comparison Across Testbeds 2n-skx to 2n-icx 2c ndr"
965   algorithm: "table_comparison"
966   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-skx-2n-icx-2c-ndr"
967   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
968   filter: "'NIC_Intel-XXV710' and 'NDRPDR' and '2C'"
969   columns:
970     - title: "2n-skx xxv710"
971       data-set: "vpp-2n-skx-curr-iter"
972     - title: "2n-icx xxv710"
973       data-set: "vpp-2n-icx-curr-iter"
974   comparisons:
975     - title: "2n-icx vs 2n-skx"
976       reference: 1
977       compare: 2
978     - title: "Normalized 2n-icx vs 2n-skx"
979       reference: 1
980       compare: 2
981       norm-ref: "2n-skx"
982       norm-cmp: "2n-icx"
983   legend:
984     - ''
985     - 'Test Case:                   Test cases executed for: NDR throughput on 2n-skx and 2n-icx with xxv710.'
986     - '2n-skx, 2n-icx:              [Mpps +- StDev] results for VPP tested in CSIT'
987     - '2n-icx vs 2n-skx:            [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
988     - 'Normalized 2n-icx vs 2n-skx: [% +- StDev] Normalized relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
989
990 # VPP Normalized Comparison Across Testbeds 2n-skx to 2n-icx 1c pdr
991 - type: "table"
992   title: "VPP Normalized Comparison Across Testbeds 2n-skx to 2n-icx 1c pdr"
993   algorithm: "table_comparison"
994   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-skx-2n-icx-1c-pdr"
995   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
996   filter: "'NIC_Intel-XXV710' and 'NDRPDR' and '1C'"
997   columns:
998     - title: "2n-skx xxv710"
999       data-set: "vpp-2n-skx-curr-iter"
1000     - title: "2n-icx xxv710"
1001       data-set: "vpp-2n-icx-curr-iter"
1002   comparisons:
1003     - title: "2n-icx vs 2n-skx"
1004       reference: 1
1005       compare: 2
1006     - title: "Normalized 2n-icx vs 2n-skx"
1007       reference: 1
1008       compare: 2
1009       norm-ref: "2n-skx"
1010       norm-cmp: "2n-icx"
1011   legend:
1012     - ''
1013     - 'Test Case:                   Test cases executed for: PDR throughput on 2n-skx and 2n-icx with xxv710.'
1014     - '2n-skx, 2n-icx:              [Mpps +- StDev] results for VPP tested in CSIT'
1015     - '2n-icx vs 2n-skx:            [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1016     - 'Normalized 2n-icx vs 2n-skx: [% +- StDev] Normalized relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1017
1018 # VPP Normalized Comparison Across Testbeds 2n-skx to 2n-icx 2c pdr
1019 - type: "table"
1020   title: "VPP Normalized Comparison Across Testbeds 2n-skx to 2n-icx 2c pdr"
1021   algorithm: "table_comparison"
1022   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-skx-2n-icx-2c-pdr"
1023   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1024   filter: "'NIC_Intel-XXV710' and 'NDRPDR' and '2C'"
1025   columns:
1026     - title: "2n-skx xxv710"
1027       data-set: "vpp-2n-skx-curr-iter"
1028     - title: "2n-icx xxv710"
1029       data-set: "vpp-2n-icx-curr-iter"
1030   comparisons:
1031     - title: "2n-icx vs 2n-skx"
1032       reference: 1
1033       compare: 2
1034     - title: "Normalized 2n-icx vs 2n-skx"
1035       reference: 1
1036       compare: 2
1037       norm-ref: "2n-skx"
1038       norm-cmp: "2n-icx"
1039   legend:
1040     - ''
1041     - 'Test Case:                   Test cases executed for: PDR throughput on 2n-skx and 2n-icx with xxv710.'
1042     - '2n-skx, 2n-icx:              [Mpps +- StDev] results for VPP tested in CSIT'
1043     - '2n-icx vs 2n-skx:            [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1044     - 'Normalized 2n-icx vs 2n-skx: [% +- StDev] Normalized relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1045
1046 # VPP Normalized Comparison Across Testbeds 3n-skx to 3n-icx 1c ndr
1047 - type: "table"
1048   title: "VPP Normalized Comparison Across Testbeds 3n-skx to 3n-icx 1c ndr"
1049   algorithm: "table_comparison"
1050   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-skx-3n-icx-1c-ndr"
1051   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1052   filter: "'NIC_Intel-XXV710' and 'NDRPDR' and '1C'"
1053   columns:
1054     - title: "3n-skx xxv710"
1055       data-set: "vpp-3n-skx-curr-iter"
1056     - title: "3n-icx xxv710"
1057       data-set: "vpp-3n-icx-curr-iter"
1058   comparisons:
1059     - title: "3n-icx vs 3n-skx"
1060       reference: 1
1061       compare: 2
1062     - title: "Normalized 3n-icx vs 3n-skx"
1063       reference: 1
1064       compare: 2
1065       norm-ref: "3n-skx"
1066       norm-cmp: "3n-icx"
1067   legend:
1068     - ''
1069     - 'Test Case:                   Test cases executed for: NDR throughput on 3n-skx and 3n-icx with xxv710.'
1070     - '3n-skx, 3n-icx:              [Mpps +- StDev] results for VPP tested in CSIT'
1071     - '3n-icx vs 3n-skx:            [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1072     - 'Normalized 3n-icx vs 3n-skx: [% +- StDev] Normalized relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1073
1074 # VPP Normalized Comparison Across Testbeds 3n-skx to 3n-icx 2c ndr
1075 - type: "table"
1076   title: "VPP Normalized Comparison Across Testbeds 3n-skx to 3n-icx ndr"
1077   algorithm: "table_comparison"
1078   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-skx-3n-icx-2c-ndr"
1079   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1080   filter: "'NIC_Intel-XXV710' and 'NDRPDR' and '2C'"
1081   columns:
1082     - title: "3n-skx xxv710"
1083       data-set: "vpp-3n-skx-curr-iter"
1084     - title: "3n-icx xxv710"
1085       data-set: "vpp-3n-icx-curr-iter"
1086   comparisons:
1087     - title: "3n-icx vs 3n-skx"
1088       reference: 1
1089       compare: 2
1090     - title: "Normalized 3n-icx vs 3n-skx"
1091       reference: 1
1092       compare: 2
1093       norm-ref: "3n-skx"
1094       norm-cmp: "3n-icx"
1095   legend:
1096     - ''
1097     - 'Test Case:                   Test cases executed for: NDR throughput on 3n-skx and 3n-icx with xxv710.'
1098     - '3n-skx, 3n-icx:              [Mpps +- StDev] results for VPP tested in CSIT'
1099     - '3n-icx vs 3n-skx:            [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1100     - 'Normalized 3n-icx vs 3n-skx: [% +- StDev] Normalized relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1101
1102 # VPP Normalized Comparison Across Testbeds 3n-skx to 3n-icx 1c pdr
1103 - type: "table"
1104   title: "VPP Normalized Comparison Across Testbeds 3n-skx to 3n-icx 1c pdr"
1105   algorithm: "table_comparison"
1106   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-skx-3n-icx-1c-pdr"
1107   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1108   filter: "'NIC_Intel-XXV710' and 'NDRPDR' and '1C'"
1109   columns:
1110     - title: "3n-skx xxv710"
1111       data-set: "vpp-3n-skx-curr-iter"
1112     - title: "3n-icx xxv710"
1113       data-set: "vpp-3n-icx-curr-iter"
1114   comparisons:
1115     - title: "3n-icx vs 3n-skx"
1116       reference: 1
1117       compare: 2
1118     - title: "Normalized 3n-icx vs 3n-skx"
1119       reference: 1
1120       compare: 2
1121       norm-ref: "3n-skx"
1122       norm-cmp: "3n-icx"
1123   legend:
1124     - ''
1125     - 'Test Case:                   Test cases executed for: PDR throughput on 3n-skx and 3n-icx with xxv710.'
1126     - '3n-skx, 3n-icx:              [Mpps +- StDev] results for VPP tested in CSIT'
1127     - '3n-icx vs 3n-skx:            [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1128     - 'Normalized 3n-icx vs 3n-skx: [% +- StDev] Normalized relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1129
1130 # VPP Normalized Comparison Across Testbeds 3n-skx to 3n-icx 2c pdr
1131 - type: "table"
1132   title: "VPP Normalized Comparison Across Testbeds 3n-skx to 3n-icx 2c pdr"
1133   algorithm: "table_comparison"
1134   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-skx-3n-icx-2c-pdr"
1135   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1136   filter: "'NIC_Intel-XXV710' and 'NDRPDR' and '2C'"
1137   columns:
1138     - title: "3n-skx xxv710"
1139       data-set: "vpp-3n-skx-curr-iter"
1140     - title: "3n-icx xxv710"
1141       data-set: "vpp-3n-icx-curr-iter"
1142   comparisons:
1143     - title: "3n-icx vs 3n-skx"
1144       reference: 1
1145       compare: 2
1146     - title: "Normalized 3n-icx vs 3n-skx"
1147       reference: 1
1148       compare: 2
1149       norm-ref: "3n-skx"
1150       norm-cmp: "3n-icx"
1151   legend:
1152     - ''
1153     - 'Test Case:                   Test cases executed for: PDR throughput on 3n-skx and 3n-icx with xxv710.'
1154     - '3n-skx, 3n-icx:              [Mpps +- StDev] results for VPP tested in CSIT'
1155     - '3n-icx vs 3n-skx:            [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1156     - 'Normalized 3n-icx vs 3n-skx: [% +- StDev] Normalized relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1157
1158 # VPP Normalized Comparison Across Testbeds 2n-skx to 2n-clx 2t1c mrr
1159 - type: "table"
1160   title: "VPP Normalized Comparison Across Testbeds 2n-skx to 2n-clx 2t1c mrr"
1161   algorithm: "table_comparison"
1162   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-skx-2n-clx-2t1c-mrr"
1163   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1164   filter: "'2T1C' and 'NIC_Intel-XXV710'"
1165   columns:
1166     - title: "2n-skx xxv710"
1167       data-set: "vpp-2n-skx-curr-iter-mrr"
1168     - title: "2n-clx xxv710"
1169       data-set: "vpp-2n-clx-curr-iter-mrr"
1170   comparisons:
1171     - title: "2n-clx vs 2n-skx"
1172       reference: 1
1173       compare: 2
1174     - title: "Normalized 2n-clx vs 2n-skx"
1175       reference: 1
1176       compare: 2
1177       norm-ref: "2n-skx"
1178       norm-cmp: "2n-clx"
1179   legend:
1180     - ''
1181     - 'Test Case:                   Test cases executed for: MRR throughput on 2n-skx and 2n-clx with xxv710.'
1182     - '2n-skx, 2n-clx:              [Mpps +- StDev] results for VPP tested in CSIT'
1183     - '2n-clx vs 2n-skx:            [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1184     - 'Normalized 2n-clx vs 2n-skx: [% +- StDev] Normalized relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1185
1186 # VPP Normalized Comparison Across Testbeds 2n-skx to 2n-clx 4t2c mrr
1187 - type: "table"
1188   title: "VPP Normalized Comparison Across Testbeds 2n-skx to 2n-clx 4t2c mrr"
1189   algorithm: "table_comparison"
1190   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-skx-2n-clx-4t2c-mrr"
1191   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1192   filter: "'4T2C' and 'NIC_Intel-XXV710'"
1193   columns:
1194     - title: "2n-skx xxv710"
1195       data-set: "vpp-2n-skx-curr-iter-mrr"
1196     - title: "2n-clx xxv710"
1197       data-set: "vpp-2n-clx-curr-iter-mrr"
1198   comparisons:
1199     - title: "2n-clx vs 2n-skx"
1200       reference: 1
1201       compare: 2
1202     - title: "Normalized 2n-clx vs 2n-skx"
1203       reference: 1
1204       compare: 2
1205       norm-ref: "2n-skx"
1206       norm-cmp: "2n-clx"
1207   legend:
1208     - ''
1209     - 'Test Case:                   Test cases executed for: MRR throughput on 2n-skx and 2n-clx with xxv710.'
1210     - '2n-skx, 2n-clx:              [Mpps +- StDev] results for VPP tested in CSIT'
1211     - '2n-clx vs 2n-skx:            [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1212     - 'Normalized 2n-clx vs 2n-skx: [% +- StDev] Normalized relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1213
1214 # VPP Normalized Comparison Across Testbeds 2n-skx to 2n-clx 8t4c mrr
1215 - type: "table"
1216   title: "VPP Normalized Comparison Across Testbeds 2n-skx to 2n-clx 8t4c mrr"
1217   algorithm: "table_comparison"
1218   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-skx-2n-clx-8t4c-mrr"
1219   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1220   filter: "'8T4C' and 'NIC_Intel-XXV710'"
1221   columns:
1222     - title: "2n-skx xxv710"
1223       data-set: "vpp-2n-skx-curr-iter-mrr"
1224     - title: "2n-clx xxv710"
1225       data-set: "vpp-2n-clx-curr-iter-mrr"
1226   comparisons:
1227     - title: "2n-clx vs 2n-skx"
1228       reference: 1
1229       compare: 2
1230     - title: "Normalized 2n-clx vs 2n-skx"
1231       reference: 1
1232       compare: 2
1233       norm-ref: "2n-skx"
1234       norm-cmp: "2n-clx"
1235   legend:
1236     - ''
1237     - 'Test Case:                   Test cases executed for: MRR throughput on 2n-skx and 2n-clx with xxv710.'
1238     - '2n-skx, 2n-clx:              [Mpps +- StDev] results for VPP tested in CSIT'
1239     - '2n-clx vs 2n-skx:            [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1240     - 'Normalized 2n-clx vs 2n-skx: [% +- StDev] Normalized relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1241
1242 # VPP Normalized Comparison Across Testbeds 2n-clx to 2n-icx 1c mrr
1243 - type: "table"
1244   title: "VPP Normalized Comparison Across Testbeds 2n-clx to 2n-icx 1c mrr"
1245   algorithm: "table_comparison"
1246   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-clx-2n-icx-1c-mrr"
1247   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1248   filter: "'NIC_Intel-XXV710' and 'MRR' and '1C'"
1249   columns:
1250     - title: "2n-clx xxv710"
1251       data-set: "vpp-2n-clx-curr-iter-mrr"
1252     - title: "2n-icx xxv710"
1253       data-set: "vpp-2n-icx-curr-iter-mrr"
1254   comparisons:
1255     - title: "2n-icx vs 2n-clx"
1256       reference: 1
1257       compare: 2
1258     - title: "Normalized 2n-icx vs 2n-clx"
1259       reference: 1
1260       compare: 2
1261       norm-ref: "2n-clx"
1262       norm-cmp: "2n-icx"
1263   legend:
1264     - ''
1265     - 'Test Case:                   Test cases executed for: MRR throughput on 2n-clx and 2n-icx with xxv710.'
1266     - '2n-clx, 2n-icx:              [Mpps +- StDev] results for VPP tested in CSIT'
1267     - '2n-icx vs 2n-clx:            [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1268     - 'Normalized 2n-icx vs 2n-clx: [% +- StDev] Normalized relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1269
1270 # VPP Normalized Comparison Across Testbeds 2n-clx to 2n-icx 2c mrr
1271 - type: "table"
1272   title: "VPP Normalized Comparison Across Testbeds 2n-clx to 2n-icx 2c mrr"
1273   algorithm: "table_comparison"
1274   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-clx-2n-icx-2c-mrr"
1275   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1276   filter: "'NIC_Intel-XXV710' and 'MRR' and '2C'"
1277   columns:
1278     - title: "2n-clx xxv710"
1279       data-set: "vpp-2n-clx-curr-iter-mrr"
1280     - title: "2n-icx xxv710"
1281       data-set: "vpp-2n-icx-curr-iter-mrr"
1282   comparisons:
1283     - title: "2n-icx vs 2n-clx"
1284       reference: 1
1285       compare: 2
1286     - title: "Normalized 2n-icx vs 2n-clx"
1287       reference: 1
1288       compare: 2
1289       norm-ref: "2n-clx"
1290       norm-cmp: "2n-icx"
1291   legend:
1292     - ''
1293     - 'Test Case:                   Test cases executed for: MRR throughput on 2n-clx and 2n-icx with xxv710.'
1294     - '2n-clx, 2n-icx:              [Mpps +- StDev] results for VPP tested in CSIT'
1295     - '2n-icx vs 2n-clx:            [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1296     - 'Normalized 2n-icx vs 2n-clx: [% +- StDev] Normalized relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1297
1298 # VPP Normalized Comparison Across Testbeds 2n-clx to 2n-icx 4c mrr
1299 - type: "table"
1300   title: "VPP Normalized Comparison Across Testbeds 2n-clx to 2n-icx 4c mrr"
1301   algorithm: "table_comparison"
1302   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-clx-2n-icx-4c-mrr"
1303   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1304   filter: "'NIC_Intel-XXV710' and 'MRR' and '4C'"
1305   columns:
1306     - title: "2n-clx xxv710"
1307       data-set: "vpp-2n-clx-curr-iter-mrr"
1308     - title: "2n-icx xxv710"
1309       data-set: "vpp-2n-icx-curr-iter-mrr"
1310   comparisons:
1311     - title: "2n-icx vs 2n-clx"
1312       reference: 1
1313       compare: 2
1314     - title: "Normalized 2n-icx vs 2n-clx"
1315       reference: 1
1316       compare: 2
1317       norm-ref: "2n-clx"
1318       norm-cmp: "2n-icx"
1319   legend:
1320     - ''
1321     - 'Test Case:                   Test cases executed for: MRR throughput on 2n-clx and 2n-icx with xxv710.'
1322     - '2n-clx, 2n-icx:              [Mpps +- StDev] results for VPP tested in CSIT'
1323     - '2n-icx vs 2n-clx:            [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1324     - 'Normalized 2n-icx vs 2n-clx: [% +- StDev] Normalized relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1325
1326 # VPP Normalized Comparison Across Testbeds 2n-skx to 2n-icx 1c mrr
1327 - type: "table"
1328   title: "VPP Normalized Comparison Across Testbeds 2n-skx to 2n-icx 1c mrr"
1329   algorithm: "table_comparison"
1330   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-skx-2n-icx-1c-mrr"
1331   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1332   filter: "'NIC_Intel-XXV710' and 'MRR' and '1C'"
1333   columns:
1334     - title: "2n-skx xxv710"
1335       data-set: "vpp-2n-skx-curr-iter-mrr"
1336     - title: "2n-icx xxv710"
1337       data-set: "vpp-2n-icx-curr-iter-mrr"
1338   comparisons:
1339     - title: "2n-icx vs 2n-clx"
1340       reference: 1
1341       compare: 2
1342     - title: "Normalized 2n-icx vs 2n-skx"
1343       reference: 1
1344       compare: 2
1345       norm-ref: "2n-skx"
1346       norm-cmp: "2n-icx"
1347   legend:
1348     - ''
1349     - 'Test Case:                   Test cases executed for: MRR throughput on 2n-skx and 2n-icx with xxv710.'
1350     - '2n-skx, 2n-icx:              [Mpps +- StDev] results for VPP tested in CSIT'
1351     - '2n-icx vs 2n-skx:            [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1352     - 'Normalized 2n-icx vs 2n-skx: [% +- StDev] Normalized relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1353
1354 # VPP Normalized Comparison Across Testbeds 2n-skx to 2n-icx 2c mrr
1355 - type: "table"
1356   title: "VPP Normalized Comparison Across Testbeds 2n-skx to 2n-icx 2c mrr"
1357   algorithm: "table_comparison"
1358   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-skx-2n-icx-2c-mrr"
1359   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1360   filter: "'NIC_Intel-XXV710' and 'MRR' and '2C'"
1361   columns:
1362     - title: "2n-skx xxv710"
1363       data-set: "vpp-2n-skx-curr-iter-mrr"
1364     - title: "2n-icx xxv710"
1365       data-set: "vpp-2n-icx-curr-iter-mrr"
1366   comparisons:
1367     - title: "2n-icx vs 2n-skx"
1368       reference: 1
1369       compare: 2
1370     - title: "Normalized 2n-icx vs 2n-skx"
1371       reference: 1
1372       compare: 2
1373       norm-ref: "2n-skx"
1374       norm-cmp: "2n-icx"
1375   legend:
1376     - ''
1377     - 'Test Case:                   Test cases executed for: MRR throughput on 2n-skx and 2n-icx with xxv710.'
1378     - '2n-skx, 2n-icx:              [Mpps +- StDev] results for VPP tested in CSIT'
1379     - '2n-icx vs 2n-skx:            [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1380     - 'Normalized 2n-icx vs 2n-skx: [% +- StDev] Normalized relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1381
1382 # VPP Normalized Comparison Across Testbeds 2n-skx to 2n-icx 4c mrr
1383 - type: "table"
1384   title: "VPP Normalized Comparison Across Testbeds 2n-skx to 2n-icx 4c mrr"
1385   algorithm: "table_comparison"
1386   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-skx-2n-icx-4c-mrr"
1387   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1388   filter: "'NIC_Intel-XXV710' and 'MRR' and '4C'"
1389   columns:
1390     - title: "2n-skx xxv710"
1391       data-set: "vpp-2n-skx-curr-iter-mrr"
1392     - title: "2n-icx xxv710"
1393       data-set: "vpp-2n-icx-curr-iter-mrr"
1394   comparisons:
1395     - title: "2n-icx vs 2n-skx"
1396       reference: 1
1397       compare: 2
1398     - title: "Normalized 2n-icx vs 2n-skx"
1399       reference: 1
1400       compare: 2
1401       norm-ref: "2n-skx"
1402       norm-cmp: "2n-icx"
1403   legend:
1404     - ''
1405     - 'Test Case:                   Test cases executed for: MRR throughput on 2n-skx and 2n-icx with xxv710.'
1406     - '2n-skx, 2n-icx:              [Mpps +- StDev] results for VPP tested in CSIT'
1407     - '2n-icx vs 2n-skx:            [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1408     - 'Normalized 2n-icx vs 2n-skx: [% +- StDev] Normalized relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1409
1410 # VPP Normalized Comparison Across Testbeds 3n-skx to 3n-icx 1c mrr
1411 - type: "table"
1412   title: "VPP Normalized Comparison Across Testbeds 3n-skx to 3n-icx 1c mrr"
1413   algorithm: "table_comparison"
1414   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-skx-3n-icx-1c-mrr"
1415   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1416   filter: "'NIC_Intel-XXV710' and 'MRR' and '1C'"
1417   columns:
1418     - title: "3n-skx xxv710"
1419       data-set: "vpp-3n-skx-curr-iter-mrr"
1420     - title: "3n-icx xxv710"
1421       data-set: "vpp-3n-icx-curr-iter-mrr"
1422   comparisons:
1423     - title: "3n-icx vs 3n-skx"
1424       reference: 1
1425       compare: 2
1426     - title: "Normalized 3n-icx vs 3n-skx"
1427       reference: 1
1428       compare: 2
1429       norm-ref: "3n-skx"
1430       norm-cmp: "3n-icx"
1431   legend:
1432     - ''
1433     - 'Test Case:                   Test cases executed for: MRR throughput on 3n-skx and 3n-icx with xxv710.'
1434     - '3n-skx, 3n-icx:              [Mpps +- StDev] results for VPP tested in CSIT'
1435     - '3n-icx vs 3n-skx:            [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1436     - 'Normalized 3n-icx vs 3n-skx: [% +- StDev] Normalized relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1437
1438 # VPP Normalized Comparison Across Testbeds 3n-skx to 3n-icx 2c mrr
1439 - type: "table"
1440   title: "VPP Normalized Comparison Across Testbeds 3n-skx to 3n-icx 2c mrr"
1441   algorithm: "table_comparison"
1442   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-skx-3n-icx-2c-mrr"
1443   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1444   filter: "'NIC_Intel-XXV710' and 'MRR' and '2C'"
1445   columns:
1446     - title: "3n-skx xxv710"
1447       data-set: "vpp-3n-skx-curr-iter-mrr"
1448     - title: "3n-icx xxv710"
1449       data-set: "vpp-3n-icx-curr-iter-mrr"
1450   comparisons:
1451     - title: "3n-icx vs 3n-skx"
1452       reference: 1
1453       compare: 2
1454     - title: "Normalized 3n-icx vs 3n-skx"
1455       reference: 1
1456       compare: 2
1457       norm-ref: "3n-skx"
1458       norm-cmp: "3n-icx"
1459   legend:
1460     - ''
1461     - 'Test Case:                   Test cases executed for: MRR throughput on 3n-skx and 3n-icx with xxv710.'
1462     - '3n-skx, 3n-icx:              [Mpps +- StDev] results for VPP tested in CSIT'
1463     - '3n-icx vs 3n-skx:            [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1464     - 'Normalized 3n-icx vs TB3n-skxR: [% +- StDev] Normalized relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1465
1466 # VPP Normalized Comparison Across Testbeds 3n-skx to 3n-icx 4c mrr
1467 - type: "table"
1468   title: "VPP Normalized Comparison Across Testbeds 3n-skx to 3n-icx 4c mrr"
1469   algorithm: "table_comparison"
1470   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-skx-3n-icx-4c-mrr"
1471   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1472   filter: "'NIC_Intel-XXV710' and 'MRR' and '4C'"
1473   columns:
1474     - title: "3n-skx xxv710"
1475       data-set: "vpp-3n-skx-curr-iter-mrr"
1476     - title: "3n-icx xxv710"
1477       data-set: "vpp-3n-icx-curr-iter-mrr"
1478   comparisons:
1479     - title: "3n-icx vs 3n-skx"
1480       reference: 1
1481       compare: 2
1482     - title: "Normalized 3n-icx vs 3n-skx"
1483       reference: 1
1484       compare: 2
1485       norm-ref: "3n-skx"
1486       norm-cmp: "3n-icx"
1487   legend:
1488     - ''
1489     - 'Test Case:                   Test cases executed for: MRR throughput on 3n-skx and 3n-icx with xxv710.'
1490     - '3n-skx, 3n-icx:              [Mpps +- StDev] results for VPP tested in CSIT'
1491     - '3n-icx vs 3n-skx:            [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1492     - 'Normalized 3n-icx vs 3n-skx: [% +- StDev] Normalized relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1493
1494 # DPDK Normalized Comparison Across Testbeds 2n-skx to 2n-clx ndr
1495 - type: "table"
1496   title: "DPDK Normalized Comparison Across Testbeds 2n-skx to 2n-clx ndr"
1497   algorithm: "table_comparison"
1498   output-file: "{DIR[STATIC,DPDK]}/performance-compare-testbeds-2n-skx-2n-clx-ndr"
1499   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1500   filter: "'NIC_Intel-XXV710'"
1501   columns:
1502     - title: "2n-skx xxv710"
1503       data-set: "dpdk-2n-skx-curr-iter"
1504     - title: "2n-clx xxv710"
1505       data-set: "dpdk-2n-clx-curr-iter"
1506   comparisons:
1507     - title: "2n-clx vs 2n-skx"
1508       reference: 1
1509       compare: 2
1510     - title: "Normalized 2n-clx vs 2n-skx"
1511       reference: 1
1512       compare: 2
1513       norm-ref: "2n-skx"
1514       norm-cmp: "2n-clx"
1515   legend:
1516     - ''
1517     - 'Test Case:                   Test cases executed for: NDR throughput on 2n-skx and 2n-clx with xxv710.'
1518     - '2n-skx, 2n-clx:              [Mpps +- StDev] results for DPDK tested in CSIT'
1519     - '2n-clx vs 2n-skx:            [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1520     - 'Normalized 2n-clx vs 2n-skx: [% +- StDev] Normalized relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1521
1522 # DPDK Normalized Comparison Across Testbeds 2n-skx to 2n-clx pdr
1523 - type: "table"
1524   title: "DPDK Normalized Comparison Across Testbeds 2n-skx to 2n-clx pdr"
1525   algorithm: "table_comparison"
1526   output-file: "{DIR[STATIC,DPDK]}/performance-compare-testbeds-2n-skx-2n-clx-pdr"
1527   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1528   filter: "'NIC_Intel-XXV710'"
1529   columns:
1530     - title: "2n-skx xxv710"
1531       data-set: "dpdk-2n-skx-curr-iter"
1532     - title: "2n-clx xxv710"
1533       data-set: "dpdk-2n-clx-curr-iter"
1534   comparisons:
1535     - title: "2n-clx vs 2n-skx"
1536       reference: 1
1537       compare: 2
1538     - title: "Normalized 2n-clx vs 2n-skx"
1539       reference: 1
1540       compare: 2
1541       norm-ref: "2n-skx"
1542       norm-cmp: "2n-clx"
1543   legend:
1544     - ''
1545     - 'Test Case:                   Test cases executed for: PDR throughput on 2n-skx and 2n-clx with xxv710.'
1546     - '2n-skx, 2n-clx:              [Mpps +- StDev] results for DPDK tested in CSIT'
1547     - '2n-clx vs 2n-skx:            [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1548     - 'Normalized 2n-clx vs 2n-skx: [% +- StDev] Normalized relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1549
1550 # DPDK Normalized Comparison Across Testbeds 2n-clx to 2n-icx ndr
1551 - type: "table"
1552   title: "DPDK Normalized Comparison Across Testbeds 2n-clx to 2n-icx ndr"
1553   algorithm: "table_comparison"
1554   output-file: "{DIR[STATIC,DPDK]}/performance-compare-testbeds-2n-clx-2n-icx-ndr"
1555   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1556   filter: "'NIC_Intel-XXV710'"
1557   columns:
1558     - title: "2n-clx xxv710"
1559       data-set: "dpdk-2n-clx-curr-iter"
1560     - title: "2n-icx xxv710"
1561       data-set: "dpdk-2n-icx-curr-iter"
1562   comparisons:
1563     - title: "2n-icx vs 2n-clx"
1564       reference: 1
1565       compare: 2
1566     - title: "Normalized 2n-icx vs 2n-clx"
1567       reference: 1
1568       compare: 2
1569       norm-ref: "2n-clx"
1570       norm-cmp: "2n-icx"
1571   legend:
1572     - ''
1573     - 'Test Case:                   Test cases executed for: NDR throughput on 2n-clx and 2n-icx with xxv710.'
1574     - '2n-clx, 2n-icx:              [Mpps +- StDev] results for DPDK tested in CSIT'
1575     - '2n-icx vs 2n-clx:            [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1576     - 'Normalized 2n-icx vs 2n-clx: [% +- StDev] Normalized relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1577
1578 # DPDK Normalized Comparison Across Testbeds 2n-clx to 2n-icx pdr
1579 - type: "table"
1580   title: "DPDK Normalized Comparison Across Testbeds 2n-clx to 2n-icx pdr"
1581   algorithm: "table_comparison"
1582   output-file: "{DIR[STATIC,DPDK]}/performance-compare-testbeds-2n-clx-2n-icx-pdr"
1583   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1584   filter: "'NIC_Intel-XXV710'"
1585   columns:
1586     - title: "2n-clx xxv710"
1587       data-set: "dpdk-2n-clx-curr-iter"
1588     - title: "2n-icx xxv710"
1589       data-set: "dpdk-2n-icx-curr-iter"
1590   comparisons:
1591     - title: "2n-icx vs 2n-clx"
1592       reference: 1
1593       compare: 2
1594     - title: "Normalized 2n-icx vs 2n-clx"
1595       reference: 1
1596       compare: 2
1597       norm-ref: "2n-clx"
1598       norm-cmp: "2n-icx"
1599   legend:
1600     - ''
1601     - 'Test Case:                   Test cases executed for: PDR throughput on 2n-clx and 2n-icx with xxv710.'
1602     - '2n-clx, 2n-icx:              [Mpps +- StDev] results for DPDK tested in CSIT'
1603     - '2n-icx vs 2n-clx:            [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1604     - 'Normalized 2n-icx vs 2n-clx: [% +- StDev] Normalized relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1605
1606 # DPDK Normalized Comparison Across Testbeds 2n-skx to 2n-icx ndr
1607 - type: "table"
1608   title: "DPDK Normalized Comparison Across Testbeds 2n-skx to 2n-icx ndr"
1609   algorithm: "table_comparison"
1610   output-file: "{DIR[STATIC,DPDK]}/performance-compare-testbeds-2n-skx-2n-icx-ndr"
1611   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1612   filter: "'NIC_Intel-XXV710'"
1613   columns:
1614     - title: "2n-skx xxv710"
1615       data-set: "dpdk-2n-skx-curr-iter"
1616     - title: "2n-icx xxv710"
1617       data-set: "dpdk-2n-icx-curr-iter"
1618   comparisons:
1619     - title: "2n-icx vs 2n-skx"
1620       reference: 1
1621       compare: 2
1622     - title: "Normalized 2n-icx vs 2n-clx"
1623       reference: 1
1624       compare: 2
1625       norm-ref: "2n-skx"
1626       norm-cmp: "2n-icx"
1627   legend:
1628     - ''
1629     - 'Test Case:                   Test cases executed for: NDR throughput on 2n-icx and 2n-icx with xxv710.'
1630     - '2n-icx, 2n-icx:              [Mpps +- StDev] results for DPDK tested in CSIT'
1631     - '2n-icx vs 2n-icx:            [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1632     - 'Normalized 2n-icx vs 2n-icx: [% +- StDev] Normalized relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1633
1634 # DPDK Normalized Comparison Across Testbeds 2n-skx to 2n-icx pdr
1635 - type: "table"
1636   title: "DPDK Normalized Comparison Across Testbeds 2n-skx to 2n-icx pdr"
1637   algorithm: "table_comparison"
1638   output-file: "{DIR[STATIC,DPDK]}/performance-compare-testbeds-2n-skx-2n-icx-pdr"
1639   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1640   filter: "'NIC_Intel-XXV710'"
1641   columns:
1642     - title: "2n-skx xxv710"
1643       data-set: "dpdk-2n-skx-curr-iter"
1644     - title: "2n-icx xxv710"
1645       data-set: "dpdk-2n-icx-curr-iter"
1646   comparisons:
1647     - title: "2n-icx vs 2n-skx"
1648       reference: 1
1649       compare: 2
1650     - title: "Normalized 2n-icx vs 2n-clx"
1651       reference: 1
1652       compare: 2
1653       norm-ref: "2n-skx"
1654       norm-cmp: "2n-icx"
1655   legend:
1656     - ''
1657     - 'Test Case:                   Test cases executed for: PDR throughput on 2n-icx and T2n-icxBC with xxv710.'
1658     - '2n-icx, 2n-icx:              [Mpps +- StDev] results for DPDK tested in CSIT'
1659     - '2n-icx vs 2n-icx:            [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1660     - 'Normalized 2n-icx vs 2n-icx: [% +- StDev] Normalized relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1661
1662 # DPDK Normalized Comparison Across Testbeds 3n-skx to 3n-icx ndr
1663 - type: "table"
1664   title: "DPDK Normalized Comparison Across Testbeds 3n-skx to 3n-icx ndr"
1665   algorithm: "table_comparison"
1666   output-file: "{DIR[STATIC,DPDK]}/performance-compare-testbeds-3n-skx-3n-icx-ndr"
1667   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1668   filter: "'NIC_Intel-XXV710'"
1669   columns:
1670     - title: "3n-skx xxv710"
1671       data-set: "dpdk-3n-skx-curr-iter"
1672     - title: "3n-icx xxv710"
1673       data-set: "dpdk-3n-icx-curr-iter"
1674   comparisons:
1675     - title: "3n-icx vs 3n-skx"
1676       reference: 1
1677       compare: 2
1678     - title: "Normalized 3n-icx vs 3n-clx"
1679       reference: 1
1680       compare: 2
1681       norm-ref: "3n-skx"
1682       norm-cmp: "3n-icx"
1683   legend:
1684     - ''
1685     - 'Test Case:                   Test cases executed for: NDR throughput on 3n-skx and 3n-icx with xxv710.'
1686     - '3n-skx, 3n-icx:              [Mpps +- StDev] results for DPDK tested in CSIT'
1687     - '3n-icx vs 3n-skx:            [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1688     - 'Normalized 3n-icx vs 3n-skx: [% +- StDev] Normalized relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1689
1690 # DPDK Normalized Comparison Across Testbeds 3n-skx to 3n-icx pdr
1691 - type: "table"
1692   title: "DPDK Normalized Comparison Across Testbeds 3n-skx to 3n-icx pdr"
1693   algorithm: "table_comparison"
1694   output-file: "{DIR[STATIC,DPDK]}/performance-compare-testbeds-3n-skx-3n-icx-pdr"
1695   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1696   filter: "'NIC_Intel-XXV710'"
1697   columns:
1698     - title: "3n-skx xxv710"
1699       data-set: "dpdk-3n-skx-curr-iter"
1700     - title: "3n-icx xxv710"
1701       data-set: "dpdk-3n-icx-curr-iter"
1702   comparisons:
1703     - title: "3n-icx vs 3n-skx"
1704       reference: 1
1705       compare: 2
1706     - title: "Normalized 3n-icx vs 3n-clx"
1707       reference: 1
1708       compare: 2
1709       norm-ref: "3n-skx"
1710       norm-cmp: "3n-icx"
1711   legend:
1712     - ''
1713     - 'Test Case:                   Test cases executed for: PDR throughput on 3n-skx and 3n-icx with xxv710.'
1714     - '3n-skx, 3n-icx:              [Mpps +- StDev] results for DPDK tested in CSIT'
1715     - '3n-icx vs 3n-skx:            [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1716     - 'Normalized 3n-icx vs 3n-skx: [% +- StDev] Normalized relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1717
1718 # VPP Latency Changes 3n-skx 2t1c
1719 - type: "table"
1720   title: "VPP Latency Changes 3n-skx 2t1c PDR50-direction1-avg"
1721   algorithm: "table_comparison"
1722   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-skx-xxv710-2t1c-pdr50-d1-avg"
1723   include-tests: "latency-PDR50-direction1-avg"
1724   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1725   columns:
1726     - title: "2110.0-9"
1727       data-set: "vpp-3n-skx-hist-iter-new-env"
1728     - title: "2202.0-9"
1729       data-set: "vpp-3n-skx-prev-iter-old-env"
1730     - title: "2202.0-10"
1731       data-set: "vpp-3n-skx-prev-iter-new-env"
1732     - title: "2206.0-10"
1733       data-set: "vpp-3n-skx-curr-iter"
1734   comparisons:
1735     - title: "2202.0-10 vs 2202.0-9"
1736       reference: 2
1737       compare: 3
1738     - title: "2206.0-10 vs 2202.0-10"
1739       reference: 3
1740       compare: 4
1741   legend:
1742     - ''
1743     - 'Test Case:              Test cases executed for: PDR throughput on 3n-skx with xxv710.'
1744     - 'YYMM.V-E:               [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
1745     - 'YYMM.V-E vs YYMM.V-E:   [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1746     - '2202.0-10 vs 2202.0-9:  Compares CSIT environment current vs previous with previous VPP code.'
1747     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
1748
1749 # VPP Latency Changes 3n-skx 2t1c
1750 - type: "table"
1751   title: "VPP Latency Changes 3n-skx 2t1c PDR90-direction1-avg"
1752   algorithm: "table_comparison"
1753   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-skx-xxv710-2t1c-pdr90-d1-avg"
1754   include-tests: "latency-PDR90-direction1-avg"
1755   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1756   columns:
1757     - title: "2110.0-9"
1758       data-set: "vpp-3n-skx-hist-iter-new-env"
1759     - title: "2202.0-9"
1760       data-set: "vpp-3n-skx-prev-iter-old-env"
1761     - title: "2202.0-10"
1762       data-set: "vpp-3n-skx-prev-iter-new-env"
1763     - title: "2206.0-10"
1764       data-set: "vpp-3n-skx-curr-iter"
1765   comparisons:
1766     - title: "2202.0-10 vs 2202.0-9"
1767       reference: 2
1768       compare: 3
1769     - title: "2206.0-10 vs 2202.0-10"
1770       reference: 3
1771       compare: 4
1772   legend:
1773     - ''
1774     - 'Test Case:              Test cases executed for: PDR throughput on 3n-skx with xxv710.'
1775     - 'YYMM.V-E:               [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
1776     - 'YYMM.V-E vs YYMM.V-E:   [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1777     - '2202.0-10 vs 2202.0-9:  Compares CSIT environment current vs previous with previous VPP code.'
1778     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
1779
1780 # VPP Latency Changes 3n-skx 2t1c
1781 - type: "table"
1782   title: "VPP Latency Changes 3n-skx 2t1c PDR90-direction1-max"
1783   algorithm: "table_comparison"
1784   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-skx-xxv710-2t1c-pdr90-d1-max"
1785   include-tests: "latency-PDR90-direction1-max"
1786   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1787   columns:
1788     - title: "2110.0-9"
1789       data-set: "vpp-3n-skx-hist-iter-new-env"
1790     - title: "2202.0-9"
1791       data-set: "vpp-3n-skx-prev-iter-old-env"
1792     - title: "2202.0-10"
1793       data-set: "vpp-3n-skx-prev-iter-new-env"
1794     - title: "2206.0-10"
1795       data-set: "vpp-3n-skx-curr-iter"
1796   comparisons:
1797     - title: "2202.0-10 vs 2202.0-9"
1798       reference: 2
1799       compare: 3
1800     - title: "2206.0-10 vs 2202.0-10"
1801       reference: 3
1802       compare: 4
1803   legend:
1804     - ''
1805     - 'Test Case:              Test cases executed for: PDR throughput on 3n-skx with xxv710.'
1806     - 'YYMM.V-E:               [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
1807     - 'YYMM.V-E vs YYMM.V-E:   [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1808     - '2202.0-10 vs 2202.0-9:  Compares CSIT environment current vs previous with previous VPP code.'
1809     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
1810
1811 # VPP Latency Changes 2n-skx 2t1c
1812 - type: "table"
1813   title: "VPP Latency Changes 2n-skx 2t1c PDR50-direction1-avg"
1814   algorithm: "table_comparison"
1815   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-skx-xxv710-2t1c-pdr50-d1-avg"
1816   include-tests: "latency-PDR50-direction1-avg"
1817   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1818   columns:
1819     - title: "2110.0-9"
1820       data-set: "vpp-2n-skx-hist-iter-new-env"
1821     - title: "2202.0-9"
1822       data-set: "vpp-2n-skx-prev-iter-old-env"
1823     - title: "2202.0-10"
1824       data-set: "vpp-2n-skx-prev-iter-new-env"
1825     - title: "2206.0-10"
1826       data-set: "vpp-2n-skx-curr-iter"
1827   comparisons:
1828     - title: "2202.0-10 vs 2202.0-9"
1829       reference: 2
1830       compare: 3
1831     - title: "2206.0-10 vs 2202.0-10"
1832       reference: 3
1833       compare: 4
1834   legend:
1835     - ''
1836     - 'Test Case:              Test cases executed for: PDR throughput on 2n-skx with xxv710.'
1837     - 'YYMM.V-E:               [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
1838     - 'YYMM.V-E vs YYMM.V-E:   [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1839     - '2202.0-10 vs 2202.0-9:  Compares CSIT environment current vs previous with previous VPP code.'
1840     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
1841
1842 # VPP Latency Changes 2n-skx 2t1c
1843 - type: "table"
1844   title: "VPP Latency Changes 2n-skx 2t1c PDR90-direction1-avg"
1845   algorithm: "table_comparison"
1846   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-skx-xxv710-2t1c-pdr90-d1-avg"
1847   include-tests: "latency-PDR90-direction1-avg"
1848   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1849   columns:
1850     - title: "2110.0-9"
1851       data-set: "vpp-2n-skx-hist-iter-new-env"
1852     - title: "2202.0-9"
1853       data-set: "vpp-2n-skx-prev-iter-old-env"
1854     - title: "2202.0-10"
1855       data-set: "vpp-2n-skx-prev-iter-new-env"
1856     - title: "2206.0-10"
1857       data-set: "vpp-2n-skx-curr-iter"
1858   comparisons:
1859     - title: "2202.0-10 vs 2202.0-9"
1860       reference: 2
1861       compare: 3
1862     - title: "2206.0-10 vs 2202.0-10"
1863       reference: 3
1864       compare: 4
1865   legend:
1866     - ''
1867     - 'Test Case:              Test cases executed for: PDR throughput on 2n-skx with xxv710.'
1868     - 'YYMM.V-E:               [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
1869     - 'YYMM.V-E vs YYMM.V-E:   [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1870     - '2202.0-10 vs 2202.0-9:  Compares CSIT environment current vs previous with previous VPP code.'
1871     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
1872
1873 # VPP Latency Changes 2n-skx 2t1c
1874 - type: "table"
1875   title: "VPP Latency Changes 2n-skx 2t1c PDR90-direction1-max"
1876   algorithm: "table_comparison"
1877   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-skx-xxv710-2t1c-pdr90-d1-max"
1878   include-tests: "latency-PDR90-direction1-max"
1879   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1880   columns:
1881     - title: "2110.0-9"
1882       data-set: "vpp-2n-skx-hist-iter-new-env"
1883     - title: "2202.0-9"
1884       data-set: "vpp-2n-skx-prev-iter-old-env"
1885     - title: "2202.0-10"
1886       data-set: "vpp-2n-skx-prev-iter-new-env"
1887     - title: "2206.0-10"
1888       data-set: "vpp-2n-skx-curr-iter"
1889   comparisons:
1890     - title: "2202.0-10 vs 2202.0-9"
1891       reference: 2
1892       compare: 3
1893     - title: "2206.0-10 vs 2202.0-10"
1894       reference: 3
1895       compare: 4
1896   legend:
1897     - ''
1898     - 'Test Case:              Test cases executed for: PDR throughput on 2n-skx with xxv710.'
1899     - 'YYMM.V-E:               [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
1900     - 'YYMM.V-E vs YYMM.V-E:   [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1901     - '2202.0-10 vs 2202.0-9:  Compares CSIT environment current vs previous with previous VPP code.'
1902     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
1903
1904 # VPP Latency Changes 2n-clx 2t1c
1905 - type: "table"
1906   title: "VPP Latency Changes 2n-clx 2t1c PDR50-direction1-avg"
1907   algorithm: "table_comparison"
1908   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-xxv710-2t1c-pdr50-d1-avg"
1909   include-tests: "latency-PDR50-direction1-avg"
1910   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1911   columns:
1912     - title: "2110.0-9"
1913       data-set: "vpp-2n-clx-hist-iter-new-env"
1914     - title: "2202.0-9"
1915       data-set: "vpp-2n-clx-prev-iter-old-env"
1916     - title: "2202.0-10"
1917       data-set: "vpp-2n-clx-prev-iter-new-env"
1918     - title: "2206.0-10"
1919       data-set: "vpp-2n-clx-curr-iter"
1920   comparisons:
1921     - title: "2202.0-10 vs 2202.0-9"
1922       reference: 2
1923       compare: 3
1924     - title: "2206.0-10 vs 2202.0-10"
1925       reference: 3
1926       compare: 4
1927   legend:
1928     - ''
1929     - 'Test Case:              Test cases executed for: PDR throughput on 2n-clx with xxv710.'
1930     - 'YYMM.V-E:               [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
1931     - 'YYMM.V-E vs YYMM.V-E:   [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1932     - '2202.0-10 vs 2202.0-9:  Compares CSIT environment current vs previous with previous VPP code.'
1933     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
1934
1935 # VPP Latency Changes 2n-clx 2t1c
1936 - type: "table"
1937   title: "VPP Latency Changes 2n-clx 2t1c PDR90-direction1-avg"
1938   algorithm: "table_comparison"
1939   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-xxv710-2t1c-pdr90-d1-avg"
1940   include-tests: "latency-PDR90-direction1-avg"
1941   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1942   columns:
1943     - title: "2110.0-9"
1944       data-set: "vpp-2n-clx-hist-iter-new-env"
1945     - title: "2202.0-9"
1946       data-set: "vpp-2n-clx-prev-iter-old-env"
1947     - title: "2202.0-10"
1948       data-set: "vpp-2n-clx-prev-iter-new-env"
1949     - title: "2206.0-10"
1950       data-set: "vpp-2n-clx-curr-iter"
1951   comparisons:
1952     - title: "2202.0-10 vs 2202.0-9"
1953       reference: 2
1954       compare: 3
1955     - title: "2206.0-10 vs 2202.0-10"
1956       reference: 3
1957       compare: 4
1958   legend:
1959     - ''
1960     - 'Test Case:              Test cases executed for: PDR throughput on 2n-clx with xxv710.'
1961     - 'YYMM.V-E:               [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
1962     - 'YYMM.V-E vs YYMM.V-E:   [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1963     - '2202.0-10 vs 2202.0-9:  Compares CSIT environment current vs previous with previous VPP code.'
1964     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
1965
1966 # VPP Latency Changes 2n-clx 2t1c
1967 - type: "table"
1968   title: "VPP Latency Changes 2n-clx 2t1c PDR90-direction1-max"
1969   algorithm: "table_comparison"
1970   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-xxv710-2t1c-pdr90-d1-max"
1971   include-tests: "latency-PDR90-direction1-max"
1972   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1973   columns:
1974     - title: "2110.0-9"
1975       data-set: "vpp-2n-clx-hist-iter-new-env"
1976     - title: "2202.0-9"
1977       data-set: "vpp-2n-clx-prev-iter-old-env"
1978     - title: "2202.0-10"
1979       data-set: "vpp-2n-clx-prev-iter-new-env"
1980     - title: "2206.0-10"
1981       data-set: "vpp-2n-clx-curr-iter"
1982   comparisons:
1983     - title: "2202.0-10 vs 2202.0-9"
1984       reference: 2
1985       compare: 3
1986     - title: "2206.0-10 vs 2202.0-10"
1987       reference: 3
1988       compare: 4
1989   legend:
1990     - ''
1991     - 'Test Case:              Test cases executed for: PDR throughput on 2n-clx with xxv710.'
1992     - 'YYMM.V-E:               [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
1993     - 'YYMM.V-E vs YYMM.V-E:   [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1994     - '2202.0-10 vs 2202.0-9:  Compares CSIT environment current vs previous with previous VPP code.'
1995     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
1996
1997 # VPP Latency Changes 2n-clx 2t1c
1998 - type: "table"
1999   title: "VPP Latency Changes 2n-clx 2t1c PDR50-direction1-avg"
2000   algorithm: "table_comparison"
2001   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-cx556a-2t1c-pdr50-d1-avg"
2002   include-tests: "latency-PDR50-direction1-avg"
2003   filter: "'2T1C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
2004   columns:
2005     - title: "2110.0-9"
2006       data-set: "vpp-2n-clx-hist-iter-new-env"
2007     - title: "2202.0-9"
2008       data-set: "vpp-2n-clx-prev-iter-old-env"
2009     - title: "2202.0-10"
2010       data-set: "vpp-2n-clx-prev-iter-new-env"
2011     - title: "2206.0-10"
2012       data-set: "vpp-2n-clx-curr-iter"
2013   comparisons:
2014     - title: "2202.0-10 vs 2202.0-9"
2015       reference: 2
2016       compare: 3
2017     - title: "2206.0-10 vs 2202.0-10"
2018       reference: 3
2019       compare: 4
2020   legend:
2021     - ''
2022     - 'Test Case:              Test cases executed for: PDR throughput on 2n-clx with cx556a.'
2023     - 'YYMM.V-E:               [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2024     - 'YYMM.V-E vs YYMM.V-E:   [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2025     - '2202.0-10 vs 2202.0-9:  Compares CSIT environment current vs previous with previous VPP code.'
2026     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2027
2028 # VPP Latency Changes 2n-clx 2t1c
2029 - type: "table"
2030   title: "VPP Latency Changes 2n-clx 2t1c PDR90-direction1-avg"
2031   algorithm: "table_comparison"
2032   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-cx556a-2t1c-pdr90-d1-avg"
2033   include-tests: "latency-PDR90-direction1-avg"
2034   filter: "'2T1C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
2035   columns:
2036     - title: "2110.0-9"
2037       data-set: "vpp-2n-clx-hist-iter-new-env"
2038     - title: "2202.0-9"
2039       data-set: "vpp-2n-clx-prev-iter-old-env"
2040     - title: "2202.0-10"
2041       data-set: "vpp-2n-clx-prev-iter-new-env"
2042     - title: "2206.0-10"
2043       data-set: "vpp-2n-clx-curr-iter"
2044   comparisons:
2045     - title: "2202.0-10 vs 2202.0-9"
2046       reference: 2
2047       compare: 3
2048     - title: "2206.0-10 vs 2202.0-10"
2049       reference: 3
2050       compare: 4
2051   legend:
2052     - ''
2053     - 'Test Case:              Test cases executed for: PDR throughput on 2n-clx with cx556a.'
2054     - 'YYMM.V-E:               [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2055     - 'YYMM.V-E vs YYMM.V-E:   [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2056     - '2202.0-10 vs 2202.0-9:  Compares CSIT environment current vs previous with previous VPP code.'
2057     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2058
2059 # VPP Latency Changes 2n-clx 2t1c
2060 - type: "table"
2061   title: "VPP Latency Changes 2n-clx 2t1c PDR90-direction1-max"
2062   algorithm: "table_comparison"
2063   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-cx556a-2t1c-pdr90-d1-max"
2064   include-tests: "latency-PDR90-direction1-max"
2065   filter: "'2T1C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
2066   columns:
2067     - title: "2110.0-9"
2068       data-set: "vpp-2n-clx-hist-iter-new-env"
2069     - title: "2202.0-9"
2070       data-set: "vpp-2n-clx-prev-iter-old-env"
2071     - title: "2202.0-10"
2072       data-set: "vpp-2n-clx-prev-iter-new-env"
2073     - title: "2206.0-10"
2074       data-set: "vpp-2n-clx-curr-iter"
2075   comparisons:
2076     - title: "2202.0-10 vs 2202.0-9"
2077       reference: 2
2078       compare: 3
2079     - title: "2206.0-10 vs 2202.0-10"
2080       reference: 3
2081       compare: 4
2082   legend:
2083     - ''
2084     - 'Test Case:              Test cases executed for: PDR throughput on 2n-clx with cx556a.'
2085     - 'YYMM.V-E:               [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2086     - 'YYMM.V-E vs YYMM.V-E:   [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2087     - '2202.0-10 vs 2202.0-9:  Compares CSIT environment current vs previous with previous VPP code.'
2088     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2089
2090 # VPP Latency Changes 2n-zn2 2t1c
2091 - type: "table"
2092   title: "VPP Latency Changes 2n-zn2 2t1c PDR50-direction1-avg"
2093   algorithm: "table_comparison"
2094   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-zn2-xxv710-2t1c-pdr50-d1-avg"
2095   include-tests: "latency-PDR50-direction1-avg"
2096   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
2097   columns:
2098     - title: "2110.0-9"
2099       data-set: "vpp-2n-zn2-hist-iter-new-env"
2100     - title: "2202.0-9"
2101       data-set: "vpp-2n-zn2-prev-iter-old-env"
2102     - title: "2202.0-10"
2103       data-set: "vpp-2n-zn2-prev-iter-new-env"
2104     - title: "2206.0-10"
2105       data-set: "vpp-2n-zn2-curr-iter"
2106   comparisons:
2107     - title: "2202.0-10 vs 2202.0-9"
2108       reference: 2
2109       compare: 3
2110     - title: "2206.0-10 vs 2202.0-10"
2111       reference: 3
2112       compare: 4
2113   legend:
2114     - ''
2115     - 'Test Case:              Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
2116     - 'YYMM.V-E:               [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2117     - 'YYMM.V-E vs YYMM.V-E:   [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2118     - '2202.0-10 vs 2202.0-9:  Compares CSIT environment current vs previous with previous VPP code.'
2119     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2120
2121 # VPP Latency Changes 2n-zn2 2t1c
2122 - type: "table"
2123   title: "VPP Latency Changes 2n-zn2 2t1c PDR90-direction1-avg"
2124   algorithm: "table_comparison"
2125   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-zn2-xxv710-2t1c-pdr90-d1-avg"
2126   include-tests: "latency-PDR90-direction1-avg"
2127   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
2128   columns:
2129     - title: "2110.0-9"
2130       data-set: "vpp-2n-zn2-hist-iter-new-env"
2131     - title: "2202.0-9"
2132       data-set: "vpp-2n-zn2-prev-iter-old-env"
2133     - title: "2202.0-10"
2134       data-set: "vpp-2n-zn2-prev-iter-new-env"
2135     - title: "2206.0-10"
2136       data-set: "vpp-2n-zn2-curr-iter"
2137   comparisons:
2138     - title: "2202.0-10 vs 2202.0-9"
2139       reference: 2
2140       compare: 3
2141     - title: "2206.0-10 vs 2202.0-10"
2142       reference: 3
2143       compare: 4
2144   legend:
2145     - ''
2146     - 'Test Case:              Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
2147     - 'YYMM.V-E:               [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2148     - 'YYMM.V-E vs YYMM.V-E:   [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2149     - '2202.0-10 vs 2202.0-9:  Compares CSIT environment current vs previous with previous VPP code.'
2150     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2151
2152 # VPP Latency Changes 2n-zn2 2t1c
2153 - type: "table"
2154   title: "VPP Latency Changes 2n-zn2 2t1c PDR90-direction1-max"
2155   algorithm: "table_comparison"
2156   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-zn2-xxv710-2t1c-pdr90-d1-max"
2157   include-tests: "latency-PDR90-direction1-max"
2158   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
2159   columns:
2160     - title: "2110.0-9"
2161       data-set: "vpp-2n-zn2-hist-iter-new-env"
2162     - title: "2202.0-9"
2163       data-set: "vpp-2n-zn2-prev-iter-old-env"
2164     - title: "2202.0-10"
2165       data-set: "vpp-2n-zn2-prev-iter-new-env"
2166     - title: "2206.0-10"
2167       data-set: "vpp-2n-zn2-curr-iter"
2168   comparisons:
2169     - title: "2202.0-10 vs 2202.0-9"
2170       reference: 2
2171       compare: 3
2172     - title: "2206.0-10 vs 2202.0-10"
2173       reference: 3
2174       compare: 4
2175   legend:
2176     - ''
2177     - 'Test Case:              Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
2178     - 'YYMM.V-E:               [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2179     - 'YYMM.V-E vs YYMM.V-E:   [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2180     - '2202.0-10 vs 2202.0-9:  Compares CSIT environment current vs previous with previous VPP code.'
2181     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2182
2183 # VPP Latency Changes 2n-tx2 1t1c
2184 - type: "table"
2185   title: "VPP Latency Changes 2n-tx2 1t1c PDR50-direction1-avg"
2186   algorithm: "table_comparison"
2187   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-tx2-xl710-1t1c-pdr50-d1-avg"
2188   include-tests: "latency-PDR50-direction1-avg"
2189   filter: "'1T1C' and 'NDRPDR'"
2190   columns:
2191     - title: "2110.0-9"
2192       data-set: "vpp-2n-tx2-hist-iter-new-env"
2193     - title: "2202.0-9"
2194       data-set: "vpp-2n-tx2-prev-iter-old-env"
2195     - title: "2202.0-10"
2196       data-set: "vpp-2n-tx2-prev-iter-new-env"
2197     - title: "2206.0-10"
2198       data-set: "vpp-2n-tx2-curr-iter"
2199   comparisons:
2200     - title: "2202.0-10 vs 2202.0-9"
2201       reference: 2
2202       compare: 3
2203     - title: "2206.0-10 vs 2202.0-10"
2204       reference: 3
2205       compare: 4
2206   legend:
2207     - ''
2208     - 'Test Case:              Test cases executed for: PDR throughput on 2n-tx2 with xl710.'
2209     - 'YYMM.V-E:               [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2210     - 'YYMM.V-E vs YYMM.V-E:   [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2211     - '2202.0-10 vs 2202.0-9:  Compares CSIT environment current vs previous with previous VPP code.'
2212     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2213
2214 # VPP Latency Changes 2n-tx2 1t1c
2215 - type: "table"
2216   title: "VPP Latency Changes 2n-tx2 1t1c PDR90-direction1-avg"
2217   algorithm: "table_comparison"
2218   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-tx2-xl710-1t1c-pdr90-d1-avg"
2219   include-tests: "latency-PDR90-direction1-avg"
2220   filter: "'1T1C' and 'NDRPDR'"
2221   columns:
2222     - title: "2110.0-9"
2223       data-set: "vpp-2n-tx2-hist-iter-new-env"
2224     - title: "2202.0-9"
2225       data-set: "vpp-2n-tx2-prev-iter-old-env"
2226     - title: "2202.0-10"
2227       data-set: "vpp-2n-tx2-prev-iter-new-env"
2228     - title: "2206.0-10"
2229       data-set: "vpp-2n-tx2-curr-iter"
2230   comparisons:
2231     - title: "2202.0-10 vs 2202.0-9"
2232       reference: 2
2233       compare: 3
2234     - title: "2206.0-10 vs 2202.0-10"
2235       reference: 3
2236       compare: 4
2237   legend:
2238     - ''
2239     - 'Test Case:              Test cases executed for: PDR throughput on 2n-tx2 with xl710.'
2240     - 'YYMM.V-E:               [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2241     - 'YYMM.V-E vs YYMM.V-E:   [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2242     - '2202.0-10 vs 2202.0-9:  Compares CSIT environment current vs previous with previous VPP code.'
2243     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2244
2245 # VPP Latency Changes 2n-tx2 1t1c
2246 - type: "table"
2247   title: "VPP Latency Changes 2n-tx2 1t1c PDR90-direction1-max"
2248   algorithm: "table_comparison"
2249   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-tx2-xl710-1t1c-pdr90-d1-max"
2250   include-tests: "latency-PDR90-direction1-max"
2251   filter: "'1T1C' and 'NDRPDR'"
2252   columns:
2253     - title: "2110.0-9"
2254       data-set: "vpp-2n-tx2-hist-iter-new-env"
2255     - title: "2202.0-9"
2256       data-set: "vpp-2n-tx2-prev-iter-old-env"
2257     - title: "2202.0-10"
2258       data-set: "vpp-2n-tx2-prev-iter-new-env"
2259     - title: "2206.0-10"
2260       data-set: "vpp-2n-tx2-curr-iter"
2261   comparisons:
2262     - title: "2202.0-10 vs 2202.0-9"
2263       reference: 2
2264       compare: 3
2265     - title: "2206.0-10 vs 2202.0-10"
2266       reference: 3
2267       compare: 4
2268   legend:
2269     - ''
2270     - 'Test Case:              Test cases executed for: PDR throughput on 2n-tx2 with xl710.'
2271     - 'YYMM.V-E:               [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2272     - 'YYMM.V-E vs YYMM.V-E:   [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2273     - '2202.0-10 vs 2202.0-9:  Compares CSIT environment current vs previous with previous VPP code.'
2274     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2275
2276 # VPP Latency Changes 3n-tsh 1t1c
2277 - type: "table"
2278   title: "VPP Latency Changes 3n-tsh 1t1c PDR50-direction1-avg"
2279   algorithm: "table_comparison"
2280   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-tsh-x520-1t1c-pdr50-d1-avg"
2281   include-tests: "latency-PDR50-direction1-avg"
2282   filter: "'1T1C' and 'NDRPDR'"
2283   columns:
2284     - title: "2110.0-9"
2285       data-set: "vpp-3n-tsh-hist-iter-new-env"
2286     - title: "2202.0-9"
2287       data-set: "vpp-3n-tsh-prev-iter-old-env"
2288     - title: "2202.0-10"
2289       data-set: "vpp-3n-tsh-prev-iter-new-env"
2290     - title: "2206.0-10"
2291       data-set: "vpp-3n-tsh-curr-iter"
2292   comparisons:
2293     - title: "2202.0-10 vs 2202.0-9"
2294       reference: 2
2295       compare: 3
2296     - title: "2206.0-10 vs 2202.0-10"
2297       reference: 3
2298       compare: 4
2299   legend:
2300     - ''
2301     - 'Test Case:              Test cases executed for: PDR throughput on 3n-tsh with x520.'
2302     - 'YYMM.V-E:               [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2303     - 'YYMM.V-E vs YYMM.V-E:   [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2304     - '2202.0-10 vs 2202.0-9:  Compares CSIT environment current vs previous with previous VPP code.'
2305     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2306
2307 # VPP Latency Changes 3n-tsh 1t1c
2308 - type: "table"
2309   title: "VPP Latency Changes 3n-tsh 1t1c PDR90-direction1-avg"
2310   algorithm: "table_comparison"
2311   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-tsh-x520-1t1c-pdr90-d1-avg"
2312   include-tests: "latency-PDR90-direction1-avg"
2313   filter: "'1T1C' and 'NDRPDR'"
2314   columns:
2315     - title: "2110.0-9"
2316       data-set: "vpp-3n-tsh-hist-iter-new-env"
2317     - title: "2202.0-9"
2318       data-set: "vpp-3n-tsh-prev-iter-old-env"
2319     - title: "2202.0-10"
2320       data-set: "vpp-3n-tsh-prev-iter-new-env"
2321     - title: "2206.0-10"
2322       data-set: "vpp-3n-tsh-curr-iter"
2323   comparisons:
2324     - title: "2202.0-10 vs 2202.0-9"
2325       reference: 2
2326       compare: 3
2327     - title: "2206.0-10 vs 2202.0-10"
2328       reference: 3
2329       compare: 4
2330   legend:
2331     - ''
2332     - 'Test Case:              Test cases executed for: PDR throughput on 3n-tsh with x520.'
2333     - 'YYMM.V-E:               [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2334     - 'YYMM.V-E vs YYMM.V-E:   [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2335     - '2202.0-10 vs 2202.0-9:  Compares CSIT environment current vs previous with previous VPP code.'
2336     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2337
2338 # VPP Latency Changes 3n-tsh 1t1c
2339 - type: "table"
2340   title: "VPP Latency Changes 3n-tsh 1t1c PDR90-direction1-max"
2341   algorithm: "table_comparison"
2342   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-tsh-x520-1t1c-pdr90-d1-max"
2343   include-tests: "latency-PDR90-direction1-max"
2344   filter: "'1T1C' and 'NDRPDR'"
2345   columns:
2346     - title: "2110.0-9"
2347       data-set: "vpp-3n-tsh-hist-iter-new-env"
2348     - title: "2202.0-9"
2349       data-set: "vpp-3n-tsh-prev-iter-old-env"
2350     - title: "2202.0-10"
2351       data-set: "vpp-3n-tsh-prev-iter-new-env"
2352     - title: "2206.0-10"
2353       data-set: "vpp-3n-tsh-curr-iter"
2354   comparisons:
2355     - title: "2202.0-10 vs 2202.0-9"
2356       reference: 2
2357       compare: 3
2358     - title: "2206.0-10 vs 2202.0-10"
2359       reference: 3
2360       compare: 4
2361   legend:
2362     - ''
2363     - 'Test Case:              Test cases executed for: PDR throughput on 3n-tsh with x520.'
2364     - 'YYMM.V-E:               [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2365     - 'YYMM.V-E vs YYMM.V-E:   [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2366     - '2202.0-10 vs 2202.0-9:  Compares CSIT environment current vs previous with previous VPP code.'
2367     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2368
2369 # VPP Latency Changes 3n-icx 2t1c
2370 - type: "table"
2371   title: "VPP Latency Changes 3n-icx 2t1c PDR50-direction1-avg"
2372   algorithm: "table_comparison"
2373   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-icx-xxv710-2t1c-pdr50-d1-avg"
2374   include-tests: "latency-PDR50-direction1-avg"
2375   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2376   columns:
2377     # - title: "2110.0-9"
2378     #   data-set: "vpp-3n-icx-hist-iter-new-env"
2379     - title: "2202.0-9"
2380       data-set: "vpp-3n-icx-prev-iter-old-env"
2381     - title: "2202.0-10"
2382       data-set: "vpp-3n-icx-prev-iter-new-env"
2383     - title: "2206.0-10"
2384       data-set: "vpp-3n-icx-curr-iter"
2385   comparisons:
2386     - title: "2202.0-10 vs 2202.0-9"
2387       reference: 1
2388       compare: 2
2389     - title: "2206.0-10 vs 2202.0-10"
2390       reference: 2
2391       compare: 3
2392   legend:
2393     - ''
2394     - 'Test Case:              Test cases executed for: PDR throughput on 3n-icx with xxv710.'
2395     - 'YYMM.V-E:               [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2396     - 'YYMM.V-E vs YYMM.V-E:   [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2397     - '2202.0-10 vs 2202.0-9:  Compares CSIT environment current vs previous with previous VPP code.'
2398     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2399
2400 # VPP Latency Changes 3n-icx 2t1c
2401 - type: "table"
2402   title: "VPP Latency Changes 3n-icx 2t1c PDR90-direction1-avg"
2403   algorithm: "table_comparison"
2404   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-icx-xxv710-2t1c-pdr90-d1-avg"
2405   include-tests: "latency-PDR90-direction1-avg"
2406   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2407   columns:
2408     # - title: "2110.0-9"
2409     #   data-set: "vpp-3n-icx-hist-iter-new-env"
2410     - title: "2202.0-9"
2411       data-set: "vpp-3n-icx-prev-iter-old-env"
2412     - title: "2202.0-10"
2413       data-set: "vpp-3n-icx-prev-iter-new-env"
2414     - title: "2206.0-10"
2415       data-set: "vpp-3n-icx-curr-iter"
2416   comparisons:
2417     - title: "2202.0-10 vs 2202.0-9"
2418       reference: 1
2419       compare: 2
2420     - title: "2206.0-10 vs 2202.0-10"
2421       reference: 2
2422       compare: 3
2423   legend:
2424     - ''
2425     - 'Test Case:              Test cases executed for: PDR throughput on 3n-icx with xxv710.'
2426     - 'YYMM.V-E:               [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2427     - 'YYMM.V-E vs YYMM.V-E:   [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2428     - '2202.0-10 vs 2202.0-9:  Compares CSIT environment current vs previous with previous VPP code.'
2429     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2430
2431 # VPP Latency Changes 3n-icx 2t1c
2432 - type: "table"
2433   title: "VPP Latency Changes 3n-icx 2t1c PDR90-direction1-max"
2434   algorithm: "table_comparison"
2435   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-icx-xxv710-2t1c-pdr90-d1-max"
2436   include-tests: "latency-PDR90-direction1-max"
2437   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2438   columns:
2439     # - title: "2110.0-9"
2440     #   data-set: "vpp-3n-icx-hist-iter-new-env"
2441     - title: "2202.0-9"
2442       data-set: "vpp-3n-icx-prev-iter-old-env"
2443     - title: "2202.0-10"
2444       data-set: "vpp-3n-icx-prev-iter-new-env"
2445     - title: "2206.0-10"
2446       data-set: "vpp-3n-icx-curr-iter"
2447   comparisons:
2448     - title: "2202.0-10 vs 2202.0-9"
2449       reference: 1
2450       compare: 2
2451     - title: "2206.0-10 vs 2202.0-10"
2452       reference: 2
2453       compare: 3
2454   legend:
2455     - ''
2456     - 'Test Case:              Test cases executed for: PDR throughput on 3n-icx with xxv710.'
2457     - 'YYMM.V-E:               [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2458     - 'YYMM.V-E vs YYMM.V-E:   [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2459     - '2202.0-10 vs 2202.0-9:  Compares CSIT environment current vs previous with previous VPP code.'
2460     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2461
2462 # VPP Latency Changes 2n-icx 2t1c
2463 - type: "table"
2464   title: "VPP Latency Changes 2n-icx 2t1c PDR50-direction1-avg"
2465   algorithm: "table_comparison"
2466   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-icx-xxv710-2t1c-pdr50-d1-avg"
2467   include-tests: "latency-PDR50-direction1-avg"
2468   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2469   columns:
2470     # - title: "2110.0-9"
2471     #   data-set: "vpp-2n-icx-hist-iter-new-env"
2472     - title: "2202.0-9"
2473       data-set: "vpp-2n-icx-prev-iter-old-env"
2474     - title: "2202.0-10"
2475       data-set: "vpp-2n-icx-prev-iter-new-env"
2476     - title: "2206.0-10"
2477       data-set: "vpp-2n-icx-curr-iter"
2478   comparisons:
2479     - title: "2202.0-10 vs 2202.0-9"
2480       reference: 1
2481       compare: 2
2482     - title: "2206.0-10 vs 2202.0-10"
2483       reference: 2
2484       compare: 3
2485   legend:
2486     - ''
2487     - 'Test Case:              Test cases executed for: PDR throughput on 2n-icx with xxv710.'
2488     - 'YYMM.V-E:               [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2489     - 'YYMM.V-E vs YYMM.V-E:   [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2490     - '2202.0-10 vs 2202.0-9:  Compares CSIT environment current vs previous with previous VPP code.'
2491     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2492
2493 # VPP Latency Changes 2n-icx 2t1c
2494 - type: "table"
2495   title: "VPP Latency Changes 2n-icx 2t1c PDR90-direction1-avg"
2496   algorithm: "table_comparison"
2497   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-icx-xxv710-2t1c-pdr90-d1-avg"
2498   include-tests: "latency-PDR90-direction1-avg"
2499   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2500   columns:
2501     # - title: "2110.0-9"
2502     #   data-set: "vpp-2n-icx-hist-iter-new-env"
2503     - title: "2202.0-9"
2504       data-set: "vpp-2n-icx-prev-iter-old-env"
2505     - title: "2202.0-10"
2506       data-set: "vpp-2n-icx-prev-iter-new-env"
2507     - title: "2206.0-10"
2508       data-set: "vpp-2n-icx-curr-iter"
2509   comparisons:
2510     - title: "2202.0-10 vs 2202.0-9"
2511       reference: 1
2512       compare: 2
2513     - title: "2206.0-10 vs 2202.0-10"
2514       reference: 2
2515       compare: 3
2516   legend:
2517     - ''
2518     - 'Test Case:              Test cases executed for: PDR throughput on 2n-icx with xxv710.'
2519     - 'YYMM.V-E:               [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2520     - 'YYMM.V-E vs YYMM.V-E:   [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2521     - '2202.0-10 vs 2202.0-9:  Compares CSIT environment current vs previous with previous VPP code.'
2522     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2523
2524 # VPP Latency Changes 2n-icx 2t1c
2525 - type: "table"
2526   title: "VPP Latency Changes 2n-icx 2t1c PDR90-direction1-max"
2527   algorithm: "table_comparison"
2528   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-icx-xxv710-2t1c-pdr90-d1-max"
2529   include-tests: "latency-PDR90-direction1-max"
2530   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2531   columns:
2532     # - title: "2110.0-9"
2533     #   data-set: "vpp-2n-icx-hist-iter-new-env"
2534     - title: "2202.0-9"
2535       data-set: "vpp-2n-icx-prev-iter-old-env"
2536     - title: "2202.0-10"
2537       data-set: "vpp-2n-icx-prev-iter-new-env"
2538     - title: "2206.0-10"
2539       data-set: "vpp-2n-icx-curr-iter"
2540   comparisons:
2541     - title: "2202.0-10 vs 2202.0-9"
2542       reference: 1
2543       compare: 2
2544     - title: "2206.0-10 vs 2202.0-10"
2545       reference: 2
2546       compare: 3
2547   legend:
2548     - ''
2549     - 'Test Case:              Test cases executed for: PDR throughput on 2n-icx with xxv710.'
2550     - 'YYMM.V-E:               [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2551     - 'YYMM.V-E vs YYMM.V-E:   [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2552     - '2202.0-10 vs 2202.0-9:  Compares CSIT environment current vs previous with previous VPP code.'
2553     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2554
2555 # VPP Soak vs NDR - 2n-icx
2556 - type: "table"
2557   title: "VPP Soak vs NDR 2n-icx"
2558   algorithm: "table_soak_vs_ndr"
2559   output-file: "{DIR[STATIC,VPP]}/soak-vs-ndr-2n-icx"
2560   reference:
2561     title: "NDR"
2562     data: "vpp-soak-vs-ndr-2n-icx-ref"
2563   compare:
2564     title: "Soak"
2565     data: "vpp-2n-icx-curr-soak"
2566   data: "vpp-soak-vs-ndr-2n-icx"
2567   include-tests: "NDR"
2568   filter: "'NDRPDR' or 'SOAK'"
2569   parameters:
2570     - "throughput"
2571     - "name"
2572     - "parent"
2573
2574 # VPP Soak vs NDR - 2n-skx
2575 - type: "table"
2576   title: "VPP Soak vs NDR 2n-skx"
2577   algorithm: "table_soak_vs_ndr"
2578   output-file: "{DIR[STATIC,VPP]}/soak-vs-ndr-2n-skx"
2579   reference:
2580     title: "NDR"
2581     data: "vpp-soak-vs-ndr-2n-skx-ref"
2582   compare:
2583     title: "Soak"
2584     data: "vpp-2n-skx-curr-soak"
2585   data: "vpp-soak-vs-ndr-2n-skx"
2586   include-tests: "NDR"
2587   filter: "('NDRPDR' or 'SOAK') and not 'NF_DENSITY'"
2588   parameters:
2589     - "throughput"
2590     - "name"
2591     - "parent"
2592
2593 # VPP Soak vs NDR - 2n-clx
2594 - type: "table"
2595   title: "VPP Soak vs NDR 2n-clx"
2596   algorithm: "table_soak_vs_ndr"
2597   output-file: "{DIR[STATIC,VPP]}/soak-vs-ndr-2n-clx"
2598   reference:
2599     title: "NDR"
2600     data: "vpp-soak-vs-ndr-2n-clx-ref"
2601   compare:
2602     title: "Soak"
2603     data: "vpp-2n-clx-curr-soak"
2604   data: "vpp-soak-vs-ndr-2n-clx"
2605   include-tests: "NDR"
2606   filter: "('NDRPDR' or 'SOAK') and not 'NF_DENSITY'"
2607   parameters:
2608     - "throughput"
2609     - "name"
2610     - "parent"
2611
2612 ################################################################################
2613
2614 # VPP Compare NICs 3n-skx 2t1c ndr
2615 - type: "table"
2616   title: "VPP Compare NICs 3n-skx 2t1c ndr"
2617   algorithm: "table_comparison"
2618   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-ndr"
2619   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2620   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
2621   columns:
2622     - title: "x710"
2623       data-set: "vpp-3n-skx-curr-iter"
2624       tag: "NIC_Intel-X710"
2625     - title: "xxv710"
2626       data-set: "vpp-3n-skx-curr-iter"
2627       tag: "NIC_Intel-XXV710"
2628   comparisons:
2629     - title: "xxv710 vs x710"
2630       reference: 1
2631       compare: 2
2632   legend:
2633     - ''
2634     - 'Test Case:      Test cases executed for: NDR throughput on 3n-skx with x710 and xxv710.'
2635     - 'x710, xxv710:   [Mpps +- StDev] results for VPP tested in CSIT'
2636     - 'xxv710 vs x710: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2637
2638 # VPP Compare NICs 3n-skx 4t2c ndr
2639 - type: "table"
2640   title: "VPP Compare NICs 3n-skx 4t2c ndr"
2641   algorithm: "table_comparison"
2642   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-ndr"
2643   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2644   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
2645   columns:
2646     - title: "x710"
2647       data-set: "vpp-3n-skx-curr-iter"
2648       tag: "NIC_Intel-X710"
2649     - title: "xxv710"
2650       data-set: "vpp-3n-skx-curr-iter"
2651       tag: "NIC_Intel-XXV710"
2652   comparisons:
2653     - title: "xxv710 vs x710"
2654       reference: 1
2655       compare: 2
2656   legend:
2657     - ''
2658     - 'Test Case:      Test cases executed for: NDR throughput on 3n-skx with x710 and xxv710.'
2659     - 'x710, xxv710:   [Mpps +- StDev] results for VPP tested in CSIT'
2660     - 'xxv710 vs x710: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2661
2662 # VPP Compare NICs 3n-skx 2t1c pdr
2663 - type: "table"
2664   title: "VPP Compare NICs 3n-skx 2t1c pdr"
2665   algorithm: "table_comparison"
2666   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-pdr"
2667   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2668   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
2669   columns:
2670     - title: "x710"
2671       data-set: "vpp-3n-skx-curr-iter"
2672       tag: "NIC_Intel-X710"
2673     - title: "xxv710"
2674       data-set: "vpp-3n-skx-curr-iter"
2675       tag: "NIC_Intel-XXV710"
2676   comparisons:
2677     - title: "xxv710 vs x710"
2678       reference: 1
2679       compare: 2
2680   legend:
2681     - ''
2682     - 'Test Case:      Test cases executed for: PDR throughput on 3n-skx with x710 and xxv710.'
2683     - 'x710, xxv710:   [Mpps +- StDev] results for VPP tested in CSIT'
2684     - 'xxv710 vs x710: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2685
2686 # VPP Compare NICs 3n-skx 4t2c pdr
2687 - type: "table"
2688   title: "VPP Compare NICs 3n-skx 4t2c pdr"
2689   algorithm: "table_comparison"
2690   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-pdr"
2691   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2692   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
2693   columns:
2694     - title: "x710"
2695       data-set: "vpp-3n-skx-curr-iter"
2696       tag: "NIC_Intel-X710"
2697     - title: "xxv710"
2698       data-set: "vpp-3n-skx-curr-iter"
2699       tag: "NIC_Intel-XXV710"
2700   comparisons:
2701     - title: "xxv710 vs x710"
2702       reference: 1
2703       compare: 2
2704   legend:
2705     - ''
2706     - 'Test Case:      Test cases executed for: PDR throughput on 3n-skx with x710 and xxv710.'
2707     - 'x710, xxv710:   [Mpps +- StDev] results for VPP tested in CSIT'
2708     - 'xxv710 vs x710: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2709
2710 # VPP Compare NICs 3n-skx 2t1c mrr
2711 - type: "table"
2712   title: "VPP Compare NICs 3n-skx 2t1c mrr"
2713   algorithm: "table_comparison"
2714   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-mrr"
2715   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2716   filter: "'2T1C' and 'MRR' and not 'NF_DENSITY'"
2717   columns:
2718     - title: "x710"
2719       data-set: "vpp-3n-skx-curr-iter-mrr"
2720       tag: "NIC_Intel-X710"
2721     - title: "xxv710"
2722       data-set: "vpp-3n-skx-curr-iter-mrr"
2723       tag: "NIC_Intel-XXV710"
2724   comparisons:
2725     - title: "xxv710 vs x710"
2726       reference: 1
2727       compare: 2
2728   legend:
2729     - ''
2730     - 'Test Case:      Test cases executed for: MRR throughput on 3n-skx with x710 and xxv710.'
2731     - 'x710, xxv710:   [Mpps +- StDev] results for VPP tested in CSIT'
2732     - 'xxv710 vs x710: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2733
2734 # VPP Compare NICs 3n-skx 4t2c mrr
2735 - type: "table"
2736   title: "VPP Compare NICs 3n-skx 4t2c mrr"
2737   algorithm: "table_comparison"
2738   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-mrr"
2739   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2740   filter: "'4T2C' and 'MRR' and not 'NF_DENSITY'"
2741   columns:
2742     - title: "x710"
2743       data-set: "vpp-3n-skx-curr-iter-mrr"
2744       tag: "NIC_Intel-X710"
2745     - title: "xxv710"
2746       data-set: "vpp-3n-skx-curr-iter-mrr"
2747       tag: "NIC_Intel-XXV710"
2748   comparisons:
2749     - title: "xxv710 vs x710"
2750       reference: 1
2751       compare: 2
2752   legend:
2753     - ''
2754     - 'Test Case:      Test cases executed for: MRR throughput on 3n-skx with x710 and xxv710.'
2755     - 'x710, xxv710:   [Mpps +- StDev] results for VPP tested in CSIT'
2756     - 'xxv710 vs x710: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2757
2758 # VPP Compare NICs 3n-skx 8t4c mrr
2759 - type: "table"
2760   title: "VPP Compare NICs 3n-skx 8t4c mrr"
2761   algorithm: "table_comparison"
2762   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-8t4c-nics-mrr"
2763   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2764   filter: "'8T4C' and 'MRR' and not 'NF_DENSITY'"
2765   columns:
2766     - title: "x710"
2767       data-set: "vpp-3n-skx-curr-iter-mrr"
2768       tag: "NIC_Intel-X710"
2769     - title: "xxv710"
2770       data-set: "vpp-3n-skx-curr-iter-mrr"
2771       tag: "NIC_Intel-XXV710"
2772   comparisons:
2773     - title: "xxv710 vs x710"
2774       reference: 1
2775       compare: 2
2776   legend:
2777     - ''
2778     - 'Test Case:      Test cases executed for: MRR throughput on 3n-skx with x710 and xxv710.'
2779     - 'x710, xxv710:   [Mpps +- StDev] results for VPP tested in CSIT'
2780     - 'xxv710 vs x710: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2781
2782 # VPP Compare NICs 2n-skx 2t1c ndr
2783 - type: "table"
2784   title: "VPP Compare NICs 2n-skx 2t1c ndr"
2785   algorithm: "table_comparison"
2786   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-nics-ndr"
2787   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2788   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
2789   columns:
2790     - title: "x710"
2791       data-set: "vpp-2n-skx-curr-iter"
2792       tag: "NIC_Intel-X710"
2793     - title: "xxv710"
2794       data-set: "vpp-2n-skx-curr-iter"
2795       tag: "NIC_Intel-XXV710"
2796   comparisons:
2797     - title: "xxv710 vs x710"
2798       reference: 1
2799       compare: 2
2800   legend:
2801     - ''
2802     - 'Test Case:      Test cases executed for: NDR throughput on 2n-skx with x710 and xxv710.'
2803     - 'x710, xxv710:   [Mpps +- StDev] results for VPP tested in CSIT'
2804     - 'xxv710 vs x710: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2805
2806 # VPP Compare NICs 2n-skx 4t2c ndr
2807 - type: "table"
2808   title: "VPP Compare NICs 2n-skx 4t2c ndr"
2809   algorithm: "table_comparison"
2810   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-nics-ndr"
2811   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2812   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
2813   columns:
2814     - title: "x710"
2815       data-set: "vpp-2n-skx-curr-iter"
2816       tag: "NIC_Intel-X710"
2817     - title: "xxv710"
2818       data-set: "vpp-2n-skx-curr-iter"
2819       tag: "NIC_Intel-XXV710"
2820   comparisons:
2821     - title: "xxv710 vs x710"
2822       reference: 1
2823       compare: 2
2824   legend:
2825     - ''
2826     - 'Test Case:      Test cases executed for: NDR throughput on 2n-skx with x710 and xxv710.'
2827     - 'x710, xxv710:   [Mpps +- StDev] results for VPP tested in CSIT'
2828     - 'xxv710 vs x710: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2829
2830 # VPP Compare NICs 2n-skx 2t1c pdr
2831 - type: "table"
2832   title: "VPP Compare NICs 2n-skx 2t1c pdr"
2833   algorithm: "table_comparison"
2834   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-nics-pdr"
2835   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2836   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
2837   columns:
2838     - title: "x710"
2839       data-set: "vpp-2n-skx-curr-iter"
2840       tag: "NIC_Intel-X710"
2841     - title: "xxv710"
2842       data-set: "vpp-2n-skx-curr-iter"
2843       tag: "NIC_Intel-XXV710"
2844   comparisons:
2845     - title: "xxv710 vs x710"
2846       reference: 1
2847       compare: 2
2848   legend:
2849     - ''
2850     - 'Test Case:      Test cases executed for: PDR throughput on 2n-skx with x710 and xxv710.'
2851     - 'x710, xxv710:   [Mpps +- StDev] results for VPP tested in CSIT'
2852     - 'xxv710 vs x710: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2853
2854 # VPP Compare NICs 2n-skx 4t2c pdr
2855 - type: "table"
2856   title: "VPP Compare NICs 2n-skx 4t2c pdr"
2857   algorithm: "table_comparison"
2858   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-nics-pdr"
2859   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2860   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
2861   columns:
2862     - title: "x710"
2863       data-set: "vpp-2n-skx-curr-iter"
2864       tag: "NIC_Intel-X710"
2865     - title: "xxv710"
2866       data-set: "vpp-2n-skx-curr-iter"
2867       tag: "NIC_Intel-XXV710"
2868   comparisons:
2869     - title: "xxv710 vs x710"
2870       reference: 1
2871       compare: 2
2872   legend:
2873     - ''
2874     - 'Test Case:      Test cases executed for: PDR throughput on 2n-skx with x710 and xxv710.'
2875     - 'x710, xxv710:   [Mpps +- StDev] results for VPP tested in CSIT'
2876     - 'xxv710 vs x710: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2877
2878 # VPP Compare NICs 2n-skx 2t1c mrr
2879 - type: "table"
2880   title: "VPP Compare NICs 2n-skx 2t1c mrr"
2881   algorithm: "table_comparison"
2882   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-nics-mrr"
2883   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2884   filter: "'2T1C' and 'MRR' and not 'NF_DENSITY'"
2885   columns:
2886     - title: "x710"
2887       data-set: "vpp-2n-skx-curr-iter-mrr"
2888       tag: "NIC_Intel-X710"
2889     - title: "xxv710"
2890       data-set: "vpp-2n-skx-curr-iter-mrr"
2891       tag: "NIC_Intel-XXV710"
2892   comparisons:
2893     - title: "xxv710 vs x710"
2894       reference: 1
2895       compare: 2
2896   legend:
2897     - ''
2898     - 'Test Case:      Test cases executed for: MRR throughput on 2n-skx with x710 and xxv710.'
2899     - 'x710, xxv710:   [Mpps +- StDev] results for VPP tested in CSIT'
2900     - 'xxv710 vs x710: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2901
2902 # VPP Compare NICs 2n-skx 4t2c mrr
2903 - type: "table"
2904   title: "VPP Compare NICs 2n-skx 4t2c mrr"
2905   algorithm: "table_comparison"
2906   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-nics-mrr"
2907   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2908   filter: "'4T2C' and 'MRR' and not 'NF_DENSITY'"
2909   columns:
2910     - title: "x710"
2911       data-set: "vpp-2n-skx-curr-iter-mrr"
2912       tag: "NIC_Intel-X710"
2913     - title: "xxv710"
2914       data-set: "vpp-2n-skx-curr-iter-mrr"
2915       tag: "NIC_Intel-XXV710"
2916   comparisons:
2917     - title: "xxv710 vs x710"
2918       reference: 1
2919       compare: 2
2920   legend:
2921     - ''
2922     - 'Test Case:      Test cases executed for: MRR throughput on 2n-skx with x710 and xxv710.'
2923     - 'x710, xxv710:   [Mpps +- StDev] results for VPP tested in CSIT'
2924     - 'xxv710 vs x710: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2925
2926 # VPP Compare NICs 2n-skx 8t4c mrr
2927 - type: "table"
2928   title: "VPP Compare NICs 2n-skx 8t4c mrr"
2929   algorithm: "table_comparison"
2930   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-8t4c-nics-mrr"
2931   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2932   filter: "'8T4C' and 'MRR' and not 'NF_DENSITY'"
2933   columns:
2934     - title: "x710"
2935       data-set: "vpp-2n-skx-curr-iter-mrr"
2936       tag: "NIC_Intel-X710"
2937     - title: "xxv710"
2938       data-set: "vpp-2n-skx-curr-iter-mrr"
2939       tag: "NIC_Intel-XXV710"
2940   comparisons:
2941     - title: "xxv710 vs x710"
2942       reference: 1
2943       compare: 2
2944   legend:
2945     - ''
2946     - 'Test Case:      Test cases executed for: MRR throughput on 2n-skx with x710 and xxv710.'
2947     - 'x710, xxv710:   [Mpps +- StDev] results for VPP tested in CSIT'
2948     - 'xxv710 vs x710: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2949
2950 ################################################################################
2951 # VPP
2952
2953 # VPP Performance Changes 3n-skx Hoststack
2954 - type: "table"
2955   title: "VPP Performance Changes 3n-skx Hoststack"
2956   algorithm: "table_comparison"
2957   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-hoststack"
2958   include-tests: "hoststack"
2959   filter: "all"
2960   columns:
2961     - title: "2110.0-8"
2962       data-set: "vpp-3n-skx-hist-iter-hoststack-new-env"
2963     - title: "2202.0-9"
2964       data-set: "vpp-3n-skx-prev-iter-hoststack-old-env"
2965     - title: "2206.0-10"
2966       data-set: "vpp-3n-skx-curr-iter-hoststack"
2967   comparisons:
2968     - title: "2206.0-10 vs 2202.0-9"
2969       reference: 2
2970       compare: 3
2971   legend:
2972     - ''
2973     - 'Test Case:             Test cases executed for: Hoststack on 3n-skx with xxv710.'
2974     - 'YYMM.V-E:              [Mbps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2975     - 'YYMM.V-E vs YYMM.V-E:  [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2976     - '2206.0-10 vs 2202.0-9: Compares VPP code current vs previous.'
2977
2978 # VPP Performance Changes 2n-clx VSAP
2979 - type: "table"
2980   title: "VPP Performance Changes 2n-clx VSAP"
2981   algorithm: "table_comparison"
2982   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-vsap"
2983   include-tests: "vsap"
2984   filter: "all"
2985   columns:
2986     - title: "2110.0-8"
2987       data-set: "vpp-2n-clx-hist-iter-vsap-new-env"
2988     - title: "2202.0-9"
2989       data-set: "vpp-2n-clx-curr-iter-vsap-old-env"
2990     - title: "2206.0-10"
2991       data-set: "vpp-2n-clx-curr-iter-vsap"
2992   comparisons:
2993     - title: "2206.0-10 vs 2202.0-9"
2994       reference: 2
2995       compare: 3
2996   legend:
2997     - ''
2998     - 'Test Case:             Test cases executed for: VSAP on 2n-clx with cx556a.'
2999     - 'YYMM.V-E:              [Mcps/Mrps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
3000     - 'YYMM.V-E vs YYMM.V-E:  [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
3001     - '2206.0-10 vs 2202.0-9: Compares VPP code current vs previous.'
3002
3003 # VPP Performance Changes 3n-icx 2t1c pdr
3004 - type: "table"
3005   title: "VPP Performance Changes 3n-icx 2t1c pdr"
3006   algorithm: "table_comparison"
3007   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-icx-2t1c-pdr"
3008   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3009   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
3010   columns:
3011     # - title: "2110.0-9"
3012     #   data-set: "vpp-3n-icx-hist-iter-new-env"
3013     - title: "2202.0-9"
3014       data-set: "vpp-3n-icx-prev-iter-old-env"
3015     - title: "2202.0-10"
3016       data-set: "vpp-3n-icx-prev-iter-new-env"
3017     - title: "2206.0-10"
3018       data-set: "vpp-3n-icx-curr-iter"
3019   comparisons:
3020     - title: "2202.0-10 vs 2202.0-9"
3021       reference: 1
3022       compare: 2
3023     - title: "2206.0-10 vs 2202.0-10"
3024       reference: 2
3025       compare: 3
3026   legend:
3027     - ''
3028     - 'Test Case:              Test cases executed for: PDR throughput on 3n-icx with xxv710.'
3029     - 'YYMM.V-E:               [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
3030     - 'YYMM.V-E vs YYMM.V-E:   [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
3031     - '2202.0-10 vs 2202.0-9:  Compares CSIT environment current vs previous with previous VPP code.'
3032     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
3033
3034 # VPP Performance Changes 3n-icx 4t2c pdr
3035 - type: "table"
3036   title: "VPP Performance Changes 3n-icx 4t2c pdr"
3037   algorithm: "table_comparison"
3038   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-icx-4t2c-pdr"
3039   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3040   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"