Report: Static content: Speedup and the rest
[csit.git] / resources / tools / presentation / specifications / report / elements.yaml
1 ################################################################################
2 ###                               T A B L E S                                ###
3 ################################################################################
4
5 # Statistics: job-specs' durations
6
7 - type: "table"
8   title: "Job Specification Duration: 2n-icx-iterative"
9   algorithm: "table_job_spec_duration"
10   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-icx-iter"
11   jb-type: "iterative"
12   lines:
13     - job-spec: "vpp-mrr-00"
14       data-set: "vpp-2n-icx-curr-iter-mrr"
15     - job-spec: "vpp-mlr-00"
16       data-set: "vpp-2n-icx-curr-iter"
17     - job-spec: "vpp-gso-mrr-00"
18       data-set: "vpp-2n-icx-curr-iter-gso"
19     - job-spec: "soak-00"
20       data-set: "vpp-2n-icx-curr-soak"
21     - job-spec: "nfv-density-mrr-00"
22       data-set: "vpp-2n-icx-curr-nfv-mrr"
23     - job-spec: "nfv-density-mlr-00"
24       data-set: "vpp-2n-icx-curr-nfv-ndrpdr"
25     - job-spec: "reconf-00"
26       data-set: "vpp-2n-icx-curr-nfv-reconf"
27     - job-spec: "dpdk-mlr-00"
28       data-set: "dpdk-2n-icx-curr-iter"
29
30 # - type: "table"
31 #   title: "Job Specification Duration: 2n-icx-coverage"
32 #   algorithm: "table_job_spec_duration"
33 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-icx-cov"
34 #   jb-type: "coverage"
35 #   data: "vpp-2n-icx-curr-cov"
36 #   lines:
37
38 - type: "table"
39   title: "Job Specification Duration: 3n-icx-iterative"
40   algorithm: "table_job_spec_duration"
41   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-icx-iter"
42   jb-type: "iterative"
43   lines:
44     - job-spec: "vpp-mrr-00"
45       data-set: "vpp-3n-icx-curr-iter-mrr"
46     - job-spec: "vpp-mlr-00"
47       data-set: "vpp-3n-icx-curr-iter"
48     - job-spec: "dpdk-mlr-00"
49       data-set: "dpdk-3n-icx-curr-iter"
50
51 - type: "table"
52   title: "Job Specification Duration: 3n-icx-coverage"
53   algorithm: "table_job_spec_duration"
54   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-icx-cov"
55   jb-type: "coverage"
56   data: "vpp-3n-icx-curr-cov"
57   lines:
58     - job-spec: "crypto-00"
59       build: "35"
60     - job-spec: "crypto-01"
61       build: "36"
62     - job-spec: "crypto-02"
63       build: "37"
64     # - job-spec: "crypto-03"  # Completly failed
65     #   build: "68"
66     - job-spec: "crypto-04"
67       build: "38"
68     - job-spec: "ip4-00"
69       build: "39"
70     # - job-spec: "ip4-01"
71     #   build: "40"
72     - job-spec: "ip4-02"
73       build: "41"
74     - job-spec: "ip4-03"
75       build: "42"
76     - job-spec: "ip4-04"
77       build: "43"
78     - job-spec: "ip4-05"
79       build: "44"
80     - job-spec: "ip4-06"
81       build: "45"
82     - job-spec: "ip4-07"
83       build: "46"
84     # - job-spec: "ip4tun-00"
85     #   build: "47"
86     - job-spec: "ip4tun-02"
87       build: "48"
88     - job-spec: "ip6-00"
89       build: "49"
90     - job-spec: "ip6-01"
91       build: "50"
92     - job-spec: "ip6tun-00"
93       build: "51"
94     - job-spec: "l2-00"
95       build: "52"
96     - job-spec: "l2-01"
97       build: "53"
98     # - job-spec: "l2-02"
99     #   build: "54"
100     # - job-spec: "l2-03"
101     #   build: "55"
102     - job-spec: "l2-04"
103       build: "56"
104     - job-spec: "l2-05"
105       build: "57"
106     - job-spec: "l2-06"
107       build: "58"
108     - job-spec: "l2-07"
109       build: "59"
110     # - job-spec: "l2-08"
111     #   build: "60"
112     # - job-spec: "l2-09"
113     #   build: "61"
114     # - job-spec: "l2-10"
115     #   build: "62"
116     # - job-spec: "memif-00"
117     #   build: "63"
118     - job-spec: "srv6-00"
119       build: "64"
120     # - job-spec: "srv6-01"
121     #   build: "65"
122     # - job-spec: "vhost-00"
123     #   build: "66"
124     # - job-spec: "vhost-01"
125     #   build: "67"
126
127 - type: "table"
128   title: "Job Specification Duration: 2n-clx-iterative"
129   algorithm: "table_job_spec_duration"
130   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-clx-iter"
131   jb-type: "iterative"
132   lines:
133     - job-spec: "vpp-mrr-00"
134       data-set: "vpp-2n-clx-curr-iter-mrr"
135     - job-spec: "vpp-mlr-00"
136       data-set: "vpp-2n-clx-curr-iter"
137     - job-spec: "vpp-gso-mrr-00"
138       data-set: "vpp-2n-clx-curr-iter-gso"
139     - job-spec: "soak-00"
140       data-set: "vpp-2n-clx-curr-soak"
141     - job-spec: "vsap-00"
142       data-set: "vpp-2n-clx-curr-iter-vsap"
143     - job-spec: "nfv-density-mrr-00"
144       data-set: "vpp-2n-clx-curr-nfv-mrr"
145     - job-spec: "nfv-density-mlr-00"
146       data-set: "vpp-2n-clx-curr-nfv-ndrpdr"
147     - job-spec: "reconf-00"
148       data-set: "vpp-2n-clx-curr-nfv-reconf"
149     - job-spec: "dpdk-mlr-00"
150       data-set: "dpdk-2n-clx-curr-iter"
151
152 - type: "table"
153   title: "Job Specification Duration: 2n-clx-coverage"
154   algorithm: "table_job_spec_duration"
155   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-clx-cov"
156   jb-type: "coverage"
157   data: "vpp-2n-clx-curr-cov"
158   lines:
159     - job-spec: "gso-00"
160       build: "18"
161     - job-spec: "ip4-00"
162       build: "19"
163     - job-spec: "ip4-01"
164       build: "20"
165     - job-spec: "ip4-02"
166       build: "21"
167     - job-spec: "ip4-03"
168       build: "22"
169     - job-spec: "ip4-04"
170       build: "23"
171     - job-spec: "ip4-05"
172       build: "24"
173     - job-spec: "ip4-06"
174       build: "25"
175     - job-spec: "ip4-07"
176       build: "26"
177     - job-spec: "ip4tun-00"
178       build: "27"
179     - job-spec: "ip6-00"
180       build: "28"
181     - job-spec: "ip6-01"
182       build: "29"
183     - job-spec: "l2-00"
184       build: "30"
185     - job-spec: "l2-01"
186       build: "31"
187     - job-spec: "lb-00"
188       build: "32"
189     - job-spec: "memif-00"
190       build: "33"
191     - job-spec: "vhost-00"
192       build: "34"
193
194 - type: "table"
195   title: "Job Specification Duration: 2n-dnv-iterative"
196   algorithm: "table_job_spec_duration"
197   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-dnv-iter"
198   jb-type: "iterative"
199   lines:
200     - job-spec: "vpp-mrr-00"
201       data-set: "vpp-2n-dnv-curr-iter-mrr"
202     - job-spec: "vpp-mlr-00"
203       data-set: "vpp-2n-dnv-curr-iter"
204
205 - type: "table"
206   title: "Job Specification Duration: 2n-dnv-coverage"
207   algorithm: "table_job_spec_duration"
208   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-dnv-cov"
209   jb-type: "coverage"
210   data: "vpp-2n-dnv-curr-cov"
211   lines:
212     - job-spec: "ip4-00"
213       build: "7"
214     - job-spec: "ip4-01"
215       build: "8"
216     - job-spec: "ip6-00"
217       build: "14"
218     - job-spec: "ip6-01"
219       build: "10"
220     - job-spec: "l2-00"
221       build: "11"
222     - job-spec: "l2-01"
223       build: "12"
224
225 - type: "table"
226   title: "Job Specification Duration: 2n-aws-iterative"
227   algorithm: "table_job_spec_duration"
228   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-aws-iter"
229   jb-type: "iterative"
230   lines:
231     - job-spec: "vpp-mrr-00"
232       data-set: "vpp-2n-aws-curr-iter-mrr"
233     - job-spec: "vpp-mlr-00"
234       data-set: "vpp-2n-aws-curr-iter"
235
236 - type: "table"
237   title: "Job Specification Duration: 2n-aws-coverage"
238   algorithm: "table_job_spec_duration"
239   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-aws-cov"
240   jb-type: "coverage"
241   data: "vpp-2n-aws-curr-cov"
242   lines:
243     - job-spec: "vpp-00"
244       build: "1"
245
246 - type: "table"
247   title: "Job Specification Duration: 3n-aws-iterative"
248   algorithm: "table_job_spec_duration"
249   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-aws-iter"
250   jb-type: "iterative"
251   lines:
252     - job-spec: "vpp-mrr-00"
253       data-set: "vpp-3n-aws-curr-iter-mrr"
254     - job-spec: "vpp-mlr-00"
255       data-set: "vpp-3n-aws-curr-iter"
256
257 - type: "table"
258   title: "Job Specification Duration: 3n-aws-coverage"
259   algorithm: "table_job_spec_duration"
260   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-aws-cov"
261   jb-type: "coverage"
262   data: "vpp-3n-aws-curr-cov"
263   lines:
264     - job-spec: "vpp-00"
265       build: "1"
266
267 - type: "table"
268   title: "Job Specification Duration: 2n-skx-iterative"
269   algorithm: "table_job_spec_duration"
270   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-skx-iter"
271   jb-type: "iterative"
272   lines:
273     - job-spec: "vpp-mrr-00"
274       data-set: "vpp-2n-skx-curr-iter-mrr"
275     - job-spec: "vpp-mlr-00"
276       data-set: "vpp-2n-skx-curr-iter"
277     - job-spec: "vpp-gso-mrr-00"
278       data-set: "vpp-2n-skx-curr-iter-gso"
279     - job-spec: "soak-00"
280       data-set: "vpp-2n-skx-curr-soak"
281     - job-spec: "nfv-density-mrr-00"
282       data-set: "vpp-2n-skx-curr-nfv-mrr"
283     - job-spec: "nfv-density-mlr-00"
284       data-set: "vpp-2n-skx-curr-nfv-ndrpdr"
285     - job-spec: "reconf-00"
286       data-set: "vpp-2n-skx-curr-nfv-reconf"
287     - job-spec: "dpdk-mlr-00"
288       data-set: "dpdk-2n-skx-curr-iter"
289     - job-spec: "trex-mlr-00"
290       data-set: "trex-2n-skx-curr-iter"
291
292 - type: "table"
293   title: "Job Specification Duration: 2n-skx-coverage"
294   algorithm: "table_job_spec_duration"
295   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-skx-cov"
296   jb-type: "coverage"
297   data: "vpp-2n-skx-curr-cov"
298   lines:
299     - job-spec: "gso-00"
300       build: "18"
301     - job-spec: "ip4-00"
302       build: "19"
303     - job-spec: "ip4-01"
304       build: "20"
305     - job-spec: "ip4-02"
306       build: "21"
307     - job-spec: "ip4-03"
308       build: "22"
309     - job-spec: "ip4-04"
310       build: "23"
311     - job-spec: "ip4-05"
312       build: "24"
313     - job-spec: "ip4-06"
314       build: "25"
315     - job-spec: "ip4-07"
316       build: "26"
317     - job-spec: "ip4tun-00"
318       build: "27"
319     - job-spec: "ip6-00"
320       build: "28"
321     - job-spec: "ip6-01"
322       build: "29"
323     - job-spec: "l2-00"
324       build: "30"
325     - job-spec: "l2-01"
326       build: "31"
327     - job-spec: "lb-00"
328       build: "32"
329     - job-spec: "memif-00"
330       build: "33"
331     - job-spec: "vhost-00"
332       build: "34"
333
334 - type: "table"
335   title: "Job Specification Duration: 2n-tx2-iterative"
336   algorithm: "table_job_spec_duration"
337   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-tx2-iter"
338   jb-type: "iterative"
339   lines:
340     - job-spec: "vpp-mrr-00"
341       data-set: "vpp-2n-tx2-curr-iter-mrr"
342     - job-spec: "vpp-mlr-00"
343       data-set: "vpp-2n-tx2-curr-iter"
344
345 - type: "table"
346   title: "Job Specification Duration: 2n-tx2-coverage"
347   algorithm: "table_job_spec_duration"
348   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-tx2-cov"
349   jb-type: "coverage"
350   data: "vpp-2n-tx2-curr-cov"
351   lines:
352     - job-spec: "ip4-00"
353       build: "15"
354     - job-spec: "ip4-01"
355       build: "16"
356     - job-spec: "ip4-02"
357       build: "17"
358     - job-spec: "ip4-03"
359       build: "18"
360 #     - job-spec: "ip4-04"
361 #       build: "19"
362     - job-spec: "ip4-05"
363       build: "20"
364     - job-spec: "ip4-06"
365       build: "21"
366 #     - job-spec: "ip6-00"
367 #       build: "22"
368     - job-spec: "ip6-01"
369       build: "23"
370     - job-spec: "l2-00"
371       build: "24"
372 #     - job-spec: "l2-01"
373 #       build: "25"
374 #     - job-spec: "l2-02"
375 #       build: "26"
376 #     - job-spec: "l2-03"
377 #       build: "27"
378 #     - job-spec: "l2-04"
379 #       build: "28"
380
381 - type: "table"
382   title: "Job Specification Duration: 2n-zn2-iterative"
383   algorithm: "table_job_spec_duration"
384   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-zn2-iter"
385   jb-type: "iterative"
386   lines:
387     - job-spec: "vpp-mrr-00"
388       data-set: "vpp-2n-zn2-curr-iter-mrr"
389     - job-spec: "vpp-mlr-00"
390       data-set: "vpp-2n-zn2-curr-iter"
391     - job-spec: "vpp-gso-mrr-00"
392       data-set: "vpp-2n-zn2-curr-iter-gso"
393     - job-spec: "dpdk-mlr-00"
394       data-set: "dpdk-2n-zn2-curr-iter"
395
396 - type: "table"
397   title: "Job Specification Duration: 2n-zn2-coverage"
398   algorithm: "table_job_spec_duration"
399   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-zn2-cov"
400   jb-type: "coverage"
401   data: "vpp-2n-zn2-curr-cov"
402   lines:
403     - job-spec: "gso-00"
404       build: "16"
405 #     - job-spec: "ip4-00"
406 #       build: "17"
407     - job-spec: "ip4-01"
408       build: "18"
409     - job-spec: "ip4-02"
410       build: "19"
411     - job-spec: "ip4-03"
412       build: "20"
413 #     - job-spec: "ip4-04"
414 #       build: "21"
415 #     - job-spec: "ip4-05"
416 #       build: "22"
417 #     - job-spec: "ip4tun-00"
418 #       build: "23"
419 #     - job-spec: "ip6-00"
420 #       build: "24"
421 #     - job-spec: "ip6-01"
422 #       build: "25"
423 #     - job-spec: "l2-00"
424 #       build: "26"
425     - job-spec: "l2-01"
426       build: "27"
427 #     - job-spec: "lb-00"
428 #       build: "28"
429 #     - job-spec: "memif-00"
430 #       build: "29"
431     - job-spec: "vhost-00"
432       build: "30"
433
434 - type: "table"
435   title: "Job Specification Duration: 3n-dnv-iterative"
436   algorithm: "table_job_spec_duration"
437   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-dnv-iter"
438   jb-type: "iterative"
439   lines:
440     - job-spec: "vpp-mrr-00"
441       data-set: "vpp-3n-dnv-curr-iter-mrr"
442     - job-spec: "vpp-mlr-00"
443       data-set: "vpp-3n-dnv-curr-iter"
444
445 - type: "table"
446   title: "Job Specification Duration: 3n-dnv-coverage"
447   algorithm: "table_job_spec_duration"
448   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-dnv-cov"
449   jb-type: "coverage"
450   data: "vpp-3n-dnv-curr-cov"
451   lines:
452     - job-spec: "crypto-00"
453       build: "11"
454     - job-spec: "crypto-01"
455       build: "12"
456     - job-spec: "crypto-02"
457       build: "13"
458     - job-spec: "ip4-00"
459       build: "14"
460     - job-spec: "ip4-01"
461       build: "15"
462     - job-spec: "ip4tun-00"
463       build: "16"
464     - job-spec: "ip6-00"
465       build: "17"
466     - job-spec: "ip6-01"
467       build: "18"
468     - job-spec: "l2-00"
469       build: "19"
470     - job-spec: "l2-01"
471       build: "20"
472
473 - type: "table"
474   title: "Job Specification Duration: 3n-skx-iterative"
475   algorithm: "table_job_spec_duration"
476   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-skx-iter"
477   jb-type: "iterative"
478   lines:
479     - job-spec: "vpp-mrr-00"
480       data-set: "vpp-3n-skx-curr-iter-mrr"
481     - job-spec: "vpp-mlr-00"
482       data-set: "vpp-3n-skx-curr-iter"
483     - job-spec: "hoststack-00"
484       data-set: "vpp-3n-skx-curr-iter-hoststack"
485     - job-spec: "dpdk-mlr-00"
486       data-set: "dpdk-3n-skx-curr-iter"
487
488 - type: "table"
489   title: "Job Specification Duration: 3n-skx-coverage"
490   algorithm: "table_job_spec_duration"
491   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-skx-cov"
492   jb-type: "coverage"
493   data: "vpp-3n-skx-curr-cov"
494   lines:
495     - job-spec: "crypto-00"
496       build: "35"
497     - job-spec: "crypto-01"
498       build: "36"
499     - job-spec: "crypto-02"
500       build: "37"
501     # - job-spec: "crypto-03"  # Completly failed
502     #   build: "68"
503     - job-spec: "crypto-04"
504       build: "38"
505     - job-spec: "ip4-00"
506       build: "39"
507     - job-spec: "ip4-01"
508       build: "40"
509     - job-spec: "ip4-02"
510       build: "41"
511     - job-spec: "ip4-03"
512       build: "42"
513     - job-spec: "ip4-04"
514       build: "43"
515     - job-spec: "ip4-05"
516       build: "44"
517     - job-spec: "ip4-06"
518       build: "45"
519     - job-spec: "ip4-07"
520       build: "46"
521     - job-spec: "ip4tun-00"
522       build: "47"
523     - job-spec: "ip4tun-02"
524       build: "48"
525     - job-spec: "ip6-00"
526       build: "49"
527     - job-spec: "ip6-01"
528       build: "50"
529     - job-spec: "ip6tun-00"
530       build: "51"
531     - job-spec: "l2-00"
532       build: "52"
533     - job-spec: "l2-01"
534       build: "53"
535     - job-spec: "l2-02"
536       build: "54"
537     - job-spec: "l2-03"
538       build: "55"
539     - job-spec: "l2-04"
540       build: "56"
541     - job-spec: "l2-05"
542       build: "57"
543     - job-spec: "l2-06"
544       build: "58"
545     - job-spec: "l2-07"
546       build: "59"
547     - job-spec: "l2-08"
548       build: "60"
549     - job-spec: "l2-09"
550       build: "61"
551     - job-spec: "l2-10"
552       build: "62"
553     - job-spec: "memif-00"
554       build: "63"
555     - job-spec: "srv6-00"
556       build: "64"
557     - job-spec: "srv6-01"
558       build: "65"
559     - job-spec: "vhost-00"
560       build: "66"
561     - job-spec: "vhost-01"
562       build: "67"
563
564 - type: "table"
565   title: "Job Specification Duration: 3n-tsh-iterative"
566   algorithm: "table_job_spec_duration"
567   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-tsh-iter"
568   jb-type: "iterative"
569   lines:
570     - job-spec: "vpp-mrr-00"
571       data-set: "vpp-3n-tsh-curr-iter-mrr"
572     - job-spec: "vpp-mlr-00"
573       data-set: "vpp-3n-tsh-curr-iter"
574     - job-spec: "dpdk-mlr-00"
575       data-set: "dpdk-3n-tsh-curr-iter"
576
577 - type: "table"
578   title: "Job Specification Duration: 3n-tsh-coverage"
579   algorithm: "table_job_spec_duration"
580   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-tsh-cov"
581   jb-type: "coverage"
582   data: "vpp-3n-tsh-curr-cov"
583   lines:
584     - job-spec: "ip4-00"
585       build: "18"
586 #     - job-spec: "ip4-01"
587 #       build: "19"
588     - job-spec: "ip4-02"
589       build: "20"
590     - job-spec: "ip4-03"
591       build: "21"
592     - job-spec: "ip4tun-00"
593       build: "22"
594     - job-spec: "ip6-00"
595       build: "23"
596 #     - job-spec: "ip6-01"
597 #       build: "24"
598 #     - job-spec: "l2-00"
599 #       build: "25"
600 #     - job-spec: "l2-01"
601 #       build: "26"
602 #     - job-spec: "l2-02"
603 #       build: "27"
604 #     - job-spec: "l2-03"
605 #       build: "28"
606 #     - job-spec: "l2-04"
607 #       build: "29"
608 #     - job-spec: "memif-00"
609 #       build: "30"
610 #     - job-spec: "srv6-00"
611 #       build: "31"
612 #     - job-spec: "srv6-01"
613 #       build: "32"
614 #     - job-spec: "vhost-00"
615 #       build: "33"
616 #     - job-spec: "vhost-01"
617 #       build: "34"
618
619 # VPP Latency Changes 3n-skx 2t1c
620 - type: "table"
621   title: "VPP Latency Changes 3n-skx 2t1c PDR50-direction1-avg"
622   algorithm: "table_comparison"
623   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-skx-xxv710-2t1c-pdr50-d1-avg"
624   include-tests: "latency-PDR50-direction1-avg"
625   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
626   columns:
627     - title: "2106.0-8"
628       data-set: "vpp-3n-skx-hist-iter-new-env"
629     - title: "2110.0-8"
630       data-set: "vpp-3n-skx-prev-iter-old-env"
631     - title: "2110.0-9"
632       data-set: "vpp-3n-skx-prev-iter-new-env"
633     - title: "2202.0-9"
634       data-set: "vpp-3n-skx-curr-iter"
635   comparisons:
636     - title: "2110.0-9 vs 2110.0-8"
637       reference: 2
638       compare: 3
639     - title: "2202.0-9 vs 2110.0-9"
640       reference: 3
641       compare: 4
642   legend:
643     - ''
644     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
645     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
646     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
647     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
648     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
649
650 # VPP Latency Changes 3n-skx 2t1c
651 - type: "table"
652   title: "VPP Latency Changes 3n-skx 2t1c PDR90-direction1-avg"
653   algorithm: "table_comparison"
654   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-skx-xxv710-2t1c-pdr90-d1-avg"
655   include-tests: "latency-PDR90-direction1-avg"
656   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
657   columns:
658     - title: "2106.0-8"
659       data-set: "vpp-3n-skx-hist-iter-new-env"
660     - title: "2110.0-8"
661       data-set: "vpp-3n-skx-prev-iter-old-env"
662     - title: "2110.0-9"
663       data-set: "vpp-3n-skx-prev-iter-new-env"
664     - title: "2202.0-9"
665       data-set: "vpp-3n-skx-curr-iter"
666   comparisons:
667     - title: "2110.0-9 vs 2110.0-8"
668       reference: 2
669       compare: 3
670     - title: "2202.0-9 vs 2110.0-9"
671       reference: 3
672       compare: 4
673   legend:
674     - ''
675     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
676     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
677     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
678     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
679     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
680
681 # VPP Latency Changes 3n-skx 2t1c
682 - type: "table"
683   title: "VPP Latency Changes 3n-skx 2t1c PDR90-direction1-max"
684   algorithm: "table_comparison"
685   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-skx-xxv710-2t1c-pdr90-d1-max"
686   include-tests: "latency-PDR90-direction1-max"
687   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
688   columns:
689     - title: "2106.0-8"
690       data-set: "vpp-3n-skx-hist-iter-new-env"
691     - title: "2110.0-8"
692       data-set: "vpp-3n-skx-prev-iter-old-env"
693     - title: "2110.0-9"
694       data-set: "vpp-3n-skx-prev-iter-new-env"
695     - title: "2202.0-9"
696       data-set: "vpp-3n-skx-curr-iter"
697   comparisons:
698     - title: "2110.0-9 vs 2110.0-8"
699       reference: 2
700       compare: 3
701     - title: "2202.0-9 vs 2110.0-9"
702       reference: 3
703       compare: 4
704   legend:
705     - ''
706     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
707     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
708     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
709     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
710     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
711
712 # VPP Latency Changes 2n-skx 2t1c
713 - type: "table"
714   title: "VPP Latency Changes 2n-skx 2t1c PDR50-direction1-avg"
715   algorithm: "table_comparison"
716   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-skx-xxv710-2t1c-pdr50-d1-avg"
717   include-tests: "latency-PDR50-direction1-avg"
718   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
719   columns:
720     - title: "2106.0-8"
721       data-set: "vpp-2n-skx-hist-iter-new-env"
722     - title: "2110.0-8"
723       data-set: "vpp-2n-skx-prev-iter-old-env"
724     - title: "2110.0-9"
725       data-set: "vpp-2n-skx-prev-iter-new-env"
726     - title: "2202.0-9"
727       data-set: "vpp-2n-skx-curr-iter"
728   comparisons:
729     - title: "2110.0-9 vs 2110.0-8"
730       reference: 2
731       compare: 3
732     - title: "2202.0-9 vs 2110.0-9"
733       reference: 3
734       compare: 4
735   legend:
736     - ''
737     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
738     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
739     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
740     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
741     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
742
743 # VPP Latency Changes 2n-skx 2t1c
744 - type: "table"
745   title: "VPP Latency Changes 2n-skx 2t1c PDR90-direction1-avg"
746   algorithm: "table_comparison"
747   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-skx-xxv710-2t1c-pdr90-d1-avg"
748   include-tests: "latency-PDR90-direction1-avg"
749   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
750   columns:
751     - title: "2106.0-8"
752       data-set: "vpp-2n-skx-hist-iter-new-env"
753     - title: "2110.0-8"
754       data-set: "vpp-2n-skx-prev-iter-old-env"
755     - title: "2110.0-9"
756       data-set: "vpp-2n-skx-prev-iter-new-env"
757     - title: "2202.0-9"
758       data-set: "vpp-2n-skx-curr-iter"
759   comparisons:
760     - title: "2110.0-9 vs 2110.0-8"
761       reference: 2
762       compare: 3
763     - title: "2202.0-9 vs 2110.0-9"
764       reference: 3
765       compare: 4
766   legend:
767     - ''
768     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
769     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
770     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
771     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
772     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
773
774 # VPP Latency Changes 2n-skx 2t1c
775 - type: "table"
776   title: "VPP Latency Changes 2n-skx 2t1c PDR90-direction1-max"
777   algorithm: "table_comparison"
778   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-skx-xxv710-2t1c-pdr90-d1-max"
779   include-tests: "latency-PDR90-direction1-max"
780   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
781   columns:
782     - title: "2106.0-8"
783       data-set: "vpp-2n-skx-hist-iter-new-env"
784     - title: "2110.0-8"
785       data-set: "vpp-2n-skx-prev-iter-old-env"
786     - title: "2110.0-9"
787       data-set: "vpp-2n-skx-prev-iter-new-env"
788     - title: "2202.0-9"
789       data-set: "vpp-2n-skx-curr-iter"
790   comparisons:
791     - title: "2110.0-9 vs 2110.0-8"
792       reference: 2
793       compare: 3
794     - title: "2202.0-9 vs 2110.0-9"
795       reference: 3
796       compare: 4
797   legend:
798     - ''
799     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
800     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
801     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
802     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
803     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
804
805 # VPP Latency Changes 2n-clx 2t1c
806 - type: "table"
807   title: "VPP Latency Changes 2n-clx 2t1c PDR50-direction1-avg"
808   algorithm: "table_comparison"
809   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-xxv710-2t1c-pdr50-d1-avg"
810   include-tests: "latency-PDR50-direction1-avg"
811   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
812   columns:
813     - title: "2106.0-8"
814       data-set: "vpp-2n-clx-hist-iter-new-env"
815     - title: "2110.0-8"
816       data-set: "vpp-2n-clx-prev-iter-old-env"
817     - title: "2110.0-9"
818       data-set: "vpp-2n-clx-prev-iter-new-env"
819     - title: "2202.0-9"
820       data-set: "vpp-2n-clx-curr-iter"
821   comparisons:
822     - title: "2110.0-9 vs 2110.0-8"
823       reference: 2
824       compare: 3
825     - title: "2202.0-9 vs 2110.0-9"
826       reference: 3
827       compare: 4
828   legend:
829     - ''
830     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
831     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
832     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
833     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
834     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
835
836 # VPP Latency Changes 2n-clx 2t1c
837 - type: "table"
838   title: "VPP Latency Changes 2n-clx 2t1c PDR90-direction1-avg"
839   algorithm: "table_comparison"
840   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-xxv710-2t1c-pdr90-d1-avg"
841   include-tests: "latency-PDR90-direction1-avg"
842   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
843   columns:
844     - title: "2106.0-8"
845       data-set: "vpp-2n-clx-hist-iter-new-env"
846     - title: "2110.0-8"
847       data-set: "vpp-2n-clx-prev-iter-old-env"
848     - title: "2110.0-9"
849       data-set: "vpp-2n-clx-prev-iter-new-env"
850     - title: "2202.0-9"
851       data-set: "vpp-2n-clx-curr-iter"
852   comparisons:
853     - title: "2110.0-9 vs 2110.0-8"
854       reference: 2
855       compare: 3
856     - title: "2202.0-9 vs 2110.0-9"
857       reference: 3
858       compare: 4
859   legend:
860     - ''
861     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
862     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
863     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
864     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
865     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
866
867 # VPP Latency Changes 2n-clx 2t1c
868 - type: "table"
869   title: "VPP Latency Changes 2n-clx 2t1c PDR90-direction1-max"
870   algorithm: "table_comparison"
871   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-xxv710-2t1c-pdr90-d1-max"
872   include-tests: "latency-PDR90-direction1-max"
873   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
874   columns:
875     - title: "2106.0-8"
876       data-set: "vpp-2n-clx-hist-iter-new-env"
877     - title: "2110.0-8"
878       data-set: "vpp-2n-clx-prev-iter-old-env"
879     - title: "2110.0-9"
880       data-set: "vpp-2n-clx-prev-iter-new-env"
881     - title: "2202.0-9"
882       data-set: "vpp-2n-clx-curr-iter"
883   comparisons:
884     - title: "2110.0-9 vs 2110.0-8"
885       reference: 2
886       compare: 3
887     - title: "2202.0-9 vs 2110.0-9"
888       reference: 3
889       compare: 4
890   legend:
891     - ''
892     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
893     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
894     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
895     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
896     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
897
898 # VPP Latency Changes 2n-clx 2t1c
899 - type: "table"
900   title: "VPP Latency Changes 2n-clx 2t1c PDR50-direction1-avg"
901   algorithm: "table_comparison"
902   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-cx556a-2t1c-pdr50-d1-avg"
903   include-tests: "latency-PDR50-direction1-avg"
904   filter: "'2T1C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
905   columns:
906     - title: "2106.0-8"
907       data-set: "vpp-2n-clx-hist-iter-new-env"
908     - title: "2110.0-8"
909       data-set: "vpp-2n-clx-prev-iter-old-env"
910     - title: "2110.0-9"
911       data-set: "vpp-2n-clx-prev-iter-new-env"
912     - title: "2202.0-9"
913       data-set: "vpp-2n-clx-curr-iter"
914   comparisons:
915     - title: "2110.0-9 vs 2110.0-8"
916       reference: 2
917       compare: 3
918     - title: "2202.0-9 vs 2110.0-9"
919       reference: 3
920       compare: 4
921   legend:
922     - ''
923     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
924     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
925     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
926     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
927     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
928
929 # VPP Latency Changes 2n-clx 2t1c
930 - type: "table"
931   title: "VPP Latency Changes 2n-clx 2t1c PDR90-direction1-avg"
932   algorithm: "table_comparison"
933   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-cx556a-2t1c-pdr90-d1-avg"
934   include-tests: "latency-PDR90-direction1-avg"
935   filter: "'2T1C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
936   columns:
937     - title: "2106.0-8"
938       data-set: "vpp-2n-clx-hist-iter-new-env"
939     - title: "2110.0-8"
940       data-set: "vpp-2n-clx-prev-iter-old-env"
941     - title: "2110.0-9"
942       data-set: "vpp-2n-clx-prev-iter-new-env"
943     - title: "2202.0-9"
944       data-set: "vpp-2n-clx-curr-iter"
945   comparisons:
946     - title: "2110.0-9 vs 2110.0-8"
947       reference: 2
948       compare: 3
949     - title: "2202.0-9 vs 2110.0-9"
950       reference: 3
951       compare: 4
952   legend:
953     - ''
954     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
955     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
956     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
957     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
958     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
959
960 # VPP Latency Changes 2n-clx 2t1c
961 - type: "table"
962   title: "VPP Latency Changes 2n-clx 2t1c PDR90-direction1-max"
963   algorithm: "table_comparison"
964   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-cx556a-2t1c-pdr90-d1-max"
965   include-tests: "latency-PDR90-direction1-max"
966   filter: "'2T1C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
967   columns:
968     - title: "2106.0-8"
969       data-set: "vpp-2n-clx-hist-iter-new-env"
970     - title: "2110.0-8"
971       data-set: "vpp-2n-clx-prev-iter-old-env"
972     - title: "2110.0-9"
973       data-set: "vpp-2n-clx-prev-iter-new-env"
974     - title: "2202.0-9"
975       data-set: "vpp-2n-clx-curr-iter"
976   comparisons:
977     - title: "2110.0-9 vs 2110.0-8"
978       reference: 2
979       compare: 3
980     - title: "2202.0-9 vs 2110.0-9"
981       reference: 3
982       compare: 4
983   legend:
984     - ''
985     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
986     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
987     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
988     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
989     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
990
991 # VPP Latency Changes 2n-zn2 2t1c
992 - type: "table"
993   title: "VPP Latency Changes 2n-zn2 2t1c PDR50-direction1-avg"
994   algorithm: "table_comparison"
995   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-zn2-xxv710-2t1c-pdr50-d1-avg"
996   include-tests: "latency-PDR50-direction1-avg"
997   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
998   columns:
999     - title: "2106.0-8"
1000       data-set: "vpp-2n-zn2-hist-iter-new-env"
1001     - title: "2110.0-8"
1002       data-set: "vpp-2n-zn2-prev-iter-old-env"
1003     - title: "2110.0-9"
1004       data-set: "vpp-2n-zn2-prev-iter-new-env"
1005     - title: "2202.0-9"
1006       data-set: "vpp-2n-zn2-curr-iter"
1007   comparisons:
1008     - title: "2110.0-9 vs 2110.0-8"
1009       reference: 2
1010       compare: 3
1011     - title: "2202.0-9 vs 2110.0-9"
1012       reference: 3
1013       compare: 4
1014   legend:
1015     - ''
1016     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
1017     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1018     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1019     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1020     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1021
1022 # VPP Latency Changes 2n-zn2 2t1c
1023 - type: "table"
1024   title: "VPP Latency Changes 2n-zn2 2t1c PDR90-direction1-avg"
1025   algorithm: "table_comparison"
1026   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-zn2-xxv710-2t1c-pdr90-d1-avg"
1027   include-tests: "latency-PDR90-direction1-avg"
1028   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
1029   columns:
1030     - title: "2106.0-8"
1031       data-set: "vpp-2n-zn2-hist-iter-new-env"
1032     - title: "2110.0-8"
1033       data-set: "vpp-2n-zn2-prev-iter-old-env"
1034     - title: "2110.0-9"
1035       data-set: "vpp-2n-zn2-prev-iter-new-env"
1036     - title: "2202.0-9"
1037       data-set: "vpp-2n-zn2-curr-iter"
1038   comparisons:
1039     - title: "2110.0-9 vs 2110.0-8"
1040       reference: 2
1041       compare: 3
1042     - title: "2202.0-9 vs 2110.0-9"
1043       reference: 3
1044       compare: 4
1045   legend:
1046     - ''
1047     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
1048     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1049     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1050     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1051     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1052
1053 # VPP Latency Changes 2n-zn2 2t1c
1054 - type: "table"
1055   title: "VPP Latency Changes 2n-zn2 2t1c PDR90-direction1-max"
1056   algorithm: "table_comparison"
1057   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-zn2-xxv710-2t1c-pdr90-d1-max"
1058   include-tests: "latency-PDR90-direction1-max"
1059   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
1060   columns:
1061     - title: "2106.0-8"
1062       data-set: "vpp-2n-zn2-hist-iter-new-env"
1063     - title: "2110.0-8"
1064       data-set: "vpp-2n-zn2-prev-iter-old-env"
1065     - title: "2110.0-9"
1066       data-set: "vpp-2n-zn2-prev-iter-new-env"
1067     - title: "2202.0-9"
1068       data-set: "vpp-2n-zn2-curr-iter"
1069   comparisons:
1070     - title: "2110.0-9 vs 2110.0-8"
1071       reference: 2
1072       compare: 3
1073     - title: "2202.0-9 vs 2110.0-9"
1074       reference: 3
1075       compare: 4
1076   legend:
1077     - ''
1078     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
1079     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1080     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1081     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1082     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1083
1084 # VPP Latency Changes 2n-tx2 1t1c
1085 - type: "table"
1086   title: "VPP Latency Changes 2n-tx2 1t1c PDR50-direction1-avg"
1087   algorithm: "table_comparison"
1088   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-tx2-xl710-1t1c-pdr50-d1-avg"
1089   include-tests: "latency-PDR50-direction1-avg"
1090   filter: "'1T1C' and 'NDRPDR'"
1091   columns:
1092     - title: "2106.0-8"
1093       data-set: "vpp-2n-tx2-hist-iter-new-env"
1094     - title: "2110.0-8"
1095       data-set: "vpp-2n-tx2-prev-iter-old-env"
1096     - title: "2110.0-9"
1097       data-set: "vpp-2n-tx2-prev-iter-new-env"
1098     - title: "2202.0-9"
1099       data-set: "vpp-2n-tx2-curr-iter"
1100   comparisons:
1101     - title: "2110.0-9 vs 2110.0-8"
1102       reference: 2
1103       compare: 3
1104     - title: "2202.0-9 vs 2110.0-9"
1105       reference: 3
1106       compare: 4
1107   legend:
1108     - ''
1109     - 'Test Case:            Test cases executed for: PDR throughput on 2n-tx2 with xl710.'
1110     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1111     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1112     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1113     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1114
1115 # VPP Latency Changes 2n-tx2 1t1c
1116 - type: "table"
1117   title: "VPP Latency Changes 2n-tx2 1t1c PDR90-direction1-avg"
1118   algorithm: "table_comparison"
1119   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-tx2-xl710-1t1c-pdr90-d1-avg"
1120   include-tests: "latency-PDR90-direction1-avg"
1121   filter: "'1T1C' and 'NDRPDR'"
1122   columns:
1123     - title: "2106.0-8"
1124       data-set: "vpp-2n-tx2-hist-iter-new-env"
1125     - title: "2110.0-8"
1126       data-set: "vpp-2n-tx2-prev-iter-old-env"
1127     - title: "2110.0-9"
1128       data-set: "vpp-2n-tx2-prev-iter-new-env"
1129     - title: "2202.0-9"
1130       data-set: "vpp-2n-tx2-curr-iter"
1131   comparisons:
1132     - title: "2110.0-9 vs 2110.0-8"
1133       reference: 2
1134       compare: 3
1135     - title: "2202.0-9 vs 2110.0-9"
1136       reference: 3
1137       compare: 4
1138   legend:
1139     - ''
1140     - 'Test Case:            Test cases executed for: PDR throughput on 2n-tx2 with xl710.'
1141     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1142     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1143     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1144     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1145
1146 # VPP Latency Changes 2n-tx2 1t1c
1147 - type: "table"
1148   title: "VPP Latency Changes 2n-tx2 1t1c PDR90-direction1-max"
1149   algorithm: "table_comparison"
1150   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-tx2-xl710-1t1c-pdr90-d1-max"
1151   include-tests: "latency-PDR90-direction1-max"
1152   filter: "'1T1C' and 'NDRPDR'"
1153   columns:
1154     - title: "2106.0-8"
1155       data-set: "vpp-2n-tx2-hist-iter-new-env"
1156     - title: "2110.0-8"
1157       data-set: "vpp-2n-tx2-prev-iter-old-env"
1158     - title: "2110.0-9"
1159       data-set: "vpp-2n-tx2-prev-iter-new-env"
1160     - title: "2202.0-9"
1161       data-set: "vpp-2n-tx2-curr-iter"
1162   comparisons:
1163     - title: "2110.0-9 vs 2110.0-8"
1164       reference: 2
1165       compare: 3
1166     - title: "2202.0-9 vs 2110.0-9"
1167       reference: 3
1168       compare: 4
1169   legend:
1170     - ''
1171     - 'Test Case:            Test cases executed for: PDR throughput on 2n-tx2 with xl710.'
1172     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1173     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1174     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1175     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1176
1177 # VPP Latency Changes 3n-tsh 1t1c
1178 - type: "table"
1179   title: "VPP Latency Changes 3n-tsh 1t1c PDR50-direction1-avg"
1180   algorithm: "table_comparison"
1181   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-tsh-x520-1t1c-pdr50-d1-avg"
1182   include-tests: "latency-PDR50-direction1-avg"
1183   filter: "'1T1C' and 'NDRPDR'"
1184   columns:
1185     - title: "2106.0-8"
1186       data-set: "vpp-3n-tsh-hist-iter-new-env"
1187     - title: "2110.0-8"
1188       data-set: "vpp-3n-tsh-prev-iter-old-env"
1189     - title: "2110.0-9"
1190       data-set: "vpp-3n-tsh-prev-iter-new-env"
1191     - title: "2202.0-9"
1192       data-set: "vpp-3n-tsh-curr-iter"
1193   comparisons:
1194     - title: "2110.0-9 vs 2110.0-8"
1195       reference: 2
1196       compare: 3
1197     - title: "2202.0-9 vs 2110.0-9"
1198       reference: 3
1199       compare: 4
1200   legend:
1201     - ''
1202     - 'Test Case:            Test cases executed for: PDR throughput on 3n-tsh with x520.'
1203     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1204     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1205     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1206     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1207
1208 # VPP Latency Changes 3n-tsh 1t1c
1209 - type: "table"
1210   title: "VPP Latency Changes 3n-tsh 1t1c PDR90-direction1-avg"
1211   algorithm: "table_comparison"
1212   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-tsh-x520-1t1c-pdr90-d1-avg"
1213   include-tests: "latency-PDR90-direction1-avg"
1214   filter: "'1T1C' and 'NDRPDR'"
1215   columns:
1216     - title: "2106.0-8"
1217       data-set: "vpp-3n-tsh-hist-iter-new-env"
1218     - title: "2110.0-8"
1219       data-set: "vpp-3n-tsh-prev-iter-old-env"
1220     - title: "2110.0-9"
1221       data-set: "vpp-3n-tsh-prev-iter-new-env"
1222     - title: "2202.0-9"
1223       data-set: "vpp-3n-tsh-curr-iter"
1224   comparisons:
1225     - title: "2110.0-9 vs 2110.0-8"
1226       reference: 2
1227       compare: 3
1228     - title: "2202.0-9 vs 2110.0-9"
1229       reference: 3
1230       compare: 4
1231   legend:
1232     - ''
1233     - 'Test Case:            Test cases executed for: PDR throughput on 3n-tsh with x520.'
1234     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1235     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1236     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1237     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1238
1239 # VPP Latency Changes 3n-tsh 1t1c
1240 - type: "table"
1241   title: "VPP Latency Changes 3n-tsh 1t1c PDR90-direction1-max"
1242   algorithm: "table_comparison"
1243   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-tsh-x520-1t1c-pdr90-d1-max"
1244   include-tests: "latency-PDR90-direction1-max"
1245   filter: "'1T1C' and 'NDRPDR'"
1246   columns:
1247     - title: "2106.0-8"
1248       data-set: "vpp-3n-tsh-hist-iter-new-env"
1249     - title: "2110.0-8"
1250       data-set: "vpp-3n-tsh-prev-iter-old-env"
1251     - title: "2110.0-9"
1252       data-set: "vpp-3n-tsh-prev-iter-new-env"
1253     - title: "2202.0-9"
1254       data-set: "vpp-3n-tsh-curr-iter"
1255   comparisons:
1256     - title: "2110.0-9 vs 2110.0-8"
1257       reference: 2
1258       compare: 3
1259     - title: "2202.0-9 vs 2110.0-9"
1260       reference: 3
1261       compare: 4
1262   legend:
1263     - ''
1264     - 'Test Case:            Test cases executed for: PDR throughput on 3n-tsh with x520.'
1265     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1266     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1267     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1268     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1269
1270 # VPP Soak vs NDR - 2n-icx
1271 - type: "table"
1272   title: "VPP Soak vs NDR 2n-icx"
1273   algorithm: "table_soak_vs_ndr"
1274   output-file: "{DIR[STATIC,VPP]}/soak-vs-ndr-2n-icx"
1275   reference:
1276     title: "NDR"
1277     data: "vpp-soak-vs-ndr-2n-icx-ref"
1278   compare:
1279     title: "Soak"
1280     data: "vpp-2n-icx-curr-soak"
1281   data: "vpp-soak-vs-ndr-2n-icx"
1282   include-tests: "NDR"
1283   filter: "'NDRPDR' or 'SOAK'"
1284   parameters:
1285     - "throughput"
1286     - "name"
1287     - "parent"
1288
1289 # VPP Soak vs NDR - 2n-skx
1290 - type: "table"
1291   title: "VPP Soak vs NDR 2n-skx"
1292   algorithm: "table_soak_vs_ndr"
1293   output-file: "{DIR[STATIC,VPP]}/soak-vs-ndr-2n-skx"
1294   reference:
1295     title: "NDR"
1296     data: "vpp-soak-vs-ndr-2n-skx-ref"
1297   compare:
1298     title: "Soak"
1299     data: "vpp-2n-skx-curr-soak"
1300   data: "vpp-soak-vs-ndr-2n-skx"
1301   include-tests: "NDR"
1302   filter: "('NDRPDR' or 'SOAK') and not 'NF_DENSITY'"
1303   parameters:
1304     - "throughput"
1305     - "name"
1306     - "parent"
1307
1308 # VPP Soak vs NDR - 2n-clx
1309 - type: "table"
1310   title: "VPP Soak vs NDR 2n-clx"
1311   algorithm: "table_soak_vs_ndr"
1312   output-file: "{DIR[STATIC,VPP]}/soak-vs-ndr-2n-clx"
1313   reference:
1314     title: "NDR"
1315     data: "vpp-soak-vs-ndr-2n-clx-ref"
1316   compare:
1317     title: "Soak"
1318     data: "vpp-2n-clx-curr-soak"
1319   data: "vpp-soak-vs-ndr-2n-clx"
1320   include-tests: "NDR"
1321   filter: "('NDRPDR' or 'SOAK') and not 'NF_DENSITY'"
1322   parameters:
1323     - "throughput"
1324     - "name"
1325     - "parent"
1326
1327 ################################################################################
1328
1329 # VPP Compare NICs 3n-skx 2t1c ndr
1330 - type: "table"
1331   title: "VPP Compare NICs 3n-skx 2t1c ndr"
1332   algorithm: "table_comparison"
1333   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-ndr"
1334   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1335   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
1336   columns:
1337     - title: "x710"
1338       data-set: "vpp-3n-skx-curr-iter"
1339       tag: "NIC_Intel-X710"
1340     - title: "xxv710"
1341       data-set: "vpp-3n-skx-curr-iter"
1342       tag: "NIC_Intel-XXV710"
1343   comparisons:
1344     - title: "Diff"
1345       reference: 1
1346       compare: 2
1347   legend:
1348     - ""
1349     - "x710, xxv710 - NICs tested."
1350     - "Diff - difference between x710 and xxv710 NIC."
1351
1352 # VPP Compare NICs 3n-skx 4t2c ndr
1353 - type: "table"
1354   title: "VPP Compare NICs 3n-skx 4t2c ndr"
1355   algorithm: "table_comparison"
1356   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-ndr"
1357   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1358   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
1359   columns:
1360     - title: "x710"
1361       data-set: "vpp-3n-skx-curr-iter"
1362       tag: "NIC_Intel-X710"
1363     - title: "xxv710"
1364       data-set: "vpp-3n-skx-curr-iter"
1365       tag: "NIC_Intel-XXV710"
1366   comparisons:
1367     - title: "Diff"
1368       reference: 1
1369       compare: 2
1370   legend:
1371     - ""
1372     - "x710, xxv710 - NICs tested."
1373     - "Diff - difference between x710 and xxv710 NIC."
1374
1375 # VPP Compare NICs 3n-skx 2t1c pdr
1376 - type: "table"
1377   title: "VPP Compare NICs 3n-skx 2t1c pdr"
1378   algorithm: "table_comparison"
1379   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-pdr"
1380   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1381   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
1382   columns:
1383     - title: "x710"
1384       data-set: "vpp-3n-skx-curr-iter"
1385       tag: "NIC_Intel-X710"
1386     - title: "xxv710"
1387       data-set: "vpp-3n-skx-curr-iter"
1388       tag: "NIC_Intel-XXV710"
1389   comparisons:
1390     - title: "Diff"
1391       reference: 1
1392       compare: 2
1393   legend:
1394     - ""
1395     - "x710, xxv710 - NICs tested."
1396     - "Diff - difference between x710 and xxv710 NIC."
1397
1398 # VPP Compare NICs 3n-skx 4t2c pdr
1399 - type: "table"
1400   title: "VPP Compare NICs 3n-skx 4t2c pdr"
1401   algorithm: "table_comparison"
1402   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-pdr"
1403   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1404   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
1405   columns:
1406     - title: "x710"
1407       data-set: "vpp-3n-skx-curr-iter"
1408       tag: "NIC_Intel-X710"
1409     - title: "xxv710"
1410       data-set: "vpp-3n-skx-curr-iter"
1411       tag: "NIC_Intel-XXV710"
1412   comparisons:
1413     - title: "Diff"
1414       reference: 1
1415       compare: 2
1416   legend:
1417     - ""
1418     - "x710, xxv710 - NICs tested."
1419     - "Diff - difference between x710 and xxv710 NIC."
1420
1421 # VPP Compare NICs 3n-skx 2t1c mrr
1422 - type: "table"
1423   title: "VPP Compare NICs 3n-skx 2t1c mrr"
1424   algorithm: "table_comparison"
1425   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-mrr"
1426   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1427   filter: "'2T1C' and 'MRR' and not 'NF_DENSITY'"
1428   columns:
1429     - title: "x710"
1430       data-set: "vpp-3n-skx-curr-iter-mrr"
1431       tag: "NIC_Intel-X710"
1432     - title: "xxv710"
1433       data-set: "vpp-3n-skx-curr-iter-mrr"
1434       tag: "NIC_Intel-XXV710"
1435   comparisons:
1436     - title: "Diff"
1437       reference: 1
1438       compare: 2
1439   legend:
1440     - ""
1441     - "x710, xxv710 - NICs tested."
1442     - "Diff - difference between x710 and xxv710 NIC."
1443
1444 # VPP Compare NICs 3n-skx 4t2c mrr
1445 - type: "table"
1446   title: "VPP Compare NICs 3n-skx 4t2c mrr"
1447   algorithm: "table_comparison"
1448   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-mrr"
1449   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1450   filter: "'4T2C' and 'MRR' and not 'NF_DENSITY'"
1451   columns:
1452     - title: "x710"
1453       data-set: "vpp-3n-skx-curr-iter-mrr"
1454       tag: "NIC_Intel-X710"
1455     - title: "xxv710"
1456       data-set: "vpp-3n-skx-curr-iter-mrr"
1457       tag: "NIC_Intel-XXV710"
1458   comparisons:
1459     - title: "Diff"
1460       reference: 1
1461       compare: 2
1462   legend:
1463     - ""
1464     - "x710, xxv710 - NICs tested."
1465     - "Diff - difference between x710 and xxv710 NIC."
1466
1467 # VPP Compare NICs 3n-skx 8t4c mrr
1468 - type: "table"
1469   title: "VPP Compare NICs 3n-skx 8t4c mrr"
1470   algorithm: "table_comparison"
1471   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-8t4c-nics-mrr"
1472   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1473   filter: "'8T4C' and 'MRR' and not 'NF_DENSITY'"
1474   columns:
1475     - title: "x710"
1476       data-set: "vpp-3n-skx-curr-iter-mrr"
1477       tag: "NIC_Intel-X710"
1478     - title: "xxv710"
1479       data-set: "vpp-3n-skx-curr-iter-mrr"
1480       tag: "NIC_Intel-XXV710"
1481   comparisons:
1482     - title: "Diff"
1483       reference: 1
1484       compare: 2
1485   legend:
1486     - ""
1487     - "x710, xxv710 - NICs tested."
1488     - "Diff - difference between x710 and xxv710 NIC."
1489
1490 # VPP Compare NICs 2n-skx 2t1c ndr
1491 - type: "table"
1492   title: "VPP Compare NICs 2n-skx 2t1c ndr"
1493   algorithm: "table_comparison"
1494   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-nics-ndr"
1495   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1496   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
1497   columns:
1498     - title: "x710"
1499       data-set: "vpp-2n-skx-curr-iter"
1500       tag: "NIC_Intel-X710"
1501     - title: "xxv710"
1502       data-set: "vpp-2n-skx-curr-iter"
1503       tag: "NIC_Intel-XXV710"
1504   comparisons:
1505     - title: "Diff"
1506       reference: 1
1507       compare: 2
1508   legend:
1509     - ""
1510     - "x710, xxv710 - NICs tested."
1511     - "Diff - difference between x710 and xxv710 NIC."
1512
1513 # VPP Compare NICs 2n-skx 4t2c ndr
1514 - type: "table"
1515   title: "VPP Compare NICs 2n-skx 4t2c ndr"
1516   algorithm: "table_comparison"
1517   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-nics-ndr"
1518   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1519   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
1520   columns:
1521     - title: "x710"
1522       data-set: "vpp-2n-skx-curr-iter"
1523       tag: "NIC_Intel-X710"
1524     - title: "xxv710"
1525       data-set: "vpp-2n-skx-curr-iter"
1526       tag: "NIC_Intel-XXV710"
1527   comparisons:
1528     - title: "Diff"
1529       reference: 1
1530       compare: 2
1531   legend:
1532     - ""
1533     - "x710, xxv710 - NICs tested."
1534     - "Diff - difference between x710 and xxv710 NIC."
1535
1536 # VPP Compare NICs 2n-skx 2t1c pdr
1537 - type: "table"
1538   title: "VPP Compare NICs 2n-skx 2t1c pdr"
1539   algorithm: "table_comparison"
1540   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-nics-pdr"
1541   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1542   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
1543   columns:
1544     - title: "x710"
1545       data-set: "vpp-2n-skx-curr-iter"
1546       tag: "NIC_Intel-X710"
1547     - title: "xxv710"
1548       data-set: "vpp-2n-skx-curr-iter"
1549       tag: "NIC_Intel-XXV710"
1550   comparisons:
1551     - title: "Diff"
1552       reference: 1
1553       compare: 2
1554   legend:
1555     - ""
1556     - "x710, xxv710 - NICs tested."
1557     - "Diff - difference between x710 and xxv710 NIC."
1558
1559 # VPP Compare NICs 2n-skx 4t2c pdr
1560 - type: "table"
1561   title: "VPP Compare NICs 2n-skx 4t2c pdr"
1562   algorithm: "table_comparison"
1563   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-nics-pdr"
1564   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1565   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
1566   columns:
1567     - title: "x710"
1568       data-set: "vpp-2n-skx-curr-iter"
1569       tag: "NIC_Intel-X710"
1570     - title: "xxv710"
1571       data-set: "vpp-2n-skx-curr-iter"
1572       tag: "NIC_Intel-XXV710"
1573   comparisons:
1574     - title: "Diff"
1575       reference: 1
1576       compare: 2
1577   legend:
1578     - ""
1579     - "x710, xxv710 - NICs tested."
1580     - "Diff - difference between x710 and xxv710 NIC."
1581
1582 # VPP Compare NICs 2n-skx 2t1c mrr
1583 - type: "table"
1584   title: "VPP Compare NICs 2n-skx 2t1c mrr"
1585   algorithm: "table_comparison"
1586   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-nics-mrr"
1587   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1588   filter: "'2T1C' and 'MRR' and not 'NF_DENSITY'"
1589   columns:
1590     - title: "x710"
1591       data-set: "vpp-2n-skx-curr-iter-mrr"
1592       tag: "NIC_Intel-X710"
1593     - title: "xxv710"
1594       data-set: "vpp-2n-skx-curr-iter-mrr"
1595       tag: "NIC_Intel-XXV710"
1596   comparisons:
1597     - title: "Diff"
1598       reference: 1
1599       compare: 2
1600   legend:
1601     - ""
1602     - "x710, xxv710 - NICs tested."
1603     - "Diff - difference between x710 and xxv710 NIC."
1604
1605 # VPP Compare NICs 2n-skx 4t2c mrr
1606 - type: "table"
1607   title: "VPP Compare NICs 2n-skx 4t2c mrr"
1608   algorithm: "table_comparison"
1609   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-nics-mrr"
1610   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1611   filter: "'4T2C' and 'MRR' and not 'NF_DENSITY'"
1612   columns:
1613     - title: "x710"
1614       data-set: "vpp-2n-skx-curr-iter-mrr"
1615       tag: "NIC_Intel-X710"
1616     - title: "xxv710"
1617       data-set: "vpp-2n-skx-curr-iter-mrr"
1618       tag: "NIC_Intel-XXV710"
1619   comparisons:
1620     - title: "Diff"
1621       reference: 1
1622       compare: 2
1623   legend:
1624     - ""
1625     - "x710, xxv710 - NICs tested."
1626     - "Diff - difference between x710 and xxv710 NIC."
1627
1628 # VPP Compare NICs 2n-skx 8t4c mrr
1629 - type: "table"
1630   title: "VPP Compare NICs 2n-skx 8t4c mrr"
1631   algorithm: "table_comparison"
1632   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-8t4c-nics-mrr"
1633   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1634   filter: "'8T4C' and 'MRR' and not 'NF_DENSITY'"
1635   columns:
1636     - title: "x710"
1637       data-set: "vpp-2n-skx-curr-iter-mrr"
1638       tag: "NIC_Intel-X710"
1639     - title: "xxv710"
1640       data-set: "vpp-2n-skx-curr-iter-mrr"
1641       tag: "NIC_Intel-XXV710"
1642   comparisons:
1643     - title: "Diff"
1644       reference: 1
1645       compare: 2
1646   legend:
1647     - ""
1648     - "x710, xxv710 - NICs tested."
1649     - "Diff - difference between x710 and xxv710 NIC."
1650
1651 ################################################################################
1652 # VPP
1653
1654 # VPP Performance Changes 3n-skx Hoststack
1655 - type: "table"
1656   title: "VPP Performance Changes 3n-skx Hoststack"
1657   algorithm: "table_comparison"
1658   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-hoststack"
1659   include-tests: "hoststack"
1660   filter: "all"
1661   columns:
1662     - title: "2110.0-8"
1663       data-set: "vpp-3n-skx-prev-iter-hoststack-old-env"
1664     - title: "2202.0-9"
1665       data-set: "vpp-3n-skx-curr-iter-hoststack"
1666   comparisons:
1667     - title: "2202.0-9 vs 2110.0-8"
1668       reference: 1
1669       compare: 2
1670   legend:
1671     - ''
1672     - 'Test Case:            Test cases executed for: Hoststack on 3n-skx with xxv710.'
1673     - 'YYMM.V-E:             [Gbps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1674     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1675     - '2202.0-9 vs 2110.0-8: Compares VPP code current vs previous.'
1676
1677 # VPP Performance Changes 2n-clx VSAP
1678 - type: "table"
1679   title: "VPP Performance Changes 2n-clx VSAP"
1680   algorithm: "table_comparison"
1681   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-vsap"
1682   include-tests: "vsap"
1683   filter: "all"
1684   columns:
1685     - title: "2110.0-8"
1686       data-set: "vpp-2n-clx-curr-iter-vsap-old-env"
1687     - title: "2202.0-9"
1688       data-set: "vpp-2n-clx-curr-iter-vsap"
1689   comparisons:
1690     - title: "2202.0-9 vs 2110.0-8"
1691       reference: 1
1692       compare: 2
1693   legend:
1694     - ''
1695     - 'Test Case:            Test cases executed for: VSAP on 2n-clx with cx556a.'
1696     - 'YYMM.V-E:             [cps|rps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1697     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1698     - '2202.0-9 vs 2110.0-8: Compares VPP code current vs previous.'
1699
1700 # VPP Performance Changes 3n-skx 2t1c pdr
1701 - type: "table"
1702   title: "VPP Performance Changes 3n-skx 2t1c pdr"
1703   algorithm: "table_comparison"
1704   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-pdr"
1705   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1706   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1707   columns:
1708     - title: "2106.0-8"
1709       data-set: "vpp-3n-skx-hist-iter-new-env"
1710     - title: "2110.0-8"
1711       data-set: "vpp-3n-skx-prev-iter-old-env"
1712     - title: "2110.0-9"
1713       data-set: "vpp-3n-skx-prev-iter-new-env"
1714     - title: "2202.0-9"
1715       data-set: "vpp-3n-skx-curr-iter"
1716   comparisons:
1717     - title: "2110.0-9 vs 2110.0-8"
1718       reference: 2
1719       compare: 3
1720     - title: "2202.0-9 vs 2110.0-9"
1721       reference: 3
1722       compare: 4
1723   legend:
1724     - ''
1725     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
1726     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1727     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1728     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1729     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1730
1731 # VPP Performance Changes 3n-skx 4t2c pdr
1732 - type: "table"
1733   title: "VPP Performance Changes 3n-skx 4t2c pdr"
1734   algorithm: "table_comparison"
1735   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-pdr"
1736   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1737   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1738   columns:
1739     - title: "2106.0-8"
1740       data-set: "vpp-3n-skx-hist-iter-new-env"
1741     - title: "2110.0-8"
1742       data-set: "vpp-3n-skx-prev-iter-old-env"
1743     - title: "2110.0-9"
1744       data-set: "vpp-3n-skx-prev-iter-new-env"
1745     - title: "2202.0-9"
1746       data-set: "vpp-3n-skx-curr-iter"
1747   comparisons:
1748     - title: "2110.0-9 vs 2110.0-8"
1749       reference: 2
1750       compare: 3
1751     - title: "2202.0-9 vs 2110.0-9"
1752       reference: 3
1753       compare: 4
1754   legend:
1755     - ''
1756     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
1757     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1758     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1759     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1760     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1761
1762 # VPP Performance Changes 3n-skx 2t1c ndr
1763 - type: "table"
1764   title: "VPP Performance Changes 3n-skx 2t1c ndr"
1765   algorithm: "table_comparison"
1766   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-ndr"
1767   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1768   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1769   columns:
1770     - title: "2106.0-8"
1771       data-set: "vpp-3n-skx-hist-iter-new-env"
1772     - title: "2110.0-8"
1773       data-set: "vpp-3n-skx-prev-iter-old-env"
1774     - title: "2110.0-9"
1775       data-set: "vpp-3n-skx-prev-iter-new-env"
1776     - title: "2202.0-9"
1777       data-set: "vpp-3n-skx-curr-iter"
1778   comparisons:
1779     - title: "2110.0-9 vs 2110.0-8"
1780       reference: 2
1781       compare: 3
1782     - title: "2202.0-9 vs 2110.0-9"
1783       reference: 3
1784       compare: 4
1785   legend:
1786     - ''
1787     - 'Test Case:            Test cases executed for: NDR throughput on 3n-skx with xxv710.'
1788     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1789     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1790     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1791     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1792
1793 # VPP Performance Changes 3n-skx 4t2c ndr
1794 - type: "table"
1795   title: "VPP Performance Changes 3n-skx 4t2c ndr"
1796   algorithm: "table_comparison"
1797   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-ndr"
1798   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1799   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1800   columns:
1801     - title: "2106.0-8"
1802       data-set: "vpp-3n-skx-hist-iter-new-env"
1803     - title: "2110.0-8"
1804       data-set: "vpp-3n-skx-prev-iter-old-env"
1805     - title: "2110.0-9"
1806       data-set: "vpp-3n-skx-prev-iter-new-env"
1807     - title: "2202.0-9"
1808       data-set: "vpp-3n-skx-curr-iter"
1809   comparisons:
1810     - title: "2110.0-9 vs 2110.0-8"
1811       reference: 2
1812       compare: 3
1813     - title: "2202.0-9 vs 2110.0-9"
1814       reference: 3
1815       compare: 4
1816   legend:
1817     - ''
1818     - 'Test Case:            Test cases executed for: NDR throughput on 3n-skx with xxv710.'
1819     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1820     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1821     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1822     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1823
1824 # VPP Performance Changes 2n-skx 2t1c pdr
1825 - type: "table"
1826   title: "VPP Performance Changes 2n-skx 2t1c pdr"
1827   algorithm: "table_comparison"
1828   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-pdr"
1829   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1830   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1831   columns:
1832     - title: "2106.0-8"
1833       data-set: "vpp-2n-skx-hist-iter-new-env"
1834     - title: "2110.0-8"
1835       data-set: "vpp-2n-skx-prev-iter-old-env"
1836     - title: "2110.0-9"
1837       data-set: "vpp-2n-skx-prev-iter-new-env"
1838     - title: "2202.0-9"
1839       data-set: "vpp-2n-skx-curr-iter"
1840   comparisons:
1841     - title: "2110.0-9 vs 2110.0-8"
1842       reference: 2
1843       compare: 3
1844     - title: "2202.0-9 vs 2110.0-9"
1845       reference: 3
1846       compare: 4
1847   legend:
1848     - ''
1849     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
1850     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1851     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1852     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1853     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1854
1855 # VPP Performance Changes 2n-skx 4t2c pdr
1856 - type: "table"
1857   title: "VPP Performance Changes 2n-skx 4t2c pdr"
1858   algorithm: "table_comparison"
1859   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-pdr"
1860   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1861   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1862   columns:
1863     - title: "2106.0-8"
1864       data-set: "vpp-2n-skx-hist-iter-new-env"
1865     - title: "2110.0-8"
1866       data-set: "vpp-2n-skx-prev-iter-old-env"
1867     - title: "2110.0-9"
1868       data-set: "vpp-2n-skx-prev-iter-new-env"
1869     - title: "2202.0-9"
1870       data-set: "vpp-2n-skx-curr-iter"
1871   comparisons:
1872     - title: "2110.0-9 vs 2110.0-8"
1873       reference: 2
1874       compare: 3
1875     - title: "2202.0-9 vs 2110.0-9"
1876       reference: 3
1877       compare: 4
1878   legend:
1879     - ''
1880     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
1881     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1882     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1883     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1884     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1885
1886 # VPP Performance Changes 2n-skx 2t1c ndr
1887 - type: "table"
1888   title: "VPP Performance Changes 2n-skx 2t1c ndr"
1889   algorithm: "table_comparison"
1890   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-ndr"
1891   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1892   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1893   columns:
1894     - title: "2106.0-8"
1895       data-set: "vpp-2n-skx-hist-iter-new-env"
1896     - title: "2110.0-8"
1897       data-set: "vpp-2n-skx-prev-iter-old-env"
1898     - title: "2110.0-9"
1899       data-set: "vpp-2n-skx-prev-iter-new-env"
1900     - title: "2202.0-9"
1901       data-set: "vpp-2n-skx-curr-iter"
1902   comparisons:
1903     - title: "2110.0-9 vs 2110.0-8"
1904       reference: 2
1905       compare: 3
1906     - title: "2202.0-9 vs 2110.0-9"
1907       reference: 3
1908       compare: 4
1909   legend:
1910     - ''
1911     - 'Test Case:            Test cases executed for: NDR throughput on 2n-skx with xxv710.'
1912     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1913     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1914     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1915     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1916
1917 # VPP Performance Changes 2n-skx 4t2c ndr
1918 - type: "table"
1919   title: "VPP Performance Changes 2n-skx 4t2c ndr"
1920   algorithm: "table_comparison"
1921   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-ndr"
1922   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1923   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1924   columns:
1925     - title: "2106.0-8"
1926       data-set: "vpp-2n-skx-hist-iter-new-env"
1927     - title: "2110.0-8"
1928       data-set: "vpp-2n-skx-prev-iter-old-env"
1929     - title: "2110.0-9"
1930       data-set: "vpp-2n-skx-prev-iter-new-env"
1931     - title: "2202.0-9"
1932       data-set: "vpp-2n-skx-curr-iter"
1933   comparisons:
1934     - title: "2110.0-9 vs 2110.0-8"
1935       reference: 2
1936       compare: 3
1937     - title: "2202.0-9 vs 2110.0-9"
1938       reference: 3
1939       compare: 4
1940   legend:
1941     - ''
1942     - 'Test Case:            Test cases executed for: NDR throughput on 2n-skx with xxv710.'
1943     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1944     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1945     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1946     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1947
1948 # VPP Performance Changes 2n-clx-xxv710 2t1c pdr
1949 - type: "table"
1950   title: "VPP Performance Changes 2n-clx-xxv710 2t1c pdr"
1951   algorithm: "table_comparison"
1952   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-xxv710-2t1c-pdr"
1953   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1954   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1955   columns:
1956     - title: "2106.0-8"
1957       data-set: "vpp-2n-clx-hist-iter-new-env"
1958     - title: "2110.0-8"
1959       data-set: "vpp-2n-clx-prev-iter-old-env"
1960     - title: "2110.0-9"
1961       data-set: "vpp-2n-clx-prev-iter-new-env"
1962     - title: "2202.0-9"
1963       data-set: "vpp-2n-clx-curr-iter"
1964   comparisons:
1965     - title: "2110.0-9 vs 2110.0-8"
1966       reference: 2
1967       compare: 3
1968     - title: "2202.0-9 vs 2110.0-9"
1969       reference: 3
1970       compare: 4
1971   legend:
1972     - ''
1973     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
1974     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1975     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1976     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1977     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1978
1979 # VPP Performance Changes 2n-clx-xxv710 4t2c pdr
1980 - type: "table"
1981   title: "VPP Performance Changes 2n-clx-xxv710 4t2c pdr"
1982   algorithm: "table_comparison"
1983   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-xxv710-4t2c-pdr"
1984   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1985   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1986   columns:
1987     - title: "2106.0-8"
1988       data-set: "vpp-2n-clx-hist-iter-new-env"
1989     - title: "2110.0-8"
1990       data-set: "vpp-2n-clx-prev-iter-old-env"
1991     - title: "2110.0-9"
1992       data-set: "vpp-2n-clx-prev-iter-new-env"
1993     - title: "2202.0-9"
1994       data-set: "vpp-2n-clx-curr-iter"
1995   comparisons:
1996     - title: "2110.0-9 vs 2110.0-8"
1997       reference: 2
1998       compare: 3
1999     - title: "2202.0-9 vs 2110.0-9"
2000       reference: 3
2001       compare: 4
2002   legend:
2003     - ''
2004     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
2005     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2006     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2007     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2008     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2009
2010 # VPP Performance Changes 2n-clx-xxv710 2t1c ndr
2011 - type: "table"
2012   title: "VPP Performance Changes 2n-clx-xxv710 2t1c ndr"
2013   algorithm: "table_comparison"
2014   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-xxv710-2t1c-ndr"
2015   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2016   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2017   columns:
2018     - title: "2106.0-8"
2019       data-set: "vpp-2n-clx-hist-iter-new-env"
2020     - title: "2110.0-8"
2021       data-set: "vpp-2n-clx-prev-iter-old-env"
2022     - title: "2110.0-9"
2023       data-set: "vpp-2n-clx-prev-iter-new-env"
2024     - title: "2202.0-9"
2025       data-set: "vpp-2n-clx-curr-iter"
2026   comparisons:
2027     - title: "2110.0-9 vs 2110.0-8"
2028       reference: 2
2029       compare: 3
2030     - title: "2202.0-9 vs 2110.0-9"
2031       reference: 3
2032       compare: 4
2033   legend:
2034     - ''
2035     - 'Test Case:            Test cases executed for: NDR throughput on 2n-clx with xxv710.'
2036     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2037     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2038     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2039     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2040
2041 # VPP Performance Changes 2n-clx-xxv710 4t2c ndr
2042 - type: "table"
2043   title: "VPP Performance Changes 2n-clx-xxv710 ndr"
2044   algorithm: "table_comparison"
2045   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-xxv710-4t2c-ndr"
2046   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2047   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2048   columns:
2049     - title: "2106.0-8"
2050       data-set: "vpp-2n-clx-hist-iter-new-env"
2051     - title: "2110.0-8"
2052       data-set: "vpp-2n-clx-prev-iter-old-env"
2053     - title: "2110.0-9"
2054       data-set: "vpp-2n-clx-prev-iter-new-env"
2055     - title: "2202.0-9"
2056       data-set: "vpp-2n-clx-curr-iter"
2057   comparisons:
2058     - title: "2110.0-9 vs 2110.0-8"
2059       reference: 2
2060       compare: 3
2061     - title: "2202.0-9 vs 2110.0-9"
2062       reference: 3
2063       compare: 4
2064   legend:
2065     - ''
2066     - 'Test Case:            Test cases executed for: NDR throughput on 2n-clx with xxv710.'
2067     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2068     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2069     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2070     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2071
2072 # VPP Performance Changes 2n-clx-cx556a 2t1c pdr
2073 - type: "table"
2074   title: "VPP Performance Changes 2n-clx-cx556a 2t1c pdr"
2075   algorithm: "table_comparison"
2076   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-cx556a-2t1c-pdr"
2077   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2078   filter: "'2T1C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
2079   columns:
2080     - title: "2106.0-8"
2081       data-set: "vpp-2n-clx-hist-iter-new-env"
2082     - title: "2110.0-8"
2083       data-set: "vpp-2n-clx-prev-iter-old-env"
2084     - title: "2110.0-9"
2085       data-set: "vpp-2n-clx-prev-iter-new-env"
2086     - title: "2202.0-9"
2087       data-set: "vpp-2n-clx-curr-iter"
2088   comparisons:
2089     - title: "2110.0-9 vs 2110.0-8"
2090       reference: 2
2091       compare: 3
2092     - title: "2202.0-9 vs 2110.0-9"
2093       reference: 3
2094       compare: 4
2095   legend:
2096     - ''
2097     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
2098     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2099     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2100     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2101     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2102
2103 # VPP Performance Changes 2n-clx-cx556a 4t2c pdr
2104 - type: "table"
2105   title: "VPP Performance Changes 2n-clx-cx556a 4t2c pdr"
2106   algorithm: "table_comparison"
2107   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-cx556a-4t2c-pdr"
2108   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2109   filter: "'4T2C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
2110   columns:
2111     - title: "2106.0-8"
2112       data-set: "vpp-2n-clx-hist-iter-new-env"
2113     - title: "2110.0-8"
2114       data-set: "vpp-2n-clx-prev-iter-old-env"
2115     - title: "2110.0-9"
2116       data-set: "vpp-2n-clx-prev-iter-new-env"
2117     - title: "2202.0-9"
2118       data-set: "vpp-2n-clx-curr-iter"
2119   comparisons:
2120     - title: "2110.0-9 vs 2110.0-8"
2121       reference: 2
2122       compare: 3
2123     - title: "2202.0-9 vs 2110.0-9"
2124       reference: 3
2125       compare: 4
2126   legend:
2127     - ''
2128     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
2129     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2130     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2131     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2132     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2133
2134 # VPP Performance Changes 2n-clx-cx556a 2t1c ndr
2135 - type: "table"
2136   title: "VPP Performance Changes 2n-clx-cx556a 2t1c ndr"
2137   algorithm: "table_comparison"
2138   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-cx556a-2t1c-ndr"
2139   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2140   filter: "'2T1C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
2141   columns:
2142     - title: "2106.0-8"
2143       data-set: "vpp-2n-clx-hist-iter-new-env"
2144     - title: "2110.0-8"
2145       data-set: "vpp-2n-clx-prev-iter-old-env"
2146     - title: "2110.0-9"
2147       data-set: "vpp-2n-clx-prev-iter-new-env"
2148     - title: "2202.0-9"
2149       data-set: "vpp-2n-clx-curr-iter"
2150   comparisons:
2151     - title: "2110.0-9 vs 2110.0-8"
2152       reference: 2
2153       compare: 3
2154     - title: "2202.0-9 vs 2110.0-9"
2155       reference: 3
2156       compare: 4
2157   legend:
2158     - ''
2159     - 'Test Case:            Test cases executed for: NDR throughput on 2n-clx with cx556a.'
2160     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2161     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2162     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2163     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2164
2165 # VPP Performance Changes 2n-clx-cx556a 4t2c ndr
2166 - type: "table"
2167   title: "VPP Performance Changes 2n-clx-cx556a ndr"
2168   algorithm: "table_comparison"
2169   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-cx556a-4t2c-ndr"
2170   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2171   filter: "'4T2C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
2172   columns:
2173     - title: "2106.0-8"
2174       data-set: "vpp-2n-clx-hist-iter-new-env"
2175     - title: "2110.0-8"
2176       data-set: "vpp-2n-clx-prev-iter-old-env"
2177     - title: "2110.0-9"
2178       data-set: "vpp-2n-clx-prev-iter-new-env"
2179     - title: "2202.0-9"
2180       data-set: "vpp-2n-clx-curr-iter"
2181   comparisons:
2182     - title: "2110.0-9 vs 2110.0-8"
2183       reference: 2
2184       compare: 3
2185     - title: "2202.0-9 vs 2110.0-9"
2186       reference: 3
2187       compare: 4
2188   legend:
2189     - ''
2190     - 'Test Case:            Test cases executed for: NDR throughput on 2n-clx with cx556a.'
2191     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2192     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2193     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2194     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2195
2196 # VPP Performance Changes 2n-zn2-xxv710 2t1c pdr
2197 - type: "table"
2198   title: "VPP Performance Changes 2n-zn2-xxv710 2t1c pdr"
2199   algorithm: "table_comparison"
2200   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-zn2-xxv710-2t1c-pdr"
2201   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2202   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
2203   columns:
2204     - title: "2106.0-8"
2205       data-set: "vpp-2n-zn2-hist-iter-new-env"
2206     - title: "2110.0-8"
2207       data-set: "vpp-2n-zn2-prev-iter-old-env"
2208     - title: "2110.0-9"
2209       data-set: "vpp-2n-zn2-prev-iter-new-env"
2210     - title: "2202.0-9"
2211       data-set: "vpp-2n-zn2-curr-iter"
2212   comparisons:
2213     - title: "2110.0-9 vs 2110.0-8"
2214       reference: 2
2215       compare: 3
2216     - title: "2202.0-9 vs 2110.0-9"
2217       reference: 3
2218       compare: 4
2219   legend:
2220     - ''
2221     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
2222     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2223     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2224     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2225     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2226
2227 # VPP Performance Changes 2n-zn2-xxv710 4t2c pdr
2228 - type: "table"
2229   title: "VPP Performance Changes 2n-zn2-xxv710 4t2c pdr"
2230   algorithm: "table_comparison"
2231   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-zn2-xxv710-4t2c-pdr"
2232   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2233   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
2234   columns:
2235     - title: "2106.0-8"
2236       data-set: "vpp-2n-zn2-hist-iter-new-env"
2237     - title: "2110.0-8"
2238       data-set: "vpp-2n-zn2-prev-iter-old-env"
2239     - title: "2110.0-9"
2240       data-set: "vpp-2n-zn2-prev-iter-new-env"
2241     - title: "2202.0-9"
2242       data-set: "vpp-2n-zn2-curr-iter"
2243   comparisons:
2244     - title: "2110.0-9 vs 2110.0-8"
2245       reference: 2
2246       compare: 3
2247     - title: "2202.0-9 vs 2110.0-9"
2248       reference: 3
2249       compare: 4
2250   legend:
2251     - ''
2252     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
2253     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2254     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2255     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2256     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2257
2258 # VPP Performance Changes 2n-zn2-xxv710 2t1c ndr
2259 - type: "table"
2260   title: "VPP Performance Changes 2n-zn2-xxv710 2t1c ndr"
2261   algorithm: "table_comparison"
2262   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-zn2-xxv710-2t1c-ndr"
2263   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2264   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
2265   columns:
2266     - title: "2106.0-8"
2267       data-set: "vpp-2n-zn2-hist-iter-new-env"
2268     - title: "2110.0-8"
2269       data-set: "vpp-2n-zn2-prev-iter-old-env"
2270     - title: "2110.0-9"
2271       data-set: "vpp-2n-zn2-prev-iter-new-env"
2272     - title: "2202.0-9"
2273       data-set: "vpp-2n-zn2-curr-iter"
2274   comparisons:
2275     - title: "2110.0-9 vs 2110.0-8"
2276       reference: 2
2277       compare: 3
2278     - title: "2202.0-9 vs 2110.0-9"
2279       reference: 3
2280       compare: 4
2281   legend:
2282     - ''
2283     - 'Test Case:            Test cases executed for: NDR throughput on 2n-zn2 with xxv710.'
2284     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2285     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2286     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2287     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2288
2289 # VPP Performance Changes 2n-zn2-xxv710 4t2c ndr
2290 - type: "table"
2291   title: "VPP Performance Changes 2n-zn2-xxv710 4t2c ndr"
2292   algorithm: "table_comparison"
2293   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-zn2-xxv710-4t2c-ndr"
2294   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2295   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
2296   columns:
2297     - title: "2106.0-8"
2298       data-set: "vpp-2n-zn2-hist-iter-new-env"
2299     - title: "2110.0-8"
2300       data-set: "vpp-2n-zn2-prev-iter-old-env"
2301     - title: "2110.0-9"
2302       data-set: "vpp-2n-zn2-prev-iter-new-env"
2303     - title: "2202.0-9"
2304       data-set: "vpp-2n-zn2-curr-iter"
2305   comparisons:
2306     - title: "2110.0-9 vs 2110.0-8"
2307       reference: 2
2308       compare: 3
2309     - title: "2202.0-9 vs 2110.0-9"
2310       reference: 3
2311       compare: 4
2312   legend:
2313     - ''
2314     - 'Test Case:            Test cases executed for: NDR throughput on 2n-zn2 with xxv710.'
2315     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2316     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2317     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2318     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2319
2320 # VPP Performance Changes 2n-dnv 1t1c pdr
2321 - type: "table"
2322   title: "VPP Performance Changes 2n-dnv 1t1c pdr"
2323   algorithm: "table_comparison"
2324   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-dnv-1t1c-pdr"
2325   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2326   filter: "'1T1C'"
2327   columns:
2328     - title: "2106.0-8"
2329       data-set: "vpp-2n-dnv-hist-iter-new-env"
2330     - title: "2110.0-8"
2331       data-set: "vpp-2n-dnv-prev-iter-old-env"
2332     - title: "2110.0-9"
2333       data-set: "vpp-2n-dnv-prev-iter-new-env"
2334     - title: "2202.0-9"
2335       data-set: "vpp-2n-dnv-curr-iter"
2336   comparisons:
2337     - title: "2110.0-9 vs 2110.0-8"
2338       reference: 2
2339       compare: 3
2340     - title: "2202.0-9 vs 2110.0-9"
2341       reference: 3
2342       compare: 4
2343   legend:
2344     - ''
2345     - 'Test Case:            Test cases executed for: PDR throughput on 2n-dnv with x553.'
2346     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2347     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2348     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2349     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2350
2351 # VPP Performance Changes 2n-dnv 2t2c pdr
2352 - type: "table"
2353   title: "VPP Performance Changes 2n-dnv 2t2c pdr"
2354   algorithm: "table_comparison"
2355   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-dnv-2t2c-pdr"
2356   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2357   filter: "'2T2C'"
2358   columns:
2359     - title: "2106.0-8"
2360       data-set: "vpp-2n-dnv-hist-iter-new-env"
2361     - title: "2110.0-8"
2362       data-set: "vpp-2n-dnv-prev-iter-old-env"
2363     - title: "2110.0-9"
2364       data-set: "vpp-2n-dnv-prev-iter-new-env"
2365     - title: "2202.0-9"
2366       data-set: "vpp-2n-dnv-curr-iter"
2367   comparisons:
2368     - title: "2110.0-9 vs 2110.0-8"
2369       reference: 2
2370       compare: 3
2371     - title: "2202.0-9 vs 2110.0-9"
2372       reference: 3
2373       compare: 4
2374   legend:
2375     - ''
2376     - 'Test Case:            Test cases executed for: PDR throughput on 2n-dnv with x553.'
2377     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2378     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2379     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2380     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2381
2382 # VPP Performance Changes 2n-dnv 1t1c ndr
2383 - type: "table"
2384   title: "VPP Performance Changes 2n-dnv 1t1c ndr"
2385   algorithm: "table_comparison"
2386   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-dnv-1t1c-ndr"
2387   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2388   filter: "'1T1C'"
2389   columns:
2390     - title: "2106.0-8"
2391       data-set: "vpp-2n-dnv-hist-iter-new-env"
2392     - title: "2110.0-8"
2393       data-set: "vpp-2n-dnv-prev-iter-old-env"
2394     - title: "2110.0-9"
2395       data-set: "vpp-2n-dnv-prev-iter-new-env"
2396     - title: "2202.0-9"
2397       data-set: "vpp-2n-dnv-curr-iter"
2398   comparisons:
2399     - title: "2110.0-9 vs 2110.0-8"
2400       reference: 2
2401       compare: 3
2402     - title: "2202.0-9 vs 2110.0-9"
2403       reference: 3
2404       compare: 4
2405   legend:
2406     - ''
2407     - 'Test Case:            Test cases executed for: NDR throughput on 2n-dnv with x553.'
2408     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2409     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2410     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2411     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2412
2413 # VPP Performance Changes 2n-dnv 2t2c ndr
2414 - type: "table"
2415   title: "VPP Performance Changes 2n-dnv 2t2c ndr"
2416   algorithm: "table_comparison"
2417   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-dnv-2t2c-ndr"
2418   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2419   filter: "'2T2C'"
2420   columns:
2421     - title: "2106.0-8"
2422       data-set: "vpp-2n-dnv-hist-iter-new-env"
2423     - title: "2110.0-8"
2424       data-set: "vpp-2n-dnv-prev-iter-old-env"
2425     - title: "2110.0-9"
2426       data-set: "vpp-2n-dnv-prev-iter-new-env"
2427     - title: "2202.0-9"
2428       data-set: "vpp-2n-dnv-curr-iter"
2429   comparisons:
2430     - title: "2110.0-9 vs 2110.0-8"
2431       reference: 2
2432       compare: 3
2433     - title: "2202.0-9 vs 2110.0-9"
2434       reference: 3
2435       compare: 4
2436   legend:
2437     - ''
2438     - 'Test Case:            Test cases executed for: NDR throughput on 2n-dnv with x553.'
2439     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2440     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2441     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2442     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2443
2444 # VPP Performance Changes 3n-dnv 1t1c pdr
2445 - type: "table"
2446   title: "VPP Performance Changes 3n-dnv 1t1c pdr"
2447   algorithm: "table_comparison"
2448   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-dnv-1t1c-pdr"
2449   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2450   filter: "'1T1C'"
2451   columns:
2452     - title: "2106.0-8"
2453       data-set: "vpp-3n-dnv-hist-iter-new-env"
2454     - title: "2110.0-8"
2455       data-set: "vpp-3n-dnv-prev-iter-old-env"
2456     - title: "2110.0-9"
2457       data-set: "vpp-3n-dnv-prev-iter-new-env"
2458     - title: "2202.0-9"
2459       data-set: "vpp-3n-dnv-curr-iter"
2460   comparisons:
2461     - title: "2110.0-9 vs 2110.0-8"
2462       reference: 2
2463       compare: 3
2464     - title: "2202.0-9 vs 2110.0-9"
2465       reference: 3
2466       compare: 4
2467   legend:
2468     - ''
2469     - 'Test Case:            Test cases executed for: PDR throughput on 3n-dnv with x553.'
2470     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2471     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2472     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2473     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2474
2475 # VPP Performance Changes 3n-dnv 2t2c pdr
2476 - type: "table"
2477   title: "VPP Performance Changes 3n-dnv 2t2c pdr"
2478   algorithm: "table_comparison"
2479   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-dnv-2t2c-pdr"
2480   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2481   filter: "'2T2C'"
2482   columns:
2483     - title: "2106.0-8"
2484       data-set: "vpp-3n-dnv-hist-iter-new-env"
2485     - title: "2110.0-8"
2486       data-set: "vpp-3n-dnv-prev-iter-old-env"
2487     - title: "2110.0-9"
2488       data-set: "vpp-3n-dnv-prev-iter-new-env"
2489     - title: "2202.0-9"
2490       data-set: "vpp-3n-dnv-curr-iter"
2491   comparisons:
2492     - title: "2110.0-9 vs 2110.0-8"
2493       reference: 2
2494       compare: 3
2495     - title: "2202.0-9 vs 2110.0-9"
2496       reference: 3
2497       compare: 4
2498   legend:
2499     - ''
2500     - 'Test Case:            Test cases executed for: PDR throughput on 3n-dnv with x553.'
2501     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2502     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2503     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2504     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2505
2506 # VPP Performance Changes 3n-dnv 1t1c ndr
2507 - type: "table"
2508   title: "VPP Performance Changes 3n-dnv 1t1c ndr"
2509   algorithm: "table_comparison"
2510   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-dnv-1t1c-ndr"
2511   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2512   filter: "'1T1C'"
2513   columns:
2514     - title: "2106.0-8"
2515       data-set: "vpp-3n-dnv-hist-iter-new-env"
2516     - title: "2110.0-8"
2517       data-set: "vpp-3n-dnv-prev-iter-old-env"
2518     - title: "2110.0-9"
2519       data-set: "vpp-3n-dnv-prev-iter-new-env"
2520     - title: "2202.0-9"
2521       data-set: "vpp-3n-dnv-curr-iter"
2522   comparisons:
2523     - title: "2110.0-9 vs 2110.0-8"
2524       reference: 2
2525       compare: 3
2526     - title: "2202.0-9 vs 2110.0-9"
2527       reference: 3
2528       compare: 4
2529   legend:
2530     - ''
2531     - 'Test Case:            Test cases executed for: NDR throughput on 3n-dnv with x553.'
2532     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2533     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2534     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2535     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2536
2537 # VPP Performance Changes 3n-dnv 2t2c ndr
2538 - type: "table"
2539   title: "VPP Performance Changes 3n-dnv 2t2c ndr"
2540   algorithm: "table_comparison"
2541   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-dnv-2t2c-ndr"
2542   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2543   filter: "'2T2C'"
2544   columns:
2545     - title: "2106.0-8"
2546       data-set: "vpp-3n-dnv-hist-iter-new-env"
2547     - title: "2110.0-8"
2548       data-set: "vpp-3n-dnv-prev-iter-old-env"
2549     - title: "2110.0-9"
2550       data-set: "vpp-3n-dnv-prev-iter-new-env"
2551     - title: "2202.0-9"
2552       data-set: "vpp-3n-dnv-curr-iter"
2553   comparisons:
2554     - title: "2110.0-9 vs 2110.0-8"
2555       reference: 2
2556       compare: 3
2557     - title: "2202.0-9 vs 2110.0-9"
2558       reference: 3
2559       compare: 4
2560   legend:
2561     - ''
2562     - 'Test Case:            Test cases executed for: NDR throughput on 3n-dnv with x553.'
2563     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2564     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2565     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2566     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2567
2568 # VPP Performance Changes 3n-tsh 1t1c pdr
2569 - type: "table"
2570   title: "VPP Performance Changes 3n-tsh 1t1c pdr"
2571   algorithm: "table_comparison"
2572   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-tsh-1t1c-pdr"
2573   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2574   filter: "'1T1C'"
2575   columns:
2576     - title: "2106.0-8"
2577       data-set: "vpp-3n-tsh-hist-iter-new-env"
2578     - title: "2110.0-8"
2579       data-set: "vpp-3n-tsh-prev-iter-old-env"
2580     - title: "2110.0-9"
2581       data-set: "vpp-3n-tsh-prev-iter-new-env"
2582     - title: "2202.0-9"
2583       data-set: "vpp-3n-tsh-curr-iter"
2584   comparisons:
2585     - title: "2110.0-9 vs 2110.0-8"
2586       reference: 2
2587       compare: 3
2588     - title: "2202.0-9 vs 2110.0-9"
2589       reference: 3
2590       compare: 4
2591   legend:
2592     - ''
2593     - 'Test Case:            Test cases executed for: PDR throughput on 3n-tsh with x520.'
2594     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2595     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2596     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2597     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2598
2599 # VPP Performance Changes 3n-tsh 2t2c pdr
2600 - type: "table"
2601   title: "VPP Performance Changes 3n-tsh 2t2c pdr"
2602   algorithm: "table_comparison"
2603   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-tsh-2t2c-pdr"
2604   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2605   filter: "'2T2C'"
2606   columns:
2607     - title: "2106.0-8"
2608       data-set: "vpp-3n-tsh-hist-iter-new-env"
2609     - title: "2110.0-8"
2610       data-set: "vpp-3n-tsh-prev-iter-old-env"
2611     - title: "2110.0-9"
2612       data-set: "vpp-3n-tsh-prev-iter-new-env"
2613     - title: "2202.0-9"
2614       data-set: "vpp-3n-tsh-curr-iter"
2615   comparisons:
2616     - title: "2110.0-9 vs 2110.0-8"
2617       reference: 2
2618       compare: 3
2619     - title: "2202.0-9 vs 2110.0-9"
2620       reference: 3
2621       compare: 4
2622   legend:
2623     - ''
2624     - 'Test Case:            Test cases executed for: PDR throughput on 3n-tsh with x520.'
2625     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2626     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2627     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2628     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2629
2630 # VPP Performance Changes 3n-tsh 1t1c ndr
2631 - type: "table"
2632   title: "VPP Performance Changes 3n-tsh 1t1c ndr"
2633   algorithm: "table_comparison"
2634   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-tsh-1t1c-ndr"
2635   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2636   filter: "'1T1C'"
2637   columns:
2638     - title: "2106.0-8"
2639       data-set: "vpp-3n-tsh-hist-iter-new-env"
2640     - title: "2110.0-8"
2641       data-set: "vpp-3n-tsh-prev-iter-old-env"
2642     - title: "2110.0-9"
2643       data-set: "vpp-3n-tsh-prev-iter-new-env"
2644     - title: "2202.0-9"
2645       data-set: "vpp-3n-tsh-curr-iter"
2646   comparisons:
2647     - title: "2110.0-9 vs 2110.0-8"
2648       reference: 2
2649       compare: 3
2650     - title: "2202.0-9 vs 2110.0-9"
2651       reference: 3
2652       compare: 4
2653   legend:
2654     - ''
2655     - 'Test Case:            Test cases executed for: NDR throughput on 3n-tsh with x520.'
2656     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2657     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2658     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2659     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2660
2661 # VPP Performance Changes 3n-tsh 2t2c ndr
2662 - type: "table"
2663   title: "VPP Performance Changes 3n-tsh 2t2c ndr"
2664   algorithm: "table_comparison"
2665   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-tsh-2t2c-ndr"
2666   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2667   filter: "'2T2C'"
2668   columns:
2669     - title: "2106.0-8"
2670       data-set: "vpp-3n-tsh-hist-iter-new-env"
2671     - title: "2110.0-8"
2672       data-set: "vpp-3n-tsh-prev-iter-old-env"
2673     - title: "2110.0-9"
2674       data-set: "vpp-3n-tsh-prev-iter-new-env"
2675     - title: "2202.0-9"
2676       data-set: "vpp-3n-tsh-curr-iter"
2677   comparisons:
2678     - title: "2110.0-9 vs 2110.0-8"
2679       reference: 2
2680       compare: 3
2681     - title: "2202.0-9 vs 2110.0-9"
2682       reference: 3
2683       compare: 4
2684   legend:
2685     - ''
2686     - 'Test Case:            Test cases executed for: NDR throughput on 3n-tsh with x520.'
2687     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2688     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2689     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2690     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2691
2692 # VPP Performance Changes 2n-tx2 1t1c pdr
2693 - type: "table"
2694   title: "VPP Performance Changes 2n-tx2 1t1c pdr"
2695   algorithm: "table_comparison"
2696   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-tx2-1t1c-pdr"
2697   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2698   filter: "'1T1C'"
2699   columns:
2700     - title: "2106.0-8"
2701       data-set: "vpp-2n-tx2-hist-iter-new-env"
2702     - title: "2110.0-8"
2703       data-set: "vpp-2n-tx2-prev-iter-old-env"
2704     - title: "2110.0-9"
2705       data-set: "vpp-2n-tx2-prev-iter-new-env"
2706     - title: "2202.0-9"
2707       data-set: "vpp-2n-tx2-curr-iter"
2708   comparisons:
2709     - title: "2110.0-9 vs 2110.0-8"
2710       reference: 2
2711       compare: 3
2712     - title: "2202.0-9 vs 2110.0-9"
2713       reference: 3
2714       compare: 4
2715   legend:
2716     - ''
2717     - 'Test Case:            Test cases executed for: PDR throughput on 2n-tx2 with xl710.'
2718     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2719     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2720     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2721     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2722
2723 # VPP Performance Changes 2n-tx2 2t2c pdr
2724 - type: "table"
2725   title: "VPP Performance Changes 2n-tx2 2t2c pdr"
2726   algorithm: "table_comparison"
2727   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-tx2-2t2c-pdr"
2728   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2729   filter: "'2T2C'"
2730   columns:
2731     - title: "2106.0-8"
2732       data-set: "vpp-2n-tx2-hist-iter-new-env"
2733     - title: "2110.0-8"
2734       data-set: "vpp-2n-tx2-prev-iter-old-env"
2735     - title: "2110.0-9"
2736       data-set: "vpp-2n-tx2-prev-iter-new-env"
2737     - title: "2202.0-9"
2738       data-set: "vpp-2n-tx2-curr-iter"
2739   comparisons:
2740     - title: "2110.0-9 vs 2110.0-8"
2741       reference: 2
2742       compare: 3
2743     - title: "2202.0-9 vs 2110.0-9"
2744       reference: 3
2745       compare: 4
2746   legend:
2747     - ''
2748     - 'Test Case:            Test cases executed for: PDR throughput on 2n-tx2 with xl710.'
2749     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2750     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2751     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2752     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2753
2754 # VPP Performance Changes 2n-tx2 1t1c ndr
2755 - type: "table"
2756   title: "VPP Performance Changes 2n-tx2 1t1c ndr"
2757   algorithm: "table_comparison"
2758   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-tx2-1t1c-ndr"
2759   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2760   filter: "'1T1C'"
2761   columns:
2762     - title: "2106.0-8"
2763       data-set: "vpp-2n-tx2-hist-iter-new-env"
2764     - title: "2110.0-8"
2765       data-set: "vpp-2n-tx2-prev-iter-old-env"
2766     - title: "2110.0-9"
2767       data-set: "vpp-2n-tx2-prev-iter-new-env"
2768     - title: "2202.0-9"
2769       data-set: "vpp-2n-tx2-curr-iter"
2770   comparisons:
2771     - title: "2110.0-9 vs 2110.0-8"
2772       reference: 2
2773       compare: 3
2774     - title: "2202.0-9 vs 2110.0-9"
2775       reference: 3
2776       compare: 4
2777   legend:
2778     - ''
2779     - 'Test Case:            Test cases executed for: NDR throughput on 2n-tx2 with xl710.'
2780     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2781     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2782     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2783     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2784
2785 # VPP Performance Changes 2n-tx2 2t2c ndr
2786 - type: "table"
2787   title: "VPP Performance Changes 2n-tx2 2t2c ndr"
2788   algorithm: "table_comparison"
2789   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-tx2-2t2c-ndr"
2790   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2791   filter: "'2T2C'"
2792   columns:
2793     - title: "2106.0-8"
2794       data-set: "vpp-2n-tx2-hist-iter-new-env"
2795     - title: "2110.0-8"
2796       data-set: "vpp-2n-tx2-prev-iter-old-env"
2797     - title: "2110.0-9"
2798       data-set: "vpp-2n-tx2-prev-iter-new-env"
2799     - title: "2202.0-9"
2800       data-set: "vpp-2n-tx2-curr-iter"
2801   comparisons:
2802     - title: "2110.0-9 vs 2110.0-8"
2803       reference: 2
2804       compare: 3
2805     - title: "2202.0-9 vs 2110.0-9"
2806       reference: 3
2807       compare: 4
2808   legend:
2809     - ''
2810     - 'Test Case:            Test cases executed for: NDR throughput on 2n-tx2 with xl710.'
2811     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2812     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2813     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2814     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2815
2816 # VPP Performance Changes 2n-aws 2t1c pdr
2817 - type: "table"
2818   title: "VPP Performance Changes 2n-aws 2t1c pdr"
2819   algorithm: "table_comparison"
2820   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-aws-2t1c-pdr"
2821   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2822   filter: "'2T1C' and 'NDRPDR'"
2823   columns:
2824     - title: "2110.0-8"
2825       data-set: "vpp-2n-aws-prev-iter"
2826     - title: "2202.0-9"
2827       data-set: "vpp-2n-aws-curr-iter"
2828   comparisons:
2829     - title: "2202.0-9 vs 2110.0-8"
2830       reference: 1
2831       compare: 2
2832   legend:
2833     - ''
2834     - 'Test Case:            Test cases executed for: PDR throughput on 2n-aws with nitro50g.'
2835     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2836     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2837     - '2202.0-9 vs 2110.0-8: Compares VPP code current vs previous.'
2838
2839 # VPP Performance Changes 2n-aws 4t2c pdr
2840 - type: "table"
2841   title: "VPP Performance Changes 2n-aws 4t2c pdr"
2842   algorithm: "table_comparison"
2843   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-aws-4t2c-pdr"
2844   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2845   filter: "'4T2C' and 'NDRPDR'"
2846   columns:
2847     - title: "2110.0-8"
2848       data-set: "vpp-2n-aws-prev-iter"
2849     - title: "2202.0-9"
2850       data-set: "vpp-2n-aws-curr-iter"
2851   comparisons:
2852     - title: "2202.0-9 vs 2110.0-8"
2853       reference: 1
2854       compare: 2
2855   legend:
2856     - ''
2857     - 'Test Case:            Test cases executed for: PDR throughput on 2n-aws with nitro50g.'
2858     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2859     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2860     - '2202.0-9 vs 2110.0-8: Compares VPP code current vs previous.'
2861
2862 # VPP Performance Changes 2n-aws 2t1c ndr
2863 - type: "table"
2864   title: "VPP Performance Changes 2n-aws 2t1c ndr"
2865   algorithm: "table_comparison"
2866   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-aws-2t1c-ndr"
2867   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2868   filter: "'2T1C' and 'NDRPDR'"
2869   columns:
2870     - title: "2110.0-8"
2871       data-set: "vpp-2n-aws-prev-iter"
2872     - title: "2202.0-9"
2873       data-set: "vpp-2n-aws-curr-iter"
2874   comparisons:
2875     - title: "2202.0-9 vs 2110.0-8"
2876       reference: 1
2877       compare: 2
2878   legend:
2879     - ''
2880     - 'Test Case:            Test cases executed for: NDR throughput on 2n-aws with nitro50g.'
2881     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2882     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2883     - '2202.0-9 vs 2110.0-8: Compares VPP code current vs previous.'
2884
2885 # VPP Performance Changes 2n-aws 4t2c ndr
2886 - type: "table"
2887   title: "VPP Performance Changes 2n-aws 4t2c ndr"
2888   algorithm: "table_comparison"
2889   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-aws-4t2c-ndr"
2890   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2891   filter: "'4T2C' and 'NDRPDR'"
2892   columns:
2893     - title: "2110.0-8"
2894       data-set: "vpp-2n-aws-prev-iter"
2895     - title: "2202.0-9"
2896       data-set: "vpp-2n-aws-curr-iter"
2897   comparisons:
2898     - title: "2202.0-9 vs 2110.0-8"
2899       reference: 1
2900       compare: 2
2901   legend:
2902     - ''
2903     - 'Test Case:            Test cases executed for: NDR throughput on 2n-aws with nitro50g.'
2904     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2905     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2906     - '2202.0-9 vs 2110.0-8: Compares VPP code current vs previous.'
2907
2908 # VPP Performance Changes 3n-aws 2t1c pdr
2909 - type: "table"
2910   title: "VPP Performance Changes 3n-aws 2t1c pdr"
2911   algorithm: "table_comparison"
2912   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-aws-2t1c-pdr"
2913   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2914   filter: "'2T1C' and 'NDRPDR'"
2915   columns:
2916     - title: "2110.0-8"
2917       data-set: "vpp-3n-aws-prev-iter"
2918     - title: "2202.0-9"
2919       data-set: "vpp-3n-aws-curr-iter"
2920   comparisons:
2921     - title: "2202.0-9 vs 2110.0-8"
2922       reference: 1
2923       compare: 2
2924   legend:
2925     - ''
2926     - 'Test Case:            Test cases executed for: PDR throughput on 3n-aws with nitro50g.'
2927     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2928     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2929     - '2202.0-9 vs 2110.0-8: Compares VPP code current vs previous.'
2930
2931 # VPP Performance Changes 3n-aws 4t2c pdr
2932 - type: "table"
2933   title: "VPP Performance Changes 3n-aws 4t2c pdr"
2934   algorithm: "table_comparison"
2935   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-aws-4t2c-pdr"
2936   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2937   filter: "'4T2C' and 'NDRPDR'"
2938   columns:
2939     - title: "2110.0-8"
2940       data-set: "vpp-3n-aws-prev-iter"
2941     - title: "2202.0-9"
2942       data-set: "vpp-3n-aws-curr-iter"
2943   comparisons:
2944     - title: "2202.0-9 vs 2110.0-8"
2945       reference: 1
2946       compare: 2
2947   legend:
2948     - ''
2949     - 'Test Case:            Test cases executed for: PDR throughput on 3n-aws with nitro50g.'
2950     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2951     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2952     - '2202.0-9 vs 2110.0-8: Compares VPP code current vs previous.'
2953
2954 # VPP Performance Changes 3n-aws 2t1c ndr
2955 - type: "table"
2956   title: "VPP Performance Changes 3n-aws 2t1c ndr"
2957   algorithm: "table_comparison"
2958   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-aws-2t1c-ndr"
2959   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2960   filter: "'2T1C' and 'NDRPDR'"
2961   columns:
2962     - title: "2110.0-8"
2963       data-set: "vpp-3n-aws-prev-iter"
2964     - title: "2202.0-9"
2965       data-set: "vpp-3n-aws-curr-iter"
2966   comparisons:
2967     - title: "2202.0-9 vs 2110.0-8"
2968       reference: 1
2969       compare: 2
2970   legend:
2971     - ''
2972     - 'Test Case:            Test cases executed for: NDR throughput on 3n-aws with nitro50g.'
2973     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2974     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2975     - '2202.0-9 vs 2110.0-8: Compares VPP code current vs previous.'
2976
2977 # VPP Performance Changes 3n-aws 4t2c ndr
2978 - type: "table"
2979   title: "VPP Performance Changes 3n-aws 4t2c ndr"
2980   algorithm: "table_comparison"
2981   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-aws-4t2c-ndr"
2982   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2983   filter: "'4T2C' and 'NDRPDR'"
2984   columns:
2985     - title: "2110.0-8"
2986       data-set: "vpp-3n-aws-prev-iter"
2987     - title: "2202.0-9"
2988       data-set: "vpp-3n-aws-curr-iter"
2989   comparisons:
2990     - title: "2202.0-9 vs 2110.0-8"
2991       reference: 1
2992       compare: 2
2993   legend:
2994     - ''
2995     - 'Test Case:            Test cases executed for: NDR throughput on 3n-aws with nitro50g.'
2996     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2997     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2998     - '2202.0-9 vs 2110.0-8: Compares VPP code current vs previous.'
2999
3000 # VPP Comparison Across Testbeds 2n-skx to 2n-clx 2t1c ndr
3001 - type: "table"
3002   title: "VPP Comparison Across Testbeds 2n-skx to 2n-clx 2t1c ndr"
3003   algorithm: "table_comparison"
3004   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-skx-2n-clx-2t1c-ndr"
3005   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
3006   filter: "'2T1C' and 'NIC_Intel-XXV710'"
3007   columns:
3008     - title: "2n-skx"
3009       data-set: "vpp-2n-skx-curr-iter"
3010     - title: "2n-clx"
3011       data-set: "vpp-2n-clx-curr-iter"
3012   comparisons:
3013     - title: "Diff"
3014       reference: 1
3015       compare: 2
3016   legend:
3017     - ""
3018     - "2n-skx, 2n-clx - testbeds and NICs tested."
3019     - "Diff - difference between 2n-skx and 2n-clx testbeds."
3020
3021 # VPP Comparison Across Testbeds 2n-skx to 2n-clx 4t2c ndr
3022 - type: "table"
3023   title: "VPP Comparison Across Testbeds 2n-skx to 2n-clx 4t2c ndr"
3024   algorithm: "table_comparison"
3025   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-skx-2n-clx-4t2c-ndr"
3026   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
3027   filter: "'4T2C' and 'NIC_Intel-XXV710'"
3028   columns:
3029     - title: "2n-skx"
3030       data-set: "vpp-2n-skx-curr-iter"
3031     - title: "2n-clx"
3032       data-set: "vpp-2n-clx-curr-iter"
3033   comparisons:
3034     - title: "Diff"
3035       reference: 1
3036       compare: 2
3037   legend:
3038     - ""
3039     - "2n-skx, 2n-clx - testbeds and NICs tested."
3040     - "Diff - difference between 2n-skx and 2n-clx testbeds."
3041
3042 # VPP Comparison Across Testbeds 2n-skx to 2n-clx 2t1c pdr
3043 - type: "table"
3044   title: "VPP Comparison Across Testbeds 2n-skx to 2n-clx 2t1c pdr"
3045   algorithm: "table_comparison"
3046   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-skx-2n-clx-2t1c-pdr"
3047   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3048   filter: "'2T1C' and 'NIC_Intel-XXV710'"
3049   columns:
3050     - title: "2n-skx"
3051       data-set: "vpp-2n-skx-curr-iter"
3052     - title: "2n-clx"
3053       data-set: "vpp-2n-clx-curr-iter"
3054   comparisons:
3055     - title: "Diff"
3056       reference: 1
3057       compare: 2
3058   legend:
3059     - ""
3060     - "2n-skx, 2n-clx - testbeds and NICs tested."
3061     - "Diff - difference between 2n-skx and 2n-clx testbeds."
3062
3063 # VPP Comparison Across Testbeds 2n-skx to 2n-clx 4t2c pdr