Report: Configure Report 2202
[csit.git] / resources / tools / presentation / specifications / report / elements.yaml
1 ################################################################################
2 ###                               T A B L E S                                ###
3 ################################################################################
4
5 # Statistics: job-specs' durations
6
7 - type: "table"
8   title: "Job Specification Duration: 2n-clx-iterative"
9   algorithm: "table_job_spec_duration"
10   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-clx-iter"
11   jb-type: "iterative"
12   lines:
13     - job-spec: "vpp-mrr-00"
14       data-set: "vpp-2n-clx-curr-iter-mrr"
15     - job-spec: "vpp-mlr-00"
16       data-set: "vpp-2n-clx-curr-iter"
17     - job-spec: "vpp-gso-mrr-00"
18       data-set: "vpp-2n-clx-curr-iter-gso"
19     - job-spec: "soak-00"
20       data-set: "vpp-2n-clx-curr-soak"
21     - job-spec: "vsap-00"
22       data-set: "vpp-2n-clx-curr-iter-vsap"
23     - job-spec: "nfv-density-mrr-00"
24       data-set: "vpp-2n-clx-curr-nfv-mrr"
25     - job-spec: "nfv-density-mlr-00"
26       data-set: "vpp-2n-clx-curr-nfv-ndrpdr"
27     - job-spec: "reconf-00"
28       data-set: "vpp-2n-clx-curr-nfv-reconf"
29     - job-spec: "dpdk-mlr-00"
30       data-set: "dpdk-2n-clx-curr-iter"
31
32 # - type: "table"
33 #   title: "Job Specification Duration: 2n-clx-coverage"
34 #   algorithm: "table_job_spec_duration"
35 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-clx-cov"
36 #   jb-type: "coverage"
37 #   data: "vpp-2n-clx-curr-cov"
38 #   lines:
39 #     - job-spec: "gso-00"
40 #       build: "18"
41 #     - job-spec: "ip4-00"
42 #       build: "19"
43 #     - job-spec: "ip4-01"
44 #       build: "20"
45 #     - job-spec: "ip4-02"
46 #       build: "21"
47 #     - job-spec: "ip4-03"
48 #       build: "22"
49 #     - job-spec: "ip4-04"
50 #       build: "23"
51 #     - job-spec: "ip4-05"
52 #       build: "24"
53 #     - job-spec: "ip4-06"
54 #       build: "25"
55 #     - job-spec: "ip4-07"
56 #       build: "26"
57 #     - job-spec: "ip4tun-00"
58 #       build: "27"
59 #     - job-spec: "ip6-00"
60 #       build: "28"
61 #     - job-spec: "ip6-01"
62 #       build: "29"
63 #     - job-spec: "l2-00"
64 #       build: "30"
65 #     - job-spec: "l2-01"
66 #       build: "31"
67 #     - job-spec: "lb-00"
68 #       build: "32"
69 #     - job-spec: "memif-00"
70 #       build: "33"
71 #     - job-spec: "vhost-00"
72 #       build: "34"
73
74 - type: "table"
75   title: "Job Specification Duration: 2n-dnv-iterative"
76   algorithm: "table_job_spec_duration"
77   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-dnv-iter"
78   jb-type: "iterative"
79   lines:
80     - job-spec: "vpp-mrr-00"
81       data-set: "vpp-2n-dnv-curr-iter-mrr"
82     - job-spec: "vpp-mlr-00"
83       data-set: "vpp-2n-dnv-curr-iter"
84
85 # - type: "table"
86 #   title: "Job Specification Duration: 2n-dnv-coverage"
87 #   algorithm: "table_job_spec_duration"
88 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-dnv-cov"
89 #   jb-type: "coverage"
90 #   data: "vpp-2n-dnv-curr-cov"
91 #   lines:
92 #     - job-spec: "ip4-00"
93 #       build: "7"
94 #     - job-spec: "ip4-01"
95 #       build: "8"
96 #     - job-spec: "ip6-00"
97 #       build: "9"
98 #     - job-spec: "ip6-01"
99 #       build: "10"
100 #     - job-spec: "l2-00"
101 #       build: "11"
102 #     - job-spec: "l2-01"
103 #       build: "12"
104
105 - type: "table"
106   title: "Job Specification Duration: 2n-aws-iterative"
107   algorithm: "table_job_spec_duration"
108   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-aws-iter"
109   jb-type: "iterative"
110   lines:
111     - job-spec: "vpp-mrr-00"
112       data-set: "vpp-2n-aws-curr-iter-mrr"
113     - job-spec: "vpp-mlr-00"
114       data-set: "vpp-2n-aws-curr-iter"
115
116 # - type: "table"
117 #   title: "Job Specification Duration: 2n-aws-coverage"
118 #   algorithm: "table_job_spec_duration"
119 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-aws-cov"
120 #   jb-type: "coverage"
121 #   data: "vpp-2n-aws-curr-cov"
122 #   lines:
123 #     - job-spec: "vpp-00"
124 #       build: "26"
125
126 - type: "table"
127   title: "Job Specification Duration: 3n-aws-iterative"
128   algorithm: "table_job_spec_duration"
129   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-aws-iter"
130   jb-type: "iterative"
131   lines:
132     - job-spec: "vpp-mrr-00"
133       data-set: "vpp-3n-aws-curr-iter-mrr"
134     - job-spec: "vpp-mlr-00"
135       data-set: "vpp-3n-aws-curr-iter"
136
137 # - type: "table"
138 #   title: "Job Specification Duration: 3n-aws-coverage"
139 #   algorithm: "table_job_spec_duration"
140 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-aws-cov"
141 #   jb-type: "coverage"
142 #   data: "vpp-3n-aws-curr-cov"
143 #   lines:
144 #     - job-spec: "vpp-00"
145 #       build: "34"
146
147 - type: "table"
148   title: "Job Specification Duration: 2n-skx-iterative"
149   algorithm: "table_job_spec_duration"
150   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-skx-iter"
151   jb-type: "iterative"
152   lines:
153     - job-spec: "vpp-mrr-00"
154       data-set: "vpp-2n-skx-curr-iter-mrr"
155     - job-spec: "vpp-mlr-00"
156       data-set: "vpp-2n-skx-curr-iter"
157     - job-spec: "vpp-gso-mrr-00"
158       data-set: "vpp-2n-skx-curr-gso"
159     - job-spec: "soak-00"
160       data-set: "vpp-2n-skx-curr-soak"
161     - job-spec: "nfv-density-mrr-00"
162       data-set: "vpp-2n-skx-curr-nfv-mrr"
163     - job-spec: "nfv-density-mlr-00"
164       data-set: "vpp-2n-skx-curr-nfv-ndrpdr"
165     - job-spec: "reconf-00"
166       data-set: "vpp-2n-skx-curr-nfv-reconf"
167     - job-spec: "dpdk-mlr-00"
168       data-set: "dpdk-2n-skx-curr-iter"
169     - job-spec: "trex-mlr-00"
170       data-set: "trex-2n-skx-curr-iter"
171
172 # - type: "table"
173 #   title: "Job Specification Duration: 2n-skx-coverage"
174 #   algorithm: "table_job_spec_duration"
175 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-skx-cov"
176 #   jb-type: "coverage"
177 #   data: "vpp-2n-skx-curr-cov"
178 #   lines:
179 #     - job-spec: "gso-00"
180 #       build: "18"
181 #     - job-spec: "ip4-00"
182 #       build: "19"
183 #     - job-spec: "ip4-01"
184 #       build: "20"
185 #     - job-spec: "ip4-02"
186 #       build: "21"
187 #     - job-spec: "ip4-03"
188 #       build: "22"
189 #     - job-spec: "ip4-04"
190 #       build: "23"
191 #     - job-spec: "ip4-05"
192 #       build: "24"
193 #     - job-spec: "ip4-06"
194 #       build: "25"
195 #     - job-spec: "ip4-07"
196 #       build: "26"
197 #     - job-spec: "ip4tun-00"
198 #       build: "27"
199 #     - job-spec: "ip6-00"
200 #       build: "28"
201 #     - job-spec: "ip6-01"
202 #       build: "29"
203 #     - job-spec: "l2-00"
204 #       build: "30"
205 #     - job-spec: "l2-01"
206 #       build: "31"
207 #     - job-spec: "lb-00"
208 #       build: "32"
209 #     - job-spec: "memif-00"
210 #       build: "33"
211 #     - job-spec: "vhost-00"
212 #       build: "34"
213
214 - type: "table"
215   title: "Job Specification Duration: 2n-tx2-iterative"
216   algorithm: "table_job_spec_duration"
217   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-tx2-iter"
218   jb-type: "iterative"
219   lines:
220     - job-spec: "vpp-mrr-00"
221       data-set: "vpp-2n-tx2-curr-iter-mrr"
222     - job-spec: "vpp-mlr-00"
223       data-set: "vpp-2n-tx2-curr-iter"
224
225 # - type: "table"
226 #   title: "Job Specification Duration: 2n-tx2-coverage"
227 #   algorithm: "table_job_spec_duration"
228 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-tx2-cov"
229 #   jb-type: "coverage"
230 #   data: "vpp-2n-tx2-curr-cov"
231 #   lines:
232 #     - job-spec: "ip4-00"
233 #       build: "1"
234 #     - job-spec: "ip4-01"
235 #       build: "2"
236 #     - job-spec: "ip4-02"
237 #       build: "3"
238 #     - job-spec: "ip4-03"
239 #       build: "4"
240 #     - job-spec: "ip4-04"
241 #       build: "5"
242 #     - job-spec: "ip4-05"
243 #       build: "6"
244 #     - job-spec: "ip4-06"
245 #       build: "7"
246 #     - job-spec: "ip6-00"
247 #       build: "8"
248 #     - job-spec: "ip6-01"
249 #       build: "9"
250 #     - job-spec: "l2-00"
251 #       build: "10"
252 #     - job-spec: "l2-01"
253 #       build: "11"
254 #     - job-spec: "l2-02"
255 #       build: "12"
256 #     - job-spec: "l2-03"
257 #       build: "13"
258 #     - job-spec: "l2-04"
259 #       build: "14"
260
261 - type: "table"
262   title: "Job Specification Duration: 2n-zn2-iterative"
263   algorithm: "table_job_spec_duration"
264   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-zn2-iter"
265   jb-type: "iterative"
266   lines:
267     - job-spec: "vpp-mrr-00"
268       data-set: "vpp-2n-zn2-curr-iter-mrr"
269     - job-spec: "vpp-mlr-00"
270       data-set: "vpp-2n-zn2-curr-iter"
271     - job-spec: "vpp-gso-mrr-00"
272       data-set: "vpp-2n-zn2-curr-iter-gso"
273     - job-spec: "dpdk-mlr-00"
274       data-set: "dpdk-2n-zn2-curr-iter"
275
276 # - type: "table"
277 #   title: "Job Specification Duration: 2n-zn2-coverage"
278 #   algorithm: "table_job_spec_duration"
279 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-zn2-cov"
280 #   jb-type: "coverage"
281 #   data: "vpp-2n-zn2-curr-cov"
282 #   lines:
283 #     - job-spec: "gso-00"
284 #       build: "1"
285 #     - job-spec: "ip4-00"
286 #       build: "2"
287 #     - job-spec: "ip4-01"
288 #       build: "3"
289 #     - job-spec: "ip4-02"
290 #       build: "4"
291 #     - job-spec: "ip4-03"
292 #       build: "18"
293 #     - job-spec: "ip4-04"
294 #       build: "6"
295 #     - job-spec: "ip4-05"
296 #       build: "7"
297 #     - job-spec: "ip4tun-00"
298 #       build: "8"
299 #     - job-spec: "ip6-00"
300 #       build: "9"
301 #     - job-spec: "ip6-01"
302 #       build: "19"
303 #     - job-spec: "l2-00"
304 #       build: "11"
305 #     - job-spec: "l2-01"
306 #       build: "12"
307 #     - job-spec: "lb-00"
308 #       build: "13"
309 #     - job-spec: "memif-00"
310 #       build: "14"
311 #     - job-spec: "vhost-00"
312 #       build: "15"
313
314 - type: "table"
315   title: "Job Specification Duration: 3n-dnv-iterative"
316   algorithm: "table_job_spec_duration"
317   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-dnv-iter"
318   jb-type: "iterative"
319   lines:
320     - job-spec: "vpp-mrr-00"
321       data-set: "vpp-3n-dnv-curr-iter-mrr"
322     - job-spec: "vpp-mlr-00"
323       data-set: "vpp-3n-dnv-curr-iter"
324
325 # - type: "table"
326 #   title: "Job Specification Duration: 3n-dnv-coverage"
327 #   algorithm: "table_job_spec_duration"
328 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-dnv-cov"
329 #   jb-type: "coverage"
330 #   data: "vpp-3n-dnv-curr-cov"
331 #   lines:
332 #     - job-spec: "crypto-00"
333 #       build: "12"
334 #     - job-spec: "crypto-01"
335 #       build: "13"
336 #     - job-spec: "crypto-02"
337 #       build: "14"
338 #     - job-spec: "ip4-00"
339 #       build: "15"
340 #     - job-spec: "ip4-01"
341 #       build: "16"
342 #     - job-spec: "ip4tun-00"
343 #       build: "17"
344 #     - job-spec: "ip6-00"
345 #       build: "18"
346 #     - job-spec: "ip6-01"
347 #       build: "19"
348 #     - job-spec: "l2-00"
349 #       build: "20"
350 #     - job-spec: "l2-01"
351 #       build: "21"
352
353 - type: "table"
354   title: "Job Specification Duration: 3n-skx-iterative"
355   algorithm: "table_job_spec_duration"
356   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-skx-iter"
357   jb-type: "iterative"
358   lines:
359     - job-spec: "vpp-mrr-00"
360       data-set: "vpp-3n-skx-curr-iter-mrr"
361     - job-spec: "vpp-mlr-00"
362       data-set: "vpp-3n-skx-curr-iter"
363     - job-spec: "hoststack-00"
364       data-set: "vpp-3n-skx-curr-iter-hoststack"
365     - job-spec: "dpdk-mlr-00"
366       data-set: "dpdk-3n-skx-curr-iter"
367
368 # - type: "table"
369 #   title: "Job Specification Duration: 3n-skx-coverage"
370 #   algorithm: "table_job_spec_duration"
371 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-skx-cov"
372 #   jb-type: "coverage"
373 #   data: "vpp-3n-skx-curr-cov"
374 #   lines:
375 #     - job-spec: "crypto-00"
376 #       build: "35"
377 #     - job-spec: "crypto-01"
378 #       build: "36"
379 #     - job-spec: "crypto-02"
380 #       build: "37"
381 #     - job-spec: "crypto-03"  # Completly failed
382 #       build: "38"
383 #     - job-spec: "crypto-04"
384 #       build: "39"
385 #     - job-spec: "ip4-00"
386 #       build: "40"
387 #     - job-spec: "ip4-01"
388 #       build: "41"
389 #     - job-spec: "ip4-02"
390 #       build: "42"
391 #     - job-spec: "ip4-03"
392 #       build: "43"
393 #     - job-spec: "ip4-04"
394 #       build: "44"
395 #     - job-spec: "ip4-05"
396 #       build: "45"
397 #     - job-spec: "ip4-06"
398 #       build: "46"
399 #     - job-spec: "ip4-07"
400 #       build: "47"
401 #     - job-spec: "ip4tun-00"
402 #       build: "48"
403 #     - job-spec: "ip4tun-02"
404 #       build: "49"
405 #     - job-spec: "ip6-00"
406 #       build: "50"
407 #     - job-spec: "ip6-01"
408 #       build: "51"
409 #     - job-spec: "ip6tun-00"
410 #       build: "52"
411 #     - job-spec: "l2-00"
412 #       build: "53"
413 #     - job-spec: "l2-01"
414 #       build: "54"
415 #     - job-spec: "l2-02"
416 #       build: "55"
417 #     - job-spec: "l2-03"
418 #       build: "56"
419 #     - job-spec: "l2-04"
420 #       build: "57"
421 #     - job-spec: "l2-05"
422 #       build: "58"
423 #     - job-spec: "l2-06"
424 #       build: "59"
425 #     - job-spec: "l2-07"
426 #       build: "60"
427 #     - job-spec: "l2-08"
428 #       build: "61"
429 #     - job-spec: "l2-09"
430 #       build: "62"
431 #     - job-spec: "l2-10"
432 #       build: "63"
433 #     - job-spec: "memif-00"
434 #       build: "64"
435 #     - job-spec: "srv6-00"
436 #       build: "65"
437 #     - job-spec: "srv6-01"
438 #       build: "66"
439 #     - job-spec: "vhost-00"
440 #       build: "67"
441 #     - job-spec: "vhost-01"
442 #       build: "68"
443
444 - type: "table"
445   title: "Job Specification Duration: 3n-tsh-iterative"
446   algorithm: "table_job_spec_duration"
447   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-tsh-iter"
448   jb-type: "iterative"
449   lines:
450     - job-spec: "vpp-mrr-00"
451       data-set: "vpp-3n-tsh-curr-iter-mrr"
452     - job-spec: "vpp-mlr-00"
453       data-set: "vpp-3n-tsh-curr-iter"
454     - job-spec: "dpdk-mlr-00"
455       data-set: "dpdk-3n-tsh-curr-iter"
456
457 # - type: "table"
458 #   title: "Job Specification Duration: 3n-tsh-coverage"
459 #   algorithm: "table_job_spec_duration"
460 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-tsh-cov"
461 #   jb-type: "coverage"
462 #   data: "vpp-3n-tsh-curr-cov"
463 #   lines:
464 #     - job-spec: "ip4-00"
465 #       build: "1"
466 #     - job-spec: "ip4-01"
467 #       build: "2"
468 #     - job-spec: "ip4-02"
469 #       build: "3"
470 #     - job-spec: "ip4-03"
471 #       build: "4"
472 #     - job-spec: "ip4tun-00"
473 #       build: "5"
474 #     - job-spec: "ip6-00"
475 #       build: "6"
476 #     - job-spec: "ip6-01"
477 #       build: "7"
478 #     - job-spec: "l2-00"
479 #       build: "8"
480 #     - job-spec: "l2-01"
481 #       build: "9"
482 #     - job-spec: "l2-02"
483 #       build: "10"
484 #     - job-spec: "l2-03"
485 #       build: "11"
486 #     - job-spec: "l2-04"
487 #       build: "12"
488 #     - job-spec: "memif-00"
489 #       build: "13"
490 #     - job-spec: "srv6-00"
491 #       build: "14"
492 #     - job-spec: "srv6-01"
493 #       build: "15"
494 #     - job-spec: "vhost-00"
495 #       build: "16"
496 #     - job-spec: "vhost-01"
497 #       build: "17"
498
499 # VPP Latency Changes 3n-skx 2t1c
500 - type: "table"
501   title: "VPP Latency Changes 3n-skx 2t1c PDR50-direction1-avg"
502   algorithm: "table_comparison"
503   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-skx-xxv710-2t1c-pdr50-d1-avg"
504   include-tests: "latency-PDR50-direction1-avg"
505   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
506   columns:
507     - title: "2106.0-8"
508       data-set: "vpp-3n-skx-hist-iter-new-env"
509     - title: "2110.0-8"
510       data-set: "vpp-3n-skx-prev-iter-old-env"
511     - title: "2110.0-9"
512       data-set: "vpp-3n-skx-prev-iter-new-env"
513     - title: "2202.0-9"
514       data-set: "vpp-3n-skx-curr-iter"
515   comparisons:
516     - title: "2110.0-9 vs 2110.0-8"
517       reference: 2
518       compare: 3
519     - title: "2202.0-9 vs 2110.0-9"
520       reference: 3
521       compare: 4
522   legend:
523     - ''
524     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
525     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
526     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
527     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
528     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
529
530 # VPP Latency Changes 3n-skx 2t1c
531 - type: "table"
532   title: "VPP Latency Changes 3n-skx 2t1c PDR90-direction1-avg"
533   algorithm: "table_comparison"
534   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-skx-xxv710-2t1c-pdr90-d1-avg"
535   include-tests: "latency-PDR90-direction1-avg"
536   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
537   columns:
538     - title: "2106.0-8"
539       data-set: "vpp-3n-skx-hist-iter-new-env"
540     - title: "2110.0-8"
541       data-set: "vpp-3n-skx-prev-iter-old-env"
542     - title: "2110.0-9"
543       data-set: "vpp-3n-skx-prev-iter-new-env"
544     - title: "2202.0-9"
545       data-set: "vpp-3n-skx-curr-iter"
546   comparisons:
547     - title: "2110.0-9 vs 2110.0-8"
548       reference: 2
549       compare: 3
550     - title: "2202.0-9 vs 2110.0-9"
551       reference: 3
552       compare: 4
553   legend:
554     - ''
555     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
556     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
557     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
558     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
559     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
560
561 # VPP Latency Changes 3n-skx 2t1c
562 - type: "table"
563   title: "VPP Latency Changes 3n-skx 2t1c PDR90-direction1-max"
564   algorithm: "table_comparison"
565   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-skx-xxv710-2t1c-pdr90-d1-max"
566   include-tests: "latency-PDR90-direction1-max"
567   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
568   columns:
569     - title: "2106.0-8"
570       data-set: "vpp-3n-skx-hist-iter-new-env"
571     - title: "2110.0-8"
572       data-set: "vpp-3n-skx-prev-iter-old-env"
573     - title: "2110.0-9"
574       data-set: "vpp-3n-skx-prev-iter-new-env"
575     - title: "2202.0-9"
576       data-set: "vpp-3n-skx-curr-iter"
577   comparisons:
578     - title: "2110.0-9 vs 2110.0-8"
579       reference: 2
580       compare: 3
581     - title: "2202.0-9 vs 2110.0-9"
582       reference: 3
583       compare: 4
584   legend:
585     - ''
586     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
587     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
588     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
589     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
590     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
591
592 # VPP Latency Changes 2n-skx 2t1c
593 - type: "table"
594   title: "VPP Latency Changes 2n-skx 2t1c PDR50-direction1-avg"
595   algorithm: "table_comparison"
596   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-skx-xxv710-2t1c-pdr50-d1-avg"
597   include-tests: "latency-PDR50-direction1-avg"
598   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
599   columns:
600     - title: "2106.0-8"
601       data-set: "vpp-2n-skx-hist-iter-new-env"
602     - title: "2110.0-8"
603       data-set: "vpp-2n-skx-prev-iter-old-env"
604     - title: "2110.0-9"
605       data-set: "vpp-2n-skx-prev-iter-new-env"
606     - title: "2202.0-9"
607       data-set: "vpp-2n-skx-curr-iter"
608   comparisons:
609     - title: "2110.0-9 vs 2110.0-8"
610       reference: 2
611       compare: 3
612     - title: "2202.0-9 vs 2110.0-9"
613       reference: 3
614       compare: 4
615   legend:
616     - ''
617     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
618     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
619     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
620     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
621     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
622
623 # VPP Latency Changes 2n-skx 2t1c
624 - type: "table"
625   title: "VPP Latency Changes 2n-skx 2t1c PDR90-direction1-avg"
626   algorithm: "table_comparison"
627   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-skx-xxv710-2t1c-pdr90-d1-avg"
628   include-tests: "latency-PDR90-direction1-avg"
629   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
630   columns:
631     - title: "2106.0-8"
632       data-set: "vpp-2n-skx-hist-iter-new-env"
633     - title: "2110.0-8"
634       data-set: "vpp-2n-skx-prev-iter-old-env"
635     - title: "2110.0-9"
636       data-set: "vpp-2n-skx-prev-iter-new-env"
637     - title: "2202.0-9"
638       data-set: "vpp-2n-skx-curr-iter"
639   comparisons:
640     - title: "2110.0-9 vs 2110.0-8"
641       reference: 2
642       compare: 3
643     - title: "2202.0-9 vs 2110.0-9"
644       reference: 3
645       compare: 4
646   legend:
647     - ''
648     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
649     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
650     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
651     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
652     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
653
654 # VPP Latency Changes 2n-skx 2t1c
655 - type: "table"
656   title: "VPP Latency Changes 2n-skx 2t1c PDR90-direction1-max"
657   algorithm: "table_comparison"
658   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-skx-xxv710-2t1c-pdr90-d1-max"
659   include-tests: "latency-PDR90-direction1-max"
660   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
661   columns:
662     - title: "2106.0-8"
663       data-set: "vpp-2n-skx-hist-iter-new-env"
664     - title: "2110.0-8"
665       data-set: "vpp-2n-skx-prev-iter-old-env"
666     - title: "2110.0-9"
667       data-set: "vpp-2n-skx-prev-iter-new-env"
668     - title: "2202.0-9"
669       data-set: "vpp-2n-skx-curr-iter"
670   comparisons:
671     - title: "2110.0-9 vs 2110.0-8"
672       reference: 2
673       compare: 3
674     - title: "2202.0-9 vs 2110.0-9"
675       reference: 3
676       compare: 4
677   legend:
678     - ''
679     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
680     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
681     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
682     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
683     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
684
685 # VPP Latency Changes 2n-clx 2t1c
686 - type: "table"
687   title: "VPP Latency Changes 2n-clx 2t1c PDR50-direction1-avg"
688   algorithm: "table_comparison"
689   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-xxv710-2t1c-pdr50-d1-avg"
690   include-tests: "latency-PDR50-direction1-avg"
691   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
692   columns:
693     - title: "2106.0-8"
694       data-set: "vpp-2n-clx-hist-iter-new-env"
695     - title: "2110.0-8"
696       data-set: "vpp-2n-clx-prev-iter-old-env"
697     - title: "2110.0-9"
698       data-set: "vpp-2n-clx-prev-iter-new-env"
699     - title: "2202.0-9"
700       data-set: "vpp-2n-clx-curr-iter"
701   comparisons:
702     - title: "2110.0-9 vs 2110.0-8"
703       reference: 2
704       compare: 3
705     - title: "2202.0-9 vs 2110.0-9"
706       reference: 3
707       compare: 4
708   legend:
709     - ''
710     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
711     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
712     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
713     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
714     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
715
716 # VPP Latency Changes 2n-clx 2t1c
717 - type: "table"
718   title: "VPP Latency Changes 2n-clx 2t1c PDR90-direction1-avg"
719   algorithm: "table_comparison"
720   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-xxv710-2t1c-pdr90-d1-avg"
721   include-tests: "latency-PDR90-direction1-avg"
722   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
723   columns:
724     - title: "2106.0-8"
725       data-set: "vpp-2n-clx-hist-iter-new-env"
726     - title: "2110.0-8"
727       data-set: "vpp-2n-clx-prev-iter-old-env"
728     - title: "2110.0-9"
729       data-set: "vpp-2n-clx-prev-iter-new-env"
730     - title: "2202.0-9"
731       data-set: "vpp-2n-clx-curr-iter"
732   comparisons:
733     - title: "2110.0-9 vs 2110.0-8"
734       reference: 2
735       compare: 3
736     - title: "2202.0-9 vs 2110.0-9"
737       reference: 3
738       compare: 4
739   legend:
740     - ''
741     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
742     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
743     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
744     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
745     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
746
747 # VPP Latency Changes 2n-clx 2t1c
748 - type: "table"
749   title: "VPP Latency Changes 2n-clx 2t1c PDR90-direction1-max"
750   algorithm: "table_comparison"
751   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-xxv710-2t1c-pdr90-d1-max"
752   include-tests: "latency-PDR90-direction1-max"
753   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
754   columns:
755     - title: "2106.0-8"
756       data-set: "vpp-2n-clx-hist-iter-new-env"
757     - title: "2110.0-8"
758       data-set: "vpp-2n-clx-prev-iter-old-env"
759     - title: "2110.0-9"
760       data-set: "vpp-2n-clx-prev-iter-new-env"
761     - title: "2202.0-9"
762       data-set: "vpp-2n-clx-curr-iter"
763   comparisons:
764     - title: "2110.0-9 vs 2110.0-8"
765       reference: 2
766       compare: 3
767     - title: "2202.0-9 vs 2110.0-9"
768       reference: 3
769       compare: 4
770   legend:
771     - ''
772     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
773     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
774     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
775     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
776     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
777
778 # VPP Latency Changes 2n-clx 2t1c
779 - type: "table"
780   title: "VPP Latency Changes 2n-clx 2t1c PDR50-direction1-avg"
781   algorithm: "table_comparison"
782   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-cx556a-2t1c-pdr50-d1-avg"
783   include-tests: "latency-PDR50-direction1-avg"
784   filter: "'2T1C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
785   columns:
786     - title: "2106.0-8"
787       data-set: "vpp-2n-clx-hist-iter-new-env"
788     - title: "2110.0-8"
789       data-set: "vpp-2n-clx-prev-iter-old-env"
790     - title: "2110.0-9"
791       data-set: "vpp-2n-clx-prev-iter-new-env"
792     - title: "2202.0-9"
793       data-set: "vpp-2n-clx-curr-iter"
794   comparisons:
795     - title: "2110.0-9 vs 2110.0-8"
796       reference: 2
797       compare: 3
798     - title: "2202.0-9 vs 2110.0-9"
799       reference: 3
800       compare: 4
801   legend:
802     - ''
803     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
804     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
805     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
806     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
807     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
808
809 # VPP Latency Changes 2n-clx 2t1c
810 - type: "table"
811   title: "VPP Latency Changes 2n-clx 2t1c PDR90-direction1-avg"
812   algorithm: "table_comparison"
813   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-cx556a-2t1c-pdr90-d1-avg"
814   include-tests: "latency-PDR90-direction1-avg"
815   filter: "'2T1C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
816   columns:
817     - title: "2106.0-8"
818       data-set: "vpp-2n-clx-hist-iter-new-env"
819     - title: "2110.0-8"
820       data-set: "vpp-2n-clx-prev-iter-old-env"
821     - title: "2110.0-9"
822       data-set: "vpp-2n-clx-prev-iter-new-env"
823     - title: "2202.0-9"
824       data-set: "vpp-2n-clx-curr-iter"
825   comparisons:
826     - title: "2110.0-9 vs 2110.0-8"
827       reference: 2
828       compare: 3
829     - title: "2202.0-9 vs 2110.0-9"
830       reference: 3
831       compare: 4
832   legend:
833     - ''
834     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
835     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
836     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
837     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
838     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
839
840 # VPP Latency Changes 2n-clx 2t1c
841 - type: "table"
842   title: "VPP Latency Changes 2n-clx 2t1c PDR90-direction1-max"
843   algorithm: "table_comparison"
844   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-cx556a-2t1c-pdr90-d1-max"
845   include-tests: "latency-PDR90-direction1-max"
846   filter: "'2T1C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
847   columns:
848     - title: "2106.0-8"
849       data-set: "vpp-2n-clx-hist-iter-new-env"
850     - title: "2110.0-8"
851       data-set: "vpp-2n-clx-prev-iter-old-env"
852     - title: "2110.0-9"
853       data-set: "vpp-2n-clx-prev-iter-new-env"
854     - title: "2202.0-9"
855       data-set: "vpp-2n-clx-curr-iter"
856   comparisons:
857     - title: "2110.0-9 vs 2110.0-8"
858       reference: 2
859       compare: 3
860     - title: "2202.0-9 vs 2110.0-9"
861       reference: 3
862       compare: 4
863   legend:
864     - ''
865     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
866     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
867     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
868     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
869     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
870
871 # VPP Latency Changes 2n-zn2 2t1c
872 - type: "table"
873   title: "VPP Latency Changes 2n-zn2 2t1c PDR50-direction1-avg"
874   algorithm: "table_comparison"
875   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-zn2-xxv710-2t1c-pdr50-d1-avg"
876   include-tests: "latency-PDR50-direction1-avg"
877   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
878   columns:
879     - title: "2106.0-8"
880       data-set: "vpp-2n-zn2-hist-iter-new-env"
881     - title: "2110.0-8"
882       data-set: "vpp-2n-zn2-prev-iter-old-env"
883     - title: "2110.0-9"
884       data-set: "vpp-2n-zn2-prev-iter-new-env"
885     - title: "2202.0-9"
886       data-set: "vpp-2n-zn2-curr-iter"
887   comparisons:
888     - title: "2110.0-9 vs 2110.0-8"
889       reference: 2
890       compare: 3
891     - title: "2202.0-9 vs 2110.0-9"
892       reference: 3
893       compare: 4
894   legend:
895     - ''
896     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
897     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
898     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
899     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
900     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
901
902 # VPP Latency Changes 2n-zn2 2t1c
903 - type: "table"
904   title: "VPP Latency Changes 2n-zn2 2t1c PDR90-direction1-avg"
905   algorithm: "table_comparison"
906   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-zn2-xxv710-2t1c-pdr90-d1-avg"
907   include-tests: "latency-PDR90-direction1-avg"
908   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
909   columns:
910     - title: "2106.0-8"
911       data-set: "vpp-2n-zn2-hist-iter-new-env"
912     - title: "2110.0-8"
913       data-set: "vpp-2n-zn2-prev-iter-old-env"
914     - title: "2110.0-9"
915       data-set: "vpp-2n-zn2-prev-iter-new-env"
916     - title: "2202.0-9"
917       data-set: "vpp-2n-zn2-curr-iter"
918   comparisons:
919     - title: "2110.0-9 vs 2110.0-8"
920       reference: 2
921       compare: 3
922     - title: "2202.0-9 vs 2110.0-9"
923       reference: 3
924       compare: 4
925   legend:
926     - ''
927     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
928     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
929     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
930     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
931     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
932
933 # VPP Latency Changes 2n-zn2 2t1c
934 - type: "table"
935   title: "VPP Latency Changes 2n-zn2 2t1c PDR90-direction1-max"
936   algorithm: "table_comparison"
937   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-zn2-xxv710-2t1c-pdr90-d1-max"
938   include-tests: "latency-PDR90-direction1-max"
939   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
940   columns:
941     - title: "2106.0-8"
942       data-set: "vpp-2n-zn2-hist-iter-new-env"
943     - title: "2110.0-8"
944       data-set: "vpp-2n-zn2-prev-iter-old-env"
945     - title: "2110.0-9"
946       data-set: "vpp-2n-zn2-prev-iter-new-env"
947     - title: "2202.0-9"
948       data-set: "vpp-2n-zn2-curr-iter"
949   comparisons:
950     - title: "2110.0-9 vs 2110.0-8"
951       reference: 2
952       compare: 3
953     - title: "2202.0-9 vs 2110.0-9"
954       reference: 3
955       compare: 4
956   legend:
957     - ''
958     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
959     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
960     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
961     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
962     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
963
964 # VPP Latency Changes 2n-tx2 1t1c
965 - type: "table"
966   title: "VPP Latency Changes 2n-tx2 1t1c PDR50-direction1-avg"
967   algorithm: "table_comparison"
968   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-tx2-xl710-1t1c-pdr50-d1-avg"
969   include-tests: "latency-PDR50-direction1-avg"
970   filter: "'1T1C' and 'NDRPDR'"
971   columns:
972     - title: "2106.0-8"
973       data-set: "vpp-2n-tx2-hist-iter-new-env"
974     - title: "2110.0-8"
975       data-set: "vpp-2n-tx2-prev-iter-old-env"
976     - title: "2110.0-9"
977       data-set: "vpp-2n-tx2-prev-iter-new-env"
978     - title: "2202.0-9"
979       data-set: "vpp-2n-tx2-curr-iter"
980   comparisons:
981     - title: "2110.0-9 vs 2110.0-8"
982       reference: 2
983       compare: 3
984     - title: "2202.0-9 vs 2110.0-9"
985       reference: 3
986       compare: 4
987   legend:
988     - ''
989     - 'Test Case:            Test cases executed for: PDR throughput on 2n-tx2 with xl710.'
990     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
991     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
992     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
993     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
994
995 # VPP Latency Changes 2n-tx2 1t1c
996 - type: "table"
997   title: "VPP Latency Changes 2n-tx2 1t1c PDR90-direction1-avg"
998   algorithm: "table_comparison"
999   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-tx2-xl710-1t1c-pdr90-d1-avg"
1000   include-tests: "latency-PDR90-direction1-avg"
1001   filter: "'1T1C' and 'NDRPDR'"
1002   columns:
1003     - title: "2106.0-8"
1004       data-set: "vpp-2n-tx2-hist-iter-new-env"
1005     - title: "2110.0-8"
1006       data-set: "vpp-2n-tx2-prev-iter-old-env"
1007     - title: "2110.0-9"
1008       data-set: "vpp-2n-tx2-prev-iter-new-env"
1009     - title: "2202.0-9"
1010       data-set: "vpp-2n-tx2-curr-iter"
1011   comparisons:
1012     - title: "2110.0-9 vs 2110.0-8"
1013       reference: 2
1014       compare: 3
1015     - title: "2202.0-9 vs 2110.0-9"
1016       reference: 3
1017       compare: 4
1018   legend:
1019     - ''
1020     - 'Test Case:            Test cases executed for: PDR throughput on 2n-tx2 with xl710.'
1021     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1022     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1023     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1024     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1025
1026 # VPP Latency Changes 2n-tx2 1t1c
1027 - type: "table"
1028   title: "VPP Latency Changes 2n-tx2 1t1c PDR90-direction1-max"
1029   algorithm: "table_comparison"
1030   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-tx2-xl710-1t1c-pdr90-d1-max"
1031   include-tests: "latency-PDR90-direction1-max"
1032   filter: "'1T1C' and 'NDRPDR'"
1033   columns:
1034     - title: "2106.0-8"
1035       data-set: "vpp-2n-tx2-hist-iter-new-env"
1036     - title: "2110.0-8"
1037       data-set: "vpp-2n-tx2-prev-iter-old-env"
1038     - title: "2110.0-9"
1039       data-set: "vpp-2n-tx2-prev-iter-new-env"
1040     - title: "2202.0-9"
1041       data-set: "vpp-2n-tx2-curr-iter"
1042   comparisons:
1043     - title: "2110.0-9 vs 2110.0-8"
1044       reference: 2
1045       compare: 3
1046     - title: "2202.0-9 vs 2110.0-9"
1047       reference: 3
1048       compare: 4
1049   legend:
1050     - ''
1051     - 'Test Case:            Test cases executed for: PDR throughput on 2n-tx2 with xl710.'
1052     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1053     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1054     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1055     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1056
1057 # VPP Latency Changes 3n-tsh 1t1c
1058 - type: "table"
1059   title: "VPP Latency Changes 3n-tsh 1t1c PDR50-direction1-avg"
1060   algorithm: "table_comparison"
1061   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-tsh-x520-1t1c-pdr50-d1-avg"
1062   include-tests: "latency-PDR50-direction1-avg"
1063   filter: "'1T1C' and 'NDRPDR'"
1064   columns:
1065     - title: "2106.0-8"
1066       data-set: "vpp-3n-tsh-hist-iter-new-env"
1067     - title: "2110.0-8"
1068       data-set: "vpp-3n-tsh-prev-iter-old-env"
1069     - title: "2110.0-9"
1070       data-set: "vpp-3n-tsh-prev-iter-new-env"
1071     - title: "2202.0-9"
1072       data-set: "vpp-3n-tsh-curr-iter"
1073   comparisons:
1074     - title: "2110.0-9 vs 2110.0-8"
1075       reference: 2
1076       compare: 3
1077     - title: "2202.0-9 vs 2110.0-9"
1078       reference: 3
1079       compare: 4
1080   legend:
1081     - ''
1082     - 'Test Case:            Test cases executed for: PDR throughput on 3n-tsh with x520.'
1083     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1084     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1085     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1086     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1087
1088 # VPP Latency Changes 3n-tsh 1t1c
1089 - type: "table"
1090   title: "VPP Latency Changes 3n-tsh 1t1c PDR90-direction1-avg"
1091   algorithm: "table_comparison"
1092   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-tsh-x520-1t1c-pdr90-d1-avg"
1093   include-tests: "latency-PDR90-direction1-avg"
1094   filter: "'1T1C' and 'NDRPDR'"
1095   columns:
1096     - title: "2106.0-8"
1097       data-set: "vpp-3n-tsh-hist-iter-new-env"
1098     - title: "2110.0-8"
1099       data-set: "vpp-3n-tsh-prev-iter-old-env"
1100     - title: "2110.0-9"
1101       data-set: "vpp-3n-tsh-prev-iter-new-env"
1102     - title: "2202.0-9"
1103       data-set: "vpp-3n-tsh-curr-iter"
1104   comparisons:
1105     - title: "2110.0-9 vs 2110.0-8"
1106       reference: 2
1107       compare: 3
1108     - title: "2202.0-9 vs 2110.0-9"
1109       reference: 3
1110       compare: 4
1111   legend:
1112     - ''
1113     - 'Test Case:            Test cases executed for: PDR throughput on 3n-tsh with x520.'
1114     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1115     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1116     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1117     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1118
1119 # VPP Latency Changes 3n-tsh 1t1c
1120 - type: "table"
1121   title: "VPP Latency Changes 3n-tsh 1t1c PDR90-direction1-max"
1122   algorithm: "table_comparison"
1123   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-tsh-x520-1t1c-pdr90-d1-max"
1124   include-tests: "latency-PDR90-direction1-max"
1125   filter: "'1T1C' and 'NDRPDR'"
1126   columns:
1127     - title: "2106.0-8"
1128       data-set: "vpp-3n-tsh-hist-iter-new-env"
1129     - title: "2110.0-8"
1130       data-set: "vpp-3n-tsh-prev-iter-old-env"
1131     - title: "2110.0-9"
1132       data-set: "vpp-3n-tsh-prev-iter-new-env"
1133     - title: "2202.0-9"
1134       data-set: "vpp-3n-tsh-curr-iter"
1135   comparisons:
1136     - title: "2110.0-9 vs 2110.0-8"
1137       reference: 2
1138       compare: 3
1139     - title: "2202.0-9 vs 2110.0-9"
1140       reference: 3
1141       compare: 4
1142   legend:
1143     - ''
1144     - 'Test Case:            Test cases executed for: PDR throughput on 3n-tsh with x520.'
1145     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1146     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1147     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1148     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1149
1150 # VPP Soak vs NDR - 2n-skx
1151 - type: "table"
1152   title: "VPP Soak vs NDR 2n-skx"
1153   algorithm: "table_soak_vs_ndr"
1154   output-file: "{DIR[STATIC,VPP]}/soak-vs-ndr-2n-skx"
1155   reference:
1156     title: "NDR"
1157     data: "vpp-soak-vs-ndr-2n-skx-ref"
1158   compare:
1159     title: "Soak"
1160     data: "vpp-2n-skx-curr-soak"
1161   data: "vpp-soak-vs-ndr-2n-skx"
1162   include-tests: "NDR"
1163   filter: "('NDRPDR' or 'SOAK') and not 'NF_DENSITY'"
1164   parameters:
1165     - "throughput"
1166     - "name"
1167     - "parent"
1168
1169 # VPP Soak vs NDR - 2n-clx
1170 - type: "table"
1171   title: "VPP Soak vs NDR 2n-clx"
1172   algorithm: "table_soak_vs_ndr"
1173   output-file: "{DIR[STATIC,VPP]}/soak-vs-ndr-2n-clx"
1174   reference:
1175     title: "NDR"
1176     data: "vpp-soak-vs-ndr-2n-clx-ref"
1177   compare:
1178     title: "Soak"
1179     data: "vpp-2n-clx-curr-soak"
1180   data: "vpp-soak-vs-ndr-2n-clx"
1181   include-tests: "NDR"
1182   filter: "('NDRPDR' or 'SOAK') and not 'NF_DENSITY'"
1183   parameters:
1184     - "throughput"
1185     - "name"
1186     - "parent"
1187
1188 ################################################################################
1189
1190 # VPP Compare NICs 3n-skx 2t1c ndr
1191 - type: "table"
1192   title: "VPP Compare NICs 3n-skx 2t1c ndr"
1193   algorithm: "table_comparison"
1194   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-ndr"
1195   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1196   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
1197   columns:
1198     - title: "x710"
1199       data-set: "vpp-3n-skx-curr-iter"
1200       tag: "NIC_Intel-X710"
1201     - title: "xxv710"
1202       data-set: "vpp-3n-skx-curr-iter"
1203       tag: "NIC_Intel-XXV710"
1204   comparisons:
1205     - title: "Diff"
1206       reference: 1
1207       compare: 2
1208   legend:
1209     - ""
1210     - "x710, xxv710 - NICs tested."
1211     - "Diff - difference between x710 and xxv710 NIC."
1212
1213 # VPP Compare NICs 3n-skx 4t2c ndr
1214 - type: "table"
1215   title: "VPP Compare NICs 3n-skx 4t2c ndr"
1216   algorithm: "table_comparison"
1217   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-ndr"
1218   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1219   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
1220   columns:
1221     - title: "x710"
1222       data-set: "vpp-3n-skx-curr-iter"
1223       tag: "NIC_Intel-X710"
1224     - title: "xxv710"
1225       data-set: "vpp-3n-skx-curr-iter"
1226       tag: "NIC_Intel-XXV710"
1227   comparisons:
1228     - title: "Diff"
1229       reference: 1
1230       compare: 2
1231   legend:
1232     - ""
1233     - "x710, xxv710 - NICs tested."
1234     - "Diff - difference between x710 and xxv710 NIC."
1235
1236 # VPP Compare NICs 3n-skx 2t1c pdr
1237 - type: "table"
1238   title: "VPP Compare NICs 3n-skx 2t1c pdr"
1239   algorithm: "table_comparison"
1240   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-pdr"
1241   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1242   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
1243   columns:
1244     - title: "x710"
1245       data-set: "vpp-3n-skx-curr-iter"
1246       tag: "NIC_Intel-X710"
1247     - title: "xxv710"
1248       data-set: "vpp-3n-skx-curr-iter"
1249       tag: "NIC_Intel-XXV710"
1250   comparisons:
1251     - title: "Diff"
1252       reference: 1
1253       compare: 2
1254   legend:
1255     - ""
1256     - "x710, xxv710 - NICs tested."
1257     - "Diff - difference between x710 and xxv710 NIC."
1258
1259 # VPP Compare NICs 3n-skx 4t2c pdr
1260 - type: "table"
1261   title: "VPP Compare NICs 3n-skx 4t2c pdr"
1262   algorithm: "table_comparison"
1263   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-pdr"
1264   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1265   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
1266   columns:
1267     - title: "x710"
1268       data-set: "vpp-3n-skx-curr-iter"
1269       tag: "NIC_Intel-X710"
1270     - title: "xxv710"
1271       data-set: "vpp-3n-skx-curr-iter"
1272       tag: "NIC_Intel-XXV710"
1273   comparisons:
1274     - title: "Diff"
1275       reference: 1
1276       compare: 2
1277   legend:
1278     - ""
1279     - "x710, xxv710 - NICs tested."
1280     - "Diff - difference between x710 and xxv710 NIC."
1281
1282 # VPP Compare NICs 3n-skx 2t1c mrr
1283 - type: "table"
1284   title: "VPP Compare NICs 3n-skx 2t1c mrr"
1285   algorithm: "table_comparison"
1286   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-mrr"
1287   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1288   filter: "'2T1C' and 'MRR' and not 'NF_DENSITY'"
1289   columns:
1290     - title: "x710"
1291       data-set: "vpp-3n-skx-curr-iter-mrr"
1292       tag: "NIC_Intel-X710"
1293     - title: "xxv710"
1294       data-set: "vpp-3n-skx-curr-iter-mrr"
1295       tag: "NIC_Intel-XXV710"
1296   comparisons:
1297     - title: "Diff"
1298       reference: 1
1299       compare: 2
1300   legend:
1301     - ""
1302     - "x710, xxv710 - NICs tested."
1303     - "Diff - difference between x710 and xxv710 NIC."
1304
1305 # VPP Compare NICs 3n-skx 4t2c mrr
1306 - type: "table"
1307   title: "VPP Compare NICs 3n-skx 4t2c mrr"
1308   algorithm: "table_comparison"
1309   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-mrr"
1310   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1311   filter: "'4T2C' and 'MRR' and not 'NF_DENSITY'"
1312   columns:
1313     - title: "x710"
1314       data-set: "vpp-3n-skx-curr-iter-mrr"
1315       tag: "NIC_Intel-X710"
1316     - title: "xxv710"
1317       data-set: "vpp-3n-skx-curr-iter-mrr"
1318       tag: "NIC_Intel-XXV710"
1319   comparisons:
1320     - title: "Diff"
1321       reference: 1
1322       compare: 2
1323   legend:
1324     - ""
1325     - "x710, xxv710 - NICs tested."
1326     - "Diff - difference between x710 and xxv710 NIC."
1327
1328 # VPP Compare NICs 3n-skx 8t4c mrr
1329 - type: "table"
1330   title: "VPP Compare NICs 3n-skx 8t4c mrr"
1331   algorithm: "table_comparison"
1332   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-8t4c-nics-mrr"
1333   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1334   filter: "'8T4C' and 'MRR' and not 'NF_DENSITY'"
1335   columns:
1336     - title: "x710"
1337       data-set: "vpp-3n-skx-curr-iter-mrr"
1338       tag: "NIC_Intel-X710"
1339     - title: "xxv710"
1340       data-set: "vpp-3n-skx-curr-iter-mrr"
1341       tag: "NIC_Intel-XXV710"
1342   comparisons:
1343     - title: "Diff"
1344       reference: 1
1345       compare: 2
1346   legend:
1347     - ""
1348     - "x710, xxv710 - NICs tested."
1349     - "Diff - difference between x710 and xxv710 NIC."
1350
1351 # VPP Compare NICs 2n-skx 2t1c ndr
1352 - type: "table"
1353   title: "VPP Compare NICs 2n-skx 2t1c ndr"
1354   algorithm: "table_comparison"
1355   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-nics-ndr"
1356   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1357   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
1358   columns:
1359     - title: "x710"
1360       data-set: "vpp-2n-skx-curr-iter"
1361       tag: "NIC_Intel-X710"
1362     - title: "xxv710"
1363       data-set: "vpp-2n-skx-curr-iter"
1364       tag: "NIC_Intel-XXV710"
1365   comparisons:
1366     - title: "Diff"
1367       reference: 1
1368       compare: 2
1369   legend:
1370     - ""
1371     - "x710, xxv710 - NICs tested."
1372     - "Diff - difference between x710 and xxv710 NIC."
1373
1374 # VPP Compare NICs 2n-skx 4t2c ndr
1375 - type: "table"
1376   title: "VPP Compare NICs 2n-skx 4t2c ndr"
1377   algorithm: "table_comparison"
1378   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-nics-ndr"
1379   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1380   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
1381   columns:
1382     - title: "x710"
1383       data-set: "vpp-2n-skx-curr-iter"
1384       tag: "NIC_Intel-X710"
1385     - title: "xxv710"
1386       data-set: "vpp-2n-skx-curr-iter"
1387       tag: "NIC_Intel-XXV710"
1388   comparisons:
1389     - title: "Diff"
1390       reference: 1
1391       compare: 2
1392   legend:
1393     - ""
1394     - "x710, xxv710 - NICs tested."
1395     - "Diff - difference between x710 and xxv710 NIC."
1396
1397 # VPP Compare NICs 2n-skx 2t1c pdr
1398 - type: "table"
1399   title: "VPP Compare NICs 2n-skx 2t1c pdr"
1400   algorithm: "table_comparison"
1401   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-nics-pdr"
1402   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1403   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
1404   columns:
1405     - title: "x710"
1406       data-set: "vpp-2n-skx-curr-iter"
1407       tag: "NIC_Intel-X710"
1408     - title: "xxv710"
1409       data-set: "vpp-2n-skx-curr-iter"
1410       tag: "NIC_Intel-XXV710"
1411   comparisons:
1412     - title: "Diff"
1413       reference: 1
1414       compare: 2
1415   legend:
1416     - ""
1417     - "x710, xxv710 - NICs tested."
1418     - "Diff - difference between x710 and xxv710 NIC."
1419
1420 # VPP Compare NICs 2n-skx 4t2c pdr
1421 - type: "table"
1422   title: "VPP Compare NICs 2n-skx 4t2c pdr"
1423   algorithm: "table_comparison"
1424   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-nics-pdr"
1425   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1426   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
1427   columns:
1428     - title: "x710"
1429       data-set: "vpp-2n-skx-curr-iter"
1430       tag: "NIC_Intel-X710"
1431     - title: "xxv710"
1432       data-set: "vpp-2n-skx-curr-iter"
1433       tag: "NIC_Intel-XXV710"
1434   comparisons:
1435     - title: "Diff"
1436       reference: 1
1437       compare: 2
1438   legend:
1439     - ""
1440     - "x710, xxv710 - NICs tested."
1441     - "Diff - difference between x710 and xxv710 NIC."
1442
1443 # VPP Compare NICs 2n-skx 2t1c mrr
1444 - type: "table"
1445   title: "VPP Compare NICs 2n-skx 2t1c mrr"
1446   algorithm: "table_comparison"
1447   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-nics-mrr"
1448   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1449   filter: "'2T1C' and 'MRR' and not 'NF_DENSITY'"
1450   columns:
1451     - title: "x710"
1452       data-set: "vpp-2n-skx-curr-iter-mrr"
1453       tag: "NIC_Intel-X710"
1454     - title: "xxv710"
1455       data-set: "vpp-2n-skx-curr-iter-mrr"
1456       tag: "NIC_Intel-XXV710"
1457   comparisons:
1458     - title: "Diff"
1459       reference: 1
1460       compare: 2
1461   legend:
1462     - ""
1463     - "x710, xxv710 - NICs tested."
1464     - "Diff - difference between x710 and xxv710 NIC."
1465
1466 # VPP Compare NICs 2n-skx 4t2c mrr
1467 - type: "table"
1468   title: "VPP Compare NICs 2n-skx 4t2c mrr"
1469   algorithm: "table_comparison"
1470   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-nics-mrr"
1471   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1472   filter: "'4T2C' and 'MRR' and not 'NF_DENSITY'"
1473   columns:
1474     - title: "x710"
1475       data-set: "vpp-2n-skx-curr-iter-mrr"
1476       tag: "NIC_Intel-X710"
1477     - title: "xxv710"
1478       data-set: "vpp-2n-skx-curr-iter-mrr"
1479       tag: "NIC_Intel-XXV710"
1480   comparisons:
1481     - title: "Diff"
1482       reference: 1
1483       compare: 2
1484   legend:
1485     - ""
1486     - "x710, xxv710 - NICs tested."
1487     - "Diff - difference between x710 and xxv710 NIC."
1488
1489 # VPP Compare NICs 2n-skx 8t4c mrr
1490 - type: "table"
1491   title: "VPP Compare NICs 2n-skx 8t4c mrr"
1492   algorithm: "table_comparison"
1493   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-8t4c-nics-mrr"
1494   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1495   filter: "'8T4C' and 'MRR' and not 'NF_DENSITY'"
1496   columns:
1497     - title: "x710"
1498       data-set: "vpp-2n-skx-curr-iter-mrr"
1499       tag: "NIC_Intel-X710"
1500     - title: "xxv710"
1501       data-set: "vpp-2n-skx-curr-iter-mrr"
1502       tag: "NIC_Intel-XXV710"
1503   comparisons:
1504     - title: "Diff"
1505       reference: 1
1506       compare: 2
1507   legend:
1508     - ""
1509     - "x710, xxv710 - NICs tested."
1510     - "Diff - difference between x710 and xxv710 NIC."
1511
1512 ################################################################################
1513 # VPP
1514
1515 # VPP Performance Changes 3n-skx 2t1c pdr
1516 - type: "table"
1517   title: "VPP Performance Changes 3n-skx 2t1c pdr"
1518   algorithm: "table_comparison"
1519   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-pdr"
1520   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1521   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1522   columns:
1523     - title: "2106.0-8"
1524       data-set: "vpp-3n-skx-hist-iter-new-env"
1525     - title: "2110.0-8"
1526       data-set: "vpp-3n-skx-prev-iter-old-env"
1527     - title: "2110.0-9"
1528       data-set: "vpp-3n-skx-prev-iter-new-env"
1529     - title: "2202.0-9"
1530       data-set: "vpp-3n-skx-curr-iter"
1531   comparisons:
1532     - title: "2110.0-9 vs 2110.0-8"
1533       reference: 2
1534       compare: 3
1535     - title: "2202.0-9 vs 2110.0-9"
1536       reference: 3
1537       compare: 4
1538   legend:
1539     - ''
1540     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
1541     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1542     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1543     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1544     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1545
1546 # VPP Performance Changes 3n-skx 4t2c pdr
1547 - type: "table"
1548   title: "VPP Performance Changes 3n-skx 4t2c pdr"
1549   algorithm: "table_comparison"
1550   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-pdr"
1551   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1552   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1553   columns:
1554     - title: "2106.0-8"
1555       data-set: "vpp-3n-skx-hist-iter-new-env"
1556     - title: "2110.0-8"
1557       data-set: "vpp-3n-skx-prev-iter-old-env"
1558     - title: "2110.0-9"
1559       data-set: "vpp-3n-skx-prev-iter-new-env"
1560     - title: "2202.0-9"
1561       data-set: "vpp-3n-skx-curr-iter"
1562   comparisons:
1563     - title: "2110.0-9 vs 2110.0-8"
1564       reference: 2
1565       compare: 3
1566     - title: "2202.0-9 vs 2110.0-9"
1567       reference: 3
1568       compare: 4
1569   legend:
1570     - ''
1571     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
1572     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1573     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1574     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1575     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1576
1577 # VPP Performance Changes 3n-skx 2t1c ndr
1578 - type: "table"
1579   title: "VPP Performance Changes 3n-skx 2t1c ndr"
1580   algorithm: "table_comparison"
1581   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-ndr"
1582   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1583   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1584   columns:
1585     - title: "2106.0-8"
1586       data-set: "vpp-3n-skx-hist-iter-new-env"
1587     - title: "2110.0-8"
1588       data-set: "vpp-3n-skx-prev-iter-old-env"
1589     - title: "2110.0-9"
1590       data-set: "vpp-3n-skx-prev-iter-new-env"
1591     - title: "2202.0-9"
1592       data-set: "vpp-3n-skx-curr-iter"
1593   comparisons:
1594     - title: "2110.0-9 vs 2110.0-8"
1595       reference: 2
1596       compare: 3
1597     - title: "2202.0-9 vs 2110.0-9"
1598       reference: 3
1599       compare: 4
1600   legend:
1601     - ''
1602     - 'Test Case:            Test cases executed for: NDR throughput on 3n-skx with xxv710.'
1603     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1604     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1605     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1606     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1607
1608 # VPP Performance Changes 3n-skx 4t2c ndr
1609 - type: "table"
1610   title: "VPP Performance Changes 3n-skx 4t2c ndr"
1611   algorithm: "table_comparison"
1612   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-ndr"
1613   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1614   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1615   columns:
1616     - title: "2106.0-8"
1617       data-set: "vpp-3n-skx-hist-iter-new-env"
1618     - title: "2110.0-8"
1619       data-set: "vpp-3n-skx-prev-iter-old-env"
1620     - title: "2110.0-9"
1621       data-set: "vpp-3n-skx-prev-iter-new-env"
1622     - title: "2202.0-9"
1623       data-set: "vpp-3n-skx-curr-iter"
1624   comparisons:
1625     - title: "2110.0-9 vs 2110.0-8"
1626       reference: 2
1627       compare: 3
1628     - title: "2202.0-9 vs 2110.0-9"
1629       reference: 3
1630       compare: 4
1631   legend:
1632     - ''
1633     - 'Test Case:            Test cases executed for: NDR throughput on 3n-skx with xxv710.'
1634     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1635     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1636     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1637     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1638
1639 # VPP Performance Changes 2n-skx 2t1c pdr
1640 - type: "table"
1641   title: "VPP Performance Changes 2n-skx 2t1c pdr"
1642   algorithm: "table_comparison"
1643   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-pdr"
1644   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1645   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1646   columns:
1647     - title: "2106.0-8"
1648       data-set: "vpp-2n-skx-hist-iter-new-env"
1649     - title: "2110.0-8"
1650       data-set: "vpp-2n-skx-prev-iter-old-env"
1651     - title: "2110.0-9"
1652       data-set: "vpp-2n-skx-prev-iter-new-env"
1653     - title: "2202.0-9"
1654       data-set: "vpp-2n-skx-curr-iter"
1655   comparisons:
1656     - title: "2110.0-9 vs 2110.0-8"
1657       reference: 2
1658       compare: 3
1659     - title: "2202.0-9 vs 2110.0-9"
1660       reference: 3
1661       compare: 4
1662   legend:
1663     - ''
1664     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
1665     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1666     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1667     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1668     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1669
1670 # VPP Performance Changes 2n-skx 4t2c pdr
1671 - type: "table"
1672   title: "VPP Performance Changes 2n-skx 4t2c pdr"
1673   algorithm: "table_comparison"
1674   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-pdr"
1675   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1676   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1677   columns:
1678     - title: "2106.0-8"
1679       data-set: "vpp-2n-skx-hist-iter-new-env"
1680     - title: "2110.0-8"
1681       data-set: "vpp-2n-skx-prev-iter-old-env"
1682     - title: "2110.0-9"
1683       data-set: "vpp-2n-skx-prev-iter-new-env"
1684     - title: "2202.0-9"
1685       data-set: "vpp-2n-skx-curr-iter"
1686   comparisons:
1687     - title: "2110.0-9 vs 2110.0-8"
1688       reference: 2
1689       compare: 3
1690     - title: "2202.0-9 vs 2110.0-9"
1691       reference: 3
1692       compare: 4
1693   legend:
1694     - ''
1695     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
1696     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1697     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1698     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1699     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1700
1701 # VPP Performance Changes 2n-skx 2t1c ndr
1702 - type: "table"
1703   title: "VPP Performance Changes 2n-skx 2t1c ndr"
1704   algorithm: "table_comparison"
1705   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-ndr"
1706   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1707   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1708   columns:
1709     - title: "2106.0-8"
1710       data-set: "vpp-2n-skx-hist-iter-new-env"
1711     - title: "2110.0-8"
1712       data-set: "vpp-2n-skx-prev-iter-old-env"
1713     - title: "2110.0-9"
1714       data-set: "vpp-2n-skx-prev-iter-new-env"
1715     - title: "2202.0-9"
1716       data-set: "vpp-2n-skx-curr-iter"
1717   comparisons:
1718     - title: "2110.0-9 vs 2110.0-8"
1719       reference: 2
1720       compare: 3
1721     - title: "2202.0-9 vs 2110.0-9"
1722       reference: 3
1723       compare: 4
1724   legend:
1725     - ''
1726     - 'Test Case:            Test cases executed for: NDR throughput on 2n-skx with xxv710.'
1727     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1728     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1729     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1730     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1731
1732 # VPP Performance Changes 2n-skx 4t2c ndr
1733 - type: "table"
1734   title: "VPP Performance Changes 2n-skx 4t2c ndr"
1735   algorithm: "table_comparison"
1736   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-ndr"
1737   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1738   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1739   columns:
1740     - title: "2106.0-8"
1741       data-set: "vpp-2n-skx-hist-iter-new-env"
1742     - title: "2110.0-8"
1743       data-set: "vpp-2n-skx-prev-iter-old-env"
1744     - title: "2110.0-9"
1745       data-set: "vpp-2n-skx-prev-iter-new-env"
1746     - title: "2202.0-9"
1747       data-set: "vpp-2n-skx-curr-iter"
1748   comparisons:
1749     - title: "2110.0-9 vs 2110.0-8"
1750       reference: 2
1751       compare: 3
1752     - title: "2202.0-9 vs 2110.0-9"
1753       reference: 3
1754       compare: 4
1755   legend:
1756     - ''
1757     - 'Test Case:            Test cases executed for: NDR throughput on 2n-skx with xxv710.'
1758     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1759     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1760     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1761     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1762
1763 # VPP Performance Changes 2n-clx-xxv710 2t1c pdr
1764 - type: "table"
1765   title: "VPP Performance Changes 2n-clx-xxv710 2t1c pdr"
1766   algorithm: "table_comparison"
1767   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-xxv710-2t1c-pdr"
1768   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1769   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1770   columns:
1771     - title: "2106.0-8"
1772       data-set: "vpp-2n-clx-hist-iter-new-env"
1773     - title: "2110.0-8"
1774       data-set: "vpp-2n-clx-prev-iter-old-env"
1775     - title: "2110.0-9"
1776       data-set: "vpp-2n-clx-prev-iter-new-env"
1777     - title: "2202.0-9"
1778       data-set: "vpp-2n-clx-curr-iter"
1779   comparisons:
1780     - title: "2110.0-9 vs 2110.0-8"
1781       reference: 2
1782       compare: 3
1783     - title: "2202.0-9 vs 2110.0-9"
1784       reference: 3
1785       compare: 4
1786   legend:
1787     - ''
1788     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
1789     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1790     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1791     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1792     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1793
1794 # VPP Performance Changes 2n-clx-xxv710 4t2c pdr
1795 - type: "table"
1796   title: "VPP Performance Changes 2n-clx-xxv710 4t2c pdr"
1797   algorithm: "table_comparison"
1798   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-xxv710-4t2c-pdr"
1799   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1800   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1801   columns:
1802     - title: "2106.0-8"
1803       data-set: "vpp-2n-clx-hist-iter-new-env"
1804     - title: "2110.0-8"
1805       data-set: "vpp-2n-clx-prev-iter-old-env"
1806     - title: "2110.0-9"
1807       data-set: "vpp-2n-clx-prev-iter-new-env"
1808     - title: "2202.0-9"
1809       data-set: "vpp-2n-clx-curr-iter"
1810   comparisons:
1811     - title: "2110.0-9 vs 2110.0-8"
1812       reference: 2
1813       compare: 3
1814     - title: "2202.0-9 vs 2110.0-9"
1815       reference: 3
1816       compare: 4
1817   legend:
1818     - ''
1819     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
1820     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1821     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1822     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1823     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1824
1825 # VPP Performance Changes 2n-clx-xxv710 2t1c ndr
1826 - type: "table"
1827   title: "VPP Performance Changes 2n-clx-xxv710 2t1c ndr"
1828   algorithm: "table_comparison"
1829   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-xxv710-2t1c-ndr"
1830   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1831   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1832   columns:
1833     - title: "2106.0-8"
1834       data-set: "vpp-2n-clx-hist-iter-new-env"
1835     - title: "2110.0-8"
1836       data-set: "vpp-2n-clx-prev-iter-old-env"
1837     - title: "2110.0-9"
1838       data-set: "vpp-2n-clx-prev-iter-new-env"
1839     - title: "2202.0-9"
1840       data-set: "vpp-2n-clx-curr-iter"
1841   comparisons:
1842     - title: "2110.0-9 vs 2110.0-8"
1843       reference: 2
1844       compare: 3
1845     - title: "2202.0-9 vs 2110.0-9"
1846       reference: 3
1847       compare: 4
1848   legend:
1849     - ''
1850     - 'Test Case:            Test cases executed for: NDR throughput on 2n-clx with xxv710.'
1851     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1852     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1853     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1854     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1855
1856 # VPP Performance Changes 2n-clx-xxv710 4t2c ndr
1857 - type: "table"
1858   title: "VPP Performance Changes 2n-clx-xxv710 ndr"
1859   algorithm: "table_comparison"
1860   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-xxv710-4t2c-ndr"
1861   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1862   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1863   columns:
1864     - title: "2106.0-8"
1865       data-set: "vpp-2n-clx-hist-iter-new-env"
1866     - title: "2110.0-8"
1867       data-set: "vpp-2n-clx-prev-iter-old-env"
1868     - title: "2110.0-9"
1869       data-set: "vpp-2n-clx-prev-iter-new-env"
1870     - title: "2202.0-9"
1871       data-set: "vpp-2n-clx-curr-iter"
1872   comparisons:
1873     - title: "2110.0-9 vs 2110.0-8"
1874       reference: 2
1875       compare: 3
1876     - title: "2202.0-9 vs 2110.0-9"
1877       reference: 3
1878       compare: 4
1879   legend:
1880     - ''
1881     - 'Test Case:            Test cases executed for: NDR throughput on 2n-clx with xxv710.'
1882     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1883     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1884     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1885     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1886
1887 # VPP Performance Changes 2n-clx-cx556a 2t1c pdr
1888 - type: "table"
1889   title: "VPP Performance Changes 2n-clx-cx556a 2t1c pdr"
1890   algorithm: "table_comparison"
1891   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-cx556a-2t1c-pdr"
1892   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1893   filter: "'2T1C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
1894   columns:
1895     - title: "2106.0-8"
1896       data-set: "vpp-2n-clx-hist-iter-new-env"
1897     - title: "2110.0-8"
1898       data-set: "vpp-2n-clx-prev-iter-old-env"
1899     - title: "2110.0-9"
1900       data-set: "vpp-2n-clx-prev-iter-new-env"
1901     - title: "2202.0-9"
1902       data-set: "vpp-2n-clx-curr-iter"
1903   comparisons:
1904     - title: "2110.0-9 vs 2110.0-8"
1905       reference: 2
1906       compare: 3
1907     - title: "2202.0-9 vs 2110.0-9"
1908       reference: 3
1909       compare: 4
1910   legend:
1911     - ''
1912     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
1913     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1914     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1915     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1916     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1917
1918 # VPP Performance Changes 2n-clx-cx556a 4t2c pdr
1919 - type: "table"
1920   title: "VPP Performance Changes 2n-clx-cx556a 4t2c pdr"
1921   algorithm: "table_comparison"
1922   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-cx556a-4t2c-pdr"
1923   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1924   filter: "'4T2C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
1925   columns:
1926     - title: "2106.0-8"
1927       data-set: "vpp-2n-clx-hist-iter-new-env"
1928     - title: "2110.0-8"
1929       data-set: "vpp-2n-clx-prev-iter-old-env"
1930     - title: "2110.0-9"
1931       data-set: "vpp-2n-clx-prev-iter-new-env"
1932     - title: "2202.0-9"
1933       data-set: "vpp-2n-clx-curr-iter"
1934   comparisons:
1935     - title: "2110.0-9 vs 2110.0-8"
1936       reference: 2
1937       compare: 3
1938     - title: "2202.0-9 vs 2110.0-9"
1939       reference: 3
1940       compare: 4
1941   legend:
1942     - ''
1943     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
1944     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1945     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1946     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1947     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1948
1949 # VPP Performance Changes 2n-clx-cx556a 2t1c ndr
1950 - type: "table"
1951   title: "VPP Performance Changes 2n-clx-cx556a 2t1c ndr"
1952   algorithm: "table_comparison"
1953   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-cx556a-2t1c-ndr"
1954   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1955   filter: "'2T1C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
1956   columns:
1957     - title: "2106.0-8"
1958       data-set: "vpp-2n-clx-hist-iter-new-env"
1959     - title: "2110.0-8"
1960       data-set: "vpp-2n-clx-prev-iter-old-env"
1961     - title: "2110.0-9"
1962       data-set: "vpp-2n-clx-prev-iter-new-env"
1963     - title: "2202.0-9"
1964       data-set: "vpp-2n-clx-curr-iter"
1965   comparisons:
1966     - title: "2110.0-9 vs 2110.0-8"
1967       reference: 2
1968       compare: 3
1969     - title: "2202.0-9 vs 2110.0-9"
1970       reference: 3
1971       compare: 4
1972   legend:
1973     - ''
1974     - 'Test Case:            Test cases executed for: NDR throughput on 2n-clx with cx556a.'
1975     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1976     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1977     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1978     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1979
1980 # VPP Performance Changes 2n-clx-cx556a 4t2c ndr
1981 - type: "table"
1982   title: "VPP Performance Changes 2n-clx-cx556a ndr"
1983   algorithm: "table_comparison"
1984   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-cx556a-4t2c-ndr"
1985   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1986   filter: "'4T2C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
1987   columns:
1988     - title: "2106.0-8"
1989       data-set: "vpp-2n-clx-hist-iter-new-env"
1990     - title: "2110.0-8"
1991       data-set: "vpp-2n-clx-prev-iter-old-env"
1992     - title: "2110.0-9"
1993       data-set: "vpp-2n-clx-prev-iter-new-env"
1994     - title: "2202.0-9"
1995       data-set: "vpp-2n-clx-curr-iter"
1996   comparisons:
1997     - title: "2110.0-9 vs 2110.0-8"
1998       reference: 2
1999       compare: 3
2000     - title: "2202.0-9 vs 2110.0-9"
2001       reference: 3
2002       compare: 4
2003   legend:
2004     - ''
2005     - 'Test Case:            Test cases executed for: NDR throughput on 2n-clx with cx556a.'
2006     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2007     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2008     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2009     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2010
2011 # VPP Performance Changes 2n-zn2-xxv710 2t1c pdr
2012 - type: "table"
2013   title: "VPP Performance Changes 2n-zn2-xxv710 2t1c pdr"
2014   algorithm: "table_comparison"
2015   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-zn2-xxv710-2t1c-pdr"
2016   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2017   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
2018   columns:
2019     - title: "2106.0-8"
2020       data-set: "vpp-2n-zn2-hist-iter-new-env"
2021     - title: "2110.0-8"
2022       data-set: "vpp-2n-zn2-prev-iter-old-env"
2023     - title: "2110.0-9"
2024       data-set: "vpp-2n-zn2-prev-iter-new-env"
2025     - title: "2202.0-9"
2026       data-set: "vpp-2n-zn2-curr-iter"
2027   comparisons:
2028     - title: "2110.0-9 vs 2110.0-8"
2029       reference: 2
2030       compare: 3
2031     - title: "2202.0-9 vs 2110.0-9"
2032       reference: 3
2033       compare: 4
2034   legend:
2035     - ''
2036     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
2037     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2038     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2039     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2040     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2041
2042 # VPP Performance Changes 2n-zn2-xxv710 4t2c pdr
2043 - type: "table"
2044   title: "VPP Performance Changes 2n-zn2-xxv710 4t2c pdr"
2045   algorithm: "table_comparison"
2046   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-zn2-xxv710-4t2c-pdr"
2047   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2048   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
2049   columns:
2050     - title: "2106.0-8"
2051       data-set: "vpp-2n-zn2-hist-iter-new-env"
2052     - title: "2110.0-8"
2053       data-set: "vpp-2n-zn2-prev-iter-old-env"
2054     - title: "2110.0-9"
2055       data-set: "vpp-2n-zn2-prev-iter-new-env"
2056     - title: "2202.0-9"
2057       data-set: "vpp-2n-zn2-curr-iter"
2058   comparisons:
2059     - title: "2110.0-9 vs 2110.0-8"
2060       reference: 2
2061       compare: 3
2062     - title: "2202.0-9 vs 2110.0-9"
2063       reference: 3
2064       compare: 4
2065   legend:
2066     - ''
2067     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
2068     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2069     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2070     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2071     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2072
2073 # VPP Performance Changes 2n-zn2-xxv710 2t1c ndr
2074 - type: "table"
2075   title: "VPP Performance Changes 2n-zn2-xxv710 2t1c ndr"
2076   algorithm: "table_comparison"
2077   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-zn2-xxv710-2t1c-ndr"
2078   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2079   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
2080   columns:
2081     - title: "2106.0-8"
2082       data-set: "vpp-2n-zn2-hist-iter-new-env"
2083     - title: "2110.0-8"
2084       data-set: "vpp-2n-zn2-prev-iter-old-env"
2085     - title: "2110.0-9"
2086       data-set: "vpp-2n-zn2-prev-iter-new-env"
2087     - title: "2202.0-9"
2088       data-set: "vpp-2n-zn2-curr-iter"
2089   comparisons:
2090     - title: "2110.0-9 vs 2110.0-8"
2091       reference: 2
2092       compare: 3
2093     - title: "2202.0-9 vs 2110.0-9"
2094       reference: 3
2095       compare: 4
2096   legend:
2097     - ''
2098     - 'Test Case:            Test cases executed for: NDR throughput on 2n-zn2 with xxv710.'
2099     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2100     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2101     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2102     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2103
2104 # VPP Performance Changes 2n-zn2-xxv710 4t2c ndr
2105 - type: "table"
2106   title: "VPP Performance Changes 2n-zn2-xxv710 4t2c ndr"
2107   algorithm: "table_comparison"
2108   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-zn2-xxv710-4t2c-ndr"
2109   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2110   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
2111   columns:
2112     - title: "2106.0-8"
2113       data-set: "vpp-2n-zn2-hist-iter-new-env"
2114     - title: "2110.0-8"
2115       data-set: "vpp-2n-zn2-prev-iter-old-env"
2116     - title: "2110.0-9"
2117       data-set: "vpp-2n-zn2-prev-iter-new-env"
2118     - title: "2202.0-9"
2119       data-set: "vpp-2n-zn2-curr-iter"
2120   comparisons:
2121     - title: "2110.0-9 vs 2110.0-8"
2122       reference: 2
2123       compare: 3
2124     - title: "2202.0-9 vs 2110.0-9"
2125       reference: 3
2126       compare: 4
2127   legend:
2128     - ''
2129     - 'Test Case:            Test cases executed for: NDR throughput on 2n-zn2 with xxv710.'
2130     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2131     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2132     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2133     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2134
2135 # VPP Performance Changes 2n-dnv 1t1c pdr
2136 - type: "table"
2137   title: "VPP Performance Changes 2n-dnv 1t1c pdr"
2138   algorithm: "table_comparison"
2139   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-dnv-1t1c-pdr"
2140   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2141   filter: "'1T1C'"
2142   columns:
2143     - title: "2106.0-8"
2144       data-set: "vpp-2n-dnv-hist-iter-new-env"
2145     - title: "2110.0-8"
2146       data-set: "vpp-2n-dnv-prev-iter-old-env"
2147     - title: "2110.0-9"
2148       data-set: "vpp-2n-dnv-prev-iter-new-env"
2149     - title: "2202.0-9"
2150       data-set: "vpp-2n-dnv-curr-iter"
2151   comparisons:
2152     - title: "2110.0-9 vs 2110.0-8"
2153       reference: 2
2154       compare: 3
2155     - title: "2202.0-9 vs 2110.0-9"
2156       reference: 3
2157       compare: 4
2158   legend:
2159     - ''
2160     - 'Test Case:            Test cases executed for: PDR throughput on 2n-dnv with x553.'
2161     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2162     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2163     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2164     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2165
2166 # VPP Performance Changes 2n-dnv 2t2c pdr
2167 - type: "table"
2168   title: "VPP Performance Changes 2n-dnv 2t2c pdr"
2169   algorithm: "table_comparison"
2170   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-dnv-2t2c-pdr"
2171   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2172   filter: "'2T2C'"
2173   columns:
2174     - title: "2106.0-8"
2175       data-set: "vpp-2n-dnv-hist-iter-new-env"
2176     - title: "2110.0-8"
2177       data-set: "vpp-2n-dnv-prev-iter-old-env"
2178     - title: "2110.0-9"
2179       data-set: "vpp-2n-dnv-prev-iter-new-env"
2180     - title: "2202.0-9"
2181       data-set: "vpp-2n-dnv-curr-iter"
2182   comparisons:
2183     - title: "2110.0-9 vs 2110.0-8"
2184       reference: 2
2185       compare: 3
2186     - title: "2202.0-9 vs 2110.0-9"
2187       reference: 3
2188       compare: 4
2189   legend:
2190     - ''
2191     - 'Test Case:            Test cases executed for: PDR throughput on 2n-dnv with x553.'
2192     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2193     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2194     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2195     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2196
2197 # VPP Performance Changes 2n-dnv 1t1c ndr
2198 - type: "table"
2199   title: "VPP Performance Changes 2n-dnv 1t1c ndr"
2200   algorithm: "table_comparison"
2201   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-dnv-1t1c-ndr"
2202   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2203   filter: "'1T1C'"
2204   columns:
2205     - title: "2106.0-8"
2206       data-set: "vpp-2n-dnv-hist-iter-new-env"
2207     - title: "2110.0-8"
2208       data-set: "vpp-2n-dnv-prev-iter-old-env"
2209     - title: "2110.0-9"
2210       data-set: "vpp-2n-dnv-prev-iter-new-env"
2211     - title: "2202.0-9"
2212       data-set: "vpp-2n-dnv-curr-iter"
2213   comparisons:
2214     - title: "2110.0-9 vs 2110.0-8"
2215       reference: 2
2216       compare: 3
2217     - title: "2202.0-9 vs 2110.0-9"
2218       reference: 3
2219       compare: 4
2220   legend:
2221     - ''
2222     - 'Test Case:            Test cases executed for: NDR throughput on 2n-dnv with x553.'
2223     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2224     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2225     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2226     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2227
2228 # VPP Performance Changes 2n-dnv 2t2c ndr
2229 - type: "table"
2230   title: "VPP Performance Changes 2n-dnv 2t2c ndr"
2231   algorithm: "table_comparison"
2232   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-dnv-2t2c-ndr"
2233   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2234   filter: "'2T2C'"
2235   columns:
2236     - title: "2106.0-8"
2237       data-set: "vpp-2n-dnv-hist-iter-new-env"
2238     - title: "2110.0-8"
2239       data-set: "vpp-2n-dnv-prev-iter-old-env"
2240     - title: "2110.0-9"
2241       data-set: "vpp-2n-dnv-prev-iter-new-env"
2242     - title: "2202.0-9"
2243       data-set: "vpp-2n-dnv-curr-iter"
2244   comparisons:
2245     - title: "2110.0-9 vs 2110.0-8"
2246       reference: 2
2247       compare: 3
2248     - title: "2202.0-9 vs 2110.0-9"
2249       reference: 3
2250       compare: 4
2251   legend:
2252     - ''
2253     - 'Test Case:            Test cases executed for: NDR throughput on 2n-dnv with x553.'
2254     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2255     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2256     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2257     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2258
2259 # VPP Performance Changes 3n-dnv 1t1c pdr
2260 - type: "table"
2261   title: "VPP Performance Changes 3n-dnv 1t1c pdr"
2262   algorithm: "table_comparison"
2263   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-dnv-1t1c-pdr"
2264   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2265   filter: "'1T1C'"
2266   columns:
2267     - title: "2106.0-8"
2268       data-set: "vpp-3n-dnv-hist-iter-new-env"
2269     - title: "2110.0-8"
2270       data-set: "vpp-3n-dnv-prev-iter-old-env"
2271     - title: "2110.0-9"
2272       data-set: "vpp-3n-dnv-prev-iter-new-env"
2273     - title: "2202.0-9"
2274       data-set: "vpp-3n-dnv-curr-iter"
2275   comparisons:
2276     - title: "2110.0-9 vs 2110.0-8"
2277       reference: 2
2278       compare: 3
2279     - title: "2202.0-9 vs 2110.0-9"
2280       reference: 3
2281       compare: 4
2282   legend:
2283     - ''
2284     - 'Test Case:            Test cases executed for: PDR throughput on 3n-dnv with x553.'
2285     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2286     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2287     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2288     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2289
2290 # VPP Performance Changes 3n-dnv 2t2c pdr
2291 - type: "table"
2292   title: "VPP Performance Changes 3n-dnv 2t2c pdr"
2293   algorithm: "table_comparison"
2294   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-dnv-2t2c-pdr"
2295   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2296   filter: "'2T2C'"
2297   columns:
2298     - title: "2106.0-8"
2299       data-set: "vpp-3n-dnv-hist-iter-new-env"
2300     - title: "2110.0-8"
2301       data-set: "vpp-3n-dnv-prev-iter-old-env"
2302     - title: "2110.0-9"
2303       data-set: "vpp-3n-dnv-prev-iter-new-env"
2304     - title: "2202.0-9"
2305       data-set: "vpp-3n-dnv-curr-iter"
2306   comparisons:
2307     - title: "2110.0-9 vs 2110.0-8"
2308       reference: 2
2309       compare: 3
2310     - title: "2202.0-9 vs 2110.0-9"
2311       reference: 3
2312       compare: 4
2313   legend:
2314     - ''
2315     - 'Test Case:            Test cases executed for: PDR throughput on 3n-dnv with x553.'
2316     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2317     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2318     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2319     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2320
2321 # VPP Performance Changes 3n-dnv 1t1c ndr
2322 - type: "table"
2323   title: "VPP Performance Changes 3n-dnv 1t1c ndr"
2324   algorithm: "table_comparison"
2325   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-dnv-1t1c-ndr"
2326   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2327   filter: "'1T1C'"
2328   columns:
2329     - title: "2106.0-8"
2330       data-set: "vpp-3n-dnv-hist-iter-new-env"
2331     - title: "2110.0-8"
2332       data-set: "vpp-3n-dnv-prev-iter-old-env"
2333     - title: "2110.0-9"
2334       data-set: "vpp-3n-dnv-prev-iter-new-env"
2335     - title: "2202.0-9"
2336       data-set: "vpp-3n-dnv-curr-iter"
2337   comparisons:
2338     - title: "2110.0-9 vs 2110.0-8"
2339       reference: 2
2340       compare: 3
2341     - title: "2202.0-9 vs 2110.0-9"
2342       reference: 3
2343       compare: 4
2344   legend:
2345     - ''
2346     - 'Test Case:            Test cases executed for: NDR throughput on 3n-dnv with x553.'
2347     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2348     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2349     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2350     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2351
2352 # VPP Performance Changes 3n-dnv 2t2c ndr
2353 - type: "table"
2354   title: "VPP Performance Changes 3n-dnv 2t2c ndr"
2355   algorithm: "table_comparison"
2356   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-dnv-2t2c-ndr"
2357   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2358   filter: "'2T2C'"
2359   columns:
2360     - title: "2106.0-8"
2361       data-set: "vpp-3n-dnv-hist-iter-new-env"
2362     - title: "2110.0-8"
2363       data-set: "vpp-3n-dnv-prev-iter-old-env"
2364     - title: "2110.0-9"
2365       data-set: "vpp-3n-dnv-prev-iter-new-env"
2366     - title: "2202.0-9"
2367       data-set: "vpp-3n-dnv-curr-iter"
2368   comparisons:
2369     - title: "2110.0-9 vs 2110.0-8"
2370       reference: 2
2371       compare: 3
2372     - title: "2202.0-9 vs 2110.0-9"
2373       reference: 3
2374       compare: 4
2375   legend:
2376     - ''
2377     - 'Test Case:            Test cases executed for: NDR throughput on 3n-dnv with x553.'
2378     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2379     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2380     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2381     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2382
2383 # VPP Performance Changes 3n-tsh 1t1c pdr
2384 - type: "table"
2385   title: "VPP Performance Changes 3n-tsh 1t1c pdr"
2386   algorithm: "table_comparison"
2387   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-tsh-1t1c-pdr"
2388   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2389   filter: "'1T1C'"
2390   columns:
2391     - title: "2106.0-8"
2392       data-set: "vpp-3n-tsh-hist-iter-new-env"
2393     - title: "2110.0-8"
2394       data-set: "vpp-3n-tsh-prev-iter-old-env"
2395     - title: "2110.0-9"
2396       data-set: "vpp-3n-tsh-prev-iter-new-env"
2397     - title: "2202.0-9"
2398       data-set: "vpp-3n-tsh-curr-iter"
2399   comparisons:
2400     - title: "2110.0-9 vs 2110.0-8"
2401       reference: 2
2402       compare: 3
2403     - title: "2202.0-9 vs 2110.0-9"
2404       reference: 3
2405       compare: 4
2406   legend:
2407     - ''
2408     - 'Test Case:            Test cases executed for: PDR throughput on 3n-tsh with x520.'
2409     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2410     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2411     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2412     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2413
2414 # VPP Performance Changes 3n-tsh 2t2c pdr
2415 - type: "table"
2416   title: "VPP Performance Changes 3n-tsh 2t2c pdr"
2417   algorithm: "table_comparison"
2418   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-tsh-2t2c-pdr"
2419   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2420   filter: "'2T2C'"
2421   columns:
2422     - title: "2106.0-8"
2423       data-set: "vpp-3n-tsh-hist-iter-new-env"
2424     - title: "2110.0-8"
2425       data-set: "vpp-3n-tsh-prev-iter-old-env"
2426     - title: "2110.0-9"
2427       data-set: "vpp-3n-tsh-prev-iter-new-env"
2428     - title: "2202.0-9"
2429       data-set: "vpp-3n-tsh-curr-iter"
2430   comparisons:
2431     - title: "2110.0-9 vs 2110.0-8"
2432       reference: 2
2433       compare: 3
2434     - title: "2202.0-9 vs 2110.0-9"
2435       reference: 3
2436       compare: 4
2437   legend:
2438     - ''
2439     - 'Test Case:            Test cases executed for: PDR throughput on 3n-tsh with x520.'
2440     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2441     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2442     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2443     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2444
2445 # VPP Performance Changes 3n-tsh 1t1c ndr
2446 - type: "table"
2447   title: "VPP Performance Changes 3n-tsh 1t1c ndr"
2448   algorithm: "table_comparison"
2449   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-tsh-1t1c-ndr"
2450   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2451   filter: "'1T1C'"
2452   columns:
2453     - title: "2106.0-8"
2454       data-set: "vpp-3n-tsh-hist-iter-new-env"
2455     - title: "2110.0-8"
2456       data-set: "vpp-3n-tsh-prev-iter-old-env"
2457     - title: "2110.0-9"
2458       data-set: "vpp-3n-tsh-prev-iter-new-env"
2459     - title: "2202.0-9"
2460       data-set: "vpp-3n-tsh-curr-iter"
2461   comparisons:
2462     - title: "2110.0-9 vs 2110.0-8"
2463       reference: 2
2464       compare: 3
2465     - title: "2202.0-9 vs 2110.0-9"
2466       reference: 3
2467       compare: 4
2468   legend:
2469     - ''
2470     - 'Test Case:            Test cases executed for: NDR throughput on 3n-tsh with x520.'
2471     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2472     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2473     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2474     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2475
2476 # VPP Performance Changes 3n-tsh 2t2c ndr
2477 - type: "table"
2478   title: "VPP Performance Changes 3n-tsh 2t2c ndr"
2479   algorithm: "table_comparison"
2480   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-tsh-2t2c-ndr"
2481   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2482   filter: "'2T2C'"
2483   columns:
2484     - title: "2106.0-8"
2485       data-set: "vpp-3n-tsh-hist-iter-new-env"
2486     - title: "2110.0-8"
2487       data-set: "vpp-3n-tsh-prev-iter-old-env"
2488     - title: "2110.0-9"
2489       data-set: "vpp-3n-tsh-prev-iter-new-env"
2490     - title: "2202.0-9"
2491       data-set: "vpp-3n-tsh-curr-iter"
2492   comparisons:
2493     - title: "2110.0-9 vs 2110.0-8"
2494       reference: 2
2495       compare: 3
2496     - title: "2202.0-9 vs 2110.0-9"
2497       reference: 3
2498       compare: 4
2499   legend:
2500     - ''
2501     - 'Test Case:            Test cases executed for: NDR throughput on 3n-tsh with x520.'
2502     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2503     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2504     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2505     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2506
2507 # VPP Performance Changes 2n-tx2 1t1c pdr
2508 - type: "table"
2509   title: "VPP Performance Changes 2n-tx2 1t1c pdr"
2510   algorithm: "table_comparison"
2511   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-tx2-1t1c-pdr"
2512   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2513   filter: "'1T1C'"
2514   columns:
2515     - title: "2106.0-8"
2516       data-set: "vpp-2n-tx2-hist-iter-new-env"
2517     - title: "2110.0-8"
2518       data-set: "vpp-2n-tx2-prev-iter-old-env"
2519     - title: "2110.0-9"
2520       data-set: "vpp-2n-tx2-prev-iter-new-env"
2521     - title: "2202.0-9"
2522       data-set: "vpp-2n-tx2-curr-iter"
2523   comparisons:
2524     - title: "2110.0-9 vs 2110.0-8"
2525       reference: 2
2526       compare: 3
2527     - title: "2202.0-9 vs 2110.0-9"
2528       reference: 3
2529       compare: 4
2530   legend:
2531     - ''
2532     - 'Test Case:            Test cases executed for: PDR throughput on 2n-tx2 with xl710.'
2533     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2534     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2535     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2536     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2537
2538 # VPP Performance Changes 2n-tx2 2t2c pdr
2539 - type: "table"
2540   title: "VPP Performance Changes 2n-tx2 2t2c pdr"
2541   algorithm: "table_comparison"
2542   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-tx2-2t2c-pdr"
2543   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2544   filter: "'2T2C'"
2545   columns:
2546     - title: "2106.0-8"
2547       data-set: "vpp-2n-tx2-hist-iter-new-env"
2548     - title: "2110.0-8"
2549       data-set: "vpp-2n-tx2-prev-iter-old-env"
2550     - title: "2110.0-9"
2551       data-set: "vpp-2n-tx2-prev-iter-new-env"
2552     - title: "2202.0-9"
2553       data-set: "vpp-2n-tx2-curr-iter"
2554   comparisons:
2555     - title: "2110.0-9 vs 2110.0-8"
2556       reference: 2
2557       compare: 3
2558     - title: "2202.0-9 vs 2110.0-9"
2559       reference: 3
2560       compare: 4
2561   legend:
2562     - ''
2563     - 'Test Case:            Test cases executed for: PDR throughput on 2n-tx2 with xl710.'
2564     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2565     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2566     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2567     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2568
2569 # VPP Performance Changes 2n-tx2 1t1c ndr
2570 - type: "table"
2571   title: "VPP Performance Changes 2n-tx2 1t1c ndr"
2572   algorithm: "table_comparison"
2573   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-tx2-1t1c-ndr"
2574   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2575   filter: "'1T1C'"
2576   columns:
2577     - title: "2106.0-8"
2578       data-set: "vpp-2n-tx2-hist-iter-new-env"
2579     - title: "2110.0-8"
2580       data-set: "vpp-2n-tx2-prev-iter-old-env"
2581     - title: "2110.0-9"
2582       data-set: "vpp-2n-tx2-prev-iter-new-env"
2583     - title: "2202.0-9"
2584       data-set: "vpp-2n-tx2-curr-iter"
2585   comparisons:
2586     - title: "2110.0-9 vs 2110.0-8"
2587       reference: 2
2588       compare: 3
2589     - title: "2202.0-9 vs 2110.0-9"
2590       reference: 3
2591       compare: 4
2592   legend:
2593     - ''
2594     - 'Test Case:            Test cases executed for: NDR throughput on 2n-tx2 with xl710.'
2595     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2596     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2597     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2598     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2599
2600 # VPP Performance Changes 2n-tx2 2t2c ndr
2601 - type: "table"
2602   title: "VPP Performance Changes 2n-tx2 2t2c ndr"
2603   algorithm: "table_comparison"
2604   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-tx2-2t2c-ndr"
2605   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2606   filter: "'2T2C'"
2607   columns:
2608     - title: "2106.0-8"
2609       data-set: "vpp-2n-tx2-hist-iter-new-env"
2610     - title: "2110.0-8"
2611       data-set: "vpp-2n-tx2-prev-iter-old-env"
2612     - title: "2110.0-9"
2613       data-set: "vpp-2n-tx2-prev-iter-new-env"
2614     - title: "2202.0-9"
2615       data-set: "vpp-2n-tx2-curr-iter"
2616   comparisons:
2617     - title: "2110.0-9 vs 2110.0-8"
2618       reference: 2
2619       compare: 3
2620     - title: "2202.0-9 vs 2110.0-9"
2621       reference: 3
2622       compare: 4
2623   legend:
2624     - ''
2625     - 'Test Case:            Test cases executed for: NDR throughput on 2n-tx2 with xl710.'
2626     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2627     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2628     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2629     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2630
2631 # VPP Comparison Across Testbeds 2n-skx to 2n-clx 2t1c ndr
2632 - type: "table"
2633   title: "VPP Comparison Across Testbeds 2n-skx to 2n-clx 2t1c ndr"
2634   algorithm: "table_comparison"
2635   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-skx-2n-clx-2t1c-ndr"
2636   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2637   filter: "'2T1C' and 'NIC_Intel-XXV710'"
2638   columns:
2639     - title: "2n-skx"
2640       data-set: "vpp-2n-skx-curr-iter"
2641     - title: "2n-clx"
2642       data-set: "vpp-2n-clx-curr-iter"
2643   comparisons:
2644     - title: "Diff"
2645       reference: 1
2646       compare: 2
2647   legend:
2648     - ""
2649     - "2n-skx, 2n-clx - testbeds and NICs tested."
2650     - "Diff - difference between 2n-skx and 2n-clx testbeds."
2651
2652 # VPP Comparison Across Testbeds 2n-skx to 2n-clx 4t2c ndr
2653 - type: "table"
2654   title: "VPP Comparison Across Testbeds 2n-skx to 2n-clx 4t2c ndr"
2655   algorithm: "table_comparison"
2656   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-skx-2n-clx-4t2c-ndr"
2657   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2658   filter: "'4T2C' and 'NIC_Intel-XXV710'"
2659   columns:
2660     - title: "2n-skx"
2661       data-set: "vpp-2n-skx-curr-iter"
2662     - title: "2n-clx"
2663       data-set: "vpp-2n-clx-curr-iter"
2664   comparisons:
2665     - title: "Diff"
2666       reference: 1
2667       compare: 2
2668   legend:
2669     - ""
2670     - "2n-skx, 2n-clx - testbeds and NICs tested."
2671     - "Diff - difference between 2n-skx and 2n-clx testbeds."
2672
2673 # VPP Comparison Across Testbeds 2n-skx to 2n-clx 2t1c pdr
2674 - type: "table"
2675   title: "VPP Comparison Across Testbeds 2n-skx to 2n-clx 2t1c pdr"
2676   algorithm: "table_comparison"
2677   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-skx-2n-clx-2t1c-pdr"
2678   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2679   filter: "'2T1C' and 'NIC_Intel-XXV710'"
2680   columns:
2681     - title: "2n-skx"
2682       data-set: "vpp-2n-skx-curr-iter"
2683     - title: "2n-clx"
2684       data-set: "vpp-2n-clx-curr-iter"
2685   comparisons:
2686     - title: "Diff"
2687       reference: 1
2688       compare: 2
2689   legend:
2690     - ""
2691     - "2n-skx, 2n-clx - testbeds and NICs tested."
2692     - "Diff - difference between 2n-skx and 2n-clx testbeds."
2693
2694 # VPP Comparison Across Testbeds 2n-skx to 2n-clx 4t2c pdr
2695 - type: "table"
2696   title: "VPP Comparison Across Testbeds 2n-skx to 2n-clx 4t2c pdr"
2697   algorithm: "table_comparison"
2698   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-skx-2n-clx-4t2c-pdr"
2699   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2700   filter: "'4T2C' and 'NIC_Intel-XXV710'"
2701   columns:
2702     - title: "2n-skx"
2703       data-set: "vpp-2n-skx-curr-iter"
2704     - title: "2n-clx"
2705       data-set: "vpp-2n-clx-curr-iter"
2706   comparisons:
2707     - title: "Diff"
2708       reference: 1
2709       compare: 2
2710   legend:
2711     - ""
2712     - "2n-skx, 2n-clx - testbeds and NICs tested."
2713     - "Diff - difference between 2n-skx and 2n-clx testbeds."
2714
2715 # VPP Comparison Across Testbeds 2n-clx to 2n-icx 1c ndr
2716 - type: "table"
2717   title: "VPP Comparison Across Testbeds 2n-clx to 2n-icx 1c ndr"
2718   algorithm: "table_comparison"
2719   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-clx-2n-icx-1c-ndr"
2720   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2721   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-E810CQ') and 'NDRPDR' and '1C'"
2722   columns:
2723     - title: "2n-clx xxv710"
2724       data-set: "vpp-2n-clx-curr-iter"
2725       tag: "NIC_Intel-XXV710"
2726     - title: "2n-icx e810cq"
2727       data-set: "vpp-2n-icx-curr-iter"
2728       tag: "NIC_Intel-E810CQ"
2729   comparisons:
2730     - title: "Diff"
2731       reference: 1
2732       compare: 2
2733   legend:
2734     - ""
2735     - "2n-clx xxv710, 2n-icx e810cq - testbeds and NICs tested."
2736     - "Diff - difference between 2n-clx xxv710 and 2n-icx e810cq testbeds."
2737
2738 # VPP Comparison Across Testbeds 2n-clx to 2n-icx 2c ndr
2739 - type: "table"
2740   title: "VPP Comparison Across Testbeds 2n-clx to 2n-icx 2c ndr"
2741   algorithm: "table_comparison"
2742   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-clx-2n-icx-2c-ndr"
2743   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2744   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-E810CQ') and 'NDRPDR' and '2C'"
2745   columns:
2746     - title: "2n-clx xxv710"
2747       data-set: "vpp-2n-clx-curr-iter"
2748       tag: "NIC_Intel-XXV710"
2749     - title: "2n-icx e810cq"
2750       data-set: "vpp-2n-icx-curr-iter"
2751       tag: "NIC_Intel-E810CQ"
2752   comparisons:
2753     - title: "Diff"
2754       reference: 1
2755       compare: 2
2756   legend:
2757     - ""
2758     - "2n-clx xxv710, 2n-icx e810cq - testbeds and NICs tested."
2759     - "Diff - difference between 2n-clx xxv710 and 2n-icx e810cq testbeds."
2760
2761 # VPP Comparison Across Testbeds 2n-clx to 2n-icx 1c pdr
2762 - type: "table"
2763   title: "VPP Comparison Across Testbeds 2n-clx to 2n-icx 1c pdr"
2764   algorithm: "table_comparison"
2765   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-clx-2n-icx-1c-pdr"
2766   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2767   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-E810CQ') and 'NDRPDR' and '1C'"
2768   columns:
2769     - title: "2n-clx xxv710"
2770       data-set: "vpp-2n-clx-curr-iter"
2771       tag: "NIC_Intel-XXV710"
2772     - title: "2n-icx e810cq"
2773       data-set: "vpp-2n-icx-curr-iter"
2774       tag: "NIC_Intel-E810CQ"
2775   comparisons:
2776     - title: "Diff"
2777       reference: 1
2778       compare: 2
2779   legend:
2780     - ""
2781     - "2n-clx xxv710, 2n-icx e810cq - testbeds and NICs tested."
2782     - "Diff - difference between 2n-clx xxv710 and 2n-icx e810cq testbeds."
2783
2784 # VPP Comparison Across Testbeds 2n-clx to 2n-icx 2c pdr
2785 - type: "table"
2786   title: "VPP Comparison Across Testbeds 2n-clx to 2n-icx 2c pdr"
2787   algorithm: "table_comparison"
2788   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-clx-2n-icx-2c-pdr"
2789   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2790   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-E810CQ') and 'NDRPDR' and '2C'"
2791   columns:
2792     - title: "2n-clx xxv710"
2793       data-set: "vpp-3n-skx-curr-iter"
2794       tag: "NIC_Intel-XXV710"
2795     - title: "2n-icx e810cq"
2796       data-set: "vpp-2n-icx-curr-iter"
2797       tag: "NIC_Intel-E810CQ"
2798   comparisons:
2799     - title: "Diff"
2800       reference: 1
2801       compare: 2
2802   legend:
2803     - ""
2804     - "2n-clx xxv710, 2n-icx e810cq - testbeds and NICs tested."
2805     - "Diff - difference between 2n-clx xxv710 and 2n-icx e810cq testbeds."
2806
2807 # VPP Comparison Across Testbeds 3n-skx to 3n-icx 1c ndr
2808 - type: "table"
2809   title: "VPP Comparison Across Testbeds 3n-skx to 3n-icx 1c ndr"
2810   algorithm: "table_comparison"
2811   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-skx-3n-icx-1c-ndr"
2812   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2813   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-E810CQ') and 'NDRPDR' and '1C'"
2814   columns:
2815     - title: "3n-skx xxv710"
2816       data-set: "vpp-3n-skx-curr-iter"
2817       tag: "NIC_Intel-XXV710"
2818     - title: "3n-icx e810cq"
2819       data-set: "vpp-3n-icx-curr-iter"
2820       tag: "NIC_Intel-E810CQ"
2821   comparisons:
2822     - title: "Diff"
2823       reference: 1
2824       compare: 2
2825   legend:
2826     - ""
2827     - "3n-skx xxv710, 3n-icx e810cq - testbeds and NICs tested."
2828     - "Diff - difference between 3n-skx xxv710 and 3n-icx e810cq testbeds."
2829
2830 # VPP Comparison Across Testbeds 3n-skx to 3n-icx 2c ndr
2831 - type: "table"
2832   title: "VPP Comparison Across Testbeds 3n-skx to 3n-icx ndr"
2833   algorithm: "table_comparison"
2834   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-skx-3n-icx-2c-ndr"
2835   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2836   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-E810CQ') and 'NDRPDR' and '2C'"
2837   columns:
2838     - title: "3n-skx xxv710"
2839       data-set: "vpp-3n-skx-curr-iter"
2840       tag: "NIC_Intel-XXV710"
2841     - title: "3n-icx e810cq"
2842       data-set: "vpp-3n-icx-curr-iter"
2843       tag: "NIC_Intel-E810CQ"
2844   comparisons:
2845     - title: "Diff"
2846       reference: 1
2847       compare: 2
2848   legend:
2849     - ""
2850     - "3n-skx xxv710, 3n-icx e810cq - testbeds and NICs tested."
2851     - "Diff - difference between 3n-skx xxv710 and 3n-icx e810cq testbeds."
2852
2853 # VPP Comparison Across Testbeds 3n-skx to 3n-icx 1c pdr
2854 - type: "table"
2855   title: "VPP Comparison Across Testbeds 3n-skx to 3n-icx 1c pdr"
2856   algorithm: "table_comparison"
2857   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-skx-3n-icx-1c-pdr"
2858   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2859   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-E810CQ') and 'NDRPDR' and '1C'"
2860   columns:
2861     - title: "3n-skx xxv710"
2862       data-set: "vpp-3n-skx-curr-iter"
2863       tag: "NIC_Intel-XXV710"
2864     - title: "3n-icx e810cq"
2865       data-set: "vpp-3n-icx-curr-iter"
2866       tag: "NIC_Intel-E810CQ"
2867   comparisons:
2868     - title: "Diff"
2869       reference: 1
2870       compare: 2
2871   legend:
2872     - ""
2873     - "3n-skx xxv710, 3n-icx e810cq - testbeds and NICs tested."
2874     - "Diff - difference between 3n-skx xxv710 and 3n-icx e810cq testbeds."
2875
2876 # VPP Comparison Across Testbeds 3n-skx to 3n-icx 2c pdr
2877 - type: "table"
2878   title: "VPP Comparison Across Testbeds 3n-skx to 3n-icx 2c pdr"
2879   algorithm: "table_comparison"
2880   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-skx-3n-icx-2c-pdr"
2881   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2882   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-E810CQ') and 'NDRPDR' and '2C'"
2883   columns:
2884     - title: "3n-skx xxv710"
2885       data-set: "vpp-3n-skx-curr-iter"
2886       tag: "NIC_Intel-XXV710"
2887     - title: "3n-icx e810cq"
2888       data-set: "vpp-3n-icx-curr-iter"
2889       tag: "NIC_Intel-E810CQ"
2890   comparisons:
2891     - title: "Diff"
2892       reference: 1
2893       compare: 2
2894   legend:
2895     - ""
2896     - "3n-skx xxv710, 3n-icx e810cq - testbeds and NICs tested."
2897     - "Diff - difference between 3n-skx xxv710 and 3n-icx e810cq testbeds."
2898
2899 # VPP Comparison Across Topologies 3n-skx to 2n-skx 1c ndr
2900 - type: "table"
2901   title: "VPP Comparison Across Topologies 3n-skx to 2n-skx 1c ndr"
2902   algorithm: "table_comparison"
2903   output-file: "{DIR[STATIC,VPP]}/performance-compare-topologies-3n-skx-2n-skx-1c-ndr"
2904   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2905   filter: "'NDRPDR' and '1C' and 'NIC_Intel-XXV710'"
2906   columns:
2907     - title: "3n-skx"
2908       data-set: "vpp-3n-skx-curr-iter"
2909     - title: "2n-skx"
2910       data-set: "vpp-2n-skx-curr-iter"
2911   comparisons:
2912     - title: "Diff"
2913       reference: 1
2914       compare: 2
2915   legend:
2916     - ""
2917     - "3n-skx, 2n-skx - topologies tested."
2918     - "Diff - difference between 3n-skx and 2n-skx topologies."
2919
2920 # VPP Comparison Across Topologies 3n-skx to 2n-skx 2c ndr
2921 - type: "table"
2922   title: "VPP Comparison Across Topologies 3n-skx to 2n-skx 2c ndr"
2923   algorithm: "table_comparison"
2924   output-file: "{DIR[STATIC,VPP]}/performance-compare-topologies-3n-skx-2n-skx-2c-ndr"
2925   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2926   filter: "'NDRPDR' and '2C' and 'NIC_Intel-XXV710'"
2927   columns:
2928     - title: "3n-skx"
2929       data-set: "vpp-3n-skx-curr-iter"
2930     - title: "2n-skx"
2931       data-set: "vpp-2n-skx-curr-iter"
2932   comparisons:
2933     - title: "Diff"
2934       reference: 1
2935       compare: 2
2936   legend:
2937     - ""
2938     - "3n-skx, 2n-skx - topologies tested."
2939     - "Diff - difference between 3n-skx and 2n-skx topologies."
2940
2941 # VPP Comparison Across Topologies 3n-skx to 2n-skx 1c pdr
2942 - type: "table"
2943   title: "VPP Comparison Across Topologies 3n-skx to 2n-skx 1c pdr"
2944   algorithm: "table_comparison"
2945   output-file: "{DIR[STATIC,VPP]}/performance-compare-topologies-3n-skx-2n-skx-1c-pdr"
2946   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2947   filter: "'NDRPDR' and '1C' and 'NIC_Intel-XXV710'"
2948   columns:
2949     - title: "3n-skx"
2950       data-set: "vpp-3n-skx-curr-iter"
2951     - title: "2n-skx"
2952       data-set: "vpp-2n-skx-curr-iter"
2953   comparisons:
2954     - title: "Diff"
2955       reference: 1
2956       compare: 2
2957   legend:
2958     - ""
2959     - "3n-skx, 2n-skx - topologies tested."
2960     - "Diff - difference between 3n-skx and 2n-skx topologies."
2961
2962 # VPP Comparison Across Topologies 3n-skx to 2n-skx 2c pdr
2963 - type: "table"
2964   title: "VPP Comparison Across Topologies 3n-skx to 2n-skx 2c pdr"
2965   algorithm: "table_comparison"
2966   output-file: "{DIR[STATIC,VPP]}/performance-compare-topologies-3n-skx-2n-skx-2c-pdr"
2967   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2968   filter: "'NDRPDR' and '2C' and 'NIC_Intel-XXV710'"
2969   columns:
2970     - title: "3n-skx"
2971       data-set: "vpp-3n-skx-curr-iter"
2972     - title: "2n-skx"
2973       data-set: "vpp-2n-skx-curr-iter"
2974   comparisons:
2975     - title: "Diff"
2976       reference: 1
2977       compare: 2
2978   legend:
2979     - ""
2980     - "3n-skx, 2n-skx - topologies tested."
2981     - "Diff - difference between 3n-skx and 2n-skx topologies."
2982
2983 # VPP Performance Changes 3n-skx 2t1c mrr
2984 - type: "table"
2985   title: "VPP Performance Changes 3n-skx 2t1c mrr"
2986   algorithm: "table_comparison"
2987   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-mrr"
2988   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2989   filter: "'2T1C' and 'MRR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2990   columns:
2991     - title: "2106.0-8"
2992       data-set: "vpp-3n-skx-hist-iter-mrr-new-env"
2993     - title: "2110.0-8"
2994       data-set: "vpp-3n-skx-prev-iter-mrr-old-env"
2995     - title: "2110.0-9"
2996       data-set: "vpp-3n-skx-prev-iter-mrr-new-env"
2997     - title: "2202.0-9"
2998       data-set: "vpp-3n-skx-curr-iter-mrr"
2999   comparisons:
3000     - title: "2110.0-9 vs 2110.0-8"
3001       reference: 2
3002       compare: 3
3003     - title: "2202.0-9 vs 2110.0-9"
3004       reference: 3
3005       compare: 4
3006   legend:
3007     - ''
3008     - 'Test Case:            Test cases executed for: MRR throughput on 3n-skx with xxv710.'
3009     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
3010     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
3011     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
3012     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
3013
3014 # VPP Performance Changes 3n-skx 4t2c mrr
3015 - type: "table"
3016   title: "VPP Performance Changes 3n-skx 4t2c mrr"
3017   algorithm: "table_comparison"
3018   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-mrr"
3019   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3020   filter: "'4T2C' and 'MRR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
3021   columns:
3022     - title: "2106.0-8"
3023       data-set: "vpp-3n-skx-hist-iter-mrr-new-env"
3024     - title: "2110.0-8"
3025       data-set: "vpp-3n-skx-prev-iter-mrr-old-env"
3026     - title: "2110.0-9"
3027       data-set: "vpp-3n-skx-prev-iter-mrr-new-env"
3028     - title: "2202.0-9"
3029       data-set: "vpp-3n-skx-curr-iter-mrr"
3030   comparisons:
3031     - title: "2110.0-9 vs 2110.0-8"
3032       reference: 2
3033       compare: 3
3034     - title: "2202.0-9 vs 2110.0-9"
3035       reference: 3
3036       compare: 4
3037   legend:
3038     - ''
3039     - 'Test Case:            Test cases executed for: MRR throughput on 3n-skx with xxv710.'
3040     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
3041     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
3042     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
3043     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
3044
3045 # VPP Performance Changes 3n-skx 8t4c mrr
3046 - type: "table"
3047   title: "VPP Performance Changes 3n-skx 8t4c mrr"
3048   algorithm: "table_comparison"
3049   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-8t4c-mrr"
3050   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3051   filter: "'8T4C' and 'MRR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
3052   columns:
3053     - title: "2106.0-8"
3054       data-set: "vpp-3n-skx-hist-iter-mrr-new-env"
3055     - title: "2110.0-8"
3056       data-set: "vpp-3n-skx-prev-iter-mrr-old-env"
3057     - title: "2110.0-9"
3058       data-set: "vpp-3n-skx-prev-iter-mrr-new-env"
3059     - title: "2202.0-9"
3060       data-set: "vpp-3n-skx-curr-iter-mrr"
3061   comparisons:
3062     - title: "2110.0-9 vs 2110.0-8"
3063       reference: 2
3064    &nb