9188da34ea161fe2587f14f9380cd68d9ebf18fa
[csit.git] / resources / tools / presentation / specifications / report / elements.yaml
1 ################################################################################
2 ###                               T A B L E S                                ###
3 ################################################################################
4
5 # Statistics: job-specs' durations
6
7 - type: "table"
8   title: "Job Specification Duration: 2n-clx-iterative"
9   algorithm: "table_job_spec_duration"
10   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-clx-iter"
11   jb-type: "iterative"
12   lines:
13     - job-spec: "vpp-mrr-00"
14       data-set: "vpp-2n-clx-curr-iter-mrr"
15     - job-spec: "vpp-mlr-00"
16       data-set: "vpp-2n-clx-curr-iter"
17     - job-spec: "vpp-gso-mrr-00"
18       data-set: "vpp-2n-clx-curr-iter-gso"
19     - job-spec: "soak-00"
20       data-set: "vpp-2n-clx-curr-soak"
21     - job-spec: "vsap-00"
22       data-set: "vpp-2n-clx-curr-iter-vsap"
23     - job-spec: "nfv-density-mrr-00"
24       data-set: "vpp-2n-clx-curr-nfv-mrr"
25     - job-spec: "nfv-density-mlr-00"
26       data-set: "vpp-2n-clx-curr-nfv-ndrpdr"
27     - job-spec: "reconf-00"
28       data-set: "vpp-2n-clx-curr-nfv-reconf"
29     - job-spec: "dpdk-mlr-00"
30       data-set: "dpdk-2n-clx-curr-iter"
31
32 # - type: "table"
33 #   title: "Job Specification Duration: 2n-clx-coverage"
34 #   algorithm: "table_job_spec_duration"
35 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-clx-cov"
36 #   jb-type: "coverage"
37 #   data: "vpp-2n-clx-curr-cov"
38 #   lines:
39 #     - job-spec: "gso-00"
40 #       build: "18"
41 #     - job-spec: "ip4-00"
42 #       build: "19"
43 #     - job-spec: "ip4-01"
44 #       build: "20"
45 #     - job-spec: "ip4-02"
46 #       build: "21"
47 #     - job-spec: "ip4-03"
48 #       build: "22"
49 #     - job-spec: "ip4-04"
50 #       build: "23"
51 #     - job-spec: "ip4-05"
52 #       build: "24"
53 #     - job-spec: "ip4-06"
54 #       build: "25"
55 #     - job-spec: "ip4-07"
56 #       build: "26"
57 #     - job-spec: "ip4tun-00"
58 #       build: "27"
59 #     - job-spec: "ip6-00"
60 #       build: "28"
61 #     - job-spec: "ip6-01"
62 #       build: "29"
63 #     - job-spec: "l2-00"
64 #       build: "30"
65 #     - job-spec: "l2-01"
66 #       build: "31"
67 #     - job-spec: "lb-00"
68 #       build: "32"
69 #     - job-spec: "memif-00"
70 #       build: "33"
71 #     - job-spec: "vhost-00"
72 #       build: "34"
73
74 - type: "table"
75   title: "Job Specification Duration: 2n-dnv-iterative"
76   algorithm: "table_job_spec_duration"
77   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-dnv-iter"
78   jb-type: "iterative"
79   lines:
80     - job-spec: "vpp-mrr-00"
81       data-set: "vpp-2n-dnv-curr-iter-mrr"
82     - job-spec: "vpp-mlr-00"
83       data-set: "vpp-2n-dnv-curr-iter"
84
85 # - type: "table"
86 #   title: "Job Specification Duration: 2n-dnv-coverage"
87 #   algorithm: "table_job_spec_duration"
88 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-dnv-cov"
89 #   jb-type: "coverage"
90 #   data: "vpp-2n-dnv-curr-cov"
91 #   lines:
92 #     - job-spec: "ip4-00"
93 #       build: "7"
94 #     - job-spec: "ip4-01"
95 #       build: "8"
96 #     - job-spec: "ip6-00"
97 #       build: "9"
98 #     - job-spec: "ip6-01"
99 #       build: "10"
100 #     - job-spec: "l2-00"
101 #       build: "11"
102 #     - job-spec: "l2-01"
103 #       build: "12"
104
105 - type: "table"
106   title: "Job Specification Duration: 2n-aws-iterative"
107   algorithm: "table_job_spec_duration"
108   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-aws-iter"
109   jb-type: "iterative"
110   lines:
111     - job-spec: "vpp-mrr-00"
112       data-set: "vpp-2n-aws-curr-iter-mrr"
113     - job-spec: "vpp-mlr-00"
114       data-set: "vpp-2n-aws-curr-iter"
115
116 # - type: "table"
117 #   title: "Job Specification Duration: 2n-aws-coverage"
118 #   algorithm: "table_job_spec_duration"
119 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-aws-cov"
120 #   jb-type: "coverage"
121 #   data: "vpp-2n-aws-curr-cov"
122 #   lines:
123 #     - job-spec: "vpp-00"
124 #       build: "26"
125
126 - type: "table"
127   title: "Job Specification Duration: 3n-aws-iterative"
128   algorithm: "table_job_spec_duration"
129   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-aws-iter"
130   jb-type: "iterative"
131   lines:
132     - job-spec: "vpp-mrr-00"
133       data-set: "vpp-3n-aws-curr-iter-mrr"
134     - job-spec: "vpp-mlr-00"
135       data-set: "vpp-3n-aws-curr-iter"
136
137 # - type: "table"
138 #   title: "Job Specification Duration: 3n-aws-coverage"
139 #   algorithm: "table_job_spec_duration"
140 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-aws-cov"
141 #   jb-type: "coverage"
142 #   data: "vpp-3n-aws-curr-cov"
143 #   lines:
144 #     - job-spec: "vpp-00"
145 #       build: "34"
146
147 - type: "table"
148   title: "Job Specification Duration: 2n-skx-iterative"
149   algorithm: "table_job_spec_duration"
150   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-skx-iter"
151   jb-type: "iterative"
152   lines:
153     - job-spec: "vpp-mrr-00"
154       data-set: "vpp-2n-skx-curr-iter-mrr"
155     - job-spec: "vpp-mlr-00"
156       data-set: "vpp-2n-skx-curr-iter"
157     - job-spec: "vpp-gso-mrr-00"
158       data-set: "vpp-2n-skx-curr-gso"
159     - job-spec: "soak-00"
160       data-set: "vpp-2n-skx-curr-soak"
161     - job-spec: "nfv-density-mrr-00"
162       data-set: "vpp-2n-skx-curr-nfv-mrr"
163     - job-spec: "nfv-density-mlr-00"
164       data-set: "vpp-2n-skx-curr-nfv-ndrpdr"
165     - job-spec: "reconf-00"
166       data-set: "vpp-2n-skx-curr-nfv-reconf"
167     - job-spec: "dpdk-mlr-00"
168       data-set: "dpdk-2n-skx-curr-iter"
169     - job-spec: "trex-mlr-00"
170       data-set: "trex-2n-skx-curr-iter"
171
172 # - type: "table"
173 #   title: "Job Specification Duration: 2n-skx-coverage"
174 #   algorithm: "table_job_spec_duration"
175 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-skx-cov"
176 #   jb-type: "coverage"
177 #   data: "vpp-2n-skx-curr-cov"
178 #   lines:
179 #     - job-spec: "gso-00"
180 #       build: "18"
181 #     - job-spec: "ip4-00"
182 #       build: "19"
183 #     - job-spec: "ip4-01"
184 #       build: "20"
185 #     - job-spec: "ip4-02"
186 #       build: "21"
187 #     - job-spec: "ip4-03"
188 #       build: "22"
189 #     - job-spec: "ip4-04"
190 #       build: "23"
191 #     - job-spec: "ip4-05"
192 #       build: "24"
193 #     - job-spec: "ip4-06"
194 #       build: "25"
195 #     - job-spec: "ip4-07"
196 #       build: "26"
197 #     - job-spec: "ip4tun-00"
198 #       build: "27"
199 #     - job-spec: "ip6-00"
200 #       build: "28"
201 #     - job-spec: "ip6-01"
202 #       build: "29"
203 #     - job-spec: "l2-00"
204 #       build: "30"
205 #     - job-spec: "l2-01"
206 #       build: "31"
207 #     - job-spec: "lb-00"
208 #       build: "32"
209 #     - job-spec: "memif-00"
210 #       build: "33"
211 #     - job-spec: "vhost-00"
212 #       build: "34"
213
214 - type: "table"
215   title: "Job Specification Duration: 2n-tx2-iterative"
216   algorithm: "table_job_spec_duration"
217   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-tx2-iter"
218   jb-type: "iterative"
219   lines:
220     - job-spec: "vpp-mrr-00"
221       data-set: "vpp-2n-tx2-curr-iter-mrr"
222     - job-spec: "vpp-mlr-00"
223       data-set: "vpp-2n-tx2-curr-iter"
224
225 # - type: "table"
226 #   title: "Job Specification Duration: 2n-tx2-coverage"
227 #   algorithm: "table_job_spec_duration"
228 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-tx2-cov"
229 #   jb-type: "coverage"
230 #   data: "vpp-2n-tx2-curr-cov"
231 #   lines:
232 #     - job-spec: "ip4-00"
233 #       build: "1"
234 #     - job-spec: "ip4-01"
235 #       build: "2"
236 #     - job-spec: "ip4-02"
237 #       build: "3"
238 #     - job-spec: "ip4-03"
239 #       build: "4"
240 #     - job-spec: "ip4-04"
241 #       build: "5"
242 #     - job-spec: "ip4-05"
243 #       build: "6"
244 #     - job-spec: "ip4-06"
245 #       build: "7"
246 #     - job-spec: "ip6-00"
247 #       build: "8"
248 #     - job-spec: "ip6-01"
249 #       build: "9"
250 #     - job-spec: "l2-00"
251 #       build: "10"
252 #     - job-spec: "l2-01"
253 #       build: "11"
254 #     - job-spec: "l2-02"
255 #       build: "12"
256 #     - job-spec: "l2-03"
257 #       build: "13"
258 #     - job-spec: "l2-04"
259 #       build: "14"
260
261 - type: "table"
262   title: "Job Specification Duration: 2n-zn2-iterative"
263   algorithm: "table_job_spec_duration"
264   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-zn2-iter"
265   jb-type: "iterative"
266   lines:
267     - job-spec: "vpp-mrr-00"
268       data-set: "vpp-2n-zn2-curr-iter-mrr"
269     - job-spec: "vpp-mlr-00"
270       data-set: "vpp-2n-zn2-curr-iter"
271     - job-spec: "vpp-gso-mrr-00"
272       data-set: "vpp-2n-zn2-curr-iter-gso"
273     - job-spec: "dpdk-mlr-00"
274       data-set: "dpdk-2n-zn2-curr-iter"
275
276 # - type: "table"
277 #   title: "Job Specification Duration: 2n-zn2-coverage"
278 #   algorithm: "table_job_spec_duration"
279 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-zn2-cov"
280 #   jb-type: "coverage"
281 #   data: "vpp-2n-zn2-curr-cov"
282 #   lines:
283 #     - job-spec: "gso-00"
284 #       build: "1"
285 #     - job-spec: "ip4-00"
286 #       build: "2"
287 #     - job-spec: "ip4-01"
288 #       build: "3"
289 #     - job-spec: "ip4-02"
290 #       build: "4"
291 #     - job-spec: "ip4-03"
292 #       build: "18"
293 #     - job-spec: "ip4-04"
294 #       build: "6"
295 #     - job-spec: "ip4-05"
296 #       build: "7"
297 #     - job-spec: "ip4tun-00"
298 #       build: "8"
299 #     - job-spec: "ip6-00"
300 #       build: "9"
301 #     - job-spec: "ip6-01"
302 #       build: "19"
303 #     - job-spec: "l2-00"
304 #       build: "11"
305 #     - job-spec: "l2-01"
306 #       build: "12"
307 #     - job-spec: "lb-00"
308 #       build: "13"
309 #     - job-spec: "memif-00"
310 #       build: "14"
311 #     - job-spec: "vhost-00"
312 #       build: "15"
313
314 - type: "table"
315   title: "Job Specification Duration: 3n-dnv-iterative"
316   algorithm: "table_job_spec_duration"
317   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-dnv-iter"
318   jb-type: "iterative"
319   lines:
320     - job-spec: "vpp-mrr-00"
321       data-set: "vpp-3n-dnv-curr-iter-mrr"
322     - job-spec: "vpp-mlr-00"
323       data-set: "vpp-3n-dnv-curr-iter"
324
325 # - type: "table"
326 #   title: "Job Specification Duration: 3n-dnv-coverage"
327 #   algorithm: "table_job_spec_duration"
328 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-dnv-cov"
329 #   jb-type: "coverage"
330 #   data: "vpp-3n-dnv-curr-cov"
331 #   lines:
332 #     - job-spec: "crypto-00"
333 #       build: "12"
334 #     - job-spec: "crypto-01"
335 #       build: "13"
336 #     - job-spec: "crypto-02"
337 #       build: "14"
338 #     - job-spec: "ip4-00"
339 #       build: "15"
340 #     - job-spec: "ip4-01"
341 #       build: "16"
342 #     - job-spec: "ip4tun-00"
343 #       build: "17"
344 #     - job-spec: "ip6-00"
345 #       build: "18"
346 #     - job-spec: "ip6-01"
347 #       build: "19"
348 #     - job-spec: "l2-00"
349 #       build: "20"
350 #     - job-spec: "l2-01"
351 #       build: "21"
352
353 - type: "table"
354   title: "Job Specification Duration: 3n-skx-iterative"
355   algorithm: "table_job_spec_duration"
356   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-skx-iter"
357   jb-type: "iterative"
358   lines:
359     - job-spec: "vpp-mrr-00"
360       data-set: "vpp-3n-skx-curr-iter-mrr"
361     - job-spec: "vpp-mlr-00"
362       data-set: "vpp-3n-skx-curr-iter"
363     - job-spec: "hoststack-00"
364       data-set: "vpp-3n-skx-curr-iter-hoststack"
365     - job-spec: "dpdk-mlr-00"
366       data-set: "dpdk-3n-skx-curr-iter"
367
368 # - type: "table"
369 #   title: "Job Specification Duration: 3n-skx-coverage"
370 #   algorithm: "table_job_spec_duration"
371 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-skx-cov"
372 #   jb-type: "coverage"
373 #   data: "vpp-3n-skx-curr-cov"
374 #   lines:
375 #     - job-spec: "crypto-00"
376 #       build: "35"
377 #     - job-spec: "crypto-01"
378 #       build: "36"
379 #     - job-spec: "crypto-02"
380 #       build: "37"
381 #     - job-spec: "crypto-03"  # Completly failed
382 #       build: "38"
383 #     - job-spec: "crypto-04"
384 #       build: "39"
385 #     - job-spec: "ip4-00"
386 #       build: "40"
387 #     - job-spec: "ip4-01"
388 #       build: "41"
389 #     - job-spec: "ip4-02"
390 #       build: "42"
391 #     - job-spec: "ip4-03"
392 #       build: "43"
393 #     - job-spec: "ip4-04"
394 #       build: "44"
395 #     - job-spec: "ip4-05"
396 #       build: "45"
397 #     - job-spec: "ip4-06"
398 #       build: "46"
399 #     - job-spec: "ip4-07"
400 #       build: "47"
401 #     - job-spec: "ip4tun-00"
402 #       build: "48"
403 #     - job-spec: "ip4tun-02"
404 #       build: "49"
405 #     - job-spec: "ip6-00"
406 #       build: "50"
407 #     - job-spec: "ip6-01"
408 #       build: "51"
409 #     - job-spec: "ip6tun-00"
410 #       build: "52"
411 #     - job-spec: "l2-00"
412 #       build: "53"
413 #     - job-spec: "l2-01"
414 #       build: "54"
415 #     - job-spec: "l2-02"
416 #       build: "55"
417 #     - job-spec: "l2-03"
418 #       build: "56"
419 #     - job-spec: "l2-04"
420 #       build: "57"
421 #     - job-spec: "l2-05"
422 #       build: "58"
423 #     - job-spec: "l2-06"
424 #       build: "59"
425 #     - job-spec: "l2-07"
426 #       build: "60"
427 #     - job-spec: "l2-08"
428 #       build: "61"
429 #     - job-spec: "l2-09"
430 #       build: "62"
431 #     - job-spec: "l2-10"
432 #       build: "63"
433 #     - job-spec: "memif-00"
434 #       build: "64"
435 #     - job-spec: "srv6-00"
436 #       build: "65"
437 #     - job-spec: "srv6-01"
438 #       build: "66"
439 #     - job-spec: "vhost-00"
440 #       build: "67"
441 #     - job-spec: "vhost-01"
442 #       build: "68"
443
444 - type: "table"
445   title: "Job Specification Duration: 3n-tsh-iterative"
446   algorithm: "table_job_spec_duration"
447   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-tsh-iter"
448   jb-type: "iterative"
449   lines:
450     - job-spec: "vpp-mrr-00"
451       data-set: "vpp-3n-tsh-curr-iter-mrr"
452     - job-spec: "vpp-mlr-00"
453       data-set: "vpp-3n-tsh-curr-iter"
454     - job-spec: "dpdk-mlr-00"
455       data-set: "dpdk-3n-tsh-curr-iter"
456
457 # - type: "table"
458 #   title: "Job Specification Duration: 3n-tsh-coverage"
459 #   algorithm: "table_job_spec_duration"
460 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-tsh-cov"
461 #   jb-type: "coverage"
462 #   data: "vpp-3n-tsh-curr-cov"
463 #   lines:
464 #     - job-spec: "ip4-00"
465 #       build: "1"
466 #     - job-spec: "ip4-01"
467 #       build: "2"
468 #     - job-spec: "ip4-02"
469 #       build: "3"
470 #     - job-spec: "ip4-03"
471 #       build: "4"
472 #     - job-spec: "ip4tun-00"
473 #       build: "5"
474 #     - job-spec: "ip6-00"
475 #       build: "6"
476 #     - job-spec: "ip6-01"
477 #       build: "7"
478 #     - job-spec: "l2-00"
479 #       build: "8"
480 #     - job-spec: "l2-01"
481 #       build: "9"
482 #     - job-spec: "l2-02"
483 #       build: "10"
484 #     - job-spec: "l2-03"
485 #       build: "11"
486 #     - job-spec: "l2-04"
487 #       build: "12"
488 #     - job-spec: "memif-00"
489 #       build: "13"
490 #     - job-spec: "srv6-00"
491 #       build: "14"
492 #     - job-spec: "srv6-01"
493 #       build: "15"
494 #     - job-spec: "vhost-00"
495 #       build: "16"
496 #     - job-spec: "vhost-01"
497 #       build: "17"
498
499 # VPP Latency Changes 3n-skx 2t1c
500 - type: "table"
501   title: "VPP Latency Changes 3n-skx 2t1c PDR50-direction1-avg"
502   algorithm: "table_comparison"
503   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-skx-xxv710-2t1c-pdr50-d1-avg"
504   include-tests: "latency-PDR50-direction1-avg"
505   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
506   columns:
507     - title: "2106.0-8"
508       data-set: "vpp-3n-skx-hist-iter-new-env"
509     - title: "2110.0-8"
510       data-set: "vpp-3n-skx-prev-iter-old-env"
511     - title: "2110.0-9"
512       data-set: "vpp-3n-skx-prev-iter-new-env"
513     - title: "2202.0-9"
514       data-set: "vpp-3n-skx-curr-iter"
515   comparisons:
516     - title: "2110.0-9 vs 2110.0-8"
517       reference: 2
518       compare: 3
519     - title: "2202.0-9 vs 2110.0-9"
520       reference: 3
521       compare: 4
522   legend:
523     - ''
524     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
525     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
526     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
527     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
528     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
529
530 # VPP Latency Changes 3n-skx 2t1c
531 - type: "table"
532   title: "VPP Latency Changes 3n-skx 2t1c PDR90-direction1-avg"
533   algorithm: "table_comparison"
534   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-skx-xxv710-2t1c-pdr90-d1-avg"
535   include-tests: "latency-PDR90-direction1-avg"
536   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
537   columns:
538     - title: "2106.0-8"
539       data-set: "vpp-3n-skx-hist-iter-new-env"
540     - title: "2110.0-8"
541       data-set: "vpp-3n-skx-prev-iter-old-env"
542     - title: "2110.0-9"
543       data-set: "vpp-3n-skx-prev-iter-new-env"
544     - title: "2202.0-9"
545       data-set: "vpp-3n-skx-curr-iter"
546   comparisons:
547     - title: "2110.0-9 vs 2110.0-8"
548       reference: 2
549       compare: 3
550     - title: "2202.0-9 vs 2110.0-9"
551       reference: 3
552       compare: 4
553   legend:
554     - ''
555     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
556     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
557     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
558     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
559     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
560
561 # VPP Latency Changes 3n-skx 2t1c
562 - type: "table"
563   title: "VPP Latency Changes 3n-skx 2t1c PDR90-direction1-max"
564   algorithm: "table_comparison"
565   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-skx-xxv710-2t1c-pdr90-d1-max"
566   include-tests: "latency-PDR90-direction1-max"
567   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
568   columns:
569     - title: "2106.0-8"
570       data-set: "vpp-3n-skx-hist-iter-new-env"
571     - title: "2110.0-8"
572       data-set: "vpp-3n-skx-prev-iter-old-env"
573     - title: "2110.0-9"
574       data-set: "vpp-3n-skx-prev-iter-new-env"
575     - title: "2202.0-9"
576       data-set: "vpp-3n-skx-curr-iter"
577   comparisons:
578     - title: "2110.0-9 vs 2110.0-8"
579       reference: 2
580       compare: 3
581     - title: "2202.0-9 vs 2110.0-9"
582       reference: 3
583       compare: 4
584   legend:
585     - ''
586     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
587     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
588     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
589     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
590     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
591
592 # VPP Latency Changes 2n-skx 2t1c
593 - type: "table"
594   title: "VPP Latency Changes 2n-skx 2t1c PDR50-direction1-avg"
595   algorithm: "table_comparison"
596   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-skx-xxv710-2t1c-pdr50-d1-avg"
597   include-tests: "latency-PDR50-direction1-avg"
598   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
599   columns:
600     - title: "2106.0-8"
601       data-set: "vpp-2n-skx-hist-iter-new-env"
602     - title: "2110.0-8"
603       data-set: "vpp-2n-skx-prev-iter-old-env"
604     - title: "2110.0-9"
605       data-set: "vpp-2n-skx-prev-iter-new-env"
606     - title: "2202.0-9"
607       data-set: "vpp-2n-skx-curr-iter"
608   comparisons:
609     - title: "2110.0-9 vs 2110.0-8"
610       reference: 2
611       compare: 3
612     - title: "2202.0-9 vs 2110.0-9"
613       reference: 3
614       compare: 4
615   legend:
616     - ''
617     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
618     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
619     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
620     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
621     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
622
623 # VPP Latency Changes 2n-skx 2t1c
624 - type: "table"
625   title: "VPP Latency Changes 2n-skx 2t1c PDR90-direction1-avg"
626   algorithm: "table_comparison"
627   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-skx-xxv710-2t1c-pdr90-d1-avg"
628   include-tests: "latency-PDR90-direction1-avg"
629   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
630   columns:
631     - title: "2106.0-8"
632       data-set: "vpp-2n-skx-hist-iter-new-env"
633     - title: "2110.0-8"
634       data-set: "vpp-2n-skx-prev-iter-old-env"
635     - title: "2110.0-9"
636       data-set: "vpp-2n-skx-prev-iter-new-env"
637     - title: "2202.0-9"
638       data-set: "vpp-2n-skx-curr-iter"
639   comparisons:
640     - title: "2110.0-9 vs 2110.0-8"
641       reference: 2
642       compare: 3
643     - title: "2202.0-9 vs 2110.0-9"
644       reference: 3
645       compare: 4
646   legend:
647     - ''
648     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
649     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
650     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
651     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
652     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
653
654 # VPP Latency Changes 2n-skx 2t1c
655 - type: "table"
656   title: "VPP Latency Changes 2n-skx 2t1c PDR90-direction1-max"
657   algorithm: "table_comparison"
658   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-skx-xxv710-2t1c-pdr90-d1-max"
659   include-tests: "latency-PDR90-direction1-max"
660   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
661   columns:
662     - title: "2106.0-8"
663       data-set: "vpp-2n-skx-hist-iter-new-env"
664     - title: "2110.0-8"
665       data-set: "vpp-2n-skx-prev-iter-old-env"
666     - title: "2110.0-9"
667       data-set: "vpp-2n-skx-prev-iter-new-env"
668     - title: "2202.0-9"
669       data-set: "vpp-2n-skx-curr-iter"
670   comparisons:
671     - title: "2110.0-9 vs 2110.0-8"
672       reference: 2
673       compare: 3
674     - title: "2202.0-9 vs 2110.0-9"
675       reference: 3
676       compare: 4
677   legend:
678     - ''
679     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
680     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
681     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
682     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
683     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
684
685 # VPP Latency Changes 2n-clx 2t1c
686 - type: "table"
687   title: "VPP Latency Changes 2n-clx 2t1c PDR50-direction1-avg"
688   algorithm: "table_comparison"
689   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-xxv710-2t1c-pdr50-d1-avg"
690   include-tests: "latency-PDR50-direction1-avg"
691   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
692   columns:
693     - title: "2106.0-8"
694       data-set: "vpp-2n-clx-hist-iter-new-env"
695     - title: "2110.0-8"
696       data-set: "vpp-2n-clx-prev-iter-old-env"
697     - title: "2110.0-9"
698       data-set: "vpp-2n-clx-prev-iter-new-env"
699     - title: "2202.0-9"
700       data-set: "vpp-2n-clx-curr-iter"
701   comparisons:
702     - title: "2110.0-9 vs 2110.0-8"
703       reference: 2
704       compare: 3
705     - title: "2202.0-9 vs 2110.0-9"
706       reference: 3
707       compare: 4
708   legend:
709     - ''
710     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
711     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
712     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
713     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
714     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
715
716 # VPP Latency Changes 2n-clx 2t1c
717 - type: "table"
718   title: "VPP Latency Changes 2n-clx 2t1c PDR90-direction1-avg"
719   algorithm: "table_comparison"
720   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-xxv710-2t1c-pdr90-d1-avg"
721   include-tests: "latency-PDR90-direction1-avg"
722   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
723   columns:
724     - title: "2106.0-8"
725       data-set: "vpp-2n-clx-hist-iter-new-env"
726     - title: "2110.0-8"
727       data-set: "vpp-2n-clx-prev-iter-old-env"
728     - title: "2110.0-9"
729       data-set: "vpp-2n-clx-prev-iter-new-env"
730     - title: "2202.0-9"
731       data-set: "vpp-2n-clx-curr-iter"
732   comparisons:
733     - title: "2110.0-9 vs 2110.0-8"
734       reference: 2
735       compare: 3
736     - title: "2202.0-9 vs 2110.0-9"
737       reference: 3
738       compare: 4
739   legend:
740     - ''
741     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
742     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
743     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
744     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
745     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
746
747 # VPP Latency Changes 2n-clx 2t1c
748 - type: "table"
749   title: "VPP Latency Changes 2n-clx 2t1c PDR90-direction1-max"
750   algorithm: "table_comparison"
751   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-xxv710-2t1c-pdr90-d1-max"
752   include-tests: "latency-PDR90-direction1-max"
753   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
754   columns:
755     - title: "2106.0-8"
756       data-set: "vpp-2n-clx-hist-iter-new-env"
757     - title: "2110.0-8"
758       data-set: "vpp-2n-clx-prev-iter-old-env"
759     - title: "2110.0-9"
760       data-set: "vpp-2n-clx-prev-iter-new-env"
761     - title: "2202.0-9"
762       data-set: "vpp-2n-clx-curr-iter"
763   comparisons:
764     - title: "2110.0-9 vs 2110.0-8"
765       reference: 2
766       compare: 3
767     - title: "2202.0-9 vs 2110.0-9"
768       reference: 3
769       compare: 4
770   legend:
771     - ''
772     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
773     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
774     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
775     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
776     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
777
778 # VPP Latency Changes 2n-clx 2t1c
779 - type: "table"
780   title: "VPP Latency Changes 2n-clx 2t1c PDR50-direction1-avg"
781   algorithm: "table_comparison"
782   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-cx556a-2t1c-pdr50-d1-avg"
783   include-tests: "latency-PDR50-direction1-avg"
784   filter: "'2T1C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
785   columns:
786     - title: "2106.0-8"
787       data-set: "vpp-2n-clx-hist-iter-new-env"
788     - title: "2110.0-8"
789       data-set: "vpp-2n-clx-prev-iter-old-env"
790     - title: "2110.0-9"
791       data-set: "vpp-2n-clx-prev-iter-new-env"
792     - title: "2202.0-9"
793       data-set: "vpp-2n-clx-curr-iter"
794   comparisons:
795     - title: "2110.0-9 vs 2110.0-8"
796       reference: 2
797       compare: 3
798     - title: "2202.0-9 vs 2110.0-9"
799       reference: 3
800       compare: 4
801   legend:
802     - ''
803     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
804     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
805     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
806     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
807     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
808
809 # VPP Latency Changes 2n-clx 2t1c
810 - type: "table"
811   title: "VPP Latency Changes 2n-clx 2t1c PDR90-direction1-avg"
812   algorithm: "table_comparison"
813   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-cx556a-2t1c-pdr90-d1-avg"
814   include-tests: "latency-PDR90-direction1-avg"
815   filter: "'2T1C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
816   columns:
817     - title: "2106.0-8"
818       data-set: "vpp-2n-clx-hist-iter-new-env"
819     - title: "2110.0-8"
820       data-set: "vpp-2n-clx-prev-iter-old-env"
821     - title: "2110.0-9"
822       data-set: "vpp-2n-clx-prev-iter-new-env"
823     - title: "2202.0-9"
824       data-set: "vpp-2n-clx-curr-iter"
825   comparisons:
826     - title: "2110.0-9 vs 2110.0-8"
827       reference: 2
828       compare: 3
829     - title: "2202.0-9 vs 2110.0-9"
830       reference: 3
831       compare: 4
832   legend:
833     - ''
834     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
835     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
836     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
837     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
838     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
839
840 # VPP Latency Changes 2n-clx 2t1c
841 - type: "table"
842   title: "VPP Latency Changes 2n-clx 2t1c PDR90-direction1-max"
843   algorithm: "table_comparison"
844   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-cx556a-2t1c-pdr90-d1-max"
845   include-tests: "latency-PDR90-direction1-max"
846   filter: "'2T1C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
847   columns:
848     - title: "2106.0-8"
849       data-set: "vpp-2n-clx-hist-iter-new-env"
850     - title: "2110.0-8"
851       data-set: "vpp-2n-clx-prev-iter-old-env"
852     - title: "2110.0-9"
853       data-set: "vpp-2n-clx-prev-iter-new-env"
854     - title: "2202.0-9"
855       data-set: "vpp-2n-clx-curr-iter"
856   comparisons:
857     - title: "2110.0-9 vs 2110.0-8"
858       reference: 2
859       compare: 3
860     - title: "2202.0-9 vs 2110.0-9"
861       reference: 3
862       compare: 4
863   legend:
864     - ''
865     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
866     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
867     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
868     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
869     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
870
871 # VPP Latency Changes 2n-zn2 2t1c
872 - type: "table"
873   title: "VPP Latency Changes 2n-zn2 2t1c PDR50-direction1-avg"
874   algorithm: "table_comparison"
875   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-zn2-xxv710-2t1c-pdr50-d1-avg"
876   include-tests: "latency-PDR50-direction1-avg"
877   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
878   columns:
879     - title: "2106.0-8"
880       data-set: "vpp-2n-zn2-hist-iter-new-env"
881     - title: "2110.0-8"
882       data-set: "vpp-2n-zn2-prev-iter-old-env"
883     - title: "2110.0-9"
884       data-set: "vpp-2n-zn2-prev-iter-new-env"
885     - title: "2202.0-9"
886       data-set: "vpp-2n-zn2-curr-iter"
887   comparisons:
888     - title: "2110.0-9 vs 2110.0-8"
889       reference: 2
890       compare: 3
891     - title: "2202.0-9 vs 2110.0-9"
892       reference: 3
893       compare: 4
894   legend:
895     - ''
896     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
897     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
898     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
899     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
900     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
901
902 # VPP Latency Changes 2n-zn2 2t1c
903 - type: "table"
904   title: "VPP Latency Changes 2n-zn2 2t1c PDR90-direction1-avg"
905   algorithm: "table_comparison"
906   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-zn2-xxv710-2t1c-pdr90-d1-avg"
907   include-tests: "latency-PDR90-direction1-avg"
908   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
909   columns:
910     - title: "2106.0-8"
911       data-set: "vpp-2n-zn2-hist-iter-new-env"
912     - title: "2110.0-8"
913       data-set: "vpp-2n-zn2-prev-iter-old-env"
914     - title: "2110.0-9"
915       data-set: "vpp-2n-zn2-prev-iter-new-env"
916     - title: "2202.0-9"
917       data-set: "vpp-2n-zn2-curr-iter"
918   comparisons:
919     - title: "2110.0-9 vs 2110.0-8"
920       reference: 2
921       compare: 3
922     - title: "2202.0-9 vs 2110.0-9"
923       reference: 3
924       compare: 4
925   legend:
926     - ''
927     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
928     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
929     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
930     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
931     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
932
933 # VPP Latency Changes 2n-zn2 2t1c
934 - type: "table"
935   title: "VPP Latency Changes 2n-zn2 2t1c PDR90-direction1-max"
936   algorithm: "table_comparison"
937   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-zn2-xxv710-2t1c-pdr90-d1-max"
938   include-tests: "latency-PDR90-direction1-max"
939   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
940   columns:
941     - title: "2106.0-8"
942       data-set: "vpp-2n-zn2-hist-iter-new-env"
943     - title: "2110.0-8"
944       data-set: "vpp-2n-zn2-prev-iter-old-env"
945     - title: "2110.0-9"
946       data-set: "vpp-2n-zn2-prev-iter-new-env"
947     - title: "2202.0-9"
948       data-set: "vpp-2n-zn2-curr-iter"
949   comparisons:
950     - title: "2110.0-9 vs 2110.0-8"
951       reference: 2
952       compare: 3
953     - title: "2202.0-9 vs 2110.0-9"
954       reference: 3
955       compare: 4
956   legend:
957     - ''
958     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
959     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
960     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
961     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
962     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
963
964 # VPP Latency Changes 2n-tx2 1t1c
965 - type: "table"
966   title: "VPP Latency Changes 2n-tx2 1t1c PDR50-direction1-avg"
967   algorithm: "table_comparison"
968   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-tx2-xl710-1t1c-pdr50-d1-avg"
969   include-tests: "latency-PDR50-direction1-avg"
970   filter: "'1T1C' and 'NDRPDR'"
971   columns:
972     - title: "2106.0-8"
973       data-set: "vpp-2n-tx2-hist-iter-new-env"
974     - title: "2110.0-8"
975       data-set: "vpp-2n-tx2-prev-iter-old-env"
976     - title: "2110.0-9"
977       data-set: "vpp-2n-tx2-prev-iter-new-env"
978     - title: "2202.0-9"
979       data-set: "vpp-2n-tx2-curr-iter"
980   comparisons:
981     - title: "2110.0-9 vs 2110.0-8"
982       reference: 2
983       compare: 3
984     - title: "2202.0-9 vs 2110.0-9"
985       reference: 3
986       compare: 4
987   legend:
988     - ''
989     - 'Test Case:            Test cases executed for: PDR throughput on 2n-tx2 with xl710.'
990     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
991     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
992     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
993     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
994
995 # VPP Latency Changes 2n-tx2 1t1c
996 - type: "table"
997   title: "VPP Latency Changes 2n-tx2 1t1c PDR90-direction1-avg"
998   algorithm: "table_comparison"
999   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-tx2-xl710-1t1c-pdr90-d1-avg"
1000   include-tests: "latency-PDR90-direction1-avg"
1001   filter: "'1T1C' and 'NDRPDR'"
1002   columns:
1003     - title: "2106.0-8"
1004       data-set: "vpp-2n-tx2-hist-iter-new-env"
1005     - title: "2110.0-8"
1006       data-set: "vpp-2n-tx2-prev-iter-old-env"
1007     - title: "2110.0-9"
1008       data-set: "vpp-2n-tx2-prev-iter-new-env"
1009     - title: "2202.0-9"
1010       data-set: "vpp-2n-tx2-curr-iter"
1011   comparisons:
1012     - title: "2110.0-9 vs 2110.0-8"
1013       reference: 2
1014       compare: 3
1015     - title: "2202.0-9 vs 2110.0-9"
1016       reference: 3
1017       compare: 4
1018   legend:
1019     - ''
1020     - 'Test Case:            Test cases executed for: PDR throughput on 2n-tx2 with xl710.'
1021     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1022     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1023     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1024     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1025
1026 # VPP Latency Changes 2n-tx2 1t1c
1027 - type: "table"
1028   title: "VPP Latency Changes 2n-tx2 1t1c PDR90-direction1-max"
1029   algorithm: "table_comparison"
1030   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-tx2-xl710-1t1c-pdr90-d1-max"
1031   include-tests: "latency-PDR90-direction1-max"
1032   filter: "'1T1C' and 'NDRPDR'"
1033   columns:
1034     - title: "2106.0-8"
1035       data-set: "vpp-2n-tx2-hist-iter-new-env"
1036     - title: "2110.0-8"
1037       data-set: "vpp-2n-tx2-prev-iter-old-env"
1038     - title: "2110.0-9"
1039       data-set: "vpp-2n-tx2-prev-iter-new-env"
1040     - title: "2202.0-9"
1041       data-set: "vpp-2n-tx2-curr-iter"
1042   comparisons:
1043     - title: "2110.0-9 vs 2110.0-8"
1044       reference: 2
1045       compare: 3
1046     - title: "2202.0-9 vs 2110.0-9"
1047       reference: 3
1048       compare: 4
1049   legend:
1050     - ''
1051     - 'Test Case:            Test cases executed for: PDR throughput on 2n-tx2 with xl710.'
1052     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1053     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1054     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1055     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1056
1057 # VPP Latency Changes 3n-tsh 1t1c
1058 - type: "table"
1059   title: "VPP Latency Changes 3n-tsh 1t1c PDR50-direction1-avg"
1060   algorithm: "table_comparison"
1061   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-tsh-x520-1t1c-pdr50-d1-avg"
1062   include-tests: "latency-PDR50-direction1-avg"
1063   filter: "'1T1C' and 'NDRPDR'"
1064   columns:
1065     - title: "2106.0-8"
1066       data-set: "vpp-3n-tsh-hist-iter-new-env"
1067     - title: "2110.0-8"
1068       data-set: "vpp-3n-tsh-prev-iter-old-env"
1069     - title: "2110.0-9"
1070       data-set: "vpp-3n-tsh-prev-iter-new-env"
1071     - title: "2202.0-9"
1072       data-set: "vpp-3n-tsh-curr-iter"
1073   comparisons:
1074     - title: "2110.0-9 vs 2110.0-8"
1075       reference: 2
1076       compare: 3
1077     - title: "2202.0-9 vs 2110.0-9"
1078       reference: 3
1079       compare: 4
1080   legend:
1081     - ''
1082     - 'Test Case:            Test cases executed for: PDR throughput on 3n-tsh with x520.'
1083     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1084     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1085     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1086     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1087
1088 # VPP Latency Changes 3n-tsh 1t1c
1089 - type: "table"
1090   title: "VPP Latency Changes 3n-tsh 1t1c PDR90-direction1-avg"
1091   algorithm: "table_comparison"
1092   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-tsh-x520-1t1c-pdr90-d1-avg"
1093   include-tests: "latency-PDR90-direction1-avg"
1094   filter: "'1T1C' and 'NDRPDR'"
1095   columns:
1096     - title: "2106.0-8"
1097       data-set: "vpp-3n-tsh-hist-iter-new-env"
1098     - title: "2110.0-8"
1099       data-set: "vpp-3n-tsh-prev-iter-old-env"
1100     - title: "2110.0-9"
1101       data-set: "vpp-3n-tsh-prev-iter-new-env"
1102     - title: "2202.0-9"
1103       data-set: "vpp-3n-tsh-curr-iter"
1104   comparisons:
1105     - title: "2110.0-9 vs 2110.0-8"
1106       reference: 2
1107       compare: 3
1108     - title: "2202.0-9 vs 2110.0-9"
1109       reference: 3
1110       compare: 4
1111   legend:
1112     - ''
1113     - 'Test Case:            Test cases executed for: PDR throughput on 3n-tsh with x520.'
1114     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1115     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1116     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1117     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1118
1119 # VPP Latency Changes 3n-tsh 1t1c
1120 - type: "table"
1121   title: "VPP Latency Changes 3n-tsh 1t1c PDR90-direction1-max"
1122   algorithm: "table_comparison"
1123   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-tsh-x520-1t1c-pdr90-d1-max"
1124   include-tests: "latency-PDR90-direction1-max"
1125   filter: "'1T1C' and 'NDRPDR'"
1126   columns:
1127     - title: "2106.0-8"
1128       data-set: "vpp-3n-tsh-hist-iter-new-env"
1129     - title: "2110.0-8"
1130       data-set: "vpp-3n-tsh-prev-iter-old-env"
1131     - title: "2110.0-9"
1132       data-set: "vpp-3n-tsh-prev-iter-new-env"
1133     - title: "2202.0-9"
1134       data-set: "vpp-3n-tsh-curr-iter"
1135   comparisons:
1136     - title: "2110.0-9 vs 2110.0-8"
1137       reference: 2
1138       compare: 3
1139     - title: "2202.0-9 vs 2110.0-9"
1140       reference: 3
1141       compare: 4
1142   legend:
1143     - ''
1144     - 'Test Case:            Test cases executed for: PDR throughput on 3n-tsh with x520.'
1145     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1146     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1147     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1148     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1149
1150 # VPP Soak vs NDR - 2n-skx
1151 - type: "table"
1152   title: "VPP Soak vs NDR 2n-skx"
1153   algorithm: "table_soak_vs_ndr"
1154   output-file: "{DIR[STATIC,VPP]}/soak-vs-ndr-2n-skx"
1155   reference:
1156     title: "NDR"
1157     data: "vpp-soak-vs-ndr-2n-skx-ref"
1158   compare:
1159     title: "Soak"
1160     data: "vpp-2n-skx-curr-soak"
1161   data: "vpp-soak-vs-ndr-2n-skx"
1162   include-tests: "NDR"
1163   filter: "('NDRPDR' or 'SOAK') and not 'NF_DENSITY'"
1164   parameters:
1165     - "throughput"
1166     - "name"
1167     - "parent"
1168
1169 # VPP Soak vs NDR - 2n-clx
1170 - type: "table"
1171   title: "VPP Soak vs NDR 2n-clx"
1172   algorithm: "table_soak_vs_ndr"
1173   output-file: "{DIR[STATIC,VPP]}/soak-vs-ndr-2n-clx"
1174   reference:
1175     title: "NDR"
1176     data: "vpp-soak-vs-ndr-2n-clx-ref"
1177   compare:
1178     title: "Soak"
1179     data: "vpp-2n-clx-curr-soak"
1180   data: "vpp-soak-vs-ndr-2n-clx"
1181   include-tests: "NDR"
1182   filter: "('NDRPDR' or 'SOAK') and not 'NF_DENSITY'"
1183   parameters:
1184     - "throughput"
1185     - "name"
1186     - "parent"
1187
1188 ################################################################################
1189
1190 # VPP Compare NICs 3n-skx 2t1c ndr
1191 - type: "table"
1192   title: "VPP Compare NICs 3n-skx 2t1c ndr"
1193   algorithm: "table_comparison"
1194   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-ndr"
1195   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1196   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
1197   columns:
1198     - title: "x710"
1199       data-set: "vpp-3n-skx-curr-iter"
1200       tag: "NIC_Intel-X710"
1201     - title: "xxv710"
1202       data-set: "vpp-3n-skx-curr-iter"
1203       tag: "NIC_Intel-XXV710"
1204   comparisons:
1205     - title: "Diff"
1206       reference: 1
1207       compare: 2
1208   legend:
1209     - ""
1210     - "x710, xxv710 - NICs tested."
1211     - "Diff - difference between x710 and xxv710 NIC."
1212
1213 # VPP Compare NICs 3n-skx 4t2c ndr
1214 - type: "table"
1215   title: "VPP Compare NICs 3n-skx 4t2c ndr"
1216   algorithm: "table_comparison"
1217   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-ndr"
1218   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1219   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
1220   columns:
1221     - title: "x710"
1222       data-set: "vpp-3n-skx-curr-iter"
1223       tag: "NIC_Intel-X710"
1224     - title: "xxv710"
1225       data-set: "vpp-3n-skx-curr-iter"
1226       tag: "NIC_Intel-XXV710"
1227   comparisons:
1228     - title: "Diff"
1229       reference: 1
1230       compare: 2
1231   legend:
1232     - ""
1233     - "x710, xxv710 - NICs tested."
1234     - "Diff - difference between x710 and xxv710 NIC."
1235
1236 # VPP Compare NICs 3n-skx 2t1c pdr
1237 - type: "table"
1238   title: "VPP Compare NICs 3n-skx 2t1c pdr"
1239   algorithm: "table_comparison"
1240   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-pdr"
1241   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1242   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
1243   columns:
1244     - title: "x710"
1245       data-set: "vpp-3n-skx-curr-iter"
1246       tag: "NIC_Intel-X710"
1247     - title: "xxv710"
1248       data-set: "vpp-3n-skx-curr-iter"
1249       tag: "NIC_Intel-XXV710"
1250   comparisons:
1251     - title: "Diff"
1252       reference: 1
1253       compare: 2
1254   legend:
1255     - ""
1256     - "x710, xxv710 - NICs tested."
1257     - "Diff - difference between x710 and xxv710 NIC."
1258
1259 # VPP Compare NICs 3n-skx 4t2c pdr
1260 - type: "table"
1261   title: "VPP Compare NICs 3n-skx 4t2c pdr"
1262   algorithm: "table_comparison"
1263   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-pdr"
1264   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1265   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
1266   columns:
1267     - title: "x710"
1268       data-set: "vpp-3n-skx-curr-iter"
1269       tag: "NIC_Intel-X710"
1270     - title: "xxv710"
1271       data-set: "vpp-3n-skx-curr-iter"
1272       tag: "NIC_Intel-XXV710"
1273   comparisons:
1274     - title: "Diff"
1275       reference: 1
1276       compare: 2
1277   legend:
1278     - ""
1279     - "x710, xxv710 - NICs tested."
1280     - "Diff - difference between x710 and xxv710 NIC."
1281
1282 # VPP Compare NICs 3n-skx 2t1c mrr
1283 - type: "table"
1284   title: "VPP Compare NICs 3n-skx 2t1c mrr"
1285   algorithm: "table_comparison"
1286   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-mrr"
1287   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1288   filter: "'2T1C' and 'MRR' and not 'NF_DENSITY'"
1289   columns:
1290     - title: "x710"
1291       data-set: "vpp-3n-skx-curr-iter-mrr"
1292       tag: "NIC_Intel-X710"
1293     - title: "xxv710"
1294       data-set: "vpp-3n-skx-curr-iter-mrr"
1295       tag: "NIC_Intel-XXV710"
1296   comparisons:
1297     - title: "Diff"
1298       reference: 1
1299       compare: 2
1300   legend:
1301     - ""
1302     - "x710, xxv710 - NICs tested."
1303     - "Diff - difference between x710 and xxv710 NIC."
1304
1305 # VPP Compare NICs 3n-skx 4t2c mrr
1306 - type: "table"
1307   title: "VPP Compare NICs 3n-skx 4t2c mrr"
1308   algorithm: "table_comparison"
1309   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-mrr"
1310   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1311   filter: "'4T2C' and 'MRR' and not 'NF_DENSITY'"
1312   columns:
1313     - title: "x710"
1314       data-set: "vpp-3n-skx-curr-iter-mrr"
1315       tag: "NIC_Intel-X710"
1316     - title: "xxv710"
1317       data-set: "vpp-3n-skx-curr-iter-mrr"
1318       tag: "NIC_Intel-XXV710"
1319   comparisons:
1320     - title: "Diff"
1321       reference: 1
1322       compare: 2
1323   legend:
1324     - ""
1325     - "x710, xxv710 - NICs tested."
1326     - "Diff - difference between x710 and xxv710 NIC."
1327
1328 # VPP Compare NICs 3n-skx 8t4c mrr
1329 - type: "table"
1330   title: "VPP Compare NICs 3n-skx 8t4c mrr"
1331   algorithm: "table_comparison"
1332   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-8t4c-nics-mrr"
1333   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1334   filter: "'8T4C' and 'MRR' and not 'NF_DENSITY'"
1335   columns:
1336     - title: "x710"
1337       data-set: "vpp-3n-skx-curr-iter-mrr"
1338       tag: "NIC_Intel-X710"
1339     - title: "xxv710"
1340       data-set: "vpp-3n-skx-curr-iter-mrr"
1341       tag: "NIC_Intel-XXV710"
1342   comparisons:
1343     - title: "Diff"
1344       reference: 1
1345       compare: 2
1346   legend:
1347     - ""
1348     - "x710, xxv710 - NICs tested."
1349     - "Diff - difference between x710 and xxv710 NIC."
1350
1351 # VPP Compare NICs 2n-skx 2t1c ndr
1352 - type: "table"
1353   title: "VPP Compare NICs 2n-skx 2t1c ndr"
1354   algorithm: "table_comparison"
1355   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-nics-ndr"
1356   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1357   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
1358   columns:
1359     - title: "x710"
1360       data-set: "vpp-2n-skx-curr-iter"
1361       tag: "NIC_Intel-X710"
1362     - title: "xxv710"
1363       data-set: "vpp-2n-skx-curr-iter"
1364       tag: "NIC_Intel-XXV710"
1365   comparisons:
1366     - title: "Diff"
1367       reference: 1
1368       compare: 2
1369   legend:
1370     - ""
1371     - "x710, xxv710 - NICs tested."
1372     - "Diff - difference between x710 and xxv710 NIC."
1373
1374 # VPP Compare NICs 2n-skx 4t2c ndr
1375 - type: "table"
1376   title: "VPP Compare NICs 2n-skx 4t2c ndr"
1377   algorithm: "table_comparison"
1378   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-nics-ndr"
1379   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1380   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
1381   columns:
1382     - title: "x710"
1383       data-set: "vpp-2n-skx-curr-iter"
1384       tag: "NIC_Intel-X710"
1385     - title: "xxv710"
1386       data-set: "vpp-2n-skx-curr-iter"
1387       tag: "NIC_Intel-XXV710"
1388   comparisons:
1389     - title: "Diff"
1390       reference: 1
1391       compare: 2
1392   legend:
1393     - ""
1394     - "x710, xxv710 - NICs tested."
1395     - "Diff - difference between x710 and xxv710 NIC."
1396
1397 # VPP Compare NICs 2n-skx 2t1c pdr
1398 - type: "table"
1399   title: "VPP Compare NICs 2n-skx 2t1c pdr"
1400   algorithm: "table_comparison"
1401   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-nics-pdr"
1402   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1403   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
1404   columns:
1405     - title: "x710"
1406       data-set: "vpp-2n-skx-curr-iter"
1407       tag: "NIC_Intel-X710"
1408     - title: "xxv710"
1409       data-set: "vpp-2n-skx-curr-iter"
1410       tag: "NIC_Intel-XXV710"
1411   comparisons:
1412     - title: "Diff"
1413       reference: 1
1414       compare: 2
1415   legend:
1416     - ""
1417     - "x710, xxv710 - NICs tested."
1418     - "Diff - difference between x710 and xxv710 NIC."
1419
1420 # VPP Compare NICs 2n-skx 4t2c pdr
1421 - type: "table"
1422   title: "VPP Compare NICs 2n-skx 4t2c pdr"
1423   algorithm: "table_comparison"
1424   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-nics-pdr"
1425   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1426   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
1427   columns:
1428     - title: "x710"
1429       data-set: "vpp-2n-skx-curr-iter"
1430       tag: "NIC_Intel-X710"
1431     - title: "xxv710"
1432       data-set: "vpp-2n-skx-curr-iter"
1433       tag: "NIC_Intel-XXV710"
1434   comparisons:
1435     - title: "Diff"
1436       reference: 1
1437       compare: 2
1438   legend:
1439     - ""
1440     - "x710, xxv710 - NICs tested."
1441     - "Diff - difference between x710 and xxv710 NIC."
1442
1443 # VPP Compare NICs 2n-skx 2t1c mrr
1444 - type: "table"
1445   title: "VPP Compare NICs 2n-skx 2t1c mrr"
1446   algorithm: "table_comparison"
1447   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-nics-mrr"
1448   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1449   filter: "'2T1C' and 'MRR' and not 'NF_DENSITY'"
1450   columns:
1451     - title: "x710"
1452       data-set: "vpp-2n-skx-curr-iter-mrr"
1453       tag: "NIC_Intel-X710"
1454     - title: "xxv710"
1455       data-set: "vpp-2n-skx-curr-iter-mrr"
1456       tag: "NIC_Intel-XXV710"
1457   comparisons:
1458     - title: "Diff"
1459       reference: 1
1460       compare: 2
1461   legend:
1462     - ""
1463     - "x710, xxv710 - NICs tested."
1464     - "Diff - difference between x710 and xxv710 NIC."
1465
1466 # VPP Compare NICs 2n-skx 4t2c mrr
1467 - type: "table"
1468   title: "VPP Compare NICs 2n-skx 4t2c mrr"
1469   algorithm: "table_comparison"
1470   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-nics-mrr"
1471   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1472   filter: "'4T2C' and 'MRR' and not 'NF_DENSITY'"
1473   columns:
1474     - title: "x710"
1475       data-set: "vpp-2n-skx-curr-iter-mrr"
1476       tag: "NIC_Intel-X710"
1477     - title: "xxv710"
1478       data-set: "vpp-2n-skx-curr-iter-mrr"
1479       tag: "NIC_Intel-XXV710"
1480   comparisons:
1481     - title: "Diff"
1482       reference: 1
1483       compare: 2
1484   legend:
1485     - ""
1486     - "x710, xxv710 - NICs tested."
1487     - "Diff - difference between x710 and xxv710 NIC."
1488
1489 # VPP Compare NICs 2n-skx 8t4c mrr
1490 - type: "table"
1491   title: "VPP Compare NICs 2n-skx 8t4c mrr"
1492   algorithm: "table_comparison"
1493   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-8t4c-nics-mrr"
1494   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1495   filter: "'8T4C' and 'MRR' and not 'NF_DENSITY'"
1496   columns:
1497     - title: "x710"
1498       data-set: "vpp-2n-skx-curr-iter-mrr"
1499       tag: "NIC_Intel-X710"
1500     - title: "xxv710"
1501       data-set: "vpp-2n-skx-curr-iter-mrr"
1502       tag: "NIC_Intel-XXV710"
1503   comparisons:
1504     - title: "Diff"
1505       reference: 1
1506       compare: 2
1507   legend:
1508     - ""
1509     - "x710, xxv710 - NICs tested."
1510     - "Diff - difference between x710 and xxv710 NIC."
1511
1512 ################################################################################
1513 # VPP
1514
1515 # VPP Performance Changes 3n-skx 2t1c pdr
1516 - type: "table"
1517   title: "VPP Performance Changes 3n-skx 2t1c pdr"
1518   algorithm: "table_comparison"
1519   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-pdr"
1520   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1521   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1522   columns:
1523     - title: "2106.0-8"
1524       data-set: "vpp-3n-skx-hist-iter-new-env"
1525     - title: "2110.0-8"
1526       data-set: "vpp-3n-skx-prev-iter-old-env"
1527     - title: "2110.0-9"
1528       data-set: "vpp-3n-skx-prev-iter-new-env"
1529     - title: "2202.0-9"
1530       data-set: "vpp-3n-skx-curr-iter"
1531   comparisons:
1532     - title: "2110.0-9 vs 2110.0-8"
1533       reference: 2
1534       compare: 3
1535     - title: "2202.0-9 vs 2110.0-9"
1536       reference: 3
1537       compare: 4
1538   legend:
1539     - ''
1540     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
1541     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1542     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1543     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1544     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1545
1546 # VPP Performance Changes 3n-skx 4t2c pdr
1547 - type: "table"
1548   title: "VPP Performance Changes 3n-skx 4t2c pdr"
1549   algorithm: "table_comparison"
1550   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-pdr"
1551   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1552   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1553   columns:
1554     - title: "2106.0-8"
1555       data-set: "vpp-3n-skx-hist-iter-new-env"
1556     - title: "2110.0-8"
1557       data-set: "vpp-3n-skx-prev-iter-old-env"
1558     - title: "2110.0-9"
1559       data-set: "vpp-3n-skx-prev-iter-new-env"
1560     - title: "2202.0-9"
1561       data-set: "vpp-3n-skx-curr-iter"
1562   comparisons:
1563     - title: "2110.0-9 vs 2110.0-8"
1564       reference: 2
1565       compare: 3
1566     - title: "2202.0-9 vs 2110.0-9"
1567       reference: 3
1568       compare: 4
1569   legend:
1570     - ''
1571     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
1572     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1573     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1574     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1575     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1576
1577 # VPP Performance Changes 3n-skx 2t1c ndr
1578 - type: "table"
1579   title: "VPP Performance Changes 3n-skx 2t1c ndr"
1580   algorithm: "table_comparison"
1581   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-ndr"
1582   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1583   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1584   columns:
1585     - title: "2106.0-8"
1586       data-set: "vpp-3n-skx-hist-iter-new-env"
1587     - title: "2110.0-8"
1588       data-set: "vpp-3n-skx-prev-iter-old-env"
1589     - title: "2110.0-9"
1590       data-set: "vpp-3n-skx-prev-iter-new-env"
1591     - title: "2202.0-9"
1592       data-set: "vpp-3n-skx-curr-iter"
1593   comparisons:
1594     - title: "2110.0-9 vs 2110.0-8"
1595       reference: 2
1596       compare: 3
1597     - title: "2202.0-9 vs 2110.0-9"
1598       reference: 3
1599       compare: 4
1600   legend:
1601     - ''
1602     - 'Test Case:            Test cases executed for: NDR throughput on 3n-skx with xxv710.'
1603     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1604     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1605     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1606     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1607
1608 # VPP Performance Changes 3n-skx 4t2c ndr
1609 - type: "table"
1610   title: "VPP Performance Changes 3n-skx 4t2c ndr"
1611   algorithm: "table_comparison"
1612   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-ndr"
1613   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1614   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1615   columns:
1616     - title: "2106.0-8"
1617       data-set: "vpp-3n-skx-hist-iter-new-env"
1618     - title: "2110.0-8"
1619       data-set: "vpp-3n-skx-prev-iter-old-env"
1620     - title: "2110.0-9"
1621       data-set: "vpp-3n-skx-prev-iter-new-env"
1622     - title: "2202.0-9"
1623       data-set: "vpp-3n-skx-curr-iter"
1624   comparisons:
1625     - title: "2110.0-9 vs 2110.0-8"
1626       reference: 2
1627       compare: 3
1628     - title: "2202.0-9 vs 2110.0-9"
1629       reference: 3
1630       compare: 4
1631   legend:
1632     - ''
1633     - 'Test Case:            Test cases executed for: NDR throughput on 3n-skx with xxv710.'
1634     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1635     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1636     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1637     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1638
1639 # VPP Performance Changes 2n-skx 2t1c pdr
1640 - type: "table"
1641   title: "VPP Performance Changes 2n-skx 2t1c pdr"
1642   algorithm: "table_comparison"
1643   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-pdr"
1644   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1645   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1646   columns:
1647     - title: "2106.0-8"
1648       data-set: "vpp-2n-skx-hist-iter-new-env"
1649     - title: "2110.0-8"
1650       data-set: "vpp-2n-skx-prev-iter-old-env"
1651     - title: "2110.0-9"
1652       data-set: "vpp-2n-skx-prev-iter-new-env"
1653     - title: "2202.0-9"
1654       data-set: "vpp-2n-skx-curr-iter"
1655   comparisons:
1656     - title: "2110.0-9 vs 2110.0-8"
1657       reference: 2
1658       compare: 3
1659     - title: "2202.0-9 vs 2110.0-9"
1660       reference: 3
1661       compare: 4
1662   legend:
1663     - ''
1664     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
1665     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1666     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1667     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1668     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1669
1670 # VPP Performance Changes 2n-skx 4t2c pdr
1671 - type: "table"
1672   title: "VPP Performance Changes 2n-skx 4t2c pdr"
1673   algorithm: "table_comparison"
1674   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-pdr"
1675   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1676   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1677   columns:
1678     - title: "2106.0-8"
1679       data-set: "vpp-2n-skx-hist-iter-new-env"
1680     - title: "2110.0-8"
1681       data-set: "vpp-2n-skx-prev-iter-old-env"
1682     - title: "2110.0-9"
1683       data-set: "vpp-2n-skx-prev-iter-new-env"
1684     - title: "2202.0-9"
1685       data-set: "vpp-2n-skx-curr-iter"
1686   comparisons:
1687     - title: "2110.0-9 vs 2110.0-8"
1688       reference: 2
1689       compare: 3
1690     - title: "2202.0-9 vs 2110.0-9"
1691       reference: 3
1692       compare: 4
1693   legend:
1694     - ''
1695     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
1696     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1697     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1698     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1699     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1700
1701 # VPP Performance Changes 2n-skx 2t1c ndr
1702 - type: "table"
1703   title: "VPP Performance Changes 2n-skx 2t1c ndr"
1704   algorithm: "table_comparison"
1705   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-ndr"
1706   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1707   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1708   columns:
1709     - title: "2106.0-8"
1710       data-set: "vpp-2n-skx-hist-iter-new-env"
1711     - title: "2110.0-8"
1712       data-set: "vpp-2n-skx-prev-iter-old-env"
1713     - title: "2110.0-9"
1714       data-set: "vpp-2n-skx-prev-iter-new-env"
1715     - title: "2202.0-9"
1716       data-set: "vpp-2n-skx-curr-iter"
1717   comparisons:
1718     - title: "2110.0-9 vs 2110.0-8"
1719       reference: 2
1720       compare: 3
1721     - title: "2202.0-9 vs 2110.0-9"
1722       reference: 3
1723       compare: 4
1724   legend:
1725     - ''
1726     - 'Test Case:            Test cases executed for: NDR throughput on 2n-skx with xxv710.'
1727     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1728     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1729     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1730     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1731
1732 # VPP Performance Changes 2n-skx 4t2c ndr
1733 - type: "table"
1734   title: "VPP Performance Changes 2n-skx 4t2c ndr"
1735   algorithm: "table_comparison"
1736   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-ndr"
1737   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1738   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1739   columns:
1740     - title: "2106.0-8"
1741       data-set: "vpp-2n-skx-hist-iter-new-env"
1742     - title: "2110.0-8"
1743       data-set: "vpp-2n-skx-prev-iter-old-env"
1744     - title: "2110.0-9"
1745       data-set: "vpp-2n-skx-prev-iter-new-env"
1746     - title: "2202.0-9"
1747       data-set: "vpp-2n-skx-curr-iter"
1748   comparisons:
1749     - title: "2110.0-9 vs 2110.0-8"
1750       reference: 2
1751       compare: 3
1752     - title: "2202.0-9 vs 2110.0-9"
1753       reference: 3
1754       compare: 4
1755   legend:
1756     - ''
1757     - 'Test Case:            Test cases executed for: NDR throughput on 2n-skx with xxv710.'
1758     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1759     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1760     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1761     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1762
1763 # VPP Performance Changes 2n-clx-xxv710 2t1c pdr
1764 - type: "table"
1765   title: "VPP Performance Changes 2n-clx-xxv710 2t1c pdr"
1766   algorithm: "table_comparison"
1767   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-xxv710-2t1c-pdr"
1768   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1769   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1770   columns:
1771     - title: "2106.0-8"
1772       data-set: "vpp-2n-clx-hist-iter-new-env"
1773     - title: "2110.0-8"
1774       data-set: "vpp-2n-clx-prev-iter-old-env"
1775     - title: "2110.0-9"
1776       data-set: "vpp-2n-clx-prev-iter-new-env"
1777     - title: "2202.0-9"
1778       data-set: "vpp-2n-clx-curr-iter"
1779   comparisons:
1780     - title: "2110.0-9 vs 2110.0-8"
1781       reference: 2
1782       compare: 3
1783     - title: "2202.0-9 vs 2110.0-9"
1784       reference: 3
1785       compare: 4
1786   legend:
1787     - ''
1788     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
1789     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1790     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1791     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1792     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1793
1794 # VPP Performance Changes 2n-clx-xxv710 4t2c pdr
1795 - type: "table"
1796   title: "VPP Performance Changes 2n-clx-xxv710 4t2c pdr"
1797   algorithm: "table_comparison"
1798   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-xxv710-4t2c-pdr"
1799   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1800   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1801   columns:
1802     - title: "2106.0-8"
1803       data-set: "vpp-2n-clx-hist-iter-new-env"
1804     - title: "2110.0-8"
1805       data-set: "vpp-2n-clx-prev-iter-old-env"
1806     - title: "2110.0-9"
1807       data-set: "vpp-2n-clx-prev-iter-new-env"
1808     - title: "2202.0-9"
1809       data-set: "vpp-2n-clx-curr-iter"
1810   comparisons:
1811     - title: "2110.0-9 vs 2110.0-8"
1812       reference: 2
1813       compare: 3
1814     - title: "2202.0-9 vs 2110.0-9"
1815       reference: 3
1816       compare: 4
1817   legend:
1818     - ''
1819     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
1820     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1821     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1822     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1823     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1824
1825 # VPP Performance Changes 2n-clx-xxv710 2t1c ndr
1826 - type: "table"
1827   title: "VPP Performance Changes 2n-clx-xxv710 2t1c ndr"
1828   algorithm: "table_comparison"
1829   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-xxv710-2t1c-ndr"
1830   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1831   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1832   columns:
1833     - title: "2106.0-8"
1834       data-set: "vpp-2n-clx-hist-iter-new-env"
1835     - title: "2110.0-8"
1836       data-set: "vpp-2n-clx-prev-iter-old-env"
1837     - title: "2110.0-9"
1838       data-set: "vpp-2n-clx-prev-iter-new-env"
1839     - title: "2202.0-9"
1840       data-set: "vpp-2n-clx-curr-iter"
1841   comparisons:
1842     - title: "2110.0-9 vs 2110.0-8"
1843       reference: 2
1844       compare: 3
1845     - title: "2202.0-9 vs 2110.0-9"
1846       reference: 3
1847       compare: 4
1848   legend:
1849     - ''
1850     - 'Test Case:            Test cases executed for: NDR throughput on 2n-clx with xxv710.'
1851     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1852     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1853     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1854     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1855
1856 # VPP Performance Changes 2n-clx-xxv710 4t2c ndr
1857 - type: "table"
1858   title: "VPP Performance Changes 2n-clx-xxv710 ndr"
1859   algorithm: "table_comparison"
1860   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-xxv710-4t2c-ndr"
1861   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1862   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1863   columns:
1864     - title: "2106.0-8"
1865       data-set: "vpp-2n-clx-hist-iter-new-env"
1866     - title: "2110.0-8"
1867       data-set: "vpp-2n-clx-prev-iter-old-env"
1868     - title: "2110.0-9"
1869       data-set: "vpp-2n-clx-prev-iter-new-env"
1870     - title: "2202.0-9"
1871       data-set: "vpp-2n-clx-curr-iter"
1872   comparisons:
1873     - title: "2110.0-9 vs 2110.0-8"
1874       reference: 2
1875       compare: 3
1876     - title: "2202.0-9 vs 2110.0-9"
1877       reference: 3
1878       compare: 4
1879   legend:
1880     - ''
1881     - 'Test Case:            Test cases executed for: NDR throughput on 2n-clx with xxv710.'
1882     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1883     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1884     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1885     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1886
1887 # VPP Performance Changes 2n-clx-cx556a 2t1c pdr
1888 - type: "table"
1889   title: "VPP Performance Changes 2n-clx-cx556a 2t1c pdr"
1890   algorithm: "table_comparison"
1891   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-cx556a-2t1c-pdr"
1892   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1893   filter: "'2T1C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
1894   columns:
1895     - title: "2106.0-8"
1896       data-set: "vpp-2n-clx-hist-iter-new-env"
1897     - title: "2110.0-8"
1898       data-set: "vpp-2n-clx-prev-iter-old-env"
1899     - title: "2110.0-9"
1900       data-set: "vpp-2n-clx-prev-iter-new-env"
1901     - title: "2202.0-9"
1902       data-set: "vpp-2n-clx-curr-iter"
1903   comparisons:
1904     - title: "2110.0-9 vs 2110.0-8"
1905       reference: 2
1906       compare: 3
1907     - title: "2202.0-9 vs 2110.0-9"
1908       reference: 3
1909       compare: 4
1910   legend:
1911     - ''
1912     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
1913     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1914     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1915     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1916     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1917
1918 # VPP Performance Changes 2n-clx-cx556a 4t2c pdr
1919 - type: "table"
1920   title: "VPP Performance Changes 2n-clx-cx556a 4t2c pdr"
1921   algorithm: "table_comparison"
1922   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-cx556a-4t2c-pdr"
1923   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1924   filter: "'4T2C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
1925   columns:
1926     - title: "2106.0-8"
1927       data-set: "vpp-2n-clx-hist-iter-new-env"
1928     - title: "2110.0-8"
1929       data-set: "vpp-2n-clx-prev-iter-old-env"
1930     - title: "2110.0-9"
1931       data-set: "vpp-2n-clx-prev-iter-new-env"
1932     - title: "2202.0-9"
1933       data-set: "vpp-2n-clx-curr-iter"
1934   comparisons:
1935     - title: "2110.0-9 vs 2110.0-8"
1936       reference: 2
1937       compare: 3
1938     - title: "2202.0-9 vs 2110.0-9"
1939       reference: 3
1940       compare: 4
1941   legend:
1942     - ''
1943     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
1944     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1945     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1946     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1947     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1948
1949 # VPP Performance Changes 2n-clx-cx556a 2t1c ndr
1950 - type: "table"
1951   title: "VPP Performance Changes 2n-clx-cx556a 2t1c ndr"
1952   algorithm: "table_comparison"
1953   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-cx556a-2t1c-ndr"
1954   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1955   filter: "'2T1C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
1956   columns:
1957     - title: "2106.0-8"
1958       data-set: "vpp-2n-clx-hist-iter-new-env"
1959     - title: "2110.0-8"
1960       data-set: "vpp-2n-clx-prev-iter-old-env"
1961     - title: "2110.0-9"
1962       data-set: "vpp-2n-clx-prev-iter-new-env"
1963     - title: "2202.0-9"
1964       data-set: "vpp-2n-clx-curr-iter"
1965   comparisons:
1966     - title: "2110.0-9 vs 2110.0-8"
1967       reference: 2
1968       compare: 3
1969     - title: "2202.0-9 vs 2110.0-9"
1970       reference: 3
1971       compare: 4
1972   legend:
1973     - ''
1974     - 'Test Case:            Test cases executed for: NDR throughput on 2n-clx with cx556a.'
1975     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1976     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1977     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1978     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1979
1980 # VPP Performance Changes 2n-clx-cx556a 4t2c ndr
1981 - type: "table"
1982   title: "VPP Performance Changes 2n-clx-cx556a ndr"
1983   algorithm: "table_comparison"
1984   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-cx556a-4t2c-ndr"
1985   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1986   filter: "'4T2C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
1987   columns:
1988     - title: "2106.0-8"
1989       data-set: "vpp-2n-clx-hist-iter-new-env"
1990     - title: "2110.0-8"
1991       data-set: "vpp-2n-clx-prev-iter-old-env"
1992     - title: "2110.0-9"
1993       data-set: "vpp-2n-clx-prev-iter-new-env"
1994     - title: "2202.0-9"
1995       data-set: "vpp-2n-clx-curr-iter"
1996   comparisons:
1997     - title: "2110.0-9 vs 2110.0-8"
1998       reference: 2
1999       compare: 3
2000     - title: "2202.0-9 vs 2110.0-9"
2001       reference: 3
2002       compare: 4
2003   legend:
2004     - ''
2005     - 'Test Case:            Test cases executed for: NDR throughput on 2n-clx with cx556a.'
2006     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2007     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2008     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2009     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2010
2011 # VPP Performance Changes 2n-zn2-xxv710 2t1c pdr
2012 - type: "table"
2013   title: "VPP Performance Changes 2n-zn2-xxv710 2t1c pdr"
2014   algorithm: "table_comparison"
2015   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-zn2-xxv710-2t1c-pdr"
2016   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2017   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
2018   columns:
2019     - title: "2106.0-8"
2020       data-set: "vpp-2n-zn2-hist-iter-new-env"
2021     - title: "2110.0-8"
2022       data-set: "vpp-2n-zn2-prev-iter-old-env"
2023     - title: "2110.0-9"
2024       data-set: "vpp-2n-zn2-prev-iter-new-env"
2025     - title: "2202.0-9"
2026       data-set: "vpp-2n-zn2-curr-iter"
2027   comparisons:
2028     - title: "2110.0-9 vs 2110.0-8"
2029       reference: 2
2030       compare: 3
2031     - title: "2202.0-9 vs 2110.0-9"
2032       reference: 3
2033       compare: 4
2034   legend:
2035     - ''
2036     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
2037     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2038     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2039     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2040     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2041
2042 # VPP Performance Changes 2n-zn2-xxv710 4t2c pdr
2043 - type: "table"
2044   title: "VPP Performance Changes 2n-zn2-xxv710 4t2c pdr"
2045   algorithm: "table_comparison"
2046   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-zn2-xxv710-4t2c-pdr"
2047   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2048   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
2049   columns:
2050     - title: "2106.0-8"
2051       data-set: "vpp-2n-zn2-hist-iter-new-env"
2052     - title: "2110.0-8"
2053       data-set: "vpp-2n-zn2-prev-iter-old-env"
2054     - title: "2110.0-9"
2055       data-set: "vpp-2n-zn2-prev-iter-new-env"
2056     - title: "2202.0-9"
2057       data-set: "vpp-2n-zn2-curr-iter"
2058   comparisons:
2059     - title: "2110.0-9 vs 2110.0-8"
2060       reference: 2
2061       compare: 3
2062     - title: "2202.0-9 vs 2110.0-9"
2063       reference: 3
2064       compare: 4
2065   legend:
2066     - ''
2067     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
2068     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2069     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2070     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2071     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2072
2073 # VPP Performance Changes 2n-zn2-xxv710 2t1c ndr
2074 - type: "table"
2075   title: "VPP Performance Changes 2n-zn2-xxv710 2t1c ndr"
2076   algorithm: "table_comparison"
2077   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-zn2-xxv710-2t1c-ndr"
2078   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2079   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
2080   columns:
2081     - title: "2106.0-8"
2082       data-set: "vpp-2n-zn2-hist-iter-new-env"
2083     - title: "2110.0-8"
2084       data-set: "vpp-2n-zn2-prev-iter-old-env"
2085     - title: "2110.0-9"
2086       data-set: "vpp-2n-zn2-prev-iter-new-env"
2087     - title: "2202.0-9"
2088       data-set: "vpp-2n-zn2-curr-iter"
2089   comparisons:
2090     - title: "2110.0-9 vs 2110.0-8"
2091       reference: 2
2092       compare: 3
2093     - title: "2202.0-9 vs 2110.0-9"
2094       reference: 3
2095       compare: 4
2096   legend:
2097     - ''
2098     - 'Test Case:            Test cases executed for: NDR throughput on 2n-zn2 with xxv710.'
2099     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2100     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2101     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2102     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2103
2104 # VPP Performance Changes 2n-zn2-xxv710 4t2c ndr
2105 - type: "table"
2106   title: "VPP Performance Changes 2n-zn2-xxv710 4t2c ndr"
2107   algorithm: "table_comparison"
2108   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-zn2-xxv710-4t2c-ndr"
2109   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2110   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
2111   columns:
2112     - title: "2106.0-8"
2113       data-set: "vpp-2n-zn2-hist-iter-new-env"
2114     - title: "2110.0-8"
2115       data-set: "vpp-2n-zn2-prev-iter-old-env"
2116     - title: "2110.0-9"
2117       data-set: "vpp-2n-zn2-prev-iter-new-env"
2118     - title: "2202.0-9"
2119       data-set: "vpp-2n-zn2-curr-iter"
2120   comparisons:
2121     - title: "2110.0-9 vs 2110.0-8"
2122       reference: 2
2123       compare: 3
2124     - title: "2202.0-9 vs 2110.0-9"
2125       reference: 3
2126       compare: 4
2127   legend:
2128     - ''
2129     - 'Test Case:            Test cases executed for: NDR throughput on 2n-zn2 with xxv710.'
2130     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2131     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2132     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2133     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2134
2135 # VPP Performance Changes 2n-dnv 1t1c pdr
2136 - type: "table"
2137   title: "VPP Performance Changes 2n-dnv 1t1c pdr"
2138   algorithm: "table_comparison"
2139   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-dnv-1t1c-pdr"
2140   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2141   filter: "'1T1C'"
2142   columns:
2143     - title: "2106.0-8"
2144       data-set: "vpp-2n-dnv-hist-iter-new-env"
2145     - title: "2110.0-8"
2146       data-set: "vpp-2n-dnv-prev-iter-old-env"
2147     - title: "2110.0-9"
2148       data-set: "vpp-2n-dnv-prev-iter-new-env"
2149     - title: "2202.0-9"
2150       data-set: "vpp-2n-dnv-curr-iter"
2151   comparisons:
2152     - title: "2110.0-9 vs 2110.0-8"
2153       reference: 2
2154       compare: 3
2155     - title: "2202.0-9 vs 2110.0-9"
2156       reference: 3
2157       compare: 4
2158   legend:
2159     - ''
2160     - 'Test Case:            Test cases executed for: PDR throughput on 2n-dnv with x553.'
2161     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2162     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2163     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2164     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2165
2166 # VPP Performance Changes 2n-dnv 2t2c pdr
2167 - type: "table"
2168   title: "VPP Performance Changes 2n-dnv 2t2c pdr"
2169   algorithm: "table_comparison"
2170   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-dnv-2t2c-pdr"
2171   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2172   filter: "'2T2C'"
2173   columns:
2174     - title: "2106.0-8"
2175       data-set: "vpp-2n-dnv-hist-iter-new-env"
2176     - title: "2110.0-8"
2177       data-set: "vpp-2n-dnv-prev-iter-old-env"
2178     - title: "2110.0-9"
2179       data-set: "vpp-2n-dnv-prev-iter-new-env"
2180     - title: "2202.0-9"
2181       data-set: "vpp-2n-dnv-curr-iter"
2182   comparisons:
2183     - title: "2110.0-9 vs 2110.0-8"
2184       reference: 2
2185       compare: 3
2186     - title: "2202.0-9 vs 2110.0-9"
2187       reference: 3
2188       compare: 4
2189   legend:
2190     - ''
2191     - 'Test Case:            Test cases executed for: PDR throughput on 2n-dnv with x553.'
2192     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2193     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2194     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2195     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2196
2197 # VPP Performance Changes 2n-dnv 1t1c ndr
2198 - type: "table"
2199   title: "VPP Performance Changes 2n-dnv 1t1c ndr"
2200   algorithm: "table_comparison"
2201   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-dnv-1t1c-ndr"
2202   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2203   filter: "'1T1C'"
2204   columns:
2205     - title: "2106.0-8"
2206       data-set: "vpp-2n-dnv-hist-iter-new-env"
2207     - title: "2110.0-8"
2208       data-set: "vpp-2n-dnv-prev-iter-old-env"
2209     - title: "2110.0-9"
2210       data-set: "vpp-2n-dnv-prev-iter-new-env"
2211     - title: "2202.0-9"
2212       data-set: "vpp-2n-dnv-curr-iter"
2213   comparisons:
2214     - title: "2110.0-9 vs 2110.0-8"
2215       reference: 2
2216       compare: 3
2217     - title: "2202.0-9 vs 2110.0-9"
2218       reference: 3
2219       compare: 4
2220   legend:
2221     - ''
2222     - 'Test Case:            Test cases executed for: NDR throughput on 2n-dnv with x553.'
2223     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2224     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2225     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2226     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2227
2228 # VPP Performance Changes 2n-dnv 2t2c ndr
2229 - type: "table"
2230   title: "VPP Performance Changes 2n-dnv 2t2c ndr"
2231   algorithm: "table_comparison"
2232   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-dnv-2t2c-ndr"
2233   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2234   filter: "'2T2C'"
2235   columns:
2236     - title: "2106.0-8"
2237       data-set: "vpp-2n-dnv-hist-iter-new-env"
2238     - title: "2110.0-8"
2239       data-set: "vpp-2n-dnv-prev-iter-old-env"
2240     - title: "2110.0-9"
2241       data-set: "vpp-2n-dnv-prev-iter-new-env"
2242     - title: "2202.0-9"
2243       data-set: "vpp-2n-dnv-curr-iter"
2244   comparisons:
2245     - title: "2110.0-9 vs 2110.0-8"
2246       reference: 2
2247       compare: 3
2248     - title: "2202.0-9 vs 2110.0-9"
2249       reference: 3
2250       compare: 4
2251   legend:
2252     - ''
2253     - 'Test Case:            Test cases executed for: NDR throughput on 2n-dnv with x553.'
2254     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2255     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2256     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2257     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2258
2259 # VPP Performance Changes 3n-dnv 1t1c pdr
2260 - type: "table"
2261   title: "VPP Performance Changes 3n-dnv 1t1c pdr"
2262   algorithm: "table_comparison"
2263   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-dnv-1t1c-pdr"
2264   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2265   filter: "'1T1C'"
2266   columns:
2267     - title: "2106.0-8"
2268       data-set: "vpp-3n-dnv-hist-iter-new-env"
2269     - title: "2110.0-8"
2270       data-set: "vpp-3n-dnv-prev-iter-old-env"
2271     - title: "2110.0-9"
2272       data-set: "vpp-3n-dnv-prev-iter-new-env"
2273     - title: "2202.0-9"
2274       data-set: "vpp-3n-dnv-curr-iter"
2275   comparisons:
2276     - title: "2110.0-9 vs 2110.0-8"
2277       reference: 2
2278       compare: 3
2279     - title: "2202.0-9 vs 2110.0-9"
2280       reference: 3
2281       compare: 4
2282   legend:
2283     - ''
2284     - 'Test Case:            Test cases executed for: PDR throughput on 3n-dnv with x553.'
2285     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2286     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2287     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2288     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2289
2290 # VPP Performance Changes 3n-dnv 2t2c pdr
2291 - type: "table"
2292   title: "VPP Performance Changes 3n-dnv 2t2c pdr"
2293   algorithm: "table_comparison"
2294   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-dnv-2t2c-pdr"
2295   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2296   filter: "'2T2C'"
2297   columns:
2298     - title: "2106.0-8"
2299       data-set: "vpp-3n-dnv-hist-iter-new-env"
2300     - title: "2110.0-8"
2301       data-set: "vpp-3n-dnv-prev-iter-old-env"
2302     - title: "2110.0-9"
2303       data-set: "vpp-3n-dnv-prev-iter-new-env"
2304     - title: "2202.0-9"
2305       data-set: "vpp-3n-dnv-curr-iter"
2306   comparisons:
2307     - title: "2110.0-9 vs 2110.0-8"
2308       reference: 2
2309       compare: 3
2310     - title: "2202.0-9 vs 2110.0-9"
2311       reference: 3
2312       compare: 4
2313   legend:
2314     - ''
2315     - 'Test Case:            Test cases executed for: PDR throughput on 3n-dnv with x553.'
2316     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2317     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2318     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2319     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2320
2321 # VPP Performance Changes 3n-dnv 1t1c ndr
2322 - type: "table"
2323   title: "VPP Performance Changes 3n-dnv 1t1c ndr"
2324   algorithm: "table_comparison"
2325   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-dnv-1t1c-ndr"
2326   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2327   filter: "'1T1C'"
2328   columns:
2329     - title: "2106.0-8"
2330       data-set: "vpp-3n-dnv-hist-iter-new-env"
2331     - title: "2110.0-8"
2332       data-set: "vpp-3n-dnv-prev-iter-old-env"
2333     - title: "2110.0-9"
2334       data-set: "vpp-3n-dnv-prev-iter-new-env"
2335     - title: "2202.0-9"
2336       data-set: "vpp-3n-dnv-curr-iter"
2337   comparisons:
2338     - title: "2110.0-9 vs 2110.0-8"
2339       reference: 2
2340       compare: 3
2341     - title: "2202.0-9 vs 2110.0-9"
2342       reference: 3
2343       compare: 4
2344   legend:
2345     - ''
2346     - 'Test Case:            Test cases executed for: NDR throughput on 3n-dnv with x553.'
2347     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2348     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2349     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2350     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2351
2352 # VPP Performance Changes 3n-dnv 2t2c ndr
2353 - type: "table"
2354   title: "VPP Performance Changes 3n-dnv 2t2c ndr"
2355   algorithm: "table_comparison"
2356   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-dnv-2t2c-ndr"
2357   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2358   filter: "'2T2C'"
2359   columns:
2360     - title: "2106.0-8"
2361       data-set: "vpp-3n-dnv-hist-iter-new-env"
2362     - title: "2110.0-8"
2363       data-set: "vpp-3n-dnv-prev-iter-old-env"
2364     - title: "2110.0-9"
2365       data-set: "vpp-3n-dnv-prev-iter-new-env"
2366     - title: "2202.0-9"
2367       data-set: "vpp-3n-dnv-curr-iter"
2368   comparisons:
2369     - title: "2110.0-9 vs 2110.0-8"
2370       reference: 2
2371       compare: 3
2372     - title: "2202.0-9 vs 2110.0-9"
2373       reference: 3
2374       compare: 4
2375   legend:
2376     - ''
2377     - 'Test Case:            Test cases executed for: NDR throughput on 3n-dnv with x553.'
2378     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2379     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2380     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2381     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2382
2383 # VPP Performance Changes 3n-tsh 1t1c pdr
2384 - type: "table"
2385   title: "VPP Performance Changes 3n-tsh 1t1c pdr"
2386   algorithm: "table_comparison"
2387   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-tsh-1t1c-pdr"
2388   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2389   filter: "'1T1C'"
2390   columns:
2391     - title: "2106.0-8"
2392       data-set: "vpp-3n-tsh-hist-iter-new-env"
2393     - title: "2110.0-8"
2394       data-set: "vpp-3n-tsh-prev-iter-old-env"
2395     - title: "2110.0-9"
2396       data-set: "vpp-3n-tsh-prev-iter-new-env"
2397     - title: "2202.0-9"
2398       data-set: "vpp-3n-tsh-curr-iter"
2399   comparisons:
2400     - title: "2110.0-9 vs 2110.0-8"
2401       reference: 2
2402       compare: 3
2403     - title: "2202.0-9 vs 2110.0-9"
2404       reference: 3
2405       compare: 4
2406   legend:
2407     - ''
2408     - 'Test Case:            Test cases executed for: PDR throughput on 3n-tsh with x520.'
2409     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2410     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2411     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2412     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2413
2414 # VPP Performance Changes 3n-tsh 2t2c pdr
2415 - type: "table"
2416   title: "VPP Performance Changes 3n-tsh 2t2c pdr"
2417   algorithm: "table_comparison"
2418   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-tsh-2t2c-pdr"
2419   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2420   filter: "'2T2C'"
2421   columns:
2422     - title: "2106.0-8"
2423       data-set: "vpp-3n-tsh-hist-iter-new-env"
2424     - title: "2110.0-8"
2425       data-set: "vpp-3n-tsh-prev-iter-old-env"
2426     - title: "2110.0-9"
2427       data-set: "vpp-3n-tsh-prev-iter-new-env"
2428     - title: "2202.0-9"
2429       data-set: "vpp-3n-tsh-curr-iter"
2430   comparisons:
2431     - title: "2110.0-9 vs 2110.0-8"
2432       reference: 2
2433       compare: 3
2434     - title: "2202.0-9 vs 2110.0-9"
2435       reference: 3
2436       compare: 4
2437   legend:
2438     - ''
2439     - 'Test Case:            Test cases executed for: PDR throughput on 3n-tsh with x520.'
2440     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2441     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2442     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2443     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2444
2445 # VPP Performance Changes 3n-tsh 1t1c ndr
2446 - type: "table"
2447   title: "VPP Performance Changes 3n-tsh 1t1c ndr"
2448   algorithm: "table_comparison"
2449   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-tsh-1t1c-ndr"
2450   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2451   filter: "'1T1C'"
2452   columns:
2453     - title: "2106.0-8"
2454       data-set: "vpp-3n-tsh-hist-iter-new-env"
2455     - title: "2110.0-8"
2456       data-set: "vpp-3n-tsh-prev-iter-old-env"
2457     - title: "2110.0-9"
2458       data-set: "vpp-3n-tsh-prev-iter-new-env"
2459     - title: "2202.0-9"
2460       data-set: "vpp-3n-tsh-curr-iter"
2461   comparisons:
2462     - title: "2110.0-9 vs 2110.0-8"
2463       reference: 2
2464       compare: 3
2465     - title: "2202.0-9 vs 2110.0-9"
2466       reference: 3
2467       compare: 4
2468   legend:
2469     - ''
2470     - 'Test Case:            Test cases executed for: NDR throughput on 3n-tsh with x520.'
2471     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2472     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2473     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2474     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2475
2476 # VPP Performance Changes 3n-tsh 2t2c ndr
2477 - type: "table"
2478   title: "VPP Performance Changes 3n-tsh 2t2c ndr"
2479   algorithm: "table_comparison"
2480   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-tsh-2t2c-ndr"
2481   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2482   filter: "'2T2C'"
2483   columns:
2484     - title: "2106.0-8"
2485       data-set: "vpp-3n-tsh-hist-iter-new-env"
2486     - title: "2110.0-8"
2487       data-set: "vpp-3n-tsh-prev-iter-old-env"
2488     - title: "2110.0-9"
2489       data-set: "vpp-3n-tsh-prev-iter-new-env"
2490     - title: "2202.0-9"
2491       data-set: "vpp-3n-tsh-curr-iter"
2492   comparisons:
2493     - title: "2110.0-9 vs 2110.0-8"
2494       reference: 2
2495       compare: 3
2496     - title: "2202.0-9 vs 2110.0-9"
2497       reference: 3
2498       compare: 4
2499   legend:
2500     - ''
2501     - 'Test Case:            Test cases executed for: NDR throughput on 3n-tsh with x520.'
2502     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2503     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2504     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2505     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2506
2507 # VPP Performance Changes 2n-tx2 1t1c pdr
2508 - type: "table"
2509   title: "VPP Performance Changes 2n-tx2 1t1c pdr"
2510   algorithm: "table_comparison"
2511   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-tx2-1t1c-pdr"
2512   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2513   filter: "'1T1C'"
2514   columns:
2515     - title: "2106.0-8"
2516       data-set: "vpp-2n-tx2-hist-iter-new-env"
2517     - title: "2110.0-8"
2518       data-set: "vpp-2n-tx2-prev-iter-old-env"
2519     - title: "2110.0-9"
2520       data-set: "vpp-2n-tx2-prev-iter-new-env"
2521     - title: "2202.0-9"
2522       data-set: "vpp-2n-tx2-curr-iter"
2523   comparisons:
2524     - title: "2110.0-9 vs 2110.0-8"
2525       reference: 2
2526       compare: 3
2527     - title: "2202.0-9 vs 2110.0-9"
2528       reference: 3
2529       compare: 4
2530   legend:
2531     - ''
2532     - 'Test Case:            Test cases executed for: PDR throughput on 2n-tx2 with xl710.'
2533     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2534     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2535     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2536     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2537
2538 # VPP Performance Changes 2n-tx2 2t2c pdr
2539 - type: "table"
2540   title: "VPP Performance Changes 2n-tx2 2t2c pdr"
2541   algorithm: "table_comparison"
2542   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-tx2-2t2c-pdr"
2543   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2544   filter: "'2T2C'"
2545   columns:
2546     - title: "2106.0-8"
2547       data-set: "vpp-2n-tx2-hist-iter-new-env"
2548     - title: "2110.0-8"
2549       data-set: "vpp-2n-tx2-prev-iter-old-env"
2550     - title: "2110.0-9"
2551       data-set: "vpp-2n-tx2-prev-iter-new-env"
2552     - title: "2202.0-9"
2553       data-set: "vpp-2n-tx2-curr-iter"
2554   comparisons:
2555     - title: "2110.0-9 vs 2110.0-8"
2556       reference: 2
2557       compare: 3
2558     - title: "2202.0-9 vs 2110.0-9"
2559       reference: 3
2560       compare: 4
2561   legend:
2562     - ''
2563     - 'Test Case:            Test cases executed for: PDR throughput on 2n-tx2 with xl710.'
2564     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2565     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2566     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2567     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2568
2569 # VPP Performance Changes 2n-tx2 1t1c ndr
2570 - type: "table"
2571   title: "VPP Performance Changes 2n-tx2 1t1c ndr"
2572   algorithm: "table_comparison"
2573   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-tx2-1t1c-ndr"
2574   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2575   filter: "'1T1C'"
2576   columns:
2577     - title: "2106.0-8"
2578       data-set: "vpp-2n-tx2-hist-iter-new-env"
2579     - title: "2110.0-8"
2580       data-set: "vpp-2n-tx2-prev-iter-old-env"
2581     - title: "2110.0-9"
2582       data-set: "vpp-2n-tx2-prev-iter-new-env"
2583     - title: "2202.0-9"
2584       data-set: "vpp-2n-tx2-curr-iter"
2585   comparisons:
2586     - title: "2110.0-9 vs 2110.0-8"
2587       reference: 2
2588       compare: 3
2589     - title: "2202.0-9 vs 2110.0-9"
2590       reference: 3
2591       compare: 4
2592   legend:
2593     - ''
2594     - 'Test Case:            Test cases executed for: NDR throughput on 2n-tx2 with xl710.'
2595     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2596     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2597     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2598     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2599
2600 # VPP Performance Changes 2n-tx2 2t2c ndr
2601 - type: "table"
2602   title: "VPP Performance Changes 2n-tx2 2t2c ndr"
2603   algorithm: "table_comparison"
2604   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-tx2-2t2c-ndr"
2605   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2606   filter: "'2T2C'"
2607   columns:
2608     - title: "2106.0-8"
2609       data-set: "vpp-2n-tx2-hist-iter-new-env"
2610     - title: "2110.0-8"
2611       data-set: "vpp-2n-tx2-prev-iter-old-env"
2612     - title: "2110.0-9"
2613       data-set: "vpp-2n-tx2-prev-iter-new-env"
2614     - title: "2202.0-9"
2615       data-set: "vpp-2n-tx2-curr-iter"
2616   comparisons:
2617     - title: "2110.0-9 vs 2110.0-8"
2618       reference: 2
2619       compare: 3
2620     - title: "2202.0-9 vs 2110.0-9"
2621       reference: 3
2622       compare: 4
2623   legend:
2624     - ''
2625     - 'Test Case:            Test cases executed for: NDR throughput on 2n-tx2 with xl710.'
2626     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2627     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2628     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2629     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2630
2631 # VPP Performance Changes 2n-aws 2t1c pdr
2632 - type: "table"
2633   title: "VPP Performance Changes 2n-aws 2t1c pdr"
2634   algorithm: "table_comparison"
2635   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-aws-2t1c-pdr"
2636   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2637   filter: "'2T1C' and 'NDRPDR'"
2638   columns:
2639     - title: "2110.0-8"
2640       data-set: "vpp-2n-aws-prev-iter"
2641     - title: "2202.0-9"
2642       data-set: "vpp-2n-aws-curr-iter"
2643   comparisons:
2644     - title: "2202.0-9 vs 2110.0-8"
2645       reference: 1
2646       compare: 2
2647   legend:
2648     - ''
2649     - 'Test Case:            Test cases executed for: PDR throughput on 2n-aws with nitro50g.'
2650     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2651     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2652     - '2202.0-9 vs 2110.0-8: Compares VPP code current vs previous.'
2653
2654 # VPP Performance Changes 2n-aws 4t2c pdr
2655 - type: "table"
2656   title: "VPP Performance Changes 2n-aws 4t2c pdr"
2657   algorithm: "table_comparison"
2658   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-aws-4t2c-pdr"
2659   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2660   filter: "'4T2C' and 'NDRPDR'"
2661   columns:
2662     - title: "2110.0-8"
2663       data-set: "vpp-2n-aws-prev-iter"
2664     - title: "2202.0-9"
2665       data-set: "vpp-2n-aws-curr-iter"
2666   comparisons:
2667     - title: "2202.0-9 vs 2110.0-8"
2668       reference: 1
2669       compare: 2
2670   legend:
2671     - ''
2672     - 'Test Case:            Test cases executed for: PDR throughput on 2n-aws with nitro50g.'
2673     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2674     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2675     - '2202.0-9 vs 2110.0-8: Compares VPP code current vs previous.'
2676
2677 # VPP Performance Changes 2n-aws 2t1c ndr
2678 - type: "table"
2679   title: "VPP Performance Changes 2n-aws 2t1c ndr"
2680   algorithm: "table_comparison"
2681   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-aws-2t1c-ndr"
2682   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2683   filter: "'2T1C' and 'NDRPDR'"
2684   columns:
2685     - title: "2110.0-8"
2686       data-set: "vpp-2n-aws-prev-iter"
2687     - title: "2202.0-9"
2688       data-set: "vpp-2n-aws-curr-iter"
2689   comparisons:
2690     - title: "2202.0-9 vs 2110.0-8"
2691       reference: 1
2692       compare: 2
2693   legend:
2694     - ''
2695     - 'Test Case:            Test cases executed for: NDR throughput on 2n-aws with nitro50g.'
2696     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2697     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2698     - '2202.0-9 vs 2110.0-8: Compares VPP code current vs previous.'
2699
2700 # VPP Performance Changes 2n-aws 4t2c ndr
2701 - type: "table"
2702   title: "VPP Performance Changes 2n-aws 4t2c ndr"
2703   algorithm: "table_comparison"
2704   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-aws-4t2c-ndr"
2705   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2706   filter: "'4T2C' and 'NDRPDR'"
2707   columns:
2708     - title: "2110.0-8"
2709       data-set: "vpp-2n-aws-prev-iter"
2710     - title: "2202.0-9"
2711       data-set: "vpp-2n-aws-curr-iter"
2712   comparisons:
2713     - title: "2202.0-9 vs 2110.0-8"
2714       reference: 1
2715       compare: 2
2716   legend:
2717     - ''
2718     - 'Test Case:            Test cases executed for: NDR throughput on 2n-aws with nitro50g.'
2719     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2720     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2721     - '2202.0-9 vs 2110.0-8: Compares VPP code current vs previous.'
2722
2723 # VPP Performance Changes 3n-aws 2t1c pdr
2724 - type: "table"
2725   title: "VPP Performance Changes 3n-aws 2t1c pdr"
2726   algorithm: "table_comparison"
2727   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-aws-2t1c-pdr"
2728   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2729   filter: "'2T1C' and 'NDRPDR'"
2730   columns:
2731     - title: "2110.0-8"
2732       data-set: "vpp-3n-aws-prev-iter"
2733     - title: "2202.0-9"
2734       data-set: "vpp-3n-aws-curr-iter"
2735   comparisons:
2736     - title: "2202.0-9 vs 2110.0-8"
2737       reference: 1
2738       compare: 2
2739   legend:
2740     - ''
2741     - 'Test Case:            Test cases executed for: PDR throughput on 3n-aws with nitro50g.'
2742     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2743     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2744     - '2202.0-9 vs 2110.0-8: Compares VPP code current vs previous.'
2745
2746 # VPP Performance Changes 3n-aws 4t2c pdr
2747 - type: "table"
2748   title: "VPP Performance Changes 3n-aws 4t2c pdr"
2749   algorithm: "table_comparison"
2750   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-aws-4t2c-pdr"
2751   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2752   filter: "'4T2C' and 'NDRPDR'"
2753   columns:
2754     - title: "2110.0-8"
2755       data-set: "vpp-3n-aws-prev-iter"
2756     - title: "2202.0-9"
2757       data-set: "vpp-3n-aws-curr-iter"
2758   comparisons:
2759     - title: "2202.0-9 vs 2110.0-8"
2760       reference: 1
2761       compare: 2
2762   legend:
2763     - ''
2764     - 'Test Case:            Test cases executed for: PDR throughput on 3n-aws with nitro50g.'
2765     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2766     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2767     - '2202.0-9 vs 2110.0-8: Compares VPP code current vs previous.'
2768
2769 # VPP Performance Changes 3n-aws 2t1c ndr
2770 - type: "table"
2771   title: "VPP Performance Changes 3n-aws 2t1c ndr"
2772   algorithm: "table_comparison"
2773   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-aws-2t1c-ndr"
2774   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2775   filter: "'2T1C' and 'NDRPDR'"
2776   columns:
2777     - title: "2110.0-8"
2778       data-set: "vpp-3n-aws-prev-iter"
2779     - title: "2202.0-9"
2780       data-set: "vpp-3n-aws-curr-iter"
2781   comparisons:
2782     - title: "2202.0-9 vs 2110.0-8"
2783       reference: 1
2784       compare: 2
2785   legend:
2786     - ''
2787     - 'Test Case:            Test cases executed for: NDR throughput on 3n-aws with nitro50g.'
2788     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2789     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2790     - '2202.0-9 vs 2110.0-8: Compares VPP code current vs previous.'
2791
2792 # VPP Performance Changes 3n-aws 4t2c ndr
2793 - type: "table"
2794   title: "VPP Performance Changes 3n-aws 4t2c ndr"
2795   algorithm: "table_comparison"
2796   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-aws-4t2c-ndr"
2797   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2798   filter: "'4T2C' and 'NDRPDR'"
2799   columns:
2800     - title: "2110.0-8"
2801       data-set: "vpp-3n-aws-prev-iter"
2802     - title: "2202.0-9"
2803       data-set: "vpp-3n-aws-curr-iter"
2804   comparisons:
2805     - title: "2202.0-9 vs 2110.0-8"
2806       reference: 1
2807       compare: 2
2808   legend:
2809     - ''
2810     - 'Test Case:            Test cases executed for: NDR throughput on 3n-aws with nitro50g.'
2811     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2812     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2813     - '2202.0-9 vs 2110.0-8: Compares VPP code current vs previous.'
2814
2815 # VPP Comparison Across Testbeds 2n-skx to 2n-clx 2t1c ndr
2816 - type: "table"
2817   title: "VPP Comparison Across Testbeds 2n-skx to 2n-clx 2t1c ndr"
2818   algorithm: "table_comparison"
2819   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-skx-2n-clx-2t1c-ndr"
2820   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2821   filter: "'2T1C' and 'NIC_Intel-XXV710'"
2822   columns:
2823     - title: "2n-skx"
2824       data-set: "vpp-2n-skx-curr-iter"
2825     - title: "2n-clx"
2826       data-set: "vpp-2n-clx-curr-iter"
2827   comparisons:
2828     - title: "Diff"
2829       reference: 1
2830       compare: 2
2831   legend:
2832     - ""
2833     - "2n-skx, 2n-clx - testbeds and NICs tested."
2834     - "Diff - difference between 2n-skx and 2n-clx testbeds."
2835
2836 # VPP Comparison Across Testbeds 2n-skx to 2n-clx 4t2c ndr
2837 - type: "table"
2838   title: "VPP Comparison Across Testbeds 2n-skx to 2n-clx 4t2c ndr"
2839   algorithm: "table_comparison"
2840   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-skx-2n-clx-4t2c-ndr"
2841   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2842   filter: "'4T2C' and 'NIC_Intel-XXV710'"
2843   columns:
2844     - title: "2n-skx"
2845       data-set: "vpp-2n-skx-curr-iter"
2846     - title: "2n-clx"
2847       data-set: "vpp-2n-clx-curr-iter"
2848   comparisons:
2849     - title: "Diff"
2850       reference: 1
2851       compare: 2
2852   legend:
2853     - ""
2854     - "2n-skx, 2n-clx - testbeds and NICs tested."
2855     - "Diff - difference between 2n-skx and 2n-clx testbeds."
2856
2857 # VPP Comparison Across Testbeds 2n-skx to 2n-clx 2t1c pdr
2858 - type: "table"
2859   title: "VPP Comparison Across Testbeds 2n-skx to 2n-clx 2t1c pdr"
2860   algorithm: "table_comparison"
2861   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-skx-2n-clx-2t1c-pdr"
2862   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2863   filter: "'2T1C' and 'NIC_Intel-XXV710'"
2864   columns:
2865     - title: "2n-skx"
2866       data-set: "vpp-2n-skx-curr-iter"
2867     - title: "2n-clx"
2868       data-set: "vpp-2n-clx-curr-iter"
2869   comparisons:
2870     - title: "Diff"
2871       reference: 1
2872       compare: 2
2873   legend:
2874     - ""
2875     - "2n-skx, 2n-clx - testbeds and NICs tested."
2876     - "Diff - difference between 2n-skx and 2n-clx testbeds."
2877
2878 # VPP Comparison Across Testbeds 2n-skx to 2n-clx 4t2c pdr
2879 - type: "table"
2880   title: "VPP Comparison Across Testbeds 2n-skx to 2n-clx 4t2c pdr"
2881   algorithm: "table_comparison"
2882   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-skx-2n-clx-4t2c-pdr"
2883   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2884   filter: "'4T2C' and 'NIC_Intel-XXV710'"
2885   columns:
2886     - title: "2n-skx"
2887       data-set: "vpp-2n-skx-curr-iter"
2888     - title: "2n-clx"
2889       data-set: "vpp-2n-clx-curr-iter"
2890   comparisons:
2891     - title: "Diff"
2892       reference: 1
2893       compare: 2
2894   legend:
2895     - ""
2896     - "2n-skx, 2n-clx - testbeds and NICs tested."
2897     - "Diff - difference between 2n-skx and 2n-clx testbeds."
2898
2899 # VPP Comparison Across Testbeds 2n-clx to 2n-icx 1c ndr
2900 - type: "table"
2901   title: "VPP Comparison Across Testbeds 2n-clx to 2n-icx 1c ndr"
2902   algorithm: "table_comparison"
2903   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-clx-2n-icx-1c-ndr"
2904   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2905   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-E810CQ') and 'NDRPDR' and '1C'"
2906   columns:
2907     - title: "2n-clx xxv710"
2908       data-set: "vpp-2n-clx-curr-iter"
2909       tag: "NIC_Intel-XXV710"
2910     - title: "2n-icx e810cq"
2911       data-set: "vpp-2n-icx-curr-iter"
2912       tag: "NIC_Intel-E810CQ"
2913   comparisons:
2914     - title: "Diff"
2915       reference: 1
2916       compare: 2
2917   legend:
2918     - ""
2919     - "2n-clx xxv710, 2n-icx e810cq - testbeds and NICs tested."
2920     - "Diff - difference between 2n-clx xxv710 and 2n-icx e810cq testbeds."
2921
2922 # VPP Comparison Across Testbeds 2n-clx to 2n-icx 2c ndr
2923 - type: "table"
2924   title: "VPP Comparison Across Testbeds 2n-clx to 2n-icx 2c ndr"
2925   algorithm: "table_comparison"
2926   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-clx-2n-icx-2c-ndr"
2927   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2928   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-E810CQ') and 'NDRPDR' and '2C'"
2929   columns:
2930     - title: "2n-clx xxv710"
2931       data-set: "vpp-2n-clx-curr-iter"
2932       tag: "NIC_Intel-XXV710"
2933     - title: "2n-icx e810cq"
2934       data-set: "vpp-2n-icx-curr-iter"
2935       tag: "NIC_Intel-E810CQ"
2936   comparisons:
2937     - title: "Diff"
2938       reference: 1
2939       compare: 2
2940   legend:
2941     - ""
2942     - "2n-clx xxv710, 2n-icx e810cq - testbeds and NICs tested."
2943     - "Diff - difference between 2n-clx xxv710 and 2n-icx e810cq testbeds."
2944
2945 # VPP Comparison Across Testbeds 2n-clx to 2n-icx 1c pdr
2946 - type: "table"
2947   title: "VPP Comparison Across Testbeds 2n-clx to 2n-icx 1c pdr"
2948   algorithm: "table_comparison"
2949   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-clx-2n-icx-1c-pdr"
2950   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2951   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-E810CQ') and 'NDRPDR' and '1C'"
2952   columns:
2953     - title: "2n-clx xxv710"
2954       data-set: "vpp-2n-clx-curr-iter"
2955       tag: "NIC_Intel-XXV710"
2956     - title: "2n-icx e810cq"
2957       data-set: "vpp-2n-icx-curr-iter"
2958       tag: "NIC_Intel-E810CQ"
2959   comparisons:
2960     - title: "Diff"
2961       reference: 1
2962       compare: 2
2963   legend:
2964     - ""
2965     - "2n-clx xxv710, 2n-icx e810cq - testbeds and NICs tested."
2966     - "Diff - difference between 2n-clx xxv710 and 2n-icx e810cq testbeds."
2967
2968 # VPP Comparison Across Testbeds 2n-clx to 2n-icx 2c pdr
2969 - type: "table"
2970   title: "VPP Comparison Across Testbeds 2n-clx to 2n-icx 2c pdr"
2971   algorithm: "table_comparison"
2972   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-clx-2n-icx-2c-pdr"
2973   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2974   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-E810CQ') and 'NDRPDR' and '2C'"
2975   columns:
2976     - title: "2n-clx xxv710"
2977       data-set: "vpp-3n-skx-curr-iter"
2978       tag: "NIC_Intel-XXV710"
2979     - title: "2n-icx e810cq"
2980       data-set: "vpp-2n-icx-curr-iter"
2981       tag: "NIC_Intel-E810CQ"
2982   comparisons:
2983     - title: "Diff"
2984       reference: 1
2985       compare: 2
2986   legend:
2987     - ""
2988     - "2n-clx xxv710, 2n-icx e810cq - testbeds and NICs tested."
2989     - "Diff - difference between 2n-clx xxv710 and 2n-icx e810cq testbeds."
2990
2991 # VPP Comparison Across Testbeds 3n-skx to 3n-icx 1c ndr
2992 - type: "table"
2993   title: "VPP Comparison Across Testbeds 3n-skx to 3n-icx 1c ndr"
2994   algorithm: "table_comparison"
2995   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-skx-3n-icx-1c-ndr"
2996   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2997   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-E810CQ') and 'NDRPDR' and '1C'"
2998   columns:
2999     - title: "3n-skx xxv710"
3000       data-set: "vpp-3n-skx-curr-iter"
3001       tag: "NIC_Intel-XXV710"
3002     - title: "3n-icx e810cq"
3003       data-set: "vpp-3n-icx-curr-iter"
3004       tag: "NIC_Intel-E810CQ"
3005   comparisons:
3006     - title: "Diff"
3007       reference: 1
3008       compare: 2
3009   legend:
3010     - ""
3011     - "3n-skx xxv710, 3n-icx e810cq - testbeds and NICs tested."
3012     - "Diff - difference between 3n-skx xxv710 and 3n-icx e810cq testbeds."
3013
3014 # VPP Comparison Across Testbeds 3n-skx to 3n-icx 2c ndr
3015 - type: "table"
3016   title: "VPP Comparison Across Testbeds 3n-skx to 3n-icx ndr"
3017   algorithm: "table_comparison"
3018   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-skx-3n-icx-2c-ndr"
3019   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
3020   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-E810CQ') and 'NDRPDR' and '2C'"
3021   columns:
3022     - title: "3n-skx xxv710"
3023       data-set: "vpp-3n-skx-curr-iter"
3024       tag: "NIC_Intel-XXV710"
3025     - title: "3n-icx e810cq"
3026       data-set: "vpp-3n-icx-curr-iter"
3027       tag: "NIC_Intel-E810CQ"
3028   comparisons:
3029     - title: "Diff"
3030       reference: 1
3031       compare: 2
3032   legend:
3033     - ""
3034     - "3n-skx xxv710, 3n-icx e810cq - testbeds and NICs tested."
3035     - "Diff - difference between 3n-skx xxv710 and 3n-icx e810cq testbeds."
3036
3037 # VPP Comparison Across Testbeds 3n-skx to 3n-icx 1c pdr
3038 - type: "table"
3039   title: "VPP Comparison Across Testbeds 3n-skx to 3n-icx 1c pdr"
3040   algorithm: "table_comparison"
3041   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-skx-3n-icx-1c-pdr"
3042   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3043   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-E810CQ') and 'NDRPDR' and '1C'"
3044   columns:
3045     - title: "3n-skx xxv710"
3046       data-set: "vpp-3n-skx-curr-iter"
3047       tag: "NIC_Intel-XXV710"
3048     - title: "3n-icx e810cq"
3049       data-set: "vpp-3n-icx-curr-iter"
3050       tag: "NIC_Intel-E810CQ"
3051   comparisons:
3052     - title: "Diff"
3053       reference: 1
3054       compare: 2
3055   legend:
3056     - ""
3057     - "3n-skx xxv710, 3n-icx e810cq - testbeds and NICs tested."
3058     - "Diff - difference between 3n-skx xxv710 and 3n-icx e810cq testbeds."
3059
3060 # VPP Comparison Across Testbeds 3n-skx to 3n-icx 2c pdr
3061 - type: "table"
3062   title: "VPP Comparison Across Testbeds 3n-skx to 3n-icx 2c pdr"
3063   algorithm: "table_comparison"
3064   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-skx-3n-icx-2c-pdr"
3065   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3066   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-E810CQ') and 'NDRPDR' and '2C'"
3067   columns:
3068     - title: "3n-skx xxv710"
3069       data-set: "vpp-3n-skx-curr-iter"
3070       tag: "NIC_Intel-XXV710"
3071     - title: "3n-icx e810cq"
3072       data-set: "vpp-3n-icx-curr-iter"
3073       tag: "NIC_Intel-E810CQ"
3074   comparisons:
3075     - title: "Diff"
3076       reference: 1
3077       compare: 2
3078   legend:
3079     - ""
3080     - "3n-skx xxv710, 3n-icx e810cq - testbeds and NICs tested."
3081     - "Diff - difference between 3n-skx xxv710 and 3n-icx e810cq testbeds."
3082
3083 # VPP Comparison Across Topologies 3n-skx to 2n-skx 1c ndr
3084 - type: "table"
3085   title: "VPP Comparison Across Topologies 3n-skx to 2n-skx 1c ndr"
3086   algorithm: "table_comparison"
3087   output-file: "{DIR[STATIC,VPP]}/performance-compare-topologies-3n-skx-2n-skx-1c-ndr"
3088   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
3089   filter: "'NDRPDR' and '1C' and 'NIC_Intel-XXV710'"
3090   columns:
3091     - title: "3n-skx"
3092       data-set: "vpp-3n-skx-curr-iter"
3093     - title: "2n-skx"
3094       data-set: "vpp-2n-skx-curr-iter"
3095   comparisons:
3096     - title: "Diff"
3097       reference: 1
3098       compare: 2
3099   legend:
3100     - ""
3101     - "3n-skx, 2n-skx - topologies tested."
3102     - "Diff - difference between 3n-skx and 2n-skx topologies."
3103
3104 # VPP Comparison Across Topologies 3n-skx to 2n-skx 2c ndr
3105 - type: "table"
3106   title: "VPP Comparison Across Topologies 3n-skx to 2n-skx 2c ndr"
3107   algorithm: "table_comparison"
3108   output-file: "{DIR[STATIC,VPP]}/performance-compare-topologies-3n-skx-2n-skx-2c-ndr"
3109   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
3110   filter: "'NDRPDR' and '2C' and 'NIC_Intel-XXV710'"
3111   columns:
3112     - title: "3n-skx"
3113       data-set: "vpp-3n-skx-curr-iter"
3114     - title: "2n-skx"
3115       data-set: "vpp-2n-skx-curr-iter"
3116   comparisons:
3117     - title: "Diff"
3118       reference: 1
3119       compare: 2
3120   legend:
3121     - ""
3122     - "3n-skx, 2n-skx - topologies tested."
3123     - "Diff - difference between 3n-skx and 2n-skx topologies."
3124
3125 # VPP Comparison Across Topologies 3n-skx to 2n-skx 1c pdr
3126 - type: "table"
3127   title: "VPP Comparison Across Topologies 3n-skx to 2n-skx 1c pdr"
3128   algorithm: "table_comparison"
3129   output-file: "{DIR[STATIC,VPP]}/performance-compare-topologies-3n-skx-2n-skx-1c-pdr"
3130   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3131   filter: "'NDRPDR' and '1C' and 'NIC_Intel-XXV710'"
3132   columns:
3133     - title: "3n-skx"
3134       data-set: "vpp-3n-skx-curr-iter"
3135     - title: "2n-skx"
3136       data-set: "vpp-2n-skx-curr-iter"
3137   comparisons:
3138     - title: "Diff"
3139       reference: 1
3140       compare: 2
3141   legend:
3142     - ""
3143     - "3n-skx, 2n-skx - topologies tested."
3144     - "Diff - difference between 3n-skx and 2n-skx topologies."
3145
3146 # VPP Comparison Across Topologies 3n-skx to 2n-skx 2c pdr
3147 - type: "table"
3148   title: "VPP Comparison Across Topologies 3n-skx to 2n-skx 2c pdr"
3149   algorithm: "table_comparison"
3150   output-file: "{DIR[STATIC,VPP]}/performance-compare-topologies-3n-skx-2n-skx-2c-pdr"
3151   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3152   filter: "'NDRPDR' and '2C' and 'NIC_Intel-XXV710'"
3153   columns:
3154     - title: "3n-skx"
3155       data-set: "vpp-3n-skx-curr-iter"
3156     - title: "2n-skx"
3157       data-set: "vpp-2n-skx-curr-iter"
3158   comparisons:
3159     - title: "Diff"
3160       reference: 1
3161       compare: 2
3162   legend:
3163     - ""
3164     - "3n-skx, 2n-skx - topologies tested."
3165     - "Diff - difference between 3n-skx and 2n-skx topologies."
3166
3167 # VPP Performance Changes 3n-skx 2t1c mrr
3168 - type: "table"
3169   title: "VPP Performance Changes 3n-skx 2t1c mrr"
3170   algorithm: "table_comparison"
3171   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-mrr"
3172   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3173   filter: "'2T1C' and 'MRR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
3174   columns:
3175     - title: "2106.0-8"
3176       data-set: "vpp-3n-skx-hist-iter-mrr-new-env"
3177     - title: "2110.0-8"
3178       data-set: "vpp-3n-skx-prev-iter-mrr-old-env"
3179     - title: "2110.0-9"
3180       data-set: "vpp-3n-skx-prev-iter-mrr-new-env"
3181     - title: "2202.0-9"
3182       data-set: "vpp-3n-skx-curr-iter-mrr"
3183   comparisons:
3184     - title: "2110.0-9 vs 2110.0-8"
3185       reference: 2
3186       compare: 3
3187     - title: "2202.0-9 vs 2110.0-9"
3188       reference: 3
3189       compare: 4
3190   legend:
3191     - ''
3192     - 'Test Case:            Test cases executed for: MRR throughput on 3n-skx with xxv710.'
3193     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
3194     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
3195     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
3196     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
3197
3198 # VPP Performance Changes 3n-skx 4t2c mrr
3199 - type: "table"
3200   title: "VPP Performance Changes 3n-skx 4t2c mrr"
3201   algorithm: "table_comparison"
3202   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-mrr"
3203   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3204   filter: "'4T2C' and 'MRR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
3205   columns:
3206     - title: "2106.0-8"
3207       data-set: "vpp-3n-skx-hist-iter-mrr-new-env"
3208     - title: "2110.0-8"
3209       data-set: "vpp-3n-skx-prev-iter-mrr-old-env"
3210     - title: "2110.0-9"
3211       data-set: "vpp-3n-skx-prev-iter-mrr-new-env"
3212     - title: "2202.0-9"
3213       data-set: "vpp-3n-skx-curr-iter-mrr"
3214   comparisons:
3215     - title: "2110.0-9 vs 2110.0-8"
3216       reference: 2
3217       compare: 3
3218     - title: "2202.0-9 vs 2110.0-9"
3219       reference: 3
3220       compare: 4
3221   legend:
3222     - ''
3223     - 'Test Case:            Test cases executed for: MRR throughput on 3n-skx with xxv710.'
3224     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
3225     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
3226     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
3227     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
3228
3229 # VPP Performance Changes 3n-skx 8t4c mrr
3230 - type: "table"
3231   title: "VPP Performance Changes 3n-skx 8t4c mrr"
3232   algorithm: "table_comparison"
3233   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-8t4c-mrr"
3234   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3235   filter: "'8T4C' and 'MRR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
3236   columns:
3237     - title: "2106.0-8"
3238       data-set: "vpp-3n-skx-hist-iter-mrr-new-env"
3239     - title: "2110.0-8"
3240       data-set: "vpp-3n-skx-prev-iter-mrr-old-env"
3241     - title: "2110.0-9"
3242       data-set: "vpp-3n-skx-prev-iter-mrr-new-env"
3243     - title: "2202.0-9"
3244       data-set: "vpp-3n-skx-curr-iter-mrr"
3245   comparisons:
3246     - title: "2110.0-9 vs 2110.0-8"
3247       reference: 2
3248       compare: 3
3249     - title: "2202.0-9 vs 2110.0-9"
3250       reference: 3
3251       compare: 4
3252   legend:
3253     - ''
3254     - 'Test Case:            Test cases executed for: MRR throughput on 3n-skx with xxv710.'
3255     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
3256     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
3257     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
3258     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
3259
3260 # VPP Performance Changes 2n-skx 2t1c mrr
3261 - type: "table"
3262   title: "VPP Performance Changes 2n-skx 2t1c mrr"
3263   algorithm: "table_comparison"
3264   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-mrr"
3265   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3266   filter: "'2T1C' and 'MRR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
3267   columns:
3268     - title: "2106.0-8"
3269       data-set: "vpp-2n-skx-hist-iter-mrr-new-env"
3270     - title: "2110.0-8"
3271       data-set: "vpp-2n-skx-prev-iter-mrr-old-env"
3272     - title: "2110.0-9"
3273       data-set: "vpp-2n-skx-prev-iter-mrr-new-env"
3274     - title: "2202.0-9"
3275       data-set: "vpp-2n-skx-curr-iter-mrr"
3276   comparisons:
3277     - title: "2110.0-9 vs 2110.0-8"
3278       reference: 2
3279       compare: 3
3280     - title: "2202.0-9 vs 2110.0-9"
3281       reference: 3
3282       compare: 4
3283   legend:
3284     - ''
3285     - 'Test Case:            Test cases executed for: MRR throughput on 2n-skx with xxv710.'
3286     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
3287     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
3288     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
3289     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
3290
3291 # VPP Performance Changes 2n-skx 4t2c mrr
3292 - type: "table"
3293   title: "VPP Performance Changes 2n-skx 4t2c mrr"
3294   algorithm: "table_comparison"
3295   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-mrr"
3296   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3297   filter: "'4T2C' and 'MRR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
3298   columns:
3299     - title: "2106.0-8"
3300       data-set: "vpp-2n-skx-hist-iter-mrr-new-env"
3301     - title: "2110.0-8"
3302       data-set: "vpp-2n-skx-prev-iter-mrr-old-env"
3303     - title: "2110.0-9"
3304       data-set: "vpp-2n-skx-prev-iter-mrr-new-env"
3305     - title: "2202.0-9"
3306       data-set: "vpp-2n-skx-curr-iter-mrr"
3307   comparisons:
3308     - title: "2110.0-9 vs 2110.0-8"
3309       reference: 2
3310       compare: 3
3311     - title: "2202.0-9 vs 2110.0-9"
3312       reference: 3
3313       compare: 4
3314   legend:
3315     - ''
3316     - 'Test Case:            Test cases executed for: MRR throughput on 2n-skx with xxv710.'
3317     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
3318     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
3319     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
3320     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
3321
3322 # VPP Performance Changes 2n-skx 8t4c mrr
3323 - type: "table"
3324   title: "VPP Performance Changes 2n-skx 8t4c mrr"
3325   algorithm: "table_comparison"
3326   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-8t4c-mrr"
3327   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3328   filter: "'8T4C' and 'MRR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
3329   columns:
3330     - title: "2106.0-8"
3331       data-set: "vpp-2n-skx-hist-iter-mrr-new-env"
3332     - title: "2110.0-8"
3333       data-set: "vpp-2n-skx-prev-iter-mrr-old-env"
3334     - title: "2110.0-9"
3335       data-set: "vpp-2n-skx-prev-iter-mrr-new-env"
3336     - title: "2202.0-9"
3337       data-set: "vpp-2n-skx-curr-iter-mrr"
3338   comparisons:
3339     - title: "2110.0-9 vs 2110.0-8"
3340       reference: 2
3341       compare: 3
3342     - title: "2202.0-9 vs 2110.0-9"
3343       reference: 3
3344       compare: 4
3345   legend:
3346     - ''
3347     - 'Test Case:            Test cases executed for: MRR throughput on 2n-skx with xxv710.'
3348     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
3349     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
3350     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
3351     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
3352
3353 # VPP Performance Changes 2n-clx-xxv710 2t1c mrr
3354 - type: "table"
3355   title: "VPP Performance Changes 2n-clx-xxv710 2t1c mrr"
3356   algorithm: "table_comparison"
3357   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-xxv710-2t1c-mrr"
3358   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3359   filter: "'2T1C' and 'MRR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
3360   columns:
3361     - title: "2106.0-8"
3362       data-set: "vpp-2n-clx-hist-iter-mrr-new-env"
3363     - title: "2110.0-8"
3364       data-set: "vpp-2n-clx-prev-iter-mrr-old-env"
3365     - title: "2110.0-9"
3366       data-set: "vpp-2n-clx-prev-iter-mrr-new-env"
3367     - title: "2202.0-9"
3368       data-set: "vpp-2n-clx-curr-iter-mrr"
3369   comparisons:
3370     - title: "2110.0-9 vs 2110.0-8"
3371       reference: 2
3372       compare: 3
3373     - title: "2202.0-9 vs 2110.0-9"
3374       reference: 3
3375       compare: 4
3376   legend:
3377     - ''
3378     - 'Test Case:            Test cases executed for: MRR throughput on 2n-clx with xxv710.'
3379     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
3380     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
3381     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
3382     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
3383
3384 # VPP Performance Changes 2n-clx-xxv710 4t2c mrr
3385 - type: "table"
3386   title: "VPP Performance Changes 2n-clx-xxv710 4t2c mrr"
3387   algorithm: "table_comparison"
3388   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-xxv710-4t2c-mrr"
3389   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3390   filter: "'4T2C' and 'MRR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
3391   columns:
3392     - title: "2106.0-8"
3393       data-set: "vpp-2n-clx-hist-iter-mrr-new-env"
3394     - title: "2110.0-8"
3395       data-set: "vpp-2n-clx-prev-iter-mrr-old-env"
3396     - title: "2110.0-9"
3397       data-set: "vpp-2n-clx-prev-iter-mrr-new-env"
3398     - title: "2202.0-9"
3399       data-set: "vpp-2n-clx-curr-iter-mrr"
3400   comparisons:
3401     - title: "2110.0-9 vs 2110.0-8"
3402       reference: 2
3403       compare: 3
3404     - title: "2202.0-9 vs 2110.0-9"
3405       reference: 3
3406       compare: 4
3407   legend:
3408     - ''
3409     - 'Test Case:            Test cases executed for: MRR throughput on 2n-clx with xxv710.'
3410     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
3411     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
3412     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
3413     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
3414
3415 # VPP Performance Changes 2n-clx-xxv710 8t4c mrr
3416 - type: "table"
3417   title: "VPP Performance Changes 2n-clx-xxv710 8t4c mrr"
3418   algorithm: "table_comparison"
3419   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-xxv710-8t4c-mrr"
3420   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3421   filter: "'8T4C' and 'MRR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
3422   columns:
3423     - title: "2106.0-8"
3424       data-set: "vpp-2n-clx-hist-iter-mrr-new-env"
3425     - title: "2110.0-8"
3426       data-set: "vpp-2n-clx-prev-iter-mrr-old-env"
3427     - title: "2110.0-9"
3428       data-set: "vpp-2n-clx-prev-iter-mrr-new-env"
3429     - title: "2202.0-9"
3430       data-set: "vpp-2n-clx-curr-iter-mrr"
3431   comparisons:
3432     - title: "2110.0-9 vs 2110.0-8"
3433       reference: 2
3434       compare: 3
3435     - title: "2202.0-9 vs 2110.0-9"
3436       reference: 3
3437       compare: 4
3438   legend:
3439     - ''
3440     - 'Test Case:            Test cases executed for: MRR throughput on 2n-clx with xxv710.'
3441     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
3442     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
3443     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
3444     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
3445
3446 # VPP Performance Changes 2n-clx-cx556a 2t1c mrr
3447 - type: "table"
3448   title: "VPP Performance Changes 2n-clx-cx556a 2t1c mrr"
3449   algorithm: "table_comparison"
3450   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-cx556a-2t1c-mrr"
3451   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3452   filter: "'2T1C' and 'MRR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
3453   columns:
3454     - title: "2106.0-8"
3455       data-set: "vpp-2n-clx-hist-iter-mrr-new-env"
3456     - title: "2110.0-8"
3457       data-set: "vpp-2n-clx-prev-iter-mrr-old-env"
3458     - title: "2110.0-9"
3459       data-set: "vpp-2n-clx-prev-iter-mrr-new-env"
3460     - title: "2202.0-9"
3461       data-set: "vpp-2n-clx-curr-iter-mrr"
3462   comparisons:
3463     - title: "2110.0-9 vs 2110.0-8"
3464       reference: 2
3465       compare: 3
3466     - title: "2202.0-9 vs 2110.0-9"
3467       reference: 3
3468       compare: 4
3469   legend:
3470     - ''
3471     - 'Test Case:            Test cases executed for: MRR throughput on 2n-clx with cx556a.'
3472     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
3473     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
3474     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
3475     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
3476
3477 # VPP Performance Changes 2n-clx-cx556a 4t2c mrr
3478 - type: "table"
3479   title: "VPP Performance Changes 2n-clx-cx556a 4t2c mrr"
3480   algorithm: "table_comparison"
3481   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-cx556a-4t2c-mrr"
3482   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3483   filter: "'4T2C' and 'MRR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
3484   columns:
3485     - title: "2106.0-8"
3486       data-set: "vpp-2n-clx-hist-iter-mrr-new-env"
3487     - title: "2110.0-8"
3488       data-set: "vpp-2n-clx-prev-iter-mrr-old-env"
3489     - title: "2110.0-9"
3490       data-set: "vpp-2n-clx-prev-iter-mrr-new-env"
3491     - title: "2202.0-9"
3492       data-set: "vpp-2n-clx-curr-iter-mrr"
3493   comparisons:
3494     - title: "2110.0-9 vs 2110.0-8"
3495       reference: 2
3496       compare: 3
3497     - title: "2202.0-9 vs 2110.0-9"
3498       reference: 3
3499       compare: 4
3500   legend:
3501     - ''
3502     - 'Test Case:            Test cases executed for: MRR throughput on 2n-clx with cx556a.'
3503     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'