Report: Comparisons
[csit.git] / resources / tools / presentation / specifications / report / elements.yaml
1 ################################################################################
2 ###                               T A B L E S                                ###
3 ################################################################################
4
5 # Statistics: job-specs' durations
6
7 - type: "table"
8   title: "Job Specification Duration: 2n-icx-iterative"
9   algorithm: "table_job_spec_duration"
10   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-icx-iter"
11   jb-type: "iterative"
12   lines:
13     - job-spec: "vpp-mrr-00"
14       data-set: "vpp-2n-icx-curr-iter-mrr"
15     - job-spec: "vpp-mlr-00"
16       data-set: "vpp-2n-icx-curr-iter"
17     - job-spec: "vpp-gso-mrr-00"
18       data-set: "vpp-2n-icx-curr-iter-gso"
19     - job-spec: "soak-00"
20       data-set: "vpp-2n-icx-curr-soak"
21     - job-spec: "nfv-density-mrr-00"
22       data-set: "vpp-2n-icx-curr-nfv-mrr"
23     - job-spec: "nfv-density-mlr-00"
24       data-set: "vpp-2n-icx-curr-nfv-ndrpdr"
25     - job-spec: "reconf-00"
26       data-set: "vpp-2n-icx-curr-nfv-reconf"
27     - job-spec: "dpdk-mlr-00"
28       data-set: "dpdk-2n-icx-curr-iter"
29
30 # - type: "table"
31 #   title: "Job Specification Duration: 2n-icx-coverage"
32 #   algorithm: "table_job_spec_duration"
33 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-icx-cov"
34 #   jb-type: "coverage"
35 #   data: "vpp-2n-icx-curr-cov"
36 #   lines:
37 #     - job-spec: "gso-00"
38 #       build: "1"
39 #     - job-spec: "ip4-00"
40 #       build: "2"
41 #     - job-spec: "ip4-01"
42 #       build: "3"
43 #     - job-spec: "ip4-02"
44 #       build: "4"
45 #     - job-spec: "ip4-03"
46 #       build: "5"
47 #     - job-spec: "ip4-04"
48 #       build: "6"
49 #     - job-spec: "ip4-05"
50 #       build: "7"
51 #     - job-spec: "ip4-06"
52 #       build: "8"
53 #     - job-spec: "ip4-07"
54 #       build: "9"
55 #     - job-spec: "ip4tun-00"
56 #       build: "10"
57 #     - job-spec: "ip6-00"
58 #       build: "11"
59 #     - job-spec: "ip6-01"
60 #       build: "12"
61 #     - job-spec: "l2-00"
62 #       build: "13"
63 #     - job-spec: "l2-01"
64 #       build: "14"
65 #     - job-spec: "lb-00"
66 #       build: "15"
67 #     - job-spec: "memif-00"
68 #       build: "16"
69 #     - job-spec: "vhost-00"
70 #       build: "17"
71
72 - type: "table"
73   title: "Job Specification Duration: 3n-icx-iterative"
74   algorithm: "table_job_spec_duration"
75   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-icx-iter"
76   jb-type: "iterative"
77   lines:
78     - job-spec: "vpp-mrr-00"
79       data-set: "vpp-3n-icx-curr-iter-mrr"
80     - job-spec: "vpp-mlr-00"
81       data-set: "vpp-3n-icx-curr-iter"
82     - job-spec: "dpdk-mlr-00"
83       data-set: "dpdk-3n-icx-curr-iter"
84
85 # - type: "table"
86 #   title: "Job Specification Duration: 3n-icx-coverage"
87 #   algorithm: "table_job_spec_duration"
88 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-icx-cov"
89 #   jb-type: "coverage"
90 #   data: "vpp-3n-icx-curr-cov"
91 #   lines:
92 #     - job-spec: "crypto-00"
93 #       build: "35"
94 #     - job-spec: "crypto-01"
95 #       build: "36"
96 #     - job-spec: "crypto-02"
97 #       build: "37"
98 #     - job-spec: "crypto-03"  # Completly failed
99 #       build: "70"
100 #     - job-spec: "crypto-04"
101 #       build: "38"
102 #     - job-spec: "ip4-00"
103 #       build: "39"
104 #     - job-spec: "ip4-01"
105 #       build: "40"
106 #     - job-spec: "ip4-02"
107 #       build: "41"
108 #     - job-spec: "ip4-03"
109 #       build: "42"
110 #     - job-spec: "ip4-04"
111 #       build: "43"
112 #     - job-spec: "ip4-05"
113 #       build: "44"
114 #     - job-spec: "ip4-06"
115 #       build: "45"
116 #     - job-spec: "ip4-07"
117 #       build: "46"
118 #     - job-spec: "ip4tun-00"
119 #       build: "47"
120 #     - job-spec: "ip4tun-02"
121 #       build: "48"
122 #     - job-spec: "ip6-00"
123 #       build: "49"
124 #     - job-spec: "ip6-01"
125 #       build: "50"
126 #     - job-spec: "ip6tun-00"
127 #       build: "71"
128 #     - job-spec: "l2-00"
129 #       build: "52"
130 #     - job-spec: "l2-01"
131 #       build: "53"
132 #     - job-spec: "l2-02"
133 #       build: "68"
134 #     - job-spec: "l2-03"
135 #       build: "55"
136 #     - job-spec: "l2-04"
137 #       build: "56"
138 #     - job-spec: "l2-05"
139 #       build: "57"
140 #     - job-spec: "l2-06"
141 #       build: "58"
142 #     - job-spec: "l2-07"
143 #       build: "59"
144 #     - job-spec: "l2-08"
145 #       build: "60"
146 #     - job-spec: "l2-09"
147 #       build: "61"
148 #     - job-spec: "l2-10"
149 #       build: "69"
150 #     - job-spec: "memif-00"
151 #       build: "63"
152 #     - job-spec: "srv6-00"
153 #       build: "64"
154 #     - job-spec: "srv6-01"
155 #       build: "65"
156 #     - job-spec: "vhost-00"
157 #       build: "66"
158 #     - job-spec: "vhost-01"
159 #       build: "67"
160
161 - type: "table"
162   title: "Job Specification Duration: 2n-clx-iterative"
163   algorithm: "table_job_spec_duration"
164   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-clx-iter"
165   jb-type: "iterative"
166   lines:
167     - job-spec: "vpp-mrr-00"
168       data-set: "vpp-2n-clx-curr-iter-mrr"
169     - job-spec: "vpp-mlr-00"
170       data-set: "vpp-2n-clx-curr-iter"
171     - job-spec: "vpp-gso-mrr-00"
172       data-set: "vpp-2n-clx-curr-iter-gso"
173     - job-spec: "soak-00"
174       data-set: "vpp-2n-clx-curr-soak"
175     - job-spec: "vsap-00"
176       data-set: "vpp-2n-clx-curr-iter-vsap"
177     - job-spec: "nfv-density-mrr-00"
178       data-set: "vpp-2n-clx-curr-nfv-mrr"
179     - job-spec: "nfv-density-mlr-00"
180       data-set: "vpp-2n-clx-curr-nfv-ndrpdr"
181     - job-spec: "reconf-00"
182       data-set: "vpp-2n-clx-curr-nfv-reconf"
183     - job-spec: "dpdk-mlr-00"
184       data-set: "dpdk-2n-clx-curr-iter"
185
186 # - type: "table"
187 #   title: "Job Specification Duration: 2n-clx-coverage"
188 #   algorithm: "table_job_spec_duration"
189 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-clx-cov"
190 #   jb-type: "coverage"
191 #   data: "vpp-2n-clx-curr-cov"
192 #   lines:
193 #     - job-spec: "gso-00"
194 #       build: "18"
195 #     - job-spec: "ip4-00"
196 #       build: "19"
197 #     - job-spec: "ip4-01"
198 #       build: "20"
199 #     - job-spec: "ip4-02"
200 #       build: "21"
201 #     - job-spec: "ip4-03"
202 #       build: "22"
203 #     - job-spec: "ip4-04"
204 #       build: "23"
205 #     - job-spec: "ip4-05"
206 #       build: "24"
207 #     - job-spec: "ip4-06"
208 #       build: "25"
209 #     - job-spec: "ip4-07"
210 #       build: "26"
211 #     - job-spec: "ip4tun-00"
212 #       build: "27"
213 #     - job-spec: "ip6-00"
214 #       build: "28"
215 #     - job-spec: "ip6-01"
216 #       build: "29"
217 #     - job-spec: "l2-00"
218 #       build: "30"
219 #     - job-spec: "l2-01"
220 #       build: "31"
221 #     - job-spec: "lb-00"
222 #       build: "32"
223 #     - job-spec: "memif-00"
224 #       build: "33"
225 #     - job-spec: "vhost-00"
226 #       build: "34"
227
228 - type: "table"
229   title: "Job Specification Duration: 2n-dnv-iterative"
230   algorithm: "table_job_spec_duration"
231   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-dnv-iter"
232   jb-type: "iterative"
233   lines:
234     - job-spec: "vpp-mrr-00"
235       data-set: "vpp-2n-dnv-curr-iter-mrr"
236     - job-spec: "vpp-mlr-00"
237       data-set: "vpp-2n-dnv-curr-iter"
238
239 # - type: "table"
240 #   title: "Job Specification Duration: 2n-dnv-coverage"
241 #   algorithm: "table_job_spec_duration"
242 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-dnv-cov"
243 #   jb-type: "coverage"
244 #   data: "vpp-2n-dnv-curr-cov"
245 #   lines:
246 #     - job-spec: "ip4-00"
247 #       build: "7"
248 #     - job-spec: "ip4-01"
249 #       build: "8"
250 #     - job-spec: "ip6-00"
251 #       build: "14"
252 #     - job-spec: "ip6-01"
253 #       build: "10"
254 #     - job-spec: "l2-00"
255 #       build: "11"
256 #     - job-spec: "l2-01"
257 #       build: "12"
258
259 - type: "table"
260   title: "Job Specification Duration: 2n-aws-iterative"
261   algorithm: "table_job_spec_duration"
262   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-aws-iter"
263   jb-type: "iterative"
264   lines:
265     - job-spec: "vpp-mrr-00"
266       data-set: "vpp-2n-aws-curr-iter-mrr"
267     - job-spec: "vpp-mlr-00"
268       data-set: "vpp-2n-aws-curr-iter"
269
270 # - type: "table"
271 #   title: "Job Specification Duration: 2n-aws-coverage"
272 #   algorithm: "table_job_spec_duration"
273 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-aws-cov"
274 #   jb-type: "coverage"
275 #   data: "vpp-2n-aws-curr-cov"
276 #   lines:
277 #     - job-spec: "vpp-00"
278 #       build: "1"
279
280 # - type: "table"
281 #   title: "Job Specification Duration: 3n-aws-iterative"
282 #   algorithm: "table_job_spec_duration"
283 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-aws-iter"
284 #   jb-type: "iterative"
285 #   lines:
286 #     - job-spec: "vpp-mrr-00"
287 #       data-set: "vpp-3n-aws-curr-iter-mrr"
288 #     - job-spec: "vpp-mlr-00"
289 #       data-set: "vpp-3n-aws-curr-iter"
290
291 # - type: "table"
292 #   title: "Job Specification Duration: 3n-aws-coverage"
293 #   algorithm: "table_job_spec_duration"
294 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-aws-cov"
295 #   jb-type: "coverage"
296 #   data: "vpp-3n-aws-curr-cov"
297 #   lines:
298 #     - job-spec: "vpp-00"
299 #       build: "1"
300
301 - type: "table"
302   title: "Job Specification Duration: 2n-skx-iterative"
303   algorithm: "table_job_spec_duration"
304   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-skx-iter"
305   jb-type: "iterative"
306   lines:
307     - job-spec: "vpp-mrr-00"
308       data-set: "vpp-2n-skx-curr-iter-mrr"
309     - job-spec: "vpp-mlr-00"
310       data-set: "vpp-2n-skx-curr-iter"
311     - job-spec: "vpp-gso-mrr-00"
312       data-set: "vpp-2n-skx-curr-iter-gso"
313     - job-spec: "soak-00"
314       data-set: "vpp-2n-skx-curr-soak"
315     - job-spec: "nfv-density-mrr-00"
316       data-set: "vpp-2n-skx-curr-nfv-mrr"
317     - job-spec: "nfv-density-mlr-00"
318       data-set: "vpp-2n-skx-curr-nfv-ndrpdr"
319     - job-spec: "reconf-00"
320       data-set: "vpp-2n-skx-curr-nfv-reconf"
321     - job-spec: "dpdk-mlr-00"
322       data-set: "dpdk-2n-skx-curr-iter"
323     - job-spec: "trex-mlr-00"
324       data-set: "trex-2n-skx-curr-iter"
325
326 # - type: "table"
327 #   title: "Job Specification Duration: 2n-skx-coverage"
328 #   algorithm: "table_job_spec_duration"
329 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-skx-cov"
330 #   jb-type: "coverage"
331 #   data: "vpp-2n-skx-curr-cov"
332 #   lines:
333 #     - job-spec: "gso-00"
334 #       build: "18"
335 #     - job-spec: "ip4-00"
336 #       build: "19"
337 #     - job-spec: "ip4-01"
338 #       build: "20"
339 #     - job-spec: "ip4-02"
340 #       build: "21"
341 #     - job-spec: "ip4-03"
342 #       build: "22"
343 #     - job-spec: "ip4-04"
344 #       build: "23"
345 #     - job-spec: "ip4-05"
346 #       build: "24"
347 #     - job-spec: "ip4-06"
348 #       build: "25"
349 #     - job-spec: "ip4-07"
350 #       build: "26"
351 #     - job-spec: "ip4tun-00"
352 #       build: "27"
353 #     - job-spec: "ip6-00"
354 #       build: "28"
355 #     - job-spec: "ip6-01"
356 #       build: "29"
357 #     - job-spec: "l2-00"
358 #       build: "30"
359 #     - job-spec: "l2-01"
360 #       build: "31"
361 #     - job-spec: "lb-00"
362 #       build: "32"
363 #     - job-spec: "memif-00"
364 #       build: "33"
365 #     - job-spec: "vhost-00"
366 #       build: "34"
367
368 - type: "table"
369   title: "Job Specification Duration: 2n-tx2-iterative"
370   algorithm: "table_job_spec_duration"
371   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-tx2-iter"
372   jb-type: "iterative"
373   lines:
374     - job-spec: "vpp-mrr-00"
375       data-set: "vpp-2n-tx2-curr-iter-mrr"
376     - job-spec: "vpp-mlr-00"
377       data-set: "vpp-2n-tx2-curr-iter"
378
379 # - type: "table"
380 #   title: "Job Specification Duration: 2n-tx2-coverage"
381 #   algorithm: "table_job_spec_duration"
382 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-tx2-cov"
383 #   jb-type: "coverage"
384 #   data: "vpp-2n-tx2-curr-cov"
385 #   lines:
386 #     - job-spec: "ip4-00"
387 #       build: "15"
388 #     - job-spec: "ip4-01"
389 #       build: "16"
390 #     - job-spec: "ip4-02"
391 #       build: "17"
392 #     - job-spec: "ip4-03"
393 #       build: "18"
394 #     - job-spec: "ip4-04"
395 #       build: "19"
396 #     - job-spec: "ip4-05"
397 #       build: "20"
398 #     - job-spec: "ip4-06"
399 #       build: "21"
400 #     - job-spec: "ip6-00"
401 #       build: "22"
402 #     - job-spec: "ip6-01"
403 #       build: "23"
404 #     - job-spec: "l2-00"
405 #       build: "24"
406 #     - job-spec: "l2-01"
407 #       build: "25"
408 #     - job-spec: "l2-02"
409 #       build: "26"
410 #     - job-spec: "l2-03"
411 #       build: "27"
412 #     - job-spec: "l2-04"
413 #       build: "28"
414
415 - type: "table"
416   title: "Job Specification Duration: 2n-zn2-iterative"
417   algorithm: "table_job_spec_duration"
418   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-zn2-iter"
419   jb-type: "iterative"
420   lines:
421     - job-spec: "vpp-mrr-00"
422       data-set: "vpp-2n-zn2-curr-iter-mrr"
423     - job-spec: "vpp-mlr-00"
424       data-set: "vpp-2n-zn2-curr-iter"
425     - job-spec: "vpp-gso-mrr-00"
426       data-set: "vpp-2n-zn2-curr-iter-gso"
427     - job-spec: "dpdk-mlr-00"
428       data-set: "dpdk-2n-zn2-curr-iter"
429
430 # - type: "table"
431 #   title: "Job Specification Duration: 2n-zn2-coverage"
432 #   algorithm: "table_job_spec_duration"
433 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-zn2-cov"
434 #   jb-type: "coverage"
435 #   data: "vpp-2n-zn2-curr-cov"
436 #   lines:
437 #     - job-spec: "gso-00"
438 #       build: "16"
439 #     - job-spec: "ip4-00"
440 #       build: "17"
441 #     - job-spec: "ip4-01"
442 #       build: "18"
443 #     - job-spec: "ip4-02"
444 #       build: "19"
445 #     - job-spec: "ip4-03"
446 #       build: "20"
447 #     - job-spec: "ip4-04"
448 #       build: "21"
449 #     - job-spec: "ip4-05"
450 #       build: "22"
451 #     - job-spec: "ip4tun-00"
452 #       build: "23"
453 #     - job-spec: "ip6-00"
454 #       build: "24"
455 #     - job-spec: "ip6-01"
456 #       build: "25"
457 #     - job-spec: "l2-00"
458 #       build: "26"
459 #     - job-spec: "l2-01"
460 #       build: "27"
461 #     - job-spec: "lb-00"
462 #       build: "28"
463 #     - job-spec: "memif-00"
464 #       build: "29"
465 #     - job-spec: "vhost-00"
466 #       build: "30"
467
468 - type: "table"
469   title: "Job Specification Duration: 3n-dnv-iterative"
470   algorithm: "table_job_spec_duration"
471   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-dnv-iter"
472   jb-type: "iterative"
473   lines:
474     - job-spec: "vpp-mrr-00"
475       data-set: "vpp-3n-dnv-curr-iter-mrr"
476     - job-spec: "vpp-mlr-00"
477       data-set: "vpp-3n-dnv-curr-iter"
478
479 # - type: "table"
480 #   title: "Job Specification Duration: 3n-dnv-coverage"
481 #   algorithm: "table_job_spec_duration"
482 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-dnv-cov"
483 #   jb-type: "coverage"
484 #   data: "vpp-3n-dnv-curr-cov"
485 #   lines:
486 #     - job-spec: "crypto-00"
487 #       build: "11"
488 #     - job-spec: "crypto-01"
489 #       build: "12"
490 #     - job-spec: "crypto-02"
491 #       build: "13"
492 #     - job-spec: "ip4-00"
493 #       build: "14"
494 #     - job-spec: "ip4-01"
495 #       build: "15"
496 #     - job-spec: "ip4tun-00"
497 #       build: "16"
498 #     - job-spec: "ip6-00"
499 #       build: "17"
500 #     - job-spec: "ip6-01"
501 #       build: "18"
502 #     - job-spec: "l2-00"
503 #       build: "19"
504 #     - job-spec: "l2-01"
505 #       build: "20"
506
507 - type: "table"
508   title: "Job Specification Duration: 3n-skx-iterative"
509   algorithm: "table_job_spec_duration"
510   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-skx-iter"
511   jb-type: "iterative"
512   lines:
513     - job-spec: "vpp-mrr-00"
514       data-set: "vpp-3n-skx-curr-iter-mrr"
515     - job-spec: "vpp-mlr-00"
516       data-set: "vpp-3n-skx-curr-iter"
517     - job-spec: "hoststack-00"
518       data-set: "vpp-3n-skx-curr-iter-hoststack"
519     - job-spec: "dpdk-mlr-00"
520       data-set: "dpdk-3n-skx-curr-iter"
521
522 # - type: "table"
523 #   title: "Job Specification Duration: 3n-skx-coverage"
524 #   algorithm: "table_job_spec_duration"
525 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-skx-cov"
526 #   jb-type: "coverage"
527 #   data: "vpp-3n-skx-curr-cov"
528 #   lines:
529 #     - job-spec: "crypto-00"
530 #       build: "35"
531 #     - job-spec: "crypto-01"
532 #       build: "36"
533 #     - job-spec: "crypto-02"
534 #       build: "37"
535 #     - job-spec: "crypto-03"  # Completly failed
536 #       build: "68"
537 #     - job-spec: "crypto-04"
538 #       build: "38"
539 #     - job-spec: "ip4-00"
540 #       build: "39"
541 #     - job-spec: "ip4-01"
542 #       build: "40"
543 #     - job-spec: "ip4-02"
544 #       build: "41"
545 #     - job-spec: "ip4-03"
546 #       build: "42"
547 #     - job-spec: "ip4-04"
548 #       build: "43"
549 #     - job-spec: "ip4-05"
550 #       build: "44"
551 #     - job-spec: "ip4-06"
552 #       build: "45"
553 #     - job-spec: "ip4-07"
554 #       build: "46"
555 #     - job-spec: "ip4tun-00"
556 #       build: "47"
557 #     - job-spec: "ip4tun-02"
558 #       build: "48"
559 #     - job-spec: "ip6-00"
560 #       build: "49"
561 #     - job-spec: "ip6-01"
562 #       build: "50"
563 #     - job-spec: "ip6tun-00"
564 #       build: "69"
565 #     - job-spec: "l2-00"
566 #       build: "52"
567 #     - job-spec: "l2-01"
568 #       build: "53"
569 #     - job-spec: "l2-02"
570 #       build: "54"
571 #     - job-spec: "l2-03"
572 #       build: "55"
573 #     - job-spec: "l2-04"
574 #       build: "56"
575 #     - job-spec: "l2-05"
576 #       build: "57"
577 #     - job-spec: "l2-06"
578 #       build: "58"
579 #     - job-spec: "l2-07"
580 #       build: "59"
581 #     - job-spec: "l2-08"
582 #       build: "60"
583 #     - job-spec: "l2-09"
584 #       build: "61"
585 #     - job-spec: "l2-10"
586 #       build: "62"
587 #     - job-spec: "memif-00"
588 #       build: "63"
589 #     - job-spec: "srv6-00"
590 #       build: "64"
591 #     - job-spec: "srv6-01"
592 #       build: "65"
593 #     - job-spec: "vhost-00"
594 #       build: "66"
595 #     - job-spec: "vhost-01"
596 #       build: "67"
597
598 - type: "table"
599   title: "Job Specification Duration: 3n-tsh-iterative"
600   algorithm: "table_job_spec_duration"
601   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-tsh-iter"
602   jb-type: "iterative"
603   lines:
604     - job-spec: "vpp-mrr-00"
605       data-set: "vpp-3n-tsh-curr-iter-mrr"
606     - job-spec: "vpp-mlr-00"
607       data-set: "vpp-3n-tsh-curr-iter"
608     - job-spec: "dpdk-mlr-00"
609       data-set: "dpdk-3n-tsh-curr-iter"
610
611 # - type: "table"
612 #   title: "Job Specification Duration: 3n-tsh-coverage"
613 #   algorithm: "table_job_spec_duration"
614 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-tsh-cov"
615 #   jb-type: "coverage"
616 #   data: "vpp-3n-tsh-curr-cov"
617 #   lines:
618 #     - job-spec: "ip4-00"
619 #       build: "18"
620 #     - job-spec: "ip4-01"
621 #       build: "19"
622 #     - job-spec: "ip4-02"
623 #       build: "20"
624 #     - job-spec: "ip4-03"
625 #       build: "21"
626 #     - job-spec: "ip4tun-00"
627 #       build: "22"
628 #     - job-spec: "ip6-00"
629 #       build: "23"
630 #     - job-spec: "ip6-01"
631 #       build: "24"
632 #     - job-spec: "l2-00"
633 #       build: "25"
634 #     - job-spec: "l2-01"
635 #       build: "26"
636 #     - job-spec: "l2-02"
637 #       build: "27"
638 #     - job-spec: "l2-03"
639 #       build: "28"
640 #     - job-spec: "l2-04"
641 #       build: "29"
642 #     - job-spec: "memif-00"
643 #       build: "30"
644 #     - job-spec: "srv6-00"
645 #       build: "31"
646 #     - job-spec: "srv6-01"
647 #       build: "32"
648 #     - job-spec: "vhost-00"
649 #       build: "33"
650 #     - job-spec: "vhost-01"
651 #       build: "34"
652
653 - type: "table"
654   title: "Job Specification Duration: 3n-alt-iterative"
655   algorithm: "table_job_spec_duration"
656   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-alt-iter"
657   jb-type: "iterative"
658   lines:
659     - job-spec: "vpp-mrr-00"
660       data-set: "vpp-3n-alt-curr-iter-mrr"
661     - job-spec: "vpp-mlr-00"
662       data-set: "vpp-3n-alt-curr-iter"
663     - job-spec: "dpdk-mlr-00"
664       data-set: "dpdk-3n-alt-curr-iter"
665
666 # - type: "table"
667 #   title: "Job Specification Duration: 3n-alt-coverage"
668 #   algorithm: "table_job_spec_duration"
669 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-alt-cov"
670 #   jb-type: "coverage"
671 #   data: "vpp-3n-alt-curr-cov"
672 #   lines:
673 #     - job-spec: "ip4-00"
674 #       build: "18"
675 #     - job-spec: "ip4-01"
676 #       build: "19"
677 #     - job-spec: "ip4-02"
678 #       build: "20"
679 #     - job-spec: "ip4-03"
680 #       build: "21"
681 #     - job-spec: "ip4tun-00"
682 #       build: "22"
683 #     - job-spec: "ip6-00"
684 #       build: "23"
685 #     - job-spec: "ip6-01"
686 #       build: "24"
687 #     - job-spec: "l2-00"
688 #       build: "25"
689 #     - job-spec: "l2-01"
690 #       build: "26"
691 #     - job-spec: "l2-02"
692 #       build: "27"
693 #     - job-spec: "l2-03"
694 #       build: "28"
695 #     - job-spec: "l2-04"
696 #       build: "29"
697 #     - job-spec: "memif-00"
698 #       build: "30"
699 #     - job-spec: "srv6-00"
700 #       build: "31"
701 #     - job-spec: "srv6-01"
702 #       build: "32"
703 #     - job-spec: "vhost-00"
704 #       build: "33"
705 #     - job-spec: "vhost-01"
706 #       build: "34"
707
708 # VPP Latency Changes 3n-skx 2t1c
709 - type: "table"
710   title: "VPP Latency Changes 3n-skx 2t1c PDR50-direction1-avg"
711   algorithm: "table_comparison"
712   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-skx-xxv710-2t1c-pdr50-d1-avg"
713   include-tests: "latency-PDR50-direction1-avg"
714   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
715   columns:
716     - title: "2110.0-9"
717       data-set: "vpp-3n-skx-hist-iter-new-env"
718     - title: "2202.0-9"
719       data-set: "vpp-3n-skx-prev-iter-old-env"
720     - title: "2202.0-10"
721       data-set: "vpp-3n-skx-prev-iter-new-env"
722     - title: "2206.0-10"
723       data-set: "vpp-3n-skx-curr-iter"
724   comparisons:
725     - title: "2202.0-10 vs 2202.0-9"
726       reference: 2
727       compare: 3
728     - title: "2206.0-10 vs 2202.0-10"
729       reference: 3
730       compare: 4
731   legend:
732     - ''
733     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
734     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
735     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
736     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
737     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
738
739 # VPP Latency Changes 3n-skx 2t1c
740 - type: "table"
741   title: "VPP Latency Changes 3n-skx 2t1c PDR90-direction1-avg"
742   algorithm: "table_comparison"
743   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-skx-xxv710-2t1c-pdr90-d1-avg"
744   include-tests: "latency-PDR90-direction1-avg"
745   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
746   columns:
747     - title: "2110.0-9"
748       data-set: "vpp-3n-skx-hist-iter-new-env"
749     - title: "2202.0-9"
750       data-set: "vpp-3n-skx-prev-iter-old-env"
751     - title: "2202.0-10"
752       data-set: "vpp-3n-skx-prev-iter-new-env"
753     - title: "2206.0-10"
754       data-set: "vpp-3n-skx-curr-iter"
755   comparisons:
756     - title: "2202.0-10 vs 2202.0-9"
757       reference: 2
758       compare: 3
759     - title: "2206.0-10 vs 2202.0-10"
760       reference: 3
761       compare: 4
762   legend:
763     - ''
764     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
765     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
766     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
767     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
768     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
769
770 # VPP Latency Changes 3n-skx 2t1c
771 - type: "table"
772   title: "VPP Latency Changes 3n-skx 2t1c PDR90-direction1-max"
773   algorithm: "table_comparison"
774   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-skx-xxv710-2t1c-pdr90-d1-max"
775   include-tests: "latency-PDR90-direction1-max"
776   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
777   columns:
778     - title: "2110.0-9"
779       data-set: "vpp-3n-skx-hist-iter-new-env"
780     - title: "2202.0-9"
781       data-set: "vpp-3n-skx-prev-iter-old-env"
782     - title: "2202.0-10"
783       data-set: "vpp-3n-skx-prev-iter-new-env"
784     - title: "2206.0-10"
785       data-set: "vpp-3n-skx-curr-iter"
786   comparisons:
787     - title: "2202.0-10 vs 2202.0-9"
788       reference: 2
789       compare: 3
790     - title: "2206.0-10 vs 2202.0-10"
791       reference: 3
792       compare: 4
793   legend:
794     - ''
795     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
796     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
797     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
798     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
799     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
800
801 # VPP Latency Changes 2n-skx 2t1c
802 - type: "table"
803   title: "VPP Latency Changes 2n-skx 2t1c PDR50-direction1-avg"
804   algorithm: "table_comparison"
805   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-skx-xxv710-2t1c-pdr50-d1-avg"
806   include-tests: "latency-PDR50-direction1-avg"
807   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
808   columns:
809     - title: "2110.0-9"
810       data-set: "vpp-2n-skx-hist-iter-new-env"
811     - title: "2202.0-9"
812       data-set: "vpp-2n-skx-prev-iter-old-env"
813     - title: "2202.0-10"
814       data-set: "vpp-2n-skx-prev-iter-new-env"
815     - title: "2206.0-10"
816       data-set: "vpp-2n-skx-curr-iter"
817   comparisons:
818     - title: "2202.0-10 vs 2202.0-9"
819       reference: 2
820       compare: 3
821     - title: "2206.0-10 vs 2202.0-10"
822       reference: 3
823       compare: 4
824   legend:
825     - ''
826     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
827     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
828     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
829     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
830     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
831
832 # VPP Latency Changes 2n-skx 2t1c
833 - type: "table"
834   title: "VPP Latency Changes 2n-skx 2t1c PDR90-direction1-avg"
835   algorithm: "table_comparison"
836   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-skx-xxv710-2t1c-pdr90-d1-avg"
837   include-tests: "latency-PDR90-direction1-avg"
838   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
839   columns:
840     - title: "2110.0-9"
841       data-set: "vpp-2n-skx-hist-iter-new-env"
842     - title: "2202.0-9"
843       data-set: "vpp-2n-skx-prev-iter-old-env"
844     - title: "2202.0-10"
845       data-set: "vpp-2n-skx-prev-iter-new-env"
846     - title: "2206.0-10"
847       data-set: "vpp-2n-skx-curr-iter"
848   comparisons:
849     - title: "2202.0-10 vs 2202.0-9"
850       reference: 2
851       compare: 3
852     - title: "2206.0-10 vs 2202.0-10"
853       reference: 3
854       compare: 4
855   legend:
856     - ''
857     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
858     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
859     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
860     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
861     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
862
863 # VPP Latency Changes 2n-skx 2t1c
864 - type: "table"
865   title: "VPP Latency Changes 2n-skx 2t1c PDR90-direction1-max"
866   algorithm: "table_comparison"
867   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-skx-xxv710-2t1c-pdr90-d1-max"
868   include-tests: "latency-PDR90-direction1-max"
869   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
870   columns:
871     - title: "2110.0-9"
872       data-set: "vpp-2n-skx-hist-iter-new-env"
873     - title: "2202.0-9"
874       data-set: "vpp-2n-skx-prev-iter-old-env"
875     - title: "2202.0-10"
876       data-set: "vpp-2n-skx-prev-iter-new-env"
877     - title: "2206.0-10"
878       data-set: "vpp-2n-skx-curr-iter"
879   comparisons:
880     - title: "2202.0-10 vs 2202.0-9"
881       reference: 2
882       compare: 3
883     - title: "2206.0-10 vs 2202.0-10"
884       reference: 3
885       compare: 4
886   legend:
887     - ''
888     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
889     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
890     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
891     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
892     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
893
894 # VPP Latency Changes 2n-clx 2t1c
895 - type: "table"
896   title: "VPP Latency Changes 2n-clx 2t1c PDR50-direction1-avg"
897   algorithm: "table_comparison"
898   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-xxv710-2t1c-pdr50-d1-avg"
899   include-tests: "latency-PDR50-direction1-avg"
900   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
901   columns:
902     - title: "2110.0-9"
903       data-set: "vpp-2n-clx-hist-iter-new-env"
904     - title: "2202.0-9"
905       data-set: "vpp-2n-clx-prev-iter-old-env"
906     - title: "2202.0-10"
907       data-set: "vpp-2n-clx-prev-iter-new-env"
908     - title: "2206.0-10"
909       data-set: "vpp-2n-clx-curr-iter"
910   comparisons:
911     - title: "2202.0-10 vs 2202.0-9"
912       reference: 2
913       compare: 3
914     - title: "2206.0-10 vs 2202.0-10"
915       reference: 3
916       compare: 4
917   legend:
918     - ''
919     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
920     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
921     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
922     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
923     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
924
925 # VPP Latency Changes 2n-clx 2t1c
926 - type: "table"
927   title: "VPP Latency Changes 2n-clx 2t1c PDR90-direction1-avg"
928   algorithm: "table_comparison"
929   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-xxv710-2t1c-pdr90-d1-avg"
930   include-tests: "latency-PDR90-direction1-avg"
931   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
932   columns:
933     - title: "2110.0-9"
934       data-set: "vpp-2n-clx-hist-iter-new-env"
935     - title: "2202.0-9"
936       data-set: "vpp-2n-clx-prev-iter-old-env"
937     - title: "2202.0-10"
938       data-set: "vpp-2n-clx-prev-iter-new-env"
939     - title: "2206.0-10"
940       data-set: "vpp-2n-clx-curr-iter"
941   comparisons:
942     - title: "2202.0-10 vs 2202.0-9"
943       reference: 2
944       compare: 3
945     - title: "2206.0-10 vs 2202.0-10"
946       reference: 3
947       compare: 4
948   legend:
949     - ''
950     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
951     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
952     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
953     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
954     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
955
956 # VPP Latency Changes 2n-clx 2t1c
957 - type: "table"
958   title: "VPP Latency Changes 2n-clx 2t1c PDR90-direction1-max"
959   algorithm: "table_comparison"
960   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-xxv710-2t1c-pdr90-d1-max"
961   include-tests: "latency-PDR90-direction1-max"
962   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
963   columns:
964     - title: "2110.0-9"
965       data-set: "vpp-2n-clx-hist-iter-new-env"
966     - title: "2202.0-9"
967       data-set: "vpp-2n-clx-prev-iter-old-env"
968     - title: "2202.0-10"
969       data-set: "vpp-2n-clx-prev-iter-new-env"
970     - title: "2206.0-10"
971       data-set: "vpp-2n-clx-curr-iter"
972   comparisons:
973     - title: "2202.0-10 vs 2202.0-9"
974       reference: 2
975       compare: 3
976     - title: "2206.0-10 vs 2202.0-10"
977       reference: 3
978       compare: 4
979   legend:
980     - ''
981     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
982     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
983     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
984     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
985     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
986
987 # VPP Latency Changes 2n-clx 2t1c
988 - type: "table"
989   title: "VPP Latency Changes 2n-clx 2t1c PDR50-direction1-avg"
990   algorithm: "table_comparison"
991   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-cx556a-2t1c-pdr50-d1-avg"
992   include-tests: "latency-PDR50-direction1-avg"
993   filter: "'2T1C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
994   columns:
995     - title: "2110.0-9"
996       data-set: "vpp-2n-clx-hist-iter-new-env"
997     - title: "2202.0-9"
998       data-set: "vpp-2n-clx-prev-iter-old-env"
999     - title: "2202.0-10"
1000       data-set: "vpp-2n-clx-prev-iter-new-env"
1001     - title: "2206.0-10"
1002       data-set: "vpp-2n-clx-curr-iter"
1003   comparisons:
1004     - title: "2202.0-10 vs 2202.0-9"
1005       reference: 2
1006       compare: 3
1007     - title: "2206.0-10 vs 2202.0-10"
1008       reference: 3
1009       compare: 4
1010   legend:
1011     - ''
1012     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
1013     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
1014     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1015     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
1016     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
1017
1018 # VPP Latency Changes 2n-clx 2t1c
1019 - type: "table"
1020   title: "VPP Latency Changes 2n-clx 2t1c PDR90-direction1-avg"
1021   algorithm: "table_comparison"
1022   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-cx556a-2t1c-pdr90-d1-avg"
1023   include-tests: "latency-PDR90-direction1-avg"
1024   filter: "'2T1C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
1025   columns:
1026     - title: "2110.0-9"
1027       data-set: "vpp-2n-clx-hist-iter-new-env"
1028     - title: "2202.0-9"
1029       data-set: "vpp-2n-clx-prev-iter-old-env"
1030     - title: "2202.0-10"
1031       data-set: "vpp-2n-clx-prev-iter-new-env"
1032     - title: "2206.0-10"
1033       data-set: "vpp-2n-clx-curr-iter"
1034   comparisons:
1035     - title: "2202.0-10 vs 2202.0-9"
1036       reference: 2
1037       compare: 3
1038     - title: "2206.0-10 vs 2202.0-10"
1039       reference: 3
1040       compare: 4
1041   legend:
1042     - ''
1043     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
1044     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
1045     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1046     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
1047     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
1048
1049 # VPP Latency Changes 2n-clx 2t1c
1050 - type: "table"
1051   title: "VPP Latency Changes 2n-clx 2t1c PDR90-direction1-max"
1052   algorithm: "table_comparison"
1053   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-cx556a-2t1c-pdr90-d1-max"
1054   include-tests: "latency-PDR90-direction1-max"
1055   filter: "'2T1C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
1056   columns:
1057     - title: "2110.0-9"
1058       data-set: "vpp-2n-clx-hist-iter-new-env"
1059     - title: "2202.0-9"
1060       data-set: "vpp-2n-clx-prev-iter-old-env"
1061     - title: "2202.0-10"
1062       data-set: "vpp-2n-clx-prev-iter-new-env"
1063     - title: "2206.0-10"
1064       data-set: "vpp-2n-clx-curr-iter"
1065   comparisons:
1066     - title: "2202.0-10 vs 2202.0-9"
1067       reference: 2
1068       compare: 3
1069     - title: "2206.0-10 vs 2202.0-10"
1070       reference: 3
1071       compare: 4
1072   legend:
1073     - ''
1074     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
1075     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
1076     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1077     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
1078     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
1079
1080 # VPP Latency Changes 2n-zn2 2t1c
1081 - type: "table"
1082   title: "VPP Latency Changes 2n-zn2 2t1c PDR50-direction1-avg"
1083   algorithm: "table_comparison"
1084   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-zn2-xxv710-2t1c-pdr50-d1-avg"
1085   include-tests: "latency-PDR50-direction1-avg"
1086   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
1087   columns:
1088     - title: "2110.0-9"
1089       data-set: "vpp-2n-zn2-hist-iter-new-env"
1090     - title: "2202.0-9"
1091       data-set: "vpp-2n-zn2-prev-iter-old-env"
1092     - title: "2202.0-10"
1093       data-set: "vpp-2n-zn2-prev-iter-new-env"
1094     - title: "2206.0-10"
1095       data-set: "vpp-2n-zn2-curr-iter"
1096   comparisons:
1097     - title: "2202.0-10 vs 2202.0-9"
1098       reference: 2
1099       compare: 3
1100     - title: "2206.0-10 vs 2202.0-10"
1101       reference: 3
1102       compare: 4
1103   legend:
1104     - ''
1105     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
1106     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
1107     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1108     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
1109     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
1110
1111 # VPP Latency Changes 2n-zn2 2t1c
1112 - type: "table"
1113   title: "VPP Latency Changes 2n-zn2 2t1c PDR90-direction1-avg"
1114   algorithm: "table_comparison"
1115   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-zn2-xxv710-2t1c-pdr90-d1-avg"
1116   include-tests: "latency-PDR90-direction1-avg"
1117   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
1118   columns:
1119     - title: "2110.0-9"
1120       data-set: "vpp-2n-zn2-hist-iter-new-env"
1121     - title: "2202.0-9"
1122       data-set: "vpp-2n-zn2-prev-iter-old-env"
1123     - title: "2202.0-10"
1124       data-set: "vpp-2n-zn2-prev-iter-new-env"
1125     - title: "2206.0-10"
1126       data-set: "vpp-2n-zn2-curr-iter"
1127   comparisons:
1128     - title: "2202.0-10 vs 2202.0-9"
1129       reference: 2
1130       compare: 3
1131     - title: "2206.0-10 vs 2202.0-10"
1132       reference: 3
1133       compare: 4
1134   legend:
1135     - ''
1136     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
1137     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
1138     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1139     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
1140     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
1141
1142 # VPP Latency Changes 2n-zn2 2t1c
1143 - type: "table"
1144   title: "VPP Latency Changes 2n-zn2 2t1c PDR90-direction1-max"
1145   algorithm: "table_comparison"
1146   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-zn2-xxv710-2t1c-pdr90-d1-max"
1147   include-tests: "latency-PDR90-direction1-max"
1148   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
1149   columns:
1150     - title: "2110.0-9"
1151       data-set: "vpp-2n-zn2-hist-iter-new-env"
1152     - title: "2202.0-9"
1153       data-set: "vpp-2n-zn2-prev-iter-old-env"
1154     - title: "2202.0-10"
1155       data-set: "vpp-2n-zn2-prev-iter-new-env"
1156     - title: "2206.0-10"
1157       data-set: "vpp-2n-zn2-curr-iter"
1158   comparisons:
1159     - title: "2202.0-10 vs 2202.0-9"
1160       reference: 2
1161       compare: 3
1162     - title: "2206.0-10 vs 2202.0-10"
1163       reference: 3
1164       compare: 4
1165   legend:
1166     - ''
1167     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
1168     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
1169     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1170     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
1171     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
1172
1173 # VPP Latency Changes 2n-tx2 1t1c
1174 - type: "table"
1175   title: "VPP Latency Changes 2n-tx2 1t1c PDR50-direction1-avg"
1176   algorithm: "table_comparison"
1177   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-tx2-xl710-1t1c-pdr50-d1-avg"
1178   include-tests: "latency-PDR50-direction1-avg"
1179   filter: "'1T1C' and 'NDRPDR'"
1180   columns:
1181     - title: "2110.0-9"
1182       data-set: "vpp-2n-tx2-hist-iter-new-env"
1183     - title: "2202.0-9"
1184       data-set: "vpp-2n-tx2-prev-iter-old-env"
1185     - title: "2202.0-10"
1186       data-set: "vpp-2n-tx2-prev-iter-new-env"
1187     - title: "2206.0-10"
1188       data-set: "vpp-2n-tx2-curr-iter"
1189   comparisons:
1190     - title: "2202.0-10 vs 2202.0-9"
1191       reference: 2
1192       compare: 3
1193     - title: "2206.0-10 vs 2202.0-10"
1194       reference: 3
1195       compare: 4
1196   legend:
1197     - ''
1198     - 'Test Case:            Test cases executed for: PDR throughput on 2n-tx2 with xl710.'
1199     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
1200     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1201     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
1202     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
1203
1204 # VPP Latency Changes 2n-tx2 1t1c
1205 - type: "table"
1206   title: "VPP Latency Changes 2n-tx2 1t1c PDR90-direction1-avg"
1207   algorithm: "table_comparison"
1208   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-tx2-xl710-1t1c-pdr90-d1-avg"
1209   include-tests: "latency-PDR90-direction1-avg"
1210   filter: "'1T1C' and 'NDRPDR'"
1211   columns:
1212     - title: "2110.0-9"
1213       data-set: "vpp-2n-tx2-hist-iter-new-env"
1214     - title: "2202.0-9"
1215       data-set: "vpp-2n-tx2-prev-iter-old-env"
1216     - title: "2202.0-10"
1217       data-set: "vpp-2n-tx2-prev-iter-new-env"
1218     - title: "2206.0-10"
1219       data-set: "vpp-2n-tx2-curr-iter"
1220   comparisons:
1221     - title: "2202.0-10 vs 2202.0-9"
1222       reference: 2
1223       compare: 3
1224     - title: "2206.0-10 vs 2202.0-10"
1225       reference: 3
1226       compare: 4
1227   legend:
1228     - ''
1229     - 'Test Case:            Test cases executed for: PDR throughput on 2n-tx2 with xl710.'
1230     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
1231     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1232     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
1233     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
1234
1235 # VPP Latency Changes 2n-tx2 1t1c
1236 - type: "table"
1237   title: "VPP Latency Changes 2n-tx2 1t1c PDR90-direction1-max"
1238   algorithm: "table_comparison"
1239   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-tx2-xl710-1t1c-pdr90-d1-max"
1240   include-tests: "latency-PDR90-direction1-max"
1241   filter: "'1T1C' and 'NDRPDR'"
1242   columns:
1243     - title: "2110.0-9"
1244       data-set: "vpp-2n-tx2-hist-iter-new-env"
1245     - title: "2202.0-9"
1246       data-set: "vpp-2n-tx2-prev-iter-old-env"
1247     - title: "2202.0-10"
1248       data-set: "vpp-2n-tx2-prev-iter-new-env"
1249     - title: "2206.0-10"
1250       data-set: "vpp-2n-tx2-curr-iter"
1251   comparisons:
1252     - title: "2202.0-10 vs 2202.0-9"
1253       reference: 2
1254       compare: 3
1255     - title: "2206.0-10 vs 2202.0-10"
1256       reference: 3
1257       compare: 4
1258   legend:
1259     - ''
1260     - 'Test Case:            Test cases executed for: PDR throughput on 2n-tx2 with xl710.'
1261     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
1262     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1263     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
1264     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
1265
1266 # VPP Latency Changes 3n-tsh 1t1c
1267 - type: "table"
1268   title: "VPP Latency Changes 3n-tsh 1t1c PDR50-direction1-avg"
1269   algorithm: "table_comparison"
1270   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-tsh-x520-1t1c-pdr50-d1-avg"
1271   include-tests: "latency-PDR50-direction1-avg"
1272   filter: "'1T1C' and 'NDRPDR'"
1273   columns:
1274     - title: "2110.0-9"
1275       data-set: "vpp-3n-tsh-hist-iter-new-env"
1276     - title: "2202.0-9"
1277       data-set: "vpp-3n-tsh-prev-iter-old-env"
1278     - title: "2202.0-10"
1279       data-set: "vpp-3n-tsh-prev-iter-new-env"
1280     - title: "2206.0-10"
1281       data-set: "vpp-3n-tsh-curr-iter"
1282   comparisons:
1283     - title: "2202.0-10 vs 2202.0-9"
1284       reference: 2
1285       compare: 3
1286     - title: "2206.0-10 vs 2202.0-10"
1287       reference: 3
1288       compare: 4
1289   legend:
1290     - ''
1291     - 'Test Case:            Test cases executed for: PDR throughput on 3n-tsh with x520.'
1292     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
1293     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1294     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
1295     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
1296
1297 # VPP Latency Changes 3n-tsh 1t1c
1298 - type: "table"
1299   title: "VPP Latency Changes 3n-tsh 1t1c PDR90-direction1-avg"
1300   algorithm: "table_comparison"
1301   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-tsh-x520-1t1c-pdr90-d1-avg"
1302   include-tests: "latency-PDR90-direction1-avg"
1303   filter: "'1T1C' and 'NDRPDR'"
1304   columns:
1305     - title: "2110.0-9"
1306       data-set: "vpp-3n-tsh-hist-iter-new-env"
1307     - title: "2202.0-9"
1308       data-set: "vpp-3n-tsh-prev-iter-old-env"
1309     - title: "2202.0-10"
1310       data-set: "vpp-3n-tsh-prev-iter-new-env"
1311     - title: "2206.0-10"
1312       data-set: "vpp-3n-tsh-curr-iter"
1313   comparisons:
1314     - title: "2202.0-10 vs 2202.0-9"
1315       reference: 2
1316       compare: 3
1317     - title: "2206.0-10 vs 2202.0-10"
1318       reference: 3
1319       compare: 4
1320   legend:
1321     - ''
1322     - 'Test Case:            Test cases executed for: PDR throughput on 3n-tsh with x520.'
1323     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
1324     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1325     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
1326     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
1327
1328 # VPP Latency Changes 3n-tsh 1t1c
1329 - type: "table"
1330   title: "VPP Latency Changes 3n-tsh 1t1c PDR90-direction1-max"
1331   algorithm: "table_comparison"
1332   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-tsh-x520-1t1c-pdr90-d1-max"
1333   include-tests: "latency-PDR90-direction1-max"
1334   filter: "'1T1C' and 'NDRPDR'"
1335   columns:
1336     - title: "2110.0-9"
1337       data-set: "vpp-3n-tsh-hist-iter-new-env"
1338     - title: "2202.0-9"
1339       data-set: "vpp-3n-tsh-prev-iter-old-env"
1340     - title: "2202.0-10"
1341       data-set: "vpp-3n-tsh-prev-iter-new-env"
1342     - title: "2206.0-10"
1343       data-set: "vpp-3n-tsh-curr-iter"
1344   comparisons:
1345     - title: "2202.0-10 vs 2202.0-9"
1346       reference: 2
1347       compare: 3
1348     - title: "2206.0-10 vs 2202.0-10"
1349       reference: 3
1350       compare: 4
1351   legend:
1352     - ''
1353     - 'Test Case:            Test cases executed for: PDR throughput on 3n-tsh with x520.'
1354     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
1355     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1356     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
1357     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
1358
1359 # VPP Latency Changes 3n-icx 2t1c
1360 - type: "table"
1361   title: "VPP Latency Changes 3n-icx 2t1c PDR50-direction1-avg"
1362   algorithm: "table_comparison"
1363   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-icx-xxv710-2t1c-pdr50-d1-avg"
1364   include-tests: "latency-PDR50-direction1-avg"
1365   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1366   columns:
1367     # - title: "2110.0-9"
1368     #   data-set: "vpp-3n-icx-hist-iter-new-env"
1369     - title: "2202.0-9"
1370       data-set: "vpp-3n-icx-prev-iter-old-env"
1371     - title: "2202.0-10"
1372       data-set: "vpp-3n-icx-prev-iter-new-env"
1373     - title: "2206.0-10"
1374       data-set: "vpp-3n-icx-curr-iter"
1375   comparisons:
1376     - title: "2202.0-10 vs 2202.0-9"
1377       reference: 1
1378       compare: 2
1379     - title: "2206.0-10 vs 2202.0-10"
1380       reference: 2
1381       compare: 3
1382   legend:
1383     - ''
1384     - 'Test Case:            Test cases executed for: PDR throughput on 3n-icx with xxv710.'
1385     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
1386     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1387     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
1388     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
1389
1390 # VPP Latency Changes 3n-icx 2t1c
1391 - type: "table"
1392   title: "VPP Latency Changes 3n-icx 2t1c PDR90-direction1-avg"
1393   algorithm: "table_comparison"
1394   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-icx-xxv710-2t1c-pdr90-d1-avg"
1395   include-tests: "latency-PDR90-direction1-avg"
1396   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1397   columns:
1398     # - title: "2110.0-9"
1399     #   data-set: "vpp-3n-icx-hist-iter-new-env"
1400     - title: "2202.0-9"
1401       data-set: "vpp-3n-icx-prev-iter-old-env"
1402     - title: "2202.0-10"
1403       data-set: "vpp-3n-icx-prev-iter-new-env"
1404     - title: "2206.0-10"
1405       data-set: "vpp-3n-icx-curr-iter"
1406   comparisons:
1407     - title: "2202.0-10 vs 2202.0-9"
1408       reference: 1
1409       compare: 2
1410     - title: "2206.0-10 vs 2202.0-10"
1411       reference: 2
1412       compare: 3
1413   legend:
1414     - ''
1415     - 'Test Case:            Test cases executed for: PDR throughput on 3n-icx with xxv710.'
1416     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
1417     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1418     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
1419     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
1420
1421 # VPP Latency Changes 3n-icx 2t1c
1422 - type: "table"
1423   title: "VPP Latency Changes 3n-icx 2t1c PDR90-direction1-max"
1424   algorithm: "table_comparison"
1425   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-icx-xxv710-2t1c-pdr90-d1-max"
1426   include-tests: "latency-PDR90-direction1-max"
1427   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1428   columns:
1429     # - title: "2110.0-9"
1430     #   data-set: "vpp-3n-icx-hist-iter-new-env"
1431     - title: "2202.0-9"
1432       data-set: "vpp-3n-icx-prev-iter-old-env"
1433     - title: "2202.0-10"
1434       data-set: "vpp-3n-icx-prev-iter-new-env"
1435     - title: "2206.0-10"
1436       data-set: "vpp-3n-icx-curr-iter"
1437   comparisons:
1438     - title: "2202.0-10 vs 2202.0-9"
1439       reference: 1
1440       compare: 2
1441     - title: "2206.0-10 vs 2202.0-10"
1442       reference: 2
1443       compare: 3
1444   legend:
1445     - ''
1446     - 'Test Case:            Test cases executed for: PDR throughput on 3n-icx with xxv710.'
1447     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
1448     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1449     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
1450     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
1451
1452 # VPP Latency Changes 2n-icx 2t1c
1453 - type: "table"
1454   title: "VPP Latency Changes 2n-icx 2t1c PDR50-direction1-avg"
1455   algorithm: "table_comparison"
1456   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-icx-xxv710-2t1c-pdr50-d1-avg"
1457   include-tests: "latency-PDR50-direction1-avg"
1458   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1459   columns:
1460     # - title: "2110.0-9"
1461     #   data-set: "vpp-2n-icx-hist-iter-new-env"
1462     - title: "2202.0-9"
1463       data-set: "vpp-2n-icx-prev-iter-old-env"
1464     - title: "2202.0-10"
1465       data-set: "vpp-2n-icx-prev-iter-new-env"
1466     - title: "2206.0-10"
1467       data-set: "vpp-2n-icx-curr-iter"
1468   comparisons:
1469     - title: "2202.0-10 vs 2202.0-9"
1470       reference: 1
1471       compare: 2
1472     - title: "2206.0-10 vs 2202.0-10"
1473       reference: 2
1474       compare: 3
1475   legend:
1476     - ''
1477     - 'Test Case:            Test cases executed for: PDR throughput on 2n-icx with xxv710.'
1478     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
1479     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1480     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
1481     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
1482
1483 # VPP Latency Changes 2n-icx 2t1c
1484 - type: "table"
1485   title: "VPP Latency Changes 2n-icx 2t1c PDR90-direction1-avg"
1486   algorithm: "table_comparison"
1487   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-icx-xxv710-2t1c-pdr90-d1-avg"
1488   include-tests: "latency-PDR90-direction1-avg"
1489   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1490   columns:
1491     # - title: "2110.0-9"
1492     #   data-set: "vpp-2n-icx-hist-iter-new-env"
1493     - title: "2202.0-9"
1494       data-set: "vpp-2n-icx-prev-iter-old-env"
1495     - title: "2202.0-10"
1496       data-set: "vpp-2n-icx-prev-iter-new-env"
1497     - title: "2206.0-10"
1498       data-set: "vpp-2n-icx-curr-iter"
1499   comparisons:
1500     - title: "2202.0-10 vs 2202.0-9"
1501       reference: 1
1502       compare: 2
1503     - title: "2206.0-10 vs 2202.0-10"
1504       reference: 2
1505       compare: 3
1506   legend:
1507     - ''
1508     - 'Test Case:            Test cases executed for: PDR throughput on 2n-icx with xxv710.'
1509     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
1510     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1511     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
1512     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
1513
1514 # VPP Latency Changes 2n-icx 2t1c
1515 - type: "table"
1516   title: "VPP Latency Changes 2n-icx 2t1c PDR90-direction1-max"
1517   algorithm: "table_comparison"
1518   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-icx-xxv710-2t1c-pdr90-d1-max"
1519   include-tests: "latency-PDR90-direction1-max"
1520   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1521   columns:
1522     # - title: "2110.0-9"
1523     #   data-set: "vpp-2n-icx-hist-iter-new-env"
1524     - title: "2202.0-9"
1525       data-set: "vpp-2n-icx-prev-iter-old-env"
1526     - title: "2202.0-10"
1527       data-set: "vpp-2n-icx-prev-iter-new-env"
1528     - title: "2206.0-10"
1529       data-set: "vpp-2n-icx-curr-iter"
1530   comparisons:
1531     - title: "2202.0-10 vs 2202.0-9"
1532       reference: 1
1533       compare: 2
1534     - title: "2206.0-10 vs 2202.0-10"
1535       reference: 2
1536       compare: 3
1537   legend:
1538     - ''
1539     - 'Test Case:            Test cases executed for: PDR throughput on 2n-icx with xxv710.'
1540     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
1541     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1542     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
1543     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
1544
1545 # VPP Soak vs NDR - 2n-icx
1546 - type: "table"
1547   title: "VPP Soak vs NDR 2n-icx"
1548   algorithm: "table_soak_vs_ndr"
1549   output-file: "{DIR[STATIC,VPP]}/soak-vs-ndr-2n-icx"
1550   reference:
1551     title: "NDR"
1552     data: "vpp-soak-vs-ndr-2n-icx-ref"
1553   compare:
1554     title: "Soak"
1555     data: "vpp-2n-icx-curr-soak"
1556   data: "vpp-soak-vs-ndr-2n-icx"
1557   include-tests: "NDR"
1558   filter: "'NDRPDR' or 'SOAK'"
1559   parameters:
1560     - "throughput"
1561     - "name"
1562     - "parent"
1563
1564 # VPP Soak vs NDR - 2n-skx
1565 - type: "table"
1566   title: "VPP Soak vs NDR 2n-skx"
1567   algorithm: "table_soak_vs_ndr"
1568   output-file: "{DIR[STATIC,VPP]}/soak-vs-ndr-2n-skx"
1569   reference:
1570     title: "NDR"
1571     data: "vpp-soak-vs-ndr-2n-skx-ref"
1572   compare:
1573     title: "Soak"
1574     data: "vpp-2n-skx-curr-soak"
1575   data: "vpp-soak-vs-ndr-2n-skx"
1576   include-tests: "NDR"
1577   filter: "('NDRPDR' or 'SOAK') and not 'NF_DENSITY'"
1578   parameters:
1579     - "throughput"
1580     - "name"
1581     - "parent"
1582
1583 # VPP Soak vs NDR - 2n-clx
1584 - type: "table"
1585   title: "VPP Soak vs NDR 2n-clx"
1586   algorithm: "table_soak_vs_ndr"
1587   output-file: "{DIR[STATIC,VPP]}/soak-vs-ndr-2n-clx"
1588   reference:
1589     title: "NDR"
1590     data: "vpp-soak-vs-ndr-2n-clx-ref"
1591   compare:
1592     title: "Soak"
1593     data: "vpp-2n-clx-curr-soak"
1594   data: "vpp-soak-vs-ndr-2n-clx"
1595   include-tests: "NDR"
1596   filter: "('NDRPDR' or 'SOAK') and not 'NF_DENSITY'"
1597   parameters:
1598     - "throughput"
1599     - "name"
1600     - "parent"
1601
1602 ################################################################################
1603
1604 # VPP Compare NICs 3n-skx 2t1c ndr
1605 - type: "table"
1606   title: "VPP Compare NICs 3n-skx 2t1c ndr"
1607   algorithm: "table_comparison"
1608   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-ndr"
1609   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1610   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
1611   columns:
1612     - title: "x710"
1613       data-set: "vpp-3n-skx-curr-iter"
1614       tag: "NIC_Intel-X710"
1615     - title: "xxv710"
1616       data-set: "vpp-3n-skx-curr-iter"
1617       tag: "NIC_Intel-XXV710"
1618   comparisons:
1619     - title: "Diff"
1620       reference: 1
1621       compare: 2
1622   legend:
1623     - ""
1624     - "x710, xxv710 - NICs tested."
1625     - "Diff - difference between x710 and xxv710 NIC."
1626
1627 # VPP Compare NICs 3n-skx 4t2c ndr
1628 - type: "table"
1629   title: "VPP Compare NICs 3n-skx 4t2c ndr"
1630   algorithm: "table_comparison"
1631   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-ndr"
1632   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1633   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
1634   columns:
1635     - title: "x710"
1636       data-set: "vpp-3n-skx-curr-iter"
1637       tag: "NIC_Intel-X710"
1638     - title: "xxv710"
1639       data-set: "vpp-3n-skx-curr-iter"
1640       tag: "NIC_Intel-XXV710"
1641   comparisons:
1642     - title: "Diff"
1643       reference: 1
1644       compare: 2
1645   legend:
1646     - ""
1647     - "x710, xxv710 - NICs tested."
1648     - "Diff - difference between x710 and xxv710 NIC."
1649
1650 # VPP Compare NICs 3n-skx 2t1c pdr
1651 - type: "table"
1652   title: "VPP Compare NICs 3n-skx 2t1c pdr"
1653   algorithm: "table_comparison"
1654   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-pdr"
1655   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1656   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
1657   columns:
1658     - title: "x710"
1659       data-set: "vpp-3n-skx-curr-iter"
1660       tag: "NIC_Intel-X710"
1661     - title: "xxv710"
1662       data-set: "vpp-3n-skx-curr-iter"
1663       tag: "NIC_Intel-XXV710"
1664   comparisons:
1665     - title: "Diff"
1666       reference: 1
1667       compare: 2
1668   legend:
1669     - ""
1670     - "x710, xxv710 - NICs tested."
1671     - "Diff - difference between x710 and xxv710 NIC."
1672
1673 # VPP Compare NICs 3n-skx 4t2c pdr
1674 - type: "table"
1675   title: "VPP Compare NICs 3n-skx 4t2c pdr"
1676   algorithm: "table_comparison"
1677   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-pdr"
1678   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1679   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
1680   columns:
1681     - title: "x710"
1682       data-set: "vpp-3n-skx-curr-iter"
1683       tag: "NIC_Intel-X710"
1684     - title: "xxv710"
1685       data-set: "vpp-3n-skx-curr-iter"
1686       tag: "NIC_Intel-XXV710"
1687   comparisons:
1688     - title: "Diff"
1689       reference: 1
1690       compare: 2
1691   legend:
1692     - ""
1693     - "x710, xxv710 - NICs tested."
1694     - "Diff - difference between x710 and xxv710 NIC."
1695
1696 # VPP Compare NICs 3n-skx 2t1c mrr
1697 - type: "table"
1698   title: "VPP Compare NICs 3n-skx 2t1c mrr"
1699   algorithm: "table_comparison"
1700   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-mrr"
1701   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1702   filter: "'2T1C' and 'MRR' and not 'NF_DENSITY'"
1703   columns:
1704     - title: "x710"
1705       data-set: "vpp-3n-skx-curr-iter-mrr"
1706       tag: "NIC_Intel-X710"
1707     - title: "xxv710"
1708       data-set: "vpp-3n-skx-curr-iter-mrr"
1709       tag: "NIC_Intel-XXV710"
1710   comparisons:
1711     - title: "Diff"
1712       reference: 1
1713       compare: 2
1714   legend:
1715     - ""
1716     - "x710, xxv710 - NICs tested."
1717     - "Diff - difference between x710 and xxv710 NIC."
1718
1719 # VPP Compare NICs 3n-skx 4t2c mrr
1720 - type: "table"
1721   title: "VPP Compare NICs 3n-skx 4t2c mrr"
1722   algorithm: "table_comparison"
1723   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-mrr"
1724   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1725   filter: "'4T2C' and 'MRR' and not 'NF_DENSITY'"
1726   columns:
1727     - title: "x710"
1728       data-set: "vpp-3n-skx-curr-iter-mrr"
1729       tag: "NIC_Intel-X710"
1730     - title: "xxv710"
1731       data-set: "vpp-3n-skx-curr-iter-mrr"
1732       tag: "NIC_Intel-XXV710"
1733   comparisons:
1734     - title: "Diff"
1735       reference: 1
1736       compare: 2
1737   legend:
1738     - ""
1739     - "x710, xxv710 - NICs tested."
1740     - "Diff - difference between x710 and xxv710 NIC."
1741
1742 # VPP Compare NICs 3n-skx 8t4c mrr
1743 - type: "table"
1744   title: "VPP Compare NICs 3n-skx 8t4c mrr"
1745   algorithm: "table_comparison"
1746   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-8t4c-nics-mrr"
1747   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1748   filter: "'8T4C' and 'MRR' and not 'NF_DENSITY'"
1749   columns:
1750     - title: "x710"
1751       data-set: "vpp-3n-skx-curr-iter-mrr"
1752       tag: "NIC_Intel-X710"
1753     - title: "xxv710"
1754       data-set: "vpp-3n-skx-curr-iter-mrr"
1755       tag: "NIC_Intel-XXV710"
1756   comparisons:
1757     - title: "Diff"
1758       reference: 1
1759       compare: 2
1760   legend:
1761     - ""
1762     - "x710, xxv710 - NICs tested."
1763     - "Diff - difference between x710 and xxv710 NIC."
1764
1765 # VPP Compare NICs 2n-skx 2t1c ndr
1766 - type: "table"
1767   title: "VPP Compare NICs 2n-skx 2t1c ndr"
1768   algorithm: "table_comparison"
1769   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-nics-ndr"
1770   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1771   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
1772   columns:
1773     - title: "x710"
1774       data-set: "vpp-2n-skx-curr-iter"
1775       tag: "NIC_Intel-X710"
1776     - title: "xxv710"
1777       data-set: "vpp-2n-skx-curr-iter"
1778       tag: "NIC_Intel-XXV710"
1779   comparisons:
1780     - title: "Diff"
1781       reference: 1
1782       compare: 2
1783   legend:
1784     - ""
1785     - "x710, xxv710 - NICs tested."
1786     - "Diff - difference between x710 and xxv710 NIC."
1787
1788 # VPP Compare NICs 2n-skx 4t2c ndr
1789 - type: "table"
1790   title: "VPP Compare NICs 2n-skx 4t2c ndr"
1791   algorithm: "table_comparison"
1792   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-nics-ndr"
1793   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1794   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
1795   columns:
1796     - title: "x710"
1797       data-set: "vpp-2n-skx-curr-iter"
1798       tag: "NIC_Intel-X710"
1799     - title: "xxv710"
1800       data-set: "vpp-2n-skx-curr-iter"
1801       tag: "NIC_Intel-XXV710"
1802   comparisons:
1803     - title: "Diff"
1804       reference: 1
1805       compare: 2
1806   legend:
1807     - ""
1808     - "x710, xxv710 - NICs tested."
1809     - "Diff - difference between x710 and xxv710 NIC."
1810
1811 # VPP Compare NICs 2n-skx 2t1c pdr
1812 - type: "table"
1813   title: "VPP Compare NICs 2n-skx 2t1c pdr"
1814   algorithm: "table_comparison"
1815   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-nics-pdr"
1816   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1817   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
1818   columns:
1819     - title: "x710"
1820       data-set: "vpp-2n-skx-curr-iter"
1821       tag: "NIC_Intel-X710"
1822     - title: "xxv710"
1823       data-set: "vpp-2n-skx-curr-iter"
1824       tag: "NIC_Intel-XXV710"
1825   comparisons:
1826     - title: "Diff"
1827       reference: 1
1828       compare: 2
1829   legend:
1830     - ""
1831     - "x710, xxv710 - NICs tested."
1832     - "Diff - difference between x710 and xxv710 NIC."
1833
1834 # VPP Compare NICs 2n-skx 4t2c pdr
1835 - type: "table"
1836   title: "VPP Compare NICs 2n-skx 4t2c pdr"
1837   algorithm: "table_comparison"
1838   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-nics-pdr"
1839   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1840   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
1841   columns:
1842     - title: "x710"
1843       data-set: "vpp-2n-skx-curr-iter"
1844       tag: "NIC_Intel-X710"
1845     - title: "xxv710"
1846       data-set: "vpp-2n-skx-curr-iter"
1847       tag: "NIC_Intel-XXV710"
1848   comparisons:
1849     - title: "Diff"
1850       reference: 1
1851       compare: 2
1852   legend:
1853     - ""
1854     - "x710, xxv710 - NICs tested."
1855     - "Diff - difference between x710 and xxv710 NIC."
1856
1857 # VPP Compare NICs 2n-skx 2t1c mrr
1858 - type: "table"
1859   title: "VPP Compare NICs 2n-skx 2t1c mrr"
1860   algorithm: "table_comparison"
1861   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-nics-mrr"
1862   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1863   filter: "'2T1C' and 'MRR' and not 'NF_DENSITY'"
1864   columns:
1865     - title: "x710"
1866       data-set: "vpp-2n-skx-curr-iter-mrr"
1867       tag: "NIC_Intel-X710"
1868     - title: "xxv710"
1869       data-set: "vpp-2n-skx-curr-iter-mrr"
1870       tag: "NIC_Intel-XXV710"
1871   comparisons:
1872     - title: "Diff"
1873       reference: 1
1874       compare: 2
1875   legend:
1876     - ""
1877     - "x710, xxv710 - NICs tested."
1878     - "Diff - difference between x710 and xxv710 NIC."
1879
1880 # VPP Compare NICs 2n-skx 4t2c mrr
1881 - type: "table"
1882   title: "VPP Compare NICs 2n-skx 4t2c mrr"
1883   algorithm: "table_comparison"
1884   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-nics-mrr"
1885   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1886   filter: "'4T2C' and 'MRR' and not 'NF_DENSITY'"
1887   columns:
1888     - title: "x710"
1889       data-set: "vpp-2n-skx-curr-iter-mrr"
1890       tag: "NIC_Intel-X710"
1891     - title: "xxv710"
1892       data-set: "vpp-2n-skx-curr-iter-mrr"
1893       tag: "NIC_Intel-XXV710"
1894   comparisons:
1895     - title: "Diff"
1896       reference: 1
1897       compare: 2
1898   legend:
1899     - ""
1900     - "x710, xxv710 - NICs tested."
1901     - "Diff - difference between x710 and xxv710 NIC."
1902
1903 # VPP Compare NICs 2n-skx 8t4c mrr
1904 - type: "table"
1905   title: "VPP Compare NICs 2n-skx 8t4c mrr"
1906   algorithm: "table_comparison"
1907   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-8t4c-nics-mrr"
1908   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1909   filter: "'8T4C' and 'MRR' and not 'NF_DENSITY'"
1910   columns:
1911     - title: "x710"
1912       data-set: "vpp-2n-skx-curr-iter-mrr"
1913       tag: "NIC_Intel-X710"
1914     - title: "xxv710"
1915       data-set: "vpp-2n-skx-curr-iter-mrr"
1916       tag: "NIC_Intel-XXV710"
1917   comparisons:
1918     - title: "Diff"
1919       reference: 1
1920       compare: 2
1921   legend:
1922     - ""
1923     - "x710, xxv710 - NICs tested."
1924     - "Diff - difference between x710 and xxv710 NIC."
1925
1926 ################################################################################
1927 # VPP
1928
1929 # VPP Performance Changes 3n-skx Hoststack
1930 - type: "table"
1931   title: "VPP Performance Changes 3n-skx Hoststack"
1932   algorithm: "table_comparison"
1933   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-hoststack"
1934   include-tests: "hoststack"
1935   filter: "all"
1936   columns:
1937     - title: "2110.0-8"
1938       data-set: "vpp-3n-skx-hist-iter-hoststack-new-env"
1939     - title: "2202.0-9"
1940       data-set: "vpp-3n-skx-prev-iter-hoststack-old-env"
1941     - title: "2206.0-10"
1942       data-set: "vpp-3n-skx-curr-iter-hoststack"
1943   comparisons:
1944     - title: "2206.0-10 vs 2202.0-9"
1945       reference: 2
1946       compare: 3
1947   legend:
1948     - ''
1949     - 'Test Case:            Test cases executed for: Hoststack on 3n-skx with xxv710.'
1950     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
1951     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1952     - '2206.0-10 vs 2202.0-9: Compares VPP code current vs previous.'
1953
1954 # VPP Performance Changes 2n-clx VSAP
1955 - type: "table"
1956   title: "VPP Performance Changes 2n-clx VSAP"
1957   algorithm: "table_comparison"
1958   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-vsap"
1959   include-tests: "vsap"
1960   filter: "all"
1961   columns:
1962     - title: "2110.0-8"
1963       data-set: "vpp-2n-clx-hist-iter-vsap-new-env"
1964     - title: "2202.0-9"
1965       data-set: "vpp-2n-clx-curr-iter-vsap-old-env"
1966     - title: "2022.0-10"
1967       data-set: "vpp-2n-clx-curr-iter-vsap-new-env"
1968     - title: "2206.0-10"
1969       data-set: "vpp-2n-clx-curr-iter-vsap"
1970   comparisons:
1971     - title: "2202.0-10 vs 2202.0-9"
1972       reference: 2
1973       compare: 3
1974     - title: "2206.0-10 vs 2202.0-10"
1975       reference: 3
1976       compare: 4
1977   legend:
1978     - ''
1979     - 'Test Case:            Test cases executed for: VSAP on 2n-clx with cx556a.'
1980     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
1981     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1982     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
1983     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
1984
1985 # VPP Performance Changes 3n-icx 2t1c pdr
1986 - type: "table"
1987   title: "VPP Performance Changes 3n-icx 2t1c pdr"
1988   algorithm: "table_comparison"
1989   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-icx-2t1c-pdr"
1990   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1991   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1992   columns:
1993     # - title: "2110.0-9"
1994     #   data-set: "vpp-3n-icx-hist-iter-new-env"
1995     - title: "2202.0-9"
1996       data-set: "vpp-3n-icx-prev-iter-old-env"
1997     - title: "2202.0-10"
1998       data-set: "vpp-3n-icx-prev-iter-new-env"
1999     - title: "2206.0-10"
2000       data-set: "vpp-3n-icx-curr-iter"
2001   comparisons:
2002     - title: "2202.0-10 vs 2202.0-9"
2003       reference: 1
2004       compare: 2
2005     - title: "2206.0-10 vs 2202.0-10"
2006       reference: 2
2007       compare: 3
2008   legend:
2009     - ''
2010     - 'Test Case:            Test cases executed for: PDR throughput on 3n-icx with xxv710.'
2011     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2012     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2013     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2014     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2015
2016 # VPP Performance Changes 3n-icx 4t2c pdr
2017 - type: "table"
2018   title: "VPP Performance Changes 3n-icx 4t2c pdr"
2019   algorithm: "table_comparison"
2020   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-icx-4t2c-pdr"
2021   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2022   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2023   columns:
2024     # - title: "2110.0-9"
2025     #   data-set: "vpp-3n-icx-hist-iter-new-env"
2026     - title: "2202.0-9"
2027       data-set: "vpp-3n-icx-prev-iter-old-env"
2028     - title: "2202.0-10"
2029       data-set: "vpp-3n-icx-prev-iter-new-env"
2030     - title: "2206.0-10"
2031       data-set: "vpp-3n-icx-curr-iter"
2032   comparisons:
2033     - title: "2202.0-10 vs 2202.0-9"
2034       reference: 1
2035       compare: 2
2036     - title: "2206.0-10 vs 2202.0-10"
2037       reference: 2
2038       compare: 3
2039   legend:
2040     - ''
2041     - 'Test Case:            Test cases executed for: PDR throughput on 3n-icx with xxv710.'
2042     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2043     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2044     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2045     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2046
2047 # VPP Performance Changes 3n-icx 2t1c ndr
2048 - type: "table"
2049   title: "VPP Performance Changes 3n-icx 2t1c ndr"
2050   algorithm: "table_comparison"
2051   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-icx-2t1c-ndr"
2052   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2053   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2054   columns:
2055     # - title: "2110.0-9"
2056     #   data-set: "vpp-3n-icx-hist-iter-new-env"
2057     - title: "2202.0-9"
2058       data-set: "vpp-3n-icx-prev-iter-old-env"
2059     - title: "2202.0-10"
2060       data-set: "vpp-3n-icx-prev-iter-new-env"
2061     - title: "2206.0-10"
2062       data-set: "vpp-3n-icx-curr-iter"
2063   comparisons:
2064     - title: "2202.0-10 vs 2202.0-9"
2065       reference: 1
2066       compare: 2
2067     - title: "2206.0-10 vs 2202.0-10"
2068       reference: 2
2069       compare: 3
2070   legend:
2071     - ''
2072     - 'Test Case:            Test cases executed for: PDR throughput on 3n-icx with xxv710.'
2073     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2074     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2075     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2076     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2077
2078 # VPP Performance Changes 3n-icx 4t2c ndr
2079 - type: "table"
2080   title: "VPP Performance Changes 3n-icx 4t2c ndr"
2081   algorithm: "table_comparison"
2082   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-icx-4t2c-ndr"
2083   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2084   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2085   columns:
2086     # - title: "2110.0-9"
2087     #   data-set: "vpp-3n-icx-hist-iter-new-env"
2088     - title: "2202.0-9"
2089       data-set: "vpp-3n-icx-prev-iter-old-env"
2090     - title: "2202.0-10"
2091       data-set: "vpp-3n-icx-prev-iter-new-env"
2092     - title: "2206.0-10"
2093       data-set: "vpp-3n-icx-curr-iter"
2094   comparisons:
2095     - title: "2202.0-10 vs 2202.0-9"
2096       reference: 1
2097       compare: 2
2098     - title: "2206.0-10 vs 2202.0-10"
2099       reference: 2
2100       compare: 3
2101   legend:
2102     - ''
2103     - 'Test Case:            Test cases executed for: PDR throughput on 3n-icx with xxv710.'
2104     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2105     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2106     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2107     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2108
2109 # VPP Performance Changes 2n-icx 2t1c pdr
2110 - type: "table"
2111   title: "VPP Performance Changes 2n-icx 2t1c pdr"
2112   algorithm: "table_comparison"
2113   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-icx-2t1c-pdr"
2114   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2115   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2116   columns:
2117     # - title: "2110.0-9"
2118     #   data-set: "vpp-2n-icx-hist-iter-new-env"
2119     - title: "2202.0-9"
2120       data-set: "vpp-2n-icx-prev-iter-old-env"
2121     - title: "2202.0-10"
2122       data-set: "vpp-2n-icx-prev-iter-new-env"
2123     - title: "2206.0-10"
2124       data-set: "vpp-2n-icx-curr-iter"
2125   comparisons:
2126     - title: "2202.0-10 vs 2202.0-9"
2127       reference: 1
2128       compare: 2
2129     - title: "2206.0-10 vs 2202.0-10"
2130       reference: 2
2131       compare: 3
2132   legend:
2133     - ''
2134     - 'Test Case:            Test cases executed for: PDR throughput on 2n-icx with xxv710.'
2135     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2136     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2137     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2138     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2139
2140 # VPP Performance Changes 2n-icx 4t2c pdr
2141 - type: "table"
2142   title: "VPP Performance Changes 2n-icx 4t2c pdr"
2143   algorithm: "table_comparison"
2144   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-icx-4t2c-pdr"
2145   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2146   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2147   columns:
2148     # - title: "2110.0-9"
2149     #   data-set: "vpp-2n-icx-hist-iter-new-env"
2150     - title: "2202.0-9"
2151       data-set: "vpp-2n-icx-prev-iter-old-env"
2152     - title: "2202.0-10"
2153       data-set: "vpp-2n-icx-prev-iter-new-env"
2154     - title: "2206.0-10"
2155       data-set: "vpp-2n-icx-curr-iter"
2156   comparisons:
2157     - title: "2202.0-10 vs 2202.0-9"
2158       reference: 1
2159       compare: 2
2160     - title: "2206.0-10 vs 2202.0-10"
2161       reference: 2
2162       compare: 3
2163   legend:
2164     - ''
2165     - 'Test Case:            Test cases executed for: PDR throughput on 2n-icx with xxv710.'
2166     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2167     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2168     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2169     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2170
2171 # VPP Performance Changes 2n-icx 2t1c ndr
2172 - type: "table"
2173   title: "VPP Performance Changes 2n-icx 2t1c ndr"
2174   algorithm: "table_comparison"
2175   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-icx-2t1c-ndr"
2176   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2177   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2178   columns:
2179     # - title: "2110.0-9"
2180     #   data-set: "vpp-2n-icx-hist-iter-new-env"
2181     - title: "2202.0-9"
2182       data-set: "vpp-2n-icx-prev-iter-old-env"
2183     - title: "2202.0-10"
2184       data-set: "vpp-2n-icx-prev-iter-new-env"
2185     - title: "2206.0-10"
2186       data-set: "vpp-2n-icx-curr-iter"
2187   comparisons:
2188     - title: "2202.0-10 vs 2202.0-9"
2189       reference: 1
2190       compare: 2
2191     - title: "2206.0-10 vs 2202.0-10"
2192       reference: 2
2193       compare: 3
2194   legend:
2195     - ''
2196     - 'Test Case:            Test cases executed for: PDR throughput on 2n-icx with xxv710.'
2197     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2198     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2199     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2200     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2201
2202 # VPP Performance Changes 2n-icx 4t2c ndr
2203 - type: "table"
2204   title: "VPP Performance Changes 2n-icx 4t2c ndr"
2205   algorithm: "table_comparison"
2206   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-icx-4t2c-ndr"
2207   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2208   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2209   columns:
2210     # - title: "2110.0-9"
2211     #   data-set: "vpp-2n-icx-hist-iter-new-env"
2212     - title: "2202.0-9"
2213       data-set: "vpp-2n-icx-prev-iter-old-env"
2214     - title: "2202.0-10"
2215       data-set: "vpp-2n-icx-prev-iter-new-env"
2216     - title: "2206.0-10"
2217       data-set: "vpp-2n-icx-curr-iter"
2218   comparisons:
2219     - title: "2202.0-10 vs 2202.0-9"
2220       reference: 1
2221       compare: 2
2222     - title: "2206.0-10 vs 2202.0-10"
2223       reference: 2
2224       compare: 3
2225   legend:
2226     - ''
2227     - 'Test Case:            Test cases executed for: PDR throughput on 2n-icx with xxv710.'
2228     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2229     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2230     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2231     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2232
2233 # VPP Performance Changes 3n-skx 2t1c pdr
2234 - type: "table"
2235   title: "VPP Performance Changes 3n-skx 2t1c pdr"
2236   algorithm: "table_comparison"
2237   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-pdr"
2238   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2239   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2240   columns:
2241     - title: "2110.0-9"
2242       data-set: "vpp-3n-skx-hist-iter-new-env"
2243     - title: "2202.0-9"
2244       data-set: "vpp-3n-skx-prev-iter-old-env"
2245     - title: "2202.0-10"
2246       data-set: "vpp-3n-skx-prev-iter-new-env"
2247     - title: "2206.0-10"
2248       data-set: "vpp-3n-skx-curr-iter"
2249   comparisons:
2250     - title: "2202.0-10 vs 2202.0-9"
2251       reference: 2
2252       compare: 3
2253     - title: "2206.0-10 vs 2202.0-10"
2254       reference: 3
2255       compare: 4
2256   legend:
2257     - ''
2258     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
2259     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2260     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2261     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2262     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2263
2264 # VPP Performance Changes 3n-skx 4t2c pdr
2265 - type: "table"
2266   title: "VPP Performance Changes 3n-skx 4t2c pdr"
2267   algorithm: "table_comparison"
2268   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-pdr"
2269   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2270   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2271   columns:
2272     - title: "2110.0-9"
2273       data-set: "vpp-3n-skx-hist-iter-new-env"
2274     - title: "2202.0-9"
2275       data-set: "vpp-3n-skx-prev-iter-old-env"
2276     - title: "2202.0-10"
2277       data-set: "vpp-3n-skx-prev-iter-new-env"
2278     - title: "2206.0-10"
2279       data-set: "vpp-3n-skx-curr-iter"
2280   comparisons:
2281     - title: "2202.0-10 vs 2202.0-9"
2282       reference: 2
2283       compare: 3
2284     - title: "2206.0-10 vs 2202.0-10"
2285       reference: 3
2286       compare: 4
2287   legend:
2288     - ''
2289     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
2290     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2291     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2292     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2293     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2294
2295 # VPP Performance Changes 3n-skx 2t1c ndr
2296 - type: "table"
2297   title: "VPP Performance Changes 3n-skx 2t1c ndr"
2298   algorithm: "table_comparison"
2299   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-ndr"
2300   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2301   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2302   columns:
2303     - title: "2110.0-9"
2304       data-set: "vpp-3n-skx-hist-iter-new-env"
2305     - title: "2202.0-9"
2306       data-set: "vpp-3n-skx-prev-iter-old-env"
2307     - title: "2202.0-10"
2308       data-set: "vpp-3n-skx-prev-iter-new-env"
2309     - title: "2206.0-10"
2310       data-set: "vpp-3n-skx-curr-iter"
2311   comparisons:
2312     - title: "2202.0-10 vs 2202.0-9"
2313       reference: 2
2314       compare: 3
2315     - title: "2206.0-10 vs 2202.0-10"
2316       reference: 3
2317       compare: 4
2318   legend:
2319     - ''
2320     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
2321     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2322     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2323     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2324     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2325
2326 # VPP Performance Changes 3n-skx 4t2c ndr
2327 - type: "table"
2328   title: "VPP Performance Changes 3n-skx 4t2c ndr"
2329   algorithm: "table_comparison"
2330   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-ndr"
2331   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2332   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2333   columns:
2334     - title: "2110.0-9"
2335       data-set: "vpp-3n-skx-hist-iter-new-env"
2336     - title: "2202.0-9"
2337       data-set: "vpp-3n-skx-prev-iter-old-env"
2338     - title: "2202.0-10"
2339       data-set: "vpp-3n-skx-prev-iter-new-env"
2340     - title: "2206.0-10"
2341       data-set: "vpp-3n-skx-curr-iter"
2342   comparisons:
2343     - title: "2202.0-10 vs 2202.0-9"
2344       reference: 2
2345       compare: 3
2346     - title: "2206.0-10 vs 2202.0-10"
2347       reference: 3
2348       compare: 4
2349   legend:
2350     - ''
2351     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
2352     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2353     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2354     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2355     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2356
2357 # VPP Performance Changes 2n-skx 2t1c pdr
2358 - type: "table"
2359   title: "VPP Performance Changes 2n-skx 2t1c pdr"
2360   algorithm: "table_comparison"
2361   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-pdr"
2362   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2363   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2364   columns:
2365     - title: "2110.0-9"
2366       data-set: "vpp-2n-skx-hist-iter-new-env"
2367     - title: "2202.0-9"
2368       data-set: "vpp-2n-skx-prev-iter-old-env"
2369     - title: "2202.0-10"
2370       data-set: "vpp-2n-skx-prev-iter-new-env"
2371     - title: "2206.0-10"
2372       data-set: "vpp-2n-skx-curr-iter"
2373   comparisons:
2374     - title: "2202.0-10 vs 2202.0-9"
2375       reference: 2
2376       compare: 3
2377     - title: "2206.0-10 vs 2202.0-10"
2378       reference: 3
2379       compare: 4
2380   legend:
2381     - ''
2382     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
2383     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2384     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2385     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2386     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2387
2388 # VPP Performance Changes 2n-skx 4t2c pdr
2389 - type: "table"
2390   title: "VPP Performance Changes 2n-skx 4t2c pdr"
2391   algorithm: "table_comparison"
2392   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-pdr"
2393   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2394   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2395   columns:
2396     - title: "2110.0-9"
2397       data-set: "vpp-2n-skx-hist-iter-new-env"
2398     - title: "2202.0-9"
2399       data-set: "vpp-2n-skx-prev-iter-old-env"
2400     - title: "2202.0-10"
2401       data-set: "vpp-2n-skx-prev-iter-new-env"
2402     - title: "2206.0-10"
2403       data-set: "vpp-2n-skx-curr-iter"
2404   comparisons:
2405     - title: "2202.0-10 vs 2202.0-9"
2406       reference: 2
2407       compare: 3
2408     - title: "2206.0-10 vs 2202.0-10"
2409       reference: 3
2410       compare: 4
2411   legend:
2412     - ''
2413     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
2414     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2415     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2416     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2417     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2418
2419 # VPP Performance Changes 2n-skx 2t1c ndr
2420 - type: "table"
2421   title: "VPP Performance Changes 2n-skx 2t1c ndr"
2422   algorithm: "table_comparison"
2423   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-ndr"
2424   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2425   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2426   columns:
2427     - title: "2110.0-9"
2428       data-set: "vpp-2n-skx-hist-iter-new-env"
2429     - title: "2202.0-9"
2430       data-set: "vpp-2n-skx-prev-iter-old-env"
2431     - title: "2202.0-10"
2432       data-set: "vpp-2n-skx-prev-iter-new-env"
2433     - title: "2206.0-10"
2434       data-set: "vpp-2n-skx-curr-iter"
2435   comparisons:
2436     - title: "2202.0-10 vs 2202.0-9"
2437       reference: 2
2438       compare: 3
2439     - title: "2206.0-10 vs 2202.0-10"
2440       reference: 3
2441       compare: 4
2442   legend:
2443     - ''
2444     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
2445     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2446     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2447     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2448     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2449
2450 # VPP Performance Changes 2n-skx 4t2c ndr
2451 - type: "table"
2452   title: "VPP Performance Changes 2n-skx 4t2c ndr"
2453   algorithm: "table_comparison"
2454   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-ndr"
2455   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2456   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2457   columns:
2458     - title: "2110.0-9"
2459       data-set: "vpp-2n-skx-hist-iter-new-env"
2460     - title: "2202.0-9"
2461       data-set: "vpp-2n-skx-prev-iter-old-env"
2462     - title: "2202.0-10"
2463       data-set: "vpp-2n-skx-prev-iter-new-env"
2464     - title: "2206.0-10"
2465       data-set: "vpp-2n-skx-curr-iter"
2466   comparisons:
2467     - title: "2202.0-10 vs 2202.0-9"
2468       reference: 2
2469       compare: 3
2470     - title: "2206.0-10 vs 2202.0-10"
2471       reference: 3
2472       compare: 4
2473   legend:
2474     - ''
2475     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
2476     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2477     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2478     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2479     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2480
2481 # VPP Performance Changes 2n-clx-xxv710 2t1c pdr
2482 - type: "table"
2483   title: "VPP Performance Changes 2n-clx-xxv710 2t1c pdr"
2484   algorithm: "table_comparison"
2485   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-xxv710-2t1c-pdr"
2486   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2487   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2488   columns:
2489     - title: "2110.0-9"
2490       data-set: "vpp-2n-clx-hist-iter-new-env"
2491     - title: "2202.0-9"
2492       data-set: "vpp-2n-clx-prev-iter-old-env"
2493     - title: "2202.0-10"
2494       data-set: "vpp-2n-clx-prev-iter-new-env"
2495     - title: "2206.0-10"
2496       data-set: "vpp-2n-clx-curr-iter"
2497   comparisons:
2498     - title: "2202.0-10 vs 2202.0-9"
2499       reference: 2
2500       compare: 3
2501     - title: "2206.0-10 vs 2202.0-10"
2502       reference: 3
2503       compare: 4
2504   legend:
2505     - ''
2506     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
2507     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2508     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2509     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2510     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2511
2512 # VPP Performance Changes 2n-clx-xxv710 4t2c pdr
2513 - type: "table"
2514   title: "VPP Performance Changes 2n-clx-xxv710 4t2c pdr"
2515   algorithm: "table_comparison"
2516   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-xxv710-4t2c-pdr"
2517   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2518   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2519   columns:
2520     - title: "2110.0-9"
2521       data-set: "vpp-2n-clx-hist-iter-new-env"
2522     - title: "2202.0-9"
2523       data-set: "vpp-2n-clx-prev-iter-old-env"
2524     - title: "2202.0-10"
2525       data-set: "vpp-2n-clx-prev-iter-new-env"
2526     - title: "2206.0-10"
2527       data-set: "vpp-2n-clx-curr-iter"
2528   comparisons:
2529     - title: "2202.0-10 vs 2202.0-9"
2530       reference: 2
2531       compare: 3
2532     - title: "2206.0-10 vs 2202.0-10"
2533       reference: 3
2534       compare: 4
2535   legend:
2536     - ''
2537     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
2538     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2539     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2540     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2541     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2542
2543 # VPP Performance Changes 2n-clx-xxv710 2t1c ndr
2544 - type: "table"
2545   title: "VPP Performance Changes 2n-clx-xxv710 2t1c ndr"
2546   algorithm: "table_comparison"
2547   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-xxv710-2t1c-ndr"
2548   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2549   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2550   columns:
2551     - title: "2110.0-9"
2552       data-set: "vpp-2n-clx-hist-iter-new-env"
2553     - title: "2202.0-9"
2554       data-set: "vpp-2n-clx-prev-iter-old-env"
2555     - title: "2202.0-10"
2556       data-set: "vpp-2n-clx-prev-iter-new-env"
2557     - title: "2206.0-10"
2558       data-set: "vpp-2n-clx-curr-iter"
2559   comparisons:
2560     - title: "2202.0-10 vs 2202.0-9"
2561       reference: 2
2562       compare: 3
2563     - title: "2206.0-10 vs 2202.0-10"
2564       reference: 3
2565       compare: 4
2566   legend:
2567     - ''
2568     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
2569     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2570     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2571     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2572     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2573
2574 # VPP Performance Changes 2n-clx-xxv710 4t2c ndr
2575 - type: "table"
2576   title: "VPP Performance Changes 2n-clx-xxv710 ndr"
2577   algorithm: "table_comparison"
2578   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-xxv710-4t2c-ndr"
2579   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2580   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2581   columns:
2582     - title: "2110.0-9"
2583       data-set: "vpp-2n-clx-hist-iter-new-env"
2584     - title: "2202.0-9"
2585       data-set: "vpp-2n-clx-prev-iter-old-env"
2586     - title: "2202.0-10"
2587       data-set: "vpp-2n-clx-prev-iter-new-env"
2588     - title: "2206.0-10"
2589       data-set: "vpp-2n-clx-curr-iter"
2590   comparisons:
2591     - title: "2202.0-10 vs 2202.0-9"
2592       reference: 2
2593       compare: 3
2594     - title: "2206.0-10 vs 2202.0-10"
2595       reference: 3
2596       compare: 4
2597   legend:
2598     - ''
2599     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
2600     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2601     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2602     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2603     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2604
2605 # VPP Performance Changes 2n-clx-cx556a 2t1c pdr
2606 - type: "table"
2607   title: "VPP Performance Changes 2n-clx-cx556a 2t1c pdr"
2608   algorithm: "table_comparison"
2609   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-cx556a-2t1c-pdr"
2610   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2611   filter: "'2T1C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
2612   columns:
2613     - title: "2110.0-9"
2614       data-set: "vpp-2n-clx-hist-iter-new-env"
2615     - title: "2202.0-9"
2616       data-set: "vpp-2n-clx-prev-iter-old-env"
2617     - title: "2202.0-10"
2618       data-set: "vpp-2n-clx-prev-iter-new-env"
2619     - title: "2206.0-10"
2620       data-set: "vpp-2n-clx-curr-iter"
2621   comparisons:
2622     - title: "2202.0-10 vs 2202.0-9"
2623       reference: 2
2624       compare: 3
2625     - title: "2206.0-10 vs 2202.0-10"
2626       reference: 3
2627       compare: 4
2628   legend:
2629     - ''
2630     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
2631     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2632     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2633     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2634     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2635
2636 # VPP Performance Changes 2n-clx-cx556a 4t2c pdr
2637 - type: "table"
2638   title: "VPP Performance Changes 2n-clx-cx556a 4t2c pdr"
2639   algorithm: "table_comparison"
2640   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-cx556a-4t2c-pdr"
2641   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2642   filter: "'4T2C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
2643   columns:
2644     - title: "2110.0-9"
2645       data-set: "vpp-2n-clx-hist-iter-new-env"
2646     - title: "2202.0-9"
2647       data-set: "vpp-2n-clx-prev-iter-old-env"
2648     - title: "2202.0-10"
2649       data-set: "vpp-2n-clx-prev-iter-new-env"
2650     - title: "2206.0-10"
2651       data-set: "vpp-2n-clx-curr-iter"
2652   comparisons:
2653     - title: "2202.0-10 vs 2202.0-9"
2654       reference: 2
2655       compare: 3
2656     - title: "2206.0-10 vs 2202.0-10"
2657       reference: 3
2658       compare: 4
2659   legend:
2660     - ''
2661     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
2662     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2663     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2664     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2665     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2666
2667 # VPP Performance Changes 2n-clx-cx556a 2t1c ndr
2668 - type: "table"
2669   title: "VPP Performance Changes 2n-clx-cx556a 2t1c ndr"
2670   algorithm: "table_comparison"
2671   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-cx556a-2t1c-ndr"
2672   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2673   filter: "'2T1C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
2674   columns:
2675     - title: "2110.0-9"
2676       data-set: "vpp-2n-clx-hist-iter-new-env"
2677     - title: "2202.0-9"
2678       data-set: "vpp-2n-clx-prev-iter-old-env"
2679     - title: "2202.0-10"
2680       data-set: "vpp-2n-clx-prev-iter-new-env"
2681     - title: "2206.0-10"
2682       data-set: "vpp-2n-clx-curr-iter"
2683   comparisons:
2684     - title: "2202.0-10 vs 2202.0-9"
2685       reference: 2
2686       compare: 3
2687     - title: "2206.0-10 vs 2202.0-10"
2688       reference: 3
2689       compare: 4
2690   legend:
2691     - ''
2692     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
2693     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2694     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2695     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2696     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2697
2698 # VPP Performance Changes 2n-clx-cx556a 4t2c ndr
2699 - type: "table"
2700   title: "VPP Performance Changes 2n-clx-cx556a ndr"
2701   algorithm: "table_comparison"
2702   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-cx556a-4t2c-ndr"
2703   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2704   filter: "'4T2C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
2705   columns:
2706     - title: "2110.0-9"
2707       data-set: "vpp-2n-clx-hist-iter-new-env"
2708     - title: "2202.0-9"
2709       data-set: "vpp-2n-clx-prev-iter-old-env"
2710     - title: "2202.0-10"
2711       data-set: "vpp-2n-clx-prev-iter-new-env"
2712     - title: "2206.0-10"
2713       data-set: "vpp-2n-clx-curr-iter"
2714   comparisons:
2715     - title: "2202.0-10 vs 2202.0-9"
2716       reference: 2
2717       compare: 3
2718     - title: "2206.0-10 vs 2202.0-10"
2719       reference: 3
2720       compare: 4
2721   legend:
2722     - ''
2723     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
2724     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2725     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2726     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2727     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2728
2729 # VPP Performance Changes 2n-zn2-xxv710 2t1c pdr
2730 - type: "table"
2731   title: "VPP Performance Changes 2n-zn2-xxv710 2t1c pdr"
2732   algorithm: "table_comparison"
2733   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-zn2-xxv710-2t1c-pdr"
2734   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2735   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
2736   columns:
2737     - title: "2110.0-9"
2738       data-set: "vpp-2n-zn2-hist-iter-new-env"
2739     - title: "2202.0-9"
2740       data-set: "vpp-2n-zn2-prev-iter-old-env"
2741     - title: "2202.0-10"
2742       data-set: "vpp-2n-zn2-prev-iter-new-env"
2743     - title: "2206.0-10"
2744       data-set: "vpp-2n-zn2-curr-iter"
2745   comparisons:
2746     - title: "2202.0-10 vs 2202.0-9"
2747       reference: 2
2748       compare: 3
2749     - title: "2206.0-10 vs 2202.0-10"
2750       reference: 3
2751       compare: 4
2752   legend:
2753     - ''
2754     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
2755     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2756     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2757     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2758     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2759
2760 # VPP Performance Changes 2n-zn2-xxv710 4t2c pdr
2761 - type: "table"
2762   title: "VPP Performance Changes 2n-zn2-xxv710 4t2c pdr"
2763   algorithm: "table_comparison"
2764   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-zn2-xxv710-4t2c-pdr"
2765   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2766   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
2767   columns:
2768     - title: "2110.0-9"
2769       data-set: "vpp-2n-zn2-hist-iter-new-env"
2770     - title: "2202.0-9"
2771       data-set: "vpp-2n-zn2-prev-iter-old-env"
2772     - title: "2202.0-10"
2773       data-set: "vpp-2n-zn2-prev-iter-new-env"
2774     - title: "2206.0-10"
2775       data-set: "vpp-2n-zn2-curr-iter"
2776   comparisons:
2777     - title: "2202.0-10 vs 2202.0-9"
2778       reference: 2
2779       compare: 3
2780     - title: "2206.0-10 vs 2202.0-10"
2781       reference: 3
2782       compare: 4
2783   legend:
2784     - ''
2785     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
2786     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2787     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2788     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2789     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2790
2791 # VPP Performance Changes 2n-zn2-xxv710 2t1c ndr
2792 - type: "table"
2793   title: "VPP Performance Changes 2n-zn2-xxv710 2t1c ndr"
2794   algorithm: "table_comparison"
2795   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-zn2-xxv710-2t1c-ndr"
2796   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2797   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
2798   columns:
2799     - title: "2110.0-9"
2800       data-set: "vpp-2n-zn2-hist-iter-new-env"
2801     - title: "2202.0-9"
2802       data-set: "vpp-2n-zn2-prev-iter-old-env"
2803     - title: "2202.0-10"
2804       data-set: "vpp-2n-zn2-prev-iter-new-env"
2805     - title: "2206.0-10"
2806       data-set: "vpp-2n-zn2-curr-iter"
2807   comparisons:
2808     - title: "2202.0-10 vs 2202.0-9"
2809       reference: 2
2810       compare: 3
2811     - title: "2206.0-10 vs 2202.0-10"
2812       reference: 3
2813       compare: 4
2814   legend:
2815     - ''
2816     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
2817     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2818     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2819     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2820     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2821
2822 # VPP Performance Changes 2n-zn2-xxv710 4t2c ndr
2823 - type: "table"
2824   title: "VPP Performance Changes 2n-zn2-xxv710 4t2c ndr"
2825   algorithm: "table_comparison"
2826   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-zn2-xxv710-4t2c-ndr"
2827   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2828   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
2829   columns:
2830     - title: "2110.0-9"
2831       data-set: "vpp-2n-zn2-hist-iter-new-env"
2832     - title: "2202.0-9"
2833       data-set: "vpp-2n-zn2-prev-iter-old-env"
2834     - title: "2202.0-10"
2835       data-set: "vpp-2n-zn2-prev-iter-new-env"
2836     - title: "2206.0-10"
2837       data-set: "vpp-2n-zn2-curr-iter"
2838   comparisons:
2839     - title: "2202.0-10 vs 2202.0-9"
2840       reference: 2
2841       compare: 3
2842     - title: "2206.0-10 vs 2202.0-10"
2843       reference: 3
2844       compare: 4
2845   legend:
2846     - ''
2847     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
2848     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2849     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2850     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2851     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2852
2853 # VPP Performance Changes 2n-dnv 1t1c pdr
2854 - type: "table"
2855   title: "VPP Performance Changes 2n-dnv 1t1c pdr"
2856   algorithm: "table_comparison"
2857   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-dnv-1t1c-pdr"
2858   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2859   filter: "'1T1C'"
2860   columns:
2861     - title: "2110.0-9"
2862       data-set: "vpp-2n-dnv-hist-iter-new-env"
2863     - title: "2202.0-9"
2864       data-set: "vpp-2n-dnv-prev-iter-old-env"
2865     - title: "2202.0-10"
2866       data-set: "vpp-2n-dnv-prev-iter-new-env"
2867     - title: "2206.0-10"
2868       data-set: "vpp-2n-dnv-curr-iter"
2869   comparisons:
2870     - title: "2202.0-10 vs 2202.0-9"
2871       reference: 2
2872       compare: 3
2873     - title: "2206.0-10 vs 2202.0-10"
2874       reference: 3
2875       compare: 4
2876   legend:
2877     - ''
2878     - 'Test Case:            Test cases executed for: PDR throughput on 2n-dnv with x553.'
2879     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2880     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2881     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2882     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2883
2884 # VPP Performance Changes 2n-dnv 2t2c pdr
2885 - type: "table"
2886   title: "VPP Performance Changes 2n-dnv 2t2c pdr"
2887   algorithm: "table_comparison"
2888   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-dnv-2t2c-pdr"
2889   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2890   filter: "'2T2C'"
2891   columns:
2892     - title: "2110.0-9"
2893       data-set: "vpp-2n-dnv-hist-iter-new-env"
2894     - title: "2202.0-9"
2895       data-set: "vpp-2n-dnv-prev-iter-old-env"
2896     - title: "2202.0-10"
2897       data-set: "vpp-2n-dnv-prev-iter-new-env"
2898     - title: "2206.0-10"
2899       data-set: "vpp-2n-dnv-curr-iter"
2900   comparisons:
2901     - title: "2202.0-10 vs 2202.0-9"
2902       reference: 2
2903       compare: 3
2904     - title: "2206.0-10 vs 2202.0-10"
2905       reference: 3
2906       compare: 4
2907   legend:
2908     - ''
2909     - 'Test Case:            Test cases executed for: PDR throughput on 2n-dnv with x553.'
2910     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2911     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2912     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2913     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2914
2915 # VPP Performance Changes 2n-dnv 1t1c ndr
2916 - type: "table"
2917   title: "VPP Performance Changes 2n-dnv 1t1c ndr"
2918   algorithm: "table_comparison"
2919   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-dnv-1t1c-ndr"
2920   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2921   filter: "'1T1C'"
2922   columns:
2923     - title: "2110.0-9"
2924       data-set: "vpp-2n-dnv-hist-iter-new-env"
2925     - title: "2202.0-9"
2926       data-set: "vpp-2n-dnv-prev-iter-old-env"
2927     - title: "2202.0-10"
2928       data-set: "vpp-2n-dnv-prev-iter-new-env"
2929     - title: "2206.0-10"
2930       data-set: "vpp-2n-dnv-curr-iter"
2931   comparisons:
2932     - title: "2202.0-10 vs 2202.0-9"
2933       reference: 2
2934       compare: 3
2935     - title: "2206.0-10 vs 2202.0-10"
2936       reference: 3
2937       compare: 4
2938   legend:
2939     - ''
2940     - 'Test Case:            Test cases executed for: PDR throughput on 2n-dnv with x553.'
2941     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2942     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2943     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2944     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2945
2946 # VPP Performance Changes 2n-dnv 2t2c ndr
2947 - type: "table"
2948   title: "VPP Performance Changes 2n-dnv 2t2c ndr"
2949   algorithm: "table_comparison"
2950   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-dnv-2t2c-ndr"
2951   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2952   filter: "'2T2C'"
2953   columns:
2954     - title: "2110.0-9"
2955       data-set: "vpp-2n-dnv-hist-iter-new-env"
2956     - title: "2202.0-9"
2957       data-set: "vpp-2n-dnv-prev-iter-old-env"
2958     - title: "2202.0-10"
2959       data-set: "vpp-2n-dnv-prev-iter-new-env"
2960     - title: "2206.0-10"
2961       data-set: "vpp-2n-dnv-curr-iter"
2962   comparisons:
2963     - title: "2202.0-10 vs 2202.0-9"
2964       reference: 2
2965       compare: 3
2966     - title: "2206.0-10 vs 2202.0-10"
2967       reference: 3
2968       compare: 4
2969   legend:
2970     - ''
2971     - 'Test Case:            Test cases executed for: PDR throughput on 2n-dnv with x553.'
2972     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2973     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2974     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2975     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2976
2977 # VPP Performance Changes 3n-dnv 1t1c pdr
2978 - type: "table"
2979   title: "VPP Performance Changes 3n-dnv 1t1c pdr"
2980   algorithm: "table_comparison"
2981   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-dnv-1t1c-pdr"
2982   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2983   filter: "'1T1C'"
2984   columns:
2985     - title: "2110.0-9"
2986       data-set: "vpp-3n-dnv-hist-iter-new-env"
2987     - title: "2202.0-9"
2988       data-set: "vpp-3n-dnv-prev-iter-old-env"
2989     - title: "2202.0-10"
2990       data-set: "vpp-3n-dnv-prev-iter-new-env"
2991     - title: "2206.0-10"
2992       data-set: "vpp-3n-dnv-curr-iter"
2993   comparisons:
2994     - title: "2202.0-10 vs 2202.0-9"
2995       reference: 2
2996       compare: 3
2997     - title: "2206.0-10 vs 2202.0-10"
2998       reference: 3
2999       compare: 4
3000   legend:
3001     - ''
3002     - 'Test Case:            Test cases executed for: PDR throughput on 3n-dnv with x553.'
3003     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
3004     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
3005     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
3006     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
3007
3008 # VPP Performance Changes 3n-dnv 2t2c pdr
3009 - type: "table"
3010   title: "VPP Performance Changes 3n-dnv 2t2c pdr"
3011   algorithm: "table_comparison"
3012   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-dnv-2t2c-pdr"
3013   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3014   filter: "'2T2C'"
3015   columns:
3016     - title: "2110.0-9"
3017       data-set: "vpp-3n-dnv-hist-iter-new-env"
3018     - title: "2202.0-9"
3019       data-set: "vpp-3n-dnv-prev-iter-old-env"
3020     - title: "2202.0-10"
3021       data-set: "vpp-3n-dnv-prev-iter-new-env"
3022     - title: "2206.0-10"
3023       data-set: "vpp-3n-dnv-curr-iter"
3024   comparisons:
3025     - title: "2202.0-10 vs 2202.0-9"
3026       reference: 2
3027       compare: 3
3028     - title: "2206.0-10 vs 2202.0-10"
3029       reference: 3
3030       compare: 4
3031   legend:
3032     - ''
3033     - 'Test Case:            Test cases executed for: PDR throughput on 3n-dnv with x553.'
3034     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
3035     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
3036     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
3037     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
3038
3039 # VPP Performance Changes 3n-dnv 1t1c ndr
3040 - type: "table"
3041   title: "VPP Performance Changes 3n-dnv 1t1c ndr"
3042   algorithm: "table_comparison"
3043   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-dnv-1t1c-ndr"
3044   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
3045   filter: "'1T1C'"
3046   columns:
3047     - title: "2110.0-9"
3048       data-set: "vpp-3n-dnv-hist-iter-new-env"
3049     - title: "2202.0-9"
3050       data-set: "vpp-3n-dnv-prev-iter-old-env"
3051     - title: "2202.0-10"
3052       data-set: "vpp-3n-dnv-prev-iter-new-env"
3053     - title: "2206.0-10"
3054       data-set: "vpp-3n-dnv-curr-iter"
3055   comparisons:
3056<