Report: Add rc2 data
[csit.git] / resources / tools / presentation / specifications / report / elements.yaml
1 ################################################################################
2 ###                               T A B L E S                                ###
3 ################################################################################
4
5 # Statistics: job-specs' durations
6
7 - type: "table"
8   title: "Job Specification Duration: 2n-icx-iterative"
9   algorithm: "table_job_spec_duration"
10   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-icx-iter"
11   jb-type: "iterative"
12   lines:
13     - job-spec: "vpp-mrr-00"
14       data-set: "vpp-2n-icx-curr-iter-mrr"
15     - job-spec: "vpp-mlr-00"
16       data-set: "vpp-2n-icx-curr-iter"
17     - job-spec: "vpp-gso-mrr-00"
18       data-set: "vpp-2n-icx-curr-iter-gso"
19     - job-spec: "soak-00"
20       data-set: "vpp-2n-icx-curr-soak"
21     - job-spec: "nfv-density-mrr-00"
22       data-set: "vpp-2n-icx-curr-nfv-mrr"
23     - job-spec: "nfv-density-mlr-00"
24       data-set: "vpp-2n-icx-curr-nfv-ndrpdr"
25     - job-spec: "reconf-00"
26       data-set: "vpp-2n-icx-curr-nfv-reconf"
27     - job-spec: "dpdk-mlr-00"
28       data-set: "dpdk-2n-icx-curr-iter"
29
30 # - type: "table"
31 #   title: "Job Specification Duration: 2n-icx-coverage"
32 #   algorithm: "table_job_spec_duration"
33 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-icx-cov"
34 #   jb-type: "coverage"
35 #   data: "vpp-2n-icx-curr-cov"
36 #   lines:
37 #     - job-spec: "gso-00"
38 #       build: "1"
39 #     - job-spec: "ip4-00"
40 #       build: "2"
41 #     - job-spec: "ip4-01"
42 #       build: "3"
43 #     - job-spec: "ip4-02"
44 #       build: "4"
45 #     - job-spec: "ip4-03"
46 #       build: "5"
47 #     - job-spec: "ip4-04"
48 #       build: "6"
49 #     - job-spec: "ip4-05"
50 #       build: "7"
51 #     - job-spec: "ip4-06"
52 #       build: "8"
53 #     - job-spec: "ip4-07"
54 #       build: "9"
55 #     - job-spec: "ip4tun-00"
56 #       build: "10"
57 #     - job-spec: "ip6-00"
58 #       build: "11"
59 #     - job-spec: "ip6-01"
60 #       build: "12"
61 #     - job-spec: "l2-00"
62 #       build: "13"
63 #     - job-spec: "l2-01"
64 #       build: "14"
65 #     - job-spec: "lb-00"
66 #       build: "15"
67 #     - job-spec: "memif-00"
68 #       build: "16"
69 #     - job-spec: "vhost-00"
70 #       build: "17"
71
72 - type: "table"
73   title: "Job Specification Duration: 3n-icx-iterative"
74   algorithm: "table_job_spec_duration"
75   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-icx-iter"
76   jb-type: "iterative"
77   lines:
78     - job-spec: "vpp-mrr-00"
79       data-set: "vpp-3n-icx-curr-iter-mrr"
80     - job-spec: "vpp-mlr-00"
81       data-set: "vpp-3n-icx-curr-iter"
82     - job-spec: "dpdk-mlr-00"
83       data-set: "dpdk-3n-icx-curr-iter"
84
85 # - type: "table"
86 #   title: "Job Specification Duration: 3n-icx-coverage"
87 #   algorithm: "table_job_spec_duration"
88 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-icx-cov"
89 #   jb-type: "coverage"
90 #   data: "vpp-3n-icx-curr-cov"
91 #   lines:
92 #     - job-spec: "crypto-00"
93 #       build: "35"
94 #     - job-spec: "crypto-01"
95 #       build: "36"
96 #     - job-spec: "crypto-02"
97 #       build: "37"
98 #     - job-spec: "crypto-03"  # Completly failed
99 #       build: "70"
100 #     - job-spec: "crypto-04"
101 #       build: "38"
102 #     - job-spec: "ip4-00"
103 #       build: "39"
104 #     - job-spec: "ip4-01"
105 #       build: "40"
106 #     - job-spec: "ip4-02"
107 #       build: "41"
108 #     - job-spec: "ip4-03"
109 #       build: "42"
110 #     - job-spec: "ip4-04"
111 #       build: "43"
112 #     - job-spec: "ip4-05"
113 #       build: "44"
114 #     - job-spec: "ip4-06"
115 #       build: "45"
116 #     - job-spec: "ip4-07"
117 #       build: "46"
118 #     - job-spec: "ip4tun-00"
119 #       build: "47"
120 #     - job-spec: "ip4tun-02"
121 #       build: "48"
122 #     - job-spec: "ip6-00"
123 #       build: "49"
124 #     - job-spec: "ip6-01"
125 #       build: "50"
126 #     - job-spec: "ip6tun-00"
127 #       build: "71"
128 #     - job-spec: "l2-00"
129 #       build: "52"
130 #     - job-spec: "l2-01"
131 #       build: "53"
132 #     - job-spec: "l2-02"
133 #       build: "68"
134 #     - job-spec: "l2-03"
135 #       build: "55"
136 #     - job-spec: "l2-04"
137 #       build: "56"
138 #     - job-spec: "l2-05"
139 #       build: "57"
140 #     - job-spec: "l2-06"
141 #       build: "58"
142 #     - job-spec: "l2-07"
143 #       build: "59"
144 #     - job-spec: "l2-08"
145 #       build: "60"
146 #     - job-spec: "l2-09"
147 #       build: "61"
148 #     - job-spec: "l2-10"
149 #       build: "69"
150 #     - job-spec: "memif-00"
151 #       build: "63"
152 #     - job-spec: "srv6-00"
153 #       build: "64"
154 #     - job-spec: "srv6-01"
155 #       build: "65"
156 #     - job-spec: "vhost-00"
157 #       build: "66"
158 #     - job-spec: "vhost-01"
159 #       build: "67"
160
161 - type: "table"
162   title: "Job Specification Duration: 2n-clx-iterative"
163   algorithm: "table_job_spec_duration"
164   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-clx-iter"
165   jb-type: "iterative"
166   lines:
167     - job-spec: "vpp-mrr-00"
168       data-set: "vpp-2n-clx-curr-iter-mrr"
169     - job-spec: "vpp-mlr-00"
170       data-set: "vpp-2n-clx-curr-iter"
171     - job-spec: "vpp-gso-mrr-00"
172       data-set: "vpp-2n-clx-curr-iter-gso"
173     - job-spec: "soak-00"
174       data-set: "vpp-2n-clx-curr-soak"
175     - job-spec: "vsap-00"
176       data-set: "vpp-2n-clx-curr-iter-vsap"
177     - job-spec: "nfv-density-mrr-00"
178       data-set: "vpp-2n-clx-curr-nfv-mrr"
179     - job-spec: "nfv-density-mlr-00"
180       data-set: "vpp-2n-clx-curr-nfv-ndrpdr"
181     - job-spec: "reconf-00"
182       data-set: "vpp-2n-clx-curr-nfv-reconf"
183     - job-spec: "dpdk-mlr-00"
184       data-set: "dpdk-2n-clx-curr-iter"
185
186 # - type: "table"
187 #   title: "Job Specification Duration: 2n-clx-coverage"
188 #   algorithm: "table_job_spec_duration"
189 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-clx-cov"
190 #   jb-type: "coverage"
191 #   data: "vpp-2n-clx-curr-cov"
192 #   lines:
193 #     - job-spec: "gso-00"
194 #       build: "18"
195 #     - job-spec: "ip4-00"
196 #       build: "19"
197 #     - job-spec: "ip4-01"
198 #       build: "20"
199 #     - job-spec: "ip4-02"
200 #       build: "21"
201 #     - job-spec: "ip4-03"
202 #       build: "22"
203 #     - job-spec: "ip4-04"
204 #       build: "23"
205 #     - job-spec: "ip4-05"
206 #       build: "24"
207 #     - job-spec: "ip4-06"
208 #       build: "25"
209 #     - job-spec: "ip4-07"
210 #       build: "26"
211 #     - job-spec: "ip4tun-00"
212 #       build: "27"
213 #     - job-spec: "ip6-00"
214 #       build: "28"
215 #     - job-spec: "ip6-01"
216 #       build: "29"
217 #     - job-spec: "l2-00"
218 #       build: "30"
219 #     - job-spec: "l2-01"
220 #       build: "31"
221 #     - job-spec: "lb-00"
222 #       build: "32"
223 #     - job-spec: "memif-00"
224 #       build: "33"
225 #     - job-spec: "vhost-00"
226 #       build: "34"
227
228 - type: "table"
229   title: "Job Specification Duration: 2n-dnv-iterative"
230   algorithm: "table_job_spec_duration"
231   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-dnv-iter"
232   jb-type: "iterative"
233   lines:
234     - job-spec: "vpp-mrr-00"
235       data-set: "vpp-2n-dnv-curr-iter-mrr"
236     - job-spec: "vpp-mlr-00"
237       data-set: "vpp-2n-dnv-curr-iter"
238
239 # - type: "table"
240 #   title: "Job Specification Duration: 2n-dnv-coverage"
241 #   algorithm: "table_job_spec_duration"
242 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-dnv-cov"
243 #   jb-type: "coverage"
244 #   data: "vpp-2n-dnv-curr-cov"
245 #   lines:
246 #     - job-spec: "ip4-00"
247 #       build: "7"
248 #     - job-spec: "ip4-01"
249 #       build: "8"
250 #     - job-spec: "ip6-00"
251 #       build: "14"
252 #     - job-spec: "ip6-01"
253 #       build: "10"
254 #     - job-spec: "l2-00"
255 #       build: "11"
256 #     - job-spec: "l2-01"
257 #       build: "12"
258
259 - type: "table"
260   title: "Job Specification Duration: 2n-aws-iterative"
261   algorithm: "table_job_spec_duration"
262   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-aws-iter"
263   jb-type: "iterative"
264   lines:
265     - job-spec: "vpp-mrr-00"
266       data-set: "vpp-2n-aws-curr-iter-mrr"
267     - job-spec: "vpp-mlr-00"
268       data-set: "vpp-2n-aws-curr-iter"
269
270 # - type: "table"
271 #   title: "Job Specification Duration: 2n-aws-coverage"
272 #   algorithm: "table_job_spec_duration"
273 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-aws-cov"
274 #   jb-type: "coverage"
275 #   data: "vpp-2n-aws-curr-cov"
276 #   lines:
277 #     - job-spec: "vpp-00"
278 #       build: "1"
279
280 # - type: "table"
281 #   title: "Job Specification Duration: 3n-aws-iterative"
282 #   algorithm: "table_job_spec_duration"
283 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-aws-iter"
284 #   jb-type: "iterative"
285 #   lines:
286 #     - job-spec: "vpp-mrr-00"
287 #       data-set: "vpp-3n-aws-curr-iter-mrr"
288 #     - job-spec: "vpp-mlr-00"
289 #       data-set: "vpp-3n-aws-curr-iter"
290
291 # - type: "table"
292 #   title: "Job Specification Duration: 3n-aws-coverage"
293 #   algorithm: "table_job_spec_duration"
294 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-aws-cov"
295 #   jb-type: "coverage"
296 #   data: "vpp-3n-aws-curr-cov"
297 #   lines:
298 #     - job-spec: "vpp-00"
299 #       build: "1"
300
301 - type: "table"
302   title: "Job Specification Duration: 2n-skx-iterative"
303   algorithm: "table_job_spec_duration"
304   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-skx-iter"
305   jb-type: "iterative"
306   lines:
307     - job-spec: "vpp-mrr-00"
308       data-set: "vpp-2n-skx-curr-iter-mrr"
309     - job-spec: "vpp-mlr-00"
310       data-set: "vpp-2n-skx-curr-iter"
311     - job-spec: "vpp-gso-mrr-00"
312       data-set: "vpp-2n-skx-curr-iter-gso"
313     - job-spec: "soak-00"
314       data-set: "vpp-2n-skx-curr-soak"
315     - job-spec: "nfv-density-mrr-00"
316       data-set: "vpp-2n-skx-curr-nfv-mrr"
317     - job-spec: "nfv-density-mlr-00"
318       data-set: "vpp-2n-skx-curr-nfv-ndrpdr"
319     - job-spec: "reconf-00"
320       data-set: "vpp-2n-skx-curr-nfv-reconf"
321     - job-spec: "dpdk-mlr-00"
322       data-set: "dpdk-2n-skx-curr-iter"
323     - job-spec: "trex-mlr-00"
324       data-set: "trex-2n-skx-curr-iter"
325
326 # - type: "table"
327 #   title: "Job Specification Duration: 2n-skx-coverage"
328 #   algorithm: "table_job_spec_duration"
329 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-skx-cov"
330 #   jb-type: "coverage"
331 #   data: "vpp-2n-skx-curr-cov"
332 #   lines:
333 #     - job-spec: "gso-00"
334 #       build: "18"
335 #     - job-spec: "ip4-00"
336 #       build: "19"
337 #     - job-spec: "ip4-01"
338 #       build: "20"
339 #     - job-spec: "ip4-02"
340 #       build: "21"
341 #     - job-spec: "ip4-03"
342 #       build: "22"
343 #     - job-spec: "ip4-04"
344 #       build: "23"
345 #     - job-spec: "ip4-05"
346 #       build: "24"
347 #     - job-spec: "ip4-06"
348 #       build: "25"
349 #     - job-spec: "ip4-07"
350 #       build: "26"
351 #     - job-spec: "ip4tun-00"
352 #       build: "27"
353 #     - job-spec: "ip6-00"
354 #       build: "28"
355 #     - job-spec: "ip6-01"
356 #       build: "29"
357 #     - job-spec: "l2-00"
358 #       build: "30"
359 #     - job-spec: "l2-01"
360 #       build: "31"
361 #     - job-spec: "lb-00"
362 #       build: "32"
363 #     - job-spec: "memif-00"
364 #       build: "33"
365 #     - job-spec: "vhost-00"
366 #       build: "34"
367
368 - type: "table"
369   title: "Job Specification Duration: 2n-tx2-iterative"
370   algorithm: "table_job_spec_duration"
371   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-tx2-iter"
372   jb-type: "iterative"
373   lines:
374     - job-spec: "vpp-mrr-00"
375       data-set: "vpp-2n-tx2-curr-iter-mrr"
376     - job-spec: "vpp-mlr-00"
377       data-set: "vpp-2n-tx2-curr-iter"
378
379 # - type: "table"
380 #   title: "Job Specification Duration: 2n-tx2-coverage"
381 #   algorithm: "table_job_spec_duration"
382 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-tx2-cov"
383 #   jb-type: "coverage"
384 #   data: "vpp-2n-tx2-curr-cov"
385 #   lines:
386 #     - job-spec: "ip4-00"
387 #       build: "15"
388 #     - job-spec: "ip4-01"
389 #       build: "16"
390 #     - job-spec: "ip4-02"
391 #       build: "17"
392 #     - job-spec: "ip4-03"
393 #       build: "18"
394 #     - job-spec: "ip4-04"
395 #       build: "19"
396 #     - job-spec: "ip4-05"
397 #       build: "20"
398 #     - job-spec: "ip4-06"
399 #       build: "21"
400 #     - job-spec: "ip6-00"
401 #       build: "22"
402 #     - job-spec: "ip6-01"
403 #       build: "23"
404 #     - job-spec: "l2-00"
405 #       build: "24"
406 #     - job-spec: "l2-01"
407 #       build: "25"
408 #     - job-spec: "l2-02"
409 #       build: "26"
410 #     - job-spec: "l2-03"
411 #       build: "27"
412 #     - job-spec: "l2-04"
413 #       build: "28"
414
415 - type: "table"
416   title: "Job Specification Duration: 2n-zn2-iterative"
417   algorithm: "table_job_spec_duration"
418   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-zn2-iter"
419   jb-type: "iterative"
420   lines:
421     - job-spec: "vpp-mrr-00"
422       data-set: "vpp-2n-zn2-curr-iter-mrr"
423     - job-spec: "vpp-mlr-00"
424       data-set: "vpp-2n-zn2-curr-iter"
425     - job-spec: "vpp-gso-mrr-00"
426       data-set: "vpp-2n-zn2-curr-iter-gso"
427     - job-spec: "dpdk-mlr-00"
428       data-set: "dpdk-2n-zn2-curr-iter"
429
430 # - type: "table"
431 #   title: "Job Specification Duration: 2n-zn2-coverage"
432 #   algorithm: "table_job_spec_duration"
433 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-zn2-cov"
434 #   jb-type: "coverage"
435 #   data: "vpp-2n-zn2-curr-cov"
436 #   lines:
437 #     - job-spec: "gso-00"
438 #       build: "16"
439 #     - job-spec: "ip4-00"
440 #       build: "17"
441 #     - job-spec: "ip4-01"
442 #       build: "18"
443 #     - job-spec: "ip4-02"
444 #       build: "19"
445 #     - job-spec: "ip4-03"
446 #       build: "20"
447 #     - job-spec: "ip4-04"
448 #       build: "21"
449 #     - job-spec: "ip4-05"
450 #       build: "22"
451 #     - job-spec: "ip4tun-00"
452 #       build: "23"
453 #     - job-spec: "ip6-00"
454 #       build: "24"
455 #     - job-spec: "ip6-01"
456 #       build: "25"
457 #     - job-spec: "l2-00"
458 #       build: "26"
459 #     - job-spec: "l2-01"
460 #       build: "27"
461 #     - job-spec: "lb-00"
462 #       build: "28"
463 #     - job-spec: "memif-00"
464 #       build: "29"
465 #     - job-spec: "vhost-00"
466 #       build: "30"
467
468 - type: "table"
469   title: "Job Specification Duration: 3n-dnv-iterative"
470   algorithm: "table_job_spec_duration"
471   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-dnv-iter"
472   jb-type: "iterative"
473   lines:
474     - job-spec: "vpp-mrr-00"
475       data-set: "vpp-3n-dnv-curr-iter-mrr"
476     - job-spec: "vpp-mlr-00"
477       data-set: "vpp-3n-dnv-curr-iter"
478
479 # - type: "table"
480 #   title: "Job Specification Duration: 3n-dnv-coverage"
481 #   algorithm: "table_job_spec_duration"
482 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-dnv-cov"
483 #   jb-type: "coverage"
484 #   data: "vpp-3n-dnv-curr-cov"
485 #   lines:
486 #     - job-spec: "crypto-00"
487 #       build: "11"
488 #     - job-spec: "crypto-01"
489 #       build: "12"
490 #     - job-spec: "crypto-02"
491 #       build: "13"
492 #     - job-spec: "ip4-00"
493 #       build: "14"
494 #     - job-spec: "ip4-01"
495 #       build: "15"
496 #     - job-spec: "ip4tun-00"
497 #       build: "16"
498 #     - job-spec: "ip6-00"
499 #       build: "17"
500 #     - job-spec: "ip6-01"
501 #       build: "18"
502 #     - job-spec: "l2-00"
503 #       build: "19"
504 #     - job-spec: "l2-01"
505 #       build: "20"
506
507 - type: "table"
508   title: "Job Specification Duration: 3n-skx-iterative"
509   algorithm: "table_job_spec_duration"
510   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-skx-iter"
511   jb-type: "iterative"
512   lines:
513     - job-spec: "vpp-mrr-00"
514       data-set: "vpp-3n-skx-curr-iter-mrr"
515     - job-spec: "vpp-mlr-00"
516       data-set: "vpp-3n-skx-curr-iter"
517     - job-spec: "hoststack-00"
518       data-set: "vpp-3n-skx-curr-iter-hoststack"
519     - job-spec: "dpdk-mlr-00"
520       data-set: "dpdk-3n-skx-curr-iter"
521
522 # - type: "table"
523 #   title: "Job Specification Duration: 3n-skx-coverage"
524 #   algorithm: "table_job_spec_duration"
525 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-skx-cov"
526 #   jb-type: "coverage"
527 #   data: "vpp-3n-skx-curr-cov"
528 #   lines:
529 #     - job-spec: "crypto-00"
530 #       build: "35"
531 #     - job-spec: "crypto-01"
532 #       build: "36"
533 #     - job-spec: "crypto-02"
534 #       build: "37"
535 #     - job-spec: "crypto-03"  # Completly failed
536 #       build: "68"
537 #     - job-spec: "crypto-04"
538 #       build: "38"
539 #     - job-spec: "ip4-00"
540 #       build: "39"
541 #     - job-spec: "ip4-01"
542 #       build: "40"
543 #     - job-spec: "ip4-02"
544 #       build: "41"
545 #     - job-spec: "ip4-03"
546 #       build: "42"
547 #     - job-spec: "ip4-04"
548 #       build: "43"
549 #     - job-spec: "ip4-05"
550 #       build: "44"
551 #     - job-spec: "ip4-06"
552 #       build: "45"
553 #     - job-spec: "ip4-07"
554 #       build: "46"
555 #     - job-spec: "ip4tun-00"
556 #       build: "47"
557 #     - job-spec: "ip4tun-02"
558 #       build: "48"
559 #     - job-spec: "ip6-00"
560 #       build: "49"
561 #     - job-spec: "ip6-01"
562 #       build: "50"
563 #     - job-spec: "ip6tun-00"
564 #       build: "69"
565 #     - job-spec: "l2-00"
566 #       build: "52"
567 #     - job-spec: "l2-01"
568 #       build: "53"
569 #     - job-spec: "l2-02"
570 #       build: "54"
571 #     - job-spec: "l2-03"
572 #       build: "55"
573 #     - job-spec: "l2-04"
574 #       build: "56"
575 #     - job-spec: "l2-05"
576 #       build: "57"
577 #     - job-spec: "l2-06"
578 #       build: "58"
579 #     - job-spec: "l2-07"
580 #       build: "59"
581 #     - job-spec: "l2-08"
582 #       build: "60"
583 #     - job-spec: "l2-09"
584 #       build: "61"
585 #     - job-spec: "l2-10"
586 #       build: "62"
587 #     - job-spec: "memif-00"
588 #       build: "63"
589 #     - job-spec: "srv6-00"
590 #       build: "64"
591 #     - job-spec: "srv6-01"
592 #       build: "65"
593 #     - job-spec: "vhost-00"
594 #       build: "66"
595 #     - job-spec: "vhost-01"
596 #       build: "67"
597
598 - type: "table"
599   title: "Job Specification Duration: 3n-tsh-iterative"
600   algorithm: "table_job_spec_duration"
601   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-tsh-iter"
602   jb-type: "iterative"
603   lines:
604     - job-spec: "vpp-mrr-00"
605       data-set: "vpp-3n-tsh-curr-iter-mrr"
606     - job-spec: "vpp-mlr-00"
607       data-set: "vpp-3n-tsh-curr-iter"
608     - job-spec: "dpdk-mlr-00"
609       data-set: "dpdk-3n-tsh-curr-iter"
610
611 # - type: "table"
612 #   title: "Job Specification Duration: 3n-tsh-coverage"
613 #   algorithm: "table_job_spec_duration"
614 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-tsh-cov"
615 #   jb-type: "coverage"
616 #   data: "vpp-3n-tsh-curr-cov"
617 #   lines:
618 #     - job-spec: "ip4-00"
619 #       build: "18"
620 #     - job-spec: "ip4-01"
621 #       build: "19"
622 #     - job-spec: "ip4-02"
623 #       build: "20"
624 #     - job-spec: "ip4-03"
625 #       build: "21"
626 #     - job-spec: "ip4tun-00"
627 #       build: "22"
628 #     - job-spec: "ip6-00"
629 #       build: "23"
630 #     - job-spec: "ip6-01"
631 #       build: "24"
632 #     - job-spec: "l2-00"
633 #       build: "25"
634 #     - job-spec: "l2-01"
635 #       build: "26"
636 #     - job-spec: "l2-02"
637 #       build: "27"
638 #     - job-spec: "l2-03"
639 #       build: "28"
640 #     - job-spec: "l2-04"
641 #       build: "29"
642 #     - job-spec: "memif-00"
643 #       build: "30"
644 #     - job-spec: "srv6-00"
645 #       build: "31"
646 #     - job-spec: "srv6-01"
647 #       build: "32"
648 #     - job-spec: "vhost-00"
649 #       build: "33"
650 #     - job-spec: "vhost-01"
651 #       build: "34"
652
653 - type: "table"
654   title: "Job Specification Duration: 3n-alt-iterative"
655   algorithm: "table_job_spec_duration"
656   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-alt-iter"
657   jb-type: "iterative"
658   lines:
659     - job-spec: "vpp-mrr-00"
660       data-set: "vpp-3n-alt-curr-iter-mrr"
661     - job-spec: "vpp-mlr-00"
662       data-set: "vpp-3n-alt-curr-iter"
663     - job-spec: "dpdk-mlr-00"
664       data-set: "dpdk-3n-alt-curr-iter"
665
666 # - type: "table"
667 #   title: "Job Specification Duration: 3n-alt-coverage"
668 #   algorithm: "table_job_spec_duration"
669 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-alt-cov"
670 #   jb-type: "coverage"
671 #   data: "vpp-3n-alt-curr-cov"
672 #   lines:
673 #     - job-spec: "ip4-00"
674 #       build: "18"
675 #     - job-spec: "ip4-01"
676 #       build: "19"
677 #     - job-spec: "ip4-02"
678 #       build: "20"
679 #     - job-spec: "ip4-03"
680 #       build: "21"
681 #     - job-spec: "ip4tun-00"
682 #       build: "22"
683 #     - job-spec: "ip6-00"
684 #       build: "23"
685 #     - job-spec: "ip6-01"
686 #       build: "24"
687 #     - job-spec: "l2-00"
688 #       build: "25"
689 #     - job-spec: "l2-01"
690 #       build: "26"
691 #     - job-spec: "l2-02"
692 #       build: "27"
693 #     - job-spec: "l2-03"
694 #       build: "28"
695 #     - job-spec: "l2-04"
696 #       build: "29"
697 #     - job-spec: "memif-00"
698 #       build: "30"
699 #     - job-spec: "srv6-00"
700 #       build: "31"
701 #     - job-spec: "srv6-01"
702 #       build: "32"
703 #     - job-spec: "vhost-00"
704 #       build: "33"
705 #     - job-spec: "vhost-01"
706 #       build: "34"
707
708 # VPP Latency Changes 3n-skx 2t1c
709 - type: "table"
710   title: "VPP Latency Changes 3n-skx 2t1c PDR50-direction1-avg"
711   algorithm: "table_comparison"
712   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-skx-xxv710-2t1c-pdr50-d1-avg"
713   include-tests: "latency-PDR50-direction1-avg"
714   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
715   columns:
716     - title: "2110.0-9"
717       data-set: "vpp-3n-skx-hist-iter-new-env"
718     - title: "2202.0-9"
719       data-set: "vpp-3n-skx-prev-iter-old-env"
720     - title: "2202.0-10"
721       data-set: "vpp-3n-skx-prev-iter-new-env"
722     - title: "2206.0-10"
723       data-set: "vpp-3n-skx-curr-iter"
724   comparisons:
725     - title: "2202.0-10 vs 2202.0-9"
726       reference: 2
727       compare: 3
728     - title: "2206.0-10 vs 2202.0-10"
729       reference: 3
730       compare: 4
731   legend:
732     - ''
733     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
734     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
735     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
736     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
737     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
738
739 # VPP Latency Changes 3n-skx 2t1c
740 - type: "table"
741   title: "VPP Latency Changes 3n-skx 2t1c PDR90-direction1-avg"
742   algorithm: "table_comparison"
743   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-skx-xxv710-2t1c-pdr90-d1-avg"
744   include-tests: "latency-PDR90-direction1-avg"
745   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
746   columns:
747     - title: "2110.0-9"
748       data-set: "vpp-3n-skx-hist-iter-new-env"
749     - title: "2202.0-9"
750       data-set: "vpp-3n-skx-prev-iter-old-env"
751     - title: "2202.0-10"
752       data-set: "vpp-3n-skx-prev-iter-new-env"
753     - title: "2206.0-10"
754       data-set: "vpp-3n-skx-curr-iter"
755   comparisons:
756     - title: "2202.0-10 vs 2202.0-9"
757       reference: 2
758       compare: 3
759     - title: "2206.0-10 vs 2202.0-10"
760       reference: 3
761       compare: 4
762   legend:
763     - ''
764     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
765     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
766     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
767     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
768     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
769
770 # VPP Latency Changes 3n-skx 2t1c
771 - type: "table"
772   title: "VPP Latency Changes 3n-skx 2t1c PDR90-direction1-max"
773   algorithm: "table_comparison"
774   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-skx-xxv710-2t1c-pdr90-d1-max"
775   include-tests: "latency-PDR90-direction1-max"
776   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
777   columns:
778     - title: "2110.0-9"
779       data-set: "vpp-3n-skx-hist-iter-new-env"
780     - title: "2202.0-9"
781       data-set: "vpp-3n-skx-prev-iter-old-env"
782     - title: "2202.0-10"
783       data-set: "vpp-3n-skx-prev-iter-new-env"
784     - title: "2206.0-10"
785       data-set: "vpp-3n-skx-curr-iter"
786   comparisons:
787     - title: "2202.0-10 vs 2202.0-9"
788       reference: 2
789       compare: 3
790     - title: "2206.0-10 vs 2202.0-10"
791       reference: 3
792       compare: 4
793   legend:
794     - ''
795     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
796     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
797     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
798     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
799     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
800
801 # VPP Latency Changes 2n-skx 2t1c
802 - type: "table"
803   title: "VPP Latency Changes 2n-skx 2t1c PDR50-direction1-avg"
804   algorithm: "table_comparison"
805   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-skx-xxv710-2t1c-pdr50-d1-avg"
806   include-tests: "latency-PDR50-direction1-avg"
807   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
808   columns:
809     - title: "2110.0-9"
810       data-set: "vpp-2n-skx-hist-iter-new-env"
811     - title: "2202.0-9"
812       data-set: "vpp-2n-skx-prev-iter-old-env"
813     - title: "2202.0-10"
814       data-set: "vpp-2n-skx-prev-iter-new-env"
815     - title: "2206.0-10"
816       data-set: "vpp-2n-skx-curr-iter"
817   comparisons:
818     - title: "2202.0-10 vs 2202.0-9"
819       reference: 2
820       compare: 3
821     - title: "2206.0-10 vs 2202.0-10"
822       reference: 3
823       compare: 4
824   legend:
825     - ''
826     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
827     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
828     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
829     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
830     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
831
832 # VPP Latency Changes 2n-skx 2t1c
833 - type: "table"
834   title: "VPP Latency Changes 2n-skx 2t1c PDR90-direction1-avg"
835   algorithm: "table_comparison"
836   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-skx-xxv710-2t1c-pdr90-d1-avg"
837   include-tests: "latency-PDR90-direction1-avg"
838   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
839   columns:
840     - title: "2110.0-9"
841       data-set: "vpp-2n-skx-hist-iter-new-env"
842     - title: "2202.0-9"
843       data-set: "vpp-2n-skx-prev-iter-old-env"
844     - title: "2202.0-10"
845       data-set: "vpp-2n-skx-prev-iter-new-env"
846     - title: "2206.0-10"
847       data-set: "vpp-2n-skx-curr-iter"
848   comparisons:
849     - title: "2202.0-10 vs 2202.0-9"
850       reference: 2
851       compare: 3
852     - title: "2206.0-10 vs 2202.0-10"
853       reference: 3
854       compare: 4
855   legend:
856     - ''
857     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
858     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
859     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
860     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
861     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
862
863 # VPP Latency Changes 2n-skx 2t1c
864 - type: "table"
865   title: "VPP Latency Changes 2n-skx 2t1c PDR90-direction1-max"
866   algorithm: "table_comparison"
867   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-skx-xxv710-2t1c-pdr90-d1-max"
868   include-tests: "latency-PDR90-direction1-max"
869   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
870   columns:
871     - title: "2110.0-9"
872       data-set: "vpp-2n-skx-hist-iter-new-env"
873     - title: "2202.0-9"
874       data-set: "vpp-2n-skx-prev-iter-old-env"
875     - title: "2202.0-10"
876       data-set: "vpp-2n-skx-prev-iter-new-env"
877     - title: "2206.0-10"
878       data-set: "vpp-2n-skx-curr-iter"
879   comparisons:
880     - title: "2202.0-10 vs 2202.0-9"
881       reference: 2
882       compare: 3
883     - title: "2206.0-10 vs 2202.0-10"
884       reference: 3
885       compare: 4
886   legend:
887     - ''
888     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
889     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
890     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
891     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
892     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
893
894 # VPP Latency Changes 2n-clx 2t1c
895 - type: "table"
896   title: "VPP Latency Changes 2n-clx 2t1c PDR50-direction1-avg"
897   algorithm: "table_comparison"
898   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-xxv710-2t1c-pdr50-d1-avg"
899   include-tests: "latency-PDR50-direction1-avg"
900   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
901   columns:
902     - title: "2110.0-9"
903       data-set: "vpp-2n-clx-hist-iter-new-env"
904     - title: "2202.0-9"
905       data-set: "vpp-2n-clx-prev-iter-old-env"
906     - title: "2202.0-10"
907       data-set: "vpp-2n-clx-prev-iter-new-env"
908     - title: "2206.0-10"
909       data-set: "vpp-2n-clx-curr-iter"
910   comparisons:
911     - title: "2202.0-10 vs 2202.0-9"
912       reference: 2
913       compare: 3
914     - title: "2206.0-10 vs 2202.0-10"
915       reference: 3
916       compare: 4
917   legend:
918     - ''
919     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
920     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
921     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
922     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
923     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
924
925 # VPP Latency Changes 2n-clx 2t1c
926 - type: "table"
927   title: "VPP Latency Changes 2n-clx 2t1c PDR90-direction1-avg"
928   algorithm: "table_comparison"
929   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-xxv710-2t1c-pdr90-d1-avg"
930   include-tests: "latency-PDR90-direction1-avg"
931   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
932   columns:
933     - title: "2110.0-9"
934       data-set: "vpp-2n-clx-hist-iter-new-env"
935     - title: "2202.0-9"
936       data-set: "vpp-2n-clx-prev-iter-old-env"
937     - title: "2202.0-10"
938       data-set: "vpp-2n-clx-prev-iter-new-env"
939     - title: "2206.0-10"
940       data-set: "vpp-2n-clx-curr-iter"
941   comparisons:
942     - title: "2202.0-10 vs 2202.0-9"
943       reference: 2
944       compare: 3
945     - title: "2206.0-10 vs 2202.0-10"
946       reference: 3
947       compare: 4
948   legend:
949     - ''
950     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
951     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
952     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
953     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
954     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
955
956 # VPP Latency Changes 2n-clx 2t1c
957 - type: "table"
958   title: "VPP Latency Changes 2n-clx 2t1c PDR90-direction1-max"
959   algorithm: "table_comparison"
960   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-xxv710-2t1c-pdr90-d1-max"
961   include-tests: "latency-PDR90-direction1-max"
962   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
963   columns:
964     - title: "2110.0-9"
965       data-set: "vpp-2n-clx-hist-iter-new-env"
966     - title: "2202.0-9"
967       data-set: "vpp-2n-clx-prev-iter-old-env"
968     - title: "2202.0-10"
969       data-set: "vpp-2n-clx-prev-iter-new-env"
970     - title: "2206.0-10"
971       data-set: "vpp-2n-clx-curr-iter"
972   comparisons:
973     - title: "2202.0-10 vs 2202.0-9"
974       reference: 2
975       compare: 3
976     - title: "2206.0-10 vs 2202.0-10"
977       reference: 3
978       compare: 4
979   legend:
980     - ''
981     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
982     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
983     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
984     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
985     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
986
987 # VPP Latency Changes 2n-clx 2t1c
988 - type: "table"
989   title: "VPP Latency Changes 2n-clx 2t1c PDR50-direction1-avg"
990   algorithm: "table_comparison"
991   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-cx556a-2t1c-pdr50-d1-avg"
992   include-tests: "latency-PDR50-direction1-avg"
993   filter: "'2T1C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
994   columns:
995     - title: "2110.0-9"
996       data-set: "vpp-2n-clx-hist-iter-new-env"
997     - title: "2202.0-9"
998       data-set: "vpp-2n-clx-prev-iter-old-env"
999     - title: "2202.0-10"
1000       data-set: "vpp-2n-clx-prev-iter-new-env"
1001     - title: "2206.0-10"
1002       data-set: "vpp-2n-clx-curr-iter"
1003   comparisons:
1004     - title: "2202.0-10 vs 2202.0-9"
1005       reference: 2
1006       compare: 3
1007     - title: "2206.0-10 vs 2202.0-10"
1008       reference: 3
1009       compare: 4
1010   legend:
1011     - ''
1012     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
1013     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
1014     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1015     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
1016     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
1017
1018 # VPP Latency Changes 2n-clx 2t1c
1019 - type: "table"
1020   title: "VPP Latency Changes 2n-clx 2t1c PDR90-direction1-avg"
1021   algorithm: "table_comparison"
1022   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-cx556a-2t1c-pdr90-d1-avg"
1023   include-tests: "latency-PDR90-direction1-avg"
1024   filter: "'2T1C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
1025   columns:
1026     - title: "2110.0-9"
1027       data-set: "vpp-2n-clx-hist-iter-new-env"
1028     - title: "2202.0-9"
1029       data-set: "vpp-2n-clx-prev-iter-old-env"
1030     - title: "2202.0-10"
1031       data-set: "vpp-2n-clx-prev-iter-new-env"
1032     - title: "2206.0-10"
1033       data-set: "vpp-2n-clx-curr-iter"
1034   comparisons:
1035     - title: "2202.0-10 vs 2202.0-9"
1036       reference: 2
1037       compare: 3
1038     - title: "2206.0-10 vs 2202.0-10"
1039       reference: 3
1040       compare: 4
1041   legend:
1042     - ''
1043     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
1044     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
1045     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1046     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
1047     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
1048
1049 # VPP Latency Changes 2n-clx 2t1c
1050 - type: "table"
1051   title: "VPP Latency Changes 2n-clx 2t1c PDR90-direction1-max"
1052   algorithm: "table_comparison"
1053   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-cx556a-2t1c-pdr90-d1-max"
1054   include-tests: "latency-PDR90-direction1-max"
1055   filter: "'2T1C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
1056   columns:
1057     - title: "2110.0-9"
1058       data-set: "vpp-2n-clx-hist-iter-new-env"
1059     - title: "2202.0-9"
1060       data-set: "vpp-2n-clx-prev-iter-old-env"
1061     - title: "2202.0-10"
1062       data-set: "vpp-2n-clx-prev-iter-new-env"
1063     - title: "2206.0-10"
1064       data-set: "vpp-2n-clx-curr-iter"
1065   comparisons:
1066     - title: "2202.0-10 vs 2202.0-9"
1067       reference: 2
1068       compare: 3
1069     - title: "2206.0-10 vs 2202.0-10"
1070       reference: 3
1071       compare: 4
1072   legend:
1073     - ''
1074     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
1075     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
1076     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1077     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
1078     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
1079
1080 # VPP Latency Changes 2n-zn2 2t1c
1081 - type: "table"
1082   title: "VPP Latency Changes 2n-zn2 2t1c PDR50-direction1-avg"
1083   algorithm: "table_comparison"
1084   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-zn2-xxv710-2t1c-pdr50-d1-avg"
1085   include-tests: "latency-PDR50-direction1-avg"
1086   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
1087   columns:
1088     - title: "2110.0-9"
1089       data-set: "vpp-2n-zn2-hist-iter-new-env"
1090     - title: "2202.0-9"
1091       data-set: "vpp-2n-zn2-prev-iter-old-env"
1092     - title: "2202.0-10"
1093       data-set: "vpp-2n-zn2-prev-iter-new-env"
1094     - title: "2206.0-10"
1095       data-set: "vpp-2n-zn2-curr-iter"
1096   comparisons:
1097     - title: "2202.0-10 vs 2202.0-9"
1098       reference: 2
1099       compare: 3
1100     - title: "2206.0-10 vs 2202.0-10"
1101       reference: 3
1102       compare: 4
1103   legend:
1104     - ''
1105     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
1106     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
1107     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1108     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
1109     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
1110
1111 # VPP Latency Changes 2n-zn2 2t1c
1112 - type: "table"
1113   title: "VPP Latency Changes 2n-zn2 2t1c PDR90-direction1-avg"
1114   algorithm: "table_comparison"
1115   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-zn2-xxv710-2t1c-pdr90-d1-avg"
1116   include-tests: "latency-PDR90-direction1-avg"
1117   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
1118   columns:
1119     - title: "2110.0-9"
1120       data-set: "vpp-2n-zn2-hist-iter-new-env"
1121     - title: "2202.0-9"
1122       data-set: "vpp-2n-zn2-prev-iter-old-env"
1123     - title: "2202.0-10"
1124       data-set: "vpp-2n-zn2-prev-iter-new-env"
1125     - title: "2206.0-10"
1126       data-set: "vpp-2n-zn2-curr-iter"
1127   comparisons:
1128     - title: "2202.0-10 vs 2202.0-9"
1129       reference: 2
1130       compare: 3
1131     - title: "2206.0-10 vs 2202.0-10"
1132       reference: 3
1133       compare: 4
1134   legend:
1135     - ''
1136     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
1137     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
1138     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1139     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
1140     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
1141
1142 # VPP Latency Changes 2n-zn2 2t1c
1143 - type: "table"
1144   title: "VPP Latency Changes 2n-zn2 2t1c PDR90-direction1-max"
1145   algorithm: "table_comparison"
1146   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-zn2-xxv710-2t1c-pdr90-d1-max"
1147   include-tests: "latency-PDR90-direction1-max"
1148   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
1149   columns:
1150     - title: "2110.0-9"
1151       data-set: "vpp-2n-zn2-hist-iter-new-env"
1152     - title: "2202.0-9"
1153       data-set: "vpp-2n-zn2-prev-iter-old-env"
1154     - title: "2202.0-10"
1155       data-set: "vpp-2n-zn2-prev-iter-new-env"
1156     - title: "2206.0-10"
1157       data-set: "vpp-2n-zn2-curr-iter"
1158   comparisons:
1159     - title: "2202.0-10 vs 2202.0-9"
1160       reference: 2
1161       compare: 3
1162     - title: "2206.0-10 vs 2202.0-10"
1163       reference: 3
1164       compare: 4
1165   legend:
1166     - ''
1167     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
1168     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
1169     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1170     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
1171     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
1172
1173 # VPP Latency Changes 2n-tx2 1t1c
1174 - type: "table"
1175   title: "VPP Latency Changes 2n-tx2 1t1c PDR50-direction1-avg"
1176   algorithm: "table_comparison"
1177   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-tx2-xl710-1t1c-pdr50-d1-avg"
1178   include-tests: "latency-PDR50-direction1-avg"
1179   filter: "'1T1C' and 'NDRPDR'"
1180   columns:
1181     - title: "2110.0-9"
1182       data-set: "vpp-2n-tx2-hist-iter-new-env"
1183     - title: "2202.0-9"
1184       data-set: "vpp-2n-tx2-prev-iter-old-env"
1185     - title: "2202.0-10"
1186       data-set: "vpp-2n-tx2-prev-iter-new-env"
1187     - title: "2206.0-10"
1188       data-set: "vpp-2n-tx2-curr-iter"
1189   comparisons:
1190     - title: "2202.0-10 vs 2202.0-9"
1191       reference: 2
1192       compare: 3
1193     - title: "2206.0-10 vs 2202.0-10"
1194       reference: 3
1195       compare: 4
1196   legend:
1197     - ''
1198     - 'Test Case:            Test cases executed for: PDR throughput on 2n-tx2 with xl710.'
1199     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
1200     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1201     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
1202     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
1203
1204 # VPP Latency Changes 2n-tx2 1t1c
1205 - type: "table"
1206   title: "VPP Latency Changes 2n-tx2 1t1c PDR90-direction1-avg"
1207   algorithm: "table_comparison"
1208   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-tx2-xl710-1t1c-pdr90-d1-avg"
1209   include-tests: "latency-PDR90-direction1-avg"
1210   filter: "'1T1C' and 'NDRPDR'"
1211   columns:
1212     - title: "2110.0-9"
1213       data-set: "vpp-2n-tx2-hist-iter-new-env"
1214     - title: "2202.0-9"
1215       data-set: "vpp-2n-tx2-prev-iter-old-env"
1216     - title: "2202.0-10"
1217       data-set: "vpp-2n-tx2-prev-iter-new-env"
1218     - title: "2206.0-10"
1219       data-set: "vpp-2n-tx2-curr-iter"
1220   comparisons:
1221     - title: "2202.0-10 vs 2202.0-9"
1222       reference: 2
1223       compare: 3
1224     - title: "2206.0-10 vs 2202.0-10"
1225       reference: 3
1226       compare: 4
1227   legend:
1228     - ''
1229     - 'Test Case:            Test cases executed for: PDR throughput on 2n-tx2 with xl710.'
1230     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
1231     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1232     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
1233     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
1234
1235 # VPP Latency Changes 2n-tx2 1t1c
1236 - type: "table"
1237   title: "VPP Latency Changes 2n-tx2 1t1c PDR90-direction1-max"
1238   algorithm: "table_comparison"
1239   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-tx2-xl710-1t1c-pdr90-d1-max"
1240   include-tests: "latency-PDR90-direction1-max"
1241   filter: "'1T1C' and 'NDRPDR'"
1242   columns:
1243     - title: "2110.0-9"
1244       data-set: "vpp-2n-tx2-hist-iter-new-env"
1245     - title: "2202.0-9"
1246       data-set: "vpp-2n-tx2-prev-iter-old-env"
1247     - title: "2202.0-10"
1248       data-set: "vpp-2n-tx2-prev-iter-new-env"
1249     - title: "2206.0-10"
1250       data-set: "vpp-2n-tx2-curr-iter"
1251   comparisons:
1252     - title: "2202.0-10 vs 2202.0-9"
1253       reference: 2
1254       compare: 3
1255     - title: "2206.0-10 vs 2202.0-10"
1256       reference: 3
1257       compare: 4
1258   legend:
1259     - ''
1260     - 'Test Case:            Test cases executed for: PDR throughput on 2n-tx2 with xl710.'
1261     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
1262     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1263     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
1264     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
1265
1266 # VPP Latency Changes 3n-tsh 1t1c
1267 - type: "table"
1268   title: "VPP Latency Changes 3n-tsh 1t1c PDR50-direction1-avg"
1269   algorithm: "table_comparison"
1270   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-tsh-x520-1t1c-pdr50-d1-avg"
1271   include-tests: "latency-PDR50-direction1-avg"
1272   filter: "'1T1C' and 'NDRPDR'"
1273   columns:
1274     - title: "2110.0-9"
1275       data-set: "vpp-3n-tsh-hist-iter-new-env"
1276     - title: "2202.0-9"
1277       data-set: "vpp-3n-tsh-prev-iter-old-env"
1278     - title: "2202.0-10"
1279       data-set: "vpp-3n-tsh-prev-iter-new-env"
1280     - title: "2206.0-10"
1281       data-set: "vpp-3n-tsh-curr-iter"
1282   comparisons:
1283     - title: "2202.0-10 vs 2202.0-9"
1284       reference: 2
1285       compare: 3
1286     - title: "2206.0-10 vs 2202.0-10"
1287       reference: 3
1288       compare: 4
1289   legend:
1290     - ''
1291     - 'Test Case:            Test cases executed for: PDR throughput on 3n-tsh with x520.'
1292     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
1293     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1294     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
1295     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
1296
1297 # VPP Latency Changes 3n-tsh 1t1c
1298 - type: "table"
1299   title: "VPP Latency Changes 3n-tsh 1t1c PDR90-direction1-avg"
1300   algorithm: "table_comparison"
1301   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-tsh-x520-1t1c-pdr90-d1-avg"
1302   include-tests: "latency-PDR90-direction1-avg"
1303   filter: "'1T1C' and 'NDRPDR'"
1304   columns:
1305     - title: "2110.0-9"
1306       data-set: "vpp-3n-tsh-hist-iter-new-env"
1307     - title: "2202.0-9"
1308       data-set: "vpp-3n-tsh-prev-iter-old-env"
1309     - title: "2202.0-10"
1310       data-set: "vpp-3n-tsh-prev-iter-new-env"
1311     - title: "2206.0-10"
1312       data-set: "vpp-3n-tsh-curr-iter"
1313   comparisons:
1314     - title: "2202.0-10 vs 2202.0-9"
1315       reference: 2
1316       compare: 3
1317     - title: "2206.0-10 vs 2202.0-10"
1318       reference: 3
1319       compare: 4
1320   legend:
1321     - ''
1322     - 'Test Case:            Test cases executed for: PDR throughput on 3n-tsh with x520.'
1323     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
1324     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1325     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
1326     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
1327
1328 # VPP Latency Changes 3n-tsh 1t1c
1329 - type: "table"
1330   title: "VPP Latency Changes 3n-tsh 1t1c PDR90-direction1-max"
1331   algorithm: "table_comparison"
1332   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-tsh-x520-1t1c-pdr90-d1-max"
1333   include-tests: "latency-PDR90-direction1-max"
1334   filter: "'1T1C' and 'NDRPDR'"
1335   columns:
1336     - title: "2110.0-9"
1337       data-set: "vpp-3n-tsh-hist-iter-new-env"
1338     - title: "2202.0-9"
1339       data-set: "vpp-3n-tsh-prev-iter-old-env"
1340     - title: "2202.0-10"
1341       data-set: "vpp-3n-tsh-prev-iter-new-env"
1342     - title: "2206.0-10"
1343       data-set: "vpp-3n-tsh-curr-iter"
1344   comparisons:
1345     - title: "2202.0-10 vs 2202.0-9"
1346       reference: 2
1347       compare: 3
1348     - title: "2206.0-10 vs 2202.0-10"
1349       reference: 3
1350       compare: 4
1351   legend:
1352     - ''
1353     - 'Test Case:            Test cases executed for: PDR throughput on 3n-tsh with x520.'
1354     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
1355     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1356     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
1357     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
1358
1359 # VPP Latency Changes 3n-icx 2t1c
1360 - type: "table"
1361   title: "VPP Latency Changes 3n-icx 2t1c PDR50-direction1-avg"
1362   algorithm: "table_comparison"
1363   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-icx-xxv710-2t1c-pdr50-d1-avg"
1364   include-tests: "latency-PDR50-direction1-avg"
1365   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1366   columns:
1367     # - title: "2110.0-9"
1368     #   data-set: "vpp-3n-icx-hist-iter-new-env"
1369     - title: "2202.0-9"
1370       data-set: "vpp-3n-icx-prev-iter-old-env"
1371     - title: "2202.0-10"
1372       data-set: "vpp-3n-icx-prev-iter-new-env"
1373     - title: "2206.0-10"
1374       data-set: "vpp-3n-icx-curr-iter"
1375   comparisons:
1376     - title: "2202.0-10 vs 2202.0-9"
1377       reference: 1
1378       compare: 2
1379     - title: "2206.0-10 vs 2202.0-10"
1380       reference: 2
1381       compare: 3
1382   legend:
1383     - ''
1384     - 'Test Case:            Test cases executed for: PDR throughput on 3n-icx with xxv710.'
1385     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
1386     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1387     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
1388     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
1389
1390 # VPP Latency Changes 3n-icx 2t1c
1391 - type: "table"
1392   title: "VPP Latency Changes 3n-icx 2t1c PDR90-direction1-avg"
1393   algorithm: "table_comparison"
1394   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-icx-xxv710-2t1c-pdr90-d1-avg"
1395   include-tests: "latency-PDR90-direction1-avg"
1396   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1397   columns:
1398     # - title: "2110.0-9"
1399     #   data-set: "vpp-3n-icx-hist-iter-new-env"
1400     - title: "2202.0-9"
1401       data-set: "vpp-3n-icx-prev-iter-old-env"
1402     - title: "2202.0-10"
1403       data-set: "vpp-3n-icx-prev-iter-new-env"
1404     - title: "2206.0-10"
1405       data-set: "vpp-3n-icx-curr-iter"
1406   comparisons:
1407     - title: "2202.0-10 vs 2202.0-9"
1408       reference: 1
1409       compare: 2
1410     - title: "2206.0-10 vs 2202.0-10"
1411       reference: 2
1412       compare: 3
1413   legend:
1414     - ''
1415     - 'Test Case:            Test cases executed for: PDR throughput on 3n-icx with xxv710.'
1416     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
1417     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1418     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
1419     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
1420
1421 # VPP Latency Changes 3n-icx 2t1c
1422 - type: "table"
1423   title: "VPP Latency Changes 3n-icx 2t1c PDR90-direction1-max"
1424   algorithm: "table_comparison"
1425   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-icx-xxv710-2t1c-pdr90-d1-max"
1426   include-tests: "latency-PDR90-direction1-max"
1427   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1428   columns:
1429     # - title: "2110.0-9"
1430     #   data-set: "vpp-3n-icx-hist-iter-new-env"
1431     - title: "2202.0-9"
1432       data-set: "vpp-3n-icx-prev-iter-old-env"
1433     - title: "2202.0-10"
1434       data-set: "vpp-3n-icx-prev-iter-new-env"
1435     - title: "2206.0-10"
1436       data-set: "vpp-3n-icx-curr-iter"
1437   comparisons:
1438     - title: "2202.0-10 vs 2202.0-9"
1439       reference: 1
1440       compare: 2
1441     - title: "2206.0-10 vs 2202.0-10"
1442       reference: 2
1443       compare: 3
1444   legend:
1445     - ''
1446     - 'Test Case:            Test cases executed for: PDR throughput on 3n-icx with xxv710.'
1447     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
1448     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1449     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
1450     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
1451
1452 # VPP Latency Changes 2n-icx 2t1c
1453 - type: "table"
1454   title: "VPP Latency Changes 2n-icx 2t1c PDR50-direction1-avg"
1455   algorithm: "table_comparison"
1456   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-icx-xxv710-2t1c-pdr50-d1-avg"
1457   include-tests: "latency-PDR50-direction1-avg"
1458   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1459   columns:
1460     # - title: "2110.0-9"
1461     #   data-set: "vpp-2n-icx-hist-iter-new-env"
1462     - title: "2202.0-9"
1463       data-set: "vpp-2n-icx-prev-iter-old-env"
1464     - title: "2202.0-10"
1465       data-set: "vpp-2n-icx-prev-iter-new-env"
1466     - title: "2206.0-10"
1467       data-set: "vpp-2n-icx-curr-iter"
1468   comparisons:
1469     - title: "2202.0-10 vs 2202.0-9"
1470       reference: 1
1471       compare: 2
1472     - title: "2206.0-10 vs 2202.0-10"
1473       reference: 2
1474       compare: 3
1475   legend:
1476     - ''
1477     - 'Test Case:            Test cases executed for: PDR throughput on 2n-icx with xxv710.'
1478     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
1479     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1480     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
1481     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
1482
1483 # VPP Latency Changes 2n-icx 2t1c
1484 - type: "table"
1485   title: "VPP Latency Changes 2n-icx 2t1c PDR90-direction1-avg"
1486   algorithm: "table_comparison"
1487   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-icx-xxv710-2t1c-pdr90-d1-avg"
1488   include-tests: "latency-PDR90-direction1-avg"
1489   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1490   columns:
1491     # - title: "2110.0-9"
1492     #   data-set: "vpp-2n-icx-hist-iter-new-env"
1493     - title: "2202.0-9"
1494       data-set: "vpp-2n-icx-prev-iter-old-env"
1495     - title: "2202.0-10"
1496       data-set: "vpp-2n-icx-prev-iter-new-env"
1497     - title: "2206.0-10"
1498       data-set: "vpp-2n-icx-curr-iter"
1499   comparisons:
1500     - title: "2202.0-10 vs 2202.0-9"
1501       reference: 1
1502       compare: 2
1503     - title: "2206.0-10 vs 2202.0-10"
1504       reference: 2
1505       compare: 3
1506   legend:
1507     - ''
1508     - 'Test Case:            Test cases executed for: PDR throughput on 2n-icx with xxv710.'
1509     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
1510     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1511     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
1512     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
1513
1514 # VPP Latency Changes 2n-icx 2t1c
1515 - type: "table"
1516   title: "VPP Latency Changes 2n-icx 2t1c PDR90-direction1-max"
1517   algorithm: "table_comparison"
1518   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-icx-xxv710-2t1c-pdr90-d1-max"
1519   include-tests: "latency-PDR90-direction1-max"
1520   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1521   columns:
1522     # - title: "2110.0-9"
1523     #   data-set: "vpp-2n-icx-hist-iter-new-env"
1524     - title: "2202.0-9"
1525       data-set: "vpp-2n-icx-prev-iter-old-env"
1526     - title: "2202.0-10"
1527       data-set: "vpp-2n-icx-prev-iter-new-env"
1528     - title: "2206.0-10"
1529       data-set: "vpp-2n-icx-curr-iter"
1530   comparisons:
1531     - title: "2202.0-10 vs 2202.0-9"
1532       reference: 1
1533       compare: 2
1534     - title: "2206.0-10 vs 2202.0-10"
1535       reference: 2
1536       compare: 3
1537   legend:
1538     - ''
1539     - 'Test Case:            Test cases executed for: PDR throughput on 2n-icx with xxv710.'
1540     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
1541     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1542     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
1543     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
1544
1545 # VPP Soak vs NDR - 2n-icx
1546 - type: "table"
1547   title: "VPP Soak vs NDR 2n-icx"
1548   algorithm: "table_soak_vs_ndr"
1549   output-file: "{DIR[STATIC,VPP]}/soak-vs-ndr-2n-icx"
1550   reference:
1551     title: "NDR"
1552     data: "vpp-soak-vs-ndr-2n-icx-ref"
1553   compare:
1554     title: "Soak"
1555     data: "vpp-2n-icx-curr-soak"
1556   data: "vpp-soak-vs-ndr-2n-icx"
1557   include-tests: "NDR"
1558   filter: "'NDRPDR' or 'SOAK'"
1559   parameters:
1560     - "throughput"
1561     - "name"
1562     - "parent"
1563
1564 # VPP Soak vs NDR - 2n-skx
1565 - type: "table"
1566   title: "VPP Soak vs NDR 2n-skx"
1567   algorithm: "table_soak_vs_ndr"
1568   output-file: "{DIR[STATIC,VPP]}/soak-vs-ndr-2n-skx"
1569   reference:
1570     title: "NDR"
1571     data: "vpp-soak-vs-ndr-2n-skx-ref"
1572   compare:
1573     title: "Soak"
1574     data: "vpp-2n-skx-curr-soak"
1575   data: "vpp-soak-vs-ndr-2n-skx"
1576   include-tests: "NDR"
1577   filter: "('NDRPDR' or 'SOAK') and not 'NF_DENSITY'"
1578   parameters:
1579     - "throughput"
1580     - "name"
1581     - "parent"
1582
1583 # VPP Soak vs NDR - 2n-clx
1584 - type: "table"
1585   title: "VPP Soak vs NDR 2n-clx"
1586   algorithm: "table_soak_vs_ndr"
1587   output-file: "{DIR[STATIC,VPP]}/soak-vs-ndr-2n-clx"
1588   reference:
1589     title: "NDR"
1590     data: "vpp-soak-vs-ndr-2n-clx-ref"
1591   compare:
1592     title: "Soak"
1593     data: "vpp-2n-clx-curr-soak"
1594   data: "vpp-soak-vs-ndr-2n-clx"
1595   include-tests: "NDR"
1596   filter: "('NDRPDR' or 'SOAK') and not 'NF_DENSITY'"
1597   parameters:
1598     - "throughput"
1599     - "name"
1600     - "parent"
1601
1602 ################################################################################
1603
1604 # VPP Compare NICs 3n-skx 2t1c ndr
1605 - type: "table"
1606   title: "VPP Compare NICs 3n-skx 2t1c ndr"
1607   algorithm: "table_comparison"
1608   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-ndr"
1609   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1610   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
1611   columns:
1612     - title: "x710"
1613       data-set: "vpp-3n-skx-curr-iter"
1614       tag: "NIC_Intel-X710"
1615     - title: "xxv710"
1616       data-set: "vpp-3n-skx-curr-iter"
1617       tag: "NIC_Intel-XXV710"
1618   comparisons:
1619     - title: "Diff"
1620       reference: 1
1621       compare: 2
1622   legend:
1623     - ""
1624     - "x710, xxv710 - NICs tested."
1625     - "Diff - difference between x710 and xxv710 NIC."
1626
1627 # VPP Compare NICs 3n-skx 4t2c ndr
1628 - type: "table"
1629   title: "VPP Compare NICs 3n-skx 4t2c ndr"
1630   algorithm: "table_comparison"
1631   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-ndr"
1632   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1633   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
1634   columns:
1635     - title: "x710"
1636       data-set: "vpp-3n-skx-curr-iter"
1637       tag: "NIC_Intel-X710"
1638     - title: "xxv710"
1639       data-set: "vpp-3n-skx-curr-iter"
1640       tag: "NIC_Intel-XXV710"
1641   comparisons:
1642     - title: "Diff"
1643       reference: 1
1644       compare: 2
1645   legend:
1646     - ""
1647     - "x710, xxv710 - NICs tested."
1648     - "Diff - difference between x710 and xxv710 NIC."
1649
1650 # VPP Compare NICs 3n-skx 2t1c pdr
1651 - type: "table"
1652   title: "VPP Compare NICs 3n-skx 2t1c pdr"
1653   algorithm: "table_comparison"
1654   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-pdr"
1655   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1656   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
1657   columns:
1658     - title: "x710"
1659       data-set: "vpp-3n-skx-curr-iter"
1660       tag: "NIC_Intel-X710"
1661     - title: "xxv710"
1662       data-set: "vpp-3n-skx-curr-iter"
1663       tag: "NIC_Intel-XXV710"
1664   comparisons:
1665     - title: "Diff"
1666       reference: 1
1667       compare: 2
1668   legend:
1669     - ""
1670     - "x710, xxv710 - NICs tested."
1671     - "Diff - difference between x710 and xxv710 NIC."
1672
1673 # VPP Compare NICs 3n-skx 4t2c pdr
1674 - type: "table"
1675   title: "VPP Compare NICs 3n-skx 4t2c pdr"
1676   algorithm: "table_comparison"
1677   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-pdr"
1678   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1679   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
1680   columns:
1681     - title: "x710"
1682       data-set: "vpp-3n-skx-curr-iter"
1683       tag: "NIC_Intel-X710"
1684     - title: "xxv710"
1685       data-set: "vpp-3n-skx-curr-iter"
1686       tag: "NIC_Intel-XXV710"
1687   comparisons:
1688     - title: "Diff"
1689       reference: 1
1690       compare: 2
1691   legend:
1692     - ""
1693     - "x710, xxv710 - NICs tested."
1694     - "Diff - difference between x710 and xxv710 NIC."
1695
1696 # VPP Compare NICs 3n-skx 2t1c mrr
1697 - type: "table"
1698   title: "VPP Compare NICs 3n-skx 2t1c mrr"
1699   algorithm: "table_comparison"
1700   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-mrr"
1701   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1702   filter: "'2T1C' and 'MRR' and not 'NF_DENSITY'"
1703   columns:
1704     - title: "x710"
1705       data-set: "vpp-3n-skx-curr-iter-mrr"
1706       tag: "NIC_Intel-X710"
1707     - title: "xxv710"
1708       data-set: "vpp-3n-skx-curr-iter-mrr"
1709       tag: "NIC_Intel-XXV710"
1710   comparisons:
1711     - title: "Diff"
1712       reference: 1
1713       compare: 2
1714   legend:
1715     - ""
1716     - "x710, xxv710 - NICs tested."
1717     - "Diff - difference between x710 and xxv710 NIC."
1718
1719 # VPP Compare NICs 3n-skx 4t2c mrr
1720 - type: "table"
1721   title: "VPP Compare NICs 3n-skx 4t2c mrr"
1722   algorithm: "table_comparison"
1723   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-mrr"
1724   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1725   filter: "'4T2C' and 'MRR' and not 'NF_DENSITY'"
1726   columns:
1727     - title: "x710"
1728       data-set: "vpp-3n-skx-curr-iter-mrr"
1729       tag: "NIC_Intel-X710"
1730     - title: "xxv710"
1731       data-set: "vpp-3n-skx-curr-iter-mrr"
1732       tag: "NIC_Intel-XXV710"
1733   comparisons:
1734     - title: "Diff"
1735       reference: 1
1736       compare: 2
1737   legend:
1738     - ""
1739     - "x710, xxv710 - NICs tested."
1740     - "Diff - difference between x710 and xxv710 NIC."
1741
1742 # VPP Compare NICs 3n-skx 8t4c mrr
1743 - type: "table"
1744   title: "VPP Compare NICs 3n-skx 8t4c mrr"
1745   algorithm: "table_comparison"
1746   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-8t4c-nics-mrr"
1747   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1748   filter: "'8T4C' and 'MRR' and not 'NF_DENSITY'"
1749   columns:
1750     - title: "x710"
1751       data-set: "vpp-3n-skx-curr-iter-mrr"
1752       tag: "NIC_Intel-X710"
1753     - title: "xxv710"
1754       data-set: "vpp-3n-skx-curr-iter-mrr"
1755       tag: "NIC_Intel-XXV710"
1756   comparisons:
1757     - title: "Diff"
1758       reference: 1
1759       compare: 2
1760   legend:
1761     - ""
1762     - "x710, xxv710 - NICs tested."
1763     - "Diff - difference between x710 and xxv710 NIC."
1764
1765 # VPP Compare NICs 2n-skx 2t1c ndr
1766 - type: "table"
1767   title: "VPP Compare NICs 2n-skx 2t1c ndr"
1768   algorithm: "table_comparison"
1769   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-nics-ndr"
1770   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1771   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
1772   columns:
1773     - title: "x710"
1774       data-set: "vpp-2n-skx-curr-iter"
1775       tag: "NIC_Intel-X710"
1776     - title: "xxv710"
1777       data-set: "vpp-2n-skx-curr-iter"
1778       tag: "NIC_Intel-XXV710"
1779   comparisons:
1780     - title: "Diff"
1781       reference: 1
1782       compare: 2
1783   legend:
1784     - ""
1785     - "x710, xxv710 - NICs tested."
1786     - "Diff - difference between x710 and xxv710 NIC."
1787
1788 # VPP Compare NICs 2n-skx 4t2c ndr
1789 - type: "table"
1790   title: "VPP Compare NICs 2n-skx 4t2c ndr"
1791   algorithm: "table_comparison"
1792   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-nics-ndr"
1793   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1794   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
1795   columns:
1796     - title: "x710"
1797       data-set: "vpp-2n-skx-curr-iter"
1798       tag: "NIC_Intel-X710"
1799     - title: "xxv710"
1800       data-set: "vpp-2n-skx-curr-iter"
1801       tag: "NIC_Intel-XXV710"
1802   comparisons:
1803     - title: "Diff"
1804       reference: 1
1805       compare: 2
1806   legend:
1807     - ""
1808     - "x710, xxv710 - NICs tested."
1809     - "Diff - difference between x710 and xxv710 NIC."
1810
1811 # VPP Compare NICs 2n-skx 2t1c pdr
1812 - type: "table"
1813   title: "VPP Compare NICs 2n-skx 2t1c pdr"
1814   algorithm: "table_comparison"
1815   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-nics-pdr"
1816   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1817   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
1818   columns:
1819     - title: "x710"
1820       data-set: "vpp-2n-skx-curr-iter"
1821       tag: "NIC_Intel-X710"
1822     - title: "xxv710"
1823       data-set: "vpp-2n-skx-curr-iter"
1824       tag: "NIC_Intel-XXV710"
1825   comparisons:
1826     - title: "Diff"
1827       reference: 1
1828       compare: 2
1829   legend:
1830     - ""
1831     - "x710, xxv710 - NICs tested."
1832     - "Diff - difference between x710 and xxv710 NIC."
1833
1834 # VPP Compare NICs 2n-skx 4t2c pdr
1835 - type: "table"
1836   title: "VPP Compare NICs 2n-skx 4t2c pdr"
1837   algorithm: "table_comparison"
1838   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-nics-pdr"
1839   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1840   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
1841   columns:
1842     - title: "x710"
1843       data-set: "vpp-2n-skx-curr-iter"
1844       tag: "NIC_Intel-X710"
1845     - title: "xxv710"
1846       data-set: "vpp-2n-skx-curr-iter"
1847       tag: "NIC_Intel-XXV710"
1848   comparisons:
1849     - title: "Diff"
1850       reference: 1
1851       compare: 2
1852   legend:
1853     - ""
1854     - "x710, xxv710 - NICs tested."
1855     - "Diff - difference between x710 and xxv710 NIC."
1856
1857 # VPP Compare NICs 2n-skx 2t1c mrr
1858 - type: "table"
1859   title: "VPP Compare NICs 2n-skx 2t1c mrr"
1860   algorithm: "table_comparison"
1861   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-nics-mrr"
1862   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1863   filter: "'2T1C' and 'MRR' and not 'NF_DENSITY'"
1864   columns:
1865     - title: "x710"
1866       data-set: "vpp-2n-skx-curr-iter-mrr"
1867       tag: "NIC_Intel-X710"
1868     - title: "xxv710"
1869       data-set: "vpp-2n-skx-curr-iter-mrr"
1870       tag: "NIC_Intel-XXV710"
1871   comparisons:
1872     - title: "Diff"
1873       reference: 1
1874       compare: 2
1875   legend:
1876     - ""
1877     - "x710, xxv710 - NICs tested."
1878     - "Diff - difference between x710 and xxv710 NIC."
1879
1880 # VPP Compare NICs 2n-skx 4t2c mrr
1881 - type: "table"
1882   title: "VPP Compare NICs 2n-skx 4t2c mrr"
1883   algorithm: "table_comparison"
1884   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-nics-mrr"
1885   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1886   filter: "'4T2C' and 'MRR' and not 'NF_DENSITY'"
1887   columns:
1888     - title: "x710"
1889       data-set: "vpp-2n-skx-curr-iter-mrr"
1890       tag: "NIC_Intel-X710"
1891     - title: "xxv710"
1892       data-set: "vpp-2n-skx-curr-iter-mrr"
1893       tag: "NIC_Intel-XXV710"
1894   comparisons:
1895     - title: "Diff"
1896       reference: 1
1897       compare: 2
1898   legend:
1899     - ""
1900     - "x710, xxv710 - NICs tested."
1901     - "Diff - difference between x710 and xxv710 NIC."
1902
1903 # VPP Compare NICs 2n-skx 8t4c mrr
1904 - type: "table"
1905   title: "VPP Compare NICs 2n-skx 8t4c mrr"
1906   algorithm: "table_comparison"
1907   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-8t4c-nics-mrr"
1908   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1909   filter: "'8T4C' and 'MRR' and not 'NF_DENSITY'"
1910   columns:
1911     - title: "x710"
1912       data-set: "vpp-2n-skx-curr-iter-mrr"
1913       tag: "NIC_Intel-X710"
1914     - title: "xxv710"
1915       data-set: "vpp-2n-skx-curr-iter-mrr"
1916       tag: "NIC_Intel-XXV710"
1917   comparisons:
1918     - title: "Diff"
1919       reference: 1
1920       compare: 2
1921   legend:
1922     - ""
1923     - "x710, xxv710 - NICs tested."
1924     - "Diff - difference between x710 and xxv710 NIC."
1925
1926 ################################################################################
1927 # VPP
1928
1929 # VPP Performance Changes 3n-skx Hoststack
1930 - type: "table"
1931   title: "VPP Performance Changes 3n-skx Hoststack"
1932   algorithm: "table_comparison"
1933   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-hoststack"
1934   include-tests: "hoststack"
1935   filter: "all"
1936   columns:
1937     - title: "2110.0-8"
1938       data-set: "vpp-3n-skx-hist-iter-hoststack-new-env"
1939     - title: "2202.0-9"
1940       data-set: "vpp-3n-skx-prev-iter-hoststack-old-env"
1941     - title: "2206.0-10"
1942       data-set: "vpp-3n-skx-curr-iter-hoststack"
1943   comparisons:
1944     - title: "2206.0-10 vs 2202.0-9"
1945       reference: 2
1946       compare: 3
1947   legend:
1948     - ''
1949     - 'Test Case:            Test cases executed for: Hoststack on 3n-skx with xxv710.'
1950     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
1951     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1952     - '2206.0-10 vs 2202.0-9: Compares VPP code current vs previous.'
1953
1954 # VPP Performance Changes 2n-clx VSAP
1955 - type: "table"
1956   title: "VPP Performance Changes 2n-clx VSAP"
1957   algorithm: "table_comparison"
1958   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-vsap"
1959   include-tests: "vsap"
1960   filter: "all"
1961   columns:
1962     - title: "2110.0-8"
1963       data-set: "vpp-2n-clx-hist-iter-vsap-new-env"
1964     - title: "2202.0-9"
1965       data-set: "vpp-2n-clx-curr-iter-vsap-old-env"
1966     - title: "2206.0-10"
1967       data-set: "vpp-2n-clx-curr-iter-vsap"
1968   comparisons:
1969     - title: "2206.0-10 vs 2202.0-9"
1970       reference: 2
1971       compare: 3
1972   legend:
1973     - ''
1974     - 'Test Case:            Test cases executed for: VSAP on 2n-clx with cx556a.'
1975     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
1976     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1977     - '2206.0-10 vs 2202.0-9: Compares VPP code current vs previous.'
1978
1979 # VPP Performance Changes 3n-icx 2t1c pdr
1980 - type: "table"
1981   title: "VPP Performance Changes 3n-icx 2t1c pdr"
1982   algorithm: "table_comparison"
1983   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-icx-2t1c-pdr"
1984   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1985   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1986   columns:
1987     # - title: "2110.0-9"
1988     #   data-set: "vpp-3n-icx-hist-iter-new-env"
1989     - title: "2202.0-9"
1990       data-set: "vpp-3n-icx-prev-iter-old-env"
1991     - title: "2202.0-10"
1992       data-set: "vpp-3n-icx-prev-iter-new-env"
1993     - title: "2206.0-10"
1994       data-set: "vpp-3n-icx-curr-iter"
1995   comparisons:
1996     - title: "2202.0-10 vs 2202.0-9"
1997       reference: 1
1998       compare: 2
1999     - title: "2206.0-10 vs 2202.0-10"
2000       reference: 2
2001       compare: 3
2002   legend:
2003     - ''
2004     - 'Test Case:            Test cases executed for: PDR throughput on 3n-icx with xxv710.'
2005     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2006     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2007     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2008     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2009
2010 # VPP Performance Changes 3n-icx 4t2c pdr
2011 - type: "table"
2012   title: "VPP Performance Changes 3n-icx 4t2c pdr"
2013   algorithm: "table_comparison"
2014   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-icx-4t2c-pdr"
2015   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2016   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2017   columns:
2018     # - title: "2110.0-9"
2019     #   data-set: "vpp-3n-icx-hist-iter-new-env"
2020     - title: "2202.0-9"
2021       data-set: "vpp-3n-icx-prev-iter-old-env"
2022     - title: "2202.0-10"
2023       data-set: "vpp-3n-icx-prev-iter-new-env"
2024     - title: "2206.0-10"
2025       data-set: "vpp-3n-icx-curr-iter"
2026   comparisons:
2027     - title: "2202.0-10 vs 2202.0-9"
2028       reference: 1
2029       compare: 2
2030     - title: "2206.0-10 vs 2202.0-10"
2031       reference: 2
2032       compare: 3
2033   legend:
2034     - ''
2035     - 'Test Case:            Test cases executed for: PDR throughput on 3n-icx with xxv710.'
2036     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2037     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2038     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2039     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2040
2041 # VPP Performance Changes 3n-icx 2t1c ndr
2042 - type: "table"
2043   title: "VPP Performance Changes 3n-icx 2t1c ndr"
2044   algorithm: "table_comparison"
2045   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-icx-2t1c-ndr"
2046   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2047   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2048   columns:
2049     # - title: "2110.0-9"
2050     #   data-set: "vpp-3n-icx-hist-iter-new-env"
2051     - title: "2202.0-9"
2052       data-set: "vpp-3n-icx-prev-iter-old-env"
2053     - title: "2202.0-10"
2054       data-set: "vpp-3n-icx-prev-iter-new-env"
2055     - title: "2206.0-10"
2056       data-set: "vpp-3n-icx-curr-iter"
2057   comparisons:
2058     - title: "2202.0-10 vs 2202.0-9"
2059       reference: 1
2060       compare: 2
2061     - title: "2206.0-10 vs 2202.0-10"
2062       reference: 2
2063       compare: 3
2064   legend:
2065     - ''
2066     - 'Test Case:            Test cases executed for: PDR throughput on 3n-icx with xxv710.'
2067     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2068     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2069     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2070     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2071
2072 # VPP Performance Changes 3n-icx 4t2c ndr
2073 - type: "table"
2074   title: "VPP Performance Changes 3n-icx 4t2c ndr"
2075   algorithm: "table_comparison"
2076   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-icx-4t2c-ndr"
2077   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2078   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2079   columns:
2080     # - title: "2110.0-9"
2081     #   data-set: "vpp-3n-icx-hist-iter-new-env"
2082     - title: "2202.0-9"
2083       data-set: "vpp-3n-icx-prev-iter-old-env"
2084     - title: "2202.0-10"
2085       data-set: "vpp-3n-icx-prev-iter-new-env"
2086     - title: "2206.0-10"
2087       data-set: "vpp-3n-icx-curr-iter"
2088   comparisons:
2089     - title: "2202.0-10 vs 2202.0-9"
2090       reference: 1
2091       compare: 2
2092     - title: "2206.0-10 vs 2202.0-10"
2093       reference: 2
2094       compare: 3
2095   legend:
2096     - ''
2097     - 'Test Case:            Test cases executed for: PDR throughput on 3n-icx with xxv710.'
2098     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2099     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2100     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2101     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2102
2103 # VPP Performance Changes 2n-icx 2t1c pdr
2104 - type: "table"
2105   title: "VPP Performance Changes 2n-icx 2t1c pdr"
2106   algorithm: "table_comparison"
2107   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-icx-2t1c-pdr"
2108   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2109   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2110   columns:
2111     # - title: "2110.0-9"
2112     #   data-set: "vpp-2n-icx-hist-iter-new-env"
2113     - title: "2202.0-9"
2114       data-set: "vpp-2n-icx-prev-iter-old-env"
2115     - title: "2202.0-10"
2116       data-set: "vpp-2n-icx-prev-iter-new-env"
2117     - title: "2206.0-10"
2118       data-set: "vpp-2n-icx-curr-iter"
2119   comparisons:
2120     - title: "2202.0-10 vs 2202.0-9"
2121       reference: 1
2122       compare: 2
2123     - title: "2206.0-10 vs 2202.0-10"
2124       reference: 2
2125       compare: 3
2126   legend:
2127     - ''
2128     - 'Test Case:            Test cases executed for: PDR throughput on 2n-icx with xxv710.'
2129     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2130     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2131     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2132     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2133
2134 # VPP Performance Changes 2n-icx 4t2c pdr
2135 - type: "table"
2136   title: "VPP Performance Changes 2n-icx 4t2c pdr"
2137   algorithm: "table_comparison"
2138   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-icx-4t2c-pdr"
2139   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2140   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2141   columns:
2142     # - title: "2110.0-9"
2143     #   data-set: "vpp-2n-icx-hist-iter-new-env"
2144     - title: "2202.0-9"
2145       data-set: "vpp-2n-icx-prev-iter-old-env"
2146     - title: "2202.0-10"
2147       data-set: "vpp-2n-icx-prev-iter-new-env"
2148     - title: "2206.0-10"
2149       data-set: "vpp-2n-icx-curr-iter"
2150   comparisons:
2151     - title: "2202.0-10 vs 2202.0-9"
2152       reference: 1
2153       compare: 2
2154     - title: "2206.0-10 vs 2202.0-10"
2155       reference: 2
2156       compare: 3
2157   legend:
2158     - ''
2159     - 'Test Case:            Test cases executed for: PDR throughput on 2n-icx with xxv710.'
2160     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2161     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2162     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2163     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2164
2165 # VPP Performance Changes 2n-icx 2t1c ndr
2166 - type: "table"
2167   title: "VPP Performance Changes 2n-icx 2t1c ndr"
2168   algorithm: "table_comparison"
2169   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-icx-2t1c-ndr"
2170   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2171   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2172   columns:
2173     # - title: "2110.0-9"
2174     #   data-set: "vpp-2n-icx-hist-iter-new-env"
2175     - title: "2202.0-9"
2176       data-set: "vpp-2n-icx-prev-iter-old-env"
2177     - title: "2202.0-10"
2178       data-set: "vpp-2n-icx-prev-iter-new-env"
2179     - title: "2206.0-10"
2180       data-set: "vpp-2n-icx-curr-iter"
2181   comparisons:
2182     - title: "2202.0-10 vs 2202.0-9"
2183       reference: 1
2184       compare: 2
2185     - title: "2206.0-10 vs 2202.0-10"
2186       reference: 2
2187       compare: 3
2188   legend:
2189     - ''
2190     - 'Test Case:            Test cases executed for: PDR throughput on 2n-icx with xxv710.'
2191     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2192     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2193     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2194     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2195
2196 # VPP Performance Changes 2n-icx 4t2c ndr
2197 - type: "table"
2198   title: "VPP Performance Changes 2n-icx 4t2c ndr"
2199   algorithm: "table_comparison"
2200   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-icx-4t2c-ndr"
2201   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2202   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2203   columns:
2204     # - title: "2110.0-9"
2205     #   data-set: "vpp-2n-icx-hist-iter-new-env"
2206     - title: "2202.0-9"
2207       data-set: "vpp-2n-icx-prev-iter-old-env"
2208     - title: "2202.0-10"
2209       data-set: "vpp-2n-icx-prev-iter-new-env"
2210     - title: "2206.0-10"
2211       data-set: "vpp-2n-icx-curr-iter"
2212   comparisons:
2213     - title: "2202.0-10 vs 2202.0-9"
2214       reference: 1
2215       compare: 2
2216     - title: "2206.0-10 vs 2202.0-10"
2217       reference: 2
2218       compare: 3
2219   legend:
2220     - ''
2221     - 'Test Case:            Test cases executed for: PDR throughput on 2n-icx with xxv710.'
2222     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2223     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2224     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2225     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2226
2227 # VPP Performance Changes 3n-skx 2t1c pdr
2228 - type: "table"
2229   title: "VPP Performance Changes 3n-skx 2t1c pdr"
2230   algorithm: "table_comparison"
2231   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-pdr"
2232   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2233   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2234   columns:
2235     - title: "2110.0-9"
2236       data-set: "vpp-3n-skx-hist-iter-new-env"
2237     - title: "2202.0-9"
2238       data-set: "vpp-3n-skx-prev-iter-old-env"
2239     - title: "2202.0-10"
2240       data-set: "vpp-3n-skx-prev-iter-new-env"
2241     - title: "2206.0-10"
2242       data-set: "vpp-3n-skx-curr-iter"
2243   comparisons:
2244     - title: "2202.0-10 vs 2202.0-9"
2245       reference: 2
2246       compare: 3
2247     - title: "2206.0-10 vs 2202.0-10"
2248       reference: 3
2249       compare: 4
2250   legend:
2251     - ''
2252     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
2253     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2254     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2255     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2256     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2257
2258 # VPP Performance Changes 3n-skx 4t2c pdr
2259 - type: "table"
2260   title: "VPP Performance Changes 3n-skx 4t2c pdr"
2261   algorithm: "table_comparison"
2262   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-pdr"
2263   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2264   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2265   columns:
2266     - title: "2110.0-9"
2267       data-set: "vpp-3n-skx-hist-iter-new-env"
2268     - title: "2202.0-9"
2269       data-set: "vpp-3n-skx-prev-iter-old-env"
2270     - title: "2202.0-10"
2271       data-set: "vpp-3n-skx-prev-iter-new-env"
2272     - title: "2206.0-10"
2273       data-set: "vpp-3n-skx-curr-iter"
2274   comparisons:
2275     - title: "2202.0-10 vs 2202.0-9"
2276       reference: 2
2277       compare: 3
2278     - title: "2206.0-10 vs 2202.0-10"
2279       reference: 3
2280       compare: 4
2281   legend:
2282     - ''
2283     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
2284     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2285     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2286     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2287     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2288
2289 # VPP Performance Changes 3n-skx 2t1c ndr
2290 - type: "table"
2291   title: "VPP Performance Changes 3n-skx 2t1c ndr"
2292   algorithm: "table_comparison"
2293   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-ndr"
2294   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2295   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2296   columns:
2297     - title: "2110.0-9"
2298       data-set: "vpp-3n-skx-hist-iter-new-env"
2299     - title: "2202.0-9"
2300       data-set: "vpp-3n-skx-prev-iter-old-env"
2301     - title: "2202.0-10"
2302       data-set: "vpp-3n-skx-prev-iter-new-env"
2303     - title: "2206.0-10"
2304       data-set: "vpp-3n-skx-curr-iter"
2305   comparisons:
2306     - title: "2202.0-10 vs 2202.0-9"
2307       reference: 2
2308       compare: 3
2309     - title: "2206.0-10 vs 2202.0-10"
2310       reference: 3
2311       compare: 4
2312   legend:
2313     - ''
2314     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
2315     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2316     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2317     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2318     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2319
2320 # VPP Performance Changes 3n-skx 4t2c ndr
2321 - type: "table"
2322   title: "VPP Performance Changes 3n-skx 4t2c ndr"
2323   algorithm: "table_comparison"
2324   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-ndr"
2325   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2326   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2327   columns:
2328     - title: "2110.0-9"
2329       data-set: "vpp-3n-skx-hist-iter-new-env"
2330     - title: "2202.0-9"
2331       data-set: "vpp-3n-skx-prev-iter-old-env"
2332     - title: "2202.0-10"
2333       data-set: "vpp-3n-skx-prev-iter-new-env"
2334     - title: "2206.0-10"
2335       data-set: "vpp-3n-skx-curr-iter"
2336   comparisons:
2337     - title: "2202.0-10 vs 2202.0-9"
2338       reference: 2
2339       compare: 3
2340     - title: "2206.0-10 vs 2202.0-10"
2341       reference: 3
2342       compare: 4
2343   legend:
2344     - ''
2345     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
2346     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2347     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2348     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2349     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2350
2351 # VPP Performance Changes 2n-skx 2t1c pdr
2352 - type: "table"
2353   title: "VPP Performance Changes 2n-skx 2t1c pdr"
2354   algorithm: "table_comparison"
2355   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-pdr"
2356   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2357   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2358   columns:
2359     - title: "2110.0-9"
2360       data-set: "vpp-2n-skx-hist-iter-new-env"
2361     - title: "2202.0-9"
2362       data-set: "vpp-2n-skx-prev-iter-old-env"
2363     - title: "2202.0-10"
2364       data-set: "vpp-2n-skx-prev-iter-new-env"
2365     - title: "2206.0-10"
2366       data-set: "vpp-2n-skx-curr-iter"
2367   comparisons:
2368     - title: "2202.0-10 vs 2202.0-9"
2369       reference: 2
2370       compare: 3
2371     - title: "2206.0-10 vs 2202.0-10"
2372       reference: 3
2373       compare: 4
2374   legend:
2375     - ''
2376     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
2377     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2378     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2379     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2380     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2381
2382 # VPP Performance Changes 2n-skx 4t2c pdr
2383 - type: "table"
2384   title: "VPP Performance Changes 2n-skx 4t2c pdr"
2385   algorithm: "table_comparison"
2386   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-pdr"
2387   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2388   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2389   columns:
2390     - title: "2110.0-9"
2391       data-set: "vpp-2n-skx-hist-iter-new-env"
2392     - title: "2202.0-9"
2393       data-set: "vpp-2n-skx-prev-iter-old-env"
2394     - title: "2202.0-10"
2395       data-set: "vpp-2n-skx-prev-iter-new-env"
2396     - title: "2206.0-10"
2397       data-set: "vpp-2n-skx-curr-iter"
2398   comparisons:
2399     - title: "2202.0-10 vs 2202.0-9"
2400       reference: 2
2401       compare: 3
2402     - title: "2206.0-10 vs 2202.0-10"
2403       reference: 3
2404       compare: 4
2405   legend:
2406     - ''
2407     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
2408     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2409     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2410     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2411     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2412
2413 # VPP Performance Changes 2n-skx 2t1c ndr
2414 - type: "table"
2415   title: "VPP Performance Changes 2n-skx 2t1c ndr"
2416   algorithm: "table_comparison"
2417   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-ndr"
2418   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2419   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2420   columns:
2421     - title: "2110.0-9"
2422       data-set: "vpp-2n-skx-hist-iter-new-env"
2423     - title: "2202.0-9"
2424       data-set: "vpp-2n-skx-prev-iter-old-env"
2425     - title: "2202.0-10"
2426       data-set: "vpp-2n-skx-prev-iter-new-env"
2427     - title: "2206.0-10"
2428       data-set: "vpp-2n-skx-curr-iter"
2429   comparisons:
2430     - title: "2202.0-10 vs 2202.0-9"
2431       reference: 2
2432       compare: 3
2433     - title: "2206.0-10 vs 2202.0-10"
2434       reference: 3
2435       compare: 4
2436   legend:
2437     - ''
2438     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
2439     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2440     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2441     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2442     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2443
2444 # VPP Performance Changes 2n-skx 4t2c ndr
2445 - type: "table"
2446   title: "VPP Performance Changes 2n-skx 4t2c ndr"
2447   algorithm: "table_comparison"
2448   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-ndr"
2449   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2450   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2451   columns:
2452     - title: "2110.0-9"
2453       data-set: "vpp-2n-skx-hist-iter-new-env"
2454     - title: "2202.0-9"
2455       data-set: "vpp-2n-skx-prev-iter-old-env"
2456     - title: "2202.0-10"
2457       data-set: "vpp-2n-skx-prev-iter-new-env"
2458     - title: "2206.0-10"
2459       data-set: "vpp-2n-skx-curr-iter"
2460   comparisons:
2461     - title: "2202.0-10 vs 2202.0-9"
2462       reference: 2
2463       compare: 3
2464     - title: "2206.0-10 vs 2202.0-10"
2465       reference: 3
2466       compare: 4
2467   legend:
2468     - ''
2469     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
2470     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2471     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2472     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2473     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2474
2475 # VPP Performance Changes 2n-clx-xxv710 2t1c pdr
2476 - type: "table"
2477   title: "VPP Performance Changes 2n-clx-xxv710 2t1c pdr"
2478   algorithm: "table_comparison"
2479   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-xxv710-2t1c-pdr"
2480   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2481   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2482   columns:
2483     - title: "2110.0-9"
2484       data-set: "vpp-2n-clx-hist-iter-new-env"
2485     - title: "2202.0-9"
2486       data-set: "vpp-2n-clx-prev-iter-old-env"
2487     - title: "2202.0-10"
2488       data-set: "vpp-2n-clx-prev-iter-new-env"
2489     - title: "2206.0-10"
2490       data-set: "vpp-2n-clx-curr-iter"
2491   comparisons:
2492     - title: "2202.0-10 vs 2202.0-9"
2493       reference: 2
2494       compare: 3
2495     - title: "2206.0-10 vs 2202.0-10"
2496       reference: 3
2497       compare: 4
2498   legend:
2499     - ''
2500     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
2501     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2502     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2503     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2504     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2505
2506 # VPP Performance Changes 2n-clx-xxv710 4t2c pdr
2507 - type: "table"
2508   title: "VPP Performance Changes 2n-clx-xxv710 4t2c pdr"
2509   algorithm: "table_comparison"
2510   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-xxv710-4t2c-pdr"
2511   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2512   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2513   columns:
2514     - title: "2110.0-9"
2515       data-set: "vpp-2n-clx-hist-iter-new-env"
2516     - title: "2202.0-9"
2517       data-set: "vpp-2n-clx-prev-iter-old-env"
2518     - title: "2202.0-10"
2519       data-set: "vpp-2n-clx-prev-iter-new-env"
2520     - title: "2206.0-10"
2521       data-set: "vpp-2n-clx-curr-iter"
2522   comparisons:
2523     - title: "2202.0-10 vs 2202.0-9"
2524       reference: 2
2525       compare: 3
2526     - title: "2206.0-10 vs 2202.0-10"
2527       reference: 3
2528       compare: 4
2529   legend:
2530     - ''
2531     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
2532     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2533     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2534     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2535     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2536
2537 # VPP Performance Changes 2n-clx-xxv710 2t1c ndr
2538 - type: "table"
2539   title: "VPP Performance Changes 2n-clx-xxv710 2t1c ndr"
2540   algorithm: "table_comparison"
2541   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-xxv710-2t1c-ndr"
2542   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2543   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2544   columns:
2545     - title: "2110.0-9"
2546       data-set: "vpp-2n-clx-hist-iter-new-env"
2547     - title: "2202.0-9"
2548       data-set: "vpp-2n-clx-prev-iter-old-env"
2549     - title: "2202.0-10"
2550       data-set: "vpp-2n-clx-prev-iter-new-env"
2551     - title: "2206.0-10"
2552       data-set: "vpp-2n-clx-curr-iter"
2553   comparisons:
2554     - title: "2202.0-10 vs 2202.0-9"
2555       reference: 2
2556       compare: 3
2557     - title: "2206.0-10 vs 2202.0-10"
2558       reference: 3
2559       compare: 4
2560   legend:
2561     - ''
2562     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
2563     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2564     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2565     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2566     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2567
2568 # VPP Performance Changes 2n-clx-xxv710 4t2c ndr
2569 - type: "table"
2570   title: "VPP Performance Changes 2n-clx-xxv710 ndr"
2571   algorithm: "table_comparison"
2572   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-xxv710-4t2c-ndr"
2573   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2574   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2575   columns:
2576     - title: "2110.0-9"
2577       data-set: "vpp-2n-clx-hist-iter-new-env"
2578     - title: "2202.0-9"
2579       data-set: "vpp-2n-clx-prev-iter-old-env"
2580     - title: "2202.0-10"
2581       data-set: "vpp-2n-clx-prev-iter-new-env"
2582     - title: "2206.0-10"
2583       data-set: "vpp-2n-clx-curr-iter"
2584   comparisons:
2585     - title: "2202.0-10 vs 2202.0-9"
2586       reference: 2
2587       compare: 3
2588     - title: "2206.0-10 vs 2202.0-10"
2589       reference: 3
2590       compare: 4
2591   legend:
2592     - ''
2593     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
2594     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2595     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2596     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2597     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2598
2599 # VPP Performance Changes 2n-clx-cx556a 2t1c pdr
2600 - type: "table"
2601   title: "VPP Performance Changes 2n-clx-cx556a 2t1c pdr"
2602   algorithm: "table_comparison"
2603   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-cx556a-2t1c-pdr"
2604   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2605   filter: "'2T1C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
2606   columns:
2607     - title: "2110.0-9"
2608       data-set: "vpp-2n-clx-hist-iter-new-env"
2609     - title: "2202.0-9"
2610       data-set: "vpp-2n-clx-prev-iter-old-env"
2611     - title: "2202.0-10"
2612       data-set: "vpp-2n-clx-prev-iter-new-env"
2613     - title: "2206.0-10"
2614       data-set: "vpp-2n-clx-curr-iter"
2615   comparisons:
2616     - title: "2202.0-10 vs 2202.0-9"
2617       reference: 2
2618       compare: 3
2619     - title: "2206.0-10 vs 2202.0-10"
2620       reference: 3
2621       compare: 4
2622   legend:
2623     - ''
2624     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
2625     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2626     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2627     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2628     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2629
2630 # VPP Performance Changes 2n-clx-cx556a 4t2c pdr
2631 - type: "table"
2632   title: "VPP Performance Changes 2n-clx-cx556a 4t2c pdr"
2633   algorithm: "table_comparison"
2634   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-cx556a-4t2c-pdr"
2635   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2636   filter: "'4T2C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
2637   columns:
2638     - title: "2110.0-9"
2639       data-set: "vpp-2n-clx-hist-iter-new-env"
2640     - title: "2202.0-9"
2641       data-set: "vpp-2n-clx-prev-iter-old-env"
2642     - title: "2202.0-10"
2643       data-set: "vpp-2n-clx-prev-iter-new-env"
2644     - title: "2206.0-10"
2645       data-set: "vpp-2n-clx-curr-iter"
2646   comparisons:
2647     - title: "2202.0-10 vs 2202.0-9"
2648       reference: 2
2649       compare: 3
2650     - title: "2206.0-10 vs 2202.0-10"
2651       reference: 3
2652       compare: 4
2653   legend:
2654     - ''
2655     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
2656     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2657     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2658     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2659     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2660
2661 # VPP Performance Changes 2n-clx-cx556a 2t1c ndr
2662 - type: "table"
2663   title: "VPP Performance Changes 2n-clx-cx556a 2t1c ndr"
2664   algorithm: "table_comparison"
2665   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-cx556a-2t1c-ndr"
2666   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2667   filter: "'2T1C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
2668   columns:
2669     - title: "2110.0-9"
2670       data-set: "vpp-2n-clx-hist-iter-new-env"
2671     - title: "2202.0-9"
2672       data-set: "vpp-2n-clx-prev-iter-old-env"
2673     - title: "2202.0-10"
2674       data-set: "vpp-2n-clx-prev-iter-new-env"
2675     - title: "2206.0-10"
2676       data-set: "vpp-2n-clx-curr-iter"
2677   comparisons:
2678     - title: "2202.0-10 vs 2202.0-9"
2679       reference: 2
2680       compare: 3
2681     - title: "2206.0-10 vs 2202.0-10"
2682       reference: 3
2683       compare: 4
2684   legend:
2685     - ''
2686     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
2687     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2688     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2689     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2690     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2691
2692 # VPP Performance Changes 2n-clx-cx556a 4t2c ndr
2693 - type: "table"
2694   title: "VPP Performance Changes 2n-clx-cx556a ndr"
2695   algorithm: "table_comparison"
2696   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-cx556a-4t2c-ndr"
2697   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2698   filter: "'4T2C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
2699   columns:
2700     - title: "2110.0-9"
2701       data-set: "vpp-2n-clx-hist-iter-new-env"
2702     - title: "2202.0-9"
2703       data-set: "vpp-2n-clx-prev-iter-old-env"
2704     - title: "2202.0-10"
2705       data-set: "vpp-2n-clx-prev-iter-new-env"
2706     - title: "2206.0-10"
2707       data-set: "vpp-2n-clx-curr-iter"
2708   comparisons:
2709     - title: "2202.0-10 vs 2202.0-9"
2710       reference: 2
2711       compare: 3
2712     - title: "2206.0-10 vs 2202.0-10"
2713       reference: 3
2714       compare: 4
2715   legend:
2716     - ''
2717     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
2718     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2719     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2720     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2721     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2722
2723 # VPP Performance Changes 2n-zn2-xxv710 2t1c pdr
2724 - type: "table"
2725   title: "VPP Performance Changes 2n-zn2-xxv710 2t1c pdr"
2726   algorithm: "table_comparison"
2727   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-zn2-xxv710-2t1c-pdr"
2728   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2729   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
2730   columns:
2731     - title: "2110.0-9"
2732       data-set: "vpp-2n-zn2-hist-iter-new-env"
2733     - title: "2202.0-9"
2734       data-set: "vpp-2n-zn2-prev-iter-old-env"
2735     - title: "2202.0-10"
2736       data-set: "vpp-2n-zn2-prev-iter-new-env"
2737     - title: "2206.0-10"
2738       data-set: "vpp-2n-zn2-curr-iter"
2739   comparisons:
2740     - title: "2202.0-10 vs 2202.0-9"
2741       reference: 2
2742       compare: 3
2743     - title: "2206.0-10 vs 2202.0-10"
2744       reference: 3
2745       compare: 4
2746   legend:
2747     - ''
2748     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
2749     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2750     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2751     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2752     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2753
2754 # VPP Performance Changes 2n-zn2-xxv710 4t2c pdr
2755 - type: "table"
2756   title: "VPP Performance Changes 2n-zn2-xxv710 4t2c pdr"
2757   algorithm: "table_comparison"
2758   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-zn2-xxv710-4t2c-pdr"
2759   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2760   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
2761   columns:
2762     - title: "2110.0-9"
2763       data-set: "vpp-2n-zn2-hist-iter-new-env"
2764     - title: "2202.0-9"
2765       data-set: "vpp-2n-zn2-prev-iter-old-env"
2766     - title: "2202.0-10"
2767       data-set: "vpp-2n-zn2-prev-iter-new-env"
2768     - title: "2206.0-10"
2769       data-set: "vpp-2n-zn2-curr-iter"
2770   comparisons:
2771     - title: "2202.0-10 vs 2202.0-9"
2772       reference: 2
2773       compare: 3
2774     - title: "2206.0-10 vs 2202.0-10"
2775       reference: 3
2776       compare: 4
2777   legend:
2778     - ''
2779     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
2780     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2781     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2782     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2783     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2784
2785 # VPP Performance Changes 2n-zn2-xxv710 2t1c ndr
2786 - type: "table"
2787   title: "VPP Performance Changes 2n-zn2-xxv710 2t1c ndr"
2788   algorithm: "table_comparison"
2789   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-zn2-xxv710-2t1c-ndr"
2790   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2791   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
2792   columns:
2793     - title: "2110.0-9"
2794       data-set: "vpp-2n-zn2-hist-iter-new-env"
2795     - title: "2202.0-9"
2796       data-set: "vpp-2n-zn2-prev-iter-old-env"
2797     - title: "2202.0-10"
2798       data-set: "vpp-2n-zn2-prev-iter-new-env"
2799     - title: "2206.0-10"
2800       data-set: "vpp-2n-zn2-curr-iter"
2801   comparisons:
2802     - title: "2202.0-10 vs 2202.0-9"
2803       reference: 2
2804       compare: 3
2805     - title: "2206.0-10 vs 2202.0-10"
2806       reference: 3
2807       compare: 4
2808   legend:
2809     - ''
2810     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
2811     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2812     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2813     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2814     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2815
2816 # VPP Performance Changes 2n-zn2-xxv710 4t2c ndr
2817 - type: "table"
2818   title: "VPP Performance Changes 2n-zn2-xxv710 4t2c ndr"
2819   algorithm: "table_comparison"
2820   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-zn2-xxv710-4t2c-ndr"
2821   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2822   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
2823   columns:
2824     - title: "2110.0-9"
2825       data-set: "vpp-2n-zn2-hist-iter-new-env"
2826     - title: "2202.0-9"
2827       data-set: "vpp-2n-zn2-prev-iter-old-env"
2828     - title: "2202.0-10"
2829       data-set: "vpp-2n-zn2-prev-iter-new-env"
2830     - title: "2206.0-10"
2831       data-set: "vpp-2n-zn2-curr-iter"
2832   comparisons:
2833     - title: "2202.0-10 vs 2202.0-9"
2834       reference: 2
2835       compare: 3
2836     - title: "2206.0-10 vs 2202.0-10"
2837       reference: 3
2838       compare: 4
2839   legend:
2840     - ''
2841     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
2842     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2843     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2844     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2845     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2846
2847 # VPP Performance Changes 2n-dnv 1t1c pdr
2848 - type: "table"
2849   title: "VPP Performance Changes 2n-dnv 1t1c pdr"
2850   algorithm: "table_comparison"
2851   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-dnv-1t1c-pdr"
2852   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2853   filter: "'1T1C'"
2854   columns:
2855     - title: "2110.0-9"
2856       data-set: "vpp-2n-dnv-hist-iter-new-env"
2857     - title: "2202.0-9"
2858       data-set: "vpp-2n-dnv-prev-iter-old-env"
2859     - title: "2202.0-10"
2860       data-set: "vpp-2n-dnv-prev-iter-new-env"
2861     - title: "2206.0-10"
2862       data-set: "vpp-2n-dnv-curr-iter"
2863   comparisons:
2864     - title: "2202.0-10 vs 2202.0-9"
2865       reference: 2
2866       compare: 3
2867     - title: "2206.0-10 vs 2202.0-10"
2868       reference: 3
2869       compare: 4
2870   legend:
2871     - ''
2872     - 'Test Case:            Test cases executed for: PDR throughput on 2n-dnv with x553.'
2873     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2874     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2875     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2876     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2877
2878 # VPP Performance Changes 2n-dnv 2t2c pdr
2879 - type: "table"
2880   title: "VPP Performance Changes 2n-dnv 2t2c pdr"
2881   algorithm: "table_comparison"
2882   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-dnv-2t2c-pdr"
2883   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2884   filter: "'2T2C'"
2885   columns:
2886     - title: "2110.0-9"
2887       data-set: "vpp-2n-dnv-hist-iter-new-env"
2888     - title: "2202.0-9"
2889       data-set: "vpp-2n-dnv-prev-iter-old-env"
2890     - title: "2202.0-10"
2891       data-set: "vpp-2n-dnv-prev-iter-new-env"
2892     - title: "2206.0-10"
2893       data-set: "vpp-2n-dnv-curr-iter"
2894   comparisons:
2895     - title: "2202.0-10 vs 2202.0-9"
2896       reference: 2
2897       compare: 3
2898     - title: "2206.0-10 vs 2202.0-10"
2899       reference: 3
2900       compare: 4
2901   legend:
2902     - ''
2903     - 'Test Case:            Test cases executed for: PDR throughput on 2n-dnv with x553.'
2904     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2905     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2906     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2907     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2908
2909 # VPP Performance Changes 2n-dnv 1t1c ndr
2910 - type: "table"
2911   title: "VPP Performance Changes 2n-dnv 1t1c ndr"
2912   algorithm: "table_comparison"
2913   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-dnv-1t1c-ndr"
2914   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2915   filter: "'1T1C'"
2916   columns:
2917     - title: "2110.0-9"
2918       data-set: "vpp-2n-dnv-hist-iter-new-env"
2919     - title: "2202.0-9"
2920       data-set: "vpp-2n-dnv-prev-iter-old-env"
2921     - title: "2202.0-10"
2922       data-set: "vpp-2n-dnv-prev-iter-new-env"
2923     - title: "2206.0-10"
2924       data-set: "vpp-2n-dnv-curr-iter"
2925   comparisons:
2926     - title: "2202.0-10 vs 2202.0-9"
2927       reference: 2
2928       compare: 3
2929     - title: "2206.0-10 vs 2202.0-10"
2930       reference: 3
2931       compare: 4
2932   legend:
2933     - ''
2934     - 'Test Case:            Test cases executed for: PDR throughput on 2n-dnv with x553.'
2935     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2936     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2937     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2938     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2939
2940 # VPP Performance Changes 2n-dnv 2t2c ndr
2941 - type: "table"
2942   title: "VPP Performance Changes 2n-dnv 2t2c ndr"
2943   algorithm: "table_comparison"
2944   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-dnv-2t2c-ndr"
2945   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2946   filter: "'2T2C'"
2947   columns:
2948     - title: "2110.0-9"
2949       data-set: "vpp-2n-dnv-hist-iter-new-env"
2950     - title: "2202.0-9"
2951       data-set: "vpp-2n-dnv-prev-iter-old-env"
2952     - title: "2202.0-10"
2953       data-set: "vpp-2n-dnv-prev-iter-new-env"
2954     - title: "2206.0-10"
2955       data-set: "vpp-2n-dnv-curr-iter"
2956   comparisons:
2957     - title: "2202.0-10 vs 2202.0-9"
2958       reference: 2
2959       compare: 3
2960     - title: "2206.0-10 vs 2202.0-10"
2961       reference: 3
2962       compare: 4
2963   legend:
2964     - ''
2965     - 'Test Case:            Test cases executed for: PDR throughput on 2n-dnv with x553.'
2966     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2967     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2968     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2969     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2970
2971 # VPP Performance Changes 3n-dnv 1t1c pdr
2972 - type: "table"
2973   title: "VPP Performance Changes 3n-dnv 1t1c pdr"
2974   algorithm: "table_comparison"
2975   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-dnv-1t1c-pdr"
2976   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2977   filter: "'1T1C'"
2978   columns:
2979     - title: "2110.0-9"
2980       data-set: "vpp-3n-dnv-hist-iter-new-env"
2981     - title: "2202.0-9"
2982       data-set: "vpp-3n-dnv-prev-iter-old-env"
2983     - title: "2202.0-10"
2984       data-set: "vpp-3n-dnv-prev-iter-new-env"
2985     - title: "2206.0-10"
2986       data-set: "vpp-3n-dnv-curr-iter"
2987   comparisons:
2988     - title: "2202.0-10 vs 2202.0-9"
2989       reference: 2
2990       compare: 3
2991     - title: "2206.0-10 vs 2202.0-10"
2992       reference: 3
2993       compare: 4
2994   legend:
2995     - ''
2996     - 'Test Case:            Test cases executed for: PDR throughput on 3n-dnv with x553.'
2997     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2998     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2999     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
3000     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
3001
3002 # VPP Performance Changes 3n-dnv 2t2c pdr
3003 - type: "table"
3004   title: "VPP Performance Changes 3n-dnv 2t2c pdr"
3005   algorithm: "table_comparison"
3006   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-dnv-2t2c-pdr"
3007   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3008   filter: "'2T2C'"
3009   columns:
3010     - title: "2110.0-9"
3011       data-set: "vpp-3n-dnv-hist-iter-new-env"
3012     - title: "2202.0-9"
3013       data-set: "vpp-3n-dnv-prev-iter-old-env"
3014     - title: "2202.0-10"
3015       data-set: "vpp-3n-dnv-prev-iter-new-env"
3016     - title: "2206.0-10"
3017       data-set: "vpp-3n-dnv-curr-iter"
3018   comparisons:
3019     - title: "2202.0-10 vs 2202.0-9"
3020       reference: 2
3021       compare: 3
3022     - title: "2206.0-10 vs 2202.0-10"
3023       reference: 3
3024       compare: 4
3025   legend:
3026     - ''
3027     - 'Test Case:            Test cases executed for: PDR throughput on 3n-dnv with x553.'
3028     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
3029     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
3030     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
3031     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
3032
3033 # VPP Performance Changes 3n-dnv 1t1c ndr
3034 - type: "table"
3035   title: "VPP Performance Changes 3n-dnv 1t1c ndr"
3036   algorithm: "table_comparison"
3037   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-dnv-1t1c-ndr"
3038   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
3039   filter: "'1T1C'"
3040   columns:
3041     - title: "2110.0-9"
3042       data-set: "vpp-3n-dnv-hist-iter-new-env"
3043     - title: "2202.0-9"
3044       data-set: "vpp-3n-dnv-prev-iter-old-env"
3045     - title: "2202.0-10"
3046       data-set: "vpp-3n-dnv-prev-iter-new-env"
3047     - title: "2206.0-10"
3048       data-set: "vpp-3n-dnv-curr-iter"
3049   comparisons:
3050     - title: "2202.0-10 vs 2202.0-9"
3051       reference: 2
3052       compare: 3
3053     - title: "2206.0-10 vs 2202.0-10"
3054       reference: 3
3055       compare: 4
3056   legend: