ba50bc5e8a9085e1475aa1756311e95692c81558
[csit.git] / resources / tools / presentation / specifications / report / elements.yaml
1 ################################################################################
2 ###                               T A B L E S                                ###
3 ################################################################################
4
5 # Statistics: job-specs' durations
6
7 - type: "table"
8   title: "Job Specification Duration: 2n-icx-iterative"
9   algorithm: "table_job_spec_duration"
10   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-icx-iter"
11   jb-type: "iterative"
12   lines:
13     - job-spec: "vpp-mrr-00"
14       data-set: "vpp-2n-icx-curr-iter-mrr"
15     - job-spec: "vpp-mlr-00"
16       data-set: "vpp-2n-icx-curr-iter"
17     - job-spec: "vpp-gso-mrr-00"
18       data-set: "vpp-2n-icx-curr-iter-gso"
19     - job-spec: "soak-00"
20       data-set: "vpp-2n-icx-curr-soak"
21     - job-spec: "nfv-density-mrr-00"
22       data-set: "vpp-2n-icx-curr-nfv-mrr"
23     - job-spec: "nfv-density-mlr-00"
24       data-set: "vpp-2n-icx-curr-nfv-ndrpdr"
25     - job-spec: "reconf-00"
26       data-set: "vpp-2n-icx-curr-nfv-reconf"
27     - job-spec: "dpdk-mlr-00"
28       data-set: "dpdk-2n-icx-curr-iter"
29
30 # - type: "table"
31 #   title: "Job Specification Duration: 2n-icx-coverage"
32 #   algorithm: "table_job_spec_duration"
33 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-icx-cov"
34 #   jb-type: "coverage"
35 #   data: "vpp-2n-icx-curr-cov"
36 #   lines:
37 #     - job-spec: "gso-00"
38 #       build: "1"
39 #     - job-spec: "ip4-00"
40 #       build: "2"
41 #     - job-spec: "ip4-01"
42 #       build: "3"
43 #     - job-spec: "ip4-02"
44 #       build: "4"
45 #     - job-spec: "ip4-03"
46 #       build: "5"
47 #     - job-spec: "ip4-04"
48 #       build: "6"
49 #     - job-spec: "ip4-05"
50 #       build: "7"
51 #     - job-spec: "ip4-06"
52 #       build: "8"
53 #     - job-spec: "ip4-07"
54 #       build: "9"
55 #     - job-spec: "ip4tun-00"
56 #       build: "10"
57 #     - job-spec: "ip6-00"
58 #       build: "11"
59 #     - job-spec: "ip6-01"
60 #       build: "12"
61 #     - job-spec: "l2-00"
62 #       build: "13"
63 #     - job-spec: "l2-01"
64 #       build: "14"
65 #     - job-spec: "lb-00"
66 #       build: "15"
67 #     - job-spec: "memif-00"
68 #       build: "16"
69 #     - job-spec: "vhost-00"
70 #       build: "17"
71
72 - type: "table"
73   title: "Job Specification Duration: 3n-icx-iterative"
74   algorithm: "table_job_spec_duration"
75   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-icx-iter"
76   jb-type: "iterative"
77   lines:
78     - job-spec: "vpp-mrr-00"
79       data-set: "vpp-3n-icx-curr-iter-mrr"
80     - job-spec: "vpp-mlr-00"
81       data-set: "vpp-3n-icx-curr-iter"
82     - job-spec: "dpdk-mlr-00"
83       data-set: "dpdk-3n-icx-curr-iter"
84
85 # - type: "table"
86 #   title: "Job Specification Duration: 3n-icx-coverage"
87 #   algorithm: "table_job_spec_duration"
88 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-icx-cov"
89 #   jb-type: "coverage"
90 #   data: "vpp-3n-icx-curr-cov"
91 #   lines:
92 #     - job-spec: "crypto-00"
93 #       build: "35"
94 #     - job-spec: "crypto-01"
95 #       build: "36"
96 #     - job-spec: "crypto-02"
97 #       build: "37"
98 #     - job-spec: "crypto-03"  # Completly failed
99 #       build: "70"
100 #     - job-spec: "crypto-04"
101 #       build: "38"
102 #     - job-spec: "ip4-00"
103 #       build: "39"
104 #     - job-spec: "ip4-01"
105 #       build: "40"
106 #     - job-spec: "ip4-02"
107 #       build: "41"
108 #     - job-spec: "ip4-03"
109 #       build: "42"
110 #     - job-spec: "ip4-04"
111 #       build: "43"
112 #     - job-spec: "ip4-05"
113 #       build: "44"
114 #     - job-spec: "ip4-06"
115 #       build: "45"
116 #     - job-spec: "ip4-07"
117 #       build: "46"
118 #     - job-spec: "ip4tun-00"
119 #       build: "47"
120 #     - job-spec: "ip4tun-02"
121 #       build: "48"
122 #     - job-spec: "ip6-00"
123 #       build: "49"
124 #     - job-spec: "ip6-01"
125 #       build: "50"
126 #     - job-spec: "ip6tun-00"
127 #       build: "71"
128 #     - job-spec: "l2-00"
129 #       build: "52"
130 #     - job-spec: "l2-01"
131 #       build: "53"
132 #     - job-spec: "l2-02"
133 #       build: "68"
134 #     - job-spec: "l2-03"
135 #       build: "55"
136 #     - job-spec: "l2-04"
137 #       build: "56"
138 #     - job-spec: "l2-05"
139 #       build: "57"
140 #     - job-spec: "l2-06"
141 #       build: "58"
142 #     - job-spec: "l2-07"
143 #       build: "59"
144 #     - job-spec: "l2-08"
145 #       build: "60"
146 #     - job-spec: "l2-09"
147 #       build: "61"
148 #     - job-spec: "l2-10"
149 #       build: "69"
150 #     - job-spec: "memif-00"
151 #       build: "63"
152 #     - job-spec: "srv6-00"
153 #       build: "64"
154 #     - job-spec: "srv6-01"
155 #       build: "65"
156 #     - job-spec: "vhost-00"
157 #       build: "66"
158 #     - job-spec: "vhost-01"
159 #       build: "67"
160
161 - type: "table"
162   title: "Job Specification Duration: 2n-clx-iterative"
163   algorithm: "table_job_spec_duration"
164   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-clx-iter"
165   jb-type: "iterative"
166   lines:
167     - job-spec: "vpp-mrr-00"
168       data-set: "vpp-2n-clx-curr-iter-mrr"
169     - job-spec: "vpp-mlr-00"
170       data-set: "vpp-2n-clx-curr-iter"
171     - job-spec: "vpp-gso-mrr-00"
172       data-set: "vpp-2n-clx-curr-iter-gso"
173     - job-spec: "soak-00"
174       data-set: "vpp-2n-clx-curr-soak"
175     - job-spec: "vsap-00"
176       data-set: "vpp-2n-clx-curr-iter-vsap"
177     - job-spec: "nfv-density-mrr-00"
178       data-set: "vpp-2n-clx-curr-nfv-mrr"
179     - job-spec: "nfv-density-mlr-00"
180       data-set: "vpp-2n-clx-curr-nfv-ndrpdr"
181     - job-spec: "reconf-00"
182       data-set: "vpp-2n-clx-curr-nfv-reconf"
183     - job-spec: "dpdk-mlr-00"
184       data-set: "dpdk-2n-clx-curr-iter"
185
186 # - type: "table"
187 #   title: "Job Specification Duration: 2n-clx-coverage"
188 #   algorithm: "table_job_spec_duration"
189 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-clx-cov"
190 #   jb-type: "coverage"
191 #   data: "vpp-2n-clx-curr-cov"
192 #   lines:
193 #     - job-spec: "gso-00"
194 #       build: "18"
195 #     - job-spec: "ip4-00"
196 #       build: "19"
197 #     - job-spec: "ip4-01"
198 #       build: "20"
199 #     - job-spec: "ip4-02"
200 #       build: "21"
201 #     - job-spec: "ip4-03"
202 #       build: "22"
203 #     - job-spec: "ip4-04"
204 #       build: "23"
205 #     - job-spec: "ip4-05"
206 #       build: "24"
207 #     - job-spec: "ip4-06"
208 #       build: "25"
209 #     - job-spec: "ip4-07"
210 #       build: "26"
211 #     - job-spec: "ip4tun-00"
212 #       build: "27"
213 #     - job-spec: "ip6-00"
214 #       build: "28"
215 #     - job-spec: "ip6-01"
216 #       build: "29"
217 #     - job-spec: "l2-00"
218 #       build: "30"
219 #     - job-spec: "l2-01"
220 #       build: "31"
221 #     - job-spec: "lb-00"
222 #       build: "32"
223 #     - job-spec: "memif-00"
224 #       build: "33"
225 #     - job-spec: "vhost-00"
226 #       build: "34"
227
228 - type: "table"
229   title: "Job Specification Duration: 2n-dnv-iterative"
230   algorithm: "table_job_spec_duration"
231   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-dnv-iter"
232   jb-type: "iterative"
233   lines:
234     - job-spec: "vpp-mrr-00"
235       data-set: "vpp-2n-dnv-curr-iter-mrr"
236     - job-spec: "vpp-mlr-00"
237       data-set: "vpp-2n-dnv-curr-iter"
238
239 # - type: "table"
240 #   title: "Job Specification Duration: 2n-dnv-coverage"
241 #   algorithm: "table_job_spec_duration"
242 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-dnv-cov"
243 #   jb-type: "coverage"
244 #   data: "vpp-2n-dnv-curr-cov"
245 #   lines:
246 #     - job-spec: "ip4-00"
247 #       build: "7"
248 #     - job-spec: "ip4-01"
249 #       build: "8"
250 #     - job-spec: "ip6-00"
251 #       build: "14"
252 #     - job-spec: "ip6-01"
253 #       build: "10"
254 #     - job-spec: "l2-00"
255 #       build: "11"
256 #     - job-spec: "l2-01"
257 #       build: "12"
258
259 - type: "table"
260   title: "Job Specification Duration: 2n-aws-iterative"
261   algorithm: "table_job_spec_duration"
262   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-aws-iter"
263   jb-type: "iterative"
264   lines:
265     - job-spec: "vpp-mrr-00"
266       data-set: "vpp-2n-aws-curr-iter-mrr"
267     - job-spec: "vpp-mlr-00"
268       data-set: "vpp-2n-aws-curr-iter"
269
270 # - type: "table"
271 #   title: "Job Specification Duration: 2n-aws-coverage"
272 #   algorithm: "table_job_spec_duration"
273 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-aws-cov"
274 #   jb-type: "coverage"
275 #   data: "vpp-2n-aws-curr-cov"
276 #   lines:
277 #     - job-spec: "vpp-00"
278 #       build: "1"
279
280 # - type: "table"
281 #   title: "Job Specification Duration: 3n-aws-iterative"
282 #   algorithm: "table_job_spec_duration"
283 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-aws-iter"
284 #   jb-type: "iterative"
285 #   lines:
286 #     - job-spec: "vpp-mrr-00"
287 #       data-set: "vpp-3n-aws-curr-iter-mrr"
288 #     - job-spec: "vpp-mlr-00"
289 #       data-set: "vpp-3n-aws-curr-iter"
290
291 # - type: "table"
292 #   title: "Job Specification Duration: 3n-aws-coverage"
293 #   algorithm: "table_job_spec_duration"
294 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-aws-cov"
295 #   jb-type: "coverage"
296 #   data: "vpp-3n-aws-curr-cov"
297 #   lines:
298 #     - job-spec: "vpp-00"
299 #       build: "1"
300
301 - type: "table"
302   title: "Job Specification Duration: 2n-skx-iterative"
303   algorithm: "table_job_spec_duration"
304   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-skx-iter"
305   jb-type: "iterative"
306   lines:
307     - job-spec: "vpp-mrr-00"
308       data-set: "vpp-2n-skx-curr-iter-mrr"
309     - job-spec: "vpp-mlr-00"
310       data-set: "vpp-2n-skx-curr-iter"
311     - job-spec: "vpp-gso-mrr-00"
312       data-set: "vpp-2n-skx-curr-iter-gso"
313     - job-spec: "soak-00"
314       data-set: "vpp-2n-skx-curr-soak"
315     - job-spec: "nfv-density-mrr-00"
316       data-set: "vpp-2n-skx-curr-nfv-mrr"
317     - job-spec: "nfv-density-mlr-00"
318       data-set: "vpp-2n-skx-curr-nfv-ndrpdr"
319     - job-spec: "reconf-00"
320       data-set: "vpp-2n-skx-curr-nfv-reconf"
321     - job-spec: "dpdk-mlr-00"
322       data-set: "dpdk-2n-skx-curr-iter"
323     - job-spec: "trex-mlr-00"
324       data-set: "trex-2n-skx-curr-iter"
325
326 # - type: "table"
327 #   title: "Job Specification Duration: 2n-skx-coverage"
328 #   algorithm: "table_job_spec_duration"
329 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-skx-cov"
330 #   jb-type: "coverage"
331 #   data: "vpp-2n-skx-curr-cov"
332 #   lines:
333 #     - job-spec: "gso-00"
334 #       build: "18"
335 #     - job-spec: "ip4-00"
336 #       build: "19"
337 #     - job-spec: "ip4-01"
338 #       build: "20"
339 #     - job-spec: "ip4-02"
340 #       build: "21"
341 #     - job-spec: "ip4-03"
342 #       build: "22"
343 #     - job-spec: "ip4-04"
344 #       build: "23"
345 #     - job-spec: "ip4-05"
346 #       build: "24"
347 #     - job-spec: "ip4-06"
348 #       build: "25"
349 #     - job-spec: "ip4-07"
350 #       build: "26"
351 #     - job-spec: "ip4tun-00"
352 #       build: "27"
353 #     - job-spec: "ip6-00"
354 #       build: "28"
355 #     - job-spec: "ip6-01"
356 #       build: "29"
357 #     - job-spec: "l2-00"
358 #       build: "30"
359 #     - job-spec: "l2-01"
360 #       build: "31"
361 #     - job-spec: "lb-00"
362 #       build: "32"
363 #     - job-spec: "memif-00"
364 #       build: "33"
365 #     - job-spec: "vhost-00"
366 #       build: "34"
367
368 - type: "table"
369   title: "Job Specification Duration: 2n-tx2-iterative"
370   algorithm: "table_job_spec_duration"
371   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-tx2-iter"
372   jb-type: "iterative"
373   lines:
374     - job-spec: "vpp-mrr-00"
375       data-set: "vpp-2n-tx2-curr-iter-mrr"
376     - job-spec: "vpp-mlr-00"
377       data-set: "vpp-2n-tx2-curr-iter"
378
379 # - type: "table"
380 #   title: "Job Specification Duration: 2n-tx2-coverage"
381 #   algorithm: "table_job_spec_duration"
382 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-tx2-cov"
383 #   jb-type: "coverage"
384 #   data: "vpp-2n-tx2-curr-cov"
385 #   lines:
386 #     - job-spec: "ip4-00"
387 #       build: "15"
388 #     - job-spec: "ip4-01"
389 #       build: "16"
390 #     - job-spec: "ip4-02"
391 #       build: "17"
392 #     - job-spec: "ip4-03"
393 #       build: "18"
394 #     - job-spec: "ip4-04"
395 #       build: "19"
396 #     - job-spec: "ip4-05"
397 #       build: "20"
398 #     - job-spec: "ip4-06"
399 #       build: "21"
400 #     - job-spec: "ip6-00"
401 #       build: "22"
402 #     - job-spec: "ip6-01"
403 #       build: "23"
404 #     - job-spec: "l2-00"
405 #       build: "24"
406 #     - job-spec: "l2-01"
407 #       build: "25"
408 #     - job-spec: "l2-02"
409 #       build: "26"
410 #     - job-spec: "l2-03"
411 #       build: "27"
412 #     - job-spec: "l2-04"
413 #       build: "28"
414
415 - type: "table"
416   title: "Job Specification Duration: 2n-zn2-iterative"
417   algorithm: "table_job_spec_duration"
418   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-zn2-iter"
419   jb-type: "iterative"
420   lines:
421     - job-spec: "vpp-mrr-00"
422       data-set: "vpp-2n-zn2-curr-iter-mrr"
423     - job-spec: "vpp-mlr-00"
424       data-set: "vpp-2n-zn2-curr-iter"
425     - job-spec: "vpp-gso-mrr-00"
426       data-set: "vpp-2n-zn2-curr-iter-gso"
427     - job-spec: "dpdk-mlr-00"
428       data-set: "dpdk-2n-zn2-curr-iter"
429
430 # - type: "table"
431 #   title: "Job Specification Duration: 2n-zn2-coverage"
432 #   algorithm: "table_job_spec_duration"
433 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-zn2-cov"
434 #   jb-type: "coverage"
435 #   data: "vpp-2n-zn2-curr-cov"
436 #   lines:
437 #     - job-spec: "gso-00"
438 #       build: "16"
439 #     - job-spec: "ip4-00"
440 #       build: "17"
441 #     - job-spec: "ip4-01"
442 #       build: "18"
443 #     - job-spec: "ip4-02"
444 #       build: "19"
445 #     - job-spec: "ip4-03"
446 #       build: "20"
447 #     - job-spec: "ip4-04"
448 #       build: "21"
449 #     - job-spec: "ip4-05"
450 #       build: "22"
451 #     - job-spec: "ip4tun-00"
452 #       build: "23"
453 #     - job-spec: "ip6-00"
454 #       build: "24"
455 #     - job-spec: "ip6-01"
456 #       build: "25"
457 #     - job-spec: "l2-00"
458 #       build: "26"
459 #     - job-spec: "l2-01"
460 #       build: "27"
461 #     - job-spec: "lb-00"
462 #       build: "28"
463 #     - job-spec: "memif-00"
464 #       build: "29"
465 #     - job-spec: "vhost-00"
466 #       build: "30"
467
468 - type: "table"
469   title: "Job Specification Duration: 3n-dnv-iterative"
470   algorithm: "table_job_spec_duration"
471   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-dnv-iter"
472   jb-type: "iterative"
473   lines:
474     - job-spec: "vpp-mrr-00"
475       data-set: "vpp-3n-dnv-curr-iter-mrr"
476     - job-spec: "vpp-mlr-00"
477       data-set: "vpp-3n-dnv-curr-iter"
478
479 # - type: "table"
480 #   title: "Job Specification Duration: 3n-dnv-coverage"
481 #   algorithm: "table_job_spec_duration"
482 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-dnv-cov"
483 #   jb-type: "coverage"
484 #   data: "vpp-3n-dnv-curr-cov"
485 #   lines:
486 #     - job-spec: "crypto-00"
487 #       build: "11"
488 #     - job-spec: "crypto-01"
489 #       build: "12"
490 #     - job-spec: "crypto-02"
491 #       build: "13"
492 #     - job-spec: "ip4-00"
493 #       build: "14"
494 #     - job-spec: "ip4-01"
495 #       build: "15"
496 #     - job-spec: "ip4tun-00"
497 #       build: "16"
498 #     - job-spec: "ip6-00"
499 #       build: "17"
500 #     - job-spec: "ip6-01"
501 #       build: "18"
502 #     - job-spec: "l2-00"
503 #       build: "19"
504 #     - job-spec: "l2-01"
505 #       build: "20"
506
507 - type: "table"
508   title: "Job Specification Duration: 3n-skx-iterative"
509   algorithm: "table_job_spec_duration"
510   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-skx-iter"
511   jb-type: "iterative"
512   lines:
513     - job-spec: "vpp-mrr-00"
514       data-set: "vpp-3n-skx-curr-iter-mrr"
515     - job-spec: "vpp-mlr-00"
516       data-set: "vpp-3n-skx-curr-iter"
517     - job-spec: "hoststack-00"
518       data-set: "vpp-3n-skx-curr-iter-hoststack"
519     - job-spec: "dpdk-mlr-00"
520       data-set: "dpdk-3n-skx-curr-iter"
521
522 # - type: "table"
523 #   title: "Job Specification Duration: 3n-skx-coverage"
524 #   algorithm: "table_job_spec_duration"
525 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-skx-cov"
526 #   jb-type: "coverage"
527 #   data: "vpp-3n-skx-curr-cov"
528 #   lines:
529 #     - job-spec: "crypto-00"
530 #       build: "35"
531 #     - job-spec: "crypto-01"
532 #       build: "36"
533 #     - job-spec: "crypto-02"
534 #       build: "37"
535 #     - job-spec: "crypto-03"  # Completly failed
536 #       build: "68"
537 #     - job-spec: "crypto-04"
538 #       build: "38"
539 #     - job-spec: "ip4-00"
540 #       build: "39"
541 #     - job-spec: "ip4-01"
542 #       build: "40"
543 #     - job-spec: "ip4-02"
544 #       build: "41"
545 #     - job-spec: "ip4-03"
546 #       build: "42"
547 #     - job-spec: "ip4-04"
548 #       build: "43"
549 #     - job-spec: "ip4-05"
550 #       build: "44"
551 #     - job-spec: "ip4-06"
552 #       build: "45"
553 #     - job-spec: "ip4-07"
554 #       build: "46"
555 #     - job-spec: "ip4tun-00"
556 #       build: "47"
557 #     - job-spec: "ip4tun-02"
558 #       build: "48"
559 #     - job-spec: "ip6-00"
560 #       build: "49"
561 #     - job-spec: "ip6-01"
562 #       build: "50"
563 #     - job-spec: "ip6tun-00"
564 #       build: "69"
565 #     - job-spec: "l2-00"
566 #       build: "52"
567 #     - job-spec: "l2-01"
568 #       build: "53"
569 #     - job-spec: "l2-02"
570 #       build: "54"
571 #     - job-spec: "l2-03"
572 #       build: "55"
573 #     - job-spec: "l2-04"
574 #       build: "56"
575 #     - job-spec: "l2-05"
576 #       build: "57"
577 #     - job-spec: "l2-06"
578 #       build: "58"
579 #     - job-spec: "l2-07"
580 #       build: "59"
581 #     - job-spec: "l2-08"
582 #       build: "60"
583 #     - job-spec: "l2-09"
584 #       build: "61"
585 #     - job-spec: "l2-10"
586 #       build: "62"
587 #     - job-spec: "memif-00"
588 #       build: "63"
589 #     - job-spec: "srv6-00"
590 #       build: "64"
591 #     - job-spec: "srv6-01"
592 #       build: "65"
593 #     - job-spec: "vhost-00"
594 #       build: "66"
595 #     - job-spec: "vhost-01"
596 #       build: "67"
597
598 - type: "table"
599   title: "Job Specification Duration: 3n-tsh-iterative"
600   algorithm: "table_job_spec_duration"
601   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-tsh-iter"
602   jb-type: "iterative"
603   lines:
604     - job-spec: "vpp-mrr-00"
605       data-set: "vpp-3n-tsh-curr-iter-mrr"
606     - job-spec: "vpp-mlr-00"
607       data-set: "vpp-3n-tsh-curr-iter"
608     - job-spec: "dpdk-mlr-00"
609       data-set: "dpdk-3n-tsh-curr-iter"
610
611 # - type: "table"
612 #   title: "Job Specification Duration: 3n-tsh-coverage"
613 #   algorithm: "table_job_spec_duration"
614 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-tsh-cov"
615 #   jb-type: "coverage"
616 #   data: "vpp-3n-tsh-curr-cov"
617 #   lines:
618 #     - job-spec: "ip4-00"
619 #       build: "18"
620 #     - job-spec: "ip4-01"
621 #       build: "19"
622 #     - job-spec: "ip4-02"
623 #       build: "20"
624 #     - job-spec: "ip4-03"
625 #       build: "21"
626 #     - job-spec: "ip4tun-00"
627 #       build: "22"
628 #     - job-spec: "ip6-00"
629 #       build: "23"
630 #     - job-spec: "ip6-01"
631 #       build: "24"
632 #     - job-spec: "l2-00"
633 #       build: "25"
634 #     - job-spec: "l2-01"
635 #       build: "26"
636 #     - job-spec: "l2-02"
637 #       build: "27"
638 #     - job-spec: "l2-03"
639 #       build: "28"
640 #     - job-spec: "l2-04"
641 #       build: "29"
642 #     - job-spec: "memif-00"
643 #       build: "30"
644 #     - job-spec: "srv6-00"
645 #       build: "31"
646 #     - job-spec: "srv6-01"
647 #       build: "32"
648 #     - job-spec: "vhost-00"
649 #       build: "33"
650 #     - job-spec: "vhost-01"
651 #       build: "34"
652
653 # VPP Latency Changes 3n-skx 2t1c
654 - type: "table"
655   title: "VPP Latency Changes 3n-skx 2t1c PDR50-direction1-avg"
656   algorithm: "table_comparison"
657   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-skx-xxv710-2t1c-pdr50-d1-avg"
658   include-tests: "latency-PDR50-direction1-avg"
659   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
660   columns:
661     - title: "2110.0-9"
662       data-set: "vpp-3n-skx-hist-iter-new-env"
663     - title: "2202.0-9"
664       data-set: "vpp-3n-skx-prev-iter-old-env"
665     - title: "2202.0-10"
666       data-set: "vpp-3n-skx-prev-iter-new-env"
667     - title: "2206.0-10"
668       data-set: "vpp-3n-skx-curr-iter"
669   comparisons:
670     - title: "2202.0-10 vs 2202.0-9"
671       reference: 2
672       compare: 3
673     - title: "2206.0-10 vs 2202.0-10"
674       reference: 3
675       compare: 4
676   legend:
677     - ''
678     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
679     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
680     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
681     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
682     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
683
684 # VPP Latency Changes 3n-skx 2t1c
685 - type: "table"
686   title: "VPP Latency Changes 3n-skx 2t1c PDR90-direction1-avg"
687   algorithm: "table_comparison"
688   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-skx-xxv710-2t1c-pdr90-d1-avg"
689   include-tests: "latency-PDR90-direction1-avg"
690   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
691   columns:
692     - title: "2110.0-9"
693       data-set: "vpp-3n-skx-hist-iter-new-env"
694     - title: "2202.0-9"
695       data-set: "vpp-3n-skx-prev-iter-old-env"
696     - title: "2202.0-10"
697       data-set: "vpp-3n-skx-prev-iter-new-env"
698     - title: "2206.0-10"
699       data-set: "vpp-3n-skx-curr-iter"
700   comparisons:
701     - title: "2202.0-10 vs 2202.0-9"
702       reference: 2
703       compare: 3
704     - title: "2206.0-10 vs 2202.0-10"
705       reference: 3
706       compare: 4
707   legend:
708     - ''
709     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
710     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
711     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
712     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
713     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
714
715 # VPP Latency Changes 3n-skx 2t1c
716 - type: "table"
717   title: "VPP Latency Changes 3n-skx 2t1c PDR90-direction1-max"
718   algorithm: "table_comparison"
719   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-skx-xxv710-2t1c-pdr90-d1-max"
720   include-tests: "latency-PDR90-direction1-max"
721   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
722   columns:
723     - title: "2110.0-9"
724       data-set: "vpp-3n-skx-hist-iter-new-env"
725     - title: "2202.0-9"
726       data-set: "vpp-3n-skx-prev-iter-old-env"
727     - title: "2202.0-10"
728       data-set: "vpp-3n-skx-prev-iter-new-env"
729     - title: "2206.0-10"
730       data-set: "vpp-3n-skx-curr-iter"
731   comparisons:
732     - title: "2202.0-10 vs 2202.0-9"
733       reference: 2
734       compare: 3
735     - title: "2206.0-10 vs 2202.0-10"
736       reference: 3
737       compare: 4
738   legend:
739     - ''
740     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
741     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
742     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
743     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
744     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
745
746 # VPP Latency Changes 2n-skx 2t1c
747 - type: "table"
748   title: "VPP Latency Changes 2n-skx 2t1c PDR50-direction1-avg"
749   algorithm: "table_comparison"
750   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-skx-xxv710-2t1c-pdr50-d1-avg"
751   include-tests: "latency-PDR50-direction1-avg"
752   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
753   columns:
754     - title: "2110.0-9"
755       data-set: "vpp-2n-skx-hist-iter-new-env"
756     - title: "2202.0-9"
757       data-set: "vpp-2n-skx-prev-iter-old-env"
758     - title: "2202.0-10"
759       data-set: "vpp-2n-skx-prev-iter-new-env"
760     - title: "2206.0-10"
761       data-set: "vpp-2n-skx-curr-iter"
762   comparisons:
763     - title: "2202.0-10 vs 2202.0-9"
764       reference: 2
765       compare: 3
766     - title: "2206.0-10 vs 2202.0-10"
767       reference: 3
768       compare: 4
769   legend:
770     - ''
771     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
772     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
773     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
774     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
775     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
776
777 # VPP Latency Changes 2n-skx 2t1c
778 - type: "table"
779   title: "VPP Latency Changes 2n-skx 2t1c PDR90-direction1-avg"
780   algorithm: "table_comparison"
781   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-skx-xxv710-2t1c-pdr90-d1-avg"
782   include-tests: "latency-PDR90-direction1-avg"
783   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
784   columns:
785     - title: "2110.0-9"
786       data-set: "vpp-2n-skx-hist-iter-new-env"
787     - title: "2202.0-9"
788       data-set: "vpp-2n-skx-prev-iter-old-env"
789     - title: "2202.0-10"
790       data-set: "vpp-2n-skx-prev-iter-new-env"
791     - title: "2206.0-10"
792       data-set: "vpp-2n-skx-curr-iter"
793   comparisons:
794     - title: "2202.0-10 vs 2202.0-9"
795       reference: 2
796       compare: 3
797     - title: "2206.0-10 vs 2202.0-10"
798       reference: 3
799       compare: 4
800   legend:
801     - ''
802     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
803     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
804     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
805     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
806     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
807
808 # VPP Latency Changes 2n-skx 2t1c
809 - type: "table"
810   title: "VPP Latency Changes 2n-skx 2t1c PDR90-direction1-max"
811   algorithm: "table_comparison"
812   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-skx-xxv710-2t1c-pdr90-d1-max"
813   include-tests: "latency-PDR90-direction1-max"
814   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
815   columns:
816     - title: "2110.0-9"
817       data-set: "vpp-2n-skx-hist-iter-new-env"
818     - title: "2202.0-9"
819       data-set: "vpp-2n-skx-prev-iter-old-env"
820     - title: "2202.0-10"
821       data-set: "vpp-2n-skx-prev-iter-new-env"
822     - title: "2206.0-10"
823       data-set: "vpp-2n-skx-curr-iter"
824   comparisons:
825     - title: "2202.0-10 vs 2202.0-9"
826       reference: 2
827       compare: 3
828     - title: "2206.0-10 vs 2202.0-10"
829       reference: 3
830       compare: 4
831   legend:
832     - ''
833     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
834     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
835     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
836     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
837     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
838
839 # VPP Latency Changes 2n-clx 2t1c
840 - type: "table"
841   title: "VPP Latency Changes 2n-clx 2t1c PDR50-direction1-avg"
842   algorithm: "table_comparison"
843   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-xxv710-2t1c-pdr50-d1-avg"
844   include-tests: "latency-PDR50-direction1-avg"
845   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
846   columns:
847     - title: "2110.0-9"
848       data-set: "vpp-2n-clx-hist-iter-new-env"
849     - title: "2202.0-9"
850       data-set: "vpp-2n-clx-prev-iter-old-env"
851     - title: "2202.0-10"
852       data-set: "vpp-2n-clx-prev-iter-new-env"
853     - title: "2206.0-10"
854       data-set: "vpp-2n-clx-curr-iter"
855   comparisons:
856     - title: "2202.0-10 vs 2202.0-9"
857       reference: 2
858       compare: 3
859     - title: "2206.0-10 vs 2202.0-10"
860       reference: 3
861       compare: 4
862   legend:
863     - ''
864     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
865     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
866     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
867     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
868     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
869
870 # VPP Latency Changes 2n-clx 2t1c
871 - type: "table"
872   title: "VPP Latency Changes 2n-clx 2t1c PDR90-direction1-avg"
873   algorithm: "table_comparison"
874   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-xxv710-2t1c-pdr90-d1-avg"
875   include-tests: "latency-PDR90-direction1-avg"
876   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
877   columns:
878     - title: "2110.0-9"
879       data-set: "vpp-2n-clx-hist-iter-new-env"
880     - title: "2202.0-9"
881       data-set: "vpp-2n-clx-prev-iter-old-env"
882     - title: "2202.0-10"
883       data-set: "vpp-2n-clx-prev-iter-new-env"
884     - title: "2206.0-10"
885       data-set: "vpp-2n-clx-curr-iter"
886   comparisons:
887     - title: "2202.0-10 vs 2202.0-9"
888       reference: 2
889       compare: 3
890     - title: "2206.0-10 vs 2202.0-10"
891       reference: 3
892       compare: 4
893   legend:
894     - ''
895     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
896     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
897     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
898     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
899     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
900
901 # VPP Latency Changes 2n-clx 2t1c
902 - type: "table"
903   title: "VPP Latency Changes 2n-clx 2t1c PDR90-direction1-max"
904   algorithm: "table_comparison"
905   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-xxv710-2t1c-pdr90-d1-max"
906   include-tests: "latency-PDR90-direction1-max"
907   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
908   columns:
909     - title: "2110.0-9"
910       data-set: "vpp-2n-clx-hist-iter-new-env"
911     - title: "2202.0-9"
912       data-set: "vpp-2n-clx-prev-iter-old-env"
913     - title: "2202.0-10"
914       data-set: "vpp-2n-clx-prev-iter-new-env"
915     - title: "2206.0-10"
916       data-set: "vpp-2n-clx-curr-iter"
917   comparisons:
918     - title: "2202.0-10 vs 2202.0-9"
919       reference: 2
920       compare: 3
921     - title: "2206.0-10 vs 2202.0-10"
922       reference: 3
923       compare: 4
924   legend:
925     - ''
926     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
927     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
928     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
929     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
930     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
931
932 # VPP Latency Changes 2n-clx 2t1c
933 - type: "table"
934   title: "VPP Latency Changes 2n-clx 2t1c PDR50-direction1-avg"
935   algorithm: "table_comparison"
936   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-cx556a-2t1c-pdr50-d1-avg"
937   include-tests: "latency-PDR50-direction1-avg"
938   filter: "'2T1C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
939   columns:
940     - title: "2110.0-9"
941       data-set: "vpp-2n-clx-hist-iter-new-env"
942     - title: "2202.0-9"
943       data-set: "vpp-2n-clx-prev-iter-old-env"
944     - title: "2202.0-10"
945       data-set: "vpp-2n-clx-prev-iter-new-env"
946     - title: "2206.0-10"
947       data-set: "vpp-2n-clx-curr-iter"
948   comparisons:
949     - title: "2202.0-10 vs 2202.0-9"
950       reference: 2
951       compare: 3
952     - title: "2206.0-10 vs 2202.0-10"
953       reference: 3
954       compare: 4
955   legend:
956     - ''
957     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
958     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
959     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
960     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
961     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
962
963 # VPP Latency Changes 2n-clx 2t1c
964 - type: "table"
965   title: "VPP Latency Changes 2n-clx 2t1c PDR90-direction1-avg"
966   algorithm: "table_comparison"
967   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-cx556a-2t1c-pdr90-d1-avg"
968   include-tests: "latency-PDR90-direction1-avg"
969   filter: "'2T1C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
970   columns:
971     - title: "2110.0-9"
972       data-set: "vpp-2n-clx-hist-iter-new-env"
973     - title: "2202.0-9"
974       data-set: "vpp-2n-clx-prev-iter-old-env"
975     - title: "2202.0-10"
976       data-set: "vpp-2n-clx-prev-iter-new-env"
977     - title: "2206.0-10"
978       data-set: "vpp-2n-clx-curr-iter"
979   comparisons:
980     - title: "2202.0-10 vs 2202.0-9"
981       reference: 2
982       compare: 3
983     - title: "2206.0-10 vs 2202.0-10"
984       reference: 3
985       compare: 4
986   legend:
987     - ''
988     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
989     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
990     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
991     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
992     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
993
994 # VPP Latency Changes 2n-clx 2t1c
995 - type: "table"
996   title: "VPP Latency Changes 2n-clx 2t1c PDR90-direction1-max"
997   algorithm: "table_comparison"
998   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-cx556a-2t1c-pdr90-d1-max"
999   include-tests: "latency-PDR90-direction1-max"
1000   filter: "'2T1C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
1001   columns:
1002     - title: "2110.0-9"
1003       data-set: "vpp-2n-clx-hist-iter-new-env"
1004     - title: "2202.0-9"
1005       data-set: "vpp-2n-clx-prev-iter-old-env"
1006     - title: "2202.0-10"
1007       data-set: "vpp-2n-clx-prev-iter-new-env"
1008     - title: "2206.0-10"
1009       data-set: "vpp-2n-clx-curr-iter"
1010   comparisons:
1011     - title: "2202.0-10 vs 2202.0-9"
1012       reference: 2
1013       compare: 3
1014     - title: "2206.0-10 vs 2202.0-10"
1015       reference: 3
1016       compare: 4
1017   legend:
1018     - ''
1019     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
1020     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
1021     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1022     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
1023     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
1024
1025 # VPP Latency Changes 2n-zn2 2t1c
1026 - type: "table"
1027   title: "VPP Latency Changes 2n-zn2 2t1c PDR50-direction1-avg"
1028   algorithm: "table_comparison"
1029   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-zn2-xxv710-2t1c-pdr50-d1-avg"
1030   include-tests: "latency-PDR50-direction1-avg"
1031   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
1032   columns:
1033     - title: "2110.0-9"
1034       data-set: "vpp-2n-zn2-hist-iter-new-env"
1035     - title: "2202.0-9"
1036       data-set: "vpp-2n-zn2-prev-iter-old-env"
1037     - title: "2202.0-10"
1038       data-set: "vpp-2n-zn2-prev-iter-new-env"
1039     - title: "2206.0-10"
1040       data-set: "vpp-2n-zn2-curr-iter"
1041   comparisons:
1042     - title: "2202.0-10 vs 2202.0-9"
1043       reference: 2
1044       compare: 3
1045     - title: "2206.0-10 vs 2202.0-10"
1046       reference: 3
1047       compare: 4
1048   legend:
1049     - ''
1050     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
1051     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
1052     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1053     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
1054     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
1055
1056 # VPP Latency Changes 2n-zn2 2t1c
1057 - type: "table"
1058   title: "VPP Latency Changes 2n-zn2 2t1c PDR90-direction1-avg"
1059   algorithm: "table_comparison"
1060   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-zn2-xxv710-2t1c-pdr90-d1-avg"
1061   include-tests: "latency-PDR90-direction1-avg"
1062   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
1063   columns:
1064     - title: "2110.0-9"
1065       data-set: "vpp-2n-zn2-hist-iter-new-env"
1066     - title: "2202.0-9"
1067       data-set: "vpp-2n-zn2-prev-iter-old-env"
1068     - title: "2202.0-10"
1069       data-set: "vpp-2n-zn2-prev-iter-new-env"
1070     - title: "2206.0-10"
1071       data-set: "vpp-2n-zn2-curr-iter"
1072   comparisons:
1073     - title: "2202.0-10 vs 2202.0-9"
1074       reference: 2
1075       compare: 3
1076     - title: "2206.0-10 vs 2202.0-10"
1077       reference: 3
1078       compare: 4
1079   legend:
1080     - ''
1081     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
1082     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
1083     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1084     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
1085     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
1086
1087 # VPP Latency Changes 2n-zn2 2t1c
1088 - type: "table"
1089   title: "VPP Latency Changes 2n-zn2 2t1c PDR90-direction1-max"
1090   algorithm: "table_comparison"
1091   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-zn2-xxv710-2t1c-pdr90-d1-max"
1092   include-tests: "latency-PDR90-direction1-max"
1093   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
1094   columns:
1095     - title: "2110.0-9"
1096       data-set: "vpp-2n-zn2-hist-iter-new-env"
1097     - title: "2202.0-9"
1098       data-set: "vpp-2n-zn2-prev-iter-old-env"
1099     - title: "2202.0-10"
1100       data-set: "vpp-2n-zn2-prev-iter-new-env"
1101     - title: "2206.0-10"
1102       data-set: "vpp-2n-zn2-curr-iter"
1103   comparisons:
1104     - title: "2202.0-10 vs 2202.0-9"
1105       reference: 2
1106       compare: 3
1107     - title: "2206.0-10 vs 2202.0-10"
1108       reference: 3
1109       compare: 4
1110   legend:
1111     - ''
1112     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
1113     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
1114     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1115     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
1116     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
1117
1118 # VPP Latency Changes 2n-tx2 1t1c
1119 - type: "table"
1120   title: "VPP Latency Changes 2n-tx2 1t1c PDR50-direction1-avg"
1121   algorithm: "table_comparison"
1122   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-tx2-xl710-1t1c-pdr50-d1-avg"
1123   include-tests: "latency-PDR50-direction1-avg"
1124   filter: "'1T1C' and 'NDRPDR'"
1125   columns:
1126     - title: "2110.0-9"
1127       data-set: "vpp-2n-tx2-hist-iter-new-env"
1128     - title: "2202.0-9"
1129       data-set: "vpp-2n-tx2-prev-iter-old-env"
1130     - title: "2202.0-10"
1131       data-set: "vpp-2n-tx2-prev-iter-new-env"
1132     - title: "2206.0-10"
1133       data-set: "vpp-2n-tx2-curr-iter"
1134   comparisons:
1135     - title: "2202.0-10 vs 2202.0-9"
1136       reference: 2
1137       compare: 3
1138     - title: "2206.0-10 vs 2202.0-10"
1139       reference: 3
1140       compare: 4
1141   legend:
1142     - ''
1143     - 'Test Case:            Test cases executed for: PDR throughput on 2n-tx2 with xl710.'
1144     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
1145     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1146     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
1147     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
1148
1149 # VPP Latency Changes 2n-tx2 1t1c
1150 - type: "table"
1151   title: "VPP Latency Changes 2n-tx2 1t1c PDR90-direction1-avg"
1152   algorithm: "table_comparison"
1153   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-tx2-xl710-1t1c-pdr90-d1-avg"
1154   include-tests: "latency-PDR90-direction1-avg"
1155   filter: "'1T1C' and 'NDRPDR'"
1156   columns:
1157     - title: "2110.0-9"
1158       data-set: "vpp-2n-tx2-hist-iter-new-env"
1159     - title: "2202.0-9"
1160       data-set: "vpp-2n-tx2-prev-iter-old-env"
1161     - title: "2202.0-10"
1162       data-set: "vpp-2n-tx2-prev-iter-new-env"
1163     - title: "2206.0-10"
1164       data-set: "vpp-2n-tx2-curr-iter"
1165   comparisons:
1166     - title: "2202.0-10 vs 2202.0-9"
1167       reference: 2
1168       compare: 3
1169     - title: "2206.0-10 vs 2202.0-10"
1170       reference: 3
1171       compare: 4
1172   legend:
1173     - ''
1174     - 'Test Case:            Test cases executed for: PDR throughput on 2n-tx2 with xl710.'
1175     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
1176     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1177     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
1178     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
1179
1180 # VPP Latency Changes 2n-tx2 1t1c
1181 - type: "table"
1182   title: "VPP Latency Changes 2n-tx2 1t1c PDR90-direction1-max"
1183   algorithm: "table_comparison"
1184   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-tx2-xl710-1t1c-pdr90-d1-max"
1185   include-tests: "latency-PDR90-direction1-max"
1186   filter: "'1T1C' and 'NDRPDR'"
1187   columns:
1188     - title: "2110.0-9"
1189       data-set: "vpp-2n-tx2-hist-iter-new-env"
1190     - title: "2202.0-9"
1191       data-set: "vpp-2n-tx2-prev-iter-old-env"
1192     - title: "2202.0-10"
1193       data-set: "vpp-2n-tx2-prev-iter-new-env"
1194     - title: "2206.0-10"
1195       data-set: "vpp-2n-tx2-curr-iter"
1196   comparisons:
1197     - title: "2202.0-10 vs 2202.0-9"
1198       reference: 2
1199       compare: 3
1200     - title: "2206.0-10 vs 2202.0-10"
1201       reference: 3
1202       compare: 4
1203   legend:
1204     - ''
1205     - 'Test Case:            Test cases executed for: PDR throughput on 2n-tx2 with xl710.'
1206     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
1207     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1208     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
1209     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
1210
1211 # VPP Latency Changes 3n-tsh 1t1c
1212 - type: "table"
1213   title: "VPP Latency Changes 3n-tsh 1t1c PDR50-direction1-avg"
1214   algorithm: "table_comparison"
1215   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-tsh-x520-1t1c-pdr50-d1-avg"
1216   include-tests: "latency-PDR50-direction1-avg"
1217   filter: "'1T1C' and 'NDRPDR'"
1218   columns:
1219     - title: "2110.0-9"
1220       data-set: "vpp-3n-tsh-hist-iter-new-env"
1221     - title: "2202.0-9"
1222       data-set: "vpp-3n-tsh-prev-iter-old-env"
1223     - title: "2202.0-10"
1224       data-set: "vpp-3n-tsh-prev-iter-new-env"
1225     - title: "2206.0-10"
1226       data-set: "vpp-3n-tsh-curr-iter"
1227   comparisons:
1228     - title: "2202.0-10 vs 2202.0-9"
1229       reference: 2
1230       compare: 3
1231     - title: "2206.0-10 vs 2202.0-10"
1232       reference: 3
1233       compare: 4
1234   legend:
1235     - ''
1236     - 'Test Case:            Test cases executed for: PDR throughput on 3n-tsh with x520.'
1237     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
1238     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1239     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
1240     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
1241
1242 # VPP Latency Changes 3n-tsh 1t1c
1243 - type: "table"
1244   title: "VPP Latency Changes 3n-tsh 1t1c PDR90-direction1-avg"
1245   algorithm: "table_comparison"
1246   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-tsh-x520-1t1c-pdr90-d1-avg"
1247   include-tests: "latency-PDR90-direction1-avg"
1248   filter: "'1T1C' and 'NDRPDR'"
1249   columns:
1250     - title: "2110.0-9"
1251       data-set: "vpp-3n-tsh-hist-iter-new-env"
1252     - title: "2202.0-9"
1253       data-set: "vpp-3n-tsh-prev-iter-old-env"
1254     - title: "2202.0-10"
1255       data-set: "vpp-3n-tsh-prev-iter-new-env"
1256     - title: "2206.0-10"
1257       data-set: "vpp-3n-tsh-curr-iter"
1258   comparisons:
1259     - title: "2202.0-10 vs 2202.0-9"
1260       reference: 2
1261       compare: 3
1262     - title: "2206.0-10 vs 2202.0-10"
1263       reference: 3
1264       compare: 4
1265   legend:
1266     - ''
1267     - 'Test Case:            Test cases executed for: PDR throughput on 3n-tsh with x520.'
1268     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
1269     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1270     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
1271     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
1272
1273 # VPP Latency Changes 3n-tsh 1t1c
1274 - type: "table"
1275   title: "VPP Latency Changes 3n-tsh 1t1c PDR90-direction1-max"
1276   algorithm: "table_comparison"
1277   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-tsh-x520-1t1c-pdr90-d1-max"
1278   include-tests: "latency-PDR90-direction1-max"
1279   filter: "'1T1C' and 'NDRPDR'"
1280   columns:
1281     - title: "2110.0-9"
1282       data-set: "vpp-3n-tsh-hist-iter-new-env"
1283     - title: "2202.0-9"
1284       data-set: "vpp-3n-tsh-prev-iter-old-env"
1285     - title: "2202.0-10"
1286       data-set: "vpp-3n-tsh-prev-iter-new-env"
1287     - title: "2206.0-10"
1288       data-set: "vpp-3n-tsh-curr-iter"
1289   comparisons:
1290     - title: "2202.0-10 vs 2202.0-9"
1291       reference: 2
1292       compare: 3
1293     - title: "2206.0-10 vs 2202.0-10"
1294       reference: 3
1295       compare: 4
1296   legend:
1297     - ''
1298     - 'Test Case:            Test cases executed for: PDR throughput on 3n-tsh with x520.'
1299     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
1300     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1301     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
1302     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
1303
1304 # VPP Latency Changes 3n-icx 2t1c
1305 - type: "table"
1306   title: "VPP Latency Changes 3n-icx 2t1c PDR50-direction1-avg"
1307   algorithm: "table_comparison"
1308   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-icx-xxv710-2t1c-pdr50-d1-avg"
1309   include-tests: "latency-PDR50-direction1-avg"
1310   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1311   columns:
1312     # - title: "2110.0-9"
1313     #   data-set: "vpp-3n-icx-hist-iter-new-env"
1314     - title: "2202.0-9"
1315       data-set: "vpp-3n-icx-prev-iter-old-env"
1316     - title: "2202.0-10"
1317       data-set: "vpp-3n-icx-prev-iter-new-env"
1318     - title: "2206.0-10"
1319       data-set: "vpp-3n-icx-curr-iter"
1320   comparisons:
1321     - title: "2202.0-10 vs 2202.0-9"
1322       reference: 1
1323       compare: 2
1324     - title: "2206.0-10 vs 2202.0-10"
1325       reference: 2
1326       compare: 3
1327   legend:
1328     - ''
1329     - 'Test Case:            Test cases executed for: PDR throughput on 3n-icx with xxv710.'
1330     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
1331     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1332     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
1333     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
1334
1335 # VPP Latency Changes 3n-icx 2t1c
1336 - type: "table"
1337   title: "VPP Latency Changes 3n-icx 2t1c PDR90-direction1-avg"
1338   algorithm: "table_comparison"
1339   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-icx-xxv710-2t1c-pdr90-d1-avg"
1340   include-tests: "latency-PDR90-direction1-avg"
1341   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1342   columns:
1343     # - title: "2110.0-9"
1344     #   data-set: "vpp-3n-icx-hist-iter-new-env"
1345     - title: "2202.0-9"
1346       data-set: "vpp-3n-icx-prev-iter-old-env"
1347     - title: "2202.0-10"
1348       data-set: "vpp-3n-icx-prev-iter-new-env"
1349     - title: "2206.0-10"
1350       data-set: "vpp-3n-icx-curr-iter"
1351   comparisons:
1352     - title: "2202.0-10 vs 2202.0-9"
1353       reference: 1
1354       compare: 2
1355     - title: "2206.0-10 vs 2202.0-10"
1356       reference: 2
1357       compare: 3
1358   legend:
1359     - ''
1360     - 'Test Case:            Test cases executed for: PDR throughput on 3n-icx with xxv710.'
1361     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
1362     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1363     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
1364     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
1365
1366 # VPP Latency Changes 3n-icx 2t1c
1367 - type: "table"
1368   title: "VPP Latency Changes 3n-icx 2t1c PDR90-direction1-max"
1369   algorithm: "table_comparison"
1370   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-icx-xxv710-2t1c-pdr90-d1-max"
1371   include-tests: "latency-PDR90-direction1-max"
1372   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1373   columns:
1374     # - title: "2110.0-9"
1375     #   data-set: "vpp-3n-icx-hist-iter-new-env"
1376     - title: "2202.0-9"
1377       data-set: "vpp-3n-icx-prev-iter-old-env"
1378     - title: "2202.0-10"
1379       data-set: "vpp-3n-icx-prev-iter-new-env"
1380     - title: "2206.0-10"
1381       data-set: "vpp-3n-icx-curr-iter"
1382   comparisons:
1383     - title: "2202.0-10 vs 2202.0-9"
1384       reference: 1
1385       compare: 2
1386     - title: "2206.0-10 vs 2202.0-10"
1387       reference: 2
1388       compare: 3
1389   legend:
1390     - ''
1391     - 'Test Case:            Test cases executed for: PDR throughput on 3n-icx with xxv710.'
1392     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
1393     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1394     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
1395     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
1396
1397 # VPP Latency Changes 2n-icx 2t1c
1398 - type: "table"
1399   title: "VPP Latency Changes 2n-icx 2t1c PDR50-direction1-avg"
1400   algorithm: "table_comparison"
1401   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-icx-xxv710-2t1c-pdr50-d1-avg"
1402   include-tests: "latency-PDR50-direction1-avg"
1403   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1404   columns:
1405     # - title: "2110.0-9"
1406     #   data-set: "vpp-2n-icx-hist-iter-new-env"
1407     - title: "2202.0-9"
1408       data-set: "vpp-2n-icx-prev-iter-old-env"
1409     - title: "2202.0-10"
1410       data-set: "vpp-2n-icx-prev-iter-new-env"
1411     - title: "2206.0-10"
1412       data-set: "vpp-2n-icx-curr-iter"
1413   comparisons:
1414     - title: "2202.0-10 vs 2202.0-9"
1415       reference: 1
1416       compare: 2
1417     - title: "2206.0-10 vs 2202.0-10"
1418       reference: 2
1419       compare: 3
1420   legend:
1421     - ''
1422     - 'Test Case:            Test cases executed for: PDR throughput on 2n-icx with xxv710.'
1423     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
1424     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1425     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
1426     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
1427
1428 # VPP Latency Changes 2n-icx 2t1c
1429 - type: "table"
1430   title: "VPP Latency Changes 2n-icx 2t1c PDR90-direction1-avg"
1431   algorithm: "table_comparison"
1432   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-icx-xxv710-2t1c-pdr90-d1-avg"
1433   include-tests: "latency-PDR90-direction1-avg"
1434   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1435   columns:
1436     # - title: "2110.0-9"
1437     #   data-set: "vpp-2n-icx-hist-iter-new-env"
1438     - title: "2202.0-9"
1439       data-set: "vpp-2n-icx-prev-iter-old-env"
1440     - title: "2202.0-10"
1441       data-set: "vpp-2n-icx-prev-iter-new-env"
1442     - title: "2206.0-10"
1443       data-set: "vpp-2n-icx-curr-iter"
1444   comparisons:
1445     - title: "2202.0-10 vs 2202.0-9"
1446       reference: 1
1447       compare: 2
1448     - title: "2206.0-10 vs 2202.0-10"
1449       reference: 2
1450       compare: 3
1451   legend:
1452     - ''
1453     - 'Test Case:            Test cases executed for: PDR throughput on 2n-icx with xxv710.'
1454     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
1455     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1456     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
1457     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
1458
1459 # VPP Latency Changes 2n-icx 2t1c
1460 - type: "table"
1461   title: "VPP Latency Changes 2n-icx 2t1c PDR90-direction1-max"
1462   algorithm: "table_comparison"
1463   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-icx-xxv710-2t1c-pdr90-d1-max"
1464   include-tests: "latency-PDR90-direction1-max"
1465   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1466   columns:
1467     # - title: "2110.0-9"
1468     #   data-set: "vpp-2n-icx-hist-iter-new-env"
1469     - title: "2202.0-9"
1470       data-set: "vpp-2n-icx-prev-iter-old-env"
1471     - title: "2202.0-10"
1472       data-set: "vpp-2n-icx-prev-iter-new-env"
1473     - title: "2206.0-10"
1474       data-set: "vpp-2n-icx-curr-iter"
1475   comparisons:
1476     - title: "2202.0-10 vs 2202.0-9"
1477       reference: 1
1478       compare: 2
1479     - title: "2206.0-10 vs 2202.0-10"
1480       reference: 2
1481       compare: 3
1482   legend:
1483     - ''
1484     - 'Test Case:            Test cases executed for: PDR throughput on 2n-icx with xxv710.'
1485     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
1486     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1487     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
1488     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
1489
1490 # VPP Soak vs NDR - 2n-icx
1491 - type: "table"
1492   title: "VPP Soak vs NDR 2n-icx"
1493   algorithm: "table_soak_vs_ndr"
1494   output-file: "{DIR[STATIC,VPP]}/soak-vs-ndr-2n-icx"
1495   reference:
1496     title: "NDR"
1497     data: "vpp-soak-vs-ndr-2n-icx-ref"
1498   compare:
1499     title: "Soak"
1500     data: "vpp-2n-icx-curr-soak"
1501   data: "vpp-soak-vs-ndr-2n-icx"
1502   include-tests: "NDR"
1503   filter: "'NDRPDR' or 'SOAK'"
1504   parameters:
1505     - "throughput"
1506     - "name"
1507     - "parent"
1508
1509 # VPP Soak vs NDR - 2n-skx
1510 - type: "table"
1511   title: "VPP Soak vs NDR 2n-skx"
1512   algorithm: "table_soak_vs_ndr"
1513   output-file: "{DIR[STATIC,VPP]}/soak-vs-ndr-2n-skx"
1514   reference:
1515     title: "NDR"
1516     data: "vpp-soak-vs-ndr-2n-skx-ref"
1517   compare:
1518     title: "Soak"
1519     data: "vpp-2n-skx-curr-soak"
1520   data: "vpp-soak-vs-ndr-2n-skx"
1521   include-tests: "NDR"
1522   filter: "('NDRPDR' or 'SOAK') and not 'NF_DENSITY'"
1523   parameters:
1524     - "throughput"
1525     - "name"
1526     - "parent"
1527
1528 # VPP Soak vs NDR - 2n-clx
1529 - type: "table"
1530   title: "VPP Soak vs NDR 2n-clx"
1531   algorithm: "table_soak_vs_ndr"
1532   output-file: "{DIR[STATIC,VPP]}/soak-vs-ndr-2n-clx"
1533   reference:
1534     title: "NDR"
1535     data: "vpp-soak-vs-ndr-2n-clx-ref"
1536   compare:
1537     title: "Soak"
1538     data: "vpp-2n-clx-curr-soak"
1539   data: "vpp-soak-vs-ndr-2n-clx"
1540   include-tests: "NDR"
1541   filter: "('NDRPDR' or 'SOAK') and not 'NF_DENSITY'"
1542   parameters:
1543     - "throughput"
1544     - "name"
1545     - "parent"
1546
1547 ################################################################################
1548
1549 # VPP Compare NICs 3n-skx 2t1c ndr
1550 - type: "table"
1551   title: "VPP Compare NICs 3n-skx 2t1c ndr"
1552   algorithm: "table_comparison"
1553   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-ndr"
1554   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1555   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
1556   columns:
1557     - title: "x710"
1558       data-set: "vpp-3n-skx-curr-iter"
1559       tag: "NIC_Intel-X710"
1560     - title: "xxv710"
1561       data-set: "vpp-3n-skx-curr-iter"
1562       tag: "NIC_Intel-XXV710"
1563   comparisons:
1564     - title: "Diff"
1565       reference: 1
1566       compare: 2
1567   legend:
1568     - ""
1569     - "x710, xxv710 - NICs tested."
1570     - "Diff - difference between x710 and xxv710 NIC."
1571
1572 # VPP Compare NICs 3n-skx 4t2c ndr
1573 - type: "table"
1574   title: "VPP Compare NICs 3n-skx 4t2c ndr"
1575   algorithm: "table_comparison"
1576   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-ndr"
1577   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1578   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
1579   columns:
1580     - title: "x710"
1581       data-set: "vpp-3n-skx-curr-iter"
1582       tag: "NIC_Intel-X710"
1583     - title: "xxv710"
1584       data-set: "vpp-3n-skx-curr-iter"
1585       tag: "NIC_Intel-XXV710"
1586   comparisons:
1587     - title: "Diff"
1588       reference: 1
1589       compare: 2
1590   legend:
1591     - ""
1592     - "x710, xxv710 - NICs tested."
1593     - "Diff - difference between x710 and xxv710 NIC."
1594
1595 # VPP Compare NICs 3n-skx 2t1c pdr
1596 - type: "table"
1597   title: "VPP Compare NICs 3n-skx 2t1c pdr"
1598   algorithm: "table_comparison"
1599   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-pdr"
1600   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1601   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
1602   columns:
1603     - title: "x710"
1604       data-set: "vpp-3n-skx-curr-iter"
1605       tag: "NIC_Intel-X710"
1606     - title: "xxv710"
1607       data-set: "vpp-3n-skx-curr-iter"
1608       tag: "NIC_Intel-XXV710"
1609   comparisons:
1610     - title: "Diff"
1611       reference: 1
1612       compare: 2
1613   legend:
1614     - ""
1615     - "x710, xxv710 - NICs tested."
1616     - "Diff - difference between x710 and xxv710 NIC."
1617
1618 # VPP Compare NICs 3n-skx 4t2c pdr
1619 - type: "table"
1620   title: "VPP Compare NICs 3n-skx 4t2c pdr"
1621   algorithm: "table_comparison"
1622   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-pdr"
1623   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1624   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
1625   columns:
1626     - title: "x710"
1627       data-set: "vpp-3n-skx-curr-iter"
1628       tag: "NIC_Intel-X710"
1629     - title: "xxv710"
1630       data-set: "vpp-3n-skx-curr-iter"
1631       tag: "NIC_Intel-XXV710"
1632   comparisons:
1633     - title: "Diff"
1634       reference: 1
1635       compare: 2
1636   legend:
1637     - ""
1638     - "x710, xxv710 - NICs tested."
1639     - "Diff - difference between x710 and xxv710 NIC."
1640
1641 # VPP Compare NICs 3n-skx 2t1c mrr
1642 - type: "table"
1643   title: "VPP Compare NICs 3n-skx 2t1c mrr"
1644   algorithm: "table_comparison"
1645   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-mrr"
1646   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1647   filter: "'2T1C' and 'MRR' and not 'NF_DENSITY'"
1648   columns:
1649     - title: "x710"
1650       data-set: "vpp-3n-skx-curr-iter-mrr"
1651       tag: "NIC_Intel-X710"
1652     - title: "xxv710"
1653       data-set: "vpp-3n-skx-curr-iter-mrr"
1654       tag: "NIC_Intel-XXV710"
1655   comparisons:
1656     - title: "Diff"
1657       reference: 1
1658       compare: 2
1659   legend:
1660     - ""
1661     - "x710, xxv710 - NICs tested."
1662     - "Diff - difference between x710 and xxv710 NIC."
1663
1664 # VPP Compare NICs 3n-skx 4t2c mrr
1665 - type: "table"
1666   title: "VPP Compare NICs 3n-skx 4t2c mrr"
1667   algorithm: "table_comparison"
1668   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-mrr"
1669   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1670   filter: "'4T2C' and 'MRR' and not 'NF_DENSITY'"
1671   columns:
1672     - title: "x710"
1673       data-set: "vpp-3n-skx-curr-iter-mrr"
1674       tag: "NIC_Intel-X710"
1675     - title: "xxv710"
1676       data-set: "vpp-3n-skx-curr-iter-mrr"
1677       tag: "NIC_Intel-XXV710"
1678   comparisons:
1679     - title: "Diff"
1680       reference: 1
1681       compare: 2
1682   legend:
1683     - ""
1684     - "x710, xxv710 - NICs tested."
1685     - "Diff - difference between x710 and xxv710 NIC."
1686
1687 # VPP Compare NICs 3n-skx 8t4c mrr
1688 - type: "table"
1689   title: "VPP Compare NICs 3n-skx 8t4c mrr"
1690   algorithm: "table_comparison"
1691   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-8t4c-nics-mrr"
1692   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1693   filter: "'8T4C' and 'MRR' and not 'NF_DENSITY'"
1694   columns:
1695     - title: "x710"
1696       data-set: "vpp-3n-skx-curr-iter-mrr"
1697       tag: "NIC_Intel-X710"
1698     - title: "xxv710"
1699       data-set: "vpp-3n-skx-curr-iter-mrr"
1700       tag: "NIC_Intel-XXV710"
1701   comparisons:
1702     - title: "Diff"
1703       reference: 1
1704       compare: 2
1705   legend:
1706     - ""
1707     - "x710, xxv710 - NICs tested."
1708     - "Diff - difference between x710 and xxv710 NIC."
1709
1710 # VPP Compare NICs 2n-skx 2t1c ndr
1711 - type: "table"
1712   title: "VPP Compare NICs 2n-skx 2t1c ndr"
1713   algorithm: "table_comparison"
1714   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-nics-ndr"
1715   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1716   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
1717   columns:
1718     - title: "x710"
1719       data-set: "vpp-2n-skx-curr-iter"
1720       tag: "NIC_Intel-X710"
1721     - title: "xxv710"
1722       data-set: "vpp-2n-skx-curr-iter"
1723       tag: "NIC_Intel-XXV710"
1724   comparisons:
1725     - title: "Diff"
1726       reference: 1
1727       compare: 2
1728   legend:
1729     - ""
1730     - "x710, xxv710 - NICs tested."
1731     - "Diff - difference between x710 and xxv710 NIC."
1732
1733 # VPP Compare NICs 2n-skx 4t2c ndr
1734 - type: "table"
1735   title: "VPP Compare NICs 2n-skx 4t2c ndr"
1736   algorithm: "table_comparison"
1737   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-nics-ndr"
1738   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1739   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
1740   columns:
1741     - title: "x710"
1742       data-set: "vpp-2n-skx-curr-iter"
1743       tag: "NIC_Intel-X710"
1744     - title: "xxv710"
1745       data-set: "vpp-2n-skx-curr-iter"
1746       tag: "NIC_Intel-XXV710"
1747   comparisons:
1748     - title: "Diff"
1749       reference: 1
1750       compare: 2
1751   legend:
1752     - ""
1753     - "x710, xxv710 - NICs tested."
1754     - "Diff - difference between x710 and xxv710 NIC."
1755
1756 # VPP Compare NICs 2n-skx 2t1c pdr
1757 - type: "table"
1758   title: "VPP Compare NICs 2n-skx 2t1c pdr"
1759   algorithm: "table_comparison"
1760   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-nics-pdr"
1761   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1762   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
1763   columns:
1764     - title: "x710"
1765       data-set: "vpp-2n-skx-curr-iter"
1766       tag: "NIC_Intel-X710"
1767     - title: "xxv710"
1768       data-set: "vpp-2n-skx-curr-iter"
1769       tag: "NIC_Intel-XXV710"
1770   comparisons:
1771     - title: "Diff"
1772       reference: 1
1773       compare: 2
1774   legend:
1775     - ""
1776     - "x710, xxv710 - NICs tested."
1777     - "Diff - difference between x710 and xxv710 NIC."
1778
1779 # VPP Compare NICs 2n-skx 4t2c pdr
1780 - type: "table"
1781   title: "VPP Compare NICs 2n-skx 4t2c pdr"
1782   algorithm: "table_comparison"
1783   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-nics-pdr"
1784   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1785   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
1786   columns:
1787     - title: "x710"
1788       data-set: "vpp-2n-skx-curr-iter"
1789       tag: "NIC_Intel-X710"
1790     - title: "xxv710"
1791       data-set: "vpp-2n-skx-curr-iter"
1792       tag: "NIC_Intel-XXV710"
1793   comparisons:
1794     - title: "Diff"
1795       reference: 1
1796       compare: 2
1797   legend:
1798     - ""
1799     - "x710, xxv710 - NICs tested."
1800     - "Diff - difference between x710 and xxv710 NIC."
1801
1802 # VPP Compare NICs 2n-skx 2t1c mrr
1803 - type: "table"
1804   title: "VPP Compare NICs 2n-skx 2t1c mrr"
1805   algorithm: "table_comparison"
1806   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-nics-mrr"
1807   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1808   filter: "'2T1C' and 'MRR' and not 'NF_DENSITY'"
1809   columns:
1810     - title: "x710"
1811       data-set: "vpp-2n-skx-curr-iter-mrr"
1812       tag: "NIC_Intel-X710"
1813     - title: "xxv710"
1814       data-set: "vpp-2n-skx-curr-iter-mrr"
1815       tag: "NIC_Intel-XXV710"
1816   comparisons:
1817     - title: "Diff"
1818       reference: 1
1819       compare: 2
1820   legend:
1821     - ""
1822     - "x710, xxv710 - NICs tested."
1823     - "Diff - difference between x710 and xxv710 NIC."
1824
1825 # VPP Compare NICs 2n-skx 4t2c mrr
1826 - type: "table"
1827   title: "VPP Compare NICs 2n-skx 4t2c mrr"
1828   algorithm: "table_comparison"
1829   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-nics-mrr"
1830   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1831   filter: "'4T2C' and 'MRR' and not 'NF_DENSITY'"
1832   columns:
1833     - title: "x710"
1834       data-set: "vpp-2n-skx-curr-iter-mrr"
1835       tag: "NIC_Intel-X710"
1836     - title: "xxv710"
1837       data-set: "vpp-2n-skx-curr-iter-mrr"
1838       tag: "NIC_Intel-XXV710"
1839   comparisons:
1840     - title: "Diff"
1841       reference: 1
1842       compare: 2
1843   legend:
1844     - ""
1845     - "x710, xxv710 - NICs tested."
1846     - "Diff - difference between x710 and xxv710 NIC."
1847
1848 # VPP Compare NICs 2n-skx 8t4c mrr
1849 - type: "table"
1850   title: "VPP Compare NICs 2n-skx 8t4c mrr"
1851   algorithm: "table_comparison"
1852   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-8t4c-nics-mrr"
1853   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1854   filter: "'8T4C' and 'MRR' and not 'NF_DENSITY'"
1855   columns:
1856     - title: "x710"
1857       data-set: "vpp-2n-skx-curr-iter-mrr"
1858       tag: "NIC_Intel-X710"
1859     - title: "xxv710"
1860       data-set: "vpp-2n-skx-curr-iter-mrr"
1861       tag: "NIC_Intel-XXV710"
1862   comparisons:
1863     - title: "Diff"
1864       reference: 1
1865       compare: 2
1866   legend:
1867     - ""
1868     - "x710, xxv710 - NICs tested."
1869     - "Diff - difference between x710 and xxv710 NIC."
1870
1871 ################################################################################
1872 # VPP
1873
1874 # VPP Performance Changes 3n-skx Hoststack
1875 - type: "table"
1876   title: "VPP Performance Changes 3n-skx Hoststack"
1877   algorithm: "table_comparison"
1878   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-hoststack"
1879   include-tests: "hoststack"
1880   filter: "all"
1881   columns:
1882     - title: "2110.0-8"
1883       data-set: "vpp-3n-skx-hist-iter-hoststack-new-env"
1884     - title: "2202.0-9"
1885       data-set: "vpp-3n-skx-prev-iter-hoststack-old-env"
1886     - title: "2206.0-10"
1887       data-set: "vpp-3n-skx-curr-iter-hoststack"
1888   comparisons:
1889     - title: "2206.0-10 vs 2202.0-9"
1890       reference: 2
1891       compare: 3
1892   legend:
1893     - ''
1894     - 'Test Case:            Test cases executed for: Hoststack on 3n-skx with xxv710.'
1895     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
1896     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1897     - '2206.0-10 vs 2202.0-9: Compares VPP code current vs previous.'
1898
1899 # VPP Performance Changes 2n-clx VSAP
1900 - type: "table"
1901   title: "VPP Performance Changes 2n-clx VSAP"
1902   algorithm: "table_comparison"
1903   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-vsap"
1904   include-tests: "vsap"
1905   filter: "all"
1906   columns:
1907     - title: "2110.0-8"
1908       data-set: "vpp-2n-clx-hist-iter-vsap-new-env"
1909     - title: "2202.0-9"
1910       data-set: "vpp-2n-clx-curr-iter-vsap-old-env"
1911     - title: "2022.0-10"
1912       data-set: "vpp-2n-clx-curr-iter-vsap-new-env"
1913     - title: "2206.0-10"
1914       data-set: "vpp-2n-clx-curr-iter-vsap"
1915   comparisons:
1916     - title: "2202.0-10 vs 2202.0-9"
1917       reference: 2
1918       compare: 3
1919     - title: "2206.0-10 vs 2202.0-10"
1920       reference: 3
1921       compare: 4
1922   legend:
1923     - ''
1924     - 'Test Case:            Test cases executed for: VSAP on 2n-clx with cx556a.'
1925     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
1926     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1927     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
1928     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
1929
1930 # VPP Performance Changes 3n-icx 2t1c pdr
1931 - type: "table"
1932   title: "VPP Performance Changes 3n-icx 2t1c pdr"
1933   algorithm: "table_comparison"
1934   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-icx-2t1c-pdr"
1935   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1936   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1937   columns:
1938     # - title: "2110.0-9"
1939     #   data-set: "vpp-3n-icx-hist-iter-new-env"
1940     - title: "2202.0-9"
1941       data-set: "vpp-3n-icx-prev-iter-old-env"
1942     - title: "2202.0-10"
1943       data-set: "vpp-3n-icx-prev-iter-new-env"
1944     - title: "2206.0-10"
1945       data-set: "vpp-3n-icx-curr-iter"
1946   comparisons:
1947     - title: "2202.0-10 vs 2202.0-9"
1948       reference: 1
1949       compare: 2
1950     - title: "2206.0-10 vs 2202.0-10"
1951       reference: 2
1952       compare: 3
1953   legend:
1954     - ''
1955     - 'Test Case:            Test cases executed for: PDR throughput on 3n-icx with xxv710.'
1956     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
1957     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1958     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
1959     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
1960
1961 # VPP Performance Changes 3n-icx 4t2c pdr
1962 - type: "table"
1963   title: "VPP Performance Changes 3n-icx 4t2c pdr"
1964   algorithm: "table_comparison"
1965   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-icx-4t2c-pdr"
1966   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1967   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1968   columns:
1969     # - title: "2110.0-9"
1970     #   data-set: "vpp-3n-icx-hist-iter-new-env"
1971     - title: "2202.0-9"
1972       data-set: "vpp-3n-icx-prev-iter-old-env"
1973     - title: "2202.0-10"
1974       data-set: "vpp-3n-icx-prev-iter-new-env"
1975     - title: "2206.0-10"
1976       data-set: "vpp-3n-icx-curr-iter"
1977   comparisons:
1978     - title: "2202.0-10 vs 2202.0-9"
1979       reference: 1
1980       compare: 2
1981     - title: "2206.0-10 vs 2202.0-10"
1982       reference: 2
1983       compare: 3
1984   legend:
1985     - ''
1986     - 'Test Case:            Test cases executed for: PDR throughput on 3n-icx with xxv710.'
1987     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
1988     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1989     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
1990     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
1991
1992 # VPP Performance Changes 3n-icx 2t1c ndr
1993 - type: "table"
1994   title: "VPP Performance Changes 3n-icx 2t1c ndr"
1995   algorithm: "table_comparison"
1996   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-icx-2t1c-ndr"
1997   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1998   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1999   columns:
2000     # - title: "2110.0-9"
2001     #   data-set: "vpp-3n-icx-hist-iter-new-env"
2002     - title: "2202.0-9"
2003       data-set: "vpp-3n-icx-prev-iter-old-env"
2004     - title: "2202.0-10"
2005       data-set: "vpp-3n-icx-prev-iter-new-env"
2006     - title: "2206.0-10"
2007       data-set: "vpp-3n-icx-curr-iter"
2008   comparisons:
2009     - title: "2202.0-10 vs 2202.0-9"
2010       reference: 1
2011       compare: 2
2012     - title: "2206.0-10 vs 2202.0-10"
2013       reference: 2
2014       compare: 3
2015   legend:
2016     - ''
2017     - 'Test Case:            Test cases executed for: PDR throughput on 3n-icx with xxv710.'
2018     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2019     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2020     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2021     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2022
2023 # VPP Performance Changes 3n-icx 4t2c ndr
2024 - type: "table"
2025   title: "VPP Performance Changes 3n-icx 4t2c ndr"
2026   algorithm: "table_comparison"
2027   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-icx-4t2c-ndr"
2028   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2029   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2030   columns:
2031     # - title: "2110.0-9"
2032     #   data-set: "vpp-3n-icx-hist-iter-new-env"
2033     - title: "2202.0-9"
2034       data-set: "vpp-3n-icx-prev-iter-old-env"
2035     - title: "2202.0-10"
2036       data-set: "vpp-3n-icx-prev-iter-new-env"
2037     - title: "2206.0-10"
2038       data-set: "vpp-3n-icx-curr-iter"
2039   comparisons:
2040     - title: "2202.0-10 vs 2202.0-9"
2041       reference: 1
2042       compare: 2
2043     - title: "2206.0-10 vs 2202.0-10"
2044       reference: 2
2045       compare: 3
2046   legend:
2047     - ''
2048     - 'Test Case:            Test cases executed for: PDR throughput on 3n-icx with xxv710.'
2049     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2050     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2051     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2052     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2053
2054 # VPP Performance Changes 2n-icx 2t1c pdr
2055 - type: "table"
2056   title: "VPP Performance Changes 2n-icx 2t1c pdr"
2057   algorithm: "table_comparison"
2058   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-icx-2t1c-pdr"
2059   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2060   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2061   columns:
2062     # - title: "2110.0-9"
2063     #   data-set: "vpp-2n-icx-hist-iter-new-env"
2064     - title: "2202.0-9"
2065       data-set: "vpp-2n-icx-prev-iter-old-env"
2066     - title: "2202.0-10"
2067       data-set: "vpp-2n-icx-prev-iter-new-env"
2068     - title: "2206.0-10"
2069       data-set: "vpp-2n-icx-curr-iter"
2070   comparisons:
2071     - title: "2202.0-10 vs 2202.0-9"
2072       reference: 1
2073       compare: 2
2074     - title: "2206.0-10 vs 2202.0-10"
2075       reference: 2
2076       compare: 3
2077   legend:
2078     - ''
2079     - 'Test Case:            Test cases executed for: PDR throughput on 2n-icx with xxv710.'
2080     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2081     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2082     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2083     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2084
2085 # VPP Performance Changes 2n-icx 4t2c pdr
2086 - type: "table"
2087   title: "VPP Performance Changes 2n-icx 4t2c pdr"
2088   algorithm: "table_comparison"
2089   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-icx-4t2c-pdr"
2090   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2091   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2092   columns:
2093     # - title: "2110.0-9"
2094     #   data-set: "vpp-2n-icx-hist-iter-new-env"
2095     - title: "2202.0-9"
2096       data-set: "vpp-2n-icx-prev-iter-old-env"
2097     - title: "2202.0-10"
2098       data-set: "vpp-2n-icx-prev-iter-new-env"
2099     - title: "2206.0-10"
2100       data-set: "vpp-2n-icx-curr-iter"
2101   comparisons:
2102     - title: "2202.0-10 vs 2202.0-9"
2103       reference: 1
2104       compare: 2
2105     - title: "2206.0-10 vs 2202.0-10"
2106       reference: 2
2107       compare: 3
2108   legend:
2109     - ''
2110     - 'Test Case:            Test cases executed for: PDR throughput on 2n-icx with xxv710.'
2111     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2112     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2113     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2114     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2115
2116 # VPP Performance Changes 2n-icx 2t1c ndr
2117 - type: "table"
2118   title: "VPP Performance Changes 2n-icx 2t1c ndr"
2119   algorithm: "table_comparison"
2120   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-icx-2t1c-ndr"
2121   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2122   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2123   columns:
2124     # - title: "2110.0-9"
2125     #   data-set: "vpp-2n-icx-hist-iter-new-env"
2126     - title: "2202.0-9"
2127       data-set: "vpp-2n-icx-prev-iter-old-env"
2128     - title: "2202.0-10"
2129       data-set: "vpp-2n-icx-prev-iter-new-env"
2130     - title: "2206.0-10"
2131       data-set: "vpp-2n-icx-curr-iter"
2132   comparisons:
2133     - title: "2202.0-10 vs 2202.0-9"
2134       reference: 1
2135       compare: 2
2136     - title: "2206.0-10 vs 2202.0-10"
2137       reference: 2
2138       compare: 3
2139   legend:
2140     - ''
2141     - 'Test Case:            Test cases executed for: PDR throughput on 2n-icx with xxv710.'
2142     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2143     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2144     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2145     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2146
2147 # VPP Performance Changes 2n-icx 4t2c ndr
2148 - type: "table"
2149   title: "VPP Performance Changes 2n-icx 4t2c ndr"
2150   algorithm: "table_comparison"
2151   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-icx-4t2c-ndr"
2152   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2153   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2154   columns:
2155     # - title: "2110.0-9"
2156     #   data-set: "vpp-2n-icx-hist-iter-new-env"
2157     - title: "2202.0-9"
2158       data-set: "vpp-2n-icx-prev-iter-old-env"
2159     - title: "2202.0-10"
2160       data-set: "vpp-2n-icx-prev-iter-new-env"
2161     - title: "2206.0-10"
2162       data-set: "vpp-2n-icx-curr-iter"
2163   comparisons:
2164     - title: "2202.0-10 vs 2202.0-9"
2165       reference: 1
2166       compare: 2
2167     - title: "2206.0-10 vs 2202.0-10"
2168       reference: 2
2169       compare: 3
2170   legend:
2171     - ''
2172     - 'Test Case:            Test cases executed for: PDR throughput on 2n-icx with xxv710.'
2173     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2174     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2175     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2176     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2177
2178 # VPP Performance Changes 3n-skx 2t1c pdr
2179 - type: "table"
2180   title: "VPP Performance Changes 3n-skx 2t1c pdr"
2181   algorithm: "table_comparison"
2182   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-pdr"
2183   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2184   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2185   columns:
2186     - title: "2110.0-9"
2187       data-set: "vpp-3n-skx-hist-iter-new-env"
2188     - title: "2202.0-9"
2189       data-set: "vpp-3n-skx-prev-iter-old-env"
2190     - title: "2202.0-10"
2191       data-set: "vpp-3n-skx-prev-iter-new-env"
2192     - title: "2206.0-10"
2193       data-set: "vpp-3n-skx-curr-iter"
2194   comparisons:
2195     - title: "2202.0-10 vs 2202.0-9"
2196       reference: 2
2197       compare: 3
2198     - title: "2206.0-10 vs 2202.0-10"
2199       reference: 3
2200       compare: 4
2201   legend:
2202     - ''
2203     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
2204     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2205     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2206     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2207     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2208
2209 # VPP Performance Changes 3n-skx 4t2c pdr
2210 - type: "table"
2211   title: "VPP Performance Changes 3n-skx 4t2c pdr"
2212   algorithm: "table_comparison"
2213   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-pdr"
2214   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2215   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2216   columns:
2217     - title: "2110.0-9"
2218       data-set: "vpp-3n-skx-hist-iter-new-env"
2219     - title: "2202.0-9"
2220       data-set: "vpp-3n-skx-prev-iter-old-env"
2221     - title: "2202.0-10"
2222       data-set: "vpp-3n-skx-prev-iter-new-env"
2223     - title: "2206.0-10"
2224       data-set: "vpp-3n-skx-curr-iter"
2225   comparisons:
2226     - title: "2202.0-10 vs 2202.0-9"
2227       reference: 2
2228       compare: 3
2229     - title: "2206.0-10 vs 2202.0-10"
2230       reference: 3
2231       compare: 4
2232   legend:
2233     - ''
2234     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
2235     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2236     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2237     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2238     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2239
2240 # VPP Performance Changes 3n-skx 2t1c ndr
2241 - type: "table"
2242   title: "VPP Performance Changes 3n-skx 2t1c ndr"
2243   algorithm: "table_comparison"
2244   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-ndr"
2245   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2246   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2247   columns:
2248     - title: "2110.0-9"
2249       data-set: "vpp-3n-skx-hist-iter-new-env"
2250     - title: "2202.0-9"
2251       data-set: "vpp-3n-skx-prev-iter-old-env"
2252     - title: "2202.0-10"
2253       data-set: "vpp-3n-skx-prev-iter-new-env"
2254     - title: "2206.0-10"
2255       data-set: "vpp-3n-skx-curr-iter"
2256   comparisons:
2257     - title: "2202.0-10 vs 2202.0-9"
2258       reference: 2
2259       compare: 3
2260     - title: "2206.0-10 vs 2202.0-10"
2261       reference: 3
2262       compare: 4
2263   legend:
2264     - ''
2265     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
2266     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2267     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2268     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2269     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2270
2271 # VPP Performance Changes 3n-skx 4t2c ndr
2272 - type: "table"
2273   title: "VPP Performance Changes 3n-skx 4t2c ndr"
2274   algorithm: "table_comparison"
2275   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-ndr"
2276   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2277   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2278   columns:
2279     - title: "2110.0-9"
2280       data-set: "vpp-3n-skx-hist-iter-new-env"
2281     - title: "2202.0-9"
2282       data-set: "vpp-3n-skx-prev-iter-old-env"
2283     - title: "2202.0-10"
2284       data-set: "vpp-3n-skx-prev-iter-new-env"
2285     - title: "2206.0-10"
2286       data-set: "vpp-3n-skx-curr-iter"
2287   comparisons:
2288     - title: "2202.0-10 vs 2202.0-9"
2289       reference: 2
2290       compare: 3
2291     - title: "2206.0-10 vs 2202.0-10"
2292       reference: 3
2293       compare: 4
2294   legend:
2295     - ''
2296     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
2297     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2298     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2299     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2300     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2301
2302 # VPP Performance Changes 2n-skx 2t1c pdr
2303 - type: "table"
2304   title: "VPP Performance Changes 2n-skx 2t1c pdr"
2305   algorithm: "table_comparison"
2306   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-pdr"
2307   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2308   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2309   columns:
2310     - title: "2110.0-9"
2311       data-set: "vpp-2n-skx-hist-iter-new-env"
2312     - title: "2202.0-9"
2313       data-set: "vpp-2n-skx-prev-iter-old-env"
2314     - title: "2202.0-10"
2315       data-set: "vpp-2n-skx-prev-iter-new-env"
2316     - title: "2206.0-10"
2317       data-set: "vpp-2n-skx-curr-iter"
2318   comparisons:
2319     - title: "2202.0-10 vs 2202.0-9"
2320       reference: 2
2321       compare: 3
2322     - title: "2206.0-10 vs 2202.0-10"
2323       reference: 3
2324       compare: 4
2325   legend:
2326     - ''
2327     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
2328     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2329     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2330     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2331     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2332
2333 # VPP Performance Changes 2n-skx 4t2c pdr
2334 - type: "table"
2335   title: "VPP Performance Changes 2n-skx 4t2c pdr"
2336   algorithm: "table_comparison"
2337   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-pdr"
2338   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2339   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2340   columns:
2341     - title: "2110.0-9"
2342       data-set: "vpp-2n-skx-hist-iter-new-env"
2343     - title: "2202.0-9"
2344       data-set: "vpp-2n-skx-prev-iter-old-env"
2345     - title: "2202.0-10"
2346       data-set: "vpp-2n-skx-prev-iter-new-env"
2347     - title: "2206.0-10"
2348       data-set: "vpp-2n-skx-curr-iter"
2349   comparisons:
2350     - title: "2202.0-10 vs 2202.0-9"
2351       reference: 2
2352       compare: 3
2353     - title: "2206.0-10 vs 2202.0-10"
2354       reference: 3
2355       compare: 4
2356   legend:
2357     - ''
2358     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
2359     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2360     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2361     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2362     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2363
2364 # VPP Performance Changes 2n-skx 2t1c ndr
2365 - type: "table"
2366   title: "VPP Performance Changes 2n-skx 2t1c ndr"
2367   algorithm: "table_comparison"
2368   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-ndr"
2369   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2370   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2371   columns:
2372     - title: "2110.0-9"
2373       data-set: "vpp-2n-skx-hist-iter-new-env"
2374     - title: "2202.0-9"
2375       data-set: "vpp-2n-skx-prev-iter-old-env"
2376     - title: "2202.0-10"
2377       data-set: "vpp-2n-skx-prev-iter-new-env"
2378     - title: "2206.0-10"
2379       data-set: "vpp-2n-skx-curr-iter"
2380   comparisons:
2381     - title: "2202.0-10 vs 2202.0-9"
2382       reference: 2
2383       compare: 3
2384     - title: "2206.0-10 vs 2202.0-10"
2385       reference: 3
2386       compare: 4
2387   legend:
2388     - ''
2389     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
2390     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2391     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2392     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2393     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2394
2395 # VPP Performance Changes 2n-skx 4t2c ndr
2396 - type: "table"
2397   title: "VPP Performance Changes 2n-skx 4t2c ndr"
2398   algorithm: "table_comparison"
2399   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-ndr"
2400   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2401   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2402   columns:
2403     - title: "2110.0-9"
2404       data-set: "vpp-2n-skx-hist-iter-new-env"
2405     - title: "2202.0-9"
2406       data-set: "vpp-2n-skx-prev-iter-old-env"
2407     - title: "2202.0-10"
2408       data-set: "vpp-2n-skx-prev-iter-new-env"
2409     - title: "2206.0-10"
2410       data-set: "vpp-2n-skx-curr-iter"
2411   comparisons:
2412     - title: "2202.0-10 vs 2202.0-9"
2413       reference: 2
2414       compare: 3
2415     - title: "2206.0-10 vs 2202.0-10"
2416       reference: 3
2417       compare: 4
2418   legend:
2419     - ''
2420     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
2421     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2422     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2423     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2424     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2425
2426 # VPP Performance Changes 2n-clx-xxv710 2t1c pdr
2427 - type: "table"
2428   title: "VPP Performance Changes 2n-clx-xxv710 2t1c pdr"
2429   algorithm: "table_comparison"
2430   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-xxv710-2t1c-pdr"
2431   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2432   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2433   columns:
2434     - title: "2110.0-9"
2435       data-set: "vpp-2n-clx-hist-iter-new-env"
2436     - title: "2202.0-9"
2437       data-set: "vpp-2n-clx-prev-iter-old-env"
2438     - title: "2202.0-10"
2439       data-set: "vpp-2n-clx-prev-iter-new-env"
2440     - title: "2206.0-10"
2441       data-set: "vpp-2n-clx-curr-iter"
2442   comparisons:
2443     - title: "2202.0-10 vs 2202.0-9"
2444       reference: 2
2445       compare: 3
2446     - title: "2206.0-10 vs 2202.0-10"
2447       reference: 3
2448       compare: 4
2449   legend:
2450     - ''
2451     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
2452     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2453     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2454     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2455     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2456
2457 # VPP Performance Changes 2n-clx-xxv710 4t2c pdr
2458 - type: "table"
2459   title: "VPP Performance Changes 2n-clx-xxv710 4t2c pdr"
2460   algorithm: "table_comparison"
2461   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-xxv710-4t2c-pdr"
2462   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2463   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2464   columns:
2465     - title: "2110.0-9"
2466       data-set: "vpp-2n-clx-hist-iter-new-env"
2467     - title: "2202.0-9"
2468       data-set: "vpp-2n-clx-prev-iter-old-env"
2469     - title: "2202.0-10"
2470       data-set: "vpp-2n-clx-prev-iter-new-env"
2471     - title: "2206.0-10"
2472       data-set: "vpp-2n-clx-curr-iter"
2473   comparisons:
2474     - title: "2202.0-10 vs 2202.0-9"
2475       reference: 2
2476       compare: 3
2477     - title: "2206.0-10 vs 2202.0-10"
2478       reference: 3
2479       compare: 4
2480   legend:
2481     - ''
2482     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
2483     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2484     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2485     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2486     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2487
2488 # VPP Performance Changes 2n-clx-xxv710 2t1c ndr
2489 - type: "table"
2490   title: "VPP Performance Changes 2n-clx-xxv710 2t1c ndr"
2491   algorithm: "table_comparison"
2492   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-xxv710-2t1c-ndr"
2493   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2494   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2495   columns:
2496     - title: "2110.0-9"
2497       data-set: "vpp-2n-clx-hist-iter-new-env"
2498     - title: "2202.0-9"
2499       data-set: "vpp-2n-clx-prev-iter-old-env"
2500     - title: "2202.0-10"
2501       data-set: "vpp-2n-clx-prev-iter-new-env"
2502     - title: "2206.0-10"
2503       data-set: "vpp-2n-clx-curr-iter"
2504   comparisons:
2505     - title: "2202.0-10 vs 2202.0-9"
2506       reference: 2
2507       compare: 3
2508     - title: "2206.0-10 vs 2202.0-10"
2509       reference: 3
2510       compare: 4
2511   legend:
2512     - ''
2513     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
2514     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2515     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2516     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2517     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2518
2519 # VPP Performance Changes 2n-clx-xxv710 4t2c ndr
2520 - type: "table"
2521   title: "VPP Performance Changes 2n-clx-xxv710 ndr"
2522   algorithm: "table_comparison"
2523   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-xxv710-4t2c-ndr"
2524   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2525   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2526   columns:
2527     - title: "2110.0-9"
2528       data-set: "vpp-2n-clx-hist-iter-new-env"
2529     - title: "2202.0-9"
2530       data-set: "vpp-2n-clx-prev-iter-old-env"
2531     - title: "2202.0-10"
2532       data-set: "vpp-2n-clx-prev-iter-new-env"
2533     - title: "2206.0-10"
2534       data-set: "vpp-2n-clx-curr-iter"
2535   comparisons:
2536     - title: "2202.0-10 vs 2202.0-9"
2537       reference: 2
2538       compare: 3
2539     - title: "2206.0-10 vs 2202.0-10"
2540       reference: 3
2541       compare: 4
2542   legend:
2543     - ''
2544     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
2545     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2546     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2547     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2548     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2549
2550 # VPP Performance Changes 2n-clx-cx556a 2t1c pdr
2551 - type: "table"
2552   title: "VPP Performance Changes 2n-clx-cx556a 2t1c pdr"
2553   algorithm: "table_comparison"
2554   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-cx556a-2t1c-pdr"
2555   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2556   filter: "'2T1C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
2557   columns:
2558     - title: "2110.0-9"
2559       data-set: "vpp-2n-clx-hist-iter-new-env"
2560     - title: "2202.0-9"
2561       data-set: "vpp-2n-clx-prev-iter-old-env"
2562     - title: "2202.0-10"
2563       data-set: "vpp-2n-clx-prev-iter-new-env"
2564     - title: "2206.0-10"
2565       data-set: "vpp-2n-clx-curr-iter"
2566   comparisons:
2567     - title: "2202.0-10 vs 2202.0-9"
2568       reference: 2
2569       compare: 3
2570     - title: "2206.0-10 vs 2202.0-10"
2571       reference: 3
2572       compare: 4
2573   legend:
2574     - ''
2575     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
2576     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2577     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2578     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2579     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2580
2581 # VPP Performance Changes 2n-clx-cx556a 4t2c pdr
2582 - type: "table"
2583   title: "VPP Performance Changes 2n-clx-cx556a 4t2c pdr"
2584   algorithm: "table_comparison"
2585   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-cx556a-4t2c-pdr"
2586   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2587   filter: "'4T2C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
2588   columns:
2589     - title: "2110.0-9"
2590       data-set: "vpp-2n-clx-hist-iter-new-env"
2591     - title: "2202.0-9"
2592       data-set: "vpp-2n-clx-prev-iter-old-env"
2593     - title: "2202.0-10"
2594       data-set: "vpp-2n-clx-prev-iter-new-env"
2595     - title: "2206.0-10"
2596       data-set: "vpp-2n-clx-curr-iter"
2597   comparisons:
2598     - title: "2202.0-10 vs 2202.0-9"
2599       reference: 2
2600       compare: 3
2601     - title: "2206.0-10 vs 2202.0-10"
2602       reference: 3
2603       compare: 4
2604   legend:
2605     - ''
2606     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
2607     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2608     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2609     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2610     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2611
2612 # VPP Performance Changes 2n-clx-cx556a 2t1c ndr
2613 - type: "table"
2614   title: "VPP Performance Changes 2n-clx-cx556a 2t1c ndr"
2615   algorithm: "table_comparison"
2616   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-cx556a-2t1c-ndr"
2617   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2618   filter: "'2T1C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
2619   columns:
2620     - title: "2110.0-9"
2621       data-set: "vpp-2n-clx-hist-iter-new-env"
2622     - title: "2202.0-9"
2623       data-set: "vpp-2n-clx-prev-iter-old-env"
2624     - title: "2202.0-10"
2625       data-set: "vpp-2n-clx-prev-iter-new-env"
2626     - title: "2206.0-10"
2627       data-set: "vpp-2n-clx-curr-iter"
2628   comparisons:
2629     - title: "2202.0-10 vs 2202.0-9"
2630       reference: 2
2631       compare: 3
2632     - title: "2206.0-10 vs 2202.0-10"
2633       reference: 3
2634       compare: 4
2635   legend:
2636     - ''
2637     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
2638     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2639     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2640     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2641     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2642
2643 # VPP Performance Changes 2n-clx-cx556a 4t2c ndr
2644 - type: "table"
2645   title: "VPP Performance Changes 2n-clx-cx556a ndr"
2646   algorithm: "table_comparison"
2647   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-cx556a-4t2c-ndr"
2648   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2649   filter: "'4T2C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
2650   columns:
2651     - title: "2110.0-9"
2652       data-set: "vpp-2n-clx-hist-iter-new-env"
2653     - title: "2202.0-9"
2654       data-set: "vpp-2n-clx-prev-iter-old-env"
2655     - title: "2202.0-10"
2656       data-set: "vpp-2n-clx-prev-iter-new-env"
2657     - title: "2206.0-10"
2658       data-set: "vpp-2n-clx-curr-iter"
2659   comparisons:
2660     - title: "2202.0-10 vs 2202.0-9"
2661       reference: 2
2662       compare: 3
2663     - title: "2206.0-10 vs 2202.0-10"
2664       reference: 3
2665       compare: 4
2666   legend:
2667     - ''
2668     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
2669     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2670     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2671     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2672     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2673
2674 # VPP Performance Changes 2n-zn2-xxv710 2t1c pdr
2675 - type: "table"
2676   title: "VPP Performance Changes 2n-zn2-xxv710 2t1c pdr"
2677   algorithm: "table_comparison"
2678   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-zn2-xxv710-2t1c-pdr"
2679   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2680   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
2681   columns:
2682     - title: "2110.0-9"
2683       data-set: "vpp-2n-zn2-hist-iter-new-env"
2684     - title: "2202.0-9"
2685       data-set: "vpp-2n-zn2-prev-iter-old-env"
2686     - title: "2202.0-10"
2687       data-set: "vpp-2n-zn2-prev-iter-new-env"
2688     - title: "2206.0-10"
2689       data-set: "vpp-2n-zn2-curr-iter"
2690   comparisons:
2691     - title: "2202.0-10 vs 2202.0-9"
2692       reference: 2
2693       compare: 3
2694     - title: "2206.0-10 vs 2202.0-10"
2695       reference: 3
2696       compare: 4
2697   legend:
2698     - ''
2699     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
2700     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2701     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2702     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2703     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2704
2705 # VPP Performance Changes 2n-zn2-xxv710 4t2c pdr
2706 - type: "table"
2707   title: "VPP Performance Changes 2n-zn2-xxv710 4t2c pdr"
2708   algorithm: "table_comparison"
2709   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-zn2-xxv710-4t2c-pdr"
2710   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2711   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
2712   columns:
2713     - title: "2110.0-9"
2714       data-set: "vpp-2n-zn2-hist-iter-new-env"
2715     - title: "2202.0-9"
2716       data-set: "vpp-2n-zn2-prev-iter-old-env"
2717     - title: "2202.0-10"
2718       data-set: "vpp-2n-zn2-prev-iter-new-env"
2719     - title: "2206.0-10"
2720       data-set: "vpp-2n-zn2-curr-iter"
2721   comparisons:
2722     - title: "2202.0-10 vs 2202.0-9"
2723       reference: 2
2724       compare: 3
2725     - title: "2206.0-10 vs 2202.0-10"
2726       reference: 3
2727       compare: 4
2728   legend:
2729     - ''
2730     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
2731     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2732     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2733     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2734     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2735
2736 # VPP Performance Changes 2n-zn2-xxv710 2t1c ndr
2737 - type: "table"
2738   title: "VPP Performance Changes 2n-zn2-xxv710 2t1c ndr"
2739   algorithm: "table_comparison"
2740   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-zn2-xxv710-2t1c-ndr"
2741   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2742   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
2743   columns:
2744     - title: "2110.0-9"
2745       data-set: "vpp-2n-zn2-hist-iter-new-env"
2746     - title: "2202.0-9"
2747       data-set: "vpp-2n-zn2-prev-iter-old-env"
2748     - title: "2202.0-10"
2749       data-set: "vpp-2n-zn2-prev-iter-new-env"
2750     - title: "2206.0-10"
2751       data-set: "vpp-2n-zn2-curr-iter"
2752   comparisons:
2753     - title: "2202.0-10 vs 2202.0-9"
2754       reference: 2
2755       compare: 3
2756     - title: "2206.0-10 vs 2202.0-10"
2757       reference: 3
2758       compare: 4
2759   legend:
2760     - ''
2761     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
2762     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2763     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2764     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2765     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2766
2767 # VPP Performance Changes 2n-zn2-xxv710 4t2c ndr
2768 - type: "table"
2769   title: "VPP Performance Changes 2n-zn2-xxv710 4t2c ndr"
2770   algorithm: "table_comparison"
2771   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-zn2-xxv710-4t2c-ndr"
2772   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2773   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
2774   columns:
2775     - title: "2110.0-9"
2776       data-set: "vpp-2n-zn2-hist-iter-new-env"
2777     - title: "2202.0-9"
2778       data-set: "vpp-2n-zn2-prev-iter-old-env"
2779     - title: "2202.0-10"
2780       data-set: "vpp-2n-zn2-prev-iter-new-env"
2781     - title: "2206.0-10"
2782       data-set: "vpp-2n-zn2-curr-iter"
2783   comparisons:
2784     - title: "2202.0-10 vs 2202.0-9"
2785       reference: 2
2786       compare: 3
2787     - title: "2206.0-10 vs 2202.0-10"
2788       reference: 3
2789       compare: 4
2790   legend:
2791     - ''
2792     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
2793     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2794     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2795     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2796     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2797
2798 # VPP Performance Changes 2n-dnv 1t1c pdr
2799 - type: "table"
2800   title: "VPP Performance Changes 2n-dnv 1t1c pdr"
2801   algorithm: "table_comparison"
2802   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-dnv-1t1c-pdr"
2803   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2804   filter: "'1T1C'"
2805   columns:
2806     - title: "2110.0-9"
2807       data-set: "vpp-2n-dnv-hist-iter-new-env"
2808     - title: "2202.0-9"
2809       data-set: "vpp-2n-dnv-prev-iter-old-env"
2810     - title: "2202.0-10"
2811       data-set: "vpp-2n-dnv-prev-iter-new-env"
2812     - title: "2206.0-10"
2813       data-set: "vpp-2n-dnv-curr-iter"
2814   comparisons:
2815     - title: "2202.0-10 vs 2202.0-9"
2816       reference: 2
2817       compare: 3
2818     - title: "2206.0-10 vs 2202.0-10"
2819       reference: 3
2820       compare: 4
2821   legend:
2822     - ''
2823     - 'Test Case:            Test cases executed for: PDR throughput on 2n-dnv with x553.'
2824     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2825     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2826     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2827     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2828
2829 # VPP Performance Changes 2n-dnv 2t2c pdr
2830 - type: "table"
2831   title: "VPP Performance Changes 2n-dnv 2t2c pdr"
2832   algorithm: "table_comparison"
2833   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-dnv-2t2c-pdr"
2834   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2835   filter: "'2T2C'"
2836   columns:
2837     - title: "2110.0-9"
2838       data-set: "vpp-2n-dnv-hist-iter-new-env"
2839     - title: "2202.0-9"
2840       data-set: "vpp-2n-dnv-prev-iter-old-env"
2841     - title: "2202.0-10"
2842       data-set: "vpp-2n-dnv-prev-iter-new-env"
2843     - title: "2206.0-10"
2844       data-set: "vpp-2n-dnv-curr-iter"
2845   comparisons:
2846     - title: "2202.0-10 vs 2202.0-9"
2847       reference: 2
2848       compare: 3
2849     - title: "2206.0-10 vs 2202.0-10"
2850       reference: 3
2851       compare: 4
2852   legend:
2853     - ''
2854     - 'Test Case:            Test cases executed for: PDR throughput on 2n-dnv with x553.'
2855     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2856     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2857     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2858     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2859
2860 # VPP Performance Changes 2n-dnv 1t1c ndr
2861 - type: "table"
2862   title: "VPP Performance Changes 2n-dnv 1t1c ndr"
2863   algorithm: "table_comparison"
2864   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-dnv-1t1c-ndr"
2865   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2866   filter: "'1T1C'"
2867   columns:
2868     - title: "2110.0-9"
2869       data-set: "vpp-2n-dnv-hist-iter-new-env"
2870     - title: "2202.0-9"
2871       data-set: "vpp-2n-dnv-prev-iter-old-env"
2872     - title: "2202.0-10"
2873       data-set: "vpp-2n-dnv-prev-iter-new-env"
2874     - title: "2206.0-10"
2875       data-set: "vpp-2n-dnv-curr-iter"
2876   comparisons:
2877     - title: "2202.0-10 vs 2202.0-9"
2878       reference: 2
2879       compare: 3
2880     - title: "2206.0-10 vs 2202.0-10"
2881       reference: 3
2882       compare: 4
2883   legend:
2884     - ''
2885     - 'Test Case:            Test cases executed for: PDR throughput on 2n-dnv with x553.'
2886     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2887     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2888     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2889     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2890
2891 # VPP Performance Changes 2n-dnv 2t2c ndr
2892 - type: "table"
2893   title: "VPP Performance Changes 2n-dnv 2t2c ndr"
2894   algorithm: "table_comparison"
2895   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-dnv-2t2c-ndr"
2896   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2897   filter: "'2T2C'"
2898   columns:
2899     - title: "2110.0-9"
2900       data-set: "vpp-2n-dnv-hist-iter-new-env"
2901     - title: "2202.0-9"
2902       data-set: "vpp-2n-dnv-prev-iter-old-env"
2903     - title: "2202.0-10"
2904       data-set: "vpp-2n-dnv-prev-iter-new-env"
2905     - title: "2206.0-10"
2906       data-set: "vpp-2n-dnv-curr-iter"
2907   comparisons:
2908     - title: "2202.0-10 vs 2202.0-9"
2909       reference: 2
2910       compare: 3
2911     - title: "2206.0-10 vs 2202.0-10"
2912       reference: 3
2913       compare: 4
2914   legend:
2915     - ''
2916     - 'Test Case:            Test cases executed for: PDR throughput on 2n-dnv with x553.'
2917     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2918     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2919     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2920     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2921
2922 # VPP Performance Changes 3n-dnv 1t1c pdr
2923 - type: "table"
2924   title: "VPP Performance Changes 3n-dnv 1t1c pdr"
2925   algorithm: "table_comparison"
2926   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-dnv-1t1c-pdr"
2927   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2928   filter: "'1T1C'"
2929   columns:
2930     - title: "2110.0-9"
2931       data-set: "vpp-3n-dnv-hist-iter-new-env"
2932     - title: "2202.0-9"
2933       data-set: "vpp-3n-dnv-prev-iter-old-env"
2934     - title: "2202.0-10"
2935       data-set: "vpp-3n-dnv-prev-iter-new-env"
2936     - title: "2206.0-10"
2937       data-set: "vpp-3n-dnv-curr-iter"
2938   comparisons:
2939     - title: "2202.0-10 vs 2202.0-9"
2940       reference: 2
2941       compare: 3
2942     - title: "2206.0-10 vs 2202.0-10"
2943       reference: 3
2944       compare: 4
2945   legend:
2946     - ''
2947     - 'Test Case:            Test cases executed for: PDR throughput on 3n-dnv with x553.'
2948     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2949     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2950     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2951     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2952
2953 # VPP Performance Changes 3n-dnv 2t2c pdr
2954 - type: "table"
2955   title: "VPP Performance Changes 3n-dnv 2t2c pdr"
2956   algorithm: "table_comparison"
2957   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-dnv-2t2c-pdr"
2958   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2959   filter: "'2T2C'"
2960   columns:
2961     - title: "2110.0-9"
2962       data-set: "vpp-3n-dnv-hist-iter-new-env"
2963     - title: "2202.0-9"
2964       data-set: "vpp-3n-dnv-prev-iter-old-env"
2965     - title: "2202.0-10"
2966       data-set: "vpp-3n-dnv-prev-iter-new-env"
2967     - title: "2206.0-10"
2968       data-set: "vpp-3n-dnv-curr-iter"
2969   comparisons:
2970     - title: "2202.0-10 vs 2202.0-9"
2971       reference: 2
2972       compare: 3
2973     - title: "2206.0-10 vs 2202.0-10"
2974       reference: 3
2975       compare: 4
2976   legend:
2977     - ''
2978     - 'Test Case:            Test cases executed for: PDR throughput on 3n-dnv with x553.'
2979     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
2980     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2981     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
2982     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
2983
2984 # VPP Performance Changes 3n-dnv 1t1c ndr
2985 - type: "table"
2986   title: "VPP Performance Changes 3n-dnv 1t1c ndr"
2987   algorithm: "table_comparison"
2988   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-dnv-1t1c-ndr"
2989   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2990   filter: "'1T1C'"
2991   columns:
2992     - title: "2110.0-9"
2993       data-set: "vpp-3n-dnv-hist-iter-new-env"
2994     - title: "2202.0-9"
2995       data-set: "vpp-3n-dnv-prev-iter-old-env"
2996     - title: "2202.0-10"
2997       data-set: "vpp-3n-dnv-prev-iter-new-env"
2998     - title: "2206.0-10"
2999       data-set: "vpp-3n-dnv-curr-iter"
3000   comparisons:
3001     - title: "2202.0-10 vs 2202.0-9"
3002       reference: 2
3003       compare: 3
3004     - title: "2206.0-10 vs 2202.0-10"
3005       reference: 3
3006       compare: 4
3007   legend:
3008     - ''
3009     - 'Test Case:            Test cases executed for: PDR throughput on 3n-dnv with x553.'
3010     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
3011     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
3012     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
3013     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
3014
3015 # VPP Performance Changes 3n-dnv 2t2c ndr
3016 - type: "table"
3017   title: "VPP Performance Changes 3n-dnv 2t2c ndr"
3018   algorithm: "table_comparison"
3019   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-dnv-2t2c-ndr"
3020   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
3021   filter: "'2T2C'"
3022   columns:
3023     - title: "2110.0-9"
3024       data-set: "vpp-3n-dnv-hist-iter-new-env"
3025     - title: "2202.0-9"
3026       data-set: "vpp-3n-dnv-prev-iter-old-env"
3027     - title: "2202.0-10"
3028       data-set: "vpp-3n-dnv-prev-iter-new-env"
3029     - title: "2206.0-10"
3030       data-set: "vpp-3n-dnv-curr-iter"
3031   comparisons:
3032     - title: "2202.0-10 vs 2202.0-9"
3033       reference: 2
3034       compare: 3
3035     - title: "2206.0-10 vs 2202.0-10"
3036       reference: 3
3037       compare: 4
3038   legend:
3039     - ''
3040     - 'Test Case:            Test cases executed for: PDR throughput on 3n-dnv with x553.'
3041     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
3042     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
3043     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
3044     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
3045
3046 # VPP Performance Changes 3n-tsh 1t1c pdr
3047 - type: "table"
3048   title: "VPP Performance Changes 3n-tsh 1t1c pdr"
3049   algorithm: "table_comparison"
3050   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-tsh-1t1c-pdr"
3051   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3052   filter: "'1T1C'"
3053   columns:
3054     - title: "2110.0-9"
3055       data-set: "vpp-3n-tsh-hist-iter-new-env"
3056     - title: "2202.0-9"
3057       data-set: "vpp-3n-tsh-prev-iter-old-env"
3058     - title: "2202.0-10"
3059       data-set: "vpp-3n-tsh-prev-iter-new-env"
3060     - title: "2206.0-10"
3061       data-set: "vpp-3n-tsh-curr-iter"
3062   comparisons:
3063     - title: "2202.0-10 vs 2202.0-9"
3064       reference: 2
3065       compare: 3
3066     - title: "2206.0-10 vs 2202.0-10"
3067       reference: 3
3068       compare: 4
3069   legend:
3070     - ''
3071     - 'Test Case:            Test cases executed for: PDR throughput on 3n-tsh with x520.'
3072     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
3073     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
3074     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
3075     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
3076
3077 # VPP Performance Changes 3n-tsh 2t2c pdr
3078 - type: "table"
3079   title: "VPP Performance Changes 3n-tsh 2t2c pdr"
3080   algorithm: "table_comparison"
3081   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-tsh-2t2c-pdr"
3082   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3083   filter: "'2T2C'"
3084   columns:
3085     - title: "2110.0-9"
3086       data-set: "vpp-3n-tsh-hist-iter-new-env"
3087     - title: "2202.0-9"
3088       data-set: "vpp-3n-tsh-prev-iter-old-env"
3089     - title: "2202.0-10"
3090       data-set: "vpp-3n-tsh-prev-iter-new-env"
3091     - title: "2206.0-10"
3092       data-set: "vpp-3n-tsh-curr-iter"
3093   comparisons:
3094     - title: "2202.0-10 vs 2202.0-9"
3095       reference: 2
3096       compare: 3
3097     - title: "2206.0-10 vs 2202.0-10"
3098       reference: 3
3099       compare: 4
3100   legend:
3101     - ''
3102     - 'Test Case:            Test cases executed for: PDR throughput on 3n-tsh with x520.'
3103     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
3104     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
3105     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
3106     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
3107
3108 # VPP Performance Changes 3n-tsh 1t1c ndr
3109 - type: "table"
3110   title: "VPP Performance Changes 3n-tsh 1t1c ndr"
3111   algorithm: "table_comparison"
3112   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-tsh-1t1c-ndr"
3113   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
3114   filter: "'1T1C'"
3115   columns:
3116     - title: "2110.0-9"
3117       data-set: "vpp-3n-tsh-hist-iter-new-env"
3118     - title: "2202.0-9"
3119       data-set: "vpp-3n-tsh-prev-iter-old-env"
3120     - title: "2202.0-10"
3121       data-set: "vpp-3n-tsh-prev-iter-new-env"
3122     - title: "2206.0-10"
3123       data-set: "vpp-3n-tsh-curr-iter"
3124   comparisons:
3125     - title: "2202.0-10 vs 2202.0-9"
3126       reference: 2
3127       compare: 3
3128     - title: "2206.0-10 vs 2202.0-10"
3129       reference: 3
3130       compare: 4
3131   legend:
3132     - ''
3133     - 'Test Case:            Test cases executed for: PDR throughput on 3n-tsh with x520.'
3134     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
3135     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
3136     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
3137     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
3138
3139 # VPP Performance Changes 3n-tsh 2t2c ndr
3140 - type: "table"
3141   title: "VPP Performance Changes 3n-tsh 2t2c ndr"
3142   algorithm: "table_comparison"
3143   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-tsh-2t2c-ndr"
3144   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
3145   filter: "'2T2C'"
3146   columns:
3147     - title: "2110.0-9"
3148       data-set: "vpp-3n-tsh-hist-iter-new-env"
3149     - title: "2202.0-9"
3150       data-set: "vpp-3n-tsh-prev-iter-old-env"
3151     - title: "2202.0-10"
3152       data-set: "vpp-3n-tsh-prev-iter-new-env"
3153     - title: "2206.0-10"
3154       data-set: "vpp-3n-tsh-curr-iter"
3155   comparisons:
3156     - title: "2202.0-10 vs 2202.0-9"
3157       reference: 2
3158       compare: 3
3159     - title: "2206.0-10 vs 2202.0-10"
3160       reference: 3
3161       compare: 4
3162   legend:
3163     - ''
3164     - 'Test Case:            Test cases executed for: PDR throughput on 3n-tsh with x520.'
3165     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
3166     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
3167     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
3168     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
3169
3170 # VPP Performance Changes 2n-tx2 1t1c pdr
3171 - type: "table"
3172   title: "VPP Performance Changes 2n-tx2 1t1c pdr"
3173   algorithm: "table_comparison"
3174   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-tx2-1t1c-pdr"
3175   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3176   filter: "'1T1C'"
3177   columns:
3178     - title: "2110.0-9"
3179       data-set: "vpp-2n-tx2-hist-iter-new-env"
3180     - title: "2202.0-9"
3181       data-set: "vpp-2n-tx2-prev-iter-old-env"
3182     - title: "2202.0-10"
3183       data-set: "vpp-2n-tx2-prev-iter-new-env"
3184     - title: "2206.0-10"
3185       data-set: "vpp-2n-tx2-curr-iter"
3186   comparisons:
3187     - title: "2202.0-10 vs 2202.0-9"
3188       reference: 2
3189       compare: 3
3190     - title: "2206.0-10 vs 2202.0-10"
3191       reference: 3
3192       compare: 4
3193   legend:
3194     - ''
3195     - 'Test Case:            Test cases executed for: PDR throughput on 2n-tx2 with xl710.'
3196     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
3197     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
3198     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
3199     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
3200
3201 # VPP Performance Changes 2n-tx2 2t2c pdr
3202 - type: "table"
3203   title: "VPP Performance Changes 2n-tx2 2t2c pdr"
3204   algorithm: "table_comparison"
3205   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-tx2-2t2c-pdr"
3206   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3207   filter: "'2T2C'"
3208   columns:
3209     - title: "2110.0-9"
3210       data-set: "vpp-2n-tx2-hist-iter-new-env"
3211     - title: "2202.0-9"
3212       data-set: "vpp-2n-tx2-prev-iter-old-env"
3213     - title: "2202.0-10"
3214       data-set: "vpp-2n-tx2-prev-iter-new-env"
3215     - title: "2206.0-10"
3216       data-set: "vpp-2n-tx2-curr-iter"
3217   comparisons:
3218     - title: "2202.0-10 vs 2202.0-9"
3219       reference: 2
3220       compare: 3
3221     - title: "2206.0-10 vs 2202.0-10"
3222       reference: 3
3223       compare: 4
3224   legend:
3225     - ''
3226     - 'Test Case:            Test cases executed for: PDR throughput on 2n-tx2 with xl710.'
3227     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
3228     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
3229     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
3230     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
3231
3232 # VPP Performance Changes 2n-tx2 1t1c ndr
3233 - type: "table"
3234   title: "VPP Performance Changes 2n-tx2 1t1c ndr"
3235   algorithm: "table_comparison"
3236   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-tx2-1t1c-ndr"
3237   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
3238   filter: "'1T1C'"
3239   columns:
3240     - title: "2110.0-9"
3241       data-set: "vpp-2n-tx2-hist-iter-new-env"
3242     - title: "2202.0-9"
3243       data-set: "vpp-2n-tx2-prev-iter-old-env"
3244     - title: "2202.0-10"
3245       data-set: "vpp-2n-tx2-prev-iter-new-env"
3246     - title: "2206.0-10"
3247       data-set: "vpp-2n-tx2-curr-iter"
3248   comparisons:
3249     - title: "2202.0-10 vs 2202.0-9"
3250       reference: 2
3251       compare: 3
3252     - title: "2206.0-10 vs 2202.0-10"
3253       reference: 3
3254       compare: 4
3255   legend:
3256     - ''
3257     - 'Test Case:            Test cases executed for: PDR throughput on 2n-tx2 with xl710.'
3258     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
3259     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
3260     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
3261     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
3262
3263 # VPP Performance Changes 2n-tx2 2t2c ndr
3264 - type: "table"
3265   title: "VPP Performance Changes 2n-tx2 2t2c ndr"
3266   algorithm: "table_comparison"
3267   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-tx2-2t2c-ndr"
3268   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
3269   filter: "'2T2C'"
3270   columns:
3271     - title: "2110.0-9"
3272       data-set: "vpp-2n-tx2-hist-iter-new-env"
3273     - title: "2202.0-9"
3274       data-set: "vpp-2n-tx2-prev-iter-old-env"
3275     - title: "2202.0-10"
3276       data-set: "vpp-2n-tx2-prev-iter-new-env"
3277     - title: "2206.0-10"
3278       data-set: "vpp-2n-tx2-curr-iter"
3279   comparisons:
3280     - title: "2202.0-10 vs 2202.0-9"
3281       reference: 2
3282       compare: 3
3283     - title: "2206.0-10 vs 2202.0-10"
3284       reference: 3
3285       compare: 4
3286   legend:
3287     - ''
3288     - 'Test Case:            Test cases executed for: PDR throughput on 2n-tx2 with xl710.'
3289     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
3290     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
3291     - '2202.0-10 vs 2202.0-9: Compares CSIT environment current vs previous with previous VPP code.'
3292     - '2206.0-10 vs 2202.0-10: Compares VPP code current vs previous in the current CSIT environment.'
3293
3294 # VPP Performance Changes 2n-aws 2t1c pdr
3295 - type: "table"
3296   title: "VPP Performance Changes 2n-aws 2t1c pdr"
3297   algorithm: "table_comparison"
3298   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-aws-2t1c-pdr"
3299   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3300   filter: "'2T1C' and 'NDRPDR'"
3301   columns:
3302     - title: "2110.0-8"
3303       data-set: "vpp-2n-aws-hist-iter"
3304     - title: "2202.0-9"
3305       data-set: "vpp-2n-aws-prev-iter"
3306     - title: "2206.0-10"
3307       data-set: "vpp-2n-aws-curr-iter"
3308   comparisons:
3309     - title: "2206.0-10 vs 2202.0-9"
3310       reference: 2
3311       compare: 3
3312   legend:
3313     - ''
3314     - 'Test Case:            Test cases executed for: PDR throughput on 2n-aws with nitro50g.'
3315     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
3316     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
3317     - '2206.0-10 vs 2202.0-9: Compares VPP code current vs previous.'
3318
3319 # VPP Performance Changes 2n-aws 4t2c pdr
3320 - type: "table"
3321   title: "VPP Performance Changes 2n-aws 4t2c pdr"
3322   algorithm: "table_comparison"
3323   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-aws-4t2c-pdr"
3324   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3325   filter: "'4T2C' and 'NDRPDR'"
3326   columns:
3327     - title: "2110.0-8"
3328       data-set: "vpp-2n-aws-hist-iter"
3329     - title: "2202.0-9"
3330       data-set: "vpp-2n-aws-prev-iter"
3331     - title: "2206.0-10"
3332       data-set: "vpp-2n-aws-curr-iter"
3333   comparisons:
3334     - title: "2206.0-10 vs 2202.0-9"
3335       reference: 2
3336       compare: 3
3337   legend:
3338     - ''
3339     - 'Test Case:            Test cases executed for: PDR throughput on 2n-aws with nitro50g.'
3340     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
3341     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
3342     - '2206.0-10 vs 2202.0-9: Compares VPP code current vs previous.'
3343
3344 # VPP Performance Changes 2n-aws 2t1c ndr
3345 - type: "table"
3346   title: "VPP Performance Changes 2n-aws 2t1c ndr"
3347   algorithm: "table_comparison"
3348   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-aws-2t1c-ndr"
3349   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
3350   filter: "'2T1C' and 'NDRPDR'"
3351   columns:
3352     - title: "2110.0-8"
3353       data-set: "vpp-2n-aws-hist-iter"
3354     - title: "2202.0-9"
3355       data-set: "vpp-2n-aws-prev-iter"
3356     - title: "2206.0-10"
3357       data-set: "vpp-2n-aws-curr-iter"
3358   comparisons:
3359     - title: "2206.0-10 vs 2202.0-9"
3360       reference: 2
3361       compare: 3
3362   legend:
3363     - ''
3364     - 'Test Case:            Test cases executed for: PDR throughput on 2n-aws with nitro50g.'
3365     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
3366     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
3367     - '2206.0-10 vs 2202.0-9: Compares VPP code current vs previous.'
3368
3369 # VPP Performance Changes 2n-aws 4t2c ndr
3370 - type: "table"
3371   title: "VPP Performance Changes 2n-aws 4t2c ndr"
3372   algorithm: "table_comparison"
3373   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-aws-4t2c-ndr"
3374   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
3375   filter: "'4T2C' and 'NDRPDR'"
3376   columns:
3377     - title: "2110.0-8"
3378       data-set: "vpp-2n-aws-hist-iter"
3379     - title: "2202.0-9"
3380       data-set: "vpp-2n-aws-prev-iter"
3381     - title: "2206.0-10"
3382       data-set: "vpp-2n-aws-curr-iter"
3383   comparisons:
3384     - title: "2206.0-10 vs 2202.0-9"
3385       reference: 2
3386       compare: 3
3387   legend:
3388     - ''
3389     - 'Test Case:            Test cases executed for: PDR throughput on 2n-aws with nitro50g.'
3390     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
3391     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
3392     - '2206.0-10 vs 2202.0-9: Compares VPP code current vs previous.'
3393
3394 # # VPP Performance Changes 3n-aws 2t1c pdr
3395 # - type: "table"
3396 #   title: "VPP Performance Changes 3n-aws 2t1c pdr"
3397 #   algorithm: "table_comparison"
3398 #   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-aws-2t1c-pdr"
3399 #   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3400 #   filter: "'2T1C' and 'NDRPDR'"
3401 #   columns:
3402 #     - title: "2110.0-8"
3403 #       data-set: "vpp-3n-aws-hist-iter"
3404 #     - title: "2202.0-9"
3405 #       data-set: "vpp-3n-aws-prev-iter"
3406 #     - title: "2206.0-10"
3407 #       data-set: "vpp-3n-aws-curr-iter"
3408 #   comparisons:
3409 #     - title: "2206.0-10 vs 2202.0-9"
3410 #       reference: 2
3411 #       compare: 3
3412 #   legend:
3413 #     - ''
3414 #     - 'Test Case:            Test cases executed for: PDR throughput on 3n-aws with nitro50g.'
3415 #     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
3416 #     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
3417 #     - '2206.0-10 vs 2202.0-9: Compares VPP code current vs previous.'
3418
3419 # # VPP Performance Changes 3n-aws 4t2c pdr
3420 # - type: "table"
3421 #   title: "VPP Performance Changes 3n-aws 4t2c pdr"
3422 #   algorithm: "table_comparison"
3423 #   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-aws-4t2c-pdr"
3424 #   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3425 #   filter: "'4T2C' and 'NDRPDR'"
3426 #   columns:
3427 #     - title: "2110.0-8"
3428 #       data-set: "vpp-3n-aws-hist-iter"
3429 #     - title: "2202.0-9"
3430 #       data-set: "vpp-3n-aws-prev-iter"
3431 #     - title: "2206.0-10"
3432 #       data-set: "vpp-3n-aws-curr-iter"
3433 #   comparisons:
3434 #     - title: "2206.0-10 vs 2202.0-9"
3435 #       reference: 2
3436 #       compare: 3
3437 #   legend:
3438 #     - ''
3439 #     - 'Test Case:            Test cases executed for: PDR throughput on 3n-aws with nitro50g.'
3440 #     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
3441 #     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
3442 #     - '2206.0-10 vs 2202.0-9: Compares VPP code current vs previous.'
3443
3444 # # VPP Performance Changes 3n-aws 2t1c ndr
3445 # - type: "table"
3446 #   title: "VPP Performance Changes 3n-aws 2t1c ndr"
3447 #   algorithm: "table_comparison"
3448 #   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-aws-2t1c-ndr"
3449 #   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
3450 #   filter: "'2T1C' and 'NDRPDR'"
3451 #   columns:
3452 #     - title: "2110.0-8"
3453 #       data-set: "vpp-3n-aws-hist-iter"
3454 #     - title: "2202.0-9"
3455 #       data-set: "vpp-3n-aws-prev-iter"
3456 #     - title: "2206.0-10"
3457 #       data-set: "vpp-3n-aws-curr-iter"
3458 #   comparisons:
3459 #     - title: "2206.0-10 vs 2202.0-9"
3460 #       reference: 2
3461 #       compare: 3
3462 #   legend:
3463 #     - ''
3464 #     - 'Test Case:            Test cases executed for: PDR throughput on 3n-aws with nitro50g.'
3465 #     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'
3466 #     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
3467 #     - '2206.0-10 vs 2202.0-9: Compares VPP code current vs previous.'
3468
3469 # # VPP Performance Changes 3n-aws 4t2c ndr
3470 # - type: "table"
3471 #   title: "VPP Performance Changes 3n-aws 4t2c ndr"
3472 #   algorithm: "table_comparison"
3473 #   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-aws-4t2c-ndr"
3474 #   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
3475 #   filter: "'4T2C' and 'NDRPDR'"
3476 #   columns:
3477 #     - title: "2110.0-8"
3478 #       data-set: "vpp-3n-aws-hist-iter"
3479 #     - title: "2202.0-9"
3480 #       data-set: "vpp-3n-aws-prev-iter"
3481 #     - title: "2206.0-10"
3482 #       data-set: "vpp-3n-aws-curr-iter"
3483 #   comparisons:
3484 #     - title: "2206.0-10 vs 2202.0-9"
3485 #       reference: 2
3486 #       compare: 3
3487 #   legend:
3488 #     - ''
3489 #     - 'Test Case:            Test cases executed for: PDR throughput on 3n-aws with nitro50g.'
3490 #     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "9" for CSIT rls2202, "10" for CSIT rls2206).'