Report: Add 2n-icx, part 1
[csit.git] / resources / tools / presentation / specifications / report / elements.yaml
1 ################################################################################
2 ###                               T A B L E S                                ###
3 ################################################################################
4
5 # Statistics: job-specs' durations
6 - type: "table"
7   title: "Job Specification Duration: 2n-clx-iterative"
8   algorithm: "table_job_spec_duration"
9   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-clx-iter"
10   jb-type: "iterative"
11   lines:
12     - job-spec: "vpp-mrr-00"
13       data-set: "vpp-2n-clx-curr-iter-mrr"
14     - job-spec: "vpp-mlr-00"
15       data-set: "vpp-2n-clx-curr-iter"
16     - job-spec: "vpp-gso-mrr-00"
17       data-set: "vpp-2n-clx-curr-iter-gso"
18     - job-spec: "soak-00"
19       data-set: "vpp-2n-clx-curr-soak"
20     - job-spec: "vsap-00"
21       data-set: "vpp-2n-clx-curr-iter-vsap"
22     - job-spec: "nfv-density-mrr-00"
23       data-set: "vpp-2n-clx-curr-nfv-mrr"
24     - job-spec: "nfv-density-mlr-00"
25       data-set: "vpp-2n-clx-curr-nfv-ndrpdr"
26     - job-spec: "reconf-00"
27       data-set: "vpp-2n-clx-curr-nfv-reconf"
28     - job-spec: "dpdk-mlr-00"
29       data-set: "dpdk-2n-clx-curr-iter"
30
31 # - type: "table"
32 #   title: "Job Specification Duration: 2n-clx-coverage"
33 #   algorithm: "table_job_spec_duration"
34 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-clx-cov"
35 #   jb-type: "coverage"
36 #   data: "vpp-2n-clx-curr-cov"
37 #   lines:
38 #     - job-spec: "gso-00"
39 #       build: "1"
40 #     - job-spec: "ip4-00"
41 #       build: "2"
42 #     - job-spec: "ip4-01"
43 #       build: "3"
44 #     - job-spec: "ip4-02"
45 #       build: "4"
46 #     - job-spec: "ip4-03"
47 #       build: "5"
48 #     - job-spec: "ip4-04"
49 #       build: "6"
50 #     - job-spec: "ip4-05"
51 #       build: "7"
52 #     - job-spec: "ip4-06"
53 #       build: "8"
54 #     - job-spec: "ip4-07"
55 #       build: "9"
56 #     - job-spec: "ip4tun-00"
57 #       build: "10"
58 #     - job-spec: "ip6-00"
59 #       build: "11"
60 #     - job-spec: "ip6-01"
61 #       build: "12"
62 #     - job-spec: "l2-00"
63 #       build: "13"
64 #     - job-spec: "l2-01"
65 #       build: "14"
66 #     - job-spec: "lb-00"
67 #       build: "15"
68 #     - job-spec: "memif-00"
69 #       build: "16"
70 #     - job-spec: "vhost-00"
71 #       build: "17"
72
73 - type: "table"
74   title: "Job Specification Duration: 2n-dnv-iterative"
75   algorithm: "table_job_spec_duration"
76   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-dnv-iter"
77   jb-type: "iterative"
78   lines:
79     - job-spec: "vpp-mrr-00"
80       data-set: "vpp-2n-dnv-curr-iter-mrr"
81     - job-spec: "vpp-mlr-00"
82       data-set: "vpp-2n-dnv-curr-iter"
83
84 - type: "table"
85   title: "Job Specification Duration: 2n-dnv-coverage"
86   algorithm: "table_job_spec_duration"
87   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-dnv-cov"
88   jb-type: "coverage"
89   data: "vpp-2n-dnv-curr-cov"
90   lines:
91     - job-spec: "ip4-00"
92       build: "7"
93     - job-spec: "ip4-01"
94       build: "8"
95     - job-spec: "ip6-00"
96       build: "9"
97     - job-spec: "ip6-01"
98       build: "10"
99     - job-spec: "l2-00"
100       build: "11"
101     - job-spec: "l2-01"
102       build: "12"
103
104 - type: "table"
105   title: "Job Specification Duration: 2n-aws-iterative"
106   algorithm: "table_job_spec_duration"
107   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-aws-iter"
108   jb-type: "iterative"
109   lines:
110     - job-spec: "vpp-mrr-00"
111       data-set: "vpp-2n-aws-curr-iter-mrr"
112     - job-spec: "vpp-mlr-00"
113       data-set: "vpp-2n-aws-curr-iter"
114
115 - type: "table"
116   title: "Job Specification Duration: 2n-aws-coverage"
117   algorithm: "table_job_spec_duration"
118   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-aws-cov"
119   jb-type: "coverage"
120   data: "vpp-2n-aws-curr-cov"
121   lines:
122     - job-spec: "vpp-00"
123       build: "26"
124
125 - type: "table"
126   title: "Job Specification Duration: 3n-aws-iterative"
127   algorithm: "table_job_spec_duration"
128   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-aws-iter"
129   jb-type: "iterative"
130   lines:
131     - job-spec: "vpp-mrr-00"
132       data-set: "vpp-3n-aws-curr-iter-mrr"
133     - job-spec: "vpp-mlr-00"
134       data-set: "vpp-3n-aws-curr-iter"
135
136 - type: "table"
137   title: "Job Specification Duration: 3n-aws-coverage"
138   algorithm: "table_job_spec_duration"
139   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-aws-cov"
140   jb-type: "coverage"
141   data: "vpp-3n-aws-curr-cov"
142   lines:
143     - job-spec: "vpp-00"
144       build: "34"
145
146 - type: "table"
147   title: "Job Specification Duration: 2n-skx-iterative"
148   algorithm: "table_job_spec_duration"
149   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-skx-iter"
150   jb-type: "iterative"
151   lines:
152     - job-spec: "vpp-mrr-00"
153       data-set: "vpp-2n-skx-curr-iter-mrr"
154     - job-spec: "vpp-mlr-00"
155       data-set: "vpp-2n-skx-curr-iter"
156     - job-spec: "vpp-gso-mrr-00"
157       data-set: "vpp-2n-skx-curr-gso"
158     - job-spec: "soak-00"
159       data-set: "vpp-2n-skx-curr-soak"
160     - job-spec: "nfv-density-mrr-00"
161       data-set: "vpp-2n-skx-curr-nfv-mrr"
162     - job-spec: "nfv-density-mlr-00"
163       data-set: "vpp-2n-skx-curr-nfv-ndrpdr"
164     - job-spec: "reconf-00"
165       data-set: "vpp-2n-skx-curr-nfv-reconf"
166     - job-spec: "dpdk-mlr-00"
167       data-set: "dpdk-2n-skx-curr-iter"
168     - job-spec: "trex-mlr-00"
169       data-set: "trex-2n-skx-curr-iter"
170
171 - type: "table"
172   title: "Job Specification Duration: 2n-skx-coverage"
173   algorithm: "table_job_spec_duration"
174   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-skx-cov"
175   jb-type: "coverage"
176   data: "vpp-2n-skx-curr-cov"
177   lines:
178     - job-spec: "gso-00"
179       build: "18"
180     - job-spec: "ip4-00"
181       build: "19"
182     - job-spec: "ip4-01"
183       build: "20"
184     - job-spec: "ip4-02"
185       build: "21"
186     - job-spec: "ip4-03"
187       build: "22"
188     - job-spec: "ip4-04"
189       build: "23"
190     - job-spec: "ip4-05"
191       build: "24"
192     - job-spec: "ip4-06"
193       build: "25"
194     - job-spec: "ip4-07"
195       build: "26"
196     - job-spec: "ip4tun-00"
197       build: "27"
198     - job-spec: "ip6-00"
199       build: "28"
200     - job-spec: "ip6-01"
201       build: "29"
202     - job-spec: "l2-00"
203       build: "30"
204     - job-spec: "l2-01"
205       build: "31"
206     - job-spec: "lb-00"
207       build: "32"
208     - job-spec: "memif-00"
209       build: "33"
210     - job-spec: "vhost-00"
211       build: "34"
212
213 - type: "table"
214   title: "Job Specification Duration: 2n-tx2-iterative"
215   algorithm: "table_job_spec_duration"
216   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-tx2-iter"
217   jb-type: "iterative"
218   lines:
219     - job-spec: "vpp-mrr-00"
220       data-set: "vpp-2n-tx2-curr-iter-mrr"
221     - job-spec: "vpp-mlr-00"
222       data-set: "vpp-2n-tx2-curr-iter"
223
224 # - type: "table"
225 #   title: "Job Specification Duration: 2n-tx2-coverage"
226 #   algorithm: "table_job_spec_duration"
227 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-tx2-cov"
228 #   jb-type: "coverage"
229 #   data: "vpp-2n-tx2-curr-cov"
230 #   lines:
231 #     - job-spec: "ip4-00"
232 #       build: "1"
233 #     - job-spec: "ip4-01"
234 #       build: "2"
235 #     - job-spec: "ip4-02"
236 #       build: "3"
237 #     - job-spec: "ip4-03"
238 #       build: "4"
239 #     - job-spec: "ip4-04"
240 #       build: "5"
241 #     - job-spec: "ip4-05"
242 #       build: "6"
243 #     - job-spec: "ip4-06"
244 #       build: "7"
245 #     - job-spec: "ip6-00"
246 #       build: "8"
247 #     - job-spec: "ip6-01"
248 #       build: "9"
249 #     - job-spec: "l2-00"
250 #       build: "10"
251 #     - job-spec: "l2-01"
252 #       build: "11"
253 #     - job-spec: "l2-02"
254 #       build: "12"
255 #     - job-spec: "l2-03"
256 #       build: "13"
257 #     - job-spec: "l2-04"
258 #       build: "14"
259
260 - type: "table"
261   title: "Job Specification Duration: 2n-zn2-iterative"
262   algorithm: "table_job_spec_duration"
263   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-zn2-iter"
264   jb-type: "iterative"
265   lines:
266     - job-spec: "vpp-mrr-00"
267       data-set: "vpp-2n-zn2-curr-iter-mrr"
268     - job-spec: "vpp-mlr-00"
269       data-set: "vpp-2n-zn2-curr-iter"
270     - job-spec: "vpp-gso-mrr-00"
271       data-set: "vpp-2n-zn2-curr-iter-gso"
272     - job-spec: "dpdk-mlr-00"
273       data-set: "dpdk-2n-zn2-curr-iter"
274
275 # - type: "table"
276 #   title: "Job Specification Duration: 2n-zn2-coverage"
277 #   algorithm: "table_job_spec_duration"
278 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-zn2-cov"
279 #   jb-type: "coverage"
280 #   data: "vpp-2n-zn2-curr-cov"
281 #   lines:
282 #     - job-spec: "gso-00"
283 #       build: "1"
284 #     - job-spec: "ip4-00"
285 #       build: "2"
286 #     - job-spec: "ip4-01"
287 #       build: "3"
288 #     - job-spec: "ip4-02"
289 #       build: "4"
290 #     - job-spec: "ip4-03"
291 #       build: "18"
292 #     - job-spec: "ip4-04"
293 #       build: "6"
294 #     - job-spec: "ip4-05"
295 #       build: "7"
296 #     - job-spec: "ip4tun-00"
297 #       build: "8"
298 #     - job-spec: "ip6-00"
299 #       build: "9"
300 #     - job-spec: "ip6-01"
301 #       build: "19"
302 #     - job-spec: "l2-00"
303 #       build: "11"
304 #     - job-spec: "l2-01"
305 #       build: "12"
306 #     - job-spec: "lb-00"
307 #       build: "13"
308 #     - job-spec: "memif-00"
309 #       build: "14"
310 #     - job-spec: "vhost-00"
311 #       build: "15"
312
313 - type: "table"
314   title: "Job Specification Duration: 3n-dnv-iterative"
315   algorithm: "table_job_spec_duration"
316   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-dnv-iter"
317   jb-type: "iterative"
318   lines:
319     - job-spec: "vpp-mrr-00"
320       data-set: "vpp-3n-dnv-curr-iter-mrr"
321     - job-spec: "vpp-mlr-00"
322       data-set: "vpp-3n-dnv-curr-iter"
323
324 - type: "table"
325   title: "Job Specification Duration: 3n-dnv-coverage"
326   algorithm: "table_job_spec_duration"
327   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-dnv-cov"
328   jb-type: "coverage"
329   data: "vpp-3n-dnv-curr-cov"
330   lines:
331     - job-spec: "crypto-00"
332       build: "12"
333     - job-spec: "crypto-01"
334       build: "13"
335     - job-spec: "crypto-02"
336       build: "14"
337     - job-spec: "ip4-00"
338       build: "15"
339     - job-spec: "ip4-01"
340       build: "16"
341     - job-spec: "ip4tun-00"
342       build: "17"
343     - job-spec: "ip6-00"
344       build: "18"
345     - job-spec: "ip6-01"
346       build: "19"
347     - job-spec: "l2-00"
348       build: "20"
349     - job-spec: "l2-01"
350       build: "21"
351
352 - type: "table"
353   title: "Job Specification Duration: 3n-skx-iterative"
354   algorithm: "table_job_spec_duration"
355   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-skx-iter"
356   jb-type: "iterative"
357   lines:
358     - job-spec: "vpp-mrr-00"
359       data-set: "vpp-3n-skx-curr-iter-mrr"
360     - job-spec: "vpp-mlr-00"
361       data-set: "vpp-3n-skx-curr-iter"
362     - job-spec: "hoststack-00"
363       data-set: "vpp-3n-skx-curr-iter-hoststack"
364     - job-spec: "dpdk-mlr-00"
365       data-set: "dpdk-3n-skx-curr-iter"
366
367 # - type: "table"
368 #   title: "Job Specification Duration: 3n-skx-coverage"
369 #   algorithm: "table_job_spec_duration"
370 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-skx-cov"
371 #   jb-type: "coverage"
372 #   data: "vpp-3n-skx-curr-cov"
373 #   lines:
374 #     - job-spec: "crypto-00"
375 #       build: "1"
376 #     - job-spec: "crypto-01"
377 #       build: "3"
378 #     - job-spec: "crypto-02"
379 #       build: "4"
380 #     - job-spec: "crypto-03"
381 #       build: "36"
382 #     - job-spec: "crypto-04"
383 #       build: "6"
384 #     - job-spec: "ip4-00"
385 #       build: "7"
386 #     - job-spec: "ip4-01"
387 #       build: "8"
388 #     - job-spec: "ip4-02"
389 #       build: "9"
390 #     - job-spec: "ip4-03"
391 #       build: "10"
392 #     - job-spec: "ip4-04"
393 #       build: "11"
394 #     - job-spec: "ip4-05"
395 #       build: "12"
396 #     - job-spec: "ip4-06"
397 #       build: "13"
398 #     - job-spec: "ip4-07"
399 #       build: "14"
400 #     - job-spec: "ip4tun-00"
401 #       build: "15"
402 #     - job-spec: "ip4tun-02"
403 #       build: "16"
404 #     - job-spec: "ip6-00"
405 #       build: "17"
406 #     - job-spec: "ip6-01"
407 #       build: "18"
408 #     - job-spec: "ip6tun-00"
409 #       build: "19"
410 #     - job-spec: "l2-00"
411 #       build: "20"
412 #     - job-spec: "l2-01"
413 #       build: "21"
414 #     - job-spec: "l2-02"
415 #       build: "22"
416 #     - job-spec: "l2-03"
417 #       build: "23"
418 #     - job-spec: "l2-04"
419 #       build: "24"
420 #     - job-spec: "l2-05"
421 #       build: "25"
422 #     - job-spec: "l2-06"
423 #       build: "26"
424 #     - job-spec: "l2-07"
425 #       build: "27"
426 #     - job-spec: "l2-08"
427 #       build: "28"
428 #     - job-spec: "l2-09"
429 #       build: "29"
430 #     - job-spec: "l2-10"
431 #       build: "30"
432 #     - job-spec: "memif-00"
433 #       build: "31"
434 #     - job-spec: "srv6-00"
435 #       build: "32"
436 #     - job-spec: "srv6-01"
437 #       build: "33"
438 #     - job-spec: "vhost-00"
439 #       build: "34"
440 #     - job-spec: "vhost-01"
441 #       build: "35"
442
443 - type: "table"
444   title: "Job Specification Duration: 3n-tsh-iterative"
445   algorithm: "table_job_spec_duration"
446   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-tsh-iter"
447   jb-type: "iterative"
448   lines:
449     - job-spec: "vpp-mrr-00"
450       data-set: "vpp-3n-tsh-curr-iter-mrr"
451     - job-spec: "vpp-mlr-00"
452       data-set: "vpp-3n-tsh-curr-iter"
453     - job-spec: "dpdk-mlr-00"
454       data-set: "dpdk-3n-tsh-curr-iter"
455
456 # - type: "table"
457 #   title: "Job Specification Duration: 3n-tsh-coverage"
458 #   algorithm: "table_job_spec_duration"
459 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-tsh-cov"
460 #   jb-type: "coverage"
461 #   data: "vpp-3n-tsh-curr-cov"
462 #   lines:
463 #     - job-spec: "ip4-00"
464 #       build: "7"
465 #     - job-spec: "ip4-01"
466 #       build: "8"
467 #     - job-spec: "ip4-02"
468 #       build: "9"
469 #     - job-spec: "ip4-03"
470 #       build: "10"
471 #     - job-spec: "ip4tun-00"
472 #       build: "15"
473 #     - job-spec: "ip6-00"
474 #       build: "17"
475 #     - job-spec: "ip6-01"
476 #       build: "18"
477 #     - job-spec: "l2-00"
478 #       build: "20"
479 #     - job-spec: "l2-01"
480 #       build: "21"
481 #     - job-spec: "l2-02"
482 #       build: "22"
483 #     - job-spec: "l2-03"
484 #       build: "23"
485 #     - job-spec: "l2-04"
486 #       build: "24"
487 #     - job-spec: "memif-00"
488 #       build: "31"
489 #     - job-spec: "srv6-00"
490 #       build: "32"
491 #     - job-spec: "srv6-01"
492 #       build: "33"
493 #     - job-spec: "vhost-00"
494 #       build: "34"
495 #     - job-spec: "vhost-01"
496 #       build: "35"
497
498 # VPP Latency Changes 3n-skx 2t1c
499 - type: "table"
500   title: "VPP Latency Changes 3n-skx 2t1c PDR50-direction1-avg"
501   algorithm: "table_comparison"
502   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-skx-xxv710-2t1c-pdr50-d1-avg"
503   include-tests: "latency-PDR50-direction1-avg"
504   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
505   columns:
506     - title: "2101.0-7"
507       data-set: "vpp-3n-skx-hist-iter-new-env"
508     - title: "2106.0-7"
509       data-set: "vpp-3n-skx-prev-iter-old-env"
510     - title: "2106.0-8"
511       data-set: "vpp-3n-skx-prev-iter-new-env"
512     - title: "2110.0-8"
513       data-set: "vpp-3n-skx-curr-iter"
514   comparisons:
515     - title: "2106.0-8 vs 2106.0-7"
516       reference: 2
517       compare: 3
518     - title: "2110.0-8 vs 2106.0-8"
519       reference: 3
520       compare: 4
521   legend:
522     - ''
523     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
524     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
525     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
526     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
527     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
528
529 # VPP Latency Changes 3n-skx 2t1c
530 - type: "table"
531   title: "VPP Latency Changes 3n-skx 2t1c PDR90-direction1-avg"
532   algorithm: "table_comparison"
533   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-skx-xxv710-2t1c-pdr90-d1-avg"
534   include-tests: "latency-PDR90-direction1-avg"
535   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
536   columns:
537     - title: "2101.0-7"
538       data-set: "vpp-3n-skx-hist-iter-new-env"
539     - title: "2106.0-7"
540       data-set: "vpp-3n-skx-prev-iter-old-env"
541     - title: "2106.0-8"
542       data-set: "vpp-3n-skx-prev-iter-new-env"
543     - title: "2110.0-8"
544       data-set: "vpp-3n-skx-curr-iter"
545   comparisons:
546     - title: "2106.0-8 vs 2106.0-7"
547       reference: 2
548       compare: 3
549     - title: "2110.0-8 vs 2106.0-8"
550       reference: 3
551       compare: 4
552   legend:
553     - ''
554     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
555     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
556     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
557     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
558     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
559
560 # VPP Latency Changes 3n-skx 2t1c
561 - type: "table"
562   title: "VPP Latency Changes 3n-skx 2t1c PDR90-direction1-max"
563   algorithm: "table_comparison"
564   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-skx-xxv710-2t1c-pdr90-d1-max"
565   include-tests: "latency-PDR90-direction1-max"
566   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
567   columns:
568     - title: "2101.0-7"
569       data-set: "vpp-3n-skx-hist-iter-new-env"
570     - title: "2106.0-7"
571       data-set: "vpp-3n-skx-prev-iter-old-env"
572     - title: "2106.0-8"
573       data-set: "vpp-3n-skx-prev-iter-new-env"
574     - title: "2110.0-8"
575       data-set: "vpp-3n-skx-curr-iter"
576   comparisons:
577     - title: "2106.0-8 vs 2106.0-7"
578       reference: 2
579       compare: 3
580     - title: "2110.0-8 vs 2106.0-8"
581       reference: 3
582       compare: 4
583   legend:
584     - ''
585     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
586     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
587     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
588     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
589     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
590
591 # VPP Latency Changes 2n-skx 2t1c
592 - type: "table"
593   title: "VPP Latency Changes 2n-skx 2t1c PDR50-direction1-avg"
594   algorithm: "table_comparison"
595   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-skx-xxv710-2t1c-pdr50-d1-avg"
596   include-tests: "latency-PDR50-direction1-avg"
597   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
598   columns:
599     - title: "2101.0-7"
600       data-set: "vpp-2n-skx-hist-iter-new-env"
601     - title: "2106.0-7"
602       data-set: "vpp-2n-skx-prev-iter-old-env"
603     - title: "2106.0-8"
604       data-set: "vpp-2n-skx-prev-iter-new-env"
605     - title: "2110.0-8"
606       data-set: "vpp-2n-skx-curr-iter"
607   comparisons:
608     - title: "2106.0-8 vs 2106.0-7"
609       reference: 2
610       compare: 3
611     - title: "2110.0-8 vs 2106.0-8"
612       reference: 3
613       compare: 4
614   legend:
615     - ''
616     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
617     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
618     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
619     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
620     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
621
622 # VPP Latency Changes 2n-skx 2t1c
623 - type: "table"
624   title: "VPP Latency Changes 2n-skx 2t1c PDR90-direction1-avg"
625   algorithm: "table_comparison"
626   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-skx-xxv710-2t1c-pdr90-d1-avg"
627   include-tests: "latency-PDR90-direction1-avg"
628   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
629   columns:
630     - title: "2101.0-7"
631       data-set: "vpp-2n-skx-hist-iter-new-env"
632     - title: "2106.0-7"
633       data-set: "vpp-2n-skx-prev-iter-old-env"
634     - title: "2106.0-8"
635       data-set: "vpp-2n-skx-prev-iter-new-env"
636     - title: "2110.0-8"
637       data-set: "vpp-2n-skx-curr-iter"
638   comparisons:
639     - title: "2106.0-8 vs 2106.0-7"
640       reference: 2
641       compare: 3
642     - title: "2110.0-8 vs 2106.0-8"
643       reference: 3
644       compare: 4
645   legend:
646     - ''
647     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
648     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
649     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
650     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
651     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
652
653 # VPP Latency Changes 2n-skx 2t1c
654 - type: "table"
655   title: "VPP Latency Changes 2n-skx 2t1c PDR90-direction1-max"
656   algorithm: "table_comparison"
657   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-skx-xxv710-2t1c-pdr90-d1-max"
658   include-tests: "latency-PDR90-direction1-max"
659   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
660   columns:
661     - title: "2101.0-7"
662       data-set: "vpp-2n-skx-hist-iter-new-env"
663     - title: "2106.0-7"
664       data-set: "vpp-2n-skx-prev-iter-old-env"
665     - title: "2106.0-8"
666       data-set: "vpp-2n-skx-prev-iter-new-env"
667     - title: "2110.0-8"
668       data-set: "vpp-2n-skx-curr-iter"
669   comparisons:
670     - title: "2106.0-8 vs 2106.0-7"
671       reference: 2
672       compare: 3
673     - title: "2110.0-8 vs 2106.0-8"
674       reference: 3
675       compare: 4
676   legend:
677     - ''
678     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
679     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
680     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
681     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
682     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
683
684 # VPP Latency Changes 2n-clx 2t1c
685 - type: "table"
686   title: "VPP Latency Changes 2n-clx 2t1c PDR50-direction1-avg"
687   algorithm: "table_comparison"
688   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-xxv710-2t1c-pdr50-d1-avg"
689   include-tests: "latency-PDR50-direction1-avg"
690   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
691   columns:
692     - title: "2101.0-7"
693       data-set: "vpp-2n-clx-hist-iter-new-env"
694     - title: "2106.0-7"
695       data-set: "vpp-2n-clx-prev-iter-old-env"
696     - title: "2106.0-8"
697       data-set: "vpp-2n-clx-prev-iter-new-env"
698     - title: "2110.0-8"
699       data-set: "vpp-2n-clx-curr-iter"
700   comparisons:
701     - title: "2106.0-8 vs 2106.0-7"
702       reference: 2
703       compare: 3
704     - title: "2110.0-8 vs 2106.0-8"
705       reference: 3
706       compare: 4
707   legend:
708     - ''
709     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
710     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
711     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
712     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
713     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
714
715 # VPP Latency Changes 2n-clx 2t1c
716 - type: "table"
717   title: "VPP Latency Changes 2n-clx 2t1c PDR90-direction1-avg"
718   algorithm: "table_comparison"
719   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-xxv710-2t1c-pdr90-d1-avg"
720   include-tests: "latency-PDR90-direction1-avg"
721   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
722   columns:
723     - title: "2101.0-7"
724       data-set: "vpp-2n-clx-hist-iter-new-env"
725     - title: "2106.0-7"
726       data-set: "vpp-2n-clx-prev-iter-old-env"
727     - title: "2106.0-8"
728       data-set: "vpp-2n-clx-prev-iter-new-env"
729     - title: "2110.0-8"
730       data-set: "vpp-2n-clx-curr-iter"
731   comparisons:
732     - title: "2106.0-8 vs 2106.0-7"
733       reference: 2
734       compare: 3
735     - title: "2110.0-8 vs 2106.0-8"
736       reference: 3
737       compare: 4
738   legend:
739     - ''
740     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
741     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
742     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
743     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
744     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
745
746 # VPP Latency Changes 2n-clx 2t1c
747 - type: "table"
748   title: "VPP Latency Changes 2n-clx 2t1c PDR90-direction1-max"
749   algorithm: "table_comparison"
750   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-xxv710-2t1c-pdr90-d1-max"
751   include-tests: "latency-PDR90-direction1-max"
752   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
753   columns:
754     - title: "2101.0-7"
755       data-set: "vpp-2n-clx-hist-iter-new-env"
756     - title: "2106.0-7"
757       data-set: "vpp-2n-clx-prev-iter-old-env"
758     - title: "2106.0-8"
759       data-set: "vpp-2n-clx-prev-iter-new-env"
760     - title: "2110.0-8"
761       data-set: "vpp-2n-clx-curr-iter"
762   comparisons:
763     - title: "2106.0-8 vs 2106.0-7"
764       reference: 2
765       compare: 3
766     - title: "2110.0-8 vs 2106.0-8"
767       reference: 3
768       compare: 4
769   legend:
770     - ''
771     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
772     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
773     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
774     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
775     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
776
777 # VPP Latency Changes 2n-clx 2t1c
778 - type: "table"
779   title: "VPP Latency Changes 2n-clx 2t1c PDR50-direction1-avg"
780   algorithm: "table_comparison"
781   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-cx556a-2t1c-pdr50-d1-avg"
782   include-tests: "latency-PDR50-direction1-avg"
783   filter: "'2T1C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
784   columns:
785     - title: "2101.0-7"
786       data-set: "vpp-2n-clx-hist-iter-new-env"
787     - title: "2106.0-7"
788       data-set: "vpp-2n-clx-prev-iter-old-env"
789     - title: "2106.0-8"
790       data-set: "vpp-2n-clx-prev-iter-new-env"
791     - title: "2110.0-8"
792       data-set: "vpp-2n-clx-curr-iter"
793   comparisons:
794     - title: "2106.0-8 vs 2106.0-7"
795       reference: 2
796       compare: 3
797     - title: "2110.0-8 vs 2106.0-8"
798       reference: 3
799       compare: 4
800   legend:
801     - ''
802     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
803     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
804     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
805     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
806     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
807
808 # VPP Latency Changes 2n-clx 2t1c
809 - type: "table"
810   title: "VPP Latency Changes 2n-clx 2t1c PDR90-direction1-avg"
811   algorithm: "table_comparison"
812   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-cx556a-2t1c-pdr90-d1-avg"
813   include-tests: "latency-PDR90-direction1-avg"
814   filter: "'2T1C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
815   columns:
816     - title: "2101.0-7"
817       data-set: "vpp-2n-clx-hist-iter-new-env"
818     - title: "2106.0-7"
819       data-set: "vpp-2n-clx-prev-iter-old-env"
820     - title: "2106.0-8"
821       data-set: "vpp-2n-clx-prev-iter-new-env"
822     - title: "2110.0-8"
823       data-set: "vpp-2n-clx-curr-iter"
824   comparisons:
825     - title: "2106.0-8 vs 2106.0-7"
826       reference: 2
827       compare: 3
828     - title: "2110.0-8 vs 2106.0-8"
829       reference: 3
830       compare: 4
831   legend:
832     - ''
833     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
834     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
835     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
836     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
837     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
838
839 # VPP Latency Changes 2n-clx 2t1c
840 - type: "table"
841   title: "VPP Latency Changes 2n-clx 2t1c PDR90-direction1-max"
842   algorithm: "table_comparison"
843   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-cx556a-2t1c-pdr90-d1-max"
844   include-tests: "latency-PDR90-direction1-max"
845   filter: "'2T1C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
846   columns:
847     - title: "2101.0-7"
848       data-set: "vpp-2n-clx-hist-iter-new-env"
849     - title: "2106.0-7"
850       data-set: "vpp-2n-clx-prev-iter-old-env"
851     - title: "2106.0-8"
852       data-set: "vpp-2n-clx-prev-iter-new-env"
853     - title: "2110.0-8"
854       data-set: "vpp-2n-clx-curr-iter"
855   comparisons:
856     - title: "2106.0-8 vs 2106.0-7"
857       reference: 2
858       compare: 3
859     - title: "2110.0-8 vs 2106.0-8"
860       reference: 3
861       compare: 4
862   legend:
863     - ''
864     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
865     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
866     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
867     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
868     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
869
870 # VPP Latency Changes 2n-zn2 2t1c
871 - type: "table"
872   title: "VPP Latency Changes 2n-zn2 2t1c PDR50-direction1-avg"
873   algorithm: "table_comparison"
874   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-zn2-xxv710-2t1c-pdr50-d1-avg"
875   include-tests: "latency-PDR50-direction1-avg"
876   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
877   columns:
878     - title: "2101.0-7"
879       data-set: "vpp-2n-zn2-hist-iter-new-env"
880     - title: "2106.0-7"
881       data-set: "vpp-2n-zn2-prev-iter-old-env"
882     - title: "2106.0-8"
883       data-set: "vpp-2n-zn2-prev-iter-new-env"
884     - title: "2110.0-8"
885       data-set: "vpp-2n-zn2-curr-iter"
886   comparisons:
887     - title: "2106.0-8 vs 2106.0-7"
888       reference: 2
889       compare: 3
890     - title: "2110.0-8 vs 2106.0-8"
891       reference: 3
892       compare: 4
893   legend:
894     - ''
895     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
896     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
897     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
898     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
899     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
900
901 # VPP Latency Changes 2n-zn2 2t1c
902 - type: "table"
903   title: "VPP Latency Changes 2n-zn2 2t1c PDR90-direction1-avg"
904   algorithm: "table_comparison"
905   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-zn2-xxv710-2t1c-pdr90-d1-avg"
906   include-tests: "latency-PDR90-direction1-avg"
907   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
908   columns:
909     - title: "2101.0-7"
910       data-set: "vpp-2n-zn2-hist-iter-new-env"
911     - title: "2106.0-7"
912       data-set: "vpp-2n-zn2-prev-iter-old-env"
913     - title: "2106.0-8"
914       data-set: "vpp-2n-zn2-prev-iter-new-env"
915     - title: "2110.0-8"
916       data-set: "vpp-2n-zn2-curr-iter"
917   comparisons:
918     - title: "2106.0-8 vs 2106.0-7"
919       reference: 2
920       compare: 3
921     - title: "2110.0-8 vs 2106.0-8"
922       reference: 3
923       compare: 4
924   legend:
925     - ''
926     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
927     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
928     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
929     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
930     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
931
932 # VPP Latency Changes 2n-zn2 2t1c
933 - type: "table"
934   title: "VPP Latency Changes 2n-zn2 2t1c PDR90-direction1-max"
935   algorithm: "table_comparison"
936   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-zn2-xxv710-2t1c-pdr90-d1-max"
937   include-tests: "latency-PDR90-direction1-max"
938   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
939   columns:
940     - title: "2101.0-7"
941       data-set: "vpp-2n-zn2-hist-iter-new-env"
942     - title: "2106.0-7"
943       data-set: "vpp-2n-zn2-prev-iter-old-env"
944     - title: "2106.0-8"
945       data-set: "vpp-2n-zn2-prev-iter-new-env"
946     - title: "2110.0-8"
947       data-set: "vpp-2n-zn2-curr-iter"
948   comparisons:
949     - title: "2106.0-8 vs 2106.0-7"
950       reference: 2
951       compare: 3
952     - title: "2110.0-8 vs 2106.0-8"
953       reference: 3
954       compare: 4
955   legend:
956     - ''
957     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
958     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
959     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
960     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
961     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
962
963 # VPP Latency Changes 2n-tx2 1t1c
964 - type: "table"
965   title: "VPP Latency Changes 2n-tx2 1t1c PDR50-direction1-avg"
966   algorithm: "table_comparison"
967   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-tx2-xl710-1t1c-pdr50-d1-avg"
968   include-tests: "latency-PDR50-direction1-avg"
969   filter: "'1T1C' and 'NDRPDR'"
970   columns:
971     - title: "2101.0-7"
972       data-set: "vpp-2n-tx2-hist-iter-new-env"
973     - title: "2106.0-7"
974       data-set: "vpp-2n-tx2-prev-iter-old-env"
975     - title: "2106.0-8"
976       data-set: "vpp-2n-tx2-prev-iter-new-env"
977     - title: "2110.0-8"
978       data-set: "vpp-2n-tx2-curr-iter"
979   comparisons:
980     - title: "2106.0-8 vs 2106.0-7"
981       reference: 2
982       compare: 3
983     - title: "2110.0-8 vs 2106.0-8"
984       reference: 3
985       compare: 4
986   legend:
987     - ''
988     - 'Test Case:            Test cases executed for: PDR throughput on 2n-tx2 with xl710.'
989     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
990     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
991     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
992     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
993
994 # VPP Latency Changes 2n-tx2 1t1c
995 - type: "table"
996   title: "VPP Latency Changes 2n-tx2 1t1c PDR90-direction1-avg"
997   algorithm: "table_comparison"
998   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-tx2-xl710-1t1c-pdr90-d1-avg"
999   include-tests: "latency-PDR90-direction1-avg"
1000   filter: "'1T1C' and 'NDRPDR'"
1001   columns:
1002     - title: "2101.0-7"
1003       data-set: "vpp-2n-tx2-hist-iter-new-env"
1004     - title: "2106.0-7"
1005       data-set: "vpp-2n-tx2-prev-iter-old-env"
1006     - title: "2106.0-8"
1007       data-set: "vpp-2n-tx2-prev-iter-new-env"
1008     - title: "2110.0-8"
1009       data-set: "vpp-2n-tx2-curr-iter"
1010   comparisons:
1011     - title: "2106.0-8 vs 2106.0-7"
1012       reference: 2
1013       compare: 3
1014     - title: "2110.0-8 vs 2106.0-8"
1015       reference: 3
1016       compare: 4
1017   legend:
1018     - ''
1019     - 'Test Case:            Test cases executed for: PDR throughput on 2n-tx2 with xl710.'
1020     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
1021     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1022     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
1023     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
1024
1025 # VPP Latency Changes 2n-tx2 1t1c
1026 - type: "table"
1027   title: "VPP Latency Changes 2n-tx2 1t1c PDR90-direction1-max"
1028   algorithm: "table_comparison"
1029   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-tx2-xl710-1t1c-pdr90-d1-max"
1030   include-tests: "latency-PDR90-direction1-max"
1031   filter: "'1T1C' and 'NDRPDR'"
1032   columns:
1033     - title: "2101.0-7"
1034       data-set: "vpp-2n-tx2-hist-iter-new-env"
1035     - title: "2106.0-7"
1036       data-set: "vpp-2n-tx2-prev-iter-old-env"
1037     - title: "2106.0-8"
1038       data-set: "vpp-2n-tx2-prev-iter-new-env"
1039     - title: "2110.0-8"
1040       data-set: "vpp-2n-tx2-curr-iter"
1041   comparisons:
1042     - title: "2106.0-8 vs 2106.0-7"
1043       reference: 2
1044       compare: 3
1045     - title: "2110.0-8 vs 2106.0-8"
1046       reference: 3
1047       compare: 4
1048   legend:
1049     - ''
1050     - 'Test Case:            Test cases executed for: PDR throughput on 2n-tx2 with xl710.'
1051     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
1052     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1053     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
1054     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
1055
1056 # VPP Latency Changes 3n-tsh 1t1c
1057 - type: "table"
1058   title: "VPP Latency Changes 3n-tsh 1t1c PDR50-direction1-avg"
1059   algorithm: "table_comparison"
1060   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-tsh-x520-1t1c-pdr50-d1-avg"
1061   include-tests: "latency-PDR50-direction1-avg"
1062   filter: "'1T1C' and 'NDRPDR'"
1063   columns:
1064     - title: "2101.0-7"
1065       data-set: "vpp-3n-tsh-hist-iter-new-env"
1066     - title: "2106.0-7"
1067       data-set: "vpp-3n-tsh-prev-iter-old-env"
1068     - title: "2106.0-8"
1069       data-set: "vpp-3n-tsh-prev-iter-new-env"
1070     - title: "2110.0-8"
1071       data-set: "vpp-3n-tsh-curr-iter"
1072   comparisons:
1073     - title: "2106.0-8 vs 2106.0-7"
1074       reference: 2
1075       compare: 3
1076     - title: "2110.0-8 vs 2106.0-8"
1077       reference: 3
1078       compare: 4
1079   legend:
1080     - ''
1081     - 'Test Case:            Test cases executed for: PDR throughput on 3n-tsh with x520.'
1082     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
1083     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1084     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
1085     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
1086
1087 # VPP Latency Changes 3n-tsh 1t1c
1088 - type: "table"
1089   title: "VPP Latency Changes 3n-tsh 1t1c PDR90-direction1-avg"
1090   algorithm: "table_comparison"
1091   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-tsh-x520-1t1c-pdr90-d1-avg"
1092   include-tests: "latency-PDR90-direction1-avg"
1093   filter: "'1T1C' and 'NDRPDR'"
1094   columns:
1095     - title: "2101.0-7"
1096       data-set: "vpp-3n-tsh-hist-iter-new-env"
1097     - title: "2106.0-7"
1098       data-set: "vpp-3n-tsh-prev-iter-old-env"
1099     - title: "2106.0-8"
1100       data-set: "vpp-3n-tsh-prev-iter-new-env"
1101     - title: "2110.0-8"
1102       data-set: "vpp-3n-tsh-curr-iter"
1103   comparisons:
1104     - title: "2106.0-8 vs 2106.0-7"
1105       reference: 2
1106       compare: 3
1107     - title: "2110.0-8 vs 2106.0-8"
1108       reference: 3
1109       compare: 4
1110   legend:
1111     - ''
1112     - 'Test Case:            Test cases executed for: PDR throughput on 3n-tsh with x520.'
1113     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
1114     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1115     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
1116     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
1117
1118 # VPP Latency Changes 3n-tsh 1t1c
1119 - type: "table"
1120   title: "VPP Latency Changes 3n-tsh 1t1c PDR90-direction1-max"
1121   algorithm: "table_comparison"
1122   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-tsh-x520-1t1c-pdr90-d1-max"
1123   include-tests: "latency-PDR90-direction1-max"
1124   filter: "'1T1C' and 'NDRPDR'"
1125   columns:
1126     - title: "2101.0-7"
1127       data-set: "vpp-3n-tsh-hist-iter-new-env"
1128     - title: "2106.0-7"
1129       data-set: "vpp-3n-tsh-prev-iter-old-env"
1130     - title: "2106.0-8"
1131       data-set: "vpp-3n-tsh-prev-iter-new-env"
1132     - title: "2110.0-8"
1133       data-set: "vpp-3n-tsh-curr-iter"
1134   comparisons:
1135     - title: "2106.0-8 vs 2106.0-7"
1136       reference: 2
1137       compare: 3
1138     - title: "2110.0-8 vs 2106.0-8"
1139       reference: 3
1140       compare: 4
1141   legend:
1142     - ''
1143     - 'Test Case:            Test cases executed for: PDR throughput on 3n-tsh with x520.'
1144     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
1145     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1146     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
1147     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
1148
1149 # VPP Soak vs NDR - 2n-skx
1150 - type: "table"
1151   title: "VPP Soak vs NDR 2n-skx"
1152   algorithm: "table_soak_vs_ndr"
1153   output-file: "{DIR[STATIC,VPP]}/soak-vs-ndr-2n-skx"
1154   reference:
1155     title: "NDR"
1156     data: "vpp-soak-vs-ndr-2n-skx-ref"
1157   compare:
1158     title: "Soak"
1159     data: "vpp-2n-skx-curr-soak"
1160   data: "vpp-soak-vs-ndr-2n-skx"
1161   include-tests: "NDR"
1162   filter: "('NDRPDR' or 'SOAK') and not 'NF_DENSITY'"
1163   parameters:
1164     - "throughput"
1165     - "name"
1166     - "parent"
1167
1168 # VPP Soak vs NDR - 2n-clx
1169 - type: "table"
1170   title: "VPP Soak vs NDR 2n-clx"
1171   algorithm: "table_soak_vs_ndr"
1172   output-file: "{DIR[STATIC,VPP]}/soak-vs-ndr-2n-clx"
1173   reference:
1174     title: "NDR"
1175     data: "vpp-soak-vs-ndr-2n-clx-ref"
1176   compare:
1177     title: "Soak"
1178     data: "vpp-2n-clx-curr-soak"
1179   data: "vpp-soak-vs-ndr-2n-clx"
1180   include-tests: "NDR"
1181   filter: "('NDRPDR' or 'SOAK') and not 'NF_DENSITY'"
1182   parameters:
1183     - "throughput"
1184     - "name"
1185     - "parent"
1186
1187 ################################################################################
1188
1189 # VPP Compare NICs 3n-skx 2t1c ndr
1190 - type: "table"
1191   title: "VPP Compare NICs 3n-skx 2t1c ndr"
1192   algorithm: "table_comparison"
1193   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-ndr"
1194   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1195   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
1196   columns:
1197     - title: "x710"
1198       data-set: "vpp-3n-skx-curr-iter"
1199       tag: "NIC_Intel-X710"
1200     - title: "xxv710"
1201       data-set: "vpp-3n-skx-curr-iter"
1202       tag: "NIC_Intel-XXV710"
1203   comparisons:
1204     - title: "Diff"
1205       reference: 1
1206       compare: 2
1207   legend:
1208     - ""
1209     - "x710, xxv710 - NICs tested."
1210     - "Diff - difference between x710 and xxv710 NIC."
1211
1212 # VPP Compare NICs 3n-skx 4t2c ndr
1213 - type: "table"
1214   title: "VPP Compare NICs 3n-skx 4t2c ndr"
1215   algorithm: "table_comparison"
1216   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-ndr"
1217   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1218   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
1219   columns:
1220     - title: "x710"
1221       data-set: "vpp-3n-skx-curr-iter"
1222       tag: "NIC_Intel-X710"
1223     - title: "xxv710"
1224       data-set: "vpp-3n-skx-curr-iter"
1225       tag: "NIC_Intel-XXV710"
1226   comparisons:
1227     - title: "Diff"
1228       reference: 1
1229       compare: 2
1230   legend:
1231     - ""
1232     - "x710, xxv710 - NICs tested."
1233     - "Diff - difference between x710 and xxv710 NIC."
1234
1235 # VPP Compare NICs 3n-skx 2t1c pdr
1236 - type: "table"
1237   title: "VPP Compare NICs 3n-skx 2t1c pdr"
1238   algorithm: "table_comparison"
1239   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-pdr"
1240   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1241   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
1242   columns:
1243     - title: "x710"
1244       data-set: "vpp-3n-skx-curr-iter"
1245       tag: "NIC_Intel-X710"
1246     - title: "xxv710"
1247       data-set: "vpp-3n-skx-curr-iter"
1248       tag: "NIC_Intel-XXV710"
1249   comparisons:
1250     - title: "Diff"
1251       reference: 1
1252       compare: 2
1253   legend:
1254     - ""
1255     - "x710, xxv710 - NICs tested."
1256     - "Diff - difference between x710 and xxv710 NIC."
1257
1258 # VPP Compare NICs 3n-skx 4t2c pdr
1259 - type: "table"
1260   title: "VPP Compare NICs 3n-skx 4t2c pdr"
1261   algorithm: "table_comparison"
1262   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-pdr"
1263   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1264   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
1265   columns:
1266     - title: "x710"
1267       data-set: "vpp-3n-skx-curr-iter"
1268       tag: "NIC_Intel-X710"
1269     - title: "xxv710"
1270       data-set: "vpp-3n-skx-curr-iter"
1271       tag: "NIC_Intel-XXV710"
1272   comparisons:
1273     - title: "Diff"
1274       reference: 1
1275       compare: 2
1276   legend:
1277     - ""
1278     - "x710, xxv710 - NICs tested."
1279     - "Diff - difference between x710 and xxv710 NIC."
1280
1281 # VPP Compare NICs 3n-skx 2t1c mrr
1282 - type: "table"
1283   title: "VPP Compare NICs 3n-skx 2t1c mrr"
1284   algorithm: "table_comparison"
1285   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-mrr"
1286   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1287   filter: "'2T1C' and 'MRR' and not 'NF_DENSITY'"
1288   columns:
1289     - title: "x710"
1290       data-set: "vpp-3n-skx-curr-iter-mrr"
1291       tag: "NIC_Intel-X710"
1292     - title: "xxv710"
1293       data-set: "vpp-3n-skx-curr-iter-mrr"
1294       tag: "NIC_Intel-XXV710"
1295   comparisons:
1296     - title: "Diff"
1297       reference: 1
1298       compare: 2
1299   legend:
1300     - ""
1301     - "x710, xxv710 - NICs tested."
1302     - "Diff - difference between x710 and xxv710 NIC."
1303
1304 # VPP Compare NICs 3n-skx 4t2c mrr
1305 - type: "table"
1306   title: "VPP Compare NICs 3n-skx 4t2c mrr"
1307   algorithm: "table_comparison"
1308   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-mrr"
1309   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1310   filter: "'4T2C' and 'MRR' and not 'NF_DENSITY'"
1311   columns:
1312     - title: "x710"
1313       data-set: "vpp-3n-skx-curr-iter-mrr"
1314       tag: "NIC_Intel-X710"
1315     - title: "xxv710"
1316       data-set: "vpp-3n-skx-curr-iter-mrr"
1317       tag: "NIC_Intel-XXV710"
1318   comparisons:
1319     - title: "Diff"
1320       reference: 1
1321       compare: 2
1322   legend:
1323     - ""
1324     - "x710, xxv710 - NICs tested."
1325     - "Diff - difference between x710 and xxv710 NIC."
1326
1327 # VPP Compare NICs 3n-skx 8t4c mrr
1328 - type: "table"
1329   title: "VPP Compare NICs 3n-skx 8t4c mrr"
1330   algorithm: "table_comparison"
1331   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-8t4c-nics-mrr"
1332   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1333   filter: "'8T4C' and 'MRR' and not 'NF_DENSITY'"
1334   columns:
1335     - title: "x710"
1336       data-set: "vpp-3n-skx-curr-iter-mrr"
1337       tag: "NIC_Intel-X710"
1338     - title: "xxv710"
1339       data-set: "vpp-3n-skx-curr-iter-mrr"
1340       tag: "NIC_Intel-XXV710"
1341   comparisons:
1342     - title: "Diff"
1343       reference: 1
1344       compare: 2
1345   legend:
1346     - ""
1347     - "x710, xxv710 - NICs tested."
1348     - "Diff - difference between x710 and xxv710 NIC."
1349
1350 # VPP Compare NICs 2n-skx 2t1c ndr
1351 - type: "table"
1352   title: "VPP Compare NICs 2n-skx 2t1c ndr"
1353   algorithm: "table_comparison"
1354   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-nics-ndr"
1355   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1356   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
1357   columns:
1358     - title: "x710"
1359       data-set: "vpp-2n-skx-curr-iter"
1360       tag: "NIC_Intel-X710"
1361     - title: "xxv710"
1362       data-set: "vpp-2n-skx-curr-iter"
1363       tag: "NIC_Intel-XXV710"
1364   comparisons:
1365     - title: "Diff"
1366       reference: 1
1367       compare: 2
1368   legend:
1369     - ""
1370     - "x710, xxv710 - NICs tested."
1371     - "Diff - difference between x710 and xxv710 NIC."
1372
1373 # VPP Compare NICs 2n-skx 4t2c ndr
1374 - type: "table"
1375   title: "VPP Compare NICs 2n-skx 4t2c ndr"
1376   algorithm: "table_comparison"
1377   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-nics-ndr"
1378   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1379   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
1380   columns:
1381     - title: "x710"
1382       data-set: "vpp-2n-skx-curr-iter"
1383       tag: "NIC_Intel-X710"
1384     - title: "xxv710"
1385       data-set: "vpp-2n-skx-curr-iter"
1386       tag: "NIC_Intel-XXV710"
1387   comparisons:
1388     - title: "Diff"
1389       reference: 1
1390       compare: 2
1391   legend:
1392     - ""
1393     - "x710, xxv710 - NICs tested."
1394     - "Diff - difference between x710 and xxv710 NIC."
1395
1396 # VPP Compare NICs 2n-skx 2t1c pdr
1397 - type: "table"
1398   title: "VPP Compare NICs 2n-skx 2t1c pdr"
1399   algorithm: "table_comparison"
1400   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-nics-pdr"
1401   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1402   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
1403   columns:
1404     - title: "x710"
1405       data-set: "vpp-2n-skx-curr-iter"
1406       tag: "NIC_Intel-X710"
1407     - title: "xxv710"
1408       data-set: "vpp-2n-skx-curr-iter"
1409       tag: "NIC_Intel-XXV710"
1410   comparisons:
1411     - title: "Diff"
1412       reference: 1
1413       compare: 2
1414   legend:
1415     - ""
1416     - "x710, xxv710 - NICs tested."
1417     - "Diff - difference between x710 and xxv710 NIC."
1418
1419 # VPP Compare NICs 2n-skx 4t2c pdr
1420 - type: "table"
1421   title: "VPP Compare NICs 2n-skx 4t2c pdr"
1422   algorithm: "table_comparison"
1423   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-nics-pdr"
1424   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1425   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
1426   columns:
1427     - title: "x710"
1428       data-set: "vpp-2n-skx-curr-iter"
1429       tag: "NIC_Intel-X710"
1430     - title: "xxv710"
1431       data-set: "vpp-2n-skx-curr-iter"
1432       tag: "NIC_Intel-XXV710"
1433   comparisons:
1434     - title: "Diff"
1435       reference: 1
1436       compare: 2
1437   legend:
1438     - ""
1439     - "x710, xxv710 - NICs tested."
1440     - "Diff - difference between x710 and xxv710 NIC."
1441
1442 # VPP Compare NICs 2n-skx 2t1c mrr
1443 - type: "table"
1444   title: "VPP Compare NICs 2n-skx 2t1c mrr"
1445   algorithm: "table_comparison"
1446   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-nics-mrr"
1447   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1448   filter: "'2T1C' and 'MRR' and not 'NF_DENSITY'"
1449   columns:
1450     - title: "x710"
1451       data-set: "vpp-2n-skx-curr-iter-mrr"
1452       tag: "NIC_Intel-X710"
1453     - title: "xxv710"
1454       data-set: "vpp-2n-skx-curr-iter-mrr"
1455       tag: "NIC_Intel-XXV710"
1456   comparisons:
1457     - title: "Diff"
1458       reference: 1
1459       compare: 2
1460   legend:
1461     - ""
1462     - "x710, xxv710 - NICs tested."
1463     - "Diff - difference between x710 and xxv710 NIC."
1464
1465 # VPP Compare NICs 2n-skx 4t2c mrr
1466 - type: "table"
1467   title: "VPP Compare NICs 2n-skx 4t2c mrr"
1468   algorithm: "table_comparison"
1469   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-nics-mrr"
1470   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1471   filter: "'4T2C' and 'MRR' and not 'NF_DENSITY'"
1472   columns:
1473     - title: "x710"
1474       data-set: "vpp-2n-skx-curr-iter-mrr"
1475       tag: "NIC_Intel-X710"
1476     - title: "xxv710"
1477       data-set: "vpp-2n-skx-curr-iter-mrr"
1478       tag: "NIC_Intel-XXV710"
1479   comparisons:
1480     - title: "Diff"
1481       reference: 1
1482       compare: 2
1483   legend:
1484     - ""
1485     - "x710, xxv710 - NICs tested."
1486     - "Diff - difference between x710 and xxv710 NIC."
1487
1488 # VPP Compare NICs 2n-skx 8t4c mrr
1489 - type: "table"
1490   title: "VPP Compare NICs 2n-skx 8t4c mrr"
1491   algorithm: "table_comparison"
1492   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-8t4c-nics-mrr"
1493   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1494   filter: "'8T4C' and 'MRR' and not 'NF_DENSITY'"
1495   columns:
1496     - title: "x710"
1497       data-set: "vpp-2n-skx-curr-iter-mrr"
1498       tag: "NIC_Intel-X710"
1499     - title: "xxv710"
1500       data-set: "vpp-2n-skx-curr-iter-mrr"
1501       tag: "NIC_Intel-XXV710"
1502   comparisons:
1503     - title: "Diff"
1504       reference: 1
1505       compare: 2
1506   legend:
1507     - ""
1508     - "x710, xxv710 - NICs tested."
1509     - "Diff - difference between x710 and xxv710 NIC."
1510
1511 ################################################################################
1512 # VPP
1513
1514 # VPP Performance Changes 3n-skx 2t1c pdr
1515 - type: "table"
1516   title: "VPP Performance Changes 3n-skx 2t1c pdr"
1517   algorithm: "table_comparison"
1518   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-pdr"
1519   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1520   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1521   columns:
1522     - title: "2101.0-7"
1523       data-set: "vpp-3n-skx-hist-iter-new-env"
1524     - title: "2106.0-7"
1525       data-set: "vpp-3n-skx-prev-iter-old-env"
1526     - title: "2106.0-8"
1527       data-set: "vpp-3n-skx-prev-iter-new-env"
1528     - title: "2110.0-8"
1529       data-set: "vpp-3n-skx-curr-iter"
1530   comparisons:
1531     - title: "2106.0-8 vs 2106.0-7"
1532       reference: 2
1533       compare: 3
1534     - title: "2110.0-8 vs 2106.0-8"
1535       reference: 3
1536       compare: 4
1537   legend:
1538     - ''
1539     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
1540     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
1541     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1542     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
1543     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
1544
1545 # VPP Performance Changes 3n-skx 4t2c pdr
1546 - type: "table"
1547   title: "VPP Performance Changes 3n-skx 4t2c pdr"
1548   algorithm: "table_comparison"
1549   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-pdr"
1550   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1551   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1552   columns:
1553     - title: "2101.0-7"
1554       data-set: "vpp-3n-skx-hist-iter-new-env"
1555     - title: "2106.0-7"
1556       data-set: "vpp-3n-skx-prev-iter-old-env"
1557     - title: "2106.0-8"
1558       data-set: "vpp-3n-skx-prev-iter-new-env"
1559     - title: "2110.0-8"
1560       data-set: "vpp-3n-skx-curr-iter"
1561   comparisons:
1562     - title: "2106.0-8 vs 2106.0-7"
1563       reference: 2
1564       compare: 3
1565     - title: "2110.0-8 vs 2106.0-8"
1566       reference: 3
1567       compare: 4
1568   legend:
1569     - ''
1570     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
1571     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
1572     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1573     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
1574     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
1575
1576 # VPP Performance Changes 3n-skx 2t1c ndr
1577 - type: "table"
1578   title: "VPP Performance Changes 3n-skx 2t1c ndr"
1579   algorithm: "table_comparison"
1580   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-ndr"
1581   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1582   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1583   columns:
1584     - title: "2101.0-7"
1585       data-set: "vpp-3n-skx-hist-iter-new-env"
1586     - title: "2106.0-7"
1587       data-set: "vpp-3n-skx-prev-iter-old-env"
1588     - title: "2106.0-8"
1589       data-set: "vpp-3n-skx-prev-iter-new-env"
1590     - title: "2110.0-8"
1591       data-set: "vpp-3n-skx-curr-iter"
1592   comparisons:
1593     - title: "2106.0-8 vs 2106.0-7"
1594       reference: 2
1595       compare: 3
1596     - title: "2110.0-8 vs 2106.0-8"
1597       reference: 3
1598       compare: 4
1599   legend:
1600     - ''
1601     - 'Test Case:            Test cases executed for: NDR throughput on 3n-skx with xxv710.'
1602     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
1603     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1604     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
1605     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
1606
1607 # VPP Performance Changes 3n-skx 4t2c ndr
1608 - type: "table"
1609   title: "VPP Performance Changes 3n-skx 4t2c ndr"
1610   algorithm: "table_comparison"
1611   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-ndr"
1612   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1613   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1614   columns:
1615     - title: "2101.0-7"
1616       data-set: "vpp-3n-skx-hist-iter-new-env"
1617     - title: "2106.0-7"
1618       data-set: "vpp-3n-skx-prev-iter-old-env"
1619     - title: "2106.0-8"
1620       data-set: "vpp-3n-skx-prev-iter-new-env"
1621     - title: "2110.0-8"
1622       data-set: "vpp-3n-skx-curr-iter"
1623   comparisons:
1624     - title: "2106.0-8 vs 2106.0-7"
1625       reference: 2
1626       compare: 3
1627     - title: "2110.0-8 vs 2106.0-8"
1628       reference: 3
1629       compare: 4
1630   legend:
1631     - ''
1632     - 'Test Case:            Test cases executed for: NDR throughput on 3n-skx with xxv710.'
1633     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
1634     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1635     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
1636     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
1637
1638 # VPP Performance Changes 2n-skx 2t1c pdr
1639 - type: "table"
1640   title: "VPP Performance Changes 2n-skx 2t1c pdr"
1641   algorithm: "table_comparison"
1642   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-pdr"
1643   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1644   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1645   columns:
1646     - title: "2101.0-7"
1647       data-set: "vpp-2n-skx-hist-iter-new-env"
1648     - title: "2106.0-7"
1649       data-set: "vpp-2n-skx-prev-iter-old-env"
1650     - title: "2106.0-8"
1651       data-set: "vpp-2n-skx-prev-iter-new-env"
1652     - title: "2110.0-8"
1653       data-set: "vpp-2n-skx-curr-iter"
1654   comparisons:
1655     - title: "2106.0-8 vs 2106.0-7"
1656       reference: 2
1657       compare: 3
1658     - title: "2110.0-8 vs 2106.0-8"
1659       reference: 3
1660       compare: 4
1661   legend:
1662     - ''
1663     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
1664     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
1665     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1666     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
1667     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
1668
1669 # VPP Performance Changes 2n-skx 4t2c pdr
1670 - type: "table"
1671   title: "VPP Performance Changes 2n-skx 4t2c pdr"
1672   algorithm: "table_comparison"
1673   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-pdr"
1674   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1675   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1676   columns:
1677     - title: "2101.0-7"
1678       data-set: "vpp-2n-skx-hist-iter-new-env"
1679     - title: "2106.0-7"
1680       data-set: "vpp-2n-skx-prev-iter-old-env"
1681     - title: "2106.0-8"
1682       data-set: "vpp-2n-skx-prev-iter-new-env"
1683     - title: "2110.0-8"
1684       data-set: "vpp-2n-skx-curr-iter"
1685   comparisons:
1686     - title: "2106.0-8 vs 2106.0-7"
1687       reference: 2
1688       compare: 3
1689     - title: "2110.0-8 vs 2106.0-8"
1690       reference: 3
1691       compare: 4
1692   legend:
1693     - ''
1694     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
1695     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
1696     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1697     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
1698     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
1699
1700 # VPP Performance Changes 2n-skx 2t1c ndr
1701 - type: "table"
1702   title: "VPP Performance Changes 2n-skx 2t1c ndr"
1703   algorithm: "table_comparison"
1704   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-ndr"
1705   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1706   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1707   columns:
1708     - title: "2101.0-7"
1709       data-set: "vpp-2n-skx-hist-iter-new-env"
1710     - title: "2106.0-7"
1711       data-set: "vpp-2n-skx-prev-iter-old-env"
1712     - title: "2106.0-8"
1713       data-set: "vpp-2n-skx-prev-iter-new-env"
1714     - title: "2110.0-8"
1715       data-set: "vpp-2n-skx-curr-iter"
1716   comparisons:
1717     - title: "2106.0-8 vs 2106.0-7"
1718       reference: 2
1719       compare: 3
1720     - title: "2110.0-8 vs 2106.0-8"
1721       reference: 3
1722       compare: 4
1723   legend:
1724     - ''
1725     - 'Test Case:            Test cases executed for: NDR throughput on 2n-skx with xxv710.'
1726     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
1727     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1728     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
1729     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
1730
1731 # VPP Performance Changes 2n-skx 4t2c ndr
1732 - type: "table"
1733   title: "VPP Performance Changes 2n-skx 4t2c ndr"
1734   algorithm: "table_comparison"
1735   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-ndr"
1736   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1737   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1738   columns:
1739     - title: "2101.0-7"
1740       data-set: "vpp-2n-skx-hist-iter-new-env"
1741     - title: "2106.0-7"
1742       data-set: "vpp-2n-skx-prev-iter-old-env"
1743     - title: "2106.0-8"
1744       data-set: "vpp-2n-skx-prev-iter-new-env"
1745     - title: "2110.0-8"
1746       data-set: "vpp-2n-skx-curr-iter"
1747   comparisons:
1748     - title: "2106.0-8 vs 2106.0-7"
1749       reference: 2
1750       compare: 3
1751     - title: "2110.0-8 vs 2106.0-8"
1752       reference: 3
1753       compare: 4
1754   legend:
1755     - ''
1756     - 'Test Case:            Test cases executed for: NDR throughput on 2n-skx with xxv710.'
1757     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
1758     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1759     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
1760     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
1761
1762 # VPP Performance Changes 2n-clx-xxv710 2t1c pdr
1763 - type: "table"
1764   title: "VPP Performance Changes 2n-clx-xxv710 2t1c pdr"
1765   algorithm: "table_comparison"
1766   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-xxv710-2t1c-pdr"
1767   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1768   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1769   columns:
1770     - title: "2101.0-7"
1771       data-set: "vpp-2n-clx-hist-iter-new-env"
1772     - title: "2106.0-7"
1773       data-set: "vpp-2n-clx-prev-iter-old-env"
1774     - title: "2106.0-8"
1775       data-set: "vpp-2n-clx-prev-iter-new-env"
1776     - title: "2110.0-8"
1777       data-set: "vpp-2n-clx-curr-iter"
1778   comparisons:
1779     - title: "2106.0-8 vs 2106.0-7"
1780       reference: 2
1781       compare: 3
1782     - title: "2110.0-8 vs 2106.0-8"
1783       reference: 3
1784       compare: 4
1785   legend:
1786     - ''
1787     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
1788     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
1789     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1790     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
1791     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
1792
1793 # VPP Performance Changes 2n-clx-xxv710 4t2c pdr
1794 - type: "table"
1795   title: "VPP Performance Changes 2n-clx-xxv710 4t2c pdr"
1796   algorithm: "table_comparison"
1797   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-xxv710-4t2c-pdr"
1798   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1799   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1800   columns:
1801     - title: "2101.0-7"
1802       data-set: "vpp-2n-clx-hist-iter-new-env"
1803     - title: "2106.0-7"
1804       data-set: "vpp-2n-clx-prev-iter-old-env"
1805     - title: "2106.0-8"
1806       data-set: "vpp-2n-clx-prev-iter-new-env"
1807     - title: "2110.0-8"
1808       data-set: "vpp-2n-clx-curr-iter"
1809   comparisons:
1810     - title: "2106.0-8 vs 2106.0-7"
1811       reference: 2
1812       compare: 3
1813     - title: "2110.0-8 vs 2106.0-8"
1814       reference: 3
1815       compare: 4
1816   legend:
1817     - ''
1818     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
1819     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
1820     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1821     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
1822     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
1823
1824 # VPP Performance Changes 2n-clx-xxv710 2t1c ndr
1825 - type: "table"
1826   title: "VPP Performance Changes 2n-clx-xxv710 2t1c ndr"
1827   algorithm: "table_comparison"
1828   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-xxv710-2t1c-ndr"
1829   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1830   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1831   columns:
1832     - title: "2101.0-7"
1833       data-set: "vpp-2n-clx-hist-iter-new-env"
1834     - title: "2106.0-7"
1835       data-set: "vpp-2n-clx-prev-iter-old-env"
1836     - title: "2106.0-8"
1837       data-set: "vpp-2n-clx-prev-iter-new-env"
1838     - title: "2110.0-8"
1839       data-set: "vpp-2n-clx-curr-iter"
1840   comparisons:
1841     - title: "2106.0-8 vs 2106.0-7"
1842       reference: 2
1843       compare: 3
1844     - title: "2110.0-8 vs 2106.0-8"
1845       reference: 3
1846       compare: 4
1847   legend:
1848     - ''
1849     - 'Test Case:            Test cases executed for: NDR throughput on 2n-clx with xxv710.'
1850     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
1851     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1852     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
1853     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
1854
1855 # VPP Performance Changes 2n-clx-xxv710 4t2c ndr
1856 - type: "table"
1857   title: "VPP Performance Changes 2n-clx-xxv710 ndr"
1858   algorithm: "table_comparison"
1859   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-xxv710-4t2c-ndr"
1860   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1861   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1862   columns:
1863     - title: "2101.0-7"
1864       data-set: "vpp-2n-clx-hist-iter-new-env"
1865     - title: "2106.0-7"
1866       data-set: "vpp-2n-clx-prev-iter-old-env"
1867     - title: "2106.0-8"
1868       data-set: "vpp-2n-clx-prev-iter-new-env"
1869     - title: "2110.0-8"
1870       data-set: "vpp-2n-clx-curr-iter"
1871   comparisons:
1872     - title: "2106.0-8 vs 2106.0-7"
1873       reference: 2
1874       compare: 3
1875     - title: "2110.0-8 vs 2106.0-8"
1876       reference: 3
1877       compare: 4
1878   legend:
1879     - ''
1880     - 'Test Case:            Test cases executed for: NDR throughput on 2n-clx with xxv710.'
1881     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
1882     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1883     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
1884     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
1885
1886 # VPP Performance Changes 2n-clx-cx556a 2t1c pdr
1887 - type: "table"
1888   title: "VPP Performance Changes 2n-clx-cx556a 2t1c pdr"
1889   algorithm: "table_comparison"
1890   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-cx556a-2t1c-pdr"
1891   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1892   filter: "'2T1C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
1893   columns:
1894     - title: "2101.0-7"
1895       data-set: "vpp-2n-clx-hist-iter-new-env"
1896     - title: "2106.0-7"
1897       data-set: "vpp-2n-clx-prev-iter-old-env"
1898     - title: "2106.0-8"
1899       data-set: "vpp-2n-clx-prev-iter-new-env"
1900     - title: "2110.0-8"
1901       data-set: "vpp-2n-clx-curr-iter"
1902   comparisons:
1903     - title: "2106.0-8 vs 2106.0-7"
1904       reference: 2
1905       compare: 3
1906     - title: "2110.0-8 vs 2106.0-8"
1907       reference: 3
1908       compare: 4
1909   legend:
1910     - ''
1911     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
1912     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
1913     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1914     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
1915     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
1916
1917 # VPP Performance Changes 2n-clx-cx556a 4t2c pdr
1918 - type: "table"
1919   title: "VPP Performance Changes 2n-clx-cx556a 4t2c pdr"
1920   algorithm: "table_comparison"
1921   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-cx556a-4t2c-pdr"
1922   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1923   filter: "'4T2C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
1924   columns:
1925     - title: "2101.0-7"
1926       data-set: "vpp-2n-clx-hist-iter-new-env"
1927     - title: "2106.0-7"
1928       data-set: "vpp-2n-clx-prev-iter-old-env"
1929     - title: "2106.0-8"
1930       data-set: "vpp-2n-clx-prev-iter-new-env"
1931     - title: "2110.0-8"
1932       data-set: "vpp-2n-clx-curr-iter"
1933   comparisons:
1934     - title: "2106.0-8 vs 2106.0-7"
1935       reference: 2
1936       compare: 3
1937     - title: "2110.0-8 vs 2106.0-8"
1938       reference: 3
1939       compare: 4
1940   legend:
1941     - ''
1942     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
1943     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
1944     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1945     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
1946     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
1947
1948 # VPP Performance Changes 2n-clx-cx556a 2t1c ndr
1949 - type: "table"
1950   title: "VPP Performance Changes 2n-clx-cx556a 2t1c ndr"
1951   algorithm: "table_comparison"
1952   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-cx556a-2t1c-ndr"
1953   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1954   filter: "'2T1C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
1955   columns:
1956     - title: "2101.0-7"
1957       data-set: "vpp-2n-clx-hist-iter-new-env"
1958     - title: "2106.0-7"
1959       data-set: "vpp-2n-clx-prev-iter-old-env"
1960     - title: "2106.0-8"
1961       data-set: "vpp-2n-clx-prev-iter-new-env"
1962     - title: "2110.0-8"
1963       data-set: "vpp-2n-clx-curr-iter"
1964   comparisons:
1965     - title: "2106.0-8 vs 2106.0-7"
1966       reference: 2
1967       compare: 3
1968     - title: "2110.0-8 vs 2106.0-8"
1969       reference: 3
1970       compare: 4
1971   legend:
1972     - ''
1973     - 'Test Case:            Test cases executed for: NDR throughput on 2n-clx with cx556a.'
1974     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
1975     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1976     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
1977     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
1978
1979 # VPP Performance Changes 2n-clx-cx556a 4t2c ndr
1980 - type: "table"
1981   title: "VPP Performance Changes 2n-clx-cx556a ndr"
1982   algorithm: "table_comparison"
1983   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-cx556a-4t2c-ndr"
1984   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1985   filter: "'4T2C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
1986   columns:
1987     - title: "2101.0-7"
1988       data-set: "vpp-2n-clx-hist-iter-new-env"
1989     - title: "2106.0-7"
1990       data-set: "vpp-2n-clx-prev-iter-old-env"
1991     - title: "2106.0-8"
1992       data-set: "vpp-2n-clx-prev-iter-new-env"
1993     - title: "2110.0-8"
1994       data-set: "vpp-2n-clx-curr-iter"
1995   comparisons:
1996     - title: "2106.0-8 vs 2106.0-7"
1997       reference: 2
1998       compare: 3
1999     - title: "2110.0-8 vs 2106.0-8"
2000       reference: 3
2001       compare: 4
2002   legend:
2003     - ''
2004     - 'Test Case:            Test cases executed for: NDR throughput on 2n-clx with cx556a.'
2005     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
2006     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2007     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
2008     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
2009
2010 # VPP Performance Changes 2n-zn2-xxv710 2t1c pdr
2011 - type: "table"
2012   title: "VPP Performance Changes 2n-zn2-xxv710 2t1c pdr"
2013   algorithm: "table_comparison"
2014   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-zn2-xxv710-2t1c-pdr"
2015   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2016   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
2017   columns:
2018     - title: "2101.0-7"
2019       data-set: "vpp-2n-zn2-hist-iter-new-env"
2020     - title: "2106.0-7"
2021       data-set: "vpp-2n-zn2-prev-iter-old-env"
2022     - title: "2106.0-8"
2023       data-set: "vpp-2n-zn2-prev-iter-new-env"
2024     - title: "2110.0-8"
2025       data-set: "vpp-2n-zn2-curr-iter"
2026   comparisons:
2027     - title: "2106.0-8 vs 2106.0-7"
2028       reference: 2
2029       compare: 3
2030     - title: "2110.0-8 vs 2106.0-8"
2031       reference: 3
2032       compare: 4
2033   legend:
2034     - ''
2035     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
2036     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
2037     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2038     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
2039     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
2040
2041 # VPP Performance Changes 2n-zn2-xxv710 4t2c pdr
2042 - type: "table"
2043   title: "VPP Performance Changes 2n-zn2-xxv710 4t2c pdr"
2044   algorithm: "table_comparison"
2045   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-zn2-xxv710-4t2c-pdr"
2046   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2047   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
2048   columns:
2049     - title: "2101.0-7"
2050       data-set: "vpp-2n-zn2-hist-iter-new-env"
2051     - title: "2106.0-7"
2052       data-set: "vpp-2n-zn2-prev-iter-old-env"
2053     - title: "2106.0-8"
2054       data-set: "vpp-2n-zn2-prev-iter-new-env"
2055     - title: "2110.0-8"
2056       data-set: "vpp-2n-zn2-curr-iter"
2057   comparisons:
2058     - title: "2106.0-8 vs 2106.0-7"
2059       reference: 2
2060       compare: 3
2061     - title: "2110.0-8 vs 2106.0-8"
2062       reference: 3
2063       compare: 4
2064   legend:
2065     - ''
2066     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
2067     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
2068     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2069     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
2070     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
2071
2072 # VPP Performance Changes 2n-zn2-xxv710 2t1c ndr
2073 - type: "table"
2074   title: "VPP Performance Changes 2n-zn2-xxv710 2t1c ndr"
2075   algorithm: "table_comparison"
2076   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-zn2-xxv710-2t1c-ndr"
2077   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2078   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
2079   columns:
2080     - title: "2101.0-7"
2081       data-set: "vpp-2n-zn2-hist-iter-new-env"
2082     - title: "2106.0-7"
2083       data-set: "vpp-2n-zn2-prev-iter-old-env"
2084     - title: "2106.0-8"
2085       data-set: "vpp-2n-zn2-prev-iter-new-env"
2086     - title: "2110.0-8"
2087       data-set: "vpp-2n-zn2-curr-iter"
2088   comparisons:
2089     - title: "2106.0-8 vs 2106.0-7"
2090       reference: 2
2091       compare: 3
2092     - title: "2110.0-8 vs 2106.0-8"
2093       reference: 3
2094       compare: 4
2095   legend:
2096     - ''
2097     - 'Test Case:            Test cases executed for: NDR throughput on 2n-zn2 with xxv710.'
2098     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
2099     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2100     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
2101     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
2102
2103 # VPP Performance Changes 2n-zn2-xxv710 4t2c ndr
2104 - type: "table"
2105   title: "VPP Performance Changes 2n-zn2-xxv710 4t2c ndr"
2106   algorithm: "table_comparison"
2107   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-zn2-xxv710-4t2c-ndr"
2108   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2109   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
2110   columns:
2111     - title: "2101.0-7"
2112       data-set: "vpp-2n-zn2-hist-iter-new-env"
2113     - title: "2106.0-7"
2114       data-set: "vpp-2n-zn2-prev-iter-old-env"
2115     - title: "2106.0-8"
2116       data-set: "vpp-2n-zn2-prev-iter-new-env"
2117     - title: "2110.0-8"
2118       data-set: "vpp-2n-zn2-curr-iter"
2119   comparisons:
2120     - title: "2106.0-8 vs 2106.0-7"
2121       reference: 2
2122       compare: 3
2123     - title: "2110.0-8 vs 2106.0-8"
2124       reference: 3
2125       compare: 4
2126   legend:
2127     - ''
2128     - 'Test Case:            Test cases executed for: NDR throughput on 2n-zn2 with xxv710.'
2129     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
2130     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2131     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
2132     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
2133
2134 # VPP Performance Changes 2n-dnv 1t1c pdr
2135 - type: "table"
2136   title: "VPP Performance Changes 2n-dnv 1t1c pdr"
2137   algorithm: "table_comparison"
2138   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-dnv-1t1c-pdr"
2139   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2140   filter: "'1T1C'"
2141   columns:
2142     - title: "2101.0-7"
2143       data-set: "vpp-2n-dnv-hist-iter-new-env"
2144     - title: "2106.0-7"
2145       data-set: "vpp-2n-dnv-prev-iter-old-env"
2146     - title: "2106.0-8"
2147       data-set: "vpp-2n-dnv-prev-iter-new-env"
2148     - title: "2110.0-8"
2149       data-set: "vpp-2n-dnv-curr-iter"
2150   comparisons:
2151     - title: "2106.0-8 vs 2106.0-7"
2152       reference: 2
2153       compare: 3
2154     - title: "2110.0-8 vs 2106.0-8"
2155       reference: 3
2156       compare: 4
2157   legend:
2158     - ''
2159     - 'Test Case:            Test cases executed for: PDR throughput on 2n-dnv with x553.'
2160     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
2161     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2162     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
2163     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous.'
2164
2165 # VPP Performance Changes 2n-dnv 2t2c pdr
2166 - type: "table"
2167   title: "VPP Performance Changes 2n-dnv 2t2c pdr"
2168   algorithm: "table_comparison"
2169   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-dnv-2t2c-pdr"
2170   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2171   filter: "'2T2C'"
2172   columns:
2173     - title: "2101.0-7"
2174       data-set: "vpp-2n-dnv-hist-iter-new-env"
2175     - title: "2106.0-7"
2176       data-set: "vpp-2n-dnv-prev-iter-old-env"
2177     - title: "2106.0-8"
2178       data-set: "vpp-2n-dnv-prev-iter-new-env"
2179     - title: "2110.0-8"
2180       data-set: "vpp-2n-dnv-curr-iter"
2181   comparisons:
2182     - title: "2106.0-8 vs 2106.0-7"
2183       reference: 2
2184       compare: 3
2185     - title: "2110.0-8 vs 2106.0-8"
2186       reference: 3
2187       compare: 4
2188   legend:
2189     - ''
2190     - 'Test Case:            Test cases executed for: PDR throughput on 2n-dnv with x553.'
2191     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
2192     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2193     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
2194     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous.'
2195
2196 # VPP Performance Changes 2n-dnv 1t1c ndr
2197 - type: "table"
2198   title: "VPP Performance Changes 2n-dnv 1t1c ndr"
2199   algorithm: "table_comparison"
2200   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-dnv-1t1c-ndr"
2201   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2202   filter: "'1T1C'"
2203   columns:
2204     - title: "2101.0-7"
2205       data-set: "vpp-2n-dnv-hist-iter-new-env"
2206     - title: "2106.0-7"
2207       data-set: "vpp-2n-dnv-prev-iter-old-env"
2208     - title: "2106.0-8"
2209       data-set: "vpp-2n-dnv-prev-iter-new-env"
2210     - title: "2110.0-8"
2211       data-set: "vpp-2n-dnv-curr-iter"
2212   comparisons:
2213     - title: "2106.0-8 vs 2106.0-7"
2214       reference: 2
2215       compare: 3
2216     - title: "2110.0-8 vs 2106.0-8"
2217       reference: 3
2218       compare: 4
2219   legend:
2220     - ''
2221     - 'Test Case:            Test cases executed for: NDR throughput on 2n-dnv with x553.'
2222     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
2223     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2224     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
2225     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous.'
2226
2227 # VPP Performance Changes 2n-dnv 2t2c ndr
2228 - type: "table"
2229   title: "VPP Performance Changes 2n-dnv 2t2c ndr"
2230   algorithm: "table_comparison"
2231   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-dnv-2t2c-ndr"
2232   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2233   filter: "'2T2C'"
2234   columns:
2235     - title: "2101.0-7"
2236       data-set: "vpp-2n-dnv-hist-iter-new-env"
2237     - title: "2106.0-7"
2238       data-set: "vpp-2n-dnv-prev-iter-old-env"
2239     - title: "2106.0-8"
2240       data-set: "vpp-2n-dnv-prev-iter-new-env"
2241     - title: "2110.0-8"
2242       data-set: "vpp-2n-dnv-curr-iter"
2243   comparisons:
2244     - title: "2106.0-8 vs 2106.0-7"
2245       reference: 2
2246       compare: 3
2247     - title: "2110.0-8 vs 2106.0-8"
2248       reference: 3
2249       compare: 4
2250   legend:
2251     - ''
2252     - 'Test Case:            Test cases executed for: NDR throughput on 2n-dnv with x553.'
2253     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
2254     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2255     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
2256     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous.'
2257
2258 # VPP Performance Changes 3n-dnv 1t1c pdr
2259 - type: "table"
2260   title: "VPP Performance Changes 3n-dnv 1t1c pdr"
2261   algorithm: "table_comparison"
2262   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-dnv-1t1c-pdr"
2263   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2264   filter: "'1T1C'"
2265   columns:
2266     - title: "2101.0-7"
2267       data-set: "vpp-3n-dnv-hist-iter-new-env"
2268     - title: "2106.0-7"
2269       data-set: "vpp-3n-dnv-prev-iter-old-env"
2270     - title: "2106.0-8"
2271       data-set: "vpp-3n-dnv-prev-iter-new-env"
2272     - title: "2110.0-8"
2273       data-set: "vpp-3n-dnv-curr-iter"
2274   comparisons:
2275     - title: "2106.0-8 vs 2106.0-7"
2276       reference: 2
2277       compare: 3
2278     - title: "2110.0-8 vs 2106.0-8"
2279       reference: 3
2280       compare: 4
2281   legend:
2282     - ''
2283     - 'Test Case:            Test cases executed for: PDR throughput on 3n-dnv with x553.'
2284     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
2285     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2286     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
2287     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous.'
2288
2289 # VPP Performance Changes 3n-dnv 2t2c pdr
2290 - type: "table"
2291   title: "VPP Performance Changes 3n-dnv 2t2c pdr"
2292   algorithm: "table_comparison"
2293   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-dnv-2t2c-pdr"
2294   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2295   filter: "'2T2C'"
2296   columns:
2297     - title: "2101.0-7"
2298       data-set: "vpp-3n-dnv-hist-iter-new-env"
2299     - title: "2106.0-7"
2300       data-set: "vpp-3n-dnv-prev-iter-old-env"
2301     - title: "2106.0-8"
2302       data-set: "vpp-3n-dnv-prev-iter-new-env"
2303     - title: "2110.0-8"
2304       data-set: "vpp-3n-dnv-curr-iter"
2305   comparisons:
2306     - title: "2106.0-8 vs 2106.0-7"
2307       reference: 2
2308       compare: 3
2309     - title: "2110.0-8 vs 2106.0-8"
2310       reference: 3
2311       compare: 4
2312   legend:
2313     - ''
2314     - 'Test Case:            Test cases executed for: PDR throughput on 3n-dnv with x553.'
2315     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
2316     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2317     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
2318     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous.'
2319
2320 # VPP Performance Changes 3n-dnv 1t1c ndr
2321 - type: "table"
2322   title: "VPP Performance Changes 3n-dnv 1t1c ndr"
2323   algorithm: "table_comparison"
2324   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-dnv-1t1c-ndr"
2325   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2326   filter: "'1T1C'"
2327   columns:
2328     - title: "2101.0-7"
2329       data-set: "vpp-3n-dnv-hist-iter-new-env"
2330     - title: "2106.0-7"
2331       data-set: "vpp-3n-dnv-prev-iter-old-env"
2332     - title: "2106.0-8"
2333       data-set: "vpp-3n-dnv-prev-iter-new-env"
2334     - title: "2110.0-8"
2335       data-set: "vpp-3n-dnv-curr-iter"
2336   comparisons:
2337     - title: "2106.0-8 vs 2106.0-7"
2338       reference: 2
2339       compare: 3
2340     - title: "2110.0-8 vs 2106.0-8"
2341       reference: 3
2342       compare: 4
2343   legend:
2344     - ''
2345     - 'Test Case:            Test cases executed for: NDR throughput on 3n-dnv with x553.'
2346     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
2347     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2348     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
2349     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous.'
2350
2351 # VPP Performance Changes 3n-dnv 2t2c ndr
2352 - type: "table"
2353   title: "VPP Performance Changes 3n-dnv 2t2c ndr"
2354   algorithm: "table_comparison"
2355   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-dnv-2t2c-ndr"
2356   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2357   filter: "'2T2C'"
2358   columns:
2359     - title: "2101.0-7"
2360       data-set: "vpp-3n-dnv-hist-iter-new-env"
2361     - title: "2106.0-7"
2362       data-set: "vpp-3n-dnv-prev-iter-old-env"
2363     - title: "2106.0-8"
2364       data-set: "vpp-3n-dnv-prev-iter-new-env"
2365     - title: "2110.0-8"
2366       data-set: "vpp-3n-dnv-curr-iter"
2367   comparisons:
2368     - title: "2106.0-8 vs 2106.0-7"
2369       reference: 2
2370       compare: 3
2371     - title: "2110.0-8 vs 2106.0-8"
2372       reference: 3
2373       compare: 4
2374   legend:
2375     - ''
2376     - 'Test Case:            Test cases executed for: NDR throughput on 3n-dnv with x553.'
2377     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
2378     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2379     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
2380     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous.'
2381
2382 # VPP Performance Changes 3n-tsh 1t1c pdr
2383 - type: "table"
2384   title: "VPP Performance Changes 3n-tsh 1t1c pdr"
2385   algorithm: "table_comparison"
2386   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-tsh-1t1c-pdr"
2387   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2388   filter: "'1T1C'"
2389   columns:
2390     - title: "2101.0-7"
2391       data-set: "vpp-3n-tsh-hist-iter-new-env"
2392     - title: "2106.0-7"
2393       data-set: "vpp-3n-tsh-prev-iter-old-env"
2394     - title: "2106.0-8"
2395       data-set: "vpp-3n-tsh-prev-iter-new-env"
2396     - title: "2110.0-8"
2397       data-set: "vpp-3n-tsh-curr-iter"
2398   comparisons:
2399     - title: "2106.0-8 vs 2106.0-7"
2400       reference: 2
2401       compare: 3
2402     - title: "2110.0-8 vs 2106.0-8"
2403       reference: 3
2404       compare: 4
2405   legend:
2406     - ''
2407     - 'Test Case:            Test cases executed for: PDR throughput on 3n-tsh with x520.'
2408     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
2409     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2410     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
2411     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
2412
2413 # VPP Performance Changes 3n-tsh 2t2c pdr
2414 - type: "table"
2415   title: "VPP Performance Changes 3n-tsh 2t2c pdr"
2416   algorithm: "table_comparison"
2417   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-tsh-2t2c-pdr"
2418   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2419   filter: "'2T2C'"
2420   columns:
2421     - title: "2101.0-7"
2422       data-set: "vpp-3n-tsh-hist-iter-new-env"
2423     - title: "2106.0-7"
2424       data-set: "vpp-3n-tsh-prev-iter-old-env"
2425     - title: "2106.0-8"
2426       data-set: "vpp-3n-tsh-prev-iter-new-env"
2427     - title: "2110.0-8"
2428       data-set: "vpp-3n-tsh-curr-iter"
2429   comparisons:
2430     - title: "2106.0-8 vs 2106.0-7"
2431       reference: 2
2432       compare: 3
2433     - title: "2110.0-8 vs 2106.0-8"
2434       reference: 3
2435       compare: 4
2436   legend:
2437     - ''
2438     - 'Test Case:            Test cases executed for: PDR throughput on 3n-tsh with x520.'
2439     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
2440     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2441     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
2442     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
2443
2444 # VPP Performance Changes 3n-tsh 1t1c ndr
2445 - type: "table"
2446   title: "VPP Performance Changes 3n-tsh 1t1c ndr"
2447   algorithm: "table_comparison"
2448   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-tsh-1t1c-ndr"
2449   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2450   filter: "'1T1C'"
2451   columns:
2452     - title: "2101.0-7"
2453       data-set: "vpp-3n-tsh-hist-iter-new-env"
2454     - title: "2106.0-7"
2455       data-set: "vpp-3n-tsh-prev-iter-old-env"
2456     - title: "2106.0-8"
2457       data-set: "vpp-3n-tsh-prev-iter-new-env"
2458     - title: "2110.0-8"
2459       data-set: "vpp-3n-tsh-curr-iter"
2460   comparisons:
2461     - title: "2106.0-8 vs 2106.0-7"
2462       reference: 2
2463       compare: 3
2464     - title: "2110.0-8 vs 2106.0-8"
2465       reference: 3
2466       compare: 4
2467   legend:
2468     - ''
2469     - 'Test Case:            Test cases executed for: NDR throughput on 3n-tsh with x520.'
2470     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
2471     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2472     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
2473     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
2474
2475 # VPP Performance Changes 3n-tsh 2t2c ndr
2476 - type: "table"
2477   title: "VPP Performance Changes 3n-tsh 2t2c ndr"
2478   algorithm: "table_comparison"
2479   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-tsh-2t2c-ndr"
2480   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2481   filter: "'2T2C'"
2482   columns:
2483     - title: "2101.0-7"
2484       data-set: "vpp-3n-tsh-hist-iter-new-env"
2485     - title: "2106.0-7"
2486       data-set: "vpp-3n-tsh-prev-iter-old-env"
2487     - title: "2106.0-8"
2488       data-set: "vpp-3n-tsh-prev-iter-new-env"
2489     - title: "2110.0-8"
2490       data-set: "vpp-3n-tsh-curr-iter"
2491   comparisons:
2492     - title: "2106.0-8 vs 2106.0-7"
2493       reference: 2
2494       compare: 3
2495     - title: "2110.0-8 vs 2106.0-8"
2496       reference: 3
2497       compare: 4
2498   legend:
2499     - ''
2500     - 'Test Case:            Test cases executed for: NDR throughput on 3n-tsh with x520.'
2501     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
2502     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2503     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
2504     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
2505
2506 # VPP Performance Changes 2n-tx2 1t1c pdr
2507 - type: "table"
2508   title: "VPP Performance Changes 2n-tx2 1t1c pdr"
2509   algorithm: "table_comparison"
2510   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-tx2-1t1c-pdr"
2511   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2512   filter: "'1T1C'"
2513   columns:
2514     - title: "2101.0-7"
2515       data-set: "vpp-2n-tx2-hist-iter-new-env"
2516     - title: "2106.0-7"
2517       data-set: "vpp-2n-tx2-prev-iter-old-env"
2518     - title: "2106.0-8"
2519       data-set: "vpp-2n-tx2-prev-iter-new-env"
2520     - title: "2110.0-8"
2521       data-set: "vpp-2n-tx2-curr-iter"
2522   comparisons:
2523     - title: "2106.0-8 vs 2106.0-7"
2524       reference: 2
2525       compare: 3
2526     - title: "2110.0-8 vs 2106.0-8"
2527       reference: 3
2528       compare: 4
2529   legend:
2530     - ''
2531     - 'Test Case:            Test cases executed for: PDR throughput on 2n-tx2 with xl710.'
2532     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
2533     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2534     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
2535     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
2536
2537 # VPP Performance Changes 2n-tx2 2t2c pdr
2538 - type: "table"
2539   title: "VPP Performance Changes 2n-tx2 2t2c pdr"
2540   algorithm: "table_comparison"
2541   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-tx2-2t2c-pdr"
2542   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2543   filter: "'2T2C'"
2544   columns:
2545     - title: "2101.0-7"
2546       data-set: "vpp-2n-tx2-hist-iter-new-env"
2547     - title: "2106.0-7"
2548       data-set: "vpp-2n-tx2-prev-iter-old-env"
2549     - title: "2106.0-8"
2550       data-set: "vpp-2n-tx2-prev-iter-new-env"
2551     - title: "2110.0-8"
2552       data-set: "vpp-2n-tx2-curr-iter"
2553   comparisons:
2554     - title: "2106.0-8 vs 2106.0-7"
2555       reference: 2
2556       compare: 3
2557     - title: "2110.0-8 vs 2106.0-8"
2558       reference: 3
2559       compare: 4
2560   legend:
2561     - ''
2562     - 'Test Case:            Test cases executed for: PDR throughput on 2n-tx2 with xl710.'
2563     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
2564     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2565     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
2566     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
2567
2568 # VPP Performance Changes 2n-tx2 1t1c ndr
2569 - type: "table"
2570   title: "VPP Performance Changes 2n-tx2 1t1c ndr"
2571   algorithm: "table_comparison"
2572   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-tx2-1t1c-ndr"
2573   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2574   filter: "'1T1C'"
2575   columns:
2576     - title: "2101.0-7"
2577       data-set: "vpp-2n-tx2-hist-iter-new-env"
2578     - title: "2106.0-7"
2579       data-set: "vpp-2n-tx2-prev-iter-old-env"
2580     - title: "2106.0-8"
2581       data-set: "vpp-2n-tx2-prev-iter-new-env"
2582     - title: "2110.0-8"
2583       data-set: "vpp-2n-tx2-curr-iter"
2584   comparisons:
2585     - title: "2106.0-8 vs 2106.0-7"
2586       reference: 2
2587       compare: 3
2588     - title: "2110.0-8 vs 2106.0-8"
2589       reference: 3
2590       compare: 4
2591   legend:
2592     - ''
2593     - 'Test Case:            Test cases executed for: NDR throughput on 2n-tx2 with xl710.'
2594     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
2595     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2596     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
2597     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
2598
2599 # VPP Performance Changes 2n-tx2 2t2c ndr
2600 - type: "table"
2601   title: "VPP Performance Changes 2n-tx2 2t2c ndr"
2602   algorithm: "table_comparison"
2603   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-tx2-2t2c-ndr"
2604   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2605   filter: "'2T2C'"
2606   columns:
2607     - title: "2101.0-7"
2608       data-set: "vpp-2n-tx2-hist-iter-new-env"
2609     - title: "2106.0-7"
2610       data-set: "vpp-2n-tx2-prev-iter-old-env"
2611     - title: "2106.0-8"
2612       data-set: "vpp-2n-tx2-prev-iter-new-env"
2613     - title: "2110.0-8"
2614       data-set: "vpp-2n-tx2-curr-iter"
2615   comparisons:
2616     - title: "2106.0-8 vs 2106.0-7"
2617       reference: 2
2618       compare: 3
2619     - title: "2110.0-8 vs 2106.0-8"
2620       reference: 3
2621       compare: 4
2622   legend:
2623     - ''
2624     - 'Test Case:            Test cases executed for: NDR throughput on 2n-tx2 with xl710.'
2625     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
2626     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2627     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
2628     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
2629
2630 # VPP Comparison Across Testbeds 2n-skx to 2n-clx 2t1c ndr
2631 - type: "table"
2632   title: "VPP Comparison Across Testbeds 2n-skx to 2n-clx 2t1c ndr"
2633   algorithm: "table_comparison"
2634   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-skx-2n-clx-2t1c-ndr"
2635   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2636   filter: "'2T1C' and 'NIC_Intel-XXV710'"
2637   columns:
2638     - title: "2n-skx"
2639       data-set: "vpp-2n-skx-curr-iter"
2640     - title: "2n-clx"
2641       data-set: "vpp-2n-clx-curr-iter"
2642   comparisons:
2643     - title: "Diff"
2644       reference: 1
2645       compare: 2
2646   legend:
2647     - ""
2648     - "2n-skx, 2n-clx - testbeds and NICs tested."
2649     - "Diff - difference between 2n-skx and 2n-clx testbeds."
2650
2651 # VPP Comparison Across Testbeds 2n-skx to 2n-clx 4t2c ndr
2652 - type: "table"
2653   title: "VPP Comparison Across Testbeds 2n-skx to 2n-clx 4t2c ndr"
2654   algorithm: "table_comparison"
2655   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-skx-2n-clx-4t2c-ndr"
2656   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2657   filter: "'4T2C' and 'NIC_Intel-XXV710'"
2658   columns:
2659     - title: "2n-skx"
2660       data-set: "vpp-2n-skx-curr-iter"
2661     - title: "2n-clx"
2662       data-set: "vpp-2n-clx-curr-iter"
2663   comparisons:
2664     - title: "Diff"
2665       reference: 1
2666       compare: 2
2667   legend:
2668     - ""
2669     - "2n-skx, 2n-clx - testbeds and NICs tested."
2670     - "Diff - difference between 2n-skx and 2n-clx testbeds."
2671
2672 # VPP Comparison Across Testbeds 2n-skx to 2n-clx 2t1c pdr
2673 - type: "table"
2674   title: "VPP Comparison Across Testbeds 2n-skx to 2n-clx 2t1c pdr"
2675   algorithm: "table_comparison"
2676   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-skx-2n-clx-2t1c-pdr"
2677   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2678   filter: "'2T1C' and 'NIC_Intel-XXV710'"
2679   columns:
2680     - title: "2n-skx"
2681       data-set: "vpp-2n-skx-curr-iter"
2682     - title: "2n-clx"
2683       data-set: "vpp-2n-clx-curr-iter"
2684   comparisons:
2685     - title: "Diff"
2686       reference: 1
2687       compare: 2
2688   legend:
2689     - ""
2690     - "2n-skx, 2n-clx - testbeds and NICs tested."
2691     - "Diff - difference between 2n-skx and 2n-clx testbeds."
2692
2693 # VPP Comparison Across Testbeds 2n-skx to 2n-clx 4t2c pdr
2694 - type: "table"
2695   title: "VPP Comparison Across Testbeds 2n-skx to 2n-clx 4t2c pdr"
2696   algorithm: "table_comparison"
2697   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-skx-2n-clx-4t2c-pdr"
2698   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2699   filter: "'4T2C' and 'NIC_Intel-XXV710'"
2700   columns:
2701     - title: "2n-skx"
2702       data-set: "vpp-2n-skx-curr-iter"
2703     - title: "2n-clx"
2704       data-set: "vpp-2n-clx-curr-iter"
2705   comparisons:
2706     - title: "Diff"
2707       reference: 1
2708       compare: 2
2709   legend:
2710     - ""
2711     - "2n-skx, 2n-clx - testbeds and NICs tested."
2712     - "Diff - difference between 2n-skx and 2n-clx testbeds."
2713
2714 # VPP Comparison Across Testbeds 2n-clx to 2n-icx 1c ndr
2715 - type: "table"
2716   title: "VPP Comparison Across Testbeds 2n-clx to 2n-icx 1c ndr"
2717   algorithm: "table_comparison"
2718   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-clx-2n-icx-1c-ndr"
2719   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2720   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-E810CQ') and 'NDRPDR' and '1C'"
2721   columns:
2722     - title: "2n-clx xxv710"
2723       data-set: "vpp-2n-clx-curr-iter"
2724       tag: "NIC_Intel-XXV710"
2725     - title: "2n-icx e810cq"
2726       data-set: "vpp-2n-icx-curr-iter"
2727       tag: "NIC_Intel-E810CQ"
2728   comparisons:
2729     - title: "Diff"
2730       reference: 1
2731       compare: 2
2732   legend:
2733     - ""
2734     - "2n-clx xxv710, 2n-icx e810cq - testbeds and NICs tested."
2735     - "Diff - difference between 2n-clx xxv710 and 2n-icx e810cq testbeds."
2736
2737 # VPP Comparison Across Testbeds 2n-clx to 2n-icx 2c ndr
2738 - type: "table"
2739   title: "VPP Comparison Across Testbeds 2n-clx to 2n-icx 2c ndr"
2740   algorithm: "table_comparison"
2741   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-clx-2n-icx-2c-ndr"
2742   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2743   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-E810CQ') and 'NDRPDR' and '2C'"
2744   columns:
2745     - title: "2n-clx xxv710"
2746       data-set: "vpp-2n-clx-curr-iter"
2747       tag: "NIC_Intel-XXV710"
2748     - title: "2n-icx e810cq"
2749       data-set: "vpp-2n-icx-curr-iter"
2750       tag: "NIC_Intel-E810CQ"
2751   comparisons:
2752     - title: "Diff"
2753       reference: 1
2754       compare: 2
2755   legend:
2756     - ""
2757     - "2n-clx xxv710, 2n-icx e810cq - testbeds and NICs tested."
2758     - "Diff - difference between 2n-clx xxv710 and 2n-icx e810cq testbeds."
2759
2760 # VPP Comparison Across Testbeds 2n-clx to 2n-icx 1c pdr
2761 - type: "table"
2762   title: "VPP Comparison Across Testbeds 2n-clx to 2n-icx 1c pdr"
2763   algorithm: "table_comparison"
2764   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-clx-2n-icx-1c-pdr"
2765   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2766   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-E810CQ') and 'NDRPDR' and '1C'"
2767   columns:
2768     - title: "2n-clx xxv710"
2769       data-set: "vpp-2n-clx-curr-iter"
2770       tag: "NIC_Intel-XXV710"
2771     - title: "2n-icx e810cq"
2772       data-set: "vpp-2n-icx-curr-iter"
2773       tag: "NIC_Intel-E810CQ"
2774   comparisons:
2775     - title: "Diff"
2776       reference: 1
2777       compare: 2
2778   legend:
2779     - ""
2780     - "2n-clx xxv710, 2n-icx e810cq - testbeds and NICs tested."
2781     - "Diff - difference between 2n-clx xxv710 and 2n-icx e810cq testbeds."
2782
2783 # VPP Comparison Across Testbeds 2n-clx to 2n-icx 2c pdr
2784 - type: "table"
2785   title: "VPP Comparison Across Testbeds 2n-clx to 2n-icx 2c pdr"
2786   algorithm: "table_comparison"
2787   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-clx-2n-icx-2c-pdr"
2788   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2789   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-E810CQ') and 'NDRPDR' and '2C'"
2790   columns:
2791     - title: "2n-clx xxv710"
2792       data-set: "vpp-3n-skx-curr-iter"
2793       tag: "NIC_Intel-XXV710"
2794     - title: "2n-icx e810cq"
2795       data-set: "vpp-2n-icx-curr-iter"
2796       tag: "NIC_Intel-E810CQ"
2797   comparisons:
2798     - title: "Diff"
2799       reference: 1
2800       compare: 2
2801   legend:
2802     - ""
2803     - "2n-clx xxv710, 2n-icx e810cq - testbeds and NICs tested."
2804     - "Diff - difference between 2n-clx xxv710 and 2n-icx e810cq testbeds."
2805
2806 # # VPP Comparison Across Testbeds 3n-skx to 3n-icx 1c ndr
2807 # - type: "table"
2808 #   title: "VPP Comparison Across Testbeds 3n-skx to 3n-icx 1c ndr"
2809 #   algorithm: "table_comparison"
2810 #   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-skx-3n-icx-1c-ndr"
2811 #   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2812 #   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-E810CQ') and 'NDRPDR' and '1C'"
2813 #   columns:
2814 #     - title: "3n-skx xxv710"
2815 #       data-set: "vpp-3n-skx-curr-iter"
2816 #       tag: "NIC_Intel-XXV710"
2817 #     - title: "3n-icx e810cq"
2818 #       data-set: "vpp-3n-icx-curr-iter"
2819 #       tag: "NIC_Intel-E810CQ"
2820 #   comparisons:
2821 #     - title: "Diff"
2822 #       reference: 1
2823 #       compare: 2
2824 #   legend:
2825 #     - ""
2826 #     - "3n-skx xxv710, 3n-icx e810cq - testbeds and NICs tested."
2827 #     - "Diff - difference between 3n-skx xxv710 and 3n-icx e810cq testbeds."
2828 #
2829 # # VPP Comparison Across Testbeds 3n-skx to 3n-icx 2c ndr
2830 # - type: "table"
2831 #   title: "VPP Comparison Across Testbeds 3n-skx to 3n-icx ndr"
2832 #   algorithm: "table_comparison"
2833 #   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-skx-3n-icx-2c-ndr"
2834 #   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2835 #   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-E810CQ') and 'NDRPDR' and '2C'"
2836 #   columns:
2837 #     - title: "3n-skx xxv710"
2838 #       data-set: "vpp-3n-skx-curr-iter"
2839 #       tag: "NIC_Intel-XXV710"
2840 #     - title: "3n-icx e810cq"
2841 #       data-set: "vpp-3n-icx-curr-iter"
2842 #       tag: "NIC_Intel-E810CQ"
2843 #   comparisons:
2844 #     - title: "Diff"
2845 #       reference: 1
2846 #       compare: 2
2847 #   legend:
2848 #     - ""
2849 #     - "3n-skx xxv710, 3n-icx e810cq - testbeds and NICs tested."
2850 #     - "Diff - difference between 3n-skx xxv710 and 3n-icx e810cq testbeds."
2851 #
2852 # # VPP Comparison Across Testbeds 3n-skx to 3n-icx 1c pdr
2853 # - type: "table"
2854 #   title: "VPP Comparison Across Testbeds 3n-skx to 3n-icx 1c pdr"
2855 #   algorithm: "table_comparison"
2856 #   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-skx-3n-icx-1c-pdr"
2857 #   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2858 #   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-E810CQ') and 'NDRPDR' and '1C'"
2859 #   columns:
2860 #     - title: "3n-skx xxv710"
2861 #       data-set: "vpp-3n-skx-curr-iter"
2862 #       tag: "NIC_Intel-XXV710"
2863 #     - title: "3n-icx e810cq"
2864 #       data-set: "vpp-3n-icx-curr-iter"
2865 #       tag: "NIC_Intel-E810CQ"
2866 #   comparisons:
2867 #     - title: "Diff"
2868 #       reference: 1
2869 #       compare: 2
2870 #   legend:
2871 #     - ""
2872 #     - "3n-skx xxv710, 3n-icx e810cq - testbeds and NICs tested."
2873 #     - "Diff - difference between 3n-skx xxv710 and 3n-icx e810cq testbeds."
2874 #
2875 # # VPP Comparison Across Testbeds 3n-skx to 3n-icx 2c pdr
2876 # - type: "table"
2877 #   title: "VPP Comparison Across Testbeds 3n-skx to 3n-icx 2c pdr"
2878 #   algorithm: "table_comparison"
2879 #   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-skx-3n-icx-2c-pdr"
2880 #   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2881 #   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-E810CQ') and 'NDRPDR' and '2C'"
2882 #   columns:
2883 #     - title: "3n-skx xxv710"
2884 #       data-set: "vpp-3n-skx-curr-iter"
2885 #       tag: "NIC_Intel-XXV710"
2886 #     - title: "3n-icx e810cq"
2887 #       data-set: "vpp-3n-icx-curr-iter"
2888 #       tag: "NIC_Intel-E810CQ"
2889 #   comparisons:
2890 #     - title: "Diff"
2891 #       reference: 1
2892 #       compare: 2
2893 #   legend:
2894 #     - ""
2895 #     - "3n-skx xxv710, 3n-icx e810cq - testbeds and NICs tested."
2896 #     - "Diff - difference between 3n-skx xxv710 and 3n-icx e810cq testbeds."
2897
2898 # VPP Comparison Across Topologies 3n-skx to 2n-skx 1c ndr
2899 - type: "table"
2900   title: "VPP Comparison Across Topologies 3n-skx to 2n-skx 1c ndr"
2901   algorithm: "table_comparison"
2902   output-file: "{DIR[STATIC,VPP]}/performance-compare-topologies-3n-skx-2n-skx-1c-ndr"
2903   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2904   filter: "'NDRPDR' and '1C' and 'NIC_Intel-XXV710'"
2905   columns:
2906     - title: "3n-skx"
2907       data-set: "vpp-3n-skx-curr-iter"
2908     - title: "2n-skx"
2909       data-set: "vpp-2n-skx-curr-iter"
2910   comparisons:
2911     - title: "Diff"
2912       reference: 1
2913       compare: 2
2914   legend:
2915     - ""
2916     - "3n-skx, 2n-skx - topologies tested."
2917     - "Diff - difference between 3n-skx and 2n-skx topologies."
2918
2919 # VPP Comparison Across Topologies 3n-skx to 2n-skx 2c ndr
2920 - type: "table"
2921   title: "VPP Comparison Across Topologies 3n-skx to 2n-skx 2c ndr"
2922   algorithm: "table_comparison"
2923   output-file: "{DIR[STATIC,VPP]}/performance-compare-topologies-3n-skx-2n-skx-2c-ndr"
2924   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2925   filter: "'NDRPDR' and '2C' and 'NIC_Intel-XXV710'"
2926   columns:
2927     - title: "3n-skx"
2928       data-set: "vpp-3n-skx-curr-iter"
2929     - title: "2n-skx"
2930       data-set: "vpp-2n-skx-curr-iter"
2931   comparisons:
2932     - title: "Diff"
2933       reference: 1
2934       compare: 2
2935   legend:
2936     - ""
2937     - "3n-skx, 2n-skx - topologies tested."
2938     - "Diff - difference between 3n-skx and 2n-skx topologies."
2939
2940 # VPP Comparison Across Topologies 3n-skx to 2n-skx 1c pdr
2941 - type: "table"
2942   title: "VPP Comparison Across Topologies 3n-skx to 2n-skx 1c pdr"
2943   algorithm: "table_comparison"
2944   output-file: "{DIR[STATIC,VPP]}/performance-compare-topologies-3n-skx-2n-skx-1c-pdr"
2945   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2946   filter: "'NDRPDR' and '1C' and 'NIC_Intel-XXV710'"
2947   columns:
2948     - title: "3n-skx"
2949       data-set: "vpp-3n-skx-curr-iter"
2950     - title: "2n-skx"
2951       data-set: "vpp-2n-skx-curr-iter"
2952   comparisons:
2953     - title: "Diff"
2954       reference: 1
2955       compare: 2
2956   legend:
2957     - ""
2958     - "3n-skx, 2n-skx - topologies tested."
2959     - "Diff - difference between 3n-skx and 2n-skx topologies."
2960
2961 # VPP Comparison Across Topologies 3n-skx to 2n-skx 2c pdr
2962 - type: "table"
2963   title: "VPP Comparison Across Topologies 3n-skx to 2n-skx 2c pdr"
2964   algorithm: "table_comparison"
2965   output-file: "{DIR[STATIC,VPP]}/performance-compare-topologies-3n-skx-2n-skx-2c-pdr"
2966   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2967   filter: "'NDRPDR' and '2C' and 'NIC_Intel-XXV710'"
2968   columns:
2969     - title: "3n-skx"
2970       data-set: "vpp-3n-skx-curr-iter"
2971     - title: "2n-skx"
2972       data-set: "vpp-2n-skx-curr-iter"
2973   comparisons:
2974     - title: "Diff"
2975       reference: 1
2976       compare: 2
2977   legend:
2978     - ""
2979     - "3n-skx, 2n-skx - topologies tested."
2980     - "Diff - difference between 3n-skx and 2n-skx topologies."
2981
2982 # VPP Performance Changes 3n-skx 2t1c mrr
2983 - type: "table"
2984   title: "VPP Performance Changes 3n-skx 2t1c mrr"
2985   algorithm: "table_comparison"
2986   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-mrr"
2987   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2988   filter: "'2T1C' and 'MRR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2989   columns:
2990     - title: "2101.0-7"
2991       data-set: "vpp-3n-skx-hist-iter-mrr-new-env"
2992     - title: "2106.0-7"
2993       data-set: "vpp-3n-skx-prev-iter-mrr-old-env"
2994     - title: "2106.0-8"
2995       data-set: "vpp-3n-skx-prev-iter-mrr-new-env"
2996     - title: "2110.0-8"
2997       data-set: "vpp-3n-skx-curr-iter-mrr"
2998   comparisons:
2999     - title: "2106.0-8 vs 2106.0-7"
3000       reference: 2
3001       compare: 3
3002     - title: "2110.0-8 vs 2106.0-8"
3003       reference: 3
3004       compare: 4
3005   legend:
3006     - ''
3007     - 'Test Case:            Test cases executed for: MRR throughput on 3n-skx with xxv710.'
3008     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
3009     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
3010     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
3011     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
3012
3013 # VPP Performance Changes 3n-skx 4t2c mrr
3014 - type: "table"
3015   title: "VPP Performance Changes 3n-skx 4t2c mrr"
3016   algorithm: "table_comparison"
3017   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-mrr"
3018   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3019   filter: "'4T2C' and 'MRR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
3020   columns:
3021     - title: "2101.0-7"
3022       data-set: "vpp-3n-skx-hist-iter-mrr-new-env"
3023     - title: "2106.0-7"
3024       data-set: "vpp-3n-skx-prev-iter-mrr-old-env"
3025     - title: "2106.0-8"
3026       data-set: "vpp-3n-skx-prev-iter-mrr-new-env"
3027     - title: "2110.0-8"
3028       data-set: "vpp-3n-skx-curr-iter-mrr"
3029   comparisons:
3030     - title: "2106.0-8 vs 2106.0-7"
3031       reference: 2
3032       compare: 3
3033     - title: "2110.0-8 vs 2106.0-8"
3034       reference: 3
3035       compare: 4
3036   legend:
3037     - ''
3038     - 'Test Case:            Test cases executed for: MRR throughput on 3n-skx with xxv710.'
3039     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
3040     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
3041     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
3042     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
3043
3044 # VPP Performance Changes 3n-skx 8t4c mrr
3045 - type: "table"
3046   title: "VPP Performance Changes 3n-skx 8t4c mrr"
3047   algorithm: "table_comparison"
3048   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-8t4c-mrr"
3049   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3050   filter: "'8T4C' and 'MRR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
3051   columns:
3052     - title: "2101.0-7"
3053       data-set: "vpp-3n-skx-hist-iter-mrr-new-env"
3054     - title: "2106.0-7"
3055       data-set: "vpp-3n-skx-prev-iter-mrr-old-env"
3056     - title: "2106.0-8"
3057       data-set: "vpp-3n-skx-prev-iter-mrr-new-env"
3058     - title: "2110.0-8"
3059       data-set: "vpp-3n-skx-curr-iter-mrr"
3060   comparisons:
3061     - title: "2106.0-8 vs 2106.0-7"
3062       reference: 2
3063       compare: 3
3064     - title: "2110.0-8 vs 2106.0-8"
3065       reference: 3