Report: Configure tables
[csit.git] / resources / tools / presentation / specifications / report / elements.yaml
1 ################################################################################
2 ###                               T A B L E S                                ###
3 ################################################################################
4
5 # Statistics: job-specs' durations
6 - type: "table"
7   title: "Job Specification Duration: 2n-clx-iterative"
8   algorithm: "table_job_spec_duration"
9   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-clx-iter"
10   jb-type: "iterative"
11   lines:
12     - job-spec: "vpp-mrr-00"
13       data-set: "vpp-2n-clx-curr-iter-mrr"
14     - job-spec: "vpp-mlr-00"
15       data-set: "vpp-2n-clx-curr-iter-best"
16     - job-spec: "vpp-gso-mrr-00"
17       data-set: "vpp-2n-clx-curr-iter-gso"
18     - job-spec: "soak-00"
19       data-set: "vpp-2n-clx-curr-soak"
20     - job-spec: "vsap-00"
21       data-set: "vpp-2n-clx-curr-iter-vsap"
22     - job-spec: "nfv-density-mrr-00"
23       data-set: "vpp-2n-clx-curr-nfv-mrr"
24     - job-spec: "nfv-density-mlr-00"
25       data-set: "vpp-2n-clx-curr-nfv-ndrpdr"
26     - job-spec: "reconf-00"
27       data-set: "vpp-2n-clx-curr-nfv-reconf"
28     - job-spec: "dpdk-mlr-00"
29       data-set: "dpdk-2n-clx-curr-iter"
30
31 - type: "table"
32   title: "Job Specification Duration: 2n-clx-coverage"
33   algorithm: "table_job_spec_duration"
34   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-clx-cov"
35   jb-type: "coverage"
36   data: "vpp-2n-clx-curr-cov"
37   lines:
38     - job-spec: "gso-00"
39       build: "1"
40     - job-spec: "ip4-00"
41       build: "2"
42     - job-spec: "ip4-01"
43       build: "3"
44     - job-spec: "ip4-02"
45       build: "4"
46     - job-spec: "ip4-03"
47       build: "5"
48     - job-spec: "ip4-04"
49       build: "6"
50     - job-spec: "ip4-05"
51       build: "7"
52     - job-spec: "ip4-06"
53       build: "8"
54     - job-spec: "ip4-07"
55       build: "9"
56     - job-spec: "ip4tun-00"
57       build: "10"
58     - job-spec: "ip6-00"
59       build: "11"
60     - job-spec: "ip6-01"
61       build: "12"
62     - job-spec: "l2-00"
63       build: "13"
64     - job-spec: "l2-01"
65       build: "14"
66     - job-spec: "lb-00"
67       build: "15"
68     - job-spec: "memif-00"
69       build: "16"
70     - job-spec: "vhost-00"
71       build: "17"
72
73 - type: "table"
74   title: "Job Specification Duration: 2n-dnv-iterative"
75   algorithm: "table_job_spec_duration"
76   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-dnv-iter"
77   jb-type: "iterative"
78   lines:
79     - job-spec: "vpp-mrr-00"
80       data-set: "vpp-2n-dnv-curr-iter-mrr"
81     - job-spec: "vpp-mlr-00"
82       data-set: "vpp-2n-dnv-curr-iter"
83
84 - type: "table"
85   title: "Job Specification Duration: 2n-dnv-coverage"
86   algorithm: "table_job_spec_duration"
87   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-dnv-cov"
88   jb-type: "coverage"
89   data: "vpp-2n-dnv-curr-cov"
90   lines:
91     - job-spec: "ip4-00"
92       build: "7"
93     - job-spec: "ip4-01"
94       build: "8"
95     - job-spec: "ip6-00"
96       build: "9"
97     - job-spec: "ip6-01"
98       build: "10"
99     - job-spec: "l2-00"
100       build: "11"
101     - job-spec: "l2-01"
102       build: "13"
103
104 - type: "table"
105   title: "Job Specification Duration: 2n-aws-iterative"
106   algorithm: "table_job_spec_duration"
107   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-aws-iter"
108   jb-type: "iterative"
109   lines:
110     - job-spec: "vpp-mrr-00"
111       data-set: "vpp-2n-aws-curr-iter-mrr"
112     - job-spec: "vpp-mlr-00"
113       data-set: "vpp-2n-aws-curr-iter"
114
115 - type: "table"
116   title: "Job Specification Duration: 2n-aws-coverage"
117   algorithm: "table_job_spec_duration"
118   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-aws-cov"
119   jb-type: "coverage"
120   data: "vpp-2n-aws-curr-cov"
121   lines:
122     - job-spec: "vpp-00"
123       build: "1"
124
125 - type: "table"
126   title: "Job Specification Duration: 3n-aws-iterative"
127   algorithm: "table_job_spec_duration"
128   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-aws-iter"
129   jb-type: "iterative"
130   lines:
131     - job-spec: "vpp-mrr-00"
132       data-set: "vpp-3n-aws-curr-iter-mrr"
133     - job-spec: "vpp-mlr-00"
134       data-set: "vpp-3n-aws-curr-iter"
135
136 - type: "table"
137   title: "Job Specification Duration: 3n-aws-coverage"
138   algorithm: "table_job_spec_duration"
139   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-aws-cov"
140   jb-type: "coverage"
141   data: "vpp-3n-aws-curr-cov"
142   lines:
143     - job-spec: "vpp-00"
144       build: "1"
145
146 - type: "table"
147   title: "Job Specification Duration: 2n-skx-iterative"
148   algorithm: "table_job_spec_duration"
149   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-skx-iter"
150   jb-type: "iterative"
151   lines:
152     - job-spec: "vpp-mrr-00"
153       data-set: "vpp-2n-skx-curr-iter-mrr"
154     - job-spec: "vpp-mlr-00"
155       data-set: "vpp-2n-skx-curr-iter-best"
156     - job-spec: "vpp-gso-mrr-00"
157       data-set: "vpp-2n-skx-curr-gso"
158     - job-spec: "soak-00"
159       data-set: "vpp-2n-skx-curr-soak"
160     - job-spec: "nfv-density-mrr-00"
161       data-set: "vpp-2n-skx-curr-nfv-mrr"
162     - job-spec: "nfv-density-mlr-00"
163       data-set: "vpp-2n-skx-curr-nfv-ndrpdr"
164     - job-spec: "reconf-00"
165       data-set: "vpp-2n-skx-curr-nfv-reconf"
166     - job-spec: "dpdk-mlr-00"
167       data-set: "dpdk-2n-skx-curr-iter"
168
169 - type: "table"
170   title: "Job Specification Duration: 2n-skx-coverage"
171   algorithm: "table_job_spec_duration"
172   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-skx-cov"
173   jb-type: "coverage"
174   data: "vpp-2n-skx-curr-cov"
175   lines:
176     - job-spec: "gso-00"
177       build: "1"
178     - job-spec: "ip4-00"
179       build: "2"
180     - job-spec: "ip4-01"
181       build: "3"
182     - job-spec: "ip4-02"
183       build: "4"
184     - job-spec: "ip4-03"
185       build: "5"
186     - job-spec: "ip4-04"
187       build: "6"
188     - job-spec: "ip4-05"
189       build: "7"
190     - job-spec: "ip4-06"
191       build: "8"
192     - job-spec: "ip4-07"
193       build: "9"
194     - job-spec: "ip4tun-00"
195       build: "10"
196     - job-spec: "ip6-00"
197       build: "11"
198     - job-spec: "ip6-01"
199       build: "12"
200     - job-spec: "l2-00"
201       build: "13"
202     - job-spec: "l2-01"
203       build: "14"
204     - job-spec: "lb-00"
205       build: "15"
206     - job-spec: "memif-00"
207       build: "16"
208     - job-spec: "vhost-00"
209       build: "17"
210
211 - type: "table"
212   title: "Job Specification Duration: 2n-tx2-iterative"
213   algorithm: "table_job_spec_duration"
214   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-tx2-iter"
215   jb-type: "iterative"
216   lines:
217     - job-spec: "vpp-mrr-00"
218       data-set: "vpp-2n-tx2-curr-iter-mrr"
219     - job-spec: "vpp-mlr-00"
220       data-set: "vpp-2n-tx2-curr-iter"
221
222 - type: "table"
223   title: "Job Specification Duration: 2n-tx2-coverage"
224   algorithm: "table_job_spec_duration"
225   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-tx2-cov"
226   jb-type: "coverage"
227   data: "vpp-2n-tx2-curr-cov"
228   lines:
229     - job-spec: "ip4-00"
230       build: "1"
231     - job-spec: "ip4-01"
232       build: "2"
233     - job-spec: "ip4-02"
234       build: "3"
235     - job-spec: "ip4-03"
236       build: "4"
237     - job-spec: "ip4-04"
238       build: "5"
239     - job-spec: "ip4-05"
240       build: "6"
241     - job-spec: "ip4-06"
242       build: "7"
243     - job-spec: "ip6-00"
244       build: "8"
245     - job-spec: "ip6-01"
246       build: "9"
247     - job-spec: "l2-00"
248       build: "10"
249     - job-spec: "l2-01"
250       build: "11"
251     - job-spec: "l2-02"
252       build: "12"
253     - job-spec: "l2-03"
254       build: "13"
255     - job-spec: "l2-04"
256       build: "14"
257
258 - type: "table"
259   title: "Job Specification Duration: 2n-zn2-iterative"
260   algorithm: "table_job_spec_duration"
261   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-zn2-iter"
262   jb-type: "iterative"
263   lines:
264     - job-spec: "vpp-mrr-00"
265       data-set: "vpp-2n-zn2-curr-iter-mrr"
266     - job-spec: "vpp-mlr-00"
267       data-set: "vpp-2n-zn2-curr-iter-best"
268     - job-spec: "vpp-gso-mrr-00"
269       data-set: "vpp-2n-zn2-curr-iter-gso"
270     - job-spec: "dpdk-mlr-00"
271       data-set: "dpdk-2n-zn2-curr-iter"
272
273 - type: "table"
274   title: "Job Specification Duration: 2n-zn2-coverage"
275   algorithm: "table_job_spec_duration"
276   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-zn2-cov"
277   jb-type: "coverage"
278   data: "vpp-2n-zn2-curr-cov"
279   lines:
280     - job-spec: "gso-00"
281       build: "1"
282     - job-spec: "ip4-00"
283       build: "2"
284     - job-spec: "ip4-01"
285       build: "3"
286     - job-spec: "ip4-02"
287       build: "4"
288     - job-spec: "ip4-03"
289       build: "18"
290     - job-spec: "ip4-04"
291       build: "6"
292     - job-spec: "ip4-05"
293       build: "7"
294     - job-spec: "ip4tun-00"
295       build: "8"
296     - job-spec: "ip6-00"
297       build: "9"
298     - job-spec: "ip6-01"
299       build: "19"
300     - job-spec: "l2-00"
301       build: "11"
302     - job-spec: "l2-01"
303       build: "12"
304     - job-spec: "lb-00"
305       build: "13"
306     - job-spec: "memif-00"
307       build: "14"
308     - job-spec: "vhost-00"
309       build: "15"
310
311 - type: "table"
312   title: "Job Specification Duration: 3n-dnv-iterative"
313   algorithm: "table_job_spec_duration"
314   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-dnv-iter"
315   jb-type: "iterative"
316   lines:
317     - job-spec: "vpp-mrr-00"
318       data-set: "vpp-3n-dnv-curr-iter-mrr"
319     - job-spec: "vpp-mlr-00"
320       data-set: "vpp-3n-dnv-curr-iter"
321
322 - type: "table"
323   title: "Job Specification Duration: 3n-dnv-coverage"
324   algorithm: "table_job_spec_duration"
325   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-dnv-cov"
326   jb-type: "coverage"
327   data: "vpp-3n-dnv-curr-cov"
328   lines:
329     - job-spec: "crypto-00"
330       build: "11"
331     - job-spec: "crypto-01"
332       build: "12"
333     - job-spec: "crypto-02"
334       build: "13"
335     - job-spec: "ip4-00"
336       build: "14"
337     - job-spec: "ip4-01"
338       build: "15"
339     - job-spec: "ip4tun-00"
340       build: "16"
341     - job-spec: "ip6-00"
342       build: "17"
343     - job-spec: "ip6-01"
344       build: "10"
345     - job-spec: "l2-00"
346       build: "20"
347     - job-spec: "l2-01"
348       build: "21"
349
350 - type: "table"
351   title: "Job Specification Duration: 3n-skx-iterative"
352   algorithm: "table_job_spec_duration"
353   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-skx-iter"
354   jb-type: "iterative"
355   lines:
356     - job-spec: "vpp-mrr-00"
357       data-set: "vpp-3n-skx-curr-iter-mrr"
358     - job-spec: "vpp-mlr-00"
359       data-set: "vpp-3n-skx-curr-iter"
360     - job-spec: "hoststack-00"
361       data-set: "vpp-3n-skx-curr-iter-hoststack"
362     - job-spec: "dpdk-mlr-00"
363       data-set: "dpdk-3n-skx-curr-iter"
364
365 - type: "table"
366   title: "Job Specification Duration: 3n-skx-coverage"
367   algorithm: "table_job_spec_duration"
368   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-skx-cov"
369   jb-type: "coverage"
370   data: "vpp-3n-skx-curr-cov"
371   lines:
372     - job-spec: "crypto-00"
373       build: "1"
374     - job-spec: "crypto-01"
375       build: "3"
376     - job-spec: "crypto-02"
377       build: "4"
378     - job-spec: "crypto-03"
379       build: "36"
380     - job-spec: "crypto-04"
381       build: "6"
382     - job-spec: "ip4-00"
383       build: "7"
384     - job-spec: "ip4-01"
385       build: "8"
386     - job-spec: "ip4-02"
387       build: "9"
388     - job-spec: "ip4-03"
389       build: "10"
390     - job-spec: "ip4-04"
391       build: "11"
392     - job-spec: "ip4-05"
393       build: "12"
394     - job-spec: "ip4-06"
395       build: "13"
396     - job-spec: "ip4-07"
397       build: "14"
398     - job-spec: "ip4tun-00"
399       build: "15"
400     - job-spec: "ip4tun-02"
401       build: "16"
402     - job-spec: "ip6-00"
403       build: "17"
404     - job-spec: "ip6-01"
405       build: "18"
406     - job-spec: "ip6tun-00"
407       build: "19"
408     - job-spec: "l2-00"
409       build: "20"
410     - job-spec: "l2-01"
411       build: "21"
412     - job-spec: "l2-02"
413       build: "22"
414     - job-spec: "l2-03"
415       build: "23"
416     - job-spec: "l2-04"
417       build: "24"
418     - job-spec: "l2-05"
419       build: "25"
420     - job-spec: "l2-06"
421       build: "26"
422     - job-spec: "l2-07"
423       build: "27"
424     - job-spec: "l2-08"
425       build: "28"
426     - job-spec: "l2-09"
427       build: "29"
428     - job-spec: "l2-10"
429       build: "30"
430     - job-spec: "memif-00"
431       build: "31"
432     - job-spec: "srv6-00"
433       build: "32"
434     - job-spec: "srv6-01"
435       build: "33"
436     - job-spec: "vhost-00"
437       build: "34"
438     - job-spec: "vhost-01"
439       build: "35"
440
441 - type: "table"
442   title: "Job Specification Duration: 3n-tsh-iterative"
443   algorithm: "table_job_spec_duration"
444   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-tsh-iter"
445   jb-type: "iterative"
446   lines:
447     - job-spec: "vpp-mrr-00"
448       data-set: "vpp-3n-tsh-curr-iter-mrr"
449     - job-spec: "vpp-mlr-00"
450       data-set: "vpp-3n-tsh-curr-iter"
451     - job-spec: "dpdk-mlr-00"
452       data-set: "dpdk-3n-tsh-curr-iter"
453
454 - type: "table"
455   title: "Job Specification Duration: 3n-tsh-coverage"
456   algorithm: "table_job_spec_duration"
457   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-tsh-cov"
458   jb-type: "coverage"
459   data: "vpp-3n-tsh-curr-cov"
460   lines:
461     - job-spec: "ip4-00"
462       build: "7"
463     - job-spec: "ip4-01"
464       build: "8"
465     - job-spec: "ip4-02"
466       build: "9"
467     - job-spec: "ip4-03"
468       build: "10"
469     - job-spec: "ip4tun-00"
470       build: "15"
471     - job-spec: "ip6-00"
472       build: "17"
473     - job-spec: "ip6-01"
474       build: "18"
475     - job-spec: "l2-00"
476       build: "20"
477     - job-spec: "l2-01"
478       build: "21"
479     - job-spec: "l2-02"
480       build: "22"
481     - job-spec: "l2-03"
482       build: "23"
483     - job-spec: "l2-04"
484       build: "24"
485     - job-spec: "memif-00"
486       build: "31"
487     - job-spec: "srv6-00"
488       build: "32"
489     - job-spec: "srv6-01"
490       build: "33"
491     - job-spec: "vhost-00"
492       build: "34"
493     - job-spec: "vhost-01"
494       build: "35"
495
496 # VPP Latency Changes 3n-skx 2t1c
497 - type: "table"
498   title: "VPP Latency Changes 3n-skx 2t1c PDR50-direction1-avg"
499   algorithm: "table_comparison"
500   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-skx-xxv710-2t1c-pdr50-d1-avg"
501   include-tests: "latency-PDR50-direction1-avg"
502   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
503   columns:
504     - title: "2101.0-7"
505       data-set: "vpp-3n-skx-hist-iter-new-env"
506     - title: "2106.0-7"
507       data-set: "vpp-3n-skx-prev-iter-old-env"
508     - title: "2106.0-8"
509       data-set: "vpp-3n-skx-prev-iter-new-env"
510     - title: "2110.0-8"
511       data-set: "vpp-3n-skx-curr-iter-best"
512   comparisons:
513     - title: "2106.0-8 vs 2106.0-7"
514       reference: 2
515       compare: 3
516     - title: "2110.0-8 vs 2106.0-8"
517       reference: 3
518       compare: 4
519   legend:
520     - ''
521     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
522     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
523     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
524     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
525     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
526
527 # VPP Latency Changes 3n-skx 2t1c
528 - type: "table"
529   title: "VPP Latency Changes 3n-skx 2t1c PDR90-direction1-avg"
530   algorithm: "table_comparison"
531   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-skx-xxv710-2t1c-pdr90-d1-avg"
532   include-tests: "latency-PDR90-direction1-avg"
533   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
534   columns:
535     - title: "2101.0-7"
536       data-set: "vpp-3n-skx-hist-iter-new-env"
537     - title: "2106.0-7"
538       data-set: "vpp-3n-skx-prev-iter-old-env"
539     - title: "2106.0-8"
540       data-set: "vpp-3n-skx-prev-iter-new-env"
541     - title: "2110.0-8"
542       data-set: "vpp-3n-skx-curr-iter-best"
543   comparisons:
544     - title: "2106.0-8 vs 2106.0-7"
545       reference: 2
546       compare: 3
547     - title: "2110.0-8 vs 2106.0-8"
548       reference: 3
549       compare: 4
550   legend:
551     - ''
552     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
553     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
554     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
555     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
556     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
557
558 # VPP Latency Changes 3n-skx 2t1c
559 - type: "table"
560   title: "VPP Latency Changes 3n-skx 2t1c PDR90-direction1-max"
561   algorithm: "table_comparison"
562   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-skx-xxv710-2t1c-pdr90-d1-max"
563   include-tests: "latency-PDR90-direction1-max"
564   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
565   columns:
566     - title: "2101.0-7"
567       data-set: "vpp-3n-skx-hist-iter-new-env"
568     - title: "2106.0-7"
569       data-set: "vpp-3n-skx-prev-iter-old-env"
570     - title: "2106.0-8"
571       data-set: "vpp-3n-skx-prev-iter-new-env"
572     - title: "2110.0-8"
573       data-set: "vpp-3n-skx-curr-iter-best"
574   comparisons:
575     - title: "2106.0-8 vs 2106.0-7"
576       reference: 2
577       compare: 3
578     - title: "2110.0-8 vs 2106.0-8"
579       reference: 3
580       compare: 4
581   legend:
582     - ''
583     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
584     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
585     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
586     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
587     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
588
589 # VPP Latency Changes 2n-skx 2t1c
590 - type: "table"
591   title: "VPP Latency Changes 2n-skx 2t1c PDR50-direction1-avg"
592   algorithm: "table_comparison"
593   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-skx-xxv710-2t1c-pdr50-d1-avg"
594   include-tests: "latency-PDR50-direction1-avg"
595   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
596   columns:
597     - title: "2101.0-7"
598       data-set: "vpp-2n-skx-hist-iter-new-env"
599     - title: "2106.0-7"
600       data-set: "vpp-2n-skx-prev-iter-old-env"
601     - title: "2106.0-8"
602       data-set: "vpp-2n-skx-prev-iter-new-env"
603     - title: "2110.0-8"
604       data-set: "vpp-2n-skx-curr-iter-best"
605   comparisons:
606     - title: "2106.0-8 vs 2106.0-7"
607       reference: 2
608       compare: 3
609     - title: "2110.0-8 vs 2106.0-8"
610       reference: 3
611       compare: 4
612   legend:
613     - ''
614     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
615     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
616     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
617     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
618     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
619
620 # VPP Latency Changes 2n-skx 2t1c
621 - type: "table"
622   title: "VPP Latency Changes 2n-skx 2t1c PDR90-direction1-avg"
623   algorithm: "table_comparison"
624   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-skx-xxv710-2t1c-pdr90-d1-avg"
625   include-tests: "latency-PDR90-direction1-avg"
626   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
627   columns:
628     - title: "2101.0-7"
629       data-set: "vpp-2n-skx-hist-iter-new-env"
630     - title: "2106.0-7"
631       data-set: "vpp-2n-skx-prev-iter-old-env"
632     - title: "2106.0-8"
633       data-set: "vpp-2n-skx-prev-iter-new-env"
634     - title: "2110.0-8"
635       data-set: "vpp-2n-skx-curr-iter-best"
636   comparisons:
637     - title: "2106.0-8 vs 2106.0-7"
638       reference: 2
639       compare: 3
640     - title: "2110.0-8 vs 2106.0-8"
641       reference: 3
642       compare: 4
643   legend:
644     - ''
645     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
646     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
647     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
648     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
649     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
650
651 # VPP Latency Changes 2n-skx 2t1c
652 - type: "table"
653   title: "VPP Latency Changes 2n-skx 2t1c PDR90-direction1-max"
654   algorithm: "table_comparison"
655   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-skx-xxv710-2t1c-pdr90-d1-max"
656   include-tests: "latency-PDR90-direction1-max"
657   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
658   columns:
659     - title: "2101.0-7"
660       data-set: "vpp-2n-skx-hist-iter-new-env"
661     - title: "2106.0-7"
662       data-set: "vpp-2n-skx-prev-iter-old-env"
663     - title: "2106.0-8"
664       data-set: "vpp-2n-skx-prev-iter-new-env"
665     - title: "2110.0-8"
666       data-set: "vpp-2n-skx-curr-iter-best"
667   comparisons:
668     - title: "2106.0-8 vs 2106.0-7"
669       reference: 2
670       compare: 3
671     - title: "2110.0-8 vs 2106.0-8"
672       reference: 3
673       compare: 4
674   legend:
675     - ''
676     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
677     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
678     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
679     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
680     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
681
682 # VPP Latency Changes 2n-clx 2t1c
683 - type: "table"
684   title: "VPP Latency Changes 2n-clx 2t1c PDR50-direction1-avg"
685   algorithm: "table_comparison"
686   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-xxv710-2t1c-pdr50-d1-avg"
687   include-tests: "latency-PDR50-direction1-avg"
688   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
689   columns:
690     - title: "2101.0-7"
691       data-set: "vpp-2n-clx-hist-iter-new-env"
692     - title: "2106.0-7"
693       data-set: "vpp-2n-clx-prev-iter-old-env"
694     - title: "2106.0-8"
695       data-set: "vpp-2n-clx-prev-iter-new-env"
696     - title: "2110.0-8"
697       data-set: "vpp-2n-clx-curr-iter-best"
698   comparisons:
699     - title: "2106.0-8 vs 2106.0-7"
700       reference: 2
701       compare: 3
702     - title: "2110.0-8 vs 2106.0-8"
703       reference: 3
704       compare: 4
705   legend:
706     - ''
707     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
708     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
709     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
710     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
711     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
712
713 # VPP Latency Changes 2n-clx 2t1c
714 - type: "table"
715   title: "VPP Latency Changes 2n-clx 2t1c PDR90-direction1-avg"
716   algorithm: "table_comparison"
717   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-xxv710-2t1c-pdr90-d1-avg"
718   include-tests: "latency-PDR90-direction1-avg"
719   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
720   columns:
721     - title: "2101.0-7"
722       data-set: "vpp-2n-clx-hist-iter-new-env"
723     - title: "2106.0-7"
724       data-set: "vpp-2n-clx-prev-iter-old-env"
725     - title: "2106.0-8"
726       data-set: "vpp-2n-clx-prev-iter-new-env"
727     - title: "2110.0-8"
728       data-set: "vpp-2n-clx-curr-iter-best"
729   comparisons:
730     - title: "2106.0-8 vs 2106.0-7"
731       reference: 2
732       compare: 3
733     - title: "2110.0-8 vs 2106.0-8"
734       reference: 3
735       compare: 4
736   legend:
737     - ''
738     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
739     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
740     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
741     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
742     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
743
744 # VPP Latency Changes 2n-clx 2t1c
745 - type: "table"
746   title: "VPP Latency Changes 2n-clx 2t1c PDR90-direction1-max"
747   algorithm: "table_comparison"
748   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-xxv710-2t1c-pdr90-d1-max"
749   include-tests: "latency-PDR90-direction1-max"
750   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
751   columns:
752     - title: "2101.0-7"
753       data-set: "vpp-2n-clx-hist-iter-new-env"
754     - title: "2106.0-7"
755       data-set: "vpp-2n-clx-prev-iter-old-env"
756     - title: "2106.0-8"
757       data-set: "vpp-2n-clx-prev-iter-new-env"
758     - title: "2110.0-8"
759       data-set: "vpp-2n-clx-curr-iter-best"
760   comparisons:
761     - title: "2106.0-8 vs 2106.0-7"
762       reference: 2
763       compare: 3
764     - title: "2110.0-8 vs 2106.0-8"
765       reference: 3
766       compare: 4
767   legend:
768     - ''
769     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
770     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
771     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
772     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
773     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
774
775 # VPP Latency Changes 2n-clx 2t1c
776 - type: "table"
777   title: "VPP Latency Changes 2n-clx 2t1c PDR50-direction1-avg"
778   algorithm: "table_comparison"
779   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-cx556a-2t1c-pdr50-d1-avg"
780   include-tests: "latency-PDR50-direction1-avg"
781   filter: "'2T1C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
782   columns:
783     - title: "2101.0-7"
784       data-set: "vpp-2n-clx-hist-iter-new-env"
785     - title: "2106.0-7"
786       data-set: "vpp-2n-clx-prev-iter-old-env"
787     - title: "2106.0-8"
788       data-set: "vpp-2n-clx-prev-iter-new-env"
789     - title: "2110.0-8"
790       data-set: "vpp-2n-clx-curr-iter-best"
791   comparisons:
792     - title: "2106.0-8 vs 2106.0-7"
793       reference: 2
794       compare: 3
795     - title: "2110.0-8 vs 2106.0-8"
796       reference: 3
797       compare: 4
798   legend:
799     - ''
800     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
801     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
802     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
803     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
804     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
805
806 # VPP Latency Changes 2n-clx 2t1c
807 - type: "table"
808   title: "VPP Latency Changes 2n-clx 2t1c PDR90-direction1-avg"
809   algorithm: "table_comparison"
810   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-cx556a-2t1c-pdr90-d1-avg"
811   include-tests: "latency-PDR90-direction1-avg"
812   filter: "'2T1C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
813   columns:
814     - title: "2101.0-7"
815       data-set: "vpp-2n-clx-hist-iter-new-env"
816     - title: "2106.0-7"
817       data-set: "vpp-2n-clx-prev-iter-old-env"
818     - title: "2106.0-8"
819       data-set: "vpp-2n-clx-prev-iter-new-env"
820     - title: "2110.0-8"
821       data-set: "vpp-2n-clx-curr-iter-best"
822   comparisons:
823     - title: "2106.0-8 vs 2106.0-7"
824       reference: 2
825       compare: 3
826     - title: "2110.0-8 vs 2106.0-8"
827       reference: 3
828       compare: 4
829   legend:
830     - ''
831     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
832     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
833     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
834     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
835     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
836
837 # VPP Latency Changes 2n-clx 2t1c
838 - type: "table"
839   title: "VPP Latency Changes 2n-clx 2t1c PDR90-direction1-max"
840   algorithm: "table_comparison"
841   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-cx556a-2t1c-pdr90-d1-max"
842   include-tests: "latency-PDR90-direction1-max"
843   filter: "'2T1C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
844   columns:
845     - title: "2101.0-7"
846       data-set: "vpp-2n-clx-hist-iter-new-env"
847     - title: "2106.0-7"
848       data-set: "vpp-2n-clx-prev-iter-old-env"
849     - title: "2106.0-8"
850       data-set: "vpp-2n-clx-prev-iter-new-env"
851     - title: "2110.0-8"
852       data-set: "vpp-2n-clx-curr-iter-best"
853   comparisons:
854     - title: "2106.0-8 vs 2106.0-7"
855       reference: 2
856       compare: 3
857     - title: "2110.0-8 vs 2106.0-8"
858       reference: 3
859       compare: 4
860   legend:
861     - ''
862     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
863     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
864     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
865     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
866     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
867
868 # VPP Latency Changes 2n-zn2 2t1c
869 - type: "table"
870   title: "VPP Latency Changes 2n-zn2 2t1c PDR50-direction1-avg"
871   algorithm: "table_comparison"
872   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-zn2-xxv710-2t1c-pdr50-d1-avg"
873   include-tests: "latency-PDR50-direction1-avg"
874   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
875   columns:
876     - title: "2101.0-7"
877       data-set: "vpp-2n-zn2-hist-iter-new-env"
878     - title: "2106.0-7"
879       data-set: "vpp-2n-zn2-prev-iter-old-env"
880     - title: "2106.0-8"
881       data-set: "vpp-2n-zn2-prev-iter-new-env"
882     - title: "2110.0-8"
883       data-set: "vpp-2n-zn2-curr-iter-best"
884   comparisons:
885     - title: "2106.0-8 vs 2106.0-7"
886       reference: 2
887       compare: 3
888     - title: "2110.0-8 vs 2106.0-8"
889       reference: 3
890       compare: 4
891   legend:
892     - ''
893     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
894     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
895     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
896     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
897     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
898
899 # VPP Latency Changes 2n-zn2 2t1c
900 - type: "table"
901   title: "VPP Latency Changes 2n-zn2 2t1c PDR90-direction1-avg"
902   algorithm: "table_comparison"
903   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-zn2-xxv710-2t1c-pdr90-d1-avg"
904   include-tests: "latency-PDR90-direction1-avg"
905   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
906   columns:
907     - title: "2101.0-7"
908       data-set: "vpp-2n-zn2-hist-iter-new-env"
909     - title: "2106.0-7"
910       data-set: "vpp-2n-zn2-prev-iter-old-env"
911     - title: "2106.0-8"
912       data-set: "vpp-2n-zn2-prev-iter-new-env"
913     - title: "2110.0-8"
914       data-set: "vpp-2n-zn2-curr-iter-best"
915   comparisons:
916     - title: "2106.0-8 vs 2106.0-7"
917       reference: 2
918       compare: 3
919     - title: "2110.0-8 vs 2106.0-8"
920       reference: 3
921       compare: 4
922   legend:
923     - ''
924     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
925     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
926     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
927     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
928     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
929
930 # VPP Latency Changes 2n-zn2 2t1c
931 - type: "table"
932   title: "VPP Latency Changes 2n-zn2 2t1c PDR90-direction1-max"
933   algorithm: "table_comparison"
934   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-zn2-xxv710-2t1c-pdr90-d1-max"
935   include-tests: "latency-PDR90-direction1-max"
936   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
937   columns:
938     - title: "2101.0-7"
939       data-set: "vpp-2n-zn2-hist-iter-new-env"
940     - title: "2106.0-7"
941       data-set: "vpp-2n-zn2-prev-iter-old-env"
942     - title: "2106.0-8"
943       data-set: "vpp-2n-zn2-prev-iter-new-env"
944     - title: "2110.0-8"
945       data-set: "vpp-2n-zn2-curr-iter-best"
946   comparisons:
947     - title: "2106.0-8 vs 2106.0-7"
948       reference: 2
949       compare: 3
950     - title: "2110.0-8 vs 2106.0-8"
951       reference: 3
952       compare: 4
953   legend:
954     - ''
955     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
956     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
957     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
958     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
959     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
960
961 # VPP Latency Changes 2n-tx2 1t1c
962 - type: "table"
963   title: "VPP Latency Changes 2n-tx2 1t1c PDR50-direction1-avg"
964   algorithm: "table_comparison"
965   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-tx2-xl710-1t1c-pdr50-d1-avg"
966   include-tests: "latency-PDR50-direction1-avg"
967   filter: "'1T1C' and 'NDRPDR'"
968   columns:
969     - title: "2101.0-7"
970       data-set: "vpp-2n-tx2-hist-iter-new-env"
971     - title: "2106.0-7"
972       data-set: "vpp-2n-tx2-prev-iter-old-env"
973     - title: "2106.0-8"
974       data-set: "vpp-2n-tx2-prev-iter-new-env"
975     - title: "2110.0-8"
976       data-set: "vpp-2n-tx2-curr-iter-best"
977   comparisons:
978     - title: "2106.0-8 vs 2106.0-7"
979       reference: 2
980       compare: 3
981     - title: "2110.0-8 vs 2106.0-8"
982       reference: 3
983       compare: 4
984   legend:
985     - ''
986     - 'Test Case:            Test cases executed for: PDR throughput on 2n-tx2 with xl710.'
987     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
988     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
989     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
990     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
991
992 # VPP Latency Changes 2n-tx2 1t1c
993 - type: "table"
994   title: "VPP Latency Changes 2n-tx2 1t1c PDR90-direction1-avg"
995   algorithm: "table_comparison"
996   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-tx2-xl710-1t1c-pdr90-d1-avg"
997   include-tests: "latency-PDR90-direction1-avg"
998   filter: "'1T1C' and 'NDRPDR'"
999   columns:
1000     - title: "2101.0-7"
1001       data-set: "vpp-2n-tx2-hist-iter-new-env"
1002     - title: "2106.0-7"
1003       data-set: "vpp-2n-tx2-prev-iter-old-env"
1004     - title: "2106.0-8"
1005       data-set: "vpp-2n-tx2-prev-iter-new-env"
1006     - title: "2110.0-8"
1007       data-set: "vpp-2n-tx2-curr-iter-best"
1008   comparisons:
1009     - title: "2106.0-8 vs 2106.0-7"
1010       reference: 2
1011       compare: 3
1012     - title: "2110.0-8 vs 2106.0-8"
1013       reference: 3
1014       compare: 4
1015   legend:
1016     - ''
1017     - 'Test Case:            Test cases executed for: PDR throughput on 2n-tx2 with xl710.'
1018     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
1019     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1020     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
1021     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
1022
1023 # VPP Latency Changes 2n-tx2 1t1c
1024 - type: "table"
1025   title: "VPP Latency Changes 2n-tx2 1t1c PDR90-direction1-max"
1026   algorithm: "table_comparison"
1027   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-tx2-xl710-1t1c-pdr90-d1-max"
1028   include-tests: "latency-PDR90-direction1-max"
1029   filter: "'1T1C' and 'NDRPDR'"
1030   columns:
1031     - title: "2101.0-7"
1032       data-set: "vpp-2n-tx2-hist-iter-new-env"
1033     - title: "2106.0-7"
1034       data-set: "vpp-2n-tx2-prev-iter-old-env"
1035     - title: "2106.0-8"
1036       data-set: "vpp-2n-tx2-prev-iter-new-env"
1037     - title: "2110.0-8"
1038       data-set: "vpp-2n-tx2-curr-iter-best"
1039   comparisons:
1040     - title: "2106.0-8 vs 2106.0-7"
1041       reference: 2
1042       compare: 3
1043     - title: "2110.0-8 vs 2106.0-8"
1044       reference: 3
1045       compare: 4
1046   legend:
1047     - ''
1048     - 'Test Case:            Test cases executed for: PDR throughput on 2n-tx2 with xl710.'
1049     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
1050     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1051     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
1052     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
1053
1054 # VPP Latency Changes 3n-tsh 1t1c
1055 - type: "table"
1056   title: "VPP Latency Changes 3n-tsh 1t1c PDR50-direction1-avg"
1057   algorithm: "table_comparison"
1058   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-tsh-x520-1t1c-pdr50-d1-avg"
1059   include-tests: "latency-PDR50-direction1-avg"
1060   filter: "'1T1C' and 'NDRPDR'"
1061   columns:
1062     - title: "2101.0-7"
1063       data-set: "vpp-3n-tsh-hist-iter-new-env"
1064     - title: "2106.0-7"
1065       data-set: "vpp-3n-tsh-prev-iter-old-env"
1066     - title: "2106.0-8"
1067       data-set: "vpp-3n-tsh-prev-iter-new-env"
1068     - title: "2110.0-8"
1069       data-set: "vpp-3n-tsh-curr-iter-best"
1070   comparisons:
1071     - title: "2106.0-8 vs 2106.0-7"
1072       reference: 2
1073       compare: 3
1074     - title: "2110.0-8 vs 2106.0-8"
1075       reference: 3
1076       compare: 4
1077   legend:
1078     - ''
1079     - 'Test Case:            Test cases executed for: PDR throughput on 3n-tsh with x520.'
1080     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
1081     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1082     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
1083     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
1084
1085 # VPP Latency Changes 3n-tsh 1t1c
1086 - type: "table"
1087   title: "VPP Latency Changes 3n-tsh 1t1c PDR90-direction1-avg"
1088   algorithm: "table_comparison"
1089   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-tsh-x520-1t1c-pdr90-d1-avg"
1090   include-tests: "latency-PDR90-direction1-avg"
1091   filter: "'1T1C' and 'NDRPDR'"
1092   columns:
1093     - title: "2101.0-7"
1094       data-set: "vpp-3n-tsh-hist-iter-new-env"
1095     - title: "2106.0-7"
1096       data-set: "vpp-3n-tsh-prev-iter-old-env"
1097     - title: "2106.0-8"
1098       data-set: "vpp-3n-tsh-prev-iter-new-env"
1099     - title: "2110.0-8"
1100       data-set: "vpp-3n-tsh-curr-iter-best"
1101   comparisons:
1102     - title: "2106.0-8 vs 2106.0-7"
1103       reference: 2
1104       compare: 3
1105     - title: "2110.0-8 vs 2106.0-8"
1106       reference: 3
1107       compare: 4
1108   legend:
1109     - ''
1110     - 'Test Case:            Test cases executed for: PDR throughput on 3n-tsh with x520.'
1111     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
1112     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1113     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
1114     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
1115
1116 # VPP Latency Changes 3n-tsh 1t1c
1117 - type: "table"
1118   title: "VPP Latency Changes 3n-tsh 1t1c PDR90-direction1-max"
1119   algorithm: "table_comparison"
1120   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-tsh-x520-1t1c-pdr90-d1-max"
1121   include-tests: "latency-PDR90-direction1-max"
1122   filter: "'1T1C' and 'NDRPDR'"
1123   columns:
1124     - title: "2101.0-7"
1125       data-set: "vpp-3n-tsh-hist-iter-new-env"
1126     - title: "2106.0-7"
1127       data-set: "vpp-3n-tsh-prev-iter-old-env"
1128     - title: "2106.0-8"
1129       data-set: "vpp-3n-tsh-prev-iter-new-env"
1130     - title: "2110.0-8"
1131       data-set: "vpp-3n-tsh-curr-iter-best"
1132   comparisons:
1133     - title: "2106.0-8 vs 2106.0-7"
1134       reference: 2
1135       compare: 3
1136     - title: "2110.0-8 vs 2106.0-8"
1137       reference: 3
1138       compare: 4
1139   legend:
1140     - ''
1141     - 'Test Case:            Test cases executed for: PDR throughput on 3n-tsh with x520.'
1142     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
1143     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1144     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
1145     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
1146
1147 # VPP Soak vs NDR - 2n-skx
1148 - type: "table"
1149   title: "VPP Soak vs NDR 2n-skx"
1150   algorithm: "table_soak_vs_ndr"
1151   output-file: "{DIR[STATIC,VPP]}/soak-vs-ndr-2n-skx"
1152   reference:
1153     title: "NDR"
1154     data: "vpp-soak-vs-ndr-2n-skx-ref"
1155   compare:
1156     title: "Soak"
1157     data: "vpp-2n-skx-curr-soak"
1158   data: "vpp-soak-vs-ndr-2n-skx"
1159   include-tests: "NDR"
1160   filter: "('NDRPDR' or 'SOAK') and not 'NF_DENSITY'"
1161   parameters:
1162     - "throughput"
1163     - "name"
1164     - "parent"
1165
1166 # VPP Soak vs NDR - 2n-clx
1167 - type: "table"
1168   title: "VPP Soak vs NDR 2n-clx"
1169   algorithm: "table_soak_vs_ndr"
1170   output-file: "{DIR[STATIC,VPP]}/soak-vs-ndr-2n-clx"
1171   reference:
1172     title: "NDR"
1173     data: "vpp-soak-vs-ndr-2n-clx-ref"
1174   compare:
1175     title: "Soak"
1176     data: "vpp-2n-clx-curr-soak"
1177   data: "vpp-soak-vs-ndr-2n-clx"
1178   include-tests: "NDR"
1179   filter: "('NDRPDR' or 'SOAK') and not 'NF_DENSITY'"
1180   parameters:
1181     - "throughput"
1182     - "name"
1183     - "parent"
1184
1185 ################################################################################
1186
1187 # VPP Compare NICs 3n-skx 2t1c ndr
1188 - type: "table"
1189   title: "VPP Compare NICs 3n-skx 2t1c ndr"
1190   algorithm: "table_comparison"
1191   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-ndr"
1192   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1193   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
1194   columns:
1195     - title: "x710"
1196       data-set: "vpp-3n-skx-curr-iter"
1197       tag: "NIC_Intel-X710"
1198     - title: "xxv710"
1199       data-set: "vpp-3n-skx-curr-iter"
1200       tag: "NIC_Intel-XXV710"
1201   comparisons:
1202     - title: "Diff"
1203       reference: 1
1204       compare: 2
1205   legend:
1206     - ""
1207     - "x710, xxv710 - NICs tested."
1208     - "Diff - difference between x710 and xxv710 NIC."
1209
1210 # VPP Compare NICs 3n-skx 4t2c ndr
1211 - type: "table"
1212   title: "VPP Compare NICs 3n-skx 4t2c ndr"
1213   algorithm: "table_comparison"
1214   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-ndr"
1215   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1216   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
1217   columns:
1218     - title: "x710"
1219       data-set: "vpp-3n-skx-curr-iter"
1220       tag: "NIC_Intel-X710"
1221     - title: "xxv710"
1222       data-set: "vpp-3n-skx-curr-iter"
1223       tag: "NIC_Intel-XXV710"
1224   comparisons:
1225     - title: "Diff"
1226       reference: 1
1227       compare: 2
1228   legend:
1229     - ""
1230     - "x710, xxv710 - NICs tested."
1231     - "Diff - difference between x710 and xxv710 NIC."
1232
1233 # VPP Compare NICs 3n-skx 2t1c pdr
1234 - type: "table"
1235   title: "VPP Compare NICs 3n-skx 2t1c pdr"
1236   algorithm: "table_comparison"
1237   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-pdr"
1238   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1239   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
1240   columns:
1241     - title: "x710"
1242       data-set: "vpp-3n-skx-curr-iter"
1243       tag: "NIC_Intel-X710"
1244     - title: "xxv710"
1245       data-set: "vpp-3n-skx-curr-iter"
1246       tag: "NIC_Intel-XXV710"
1247   comparisons:
1248     - title: "Diff"
1249       reference: 1
1250       compare: 2
1251   legend:
1252     - ""
1253     - "x710, xxv710 - NICs tested."
1254     - "Diff - difference between x710 and xxv710 NIC."
1255
1256 # VPP Compare NICs 3n-skx 4t2c pdr
1257 - type: "table"
1258   title: "VPP Compare NICs 3n-skx 4t2c pdr"
1259   algorithm: "table_comparison"
1260   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-pdr"
1261   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1262   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
1263   columns:
1264     - title: "x710"
1265       data-set: "vpp-3n-skx-curr-iter"
1266       tag: "NIC_Intel-X710"
1267     - title: "xxv710"
1268       data-set: "vpp-3n-skx-curr-iter"
1269       tag: "NIC_Intel-XXV710"
1270   comparisons:
1271     - title: "Diff"
1272       reference: 1
1273       compare: 2
1274   legend:
1275     - ""
1276     - "x710, xxv710 - NICs tested."
1277     - "Diff - difference between x710 and xxv710 NIC."
1278
1279 # VPP Compare NICs 3n-skx 2t1c mrr
1280 - type: "table"
1281   title: "VPP Compare NICs 3n-skx 2t1c mrr"
1282   algorithm: "table_comparison"
1283   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-mrr"
1284   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1285   filter: "'2T1C' and 'MRR' and not 'NF_DENSITY'"
1286   columns:
1287     - title: "x710"
1288       data-set: "vpp-3n-skx-curr-iter-mrr"
1289       tag: "NIC_Intel-X710"
1290     - title: "xxv710"
1291       data-set: "vpp-3n-skx-curr-iter-mrr"
1292       tag: "NIC_Intel-XXV710"
1293   comparisons:
1294     - title: "Diff"
1295       reference: 1
1296       compare: 2
1297   legend:
1298     - ""
1299     - "x710, xxv710 - NICs tested."
1300     - "Diff - difference between x710 and xxv710 NIC."
1301
1302 # VPP Compare NICs 3n-skx 4t2c mrr
1303 - type: "table"
1304   title: "VPP Compare NICs 3n-skx 4t2c mrr"
1305   algorithm: "table_comparison"
1306   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-mrr"
1307   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1308   filter: "'4T2C' and 'MRR' and not 'NF_DENSITY'"
1309   columns:
1310     - title: "x710"
1311       data-set: "vpp-3n-skx-curr-iter-mrr"
1312       tag: "NIC_Intel-X710"
1313     - title: "xxv710"
1314       data-set: "vpp-3n-skx-curr-iter-mrr"
1315       tag: "NIC_Intel-XXV710"
1316   comparisons:
1317     - title: "Diff"
1318       reference: 1
1319       compare: 2
1320   legend:
1321     - ""
1322     - "x710, xxv710 - NICs tested."
1323     - "Diff - difference between x710 and xxv710 NIC."
1324
1325 # VPP Compare NICs 3n-skx 8t4c mrr
1326 - type: "table"
1327   title: "VPP Compare NICs 3n-skx 8t4c mrr"
1328   algorithm: "table_comparison"
1329   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-8t4c-nics-mrr"
1330   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1331   filter: "'8T4C' and 'MRR' and not 'NF_DENSITY'"
1332   columns:
1333     - title: "x710"
1334       data-set: "vpp-3n-skx-curr-iter-mrr"
1335       tag: "NIC_Intel-X710"
1336     - title: "xxv710"
1337       data-set: "vpp-3n-skx-curr-iter-mrr"
1338       tag: "NIC_Intel-XXV710"
1339   comparisons:
1340     - title: "Diff"
1341       reference: 1
1342       compare: 2
1343   legend:
1344     - ""
1345     - "x710, xxv710 - NICs tested."
1346     - "Diff - difference between x710 and xxv710 NIC."
1347
1348 # VPP Compare NICs 2n-skx 2t1c ndr
1349 - type: "table"
1350   title: "VPP Compare NICs 2n-skx 2t1c ndr"
1351   algorithm: "table_comparison"
1352   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-nics-ndr"
1353   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1354   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
1355   columns:
1356     - title: "x710"
1357       data-set: "vpp-2n-skx-curr-iter"
1358       tag: "NIC_Intel-X710"
1359     - title: "xxv710"
1360       data-set: "vpp-2n-skx-curr-iter"
1361       tag: "NIC_Intel-XXV710"
1362   comparisons:
1363     - title: "Diff"
1364       reference: 1
1365       compare: 2
1366   legend:
1367     - ""
1368     - "x710, xxv710 - NICs tested."
1369     - "Diff - difference between x710 and xxv710 NIC."
1370
1371 # VPP Compare NICs 2n-skx 4t2c ndr
1372 - type: "table"
1373   title: "VPP Compare NICs 2n-skx 4t2c ndr"
1374   algorithm: "table_comparison"
1375   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-nics-ndr"
1376   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1377   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
1378   columns:
1379     - title: "x710"
1380       data-set: "vpp-2n-skx-curr-iter"
1381       tag: "NIC_Intel-X710"
1382     - title: "xxv710"
1383       data-set: "vpp-2n-skx-curr-iter"
1384       tag: "NIC_Intel-XXV710"
1385   comparisons:
1386     - title: "Diff"
1387       reference: 1
1388       compare: 2
1389   legend:
1390     - ""
1391     - "x710, xxv710 - NICs tested."
1392     - "Diff - difference between x710 and xxv710 NIC."
1393
1394 # VPP Compare NICs 2n-skx 2t1c pdr
1395 - type: "table"
1396   title: "VPP Compare NICs 2n-skx 2t1c pdr"
1397   algorithm: "table_comparison"
1398   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-nics-pdr"
1399   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1400   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
1401   columns:
1402     - title: "x710"
1403       data-set: "vpp-2n-skx-curr-iter"
1404       tag: "NIC_Intel-X710"
1405     - title: "xxv710"
1406       data-set: "vpp-2n-skx-curr-iter"
1407       tag: "NIC_Intel-XXV710"
1408   comparisons:
1409     - title: "Diff"
1410       reference: 1
1411       compare: 2
1412   legend:
1413     - ""
1414     - "x710, xxv710 - NICs tested."
1415     - "Diff - difference between x710 and xxv710 NIC."
1416
1417 # VPP Compare NICs 2n-skx 4t2c pdr
1418 - type: "table"
1419   title: "VPP Compare NICs 2n-skx 4t2c pdr"
1420   algorithm: "table_comparison"
1421   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-nics-pdr"
1422   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1423   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
1424   columns:
1425     - title: "x710"
1426       data-set: "vpp-2n-skx-curr-iter"
1427       tag: "NIC_Intel-X710"
1428     - title: "xxv710"
1429       data-set: "vpp-2n-skx-curr-iter"
1430       tag: "NIC_Intel-XXV710"
1431   comparisons:
1432     - title: "Diff"
1433       reference: 1
1434       compare: 2
1435   legend:
1436     - ""
1437     - "x710, xxv710 - NICs tested."
1438     - "Diff - difference between x710 and xxv710 NIC."
1439
1440 # VPP Compare NICs 2n-skx 2t1c mrr
1441 - type: "table"
1442   title: "VPP Compare NICs 2n-skx 2t1c mrr"
1443   algorithm: "table_comparison"
1444   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-nics-mrr"
1445   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1446   filter: "'2T1C' and 'MRR' and not 'NF_DENSITY'"
1447   columns:
1448     - title: "x710"
1449       data-set: "vpp-2n-skx-curr-iter-mrr"
1450       tag: "NIC_Intel-X710"
1451     - title: "xxv710"
1452       data-set: "vpp-2n-skx-curr-iter-mrr"
1453       tag: "NIC_Intel-XXV710"
1454   comparisons:
1455     - title: "Diff"
1456       reference: 1
1457       compare: 2
1458   legend:
1459     - ""
1460     - "x710, xxv710 - NICs tested."
1461     - "Diff - difference between x710 and xxv710 NIC."
1462
1463 # VPP Compare NICs 2n-skx 4t2c mrr
1464 - type: "table"
1465   title: "VPP Compare NICs 2n-skx 4t2c mrr"
1466   algorithm: "table_comparison"
1467   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-nics-mrr"
1468   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1469   filter: "'4T2C' and 'MRR' and not 'NF_DENSITY'"
1470   columns:
1471     - title: "x710"
1472       data-set: "vpp-2n-skx-curr-iter-mrr"
1473       tag: "NIC_Intel-X710"
1474     - title: "xxv710"
1475       data-set: "vpp-2n-skx-curr-iter-mrr"
1476       tag: "NIC_Intel-XXV710"
1477   comparisons:
1478     - title: "Diff"
1479       reference: 1
1480       compare: 2
1481   legend:
1482     - ""
1483     - "x710, xxv710 - NICs tested."
1484     - "Diff - difference between x710 and xxv710 NIC."
1485
1486 # VPP Compare NICs 2n-skx 8t4c mrr
1487 - type: "table"
1488   title: "VPP Compare NICs 2n-skx 8t4c mrr"
1489   algorithm: "table_comparison"
1490   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-8t4c-nics-mrr"
1491   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1492   filter: "'8T4C' and 'MRR' and not 'NF_DENSITY'"
1493   columns:
1494     - title: "x710"
1495       data-set: "vpp-2n-skx-curr-iter-mrr"
1496       tag: "NIC_Intel-X710"
1497     - title: "xxv710"
1498       data-set: "vpp-2n-skx-curr-iter-mrr"
1499       tag: "NIC_Intel-XXV710"
1500   comparisons:
1501     - title: "Diff"
1502       reference: 1
1503       compare: 2
1504   legend:
1505     - ""
1506     - "x710, xxv710 - NICs tested."
1507     - "Diff - difference between x710 and xxv710 NIC."
1508
1509 ################################################################################
1510 # VPP
1511
1512 # VPP Performance Changes 3n-skx 2t1c pdr
1513 - type: "table"
1514   title: "VPP Performance Changes 3n-skx 2t1c pdr"
1515   algorithm: "table_comparison"
1516   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-pdr"
1517   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1518   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1519   columns:
1520     - title: "2101.0-7"
1521       data-set: "vpp-3n-skx-hist-iter-new-env"
1522     - title: "2106.0-7"
1523       data-set: "vpp-3n-skx-prev-iter-old-env"
1524     - title: "2106.0-8"
1525       data-set: "vpp-3n-skx-prev-iter-new-env"
1526     - title: "2110.0-8"
1527       data-set: "vpp-3n-skx-curr-iter"
1528   comparisons:
1529     - title: "2106.0-8 vs 2106.0-7"
1530       reference: 2
1531       compare: 3
1532     - title: "2110.0-8 vs 2106.0-8"
1533       reference: 3
1534       compare: 4
1535   legend:
1536     - ''
1537     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
1538     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
1539     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1540     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
1541     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
1542
1543 # VPP Performance Changes 3n-skx 4t2c pdr
1544 - type: "table"
1545   title: "VPP Performance Changes 3n-skx 4t2c pdr"
1546   algorithm: "table_comparison"
1547   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-pdr"
1548   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1549   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1550   columns:
1551     - title: "2101.0-7"
1552       data-set: "vpp-3n-skx-hist-iter-new-env"
1553     - title: "2106.0-7"
1554       data-set: "vpp-3n-skx-prev-iter-old-env"
1555     - title: "2106.0-8"
1556       data-set: "vpp-3n-skx-prev-iter-new-env"
1557     - title: "2110.0-8"
1558       data-set: "vpp-3n-skx-curr-iter"
1559   comparisons:
1560     - title: "2106.0-8 vs 2106.0-7"
1561       reference: 2
1562       compare: 3
1563     - title: "2110.0-8 vs 2106.0-8"
1564       reference: 3
1565       compare: 4
1566   legend:
1567     - ''
1568     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
1569     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
1570     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1571     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
1572     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
1573
1574 # VPP Performance Changes 3n-skx 2t1c ndr
1575 - type: "table"
1576   title: "VPP Performance Changes 3n-skx 2t1c ndr"
1577   algorithm: "table_comparison"
1578   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-ndr"
1579   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1580   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1581   columns:
1582     - title: "2101.0-7"
1583       data-set: "vpp-3n-skx-hist-iter-new-env"
1584     - title: "2106.0-7"
1585       data-set: "vpp-3n-skx-prev-iter-old-env"
1586     - title: "2106.0-8"
1587       data-set: "vpp-3n-skx-prev-iter-new-env"
1588     - title: "2110.0-8"
1589       data-set: "vpp-3n-skx-curr-iter"
1590   comparisons:
1591     - title: "2106.0-8 vs 2106.0-7"
1592       reference: 2
1593       compare: 3
1594     - title: "2110.0-8 vs 2106.0-8"
1595       reference: 3
1596       compare: 4
1597   legend:
1598     - ''
1599     - 'Test Case:            Test cases executed for: NDR throughput on 3n-skx with xxv710.'
1600     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
1601     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1602     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
1603     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
1604
1605 # VPP Performance Changes 3n-skx 4t2c ndr
1606 - type: "table"
1607   title: "VPP Performance Changes 3n-skx 4t2c ndr"
1608   algorithm: "table_comparison"
1609   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-ndr"
1610   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1611   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1612   columns:
1613     - title: "2101.0-7"
1614       data-set: "vpp-3n-skx-hist-iter-new-env"
1615     - title: "2106.0-7"
1616       data-set: "vpp-3n-skx-prev-iter-old-env"
1617     - title: "2106.0-8"
1618       data-set: "vpp-3n-skx-prev-iter-new-env"
1619     - title: "2110.0-8"
1620       data-set: "vpp-3n-skx-curr-iter"
1621   comparisons:
1622     - title: "2106.0-8 vs 2106.0-7"
1623       reference: 2
1624       compare: 3
1625     - title: "2110.0-8 vs 2106.0-8"
1626       reference: 3
1627       compare: 4
1628   legend:
1629     - ''
1630     - 'Test Case:            Test cases executed for: NDR throughput on 3n-skx with xxv710.'
1631     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
1632     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1633     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
1634     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
1635
1636 # VPP Performance Changes 2n-skx 2t1c pdr
1637 - type: "table"
1638   title: "VPP Performance Changes 2n-skx 2t1c pdr"
1639   algorithm: "table_comparison"
1640   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-pdr"
1641   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1642   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1643   columns:
1644     - title: "2101.0-7"
1645       data-set: "vpp-2n-skx-hist-iter-new-env"
1646     - title: "2106.0-7"
1647       data-set: "vpp-2n-skx-prev-iter-old-env"
1648     - title: "2106.0-8"
1649       data-set: "vpp-2n-skx-prev-iter-new-env"
1650     - title: "2110.0-8"
1651       data-set: "vpp-2n-skx-curr-iter"
1652   comparisons:
1653     - title: "2106.0-8 vs 2106.0-7"
1654       reference: 2
1655       compare: 3
1656     - title: "2110.0-8 vs 2106.0-8"
1657       reference: 3
1658       compare: 4
1659   legend:
1660     - ''
1661     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
1662     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
1663     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1664     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
1665     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
1666
1667 # VPP Performance Changes 2n-skx 4t2c pdr
1668 - type: "table"
1669   title: "VPP Performance Changes 2n-skx 4t2c pdr"
1670   algorithm: "table_comparison"
1671   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-pdr"
1672   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1673   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1674   columns:
1675     - title: "2101.0-7"
1676       data-set: "vpp-2n-skx-hist-iter-new-env"
1677     - title: "2106.0-7"
1678       data-set: "vpp-2n-skx-prev-iter-old-env"
1679     - title: "2106.0-8"
1680       data-set: "vpp-2n-skx-prev-iter-new-env"
1681     - title: "2110.0-8"
1682       data-set: "vpp-2n-skx-curr-iter"
1683   comparisons:
1684     - title: "2106.0-8 vs 2106.0-7"
1685       reference: 2
1686       compare: 3
1687     - title: "2110.0-8 vs 2106.0-8"
1688       reference: 3
1689       compare: 4
1690   legend:
1691     - ''
1692     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
1693     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
1694     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1695     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
1696     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
1697
1698 # VPP Performance Changes 2n-skx 2t1c ndr
1699 - type: "table"
1700   title: "VPP Performance Changes 2n-skx 2t1c ndr"
1701   algorithm: "table_comparison"
1702   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-ndr"
1703   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1704   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1705   columns:
1706     - title: "2101.0-7"
1707       data-set: "vpp-2n-skx-hist-iter-new-env"
1708     - title: "2106.0-7"
1709       data-set: "vpp-2n-skx-prev-iter-old-env"
1710     - title: "2106.0-8"
1711       data-set: "vpp-2n-skx-prev-iter-new-env"
1712     - title: "2110.0-8"
1713       data-set: "vpp-2n-skx-curr-iter"
1714   comparisons:
1715     - title: "2106.0-8 vs 2106.0-7"
1716       reference: 2
1717       compare: 3
1718     - title: "2110.0-8 vs 2106.0-8"
1719       reference: 3
1720       compare: 4
1721   legend:
1722     - ''
1723     - 'Test Case:            Test cases executed for: NDR throughput on 2n-skx with xxv710.'
1724     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
1725     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1726     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
1727     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
1728
1729 # VPP Performance Changes 2n-skx 4t2c ndr
1730 - type: "table"
1731   title: "VPP Performance Changes 2n-skx 4t2c ndr"
1732   algorithm: "table_comparison"
1733   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-ndr"
1734   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1735   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1736   columns:
1737     - title: "2101.0-7"
1738       data-set: "vpp-2n-skx-hist-iter-new-env"
1739     - title: "2106.0-7"
1740       data-set: "vpp-2n-skx-prev-iter-old-env"
1741     - title: "2106.0-8"
1742       data-set: "vpp-2n-skx-prev-iter-new-env"
1743     - title: "2110.0-8"
1744       data-set: "vpp-2n-skx-curr-iter"
1745   comparisons:
1746     - title: "2106.0-8 vs 2106.0-7"
1747       reference: 2
1748       compare: 3
1749     - title: "2110.0-8 vs 2106.0-8"
1750       reference: 3
1751       compare: 4
1752   legend:
1753     - ''
1754     - 'Test Case:            Test cases executed for: NDR throughput on 2n-skx with xxv710.'
1755     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
1756     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1757     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
1758     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
1759
1760 # VPP Performance Changes 2n-clx-xxv710 2t1c pdr
1761 - type: "table"
1762   title: "VPP Performance Changes 2n-clx-xxv710 2t1c pdr"
1763   algorithm: "table_comparison"
1764   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-xxv710-2t1c-pdr"
1765   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1766   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1767   columns:
1768     - title: "2101.0-7"
1769       data-set: "vpp-2n-clx-hist-iter-new-env"
1770     - title: "2106.0-7"
1771       data-set: "vpp-2n-clx-prev-iter-old-env"
1772     - title: "2106.0-8"
1773       data-set: "vpp-2n-clx-prev-iter-new-env"
1774     - title: "2110.0-8"
1775       data-set: "vpp-2n-clx-curr-iter"
1776   comparisons:
1777     - title: "2106.0-8 vs 2106.0-7"
1778       reference: 2
1779       compare: 3
1780     - title: "2110.0-8 vs 2106.0-8"
1781       reference: 3
1782       compare: 4
1783   legend:
1784     - ''
1785     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
1786     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
1787     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1788     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
1789     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
1790
1791 # VPP Performance Changes 2n-clx-xxv710 4t2c pdr
1792 - type: "table"
1793   title: "VPP Performance Changes 2n-clx-xxv710 4t2c pdr"
1794   algorithm: "table_comparison"
1795   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-xxv710-4t2c-pdr"
1796   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1797   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1798   columns:
1799     - title: "2101.0-7"
1800       data-set: "vpp-2n-clx-hist-iter-new-env"
1801     - title: "2106.0-7"
1802       data-set: "vpp-2n-clx-prev-iter-old-env"
1803     - title: "2106.0-8"
1804       data-set: "vpp-2n-clx-prev-iter-new-env"
1805     - title: "2110.0-8"
1806       data-set: "vpp-2n-clx-curr-iter"
1807   comparisons:
1808     - title: "2106.0-8 vs 2106.0-7"
1809       reference: 2
1810       compare: 3
1811     - title: "2110.0-8 vs 2106.0-8"
1812       reference: 3
1813       compare: 4
1814   legend:
1815     - ''
1816     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
1817     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
1818     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1819     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
1820     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
1821
1822 # VPP Performance Changes 2n-clx-xxv710 2t1c ndr
1823 - type: "table"
1824   title: "VPP Performance Changes 2n-clx-xxv710 2t1c ndr"
1825   algorithm: "table_comparison"
1826   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-xxv710-2t1c-ndr"
1827   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1828   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1829   columns:
1830     - title: "2101.0-7"
1831       data-set: "vpp-2n-clx-hist-iter-new-env"
1832     - title: "2106.0-7"
1833       data-set: "vpp-2n-clx-prev-iter-old-env"
1834     - title: "2106.0-8"
1835       data-set: "vpp-2n-clx-prev-iter-new-env"
1836     - title: "2110.0-8"
1837       data-set: "vpp-2n-clx-curr-iter"
1838   comparisons:
1839     - title: "2106.0-8 vs 2106.0-7"
1840       reference: 2
1841       compare: 3
1842     - title: "2110.0-8 vs 2106.0-8"
1843       reference: 3
1844       compare: 4
1845   legend:
1846     - ''
1847     - 'Test Case:            Test cases executed for: NDR throughput on 2n-clx with xxv710.'
1848     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
1849     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1850     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
1851     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
1852
1853 # VPP Performance Changes 2n-clx-xxv710 4t2c ndr
1854 - type: "table"
1855   title: "VPP Performance Changes 2n-clx-xxv710 ndr"
1856   algorithm: "table_comparison"
1857   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-xxv710-4t2c-ndr"
1858   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1859   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1860   columns:
1861     - title: "2101.0-7"
1862       data-set: "vpp-2n-clx-hist-iter-new-env"
1863     - title: "2106.0-7"
1864       data-set: "vpp-2n-clx-prev-iter-old-env"
1865     - title: "2106.0-8"
1866       data-set: "vpp-2n-clx-prev-iter-new-env"
1867     - title: "2110.0-8"
1868       data-set: "vpp-2n-clx-curr-iter"
1869   comparisons:
1870     - title: "2106.0-8 vs 2106.0-7"
1871       reference: 2
1872       compare: 3
1873     - title: "2110.0-8 vs 2106.0-8"
1874       reference: 3
1875       compare: 4
1876   legend:
1877     - ''
1878     - 'Test Case:            Test cases executed for: NDR throughput on 2n-clx with xxv710.'
1879     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
1880     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1881     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
1882     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
1883
1884 # VPP Performance Changes 2n-clx-cx556a 2t1c pdr
1885 - type: "table"
1886   title: "VPP Performance Changes 2n-clx-cx556a 2t1c pdr"
1887   algorithm: "table_comparison"
1888   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-cx556a-2t1c-pdr"
1889   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1890   filter: "'2T1C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
1891   columns:
1892     - title: "2101.0-7"
1893       data-set: "vpp-2n-clx-hist-iter-new-env"
1894     - title: "2106.0-7"
1895       data-set: "vpp-2n-clx-prev-iter-old-env"
1896     - title: "2106.0-8"
1897       data-set: "vpp-2n-clx-prev-iter-new-env"
1898     - title: "2110.0-8"
1899       data-set: "vpp-2n-clx-curr-iter"
1900   comparisons:
1901     - title: "2106.0-8 vs 2106.0-7"
1902       reference: 2
1903       compare: 3
1904     - title: "2110.0-8 vs 2106.0-8"
1905       reference: 3
1906       compare: 4
1907   legend:
1908     - ''
1909     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
1910     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
1911     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1912     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
1913     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
1914
1915 # VPP Performance Changes 2n-clx-cx556a 4t2c pdr
1916 - type: "table"
1917   title: "VPP Performance Changes 2n-clx-cx556a 4t2c pdr"
1918   algorithm: "table_comparison"
1919   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-cx556a-4t2c-pdr"
1920   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1921   filter: "'4T2C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
1922   columns:
1923     - title: "2101.0-7"
1924       data-set: "vpp-2n-clx-hist-iter-new-env"
1925     - title: "2106.0-7"
1926       data-set: "vpp-2n-clx-prev-iter-old-env"
1927     - title: "2106.0-8"
1928       data-set: "vpp-2n-clx-prev-iter-new-env"
1929     - title: "2110.0-8"
1930       data-set: "vpp-2n-clx-curr-iter"
1931   comparisons:
1932     - title: "2106.0-8 vs 2106.0-7"
1933       reference: 2
1934       compare: 3
1935     - title: "2110.0-8 vs 2106.0-8"
1936       reference: 3
1937       compare: 4
1938   legend:
1939     - ''
1940     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
1941     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
1942     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1943     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
1944     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
1945
1946 # VPP Performance Changes 2n-clx-cx556a 2t1c ndr
1947 - type: "table"
1948   title: "VPP Performance Changes 2n-clx-cx556a 2t1c ndr"
1949   algorithm: "table_comparison"
1950   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-cx556a-2t1c-ndr"
1951   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1952   filter: "'2T1C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
1953   columns:
1954     - title: "2101.0-7"
1955       data-set: "vpp-2n-clx-hist-iter-new-env"
1956     - title: "2106.0-7"
1957       data-set: "vpp-2n-clx-prev-iter-old-env"
1958     - title: "2106.0-8"
1959       data-set: "vpp-2n-clx-prev-iter-new-env"
1960     - title: "2110.0-8"
1961       data-set: "vpp-2n-clx-curr-iter"
1962   comparisons:
1963     - title: "2106.0-8 vs 2106.0-7"
1964       reference: 2
1965       compare: 3
1966     - title: "2110.0-8 vs 2106.0-8"
1967       reference: 3
1968       compare: 4
1969   legend:
1970     - ''
1971     - 'Test Case:            Test cases executed for: NDR throughput on 2n-clx with cx556a.'
1972     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
1973     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1974     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
1975     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
1976
1977 # VPP Performance Changes 2n-clx-cx556a 4t2c ndr
1978 - type: "table"
1979   title: "VPP Performance Changes 2n-clx-cx556a ndr"
1980   algorithm: "table_comparison"
1981   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-cx556a-4t2c-ndr"
1982   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1983   filter: "'4T2C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
1984   columns:
1985     - title: "2101.0-7"
1986       data-set: "vpp-2n-clx-hist-iter-new-env"
1987     - title: "2106.0-7"
1988       data-set: "vpp-2n-clx-prev-iter-old-env"
1989     - title: "2106.0-8"
1990       data-set: "vpp-2n-clx-prev-iter-new-env"
1991     - title: "2110.0-8"
1992       data-set: "vpp-2n-clx-curr-iter"
1993   comparisons:
1994     - title: "2106.0-8 vs 2106.0-7"
1995       reference: 2
1996       compare: 3
1997     - title: "2110.0-8 vs 2106.0-8"
1998       reference: 3
1999       compare: 4
2000   legend:
2001     - ''
2002     - 'Test Case:            Test cases executed for: NDR throughput on 2n-clx with cx556a.'
2003     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
2004     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2005     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
2006     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
2007
2008 # VPP Performance Changes 2n-zn2-xxv710 2t1c pdr
2009 - type: "table"
2010   title: "VPP Performance Changes 2n-zn2-xxv710 2t1c pdr"
2011   algorithm: "table_comparison"
2012   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-zn2-xxv710-2t1c-pdr"
2013   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2014   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
2015   columns:
2016     - title: "2101.0-7"
2017       data-set: "vpp-2n-zn2-hist-iter-new-env"
2018     - title: "2106.0-7"
2019       data-set: "vpp-2n-zn2-prev-iter-old-env"
2020     - title: "2106.0-8"
2021       data-set: "vpp-2n-zn2-prev-iter-new-env"
2022     - title: "2110.0-8"
2023       data-set: "vpp-2n-zn2-curr-iter"
2024   comparisons:
2025     - title: "2106.0-8 vs 2106.0-7"
2026       reference: 2
2027       compare: 3
2028     - title: "2110.0-8 vs 2106.0-8"
2029       reference: 3
2030       compare: 4
2031   legend:
2032     - ''
2033     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
2034     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
2035     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2036     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
2037     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
2038
2039 # VPP Performance Changes 2n-zn2-xxv710 4t2c pdr
2040 - type: "table"
2041   title: "VPP Performance Changes 2n-zn2-xxv710 4t2c pdr"
2042   algorithm: "table_comparison"
2043   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-zn2-xxv710-4t2c-pdr"
2044   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2045   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
2046   columns:
2047     - title: "2101.0-7"
2048       data-set: "vpp-2n-zn2-hist-iter-new-env"
2049     - title: "2106.0-7"
2050       data-set: "vpp-2n-zn2-prev-iter-old-env"
2051     - title: "2106.0-8"
2052       data-set: "vpp-2n-zn2-prev-iter-new-env"
2053     - title: "2110.0-8"
2054       data-set: "vpp-2n-zn2-curr-iter"
2055   comparisons:
2056     - title: "2106.0-8 vs 2106.0-7"
2057       reference: 2
2058       compare: 3
2059     - title: "2110.0-8 vs 2106.0-8"
2060       reference: 3
2061       compare: 4
2062   legend:
2063     - ''
2064     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
2065     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
2066     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2067     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
2068     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
2069
2070 # VPP Performance Changes 2n-zn2-xxv710 2t1c ndr
2071 - type: "table"
2072   title: "VPP Performance Changes 2n-zn2-xxv710 2t1c ndr"
2073   algorithm: "table_comparison"
2074   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-zn2-xxv710-2t1c-ndr"
2075   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2076   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
2077   columns:
2078     - title: "2101.0-7"
2079       data-set: "vpp-2n-zn2-hist-iter-new-env"
2080     - title: "2106.0-7"
2081       data-set: "vpp-2n-zn2-prev-iter-old-env"
2082     - title: "2106.0-8"
2083       data-set: "vpp-2n-zn2-prev-iter-new-env"
2084     - title: "2110.0-8"
2085       data-set: "vpp-2n-zn2-curr-iter"
2086   comparisons:
2087     - title: "2106.0-8 vs 2106.0-7"
2088       reference: 2
2089       compare: 3
2090     - title: "2110.0-8 vs 2106.0-8"
2091       reference: 3
2092       compare: 4
2093   legend:
2094     - ''
2095     - 'Test Case:            Test cases executed for: NDR throughput on 2n-zn2 with xxv710.'
2096     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
2097     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2098     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
2099     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
2100
2101 # VPP Performance Changes 2n-zn2-xxv710 4t2c ndr
2102 - type: "table"
2103   title: "VPP Performance Changes 2n-zn2-xxv710 4t2c ndr"
2104   algorithm: "table_comparison"
2105   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-zn2-xxv710-4t2c-ndr"
2106   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2107   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
2108   columns:
2109     - title: "2101.0-7"
2110       data-set: "vpp-2n-zn2-hist-iter-new-env"
2111     - title: "2106.0-7"
2112       data-set: "vpp-2n-zn2-prev-iter-old-env"
2113     - title: "2106.0-8"
2114       data-set: "vpp-2n-zn2-prev-iter-new-env"
2115     - title: "2110.0-8"
2116       data-set: "vpp-2n-zn2-curr-iter"
2117   comparisons:
2118     - title: "2106.0-8 vs 2106.0-7"
2119       reference: 2
2120       compare: 3
2121     - title: "2110.0-8 vs 2106.0-8"
2122       reference: 3
2123       compare: 4
2124   legend:
2125     - ''
2126     - 'Test Case:            Test cases executed for: NDR throughput on 2n-zn2 with xxv710.'
2127     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
2128     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2129     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
2130     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
2131
2132 # VPP Performance Changes 2n-dnv 1t1c pdr
2133 - type: "table"
2134   title: "VPP Performance Changes 2n-dnv 1t1c pdr"
2135   algorithm: "table_comparison"
2136   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-dnv-1t1c-pdr"
2137   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2138   filter: "'1T1C'"
2139   columns:
2140     - title: "2101.0-7"
2141       data-set: "vpp-2n-dnv-hist-iter-new-env"
2142     - title: "2106.0-7"
2143       data-set: "vpp-2n-dnv-prev-iter-old-env"
2144     - title: "2106.0-8"
2145       data-set: "vpp-2n-dnv-prev-iter-new-env"
2146     - title: "2110.0-8"
2147       data-set: "vpp-2n-dnv-curr-iter"
2148   comparisons:
2149     - title: "2106.0-8 vs 2106.0-7"
2150       reference: 2
2151       compare: 3
2152     - title: "2110.0-8 vs 2106.0-8"
2153       reference: 3
2154       compare: 4
2155   legend:
2156     - ''
2157     - 'Test Case:            Test cases executed for: PDR throughput on 2n-dnv with x553.'
2158     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
2159     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2160     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
2161     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous.'
2162
2163 # VPP Performance Changes 2n-dnv 2t2c pdr
2164 - type: "table"
2165   title: "VPP Performance Changes 2n-dnv 2t2c pdr"
2166   algorithm: "table_comparison"
2167   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-dnv-2t2c-pdr"
2168   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2169   filter: "'2T2C'"
2170   columns:
2171     - title: "2101.0-7"
2172       data-set: "vpp-2n-dnv-hist-iter-new-env"
2173     - title: "2106.0-7"
2174       data-set: "vpp-2n-dnv-prev-iter-old-env"
2175     - title: "2106.0-8"
2176       data-set: "vpp-2n-dnv-prev-iter-new-env"
2177     - title: "2110.0-8"
2178       data-set: "vpp-2n-dnv-curr-iter"
2179   comparisons:
2180     - title: "2106.0-8 vs 2106.0-7"
2181       reference: 2
2182       compare: 3
2183     - title: "2110.0-8 vs 2106.0-8"
2184       reference: 3
2185       compare: 4
2186   legend:
2187     - ''
2188     - 'Test Case:            Test cases executed for: PDR throughput on 2n-dnv with x553.'
2189     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
2190     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2191     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
2192     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous.'
2193
2194 # VPP Performance Changes 2n-dnv 1t1c ndr
2195 - type: "table"
2196   title: "VPP Performance Changes 2n-dnv 1t1c ndr"
2197   algorithm: "table_comparison"
2198   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-dnv-1t1c-ndr"
2199   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2200   filter: "'1T1C'"
2201   columns:
2202     - title: "2101.0-7"
2203       data-set: "vpp-2n-dnv-hist-iter-new-env"
2204     - title: "2106.0-7"
2205       data-set: "vpp-2n-dnv-prev-iter-old-env"
2206     - title: "2106.0-8"
2207       data-set: "vpp-2n-dnv-prev-iter-new-env"
2208     - title: "2110.0-8"
2209       data-set: "vpp-2n-dnv-curr-iter"
2210   comparisons:
2211     - title: "2106.0-8 vs 2106.0-7"
2212       reference: 2
2213       compare: 3
2214     - title: "2110.0-8 vs 2106.0-8"
2215       reference: 3
2216       compare: 4
2217   legend:
2218     - ''
2219     - 'Test Case:            Test cases executed for: NDR throughput on 2n-dnv with x553.'
2220     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
2221     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2222     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
2223     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous.'
2224
2225 # VPP Performance Changes 2n-dnv 2t2c ndr
2226 - type: "table"
2227   title: "VPP Performance Changes 2n-dnv 2t2c ndr"
2228   algorithm: "table_comparison"
2229   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-dnv-2t2c-ndr"
2230   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2231   filter: "'2T2C'"
2232   columns:
2233     - title: "2101.0-7"
2234       data-set: "vpp-2n-dnv-hist-iter-new-env"
2235     - title: "2106.0-7"
2236       data-set: "vpp-2n-dnv-prev-iter-old-env"
2237     - title: "2106.0-8"
2238       data-set: "vpp-2n-dnv-prev-iter-new-env"
2239     - title: "2110.0-8"
2240       data-set: "vpp-2n-dnv-curr-iter"
2241   comparisons:
2242     - title: "2106.0-8 vs 2106.0-7"
2243       reference: 2
2244       compare: 3
2245     - title: "2110.0-8 vs 2106.0-8"
2246       reference: 3
2247       compare: 4
2248   legend:
2249     - ''
2250     - 'Test Case:            Test cases executed for: NDR throughput on 2n-dnv with x553.'
2251     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
2252     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2253     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
2254     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous.'
2255
2256 # VPP Performance Changes 3n-dnv 1t1c pdr
2257 - type: "table"
2258   title: "VPP Performance Changes 3n-dnv 1t1c pdr"
2259   algorithm: "table_comparison"
2260   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-dnv-1t1c-pdr"
2261   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2262   filter: "'1T1C'"
2263   columns:
2264     - title: "2101.0-7"
2265       data-set: "vpp-3n-dnv-hist-iter-new-env"
2266     - title: "2106.0-7"
2267       data-set: "vpp-3n-dnv-prev-iter-old-env"
2268     - title: "2106.0-8"
2269       data-set: "vpp-3n-dnv-prev-iter-new-env"
2270     - title: "2110.0-8"
2271       data-set: "vpp-3n-dnv-curr-iter"
2272   comparisons:
2273     - title: "2106.0-8 vs 2106.0-7"
2274       reference: 2
2275       compare: 3
2276     - title: "2110.0-8 vs 2106.0-8"
2277       reference: 3
2278       compare: 4
2279   legend:
2280     - ''
2281     - 'Test Case:            Test cases executed for: PDR throughput on 3n-dnv with x553.'
2282     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
2283     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2284     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
2285     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous.'
2286
2287 # VPP Performance Changes 3n-dnv 2t2c pdr
2288 - type: "table"
2289   title: "VPP Performance Changes 3n-dnv 2t2c pdr"
2290   algorithm: "table_comparison"
2291   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-dnv-2t2c-pdr"
2292   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2293   filter: "'2T2C'"
2294   columns:
2295     - title: "2101.0-7"
2296       data-set: "vpp-3n-dnv-hist-iter-new-env"
2297     - title: "2106.0-7"
2298       data-set: "vpp-3n-dnv-prev-iter-old-env"
2299     - title: "2106.0-8"
2300       data-set: "vpp-3n-dnv-prev-iter-new-env"
2301     - title: "2110.0-8"
2302       data-set: "vpp-3n-dnv-curr-iter"
2303   comparisons:
2304     - title: "2106.0-8 vs 2106.0-7"
2305       reference: 2
2306       compare: 3
2307     - title: "2110.0-8 vs 2106.0-8"
2308       reference: 3
2309       compare: 4
2310   legend:
2311     - ''
2312     - 'Test Case:            Test cases executed for: PDR throughput on 3n-dnv with x553.'
2313     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
2314     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2315     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
2316     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous.'
2317
2318 # VPP Performance Changes 3n-dnv 1t1c ndr
2319 - type: "table"
2320   title: "VPP Performance Changes 3n-dnv 1t1c ndr"
2321   algorithm: "table_comparison"
2322   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-dnv-1t1c-ndr"
2323   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2324   filter: "'1T1C'"
2325   columns:
2326     - title: "2101.0-7"
2327       data-set: "vpp-3n-dnv-hist-iter-new-env"
2328     - title: "2106.0-7"
2329       data-set: "vpp-3n-dnv-prev-iter-old-env"
2330     - title: "2106.0-8"
2331       data-set: "vpp-3n-dnv-prev-iter-new-env"
2332     - title: "2110.0-8"
2333       data-set: "vpp-3n-dnv-curr-iter"
2334   comparisons:
2335     - title: "2106.0-8 vs 2106.0-7"
2336       reference: 2
2337       compare: 3
2338     - title: "2110.0-8 vs 2106.0-8"
2339       reference: 3
2340       compare: 4
2341   legend:
2342     - ''
2343     - 'Test Case:            Test cases executed for: NDR throughput on 3n-dnv with x553.'
2344     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
2345     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2346     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
2347     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous.'
2348
2349 # VPP Performance Changes 3n-dnv 2t2c ndr
2350 - type: "table"
2351   title: "VPP Performance Changes 3n-dnv 2t2c ndr"
2352   algorithm: "table_comparison"
2353   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-dnv-2t2c-ndr"
2354   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2355   filter: "'2T2C'"
2356   columns:
2357     - title: "2101.0-7"
2358       data-set: "vpp-3n-dnv-hist-iter-new-env"
2359     - title: "2106.0-7"
2360       data-set: "vpp-3n-dnv-prev-iter-old-env"
2361     - title: "2106.0-8"
2362       data-set: "vpp-3n-dnv-prev-iter-new-env"
2363     - title: "2110.0-8"
2364       data-set: "vpp-3n-dnv-curr-iter"
2365   comparisons:
2366     - title: "2106.0-8 vs 2106.0-7"
2367       reference: 2
2368       compare: 3
2369     - title: "2110.0-8 vs 2106.0-8"
2370       reference: 3
2371       compare: 4
2372   legend:
2373     - ''
2374     - 'Test Case:            Test cases executed for: NDR throughput on 3n-dnv with x553.'
2375     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
2376     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2377     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
2378     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous.'
2379
2380 # VPP Performance Changes 3n-tsh 1t1c pdr
2381 - type: "table"
2382   title: "VPP Performance Changes 3n-tsh 1t1c pdr"
2383   algorithm: "table_comparison"
2384   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-tsh-1t1c-pdr"
2385   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2386   filter: "'1T1C'"
2387   columns:
2388     - title: "2101.0-7"
2389       data-set: "vpp-3n-tsh-hist-iter-new-env"
2390     - title: "2106.0-7"
2391       data-set: "vpp-3n-tsh-prev-iter-old-env"
2392     - title: "2106.0-8"
2393       data-set: "vpp-3n-tsh-prev-iter-new-env"
2394     - title: "2110.0-8"
2395       data-set: "vpp-3n-tsh-curr-iter"
2396   comparisons:
2397     - title: "2106.0-8 vs 2106.0-7"
2398       reference: 2
2399       compare: 3
2400     - title: "2110.0-8 vs 2106.0-8"
2401       reference: 3
2402       compare: 4
2403   legend:
2404     - ''
2405     - 'Test Case:            Test cases executed for: PDR throughput on 3n-tsh with x520.'
2406     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
2407     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2408     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
2409     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
2410
2411 # VPP Performance Changes 3n-tsh 2t2c pdr
2412 - type: "table"
2413   title: "VPP Performance Changes 3n-tsh 2t2c pdr"
2414   algorithm: "table_comparison"
2415   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-tsh-2t2c-pdr"
2416   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2417   filter: "'2T2C'"
2418   columns:
2419     - title: "2101.0-7"
2420       data-set: "vpp-3n-tsh-hist-iter-new-env"
2421     - title: "2106.0-7"
2422       data-set: "vpp-3n-tsh-prev-iter-old-env"
2423     - title: "2106.0-8"
2424       data-set: "vpp-3n-tsh-prev-iter-new-env"
2425     - title: "2110.0-8"
2426       data-set: "vpp-3n-tsh-curr-iter"
2427   comparisons:
2428     - title: "2106.0-8 vs 2106.0-7"
2429       reference: 2
2430       compare: 3
2431     - title: "2110.0-8 vs 2106.0-8"
2432       reference: 3
2433       compare: 4
2434   legend:
2435     - ''
2436     - 'Test Case:            Test cases executed for: PDR throughput on 3n-tsh with x520.'
2437     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
2438     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2439     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
2440     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
2441
2442 # VPP Performance Changes 3n-tsh 1t1c ndr
2443 - type: "table"
2444   title: "VPP Performance Changes 3n-tsh 1t1c ndr"
2445   algorithm: "table_comparison"
2446   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-tsh-1t1c-ndr"
2447   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2448   filter: "'1T1C'"
2449   columns:
2450     - title: "2101.0-7"
2451       data-set: "vpp-3n-tsh-hist-iter-new-env"
2452     - title: "2106.0-7"
2453       data-set: "vpp-3n-tsh-prev-iter-old-env"
2454     - title: "2106.0-8"
2455       data-set: "vpp-3n-tsh-prev-iter-new-env"
2456     - title: "2110.0-8"
2457       data-set: "vpp-3n-tsh-curr-iter"
2458   comparisons:
2459     - title: "2106.0-8 vs 2106.0-7"
2460       reference: 2
2461       compare: 3
2462     - title: "2110.0-8 vs 2106.0-8"
2463       reference: 3
2464       compare: 4
2465   legend:
2466     - ''
2467     - 'Test Case:            Test cases executed for: NDR throughput on 3n-tsh with x520.'
2468     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
2469     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2470     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
2471     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
2472
2473 # VPP Performance Changes 3n-tsh 2t2c ndr
2474 - type: "table"
2475   title: "VPP Performance Changes 3n-tsh 2t2c ndr"
2476   algorithm: "table_comparison"
2477   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-tsh-2t2c-ndr"
2478   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2479   filter: "'2T2C'"
2480   columns:
2481     - title: "2101.0-7"
2482       data-set: "vpp-3n-tsh-hist-iter-new-env"
2483     - title: "2106.0-7"
2484       data-set: "vpp-3n-tsh-prev-iter-old-env"
2485     - title: "2106.0-8"
2486       data-set: "vpp-3n-tsh-prev-iter-new-env"
2487     - title: "2110.0-8"
2488       data-set: "vpp-3n-tsh-curr-iter"
2489   comparisons:
2490     - title: "2106.0-8 vs 2106.0-7"
2491       reference: 2
2492       compare: 3
2493     - title: "2110.0-8 vs 2106.0-8"
2494       reference: 3
2495       compare: 4
2496   legend:
2497     - ''
2498     - 'Test Case:            Test cases executed for: NDR throughput on 3n-tsh with x520.'
2499     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
2500     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2501     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
2502     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
2503
2504 # VPP Performance Changes 2n-tx2 1t1c pdr
2505 - type: "table"
2506   title: "VPP Performance Changes 2n-tx2 1t1c pdr"
2507   algorithm: "table_comparison"
2508   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-tx2-1t1c-pdr"
2509   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2510   filter: "'1T1C'"
2511   columns:
2512     - title: "2101.0-7"
2513       data-set: "vpp-2n-tx2-hist-iter-new-env"
2514     - title: "2106.0-7"
2515       data-set: "vpp-2n-tx2-prev-iter-old-env"
2516     - title: "2106.0-8"
2517       data-set: "vpp-2n-tx2-prev-iter-new-env"
2518     - title: "2110.0-8"
2519       data-set: "vpp-2n-tx2-curr-iter"
2520   comparisons:
2521     - title: "2106.0-8 vs 2106.0-7"
2522       reference: 2
2523       compare: 3
2524     - title: "2110.0-8 vs 2106.0-8"
2525       reference: 3
2526       compare: 4
2527   legend:
2528     - ''
2529     - 'Test Case:            Test cases executed for: PDR throughput on 2n-tx2 with xl710.'
2530     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
2531     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2532     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
2533     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
2534
2535 # VPP Performance Changes 2n-tx2 2t2c pdr
2536 - type: "table"
2537   title: "VPP Performance Changes 2n-tx2 2t2c pdr"
2538   algorithm: "table_comparison"
2539   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-tx2-2t2c-pdr"
2540   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2541   filter: "'2T2C'"
2542   columns:
2543     - title: "2101.0-7"
2544       data-set: "vpp-2n-tx2-hist-iter-new-env"
2545     - title: "2106.0-7"
2546       data-set: "vpp-2n-tx2-prev-iter-old-env"
2547     - title: "2106.0-8"
2548       data-set: "vpp-2n-tx2-prev-iter-new-env"
2549     - title: "2110.0-8"
2550       data-set: "vpp-2n-tx2-curr-iter"
2551   comparisons:
2552     - title: "2106.0-8 vs 2106.0-7"
2553       reference: 2
2554       compare: 3
2555     - title: "2110.0-8 vs 2106.0-8"
2556       reference: 3
2557       compare: 4
2558   legend:
2559     - ''
2560     - 'Test Case:            Test cases executed for: PDR throughput on 2n-tx2 with xl710.'
2561     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
2562     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2563     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
2564     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
2565
2566 # VPP Performance Changes 2n-tx2 1t1c ndr
2567 - type: "table"
2568   title: "VPP Performance Changes 2n-tx2 1t1c ndr"
2569   algorithm: "table_comparison"
2570   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-tx2-1t1c-ndr"
2571   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2572   filter: "'1T1C'"
2573   columns:
2574     - title: "2101.0-7"
2575       data-set: "vpp-2n-tx2-hist-iter-new-env"
2576     - title: "2106.0-7"
2577       data-set: "vpp-2n-tx2-prev-iter-old-env"
2578     - title: "2106.0-8"
2579       data-set: "vpp-2n-tx2-prev-iter-new-env"
2580     - title: "2110.0-8"
2581       data-set: "vpp-2n-tx2-curr-iter"
2582   comparisons:
2583     - title: "2106.0-8 vs 2106.0-7"
2584       reference: 2
2585       compare: 3
2586     - title: "2110.0-8 vs 2106.0-8"
2587       reference: 3
2588       compare: 4
2589   legend:
2590     - ''
2591     - 'Test Case:            Test cases executed for: NDR throughput on 2n-tx2 with xl710.'
2592     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
2593     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2594     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
2595     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
2596
2597 # VPP Performance Changes 2n-tx2 2t2c ndr
2598 - type: "table"
2599   title: "VPP Performance Changes 2n-tx2 2t2c ndr"
2600   algorithm: "table_comparison"
2601   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-tx2-2t2c-ndr"
2602   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2603   filter: "'2T2C'"
2604   columns:
2605     - title: "2101.0-7"
2606       data-set: "vpp-2n-tx2-hist-iter-new-env"
2607     - title: "2106.0-7"
2608       data-set: "vpp-2n-tx2-prev-iter-old-env"
2609     - title: "2106.0-8"
2610       data-set: "vpp-2n-tx2-prev-iter-new-env"
2611     - title: "2110.0-8"
2612       data-set: "vpp-2n-tx2-curr-iter"
2613   comparisons:
2614     - title: "2106.0-8 vs 2106.0-7"
2615       reference: 2
2616       compare: 3
2617     - title: "2110.0-8 vs 2106.0-8"
2618       reference: 3
2619       compare: 4
2620   legend:
2621     - ''
2622     - 'Test Case:            Test cases executed for: NDR throughput on 2n-tx2 with xl710.'
2623     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
2624     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2625     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
2626     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
2627
2628 # VPP Comparison Across Testbeds 2n-skx to 2n-clx 2t1c ndr
2629 - type: "table"
2630   title: "VPP Comparison Across Testbeds 2n-skx to 2n-clx 2t1c ndr"
2631   algorithm: "table_comparison"
2632   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-skx-2n-clx-2t1c-ndr"
2633   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2634   filter: "'2T1C' and 'NIC_Intel-XXV710'"
2635   columns:
2636     - title: "2n-skx"
2637       data-set: "vpp-2n-skx-curr-iter"
2638     - title: "2n-clx"
2639       data-set: "vpp-2n-clx-curr-iter"
2640   comparisons:
2641     - title: "Diff"
2642       reference: 1
2643       compare: 2
2644   legend:
2645     - ""
2646     - "2n-skx, 2n-clx - testbeds and NICs tested."
2647     - "Diff - difference between 2n-skx and 2n-clx testbeds."
2648
2649 # VPP Comparison Across Testbeds 2n-skx to 2n-clx 4t2c ndr
2650 - type: "table"
2651   title: "VPP Comparison Across Testbeds 2n-skx to 2n-clx 4t2c ndr"
2652   algorithm: "table_comparison"
2653   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-skx-2n-clx-4t2c-ndr"
2654   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2655   filter: "'4T2C' and 'NIC_Intel-XXV710'"
2656   columns:
2657     - title: "2n-skx"
2658       data-set: "vpp-2n-skx-curr-iter"
2659     - title: "2n-clx"
2660       data-set: "vpp-2n-clx-curr-iter"
2661   comparisons:
2662     - title: "Diff"
2663       reference: 1
2664       compare: 2
2665   legend:
2666     - ""
2667     - "2n-skx, 2n-clx - testbeds and NICs tested."
2668     - "Diff - difference between 2n-skx and 2n-clx testbeds."
2669
2670 # VPP Comparison Across Testbeds 2n-skx to 2n-clx 2t1c pdr
2671 - type: "table"
2672   title: "VPP Comparison Across Testbeds 2n-skx to 2n-clx 2t1c pdr"
2673   algorithm: "table_comparison"
2674   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-skx-2n-clx-2t1c-pdr"
2675   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2676   filter: "'2T1C' and 'NIC_Intel-XXV710'"
2677   columns:
2678     - title: "2n-skx"
2679       data-set: "vpp-2n-skx-curr-iter"
2680     - title: "2n-clx"
2681       data-set: "vpp-2n-clx-curr-iter"
2682   comparisons:
2683     - title: "Diff"
2684       reference: 1
2685       compare: 2
2686   legend:
2687     - ""
2688     - "2n-skx, 2n-clx - testbeds and NICs tested."
2689     - "Diff - difference between 2n-skx and 2n-clx testbeds."
2690
2691 # VPP Comparison Across Testbeds 2n-skx to 2n-clx 4t2c pdr
2692 - type: "table"
2693   title: "VPP Comparison Across Testbeds 2n-skx to 2n-clx 4t2c pdr"
2694   algorithm: "table_comparison"
2695   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-skx-2n-clx-4t2c-pdr"
2696   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2697   filter: "'4T2C' and 'NIC_Intel-XXV710'"
2698   columns:
2699     - title: "2n-skx"
2700       data-set: "vpp-2n-skx-curr-iter"
2701     - title: "2n-clx"
2702       data-set: "vpp-2n-clx-curr-iter"
2703   comparisons:
2704     - title: "Diff"
2705       reference: 1
2706       compare: 2
2707   legend:
2708     - ""
2709     - "2n-skx, 2n-clx - testbeds and NICs tested."
2710     - "Diff - difference between 2n-skx and 2n-clx testbeds."
2711
2712 # # VPP Comparison Across Testbeds 2n-clx to 2n-icx 1c ndr
2713 # - type: "table"
2714 #   title: "VPP Comparison Across Testbeds 2n-clx to 2n-icx 1c ndr"
2715 #   algorithm: "table_comparison"
2716 #   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-clx-2n-icx-1c-ndr"
2717 #   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2718 #   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-E810CQ') and 'NDRPDR' and '1C'"
2719 #   columns:
2720 #     - title: "2n-clx xxv710"
2721 #       data-set: "vpp-2n-clx-curr-iter"
2722 #       tag: "NIC_Intel-XXV710"
2723 #     - title: "2n-icx e810cq"
2724 #       data-set: "vpp-2n-icx-curr-iter"
2725 #       tag: "NIC_Intel-E810CQ"
2726 #   comparisons:
2727 #     - title: "Diff"
2728 #       reference: 1
2729 #       compare: 2
2730 #   legend:
2731 #     - ""
2732 #     - "2n-clx xxv710, 2n-icx e810cq - testbeds and NICs tested."
2733 #     - "Diff - difference between 2n-clx xxv710 and 2n-icx e810cq testbeds."
2734 #
2735 # # VPP Comparison Across Testbeds 2n-clx to 2n-icx 2c ndr
2736 # - type: "table"
2737 #   title: "VPP Comparison Across Testbeds 2n-clx to 2n-icx 2c ndr"
2738 #   algorithm: "table_comparison"
2739 #   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-clx-2n-icx-2c-ndr"
2740 #   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2741 #   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-E810CQ') and 'NDRPDR' and '2C'"
2742 #   columns:
2743 #     - title: "2n-clx xxv710"
2744 #       data-set: "vpp-2n-clx-curr-iter"
2745 #       tag: "NIC_Intel-XXV710"
2746 #     - title: "2n-icx e810cq"
2747 #       data-set: "vpp-2n-icx-curr-iter"
2748 #       tag: "NIC_Intel-E810CQ"
2749 #   comparisons:
2750 #     - title: "Diff"
2751 #       reference: 1
2752 #       compare: 2
2753 #   legend:
2754 #     - ""
2755 #     - "2n-clx xxv710, 2n-icx e810cq - testbeds and NICs tested."
2756 #     - "Diff - difference between 2n-clx xxv710 and 2n-icx e810cq testbeds."
2757 #
2758 # # VPP Comparison Across Testbeds 2n-clx to 2n-icx 1c pdr
2759 # - type: "table"
2760 #   title: "VPP Comparison Across Testbeds 2n-clx to 2n-icx 1c pdr"
2761 #   algorithm: "table_comparison"
2762 #   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-clx-2n-icx-1c-pdr"
2763 #   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2764 #   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-E810CQ') and 'NDRPDR' and '1C'"
2765 #   columns:
2766 #     - title: "2n-clx xxv710"
2767 #       data-set: "vpp-2n-clx-curr-iter"
2768 #       tag: "NIC_Intel-XXV710"
2769 #     - title: "2n-icx e810cq"
2770 #       data-set: "vpp-2n-icx-curr-iter"
2771 #       tag: "NIC_Intel-E810CQ"
2772 #   comparisons:
2773 #     - title: "Diff"
2774 #       reference: 1
2775 #       compare: 2
2776 #   legend:
2777 #     - ""
2778 #     - "2n-clx xxv710, 2n-icx e810cq - testbeds and NICs tested."
2779 #     - "Diff - difference between 2n-clx xxv710 and 2n-icx e810cq testbeds."
2780 #
2781 # # VPP Comparison Across Testbeds 2n-clx to 2n-icx 2c pdr
2782 # - type: "table"
2783 #   title: "VPP Comparison Across Testbeds 2n-clx to 2n-icx 2c pdr"
2784 #   algorithm: "table_comparison"
2785 #   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-clx-2n-icx-2c-pdr"
2786 #   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2787 #   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-E810CQ') and 'NDRPDR' and '2C'"
2788 #   columns:
2789 #     - title: "2n-clx xxv710"
2790 #       data-set: "vpp-3n-skx-curr-iter"
2791 #       tag: "NIC_Intel-XXV710"
2792 #     - title: "2n-icx e810cq"
2793 #       data-set: "vpp-2n-icx-curr-iter"
2794 #       tag: "NIC_Intel-E810CQ"
2795 #   comparisons:
2796 #     - title: "Diff"
2797 #       reference: 1
2798 #       compare: 2
2799 #   legend:
2800 #     - ""
2801 #     - "2n-clx xxv710, 2n-icx e810cq - testbeds and NICs tested."
2802 #     - "Diff - difference between 2n-clx xxv710 and 2n-icx e810cq testbeds."
2803 #
2804 # # VPP Comparison Across Testbeds 3n-skx to 3n-icx 1c ndr
2805 # - type: "table"
2806 #   title: "VPP Comparison Across Testbeds 3n-skx to 3n-icx 1c ndr"
2807 #   algorithm: "table_comparison"
2808 #   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-skx-3n-icx-1c-ndr"
2809 #   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2810 #   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-E810CQ') and 'NDRPDR' and '1C'"
2811 #   columns:
2812 #     - title: "3n-skx xxv710"
2813 #       data-set: "vpp-3n-skx-curr-iter"
2814 #       tag: "NIC_Intel-XXV710"
2815 #     - title: "3n-icx e810cq"
2816 #       data-set: "vpp-3n-icx-curr-iter"
2817 #       tag: "NIC_Intel-E810CQ"
2818 #   comparisons:
2819 #     - title: "Diff"
2820 #       reference: 1
2821 #       compare: 2
2822 #   legend:
2823 #     - ""
2824 #     - "3n-skx xxv710, 3n-icx e810cq - testbeds and NICs tested."
2825 #     - "Diff - difference between 3n-skx xxv710 and 3n-icx e810cq testbeds."
2826 #
2827 # # VPP Comparison Across Testbeds 3n-skx to 3n-icx 2c ndr
2828 # - type: "table"
2829 #   title: "VPP Comparison Across Testbeds 3n-skx to 3n-icx ndr"
2830 #   algorithm: "table_comparison"
2831 #   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-skx-3n-icx-2c-ndr"
2832 #   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2833 #   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-E810CQ') and 'NDRPDR' and '2C'"
2834 #   columns:
2835 #     - title: "3n-skx xxv710"
2836 #       data-set: "vpp-3n-skx-curr-iter"
2837 #       tag: "NIC_Intel-XXV710"
2838 #     - title: "3n-icx e810cq"
2839 #       data-set: "vpp-3n-icx-curr-iter"
2840 #       tag: "NIC_Intel-E810CQ"
2841 #   comparisons:
2842 #     - title: "Diff"
2843 #       reference: 1
2844 #       compare: 2
2845 #   legend:
2846 #     - ""
2847 #     - "3n-skx xxv710, 3n-icx e810cq - testbeds and NICs tested."
2848 #     - "Diff - difference between 3n-skx xxv710 and 3n-icx e810cq testbeds."
2849 #
2850 # # VPP Comparison Across Testbeds 3n-skx to 3n-icx 1c pdr
2851 # - type: "table"
2852 #   title: "VPP Comparison Across Testbeds 3n-skx to 3n-icx 1c pdr"
2853 #   algorithm: "table_comparison"
2854 #   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-skx-3n-icx-1c-pdr"
2855 #   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2856 #   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-E810CQ') and 'NDRPDR' and '1C'"
2857 #   columns:
2858 #     - title: "3n-skx xxv710"
2859 #       data-set: "vpp-3n-skx-curr-iter"
2860 #       tag: "NIC_Intel-XXV710"
2861 #     - title: "3n-icx e810cq"
2862 #       data-set: "vpp-3n-icx-curr-iter"
2863 #       tag: "NIC_Intel-E810CQ"
2864 #   comparisons:
2865 #     - title: "Diff"
2866 #       reference: 1
2867 #       compare: 2
2868 #   legend:
2869 #     - ""
2870 #     - "3n-skx xxv710, 3n-icx e810cq - testbeds and NICs tested."
2871 #     - "Diff - difference between 3n-skx xxv710 and 3n-icx e810cq testbeds."
2872 #
2873 # # VPP Comparison Across Testbeds 3n-skx to 3n-icx 2c pdr
2874 # - type: "table"
2875 #   title: "VPP Comparison Across Testbeds 3n-skx to 3n-icx 2c pdr"
2876 #   algorithm: "table_comparison"
2877 #   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-skx-3n-icx-2c-pdr"
2878 #   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2879 #   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-E810CQ') and 'NDRPDR' and '2C'"
2880 #   columns:
2881 #     - title: "3n-skx xxv710"
2882 #       data-set: "vpp-3n-skx-curr-iter"
2883 #       tag: "NIC_Intel-XXV710"
2884 #     - title: "3n-icx e810cq"
2885 #       data-set: "vpp-3n-icx-curr-iter"
2886 #       tag: "NIC_Intel-E810CQ"
2887 #   comparisons:
2888 #     - title: "Diff"
2889 #       reference: 1
2890 #       compare: 2
2891 #   legend:
2892 #     - ""
2893 #     - "3n-skx xxv710, 3n-icx e810cq - testbeds and NICs tested."
2894 #     - "Diff - difference between 3n-skx xxv710 and 3n-icx e810cq testbeds."
2895
2896 # VPP Comparison Across Topologies 3n-skx to 2n-skx 1c ndr
2897 - type: "table"
2898   title: "VPP Comparison Across Topologies 3n-skx to 2n-skx 1c ndr"
2899   algorithm: "table_comparison"
2900   output-file: "{DIR[STATIC,VPP]}/performance-compare-topologies-3n-skx-2n-skx-1c-ndr"
2901   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2902   filter: "'NDRPDR' and '1C' and 'NIC_Intel-XXV710'"
2903   columns:
2904     - title: "3n-skx"
2905       data-set: "vpp-3n-skx-curr-iter"
2906     - title: "2n-skx"
2907       data-set: "vpp-2n-skx-curr-iter"
2908   comparisons:
2909     - title: "Diff"
2910       reference: 1
2911       compare: 2
2912   legend:
2913     - ""
2914     - "3n-skx, 2n-skx - topologies tested."
2915     - "Diff - difference between 3n-skx and 2n-skx topologies."
2916
2917 # VPP Comparison Across Topologies 3n-skx to 2n-skx 2c ndr
2918 - type: "table"
2919   title: "VPP Comparison Across Topologies 3n-skx to 2n-skx 2c ndr"
2920   algorithm: "table_comparison"
2921   output-file: "{DIR[STATIC,VPP]}/performance-compare-topologies-3n-skx-2n-skx-2c-ndr"
2922   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2923   filter: "'NDRPDR' and '2C' and 'NIC_Intel-XXV710'"
2924   columns:
2925     - title: "3n-skx"
2926       data-set: "vpp-3n-skx-curr-iter"
2927     - title: "2n-skx"
2928       data-set: "vpp-2n-skx-curr-iter"
2929   comparisons:
2930     - title: "Diff"
2931       reference: 1
2932       compare: 2
2933   legend:
2934     - ""
2935     - "3n-skx, 2n-skx - topologies tested."
2936     - "Diff - difference between 3n-skx and 2n-skx topologies."
2937
2938 # VPP Comparison Across Topologies 3n-skx to 2n-skx 1c pdr
2939 - type: "table"
2940   title: "VPP Comparison Across Topologies 3n-skx to 2n-skx 1c pdr"
2941   algorithm: "table_comparison"
2942   output-file: "{DIR[STATIC,VPP]}/performance-compare-topologies-3n-skx-2n-skx-1c-pdr"
2943   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2944   filter: "'NDRPDR' and '1C' and 'NIC_Intel-XXV710'"
2945   columns:
2946     - title: "3n-skx"
2947       data-set: "vpp-3n-skx-curr-iter"
2948     - title: "2n-skx"
2949       data-set: "vpp-2n-skx-curr-iter"
2950   comparisons:
2951     - title: "Diff"
2952       reference: 1
2953       compare: 2
2954   legend:
2955     - ""
2956     - "3n-skx, 2n-skx - topologies tested."
2957     - "Diff - difference between 3n-skx and 2n-skx topologies."
2958
2959 # VPP Comparison Across Topologies 3n-skx to 2n-skx 2c pdr
2960 - type: "table"
2961   title: "VPP Comparison Across Topologies 3n-skx to 2n-skx 2c pdr"
2962   algorithm: "table_comparison"
2963   output-file: "{DIR[STATIC,VPP]}/performance-compare-topologies-3n-skx-2n-skx-2c-pdr"
2964   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2965   filter: "'NDRPDR' and '2C' and 'NIC_Intel-XXV710'"
2966   columns:
2967     - title: "3n-skx"
2968       data-set: "vpp-3n-skx-curr-iter"
2969     - title: "2n-skx"
2970       data-set: "vpp-2n-skx-curr-iter"
2971   comparisons:
2972     - title: "Diff"
2973       reference: 1
2974       compare: 2
2975   legend:
2976     - ""
2977     - "3n-skx, 2n-skx - topologies tested."
2978     - "Diff - difference between 3n-skx and 2n-skx topologies."
2979
2980 # VPP Performance Changes 3n-skx 2t1c mrr
2981 - type: "table"
2982   title: "VPP Performance Changes 3n-skx 2t1c mrr"
2983   algorithm: "table_comparison"
2984   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-mrr"
2985   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2986   filter: "'2T1C' and 'MRR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2987   columns:
2988     - title: "2101.0-7"
2989       data-set: "vpp-3n-skx-hist-iter-mrr-new-env"
2990     - title: "2106.0-7"
2991       data-set: "vpp-3n-skx-prev-iter-mrr-old-env"
2992     - title: "2106.0-8"
2993       data-set: "vpp-3n-skx-prev-iter-mrr-new-env"
2994     - title: "2110.0-8"
2995       data-set: "vpp-3n-skx-curr-iter-mrr"
2996   comparisons:
2997     - title: "2106.0-8 vs 2106.0-7"
2998       reference: 2
2999       compare: 3
3000     - title: "2110.0-8 vs 2106.0-8"
3001       reference: 3
3002       compare: 4
3003   legend:
3004     - ''
3005     - 'Test Case:            Test cases executed for: MRR throughput on 3n-skx with xxv710.'
3006     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
3007     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
3008     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
3009     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
3010
3011 # VPP Performance Changes 3n-skx 4t2c mrr
3012 - type: "table"
3013   title: "VPP Performance Changes 3n-skx 4t2c mrr"
3014   algorithm: "table_comparison"
3015   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-mrr"
3016   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3017   filter: "'4T2C' and 'MRR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
3018   columns:
3019     - title: "2101.0-7"
3020       data-set: "vpp-3n-skx-hist-iter-mrr-new-env"
3021     - title: "2106.0-7"
3022       data-set: "vpp-3n-skx-prev-iter-mrr-old-env"
3023     - title: "2106.0-8"
3024       data-set: "vpp-3n-skx-prev-iter-mrr-new-env"
3025     - title: "2110.0-8"
3026       data-set: "vpp-3n-skx-curr-iter-mrr"
3027   comparisons:
3028     - title: "2106.0-8 vs 2106.0-7"
3029       reference: 2
3030       compare: 3
3031     - title: "2110.0-8 vs 2106.0-8"
3032       reference: 3
3033       compare: 4
3034   legend:
3035     - ''
3036     - 'Test Case:            Test cases executed for: MRR throughput on 3n-skx with xxv710.'
3037     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
3038     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
3039     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
3040     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
3041
3042 # VPP Performance Changes 3n-skx 8t4c mrr
3043 - type: "table"
3044   title: "VPP Performance Changes 3n-skx 8t4c mrr"
3045   algorithm: "table_comparison"
3046   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-8t4c-mrr"
3047   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3048   filter: "'8T4C' and 'MRR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
3049   columns:
3050     - title: "2101.0-7"
3051       data-set: "vpp-3n-skx-hist-iter-mrr-new-env"
3052     - title: "2106.0-7"
3053       data-set: "vpp-3n-skx-prev-iter-mrr-old-env"
3054     - title: "2106.0-8"
3055       data-set: "vpp-3n-skx-prev-iter-mrr-new-env"
3056     - title: "2110.0-8"
3057       data-set: "vpp-3n-skx-curr-iter-mrr"
3058   comparisons:
3059     - title: "2106.0-8 vs 2106.0-7"
3060       reference: 2
3061       compare: 3
3062     - title: "2110.0-8 vs 2106.0-8"
3063       reference: 3
3064       compare: 4
3065   legend:
3066     - ''
3067     - 'Test Case:            Test cases executed for: MRR throughput on 3n-skx with xxv710.'
3068     - 'YYMM.V-E:             [Mpps&nbs