Report: Add 3n-icx
[csit.git] / resources / tools / presentation / specifications / report / elements.yaml
1 ################################################################################
2 ###                               T A B L E S                                ###
3 ################################################################################
4
5 # VPP Soak vs NDR - 2n-skx
6 - type: "table"
7   title: "VPP Soak vs NDR 2n-skx"
8   algorithm: "table_soak_vs_ndr"
9   output-file: "{DIR[STATIC,VPP]}/soak-vs-ndr-2n-skx"
10   reference:
11     title: "NDR"
12     data: "vpp-soak-vs-ndr-2n-skx-ref"
13   compare:
14     title: "Soak"
15     data: "vpp-soak-vs-ndr-2n-skx-cmp"
16   data: "vpp-soak-vs-ndr-2n-skx"
17   include-tests: "NDR"
18   filter: "('NDRPDR' or 'SOAK') and not 'NF_DENSITY'"
19   parameters:
20     - "throughput"
21     - "name"
22     - "parent"
23
24 # VPP Soak vs NDR - 2n-clx
25 - type: "table"
26   title: "VPP Soak vs NDR 2n-clx"
27   algorithm: "table_soak_vs_ndr"
28   output-file: "{DIR[STATIC,VPP]}/soak-vs-ndr-2n-clx"
29   reference:
30     title: "NDR"
31     data: "vpp-soak-vs-ndr-2n-clx-ref"
32   compare:
33     title: "Soak"
34     data: "vpp-soak-vs-ndr-2n-clx-cmp"
35   data: "vpp-soak-vs-ndr-2n-clx"
36   include-tests: "NDR"
37   filter: "('NDRPDR' or 'SOAK') and not 'NF_DENSITY'"
38   parameters:
39     - "throughput"
40     - "name"
41     - "parent"
42
43 ################################################################################
44
45 # VPP Compare NICs 3n-skx 2t1c ndr
46 - type: "table"
47   title: "VPP Compare NICs 3n-skx 2t1c ndr"
48   algorithm: "table_comparison"
49   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-ndr"
50   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
51   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
52   columns:
53     - title: "x710"
54       data-set: "vpp-nic-comparison-3n-skx"
55       tag: "NIC_Intel-X710"
56     - title: "xxv710"
57       data-set: "vpp-nic-comparison-3n-skx"
58       tag: "NIC_Intel-XXV710"
59   comparisons:
60     - title: "Diff"
61       reference: 1
62       compare: 2
63   legend:
64     - ""
65     - "x710, xxv710 - NICs tested."
66     - "Diff - difference between x710 and xxv710 NIC."
67
68 # VPP Compare NICs 3n-skx 4t2c ndr
69 - type: "table"
70   title: "VPP Compare NICs 3n-skx 4t2c ndr"
71   algorithm: "table_comparison"
72   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-ndr"
73   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
74   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
75   columns:
76     - title: "x710"
77       data-set: "vpp-nic-comparison-3n-skx"
78       tag: "NIC_Intel-X710"
79     - title: "xxv710"
80       data-set: "vpp-nic-comparison-3n-skx"
81       tag: "NIC_Intel-XXV710"
82   comparisons:
83     - title: "Diff"
84       reference: 1
85       compare: 2
86   legend:
87     - ""
88     - "x710, xxv710 - NICs tested."
89     - "Diff - difference between x710 and xxv710 NIC."
90
91 # VPP Compare NICs 3n-skx 2t1c pdr
92 - type: "table"
93   title: "VPP Compare NICs 3n-skx 2t1c pdr"
94   algorithm: "table_comparison"
95   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-pdr"
96   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
97   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
98   columns:
99     - title: "x710"
100       data-set: "vpp-nic-comparison-3n-skx"
101       tag: "NIC_Intel-X710"
102     - title: "xxv710"
103       data-set: "vpp-nic-comparison-3n-skx"
104       tag: "NIC_Intel-XXV710"
105   comparisons:
106     - title: "Diff"
107       reference: 1
108       compare: 2
109   legend:
110     - ""
111     - "x710, xxv710 - NICs tested."
112     - "Diff - difference between x710 and xxv710 NIC."
113
114 # VPP Compare NICs 3n-skx 4t2c pdr
115 - type: "table"
116   title: "VPP Compare NICs 3n-skx 4t2c pdr"
117   algorithm: "table_comparison"
118   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-pdr"
119   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
120   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
121   columns:
122     - title: "x710"
123       data-set: "vpp-nic-comparison-3n-skx"
124       tag: "NIC_Intel-X710"
125     - title: "xxv710"
126       data-set: "vpp-nic-comparison-3n-skx"
127       tag: "NIC_Intel-XXV710"
128   comparisons:
129     - title: "Diff"
130       reference: 1
131       compare: 2
132   legend:
133     - ""
134     - "x710, xxv710 - NICs tested."
135     - "Diff - difference between x710 and xxv710 NIC."
136
137 # VPP Compare NICs 3n-skx 2t1c mrr
138 - type: "table"
139   title: "VPP Compare NICs 3n-skx 2t1c mrr"
140   algorithm: "table_comparison"
141   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-mrr"
142   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
143   filter: "'2T1C' and 'MRR' and not 'NF_DENSITY'"
144   columns:
145     - title: "x710"
146       data-set: "vpp-nic-comparison-3n-skx-mrr"
147       tag: "NIC_Intel-X710"
148     - title: "xxv710"
149       data-set: "vpp-nic-comparison-3n-skx-mrr"
150       tag: "NIC_Intel-XXV710"
151   comparisons:
152     - title: "Diff"
153       reference: 1
154       compare: 2
155   legend:
156     - ""
157     - "x710, xxv710 - NICs tested."
158     - "Diff - difference between x710 and xxv710 NIC."
159
160 # VPP Compare NICs 3n-skx 4t2c mrr
161 - type: "table"
162   title: "VPP Compare NICs 3n-skx 4t2c mrr"
163   algorithm: "table_comparison"
164   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-mrr"
165   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
166   filter: "'4T2C' and 'MRR' and not 'NF_DENSITY'"
167   columns:
168     - title: "x710"
169       data-set: "vpp-nic-comparison-3n-skx-mrr"
170       tag: "NIC_Intel-X710"
171     - title: "xxv710"
172       data-set: "vpp-nic-comparison-3n-skx-mrr"
173       tag: "NIC_Intel-XXV710"
174   comparisons:
175     - title: "Diff"
176       reference: 1
177       compare: 2
178   legend:
179     - ""
180     - "x710, xxv710 - NICs tested."
181     - "Diff - difference between x710 and xxv710 NIC."
182
183 # VPP Compare NICs 3n-skx 8t4c mrr
184 - type: "table"
185   title: "VPP Compare NICs 3n-skx 8t4c mrr"
186   algorithm: "table_comparison"
187   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-8t4c-nics-mrr"
188   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
189   filter: "'8T4C' and 'MRR' and not 'NF_DENSITY'"
190   columns:
191     - title: "x710"
192       data-set: "vpp-nic-comparison-3n-skx-mrr"
193       tag: "NIC_Intel-X710"
194     - title: "xxv710"
195       data-set: "vpp-nic-comparison-3n-skx-mrr"
196       tag: "NIC_Intel-XXV710"
197   comparisons:
198     - title: "Diff"
199       reference: 1
200       compare: 2
201   legend:
202     - ""
203     - "x710, xxv710 - NICs tested."
204     - "Diff - difference between x710 and xxv710 NIC."
205
206 # VPP Compare NICs 2n-skx 2t1c ndr
207 - type: "table"
208   title: "VPP Compare NICs 2n-skx 2t1c ndr"
209   algorithm: "table_comparison"
210   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-nics-ndr"
211   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
212   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
213   columns:
214     - title: "x710"
215       data-set: "vpp-nic-comparison-2n-skx"
216       tag: "NIC_Intel-X710"
217     - title: "xxv710"
218       data-set: "vpp-nic-comparison-2n-skx"
219       tag: "NIC_Intel-XXV710"
220   comparisons:
221     - title: "Diff"
222       reference: 1
223       compare: 2
224   legend:
225     - ""
226     - "x710, xxv710 - NICs tested."
227     - "Diff - difference between x710 and xxv710 NIC."
228
229 # VPP Compare NICs 2n-skx 4t2c ndr
230 - type: "table"
231   title: "VPP Compare NICs 2n-skx 4t2c ndr"
232   algorithm: "table_comparison"
233   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-nics-ndr"
234   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
235   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
236   columns:
237     - title: "x710"
238       data-set: "vpp-nic-comparison-2n-skx"
239       tag: "NIC_Intel-X710"
240     - title: "xxv710"
241       data-set: "vpp-nic-comparison-2n-skx"
242       tag: "NIC_Intel-XXV710"
243   comparisons:
244     - title: "Diff"
245       reference: 1
246       compare: 2
247   legend:
248     - ""
249     - "x710, xxv710 - NICs tested."
250     - "Diff - difference between x710 and xxv710 NIC."
251
252 # VPP Compare NICs 2n-skx 2t1c pdr
253 - type: "table"
254   title: "VPP Compare NICs 2n-skx 2t1c pdr"
255   algorithm: "table_comparison"
256   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-nics-pdr"
257   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
258   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
259   columns:
260     - title: "x710"
261       data-set: "vpp-nic-comparison-2n-skx"
262       tag: "NIC_Intel-X710"
263     - title: "xxv710"
264       data-set: "vpp-nic-comparison-2n-skx"
265       tag: "NIC_Intel-XXV710"
266   comparisons:
267     - title: "Diff"
268       reference: 1
269       compare: 2
270   legend:
271     - ""
272     - "x710, xxv710 - NICs tested."
273     - "Diff - difference between x710 and xxv710 NIC."
274
275 # VPP Compare NICs 2n-skx 4t2c pdr
276 - type: "table"
277   title: "VPP Compare NICs 2n-skx 4t2c pdr"
278   algorithm: "table_comparison"
279   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-nics-pdr"
280   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
281   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
282   columns:
283     - title: "x710"
284       data-set: "vpp-nic-comparison-2n-skx"
285       tag: "NIC_Intel-X710"
286     - title: "xxv710"
287       data-set: "vpp-nic-comparison-2n-skx"
288       tag: "NIC_Intel-XXV710"
289   comparisons:
290     - title: "Diff"
291       reference: 1
292       compare: 2
293   legend:
294     - ""
295     - "x710, xxv710 - NICs tested."
296     - "Diff - difference between x710 and xxv710 NIC."
297
298 # VPP Compare NICs 2n-skx 2t1c mrr
299 - type: "table"
300   title: "VPP Compare NICs 2n-skx 2t1c mrr"
301   algorithm: "table_comparison"
302   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-nics-mrr"
303   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
304   filter: "'2T1C' and 'MRR' and not 'NF_DENSITY'"
305   columns:
306     - title: "x710"
307       data-set: "vpp-nic-comparison-2n-skx-mrr"
308       tag: "NIC_Intel-X710"
309     - title: "xxv710"
310       data-set: "vpp-nic-comparison-2n-skx-mrr"
311       tag: "NIC_Intel-XXV710"
312   comparisons:
313     - title: "Diff"
314       reference: 1
315       compare: 2
316   legend:
317     - ""
318     - "x710, xxv710 - NICs tested."
319     - "Diff - difference between x710 and xxv710 NIC."
320
321 # VPP Compare NICs 2n-skx 4t2c mrr
322 - type: "table"
323   title: "VPP Compare NICs 2n-skx 4t2c mrr"
324   algorithm: "table_comparison"
325   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-nics-mrr"
326   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
327   filter: "'4T2C' and 'MRR' and not 'NF_DENSITY'"
328   columns:
329     - title: "x710"
330       data-set: "vpp-nic-comparison-2n-skx-mrr"
331       tag: "NIC_Intel-X710"
332     - title: "xxv710"
333       data-set: "vpp-nic-comparison-2n-skx-mrr"
334       tag: "NIC_Intel-XXV710"
335   comparisons:
336     - title: "Diff"
337       reference: 1
338       compare: 2
339   legend:
340     - ""
341     - "x710, xxv710 - NICs tested."
342     - "Diff - difference between x710 and xxv710 NIC."
343
344 # VPP Compare NICs 2n-skx 8t4c mrr
345 - type: "table"
346   title: "VPP Compare NICs 2n-skx 8t4c mrr"
347   algorithm: "table_comparison"
348   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-8t4c-nics-mrr"
349   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
350   filter: "'8T4C' and 'MRR' and not 'NF_DENSITY'"
351   columns:
352     - title: "x710"
353       data-set: "vpp-nic-comparison-2n-skx-mrr"
354       tag: "NIC_Intel-X710"
355     - title: "xxv710"
356       data-set: "vpp-nic-comparison-2n-skx-mrr"
357       tag: "NIC_Intel-XXV710"
358   comparisons:
359     - title: "Diff"
360       reference: 1
361       compare: 2
362   legend:
363     - ""
364     - "x710, xxv710 - NICs tested."
365     - "Diff - difference between x710 and xxv710 NIC."
366
367 ################################################################################
368 # VPP
369
370 # VPP Performance Changes 3n-hsw 1t1c pdr
371 - type: "table"
372   title: "VPP Performance Changes 3n-hsw 1t1c pdr"
373   algorithm: "table_comparison"
374   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-1t1c-pdr"
375   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
376   filter: "'1T1C' and 'NDRPDR' and 'NIC_Intel-XL710' and not 'NF_DENSITY'"
377   columns:
378     - title: "2005.0-5"
379       data-set: "vpp-performance-changes-3n-hsw-h1"
380     - title: "2009.0-5"
381       data-set: "vpp-performance-changes-3n-hsw-ref-env-old"
382     - title: "2009.0-6"
383       data-set: "vpp-performance-changes-3n-hsw-ref-env-new"
384     - title: "2101.0-6"
385       data-set: "vpp-performance-changes-3n-hsw-cmp"
386   comparisons:
387     - title: "2009.0-6 vs 2009.0-5"
388       reference: 2
389       compare: 3
390 #      rca-file: "rca/rca-3n-hsw-1t1c-pdr-rca1.yaml"
391     - title: "2101.0-6 vs 2009.0-6"
392       reference: 3
393       compare: 4
394 #      rca-file: "rca/rca-3n-hsw-1t1c-pdr-rca2.yaml"
395   legend:
396     - ''
397     - 'Test Case:            Test cases executed for: PDR throughput on 3n-hsw with xl710.'
398     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "5" for CSIT rls2009, "6" for CSIT rls2101).'
399     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
400     - '2009.0-6 vs 2009.0-5: Compares CSIT environment current vs previous with previous VPP code.'
401     - '2101.0-6 vs 2009.0-6: Compares VPP code current vs previous in the current CSIT environment.'
402
403 # VPP Performance Changes 3n-hsw 2t2c pdr
404 - type: "table"
405   title: "VPP Performance Changes 3n-hsw 2t2c pdr"
406   algorithm: "table_comparison"
407   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-2t2c-pdr"
408   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
409   filter: "'2T2C' and 'NDRPDR' and 'NIC_Intel-XL710' and not 'NF_DENSITY'"
410   columns:
411     - title: "2005.0-5"
412       data-set: "vpp-performance-changes-3n-hsw-h1"
413     - title: "2009.0-5"
414       data-set: "vpp-performance-changes-3n-hsw-ref-env-old"
415     - title: "2009.0-6"
416       data-set: "vpp-performance-changes-3n-hsw-ref-env-new"
417     - title: "2101.0-6"
418       data-set: "vpp-performance-changes-3n-hsw-cmp"
419   comparisons:
420     - title: "2009.0-6 vs 2009.0-5"
421       reference: 2
422       compare: 3
423 #      rca-file: "rca/rca-3n-hsw-2t2c-pdr-rca1.yaml"
424     - title: "2101.0-6 vs 2009.0-6"
425       reference: 3
426       compare: 4
427 #      rca-file: "rca/rca-3n-hsw-2t2c-pdr-rca2.yaml"
428   legend:
429     - ''
430     - 'Test Case:            Test cases executed for: PDR throughput on 3n-hsw with xl710.'
431     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "5" for CSIT rls2009, "6" for CSIT rls2101).'
432     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
433     - '2009.0-6 vs 2009.0-5: Compares CSIT environment current vs previous with previous VPP code.'
434     - '2101.0-6 vs 2009.0-6: Compares VPP code current vs previous in the current CSIT environment.'
435
436 # VPP Performance Changes 3n-hsw 1t1c ndr
437 - type: "table"
438   title: "VPP Performance Changes 3n-hsw 1t1c ndr"
439   algorithm: "table_comparison"
440   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-1t1c-ndr"
441   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
442   filter: "'1T1C' and 'NDRPDR' and 'NIC_Intel-XL710' and not 'NF_DENSITY'"
443   columns:
444     - title: "2005.0-5"
445       data-set: "vpp-performance-changes-3n-hsw-h1"
446     - title: "2009.0-5"
447       data-set: "vpp-performance-changes-3n-hsw-ref-env-old"
448     - title: "2009.0-6"
449       data-set: "vpp-performance-changes-3n-hsw-ref-env-new"
450     - title: "2101.0-6"
451       data-set: "vpp-performance-changes-3n-hsw-cmp"
452   comparisons:
453     - title: "2009.0-6 vs 2009.0-5"
454       reference: 2
455       compare: 3
456 #      rca-file: "rca/rca-3n-hsw-1t1c-ndr-rca1.yaml"
457     - title: "2101.0-6 vs 2009.0-6"
458       reference: 3
459       compare: 4
460 #      rca-file: "rca/rca-3n-hsw-1t1c-ndr-rca2.yaml"
461   legend:
462     - ''
463     - 'Test Case:            Test cases executed for: NDR throughput on 3n-hsw with xl710.'
464     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "5" for CSIT rls2009, "6" for CSIT rls2101).'
465     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
466     - '2009.0-6 vs 2009.0-5: Compares CSIT environment current vs previous with previous VPP code.'
467     - '2101.0-6 vs 2009.0-6: Compares VPP code current vs previous in the current CSIT environment.'
468
469 # VPP Performance Changes 3n-hsw 2t2c ndr
470 - type: "table"
471   title: "VPP Performance Changes 3n-hsw 2t2c ndr"
472   algorithm: "table_comparison"
473   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-2t2c-ndr"
474   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
475   filter: "'2T2C' and 'NDRPDR' and 'NIC_Intel-XL710' and not 'NF_DENSITY'"
476   columns:
477     - title: "2005.0-5"
478       data-set: "vpp-performance-changes-3n-hsw-h1"
479     - title: "2009.0-5"
480       data-set: "vpp-performance-changes-3n-hsw-ref-env-old"
481     - title: "2009.0-6"
482       data-set: "vpp-performance-changes-3n-hsw-ref-env-new"
483     - title: "2101.0-6"
484       data-set: "vpp-performance-changes-3n-hsw-cmp"
485   comparisons:
486     - title: "2009.0-6 vs 2009.0-5"
487       reference: 2
488       compare: 3
489 #      rca-file: "rca/rca-3n-hsw-2t2c-ndr-rca1.yaml"
490     - title: "2101.0-6 vs 2009.0-6"
491       reference: 3
492       compare: 4
493 #      rca-file: "rca/rca-3n-hsw-2t2c-ndr-rca2.yaml"
494   legend:
495     - ''
496     - 'Test Case:            Test cases executed for: NDR throughput on 3n-hsw with xl710.'
497     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "5" for CSIT rls2009, "6" for CSIT rls2101).'
498     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
499     - '2009.0-6 vs 2009.0-5: Compares CSIT environment current vs previous with previous VPP code.'
500     - '2101.0-6 vs 2009.0-6: Compares VPP code current vs previous in the current CSIT environment.'
501
502 # VPP Performance Changes 3n-skx 2t1c pdr
503 - type: "table"
504   title: "VPP Performance Changes 3n-skx 2t1c pdr"
505   algorithm: "table_comparison"
506   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-pdr"
507   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
508   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
509   columns:
510     - title: "2005.0-5"
511       data-set: "vpp-performance-changes-3n-skx-h1"
512     - title: "2009.0-5"
513       data-set: "vpp-performance-changes-3n-skx-ref-env-old"
514     - title: "2009.0-6"
515       data-set: "vpp-performance-changes-3n-skx-ref-env-new"
516     - title: "2101.0-6"
517       data-set: "vpp-performance-changes-3n-skx-cmp"
518   comparisons:
519     - title: "2009.0-6 vs 2009.0-5"
520       reference: 2
521       compare: 3
522 #      rca-file: "rca/rca-3n-skx-2t1c-pdr-rca1.yaml"
523     - title: "2101.0-6 vs 2009.0-6"
524       reference: 3
525       compare: 4
526 #      rca-file: "rca/rca-3n-skx-2t1c-pdr-rca2.yaml"
527   legend:
528     - ''
529     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
530     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "5" for CSIT rls2009, "6" for CSIT rls2101).'
531     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
532     - '2009.0-6 vs 2009.0-5: Compares CSIT environment current vs previous with previous VPP code.'
533     - '2101.0-6 vs 2009.0-6: Compares VPP code current vs previous in the current CSIT environment.'
534
535 # VPP Performance Changes 3n-skx 4t2c pdr
536 - type: "table"
537   title: "VPP Performance Changes 3n-skx 4t2c pdr"
538   algorithm: "table_comparison"
539   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-pdr"
540   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
541   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
542   columns:
543     - title: "2005.0-5"
544       data-set: "vpp-performance-changes-3n-skx-h1"
545     - title: "2009.0-5"
546       data-set: "vpp-performance-changes-3n-skx-ref-env-old"
547     - title: "2009.0-6"
548       data-set: "vpp-performance-changes-3n-skx-ref-env-new"
549     - title: "2101.0-6"
550       data-set: "vpp-performance-changes-3n-skx-cmp"
551   comparisons:
552     - title: "2009.0-6 vs 2009.0-5"
553       reference: 2
554       compare: 3
555 #      rca-file: "rca/rca-3n-skx-4t2c-pdr-rca1.yaml"
556     - title: "2101.0-6 vs 2009.0-6"
557       reference: 3
558       compare: 4
559 #      rca-file: "rca/rca-3n-skx-4t2c-pdr-rca2.yaml"
560   legend:
561     - ''
562     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
563     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "5" for CSIT rls2009, "6" for CSIT rls2101).'
564     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
565     - '2009.0-6 vs 2009.0-5: Compares CSIT environment current vs previous with previous VPP code.'
566     - '2101.0-6 vs 2009.0-6: Compares VPP code current vs previous in the current CSIT environment.'
567
568 # VPP Performance Changes 3n-skx 2t1c ndr
569 - type: "table"
570   title: "VPP Performance Changes 3n-skx 2t1c ndr"
571   algorithm: "table_comparison"
572   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-ndr"
573   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
574   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
575   columns:
576     - title: "2005.0-5"
577       data-set: "vpp-performance-changes-3n-skx-h1"
578     - title: "2009.0-5"
579       data-set: "vpp-performance-changes-3n-skx-ref-env-old"
580     - title: "2009.0-6"
581       data-set: "vpp-performance-changes-3n-skx-ref-env-new"
582     - title: "2101.0-6"
583       data-set: "vpp-performance-changes-3n-skx-cmp"
584   comparisons:
585     - title: "2009.0-6 vs 2009.0-5"
586       reference: 2
587       compare: 3
588 #      rca-file: "rca/rca-3n-skx-2t1c-ndr-rca1.yaml"
589     - title: "2101.0-6 vs 2009.0-6"
590       reference: 3
591       compare: 4
592 #      rca-file: "rca/rca-3n-skx-2t1c-ndr-rca2.yaml"
593   legend:
594     - ''
595     - 'Test Case:            Test cases executed for: NDR throughput on 3n-skx with xxv710.'
596     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "5" for CSIT rls2009, "6" for CSIT rls2101).'
597     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
598     - '2009.0-6 vs 2009.0-5: Compares CSIT environment current vs previous with previous VPP code.'
599     - '2101.0-6 vs 2009.0-6: Compares VPP code current vs previous in the current CSIT environment.'
600
601 # VPP Performance Changes 3n-skx 4t2c ndr
602 - type: "table"
603   title: "VPP Performance Changes 3n-skx 4t2c ndr"
604   algorithm: "table_comparison"
605   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-ndr"
606   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
607   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
608   columns:
609     - title: "2005.0-5"
610       data-set: "vpp-performance-changes-3n-skx-h1"
611     - title: "2009.0-5"
612       data-set: "vpp-performance-changes-3n-skx-ref-env-old"
613     - title: "2009.0-6"
614       data-set: "vpp-performance-changes-3n-skx-ref-env-new"
615     - title: "2101.0-6"
616       data-set: "vpp-performance-changes-3n-skx-cmp"
617   comparisons:
618     - title: "2009.0-6 vs 2009.0-5"
619       reference: 2
620       compare: 3
621 #      rca-file: "rca/rca-3n-skx-4t2c-ndr-rca1.yaml"
622     - title: "2101.0-6 vs 2009.0-6"
623       reference: 3
624       compare: 4
625 #      rca-file: "rca/rca-3n-skx-4t2c-ndr-rca2.yaml"
626   legend:
627     - ''
628     - 'Test Case:            Test cases executed for: NDR throughput on 3n-skx with xxv710.'
629     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "5" for CSIT rls2009, "6" for CSIT rls2101).'
630     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
631     - '2009.0-6 vs 2009.0-5: Compares CSIT environment current vs previous with previous VPP code.'
632     - '2101.0-6 vs 2009.0-6: Compares VPP code current vs previous in the current CSIT environment.'
633
634 # VPP Performance Changes 2n-skx 2t1c pdr
635 - type: "table"
636   title: "VPP Performance Changes 2n-skx 2t1c pdr"
637   algorithm: "table_comparison"
638   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-pdr"
639   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
640   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
641   columns:
642     - title: "2005.0-5"
643       data-set: "vpp-performance-changes-2n-skx-h1"
644     - title: "2009.0-5"
645       data-set: "vpp-performance-changes-2n-skx-ref-env-old"
646     - title: "2009.0-6"
647       data-set: "vpp-performance-changes-2n-skx-ref-env-new"
648     - title: "2101.0-6"
649       data-set: "vpp-performance-changes-2n-skx-cmp"
650   comparisons:
651     - title: "2009.0-6 vs 2009.0-5"
652       reference: 2
653       compare: 3
654 #      rca-file: "rca/rca-2n-skx-2t1c-pdr-rca1.yaml"
655     - title: "2101.0-6 vs 2009.0-6"
656       reference: 3
657       compare: 4
658 #      rca-file: "rca/rca-2n-skx-2t1c-pdr-rca2.yaml"
659   legend:
660     - ''
661     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
662     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "5" for CSIT rls2009, "6" for CSIT rls2101).'
663     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
664     - '2009.0-6 vs 2009.0-5: Compares CSIT environment current vs previous with previous VPP code.'
665     - '2101.0-6 vs 2009.0-6: Compares VPP code current vs previous in the current CSIT environment.'
666
667 # VPP Performance Changes 2n-skx 4t2c pdr
668 - type: "table"
669   title: "VPP Performance Changes 2n-skx 4t2c pdr"
670   algorithm: "table_comparison"
671   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-pdr"
672   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
673   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
674   columns:
675     - title: "2005.0-5"
676       data-set: "vpp-performance-changes-2n-skx-h1"
677     - title: "2009.0-5"
678       data-set: "vpp-performance-changes-2n-skx-ref-env-old"
679     - title: "2009.0-6"
680       data-set: "vpp-performance-changes-2n-skx-ref-env-new"
681     - title: "2101.0-6"
682       data-set: "vpp-performance-changes-2n-skx-cmp"
683   comparisons:
684     - title: "2009.0-6 vs 2009.0-5"
685       reference: 2
686       compare: 3
687 #      rca-file: "rca/rca-2n-skx-4t2c-pdr-rca1.yaml"
688     - title: "2101.0-6 vs 2009.0-6"
689       reference: 3
690       compare: 4
691 #      rca-file: "rca/rca-2n-skx-4t2c-pdr-rca2.yaml"
692   legend:
693     - ''
694     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
695     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "5" for CSIT rls2009, "6" for CSIT rls2101).'
696     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
697     - '2009.0-6 vs 2009.0-5: Compares CSIT environment current vs previous with previous VPP code.'
698     - '2101.0-6 vs 2009.0-6: Compares VPP code current vs previous in the current CSIT environment.'
699
700 # VPP Performance Changes 2n-skx 2t1c ndr
701 - type: "table"
702   title: "VPP Performance Changes 2n-skx 2t1c ndr"
703   algorithm: "table_comparison"
704   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-ndr"
705   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
706   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
707   columns:
708     - title: "2005.0-5"
709       data-set: "vpp-performance-changes-2n-skx-h1"
710     - title: "2009.0-5"
711       data-set: "vpp-performance-changes-2n-skx-ref-env-old"
712     - title: "2009.0-6"
713       data-set: "vpp-performance-changes-2n-skx-ref-env-new"
714     - title: "2101.0-6"
715       data-set: "vpp-performance-changes-2n-skx-cmp"
716   comparisons:
717     - title: "2009.0-6 vs 2009.0-5"
718       reference: 2
719       compare: 3
720 #      rca-file: "rca/rca-2n-skx-2t1c-ndr-rca1.yaml"
721     - title: "2101.0-6 vs 2009.0-6"
722       reference: 3
723       compare: 4
724 #      rca-file: "rca/rca-2n-skx-2t1c-ndr-rca2.yaml"
725   legend:
726     - ''
727     - 'Test Case:            Test cases executed for: NDR throughput on 2n-skx with xxv710.'
728     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "5" for CSIT rls2009, "6" for CSIT rls2101).'
729     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
730     - '2009.0-6 vs 2009.0-5: Compares CSIT environment current vs previous with previous VPP code.'
731     - '2101.0-6 vs 2009.0-6: Compares VPP code current vs previous in the current CSIT environment.'
732
733 # VPP Performance Changes 2n-skx 4t2c ndr
734 - type: "table"
735   title: "VPP Performance Changes 2n-skx 4t2c ndr"
736   algorithm: "table_comparison"
737   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-ndr"
738   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
739   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
740   columns:
741     - title: "2005.0-5"
742       data-set: "vpp-performance-changes-2n-skx-h1"
743     - title: "2009.0-5"
744       data-set: "vpp-performance-changes-2n-skx-ref-env-old"
745     - title: "2009.0-6"
746       data-set: "vpp-performance-changes-2n-skx-ref-env-new"
747     - title: "2101.0-6"
748       data-set: "vpp-performance-changes-2n-skx-cmp"
749   comparisons:
750     - title: "2009.0-6 vs 2009.0-5"
751       reference: 2
752       compare: 3
753 #      rca-file: "rca/rca-2n-skx-4t2c-ndr-rca1.yaml"
754     - title: "2101.0-6 vs 2009.0-6"
755       reference: 3
756       compare: 4
757 #      rca-file: "rca/rca-2n-skx-4t2c-ndr-rca2.yaml"
758   legend:
759     - ''
760     - 'Test Case:            Test cases executed for: NDR throughput on 2n-skx with xxv710.'
761     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "5" for CSIT rls2009, "6" for CSIT rls2101).'
762     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
763     - '2009.0-6 vs 2009.0-5: Compares CSIT environment current vs previous with previous VPP code.'
764     - '2101.0-6 vs 2009.0-6: Compares VPP code current vs previous in the current CSIT environment.'
765
766 # VPP Performance Changes 2n-clx-xxv710 2t1c pdr
767 - type: "table"
768   title: "VPP Performance Changes 2n-clx-xxv710 2t1c pdr"
769   algorithm: "table_comparison"
770   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-xxv710-2t1c-pdr"
771   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
772   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
773   columns:
774     - title: "2005.0-5"
775       data-set: "vpp-performance-changes-2n-clx-h1"
776     - title: "2009.0-5"
777       data-set: "vpp-performance-changes-2n-clx-ref-env-old"
778     - title: "2009.0-6"
779       data-set: "vpp-performance-changes-2n-clx-ref-env-new"
780     - title: "2101.0-6"
781       data-set: "vpp-performance-changes-2n-clx-cmp"
782   comparisons:
783     - title: "2009.0-6 vs 2009.0-5"
784       reference: 2
785       compare: 3
786 #      rca-file: "rca/rca-2n-clx-2t1c-pdr-rca1.yaml"
787     - title: "2101.0-6 vs 2009.0-6"
788       reference: 3
789       compare: 4
790 #      rca-file: "rca/rca-2n-clx-2t1c-pdr-rca1.yaml"
791   legend:
792     - ''
793     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
794     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "5" for CSIT rls2009, "6" for CSIT rls2101).'
795     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
796     - '2009.0-6 vs 2009.0-5: Compares CSIT environment current vs previous with previous VPP code.'
797     - '2101.0-6 vs 2009.0-6: Compares VPP code current vs previous in the current CSIT environment.'
798
799 # VPP Performance Changes 2n-clx-xxv710 4t2c pdr
800 - type: "table"
801   title: "VPP Performance Changes 2n-clx-xxv710 4t2c pdr"
802   algorithm: "table_comparison"
803   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-xxv710-4t2c-pdr"
804   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
805   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
806   columns:
807     - title: "2005.0-5"
808       data-set: "vpp-performance-changes-2n-clx-h1"
809     - title: "2009.0-5"
810       data-set: "vpp-performance-changes-2n-clx-ref-env-old"
811     - title: "2009.0-6"
812       data-set: "vpp-performance-changes-2n-clx-ref-env-new"
813     - title: "2101.0-6"
814       data-set: "vpp-performance-changes-2n-clx-cmp"
815   comparisons:
816     - title: "2009.0-6 vs 2009.0-5"
817       reference: 2
818       compare: 3
819 #      rca-file: "rca/rca-2n-clx-4t2c-pdr-rca1.yaml"
820     - title: "2101.0-6 vs 2009.0-6"
821       reference: 3
822       compare: 4
823 #      rca-file: "rca/rca-2n-clx-4t2c-pdr-rca1.yaml"
824   legend:
825     - ''
826     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
827     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "5" for CSIT rls2009, "6" for CSIT rls2101).'
828     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
829     - '2009.0-6 vs 2009.0-5: Compares CSIT environment current vs previous with previous VPP code.'
830     - '2101.0-6 vs 2009.0-6: Compares VPP code current vs previous in the current CSIT environment.'
831
832 # VPP Performance Changes 2n-clx-xxv710 2t1c ndr
833 - type: "table"
834   title: "VPP Performance Changes 2n-clx-xxv710 2t1c ndr"
835   algorithm: "table_comparison"
836   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-xxv710-2t1c-ndr"
837   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
838   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
839   columns:
840     - title: "2005.0-5"
841       data-set: "vpp-performance-changes-2n-clx-h1"
842     - title: "2009.0-5"
843       data-set: "vpp-performance-changes-2n-clx-ref-env-old"
844     - title: "2009.0-6"
845       data-set: "vpp-performance-changes-2n-clx-ref-env-new"
846     - title: "2101.0-6"
847       data-set: "vpp-performance-changes-2n-clx-cmp"
848   comparisons:
849     - title: "2009.0-6 vs 2009.0-5"
850       reference: 2
851       compare: 3
852 #      rca-file: "rca/rca-2n-clx-2t1c-ndr-rca1.yaml"
853     - title: "2101.0-6 vs 2009.0-6"
854       reference: 3
855       compare: 4
856 #      rca-file: "rca/rca-2n-clx-2t1c-ndr-rca1.yaml"
857   legend:
858     - ''
859     - 'Test Case:            Test cases executed for: NDR throughput on 2n-clx with xxv710.'
860     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "5" for CSIT rls2009, "6" for CSIT rls2101).'
861     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
862     - '2009.0-6 vs 2009.0-5: Compares CSIT environment current vs previous with previous VPP code.'
863     - '2101.0-6 vs 2009.0-6: Compares VPP code current vs previous in the current CSIT environment.'
864
865 # VPP Performance Changes 2n-clx-xxv710 4t2c ndr
866 - type: "table"
867   title: "VPP Performance Changes 2n-clx-xxv710 ndr"
868   algorithm: "table_comparison"
869   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-xxv710-4t2c-ndr"
870   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
871   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
872   columns:
873     - title: "2005.0-5"
874       data-set: "vpp-performance-changes-2n-clx-h1"
875     - title: "2009.0-5"
876       data-set: "vpp-performance-changes-2n-clx-ref-env-old"
877     - title: "2009.0-6"
878       data-set: "vpp-performance-changes-2n-clx-ref-env-new"
879     - title: "2101.0-6"
880       data-set: "vpp-performance-changes-2n-clx-cmp"
881   comparisons:
882     - title: "2009.0-6 vs 2009.0-5"
883       reference: 2
884       compare: 3
885 #      rca-file: "rca/rca-2n-clx-4t2c-ndr-rca1.yaml"
886     - title: "2101.0-6 vs 2009.0-6"
887       reference: 3
888       compare: 4
889 #      rca-file: "rca/rca-2n-clx-4t2c-ndr-rca1.yaml"
890   legend:
891     - ''
892     - 'Test Case:            Test cases executed for: NDR throughput on 2n-clx with xxv710.'
893     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "5" for CSIT rls2009, "6" for CSIT rls2101).'
894     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
895     - '2009.0-6 vs 2009.0-5: Compares CSIT environment current vs previous with previous VPP code.'
896     - '2101.0-6 vs 2009.0-6: Compares VPP code current vs previous in the current CSIT environment.'
897
898 # VPP Performance Changes 2n-clx-cx556a 2t1c pdr
899 - type: "table"
900   title: "VPP Performance Changes 2n-clx-cx556a 2t1c pdr"
901   algorithm: "table_comparison"
902   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-cx556a-2t1c-pdr"
903   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
904   filter: "'2T1C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
905   columns:
906     - title: "2005.0-5"
907       data-set: "vpp-performance-changes-2n-clx-h1"
908     - title: "2009.0-5"
909       data-set: "vpp-performance-changes-2n-clx-ref-env-old"
910     - title: "2009.0-6"
911       data-set: "vpp-performance-changes-2n-clx-ref-env-new"
912     - title: "2101.0-6"
913       data-set: "vpp-performance-changes-2n-clx-cmp"
914   comparisons:
915     - title: "2009.0-6 vs 2009.0-5"
916       reference: 2
917       compare: 3
918 #      rca-file: "rca/rca-2n-clx-2t1c-pdr-rca2.yaml"
919     - title: "2101.0-6 vs 2009.0-6"
920       reference: 3
921       compare: 4
922 #      rca-file: "rca/rca-2n-clx-2t1c-pdr-rca2.yaml"
923   legend:
924     - ''
925     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
926     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "5" for CSIT rls2009, "6" for CSIT rls2101).'
927     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
928     - '2009.0-6 vs 2009.0-5: Compares CSIT environment current vs previous with previous VPP code.'
929     - '2101.0-6 vs 2009.0-6: Compares VPP code current vs previous in the current CSIT environment.'
930
931 # VPP Performance Changes 2n-clx-cx556a 4t2c pdr
932 - type: "table"
933   title: "VPP Performance Changes 2n-clx-cx556a 4t2c pdr"
934   algorithm: "table_comparison"
935   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-cx556a-4t2c-pdr"
936   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
937   filter: "'4T2C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
938   columns:
939     - title: "2005.0-5"
940       data-set: "vpp-performance-changes-2n-clx-h1"
941     - title: "2009.0-5"
942       data-set: "vpp-performance-changes-2n-clx-ref-env-old"
943     - title: "2009.0-6"
944       data-set: "vpp-performance-changes-2n-clx-ref-env-new"
945     - title: "2101.0-6"
946       data-set: "vpp-performance-changes-2n-clx-cmp"
947   comparisons:
948     - title: "2009.0-6 vs 2009.0-5"
949       reference: 2
950       compare: 3
951 #      rca-file: "rca/rca-2n-clx-4t2c-pdr-rca2.yaml"
952     - title: "2101.0-6 vs 2009.0-6"
953       reference: 3
954       compare: 4
955 #      rca-file: "rca/rca-2n-clx-4t2c-pdr-rca2.yaml"
956   legend:
957     - ''
958     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
959     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "5" for CSIT rls2009, "6" for CSIT rls2101).'
960     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
961     - '2009.0-6 vs 2009.0-5: Compares CSIT environment current vs previous with previous VPP code.'
962     - '2101.0-6 vs 2009.0-6: Compares VPP code current vs previous in the current CSIT environment.'
963
964 # VPP Performance Changes 2n-clx-cx556a 2t1c ndr
965 - type: "table"
966   title: "VPP Performance Changes 2n-clx-cx556a 2t1c ndr"
967   algorithm: "table_comparison"
968   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-cx556a-2t1c-ndr"
969   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
970   filter: "'2T1C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
971   columns:
972     - title: "2005.0-5"
973       data-set: "vpp-performance-changes-2n-clx-h1"
974     - title: "2009.0-5"
975       data-set: "vpp-performance-changes-2n-clx-ref-env-old"
976     - title: "2009.0-6"
977       data-set: "vpp-performance-changes-2n-clx-ref-env-new"
978     - title: "2101.0-6"
979       data-set: "vpp-performance-changes-2n-clx-cmp"
980   comparisons:
981     - title: "2009.0-6 vs 2009.0-5"
982       reference: 2
983       compare: 3
984 #      rca-file: "rca/rca-2n-clx-2t1c-ndr-rca2.yaml"
985     - title: "2101.0-6 vs 2009.0-6"
986       reference: 3
987       compare: 4
988 #      rca-file: "rca/rca-2n-clx-2t1c-ndr-rca2.yaml"
989   legend:
990     - ''
991     - 'Test Case:            Test cases executed for: NDR throughput on 2n-clx with cx556a.'
992     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "5" for CSIT rls2009, "6" for CSIT rls2101).'
993     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
994     - '2009.0-6 vs 2009.0-5: Compares CSIT environment current vs previous with previous VPP code.'
995     - '2101.0-6 vs 2009.0-6: Compares VPP code current vs previous in the current CSIT environment.'
996
997 # VPP Performance Changes 2n-clx-cx556a 4t2c ndr
998 - type: "table"
999   title: "VPP Performance Changes 2n-clx-cx556a ndr"
1000   algorithm: "table_comparison"
1001   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-cx556a-4t2c-ndr"
1002   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1003   filter: "'4T2C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
1004   columns:
1005     - title: "2005.0-5"
1006       data-set: "vpp-performance-changes-2n-clx-h1"
1007     - title: "2009.0-5"
1008       data-set: "vpp-performance-changes-2n-clx-ref-env-old"
1009     - title: "2009.0-6"
1010       data-set: "vpp-performance-changes-2n-clx-ref-env-new"
1011     - title: "2101.0-6"
1012       data-set: "vpp-performance-changes-2n-clx-cmp"
1013   comparisons:
1014     - title: "2009.0-6 vs 2009.0-5"
1015       reference: 2
1016       compare: 3
1017 #      rca-file: "rca/rca-2n-clx-4t2c-ndr-rca2.yaml"
1018     - title: "2101.0-6 vs 2009.0-6"
1019       reference: 3
1020       compare: 4
1021 #      rca-file: "rca/rca-2n-clx-4t2c-ndr-rca2.yaml"
1022   legend:
1023     - ''
1024     - 'Test Case:            Test cases executed for: NDR throughput on 2n-clx with cx556a.'
1025     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "5" for CSIT rls2009, "6" for CSIT rls2101).'
1026     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1027     - '2009.0-6 vs 2009.0-5: Compares CSIT environment current vs previous with previous VPP code.'
1028     - '2101.0-6 vs 2009.0-6: Compares VPP code current vs previous in the current CSIT environment.'
1029
1030 # VPP Performance Changes 2n-zn2-xxv710 2t1c pdr
1031 - type: "table"
1032   title: "VPP Performance Changes 2n-zn2-xxv710 2t1c pdr"
1033   algorithm: "table_comparison"
1034   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-zn2-xxv710-2t1c-pdr"
1035   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1036   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
1037   columns:
1038 #     - title: "2005.0-5"
1039 #       data-set: "vpp-performance-changes-2n-zn2-h1"
1040     - title: "2009.0-5"
1041       data-set: "vpp-performance-changes-2n-zn2-ref-env-old"
1042     - title: "2009.0-6"
1043       data-set: "vpp-performance-changes-2n-zn2-ref-env-new"
1044     - title: "2101.0-6"
1045       data-set: "vpp-performance-changes-2n-zn2-cmp"
1046   comparisons:
1047     - title: "2009.0-6 vs 2009.0-5"
1048       reference: 1  # 2
1049       compare: 2  # 3
1050 #      rca-file: "rca/rca-2n-zn2-2t1c-pdr-rca1.yaml"
1051     - title: "2101.0-6 vs 2009.0-6"
1052       reference: 2  # 3
1053       compare: 3  # 4
1054 #      rca-file: "rca/rca-2n-zn2-2t1c-pdr-rca1.yaml"
1055   legend:
1056     - ''
1057     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
1058     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "5" for CSIT rls2009, "6" for CSIT rls2101).'
1059     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1060     - '2009.0-6 vs 2009.0-5: Compares CSIT environment current vs previous with previous VPP code.'
1061     - '2101.0-6 vs 2009.0-6: Compares VPP code current vs previous in the current CSIT environment.'
1062
1063 # VPP Performance Changes 2n-zn2-xxv710 4t2c pdr
1064 - type: "table"
1065   title: "VPP Performance Changes 2n-zn2-xxv710 4t2c pdr"
1066   algorithm: "table_comparison"
1067   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-zn2-xxv710-4t2c-pdr"
1068   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1069   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
1070   columns:
1071 #     - title: "2005.0-5"
1072 #       data-set: "vpp-performance-changes-2n-zn2-h1"
1073     - title: "2009.0-5"
1074       data-set: "vpp-performance-changes-2n-zn2-ref-env-old"
1075     - title: "2009.0-6"
1076       data-set: "vpp-performance-changes-2n-zn2-ref-env-new"
1077     - title: "2101.0-6"
1078       data-set: "vpp-performance-changes-2n-zn2-cmp"
1079   comparisons:
1080     - title: "2009.0-6 vs 2009.0-5"
1081       reference: 1  # 2
1082       compare: 2  # 3
1083 #      rca-file: "rca/rca-2n-zn2-4t2c-pdr-rca1.yaml"
1084     - title: "2101.0-6 vs 2009.0-6"
1085       reference: 2  # 3
1086       compare: 3  # 4
1087 #      rca-file: "rca/rca-2n-zn2-4t2c-pdr-rca1.yaml"
1088   legend:
1089     - ''
1090     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
1091     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "5" for CSIT rls2009, "6" for CSIT rls2101).'
1092     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1093     - '2009.0-6 vs 2009.0-5: Compares CSIT environment current vs previous with previous VPP code.'
1094     - '2101.0-6 vs 2009.0-6: Compares VPP code current vs previous in the current CSIT environment.'
1095
1096 # VPP Performance Changes 2n-zn2-xxv710 2t1c ndr
1097 - type: "table"
1098   title: "VPP Performance Changes 2n-zn2-xxv710 2t1c ndr"
1099   algorithm: "table_comparison"
1100   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-zn2-xxv710-2t1c-ndr"
1101   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1102   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
1103   columns:
1104 #     - title: "2005.0-5"
1105 #       data-set: "vpp-performance-changes-2n-zn2-h1"
1106     - title: "2009.0-5"
1107       data-set: "vpp-performance-changes-2n-zn2-ref-env-old"
1108     - title: "2009.0-6"
1109       data-set: "vpp-performance-changes-2n-zn2-ref-env-new"
1110     - title: "2101.0-6"
1111       data-set: "vpp-performance-changes-2n-zn2-cmp"
1112   comparisons:
1113     - title: "2009.0-6 vs 2009.0-5"
1114       reference: 1  # 2
1115       compare: 2  # 3
1116 #      rca-file: "rca/rca-2n-zn2-2t1c-ndr-rca1.yaml"
1117     - title: "2101.0-6 vs 2009.0-6"
1118       reference: 2  # 3
1119       compare: 3  # 4
1120 #      rca-file: "rca/rca-2n-zn2-2t1c-ndr-rca1.yaml"
1121   legend:
1122     - ''
1123     - 'Test Case:            Test cases executed for: NDR throughput on 2n-zn2 with xxv710.'
1124     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "5" for CSIT rls2009, "6" for CSIT rls2101).'
1125     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1126     - '2009.0-6 vs 2009.0-5: Compares CSIT environment current vs previous with previous VPP code.'
1127     - '2101.0-6 vs 2009.0-6: Compares VPP code current vs previous in the current CSIT environment.'
1128
1129 # VPP Performance Changes 2n-zn2-xxv710 4t2c ndr
1130 - type: "table"
1131   title: "VPP Performance Changes 2n-zn2-xxv710 4t2c ndr"
1132   algorithm: "table_comparison"
1133   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-zn2-xxv710-4t2c-ndr"
1134   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1135   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
1136   columns:
1137 #     - title: "2005.0-5"
1138 #       data-set: "vpp-performance-changes-2n-zn2-h1"
1139     - title: "2009.0-5"
1140       data-set: "vpp-performance-changes-2n-zn2-ref-env-old"
1141     - title: "2009.0-6"
1142       data-set: "vpp-performance-changes-2n-zn2-ref-env-new"
1143     - title: "2101.0-6"
1144       data-set: "vpp-performance-changes-2n-zn2-cmp"
1145   comparisons:
1146     - title: "2009.0-6 vs 2009.0-5"
1147       reference: 1  # 2
1148       compare: 2  # 3
1149 #      rca-file: "rca/rca-2n-zn2-4t2c-ndr-rca1.yaml"
1150     - title: "2101.0-6 vs 2009.0-6"
1151       reference: 2  # 3
1152       compare: 3  # 4
1153 #      rca-file: "rca/rca-2n-zn2-4t2c-ndr-rca1.yaml"
1154   legend:
1155     - ''
1156     - 'Test Case:            Test cases executed for: NDR throughput on 2n-zn2 with xxv710.'
1157     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "5" for CSIT rls2009, "6" for CSIT rls2101).'
1158     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1159     - '2009.0-6 vs 2009.0-5: Compares CSIT environment current vs previous with previous VPP code.'
1160     - '2101.0-6 vs 2009.0-6: Compares VPP code current vs previous in the current CSIT environment.'
1161
1162 # VPP Performance Changes 2n-dnv 1t1c pdr
1163 - type: "table"
1164   title: "VPP Performance Changes 2n-dnv 1t1c pdr"
1165   algorithm: "table_comparison"
1166   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-dnv-1t1c-pdr"
1167   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1168   filter: "'1T1C'"
1169   columns:
1170     - title: "2005.0-5"
1171       data-set: "vpp-performance-changes-2n-dnv-h1"
1172     - title: "2009.0-5"
1173       data-set: "vpp-performance-changes-2n-dnv-ref-env-old"
1174 #     - title: "2009.0-6"
1175 #       data-set: "vpp-performance-changes-2n-dnv-ref-env-new"
1176     - title: "2101.0-6"
1177       data-set: "vpp-performance-changes-2n-dnv-cmp"
1178   comparisons:
1179 #     - title: "2009.0-6 vs 2009.0-5"
1180 #       reference: 2
1181 #       compare: 3
1182     - title: "2101.0-6 vs 2009.0-5"
1183       reference: 2
1184       compare: 3
1185   legend:
1186     - ''
1187     - 'Test Case:            Test cases executed for: PDR throughput on 2n-dnv with x553.'
1188     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "5" for CSIT rls2009, "6" for CSIT rls2101).'
1189     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1190 #    - '2009.0-6 vs 2009.0-5: Compares CSIT environment current vs previous with previous VPP code.'
1191     - '2101.0-6 vs 2009.0-5: Compares VPP code current vs previous.'
1192
1193 # VPP Performance Changes 2n-dnv 2t2c pdr
1194 - type: "table"
1195   title: "VPP Performance Changes 2n-dnv 2t2c pdr"
1196   algorithm: "table_comparison"
1197   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-dnv-2t2c-pdr"
1198   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1199   filter: "'2T2C'"
1200   columns:
1201     - title: "2005.0-5"
1202       data-set: "vpp-performance-changes-2n-dnv-h1"
1203     - title: "2009.0-5"
1204       data-set: "vpp-performance-changes-2n-dnv-ref-env-old"
1205 #     - title: "2009.0-6"
1206 #       data-set: "vpp-performance-changes-2n-dnv-ref-env-new"
1207     - title: "2101.0-6"
1208       data-set: "vpp-performance-changes-2n-dnv-cmp"
1209   comparisons:
1210 #     - title: "2009.0-6 vs 2009.0-5"
1211 #       reference: 2
1212 #       compare: 3
1213     - title: "2101.0-6 vs 2009.0-5"
1214       reference: 2
1215       compare: 3
1216   legend:
1217     - ''
1218     - 'Test Case:            Test cases executed for: PDR throughput on 2n-dnv with x553.'
1219     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "5" for CSIT rls2009, "6" for CSIT rls2101).'
1220     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1221 #    - '2009.0-6 vs 2009.0-5: Compares CSIT environment current vs previous with previous VPP code.'
1222     - '2101.0-6 vs 2009.0-5: Compares VPP code current vs previous.'
1223
1224 # VPP Performance Changes 2n-dnv 1t1c ndr
1225 - type: "table"
1226   title: "VPP Performance Changes 2n-dnv 1t1c ndr"
1227   algorithm: "table_comparison"
1228   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-dnv-1t1c-ndr"
1229   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1230   filter: "'1T1C'"
1231   columns:
1232     - title: "2005.0-5"
1233       data-set: "vpp-performance-changes-2n-dnv-h1"
1234     - title: "2009.0-5"
1235       data-set: "vpp-performance-changes-2n-dnv-ref-env-old"
1236 #     - title: "2009.0-6"
1237 #       data-set: "vpp-performance-changes-2n-dnv-ref-env-new"
1238     - title: "2101.0-6"
1239       data-set: "vpp-performance-changes-2n-dnv-cmp"
1240   comparisons:
1241 #     - title: "2009.0-6 vs 2009.0-5"
1242 #       reference: 2
1243 #       compare: 3
1244     - title: "2101.0-6 vs 2009.0-5"
1245       reference: 2
1246       compare: 3
1247   legend:
1248     - ''
1249     - 'Test Case:            Test cases executed for: PDR throughput on 2n-dnv with x553.'
1250     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "5" for CSIT rls2009, "6" for CSIT rls2101).'
1251     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1252 #    - '2009.0-6 vs 2009.0-5: Compares CSIT environment current vs previous with previous VPP code.'
1253     - '2101.0-6 vs 2009.0-5: Compares VPP code current vs previous.'
1254
1255 # VPP Performance Changes 2n-dnv 2t2c ndr
1256 - type: "table"
1257   title: "VPP Performance Changes 2n-dnv 2t2c ndr"
1258   algorithm: "table_comparison"
1259   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-dnv-2t2c-ndr"
1260   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1261   filter: "'2T2C'"
1262   columns:
1263     - title: "2005.0-5"
1264       data-set: "vpp-performance-changes-2n-dnv-h1"
1265     - title: "2009.0-5"
1266       data-set: "vpp-performance-changes-2n-dnv-ref-env-old"
1267 #     - title: "2009.0-6"
1268 #       data-set: "vpp-performance-changes-2n-dnv-ref-env-new"
1269     - title: "2101.0-6"
1270       data-set: "vpp-performance-changes-2n-dnv-cmp"
1271   comparisons:
1272 #     - title: "2009.0-6 vs 2009.0-5"
1273 #       reference: 2
1274 #       compare: 3
1275     - title: "2101.0-6 vs 2009.0-5"
1276       reference: 2
1277       compare: 3
1278   legend:
1279     - ''
1280     - 'Test Case:            Test cases executed for: PDR throughput on 2n-dnv with x553.'
1281     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "5" for CSIT rls2009, "6" for CSIT rls2101).'
1282     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1283 #    - '2009.0-6 vs 2009.0-5: Compares CSIT environment current vs previous with previous VPP code.'
1284     - '2101.0-6 vs 2009.0-5: Compares VPP code current vs previous.'
1285
1286 # VPP Performance Changes 3n-dnv 1t1c pdr
1287 - type: "table"
1288   title: "VPP Performance Changes 3n-dnv 1t1c pdr"
1289   algorithm: "table_comparison"
1290   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-dnv-1t1c-pdr"
1291   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1292   filter: "'1T1C'"
1293   columns:
1294     - title: "2005.0-5"
1295       data-set: "vpp-performance-changes-3n-dnv-h1"
1296     - title: "2009.0-5"
1297       data-set: "vpp-performance-changes-3n-dnv-ref-env-old"
1298 #     - title: "2009.0-6"
1299 #       data-set: "vpp-performance-changes-3n-dnv-ref-env-new"
1300     - title: "2101.0-6"
1301       data-set: "vpp-performance-changes-3n-dnv-cmp"
1302   comparisons:
1303 #     - title: "2009.0-6 vs 2009.0-5"
1304 #       reference: 2
1305 #       compare: 3
1306     - title: "2101.0-6 vs 2009.0-5"
1307       reference: 2
1308       compare: 3
1309   legend:
1310     - ''
1311     - 'Test Case:            Test cases executed for: PDR throughput on 3n-dnv with x553.'
1312     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "5" for CSIT rls2009, "6" for CSIT rls2101).'
1313     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1314 #    - '2009.0-6 vs 2009.0-5: Compares CSIT environment current vs previous with previous VPP code.'
1315     - '2101.0-6 vs 2009.0-5: Compares VPP code current vs previous.'
1316
1317 # VPP Performance Changes 3n-dnv 2t2c pdr
1318 - type: "table"
1319   title: "VPP Performance Changes 3n-dnv 2t2c pdr"
1320   algorithm: "table_comparison"
1321   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-dnv-2t2c-pdr"
1322   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1323   filter: "'2T2C'"
1324   columns:
1325     - title: "2005.0-5"
1326       data-set: "vpp-performance-changes-3n-dnv-h1"
1327     - title: "2009.0-5"
1328       data-set: "vpp-performance-changes-3n-dnv-ref-env-old"
1329 #     - title: "2009.0-6"
1330 #       data-set: "vpp-performance-changes-3n-dnv-ref-env-new"
1331     - title: "2101.0-6"
1332       data-set: "vpp-performance-changes-3n-dnv-cmp"
1333   comparisons:
1334 #     - title: "2009.0-6 vs 2009.0-5"
1335 #       reference: 2
1336 #       compare: 3
1337     - title: "2101.0-6 vs 2009.0-5"
1338       reference: 2
1339       compare: 3
1340   legend:
1341     - ''
1342     - 'Test Case:            Test cases executed for: PDR throughput on 3n-dnv with x553.'
1343     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "5" for CSIT rls2009, "6" for CSIT rls2101).'
1344     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1345 #    - '2009.0-6 vs 2009.0-5: Compares CSIT environment current vs previous with previous VPP code.'
1346     - '2101.0-6 vs 2009.0-5: Compares VPP code current vs previous.'
1347
1348 # VPP Performance Changes 3n-dnv 1t1c ndr
1349 - type: "table"
1350   title: "VPP Performance Changes 3n-dnv 1t1c ndr"
1351   algorithm: "table_comparison"
1352   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-dnv-1t1c-ndr"
1353   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1354   filter: "'1T1C'"
1355   columns:
1356     - title: "2005.0-5"
1357       data-set: "vpp-performance-changes-3n-dnv-h1"
1358     - title: "2009.0-5"
1359       data-set: "vpp-performance-changes-3n-dnv-ref-env-old"
1360 #     - title: "2009.0-6"
1361 #       data-set: "vpp-performance-changes-3n-dnv-ref-env-new"
1362     - title: "2101.0-6"
1363       data-set: "vpp-performance-changes-3n-dnv-cmp"
1364   comparisons:
1365 #     - title: "2009.0-6 vs 2009.0-5"
1366 #       reference: 2
1367 #       compare: 3
1368     - title: "2101.0-6 vs 2009.0-5"
1369       reference: 2
1370       compare: 3
1371   legend:
1372     - ''
1373     - 'Test Case:            Test cases executed for: PDR throughput on 3n-dnv with x553.'
1374     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "5" for CSIT rls2009, "6" for CSIT rls2101).'
1375     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1376 #    - '2009.0-6 vs 2009.0-5: Compares CSIT environment current vs previous with previous VPP code.'
1377     - '2101.0-6 vs 2009.0-5: Compares VPP code current vs previous.'
1378
1379 # VPP Performance Changes 3n-dnv 2t2c ndr
1380 - type: "table"
1381   title: "VPP Performance Changes 3n-dnv 2t2c ndr"
1382   algorithm: "table_comparison"
1383   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-dnv-2t2c-ndr"
1384   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1385   filter: "'2T2C'"
1386   columns:
1387     - title: "2005.0-5"
1388       data-set: "vpp-performance-changes-3n-dnv-h1"
1389     - title: "2009.0-5"
1390       data-set: "vpp-performance-changes-3n-dnv-ref-env-old"
1391 #     - title: "2009.0-6"
1392 #       data-set: "vpp-performance-changes-3n-dnv-ref-env-new"
1393     - title: "2101.0-6"
1394       data-set: "vpp-performance-changes-3n-dnv-cmp"
1395   comparisons:
1396 #     - title: "2009.0-6 vs 2009.0-5"
1397 #       reference: 2
1398 #       compare: 3
1399     - title: "2101.0-6 vs 2009.0-5"
1400       reference: 2
1401       compare: 3
1402   legend:
1403     - ''
1404     - 'Test Case:            Test cases executed for: PDR throughput on 3n-dnv with x553.'
1405     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "5" for CSIT rls2009, "6" for CSIT rls2101).'
1406     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1407 #    - '2009.0-6 vs 2009.0-5: Compares CSIT environment current vs previous with previous VPP code.'
1408     - '2101.0-6 vs 2009.0-5: Compares VPP code current vs previous.'
1409
1410 # VPP Performance Changes 3n-tsh 1t1c pdr
1411 - type: "table"
1412   title: "VPP Performance Changes 3n-tsh 1t1c pdr"
1413   algorithm: "table_comparison"
1414   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-tsh-1t1c-pdr"
1415   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1416   filter: "'1T1C'"
1417   columns:
1418     - title: "2005.0-5"
1419       data-set: "vpp-performance-changes-3n-tsh-h1"
1420     - title: "2009.0-5"
1421       data-set: "vpp-performance-changes-3n-tsh-ref-env-old"
1422     - title: "2009.0-6"
1423       data-set: "vpp-performance-changes-3n-tsh-ref-env-new"
1424     - title: "2101.0-6"
1425       data-set: "vpp-performance-changes-3n-tsh-cmp"
1426   comparisons:
1427     - title: "2009.0-6 vs 2009.0-5"
1428       reference: 2
1429       compare: 3
1430 #      rca-file: "rca/rca-3n-tsh-1t1c-pdr-rca1.yaml"
1431     - title: "2101.0-6 vs 2009.0-6"
1432       reference: 3
1433       compare: 4
1434 #      rca-file: "rca/rca-3n-tsh-1t1c-pdr-rca2.yaml"
1435   legend:
1436     - ''
1437     - 'Test Case:            Test cases executed for: PDR throughput on 3n-tsh with x520.'
1438     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "5" for CSIT rls2009, "6" for CSIT rls2101).'
1439     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1440     - '2009.0-6 vs 2009.0-5: Compares CSIT environment current vs previous with previous VPP code.'
1441     - '2101.0-6 vs 2009.0-6: Compares VPP code current vs previous in the current CSIT environment.'
1442
1443 # VPP Performance Changes 3n-tsh 2t2c pdr
1444 - type: "table"
1445   title: "VPP Performance Changes 3n-tsh 2t2c pdr"
1446   algorithm: "table_comparison"
1447   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-tsh-2t2c-pdr"
1448   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1449   filter: "'2T2C'"
1450   columns:
1451     - title: "2005.0-5"
1452       data-set: "vpp-performance-changes-3n-tsh-h1"
1453     - title: "2009.0-5"
1454       data-set: "vpp-performance-changes-3n-tsh-ref-env-old"
1455     - title: "2009.0-6"
1456       data-set: "vpp-performance-changes-3n-tsh-ref-env-new"
1457     - title: "2101.0-6"
1458       data-set: "vpp-performance-changes-3n-tsh-cmp"
1459   comparisons:
1460     - title: "2009.0-6 vs 2009.0-5"
1461       reference: 2
1462       compare: 3
1463 #      rca-file: "rca/rca-3n-tsh-2t2c-pdr-rca1.yaml"
1464     - title: "2101.0-6 vs 2009.0-6"
1465       reference: 3
1466       compare: 4
1467 #      rca-file: "rca/rca-3n-tsh-2t2c-pdr-rca2.yaml"
1468   legend:
1469     - ''
1470     - 'Test Case:            Test cases executed for: PDR throughput on 3n-tsh with x520.'
1471     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "5" for CSIT rls2009, "6" for CSIT rls2101).'
1472     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1473     - '2009.0-6 vs 2009.0-5: Compares CSIT environment current vs previous with previous VPP code.'
1474     - '2101.0-6 vs 2009.0-6: Compares VPP code current vs previous in the current CSIT environment.'
1475
1476 # VPP Performance Changes 3n-tsh 1t1c ndr
1477 - type: "table"
1478   title: "VPP Performance Changes 3n-tsh 1t1c ndr"
1479   algorithm: "table_comparison"
1480   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-tsh-1t1c-ndr"
1481   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1482   filter: "'1T1C'"
1483   columns:
1484     - title: "2005.0-5"
1485       data-set: "vpp-performance-changes-3n-tsh-h1"
1486     - title: "2009.0-5"
1487       data-set: "vpp-performance-changes-3n-tsh-ref-env-old"
1488     - title: "2009.0-6"
1489       data-set: "vpp-performance-changes-3n-tsh-ref-env-new"
1490     - title: "2101.0-6"
1491       data-set: "vpp-performance-changes-3n-tsh-cmp"
1492   comparisons:
1493     - title: "2009.0-6 vs 2009.0-5"
1494       reference: 2
1495       compare: 3
1496 #      rca-file: "rca/rca-3n-tsh-1t1c-ndr-rca1.yaml"
1497     - title: "2101.0-6 vs 2009.0-6"
1498       reference: 3
1499       compare: 4
1500 #      rca-file: "rca/rca-3n-tsh-1t1c-ndr-rca2.yaml"
1501   legend:
1502     - ''
1503     - 'Test Case:            Test cases executed for: NDR throughput on 3n-tsh with x520.'
1504     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "5" for CSIT rls2009, "6" for CSIT rls2101).'
1505     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1506     - '2009.0-6 vs 2009.0-5: Compares CSIT environment current vs previous with previous VPP code.'
1507     - '2101.0-6 vs 2009.0-6: Compares VPP code current vs previous in the current CSIT environment.'
1508
1509 # VPP Performance Changes 3n-tsh 2t2c ndr
1510 - type: "table"
1511   title: "VPP Performance Changes 3n-tsh 2t2c ndr"
1512   algorithm: "table_comparison"
1513   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-tsh-2t2c-ndr"
1514   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1515   filter: "'2T2C'"
1516   columns:
1517     - title: "2005.0-5"
1518       data-set: "vpp-performance-changes-3n-tsh-h1"
1519     - title: "2009.0-5"
1520       data-set: "vpp-performance-changes-3n-tsh-ref-env-old"
1521     - title: "2009.0-6"
1522       data-set: "vpp-performance-changes-3n-tsh-ref-env-new"
1523     - title: "2101.0-6"
1524       data-set: "vpp-performance-changes-3n-tsh-cmp"
1525   comparisons:
1526     - title: "2009.0-6 vs 2009.0-5"
1527       reference: 2
1528       compare: 3
1529 #      rca-file: "rca/rca-3n-tsh-2t2c-ndr-rca1.yaml"
1530     - title: "2101.0-6 vs 2009.0-6"
1531       reference: 3
1532       compare: 4
1533 #      rca-file: "rca/rca-3n-tsh-2t2c-ndr-rca2.yaml"
1534   legend:
1535     - ''
1536     - 'Test Case:            Test cases executed for: NDR throughput on 3n-tsh with x520.'
1537     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "5" for CSIT rls2009, "6" for CSIT rls2101).'
1538     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1539     - '2009.0-6 vs 2009.0-5: Compares CSIT environment current vs previous with previous VPP code.'
1540     - '2101.0-6 vs 2009.0-6: Compares VPP code current vs previous in the current CSIT environment.'
1541
1542 # VPP Performance Changes 2n-tx2 1t1c pdr
1543 - type: "table"
1544   title: "VPP Performance Changes 2n-tx2 1t1c pdr"
1545   algorithm: "table_comparison"
1546   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-tx2-1t1c-pdr"
1547   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1548   filter: "'1T1C'"
1549   columns:
1550 #     - title: "2005.0-5"
1551 #       data-set: "vpp-performance-changes-2n-tx2-h1"
1552 #     - title: "2009.0-5"
1553 #       data-set: "vpp-performance-changes-2n-tx2-ref-env-old"
1554     - title: "2009.0-6"
1555       data-set: "vpp-performance-changes-2n-tx2-ref-env-new"
1556     - title: "2101.0-6"
1557       data-set: "vpp-performance-changes-2n-tx2-cmp"
1558   comparisons:
1559 #     - title: "2009.0-6 vs 2009.0-5"
1560 #       reference: 2
1561 #       compare: 3
1562     - title: "2101.0-6 vs 2009.0-6"
1563       reference: 1
1564       compare: 2
1565   legend:
1566     - ''
1567     - 'Test Case:            Test cases executed for: PDR throughput on 2n-tx2 with xl710.'
1568     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "5" for CSIT rls2009, "6" for CSIT rls2101).'
1569     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1570 #     - '2009.0-6 vs 2009.0-5: Compares CSIT environment current vs previous with previous VPP code.'
1571     - '2101.0-6 vs 2009.0-6: Compares VPP code current vs previous in the current CSIT environment.'
1572
1573 # VPP Performance Changes 2n-tx2 2t2c pdr
1574 - type: "table"
1575   title: "VPP Performance Changes 2n-tx2 2t2c pdr"
1576   algorithm: "table_comparison"
1577   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-tx2-2t2c-pdr"
1578   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1579   filter: "'2T2C'"
1580   columns:
1581 #     - title: "2005.0-5"
1582 #       data-set: "vpp-performance-changes-2n-tx2-h1"
1583 #     - title: "2009.0-5"
1584 #       data-set: "vpp-performance-changes-2n-tx2-ref-env-old"
1585     - title: "2009.0-6"
1586       data-set: "vpp-performance-changes-2n-tx2-ref-env-new"
1587     - title: "2101.0-6"
1588       data-set: "vpp-performance-changes-2n-tx2-cmp"
1589   comparisons:
1590 #     - title: "2009.0-6 vs 2009.0-5"
1591 #       reference: 2
1592 #       compare: 3
1593     - title: "2101.0-6 vs 2009.0-6"
1594       reference: 1
1595       compare: 2
1596   legend:
1597     - ''
1598     - 'Test Case:            Test cases executed for: PDR throughput on 2n-tx2 with xl710.'
1599     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "5" for CSIT rls2009, "6" for CSIT rls2101).'
1600     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1601 #     - '2009.0-6 vs 2009.0-5: Compares CSIT environment current vs previous with previous VPP code.'
1602     - '2101.0-6 vs 2009.0-6: Compares VPP code current vs previous in the current CSIT environment.'
1603
1604 # VPP Performance Changes 2n-tx2 1t1c ndr
1605 - type: "table"
1606   title: "VPP Performance Changes 2n-tx2 1t1c ndr"
1607   algorithm: "table_comparison"
1608   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-tx2-1t1c-pdr"
1609   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1610   filter: "'1T1C'"
1611   columns:
1612 #     - title: "2005.0-5"
1613 #       data-set: "vpp-performance-changes-2n-tx2-h1"
1614 #     - title: "2009.0-5"
1615 #       data-set: "vpp-performance-changes-2n-tx2-ref-env-old"
1616     - title: "2009.0-6"
1617       data-set: "vpp-performance-changes-2n-tx2-ref-env-new"
1618     - title: "2101.0-6"
1619       data-set: "vpp-performance-changes-2n-tx2-cmp"
1620   comparisons:
1621 #     - title: "2009.0-6 vs 2009.0-5"
1622 #       reference: 2
1623 #       compare: 3
1624     - title: "2101.0-6 vs 2009.0-6"
1625       reference: 1
1626       compare: 2
1627   legend:
1628     - ''
1629     - 'Test Case:            Test cases executed for: PDR throughput on 2n-tx2 with xl710.'
1630     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "5" for CSIT rls2009, "6" for CSIT rls2101).'
1631     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1632 #     - '2009.0-6 vs 2009.0-5: Compares CSIT environment current vs previous with previous VPP code.'
1633     - '2101.0-6 vs 2009.0-6: Compares VPP code current vs previous in the current CSIT environment.'
1634
1635 # VPP Performance Changes 2n-tx2 2t2c ndr
1636 - type: "table"
1637   title: "VPP Performance Changes 2n-tx2 2t2c ndr"
1638   algorithm: "table_comparison"
1639   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-tx2-2t2c-pdr"
1640   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1641   filter: "'2T2C'"
1642   columns:
1643 #     - title: "2005.0-5"
1644 #       data-set: "vpp-performance-changes-2n-tx2-h1"
1645 #     - title: "2009.0-5"
1646 #       data-set: "vpp-performance-changes-2n-tx2-ref-env-old"
1647     - title: "2009.0-6"
1648       data-set: "vpp-performance-changes-2n-tx2-ref-env-new"
1649     - title: "2101.0-6"
1650       data-set: "vpp-performance-changes-2n-tx2-cmp"
1651   comparisons:
1652 #     - title: "2009.0-6 vs 2009.0-5"
1653 #       reference: 2
1654 #       compare: 3
1655     - title: "2101.0-6 vs 2009.0-6"
1656       reference: 1
1657       compare: 2
1658   legend:
1659     - ''
1660     - 'Test Case:            Test cases executed for: PDR throughput on 2n-tx2 with xl710.'
1661     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "5" for CSIT rls2009, "6" for CSIT rls2101).'
1662     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1663 #     - '2009.0-6 vs 2009.0-5: Compares CSIT environment current vs previous with previous VPP code.'
1664     - '2101.0-6 vs 2009.0-6: Compares VPP code current vs previous in the current CSIT environment.'
1665
1666 # VPP Comparison Across Testbeds 3n-hsw to 3n-skx 1c ndr
1667 - type: "table"
1668   title: "VPP Comparison Across Testbeds 3n-hsw to 3n-skx 1c ndr"
1669   algorithm: "table_comparison"
1670   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-hsw-3n-skx-1c-ndr"
1671   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1672   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-XL710') and 'NDRPDR' and '1C'"
1673   columns:
1674     - title: "3n-hsw xl710"
1675       data-set: "vpp-compare-testbeds-ref"
1676       tag: "NIC_Intel-XL710"
1677     - title: "3n-skx xxv710"
1678       data-set: "vpp-compare-testbeds-cmp"
1679       tag: "NIC_Intel-XXV710"
1680   comparisons:
1681     - title: "Diff"
1682       reference: 1
1683       compare: 2
1684   legend:
1685     - ""
1686     - "3n-hsw xl710, 3n-skx xxv710 - testbeds and NICs tested."
1687     - "Diff - difference between 3n-hsw xl710 and 3n-skx xxv710 testbeds."
1688
1689 # VPP Comparison Across Testbeds 3n-hsw to 3n-skx 2c ndr
1690 - type: "table"
1691   title: "VPP Comparison Across Testbeds 3n-hsw to 3n-skx 2c ndr"
1692   algorithm: "table_comparison"
1693   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-hsw-3n-skx-2c-ndr"
1694   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1695   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-XL710') and 'NDRPDR' and '2C'"
1696   columns:
1697     - title: "3n-hsw xl710"
1698       data-set: "vpp-compare-testbeds-ref"
1699       tag: "NIC_Intel-XL710"
1700     - title: "3n-skx xxv710"
1701       data-set: "vpp-compare-testbeds-cmp"
1702       tag: "NIC_Intel-XXV710"
1703   comparisons:
1704     - title: "Diff"
1705       reference: 1
1706       compare: 2
1707   legend:
1708     - ""
1709     - "3n-hsw xl710, 3n-skx xxv710 - testbeds and NICs tested."
1710     - "Diff - difference between 3n-hsw xl710 and 3n-skx xxv710 testbeds."
1711
1712 # VPP Comparison Across Testbeds 3n-hsw to 3n-skx 1c pdr
1713 - type: "table"
1714   title: "VPP Comparison Across Testbeds 3n-hsw to 3n-skx 1c pdr"
1715   algorithm: "table_comparison"
1716   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-hsw-3n-skx-1c-pdr"
1717   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1718   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-XL710') and 'NDRPDR' and '1C'"
1719   columns:
1720     - title: "3n-hsw xl710"
1721       data-set: "vpp-compare-testbeds-ref"
1722       tag: "NIC_Intel-XL710"
1723     - title: "3n-skx xxv710"
1724       data-set: "vpp-compare-testbeds-cmp"
1725       tag: "NIC_Intel-XXV710"
1726   comparisons:
1727     - title: "Diff"
1728       reference: 1
1729       compare: 2
1730   legend:
1731     - ""
1732     - "3n-hsw xl710, 3n-skx xxv710 - testbeds and NICs tested."
1733     - "Diff - difference between 3n-hsw xl710 and 3n-skx xxv710 testbeds."
1734
1735 # VPP Comparison Across Testbeds 3n-hsw to 3n-skx 2c pdr
1736 - type: "table"
1737   title: "VPP Comparison Across Testbeds 3n-hsw to 3n-skx 2c pdr"
1738   algorithm: "table_comparison"
1739   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-hsw-3n-skx-2c-pdr"
1740   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1741   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-XL710') and 'NDRPDR' and '2C'"
1742   columns:
1743     - title: "3n-hsw xl710"
1744       data-set: "vpp-compare-testbeds-ref"
1745       tag: "NIC_Intel-XL710"
1746     - title: "3n-skx xxv710"
1747       data-set: "vpp-compare-testbeds-cmp"
1748       tag: "NIC_Intel-XXV710"
1749   comparisons:
1750     - title: "Diff"
1751       reference: 1
1752       compare: 2
1753   legend:
1754     - ""
1755     - "3n-hsw xl710, 3n-skx xxv710 - testbeds and NICs tested."
1756     - "Diff - difference between 3n-hsw xl710 and 3n-skx xxv710 testbeds."
1757
1758 # VPP Comparison Across Testbeds 2n-skx to 2n-clx 2t1c ndr
1759 - type: "table"
1760   title: "VPP Comparison Across Testbeds 2n-skx to 2n-clx 2t1c ndr"
1761   algorithm: "table_comparison"
1762   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-skx-2n-clx-2t1c-ndr"
1763   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1764   filter: "'2T1C' and 'NIC_Intel-XXV710'"
1765   columns:
1766     - title: "2n-skx"
1767       data-set: "vpp-compare-testbeds-skx-clx-ref"
1768     - title: "2n-clx"
1769       data-set: "vpp-compare-testbeds-skx-clx-cmp"
1770   comparisons:
1771     - title: "Diff"
1772       reference: 1
1773       compare: 2
1774   legend:
1775     - ""
1776     - "2n-skx, 2n-clx - testbeds and NICs tested."
1777     - "Diff - difference between 2n-skx and 2n-clx testbeds."
1778
1779 # VPP Comparison Across Testbeds 2n-skx to 2n-clx 4t2c ndr
1780 - type: "table"
1781   title: "VPP Comparison Across Testbeds 2n-skx to 2n-clx 4t2c ndr"
1782   algorithm: "table_comparison"
1783   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-skx-2n-clx-4t2c-ndr"
1784   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1785   filter: "'4T2C' and 'NIC_Intel-XXV710'"
1786   columns:
1787     - title: "2n-skx"
1788       data-set: "vpp-compare-testbeds-skx-clx-ref"
1789     - title: "2n-clx"
1790       data-set: "vpp-compare-testbeds-skx-clx-cmp"
1791   comparisons:
1792     - title: "Diff"
1793       reference: 1
1794       compare: 2
1795   legend:
1796     - ""
1797     - "2n-skx, 2n-clx - testbeds and NICs tested."
1798     - "Diff - difference between 2n-skx and 2n-clx testbeds."
1799
1800 # VPP Comparison Across Testbeds 2n-skx to 2n-clx 2t1c pdr
1801 - type: "table"
1802   title: "VPP Comparison Across Testbeds 2n-skx to 2n-clx 2t1c pdr"
1803   algorithm: "table_comparison"
1804   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-skx-2n-clx-2t1c-pdr"
1805   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1806   filter: "'2T1C' and 'NIC_Intel-XXV710'"
1807   columns:
1808     - title: "2n-skx"
1809       data-set: "vpp-compare-testbeds-skx-clx-ref"
1810     - title: "2n-clx"
1811       data-set: "vpp-compare-testbeds-skx-clx-cmp"
1812   comparisons:
1813     - title: "Diff"
1814       reference: 1
1815       compare: 2
1816   legend:
1817     - ""
1818     - "2n-skx, 2n-clx - testbeds and NICs tested."
1819     - "Diff - difference between 2n-skx and 2n-clx testbeds."
1820
1821 # VPP Comparison Across Testbeds 2n-skx to 2n-clx 4t2c pdr
1822 - type: "table"
1823   title: "VPP Comparison Across Testbeds 2n-skx to 2n-clx 4t2c pdr"
1824   algorithm: "table_comparison"
1825   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-skx-2n-clx-4t2c-pdr"
1826   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1827   filter: "'4T2C' and 'NIC_Intel-XXV710'"
1828   columns:
1829     - title: "2n-skx"
1830       data-set: "vpp-compare-testbeds-skx-clx-ref"
1831     - title: "2n-clx"
1832       data-set: "vpp-compare-testbeds-skx-clx-cmp"
1833   comparisons:
1834     - title: "Diff"
1835       reference: 1
1836       compare: 2
1837   legend:
1838     - ""
1839     - "2n-skx, 2n-clx - testbeds and NICs tested."
1840     - "Diff - difference between 2n-skx and 2n-clx testbeds."
1841
1842 # VPP Comparison Across Testbeds 3n-hsw to 2n-clx 1c ndr
1843 - type: "table"
1844   title: "VPP Comparison Across Testbeds 3n-hsw to 2n-clx 1c ndr"
1845   algorithm: "table_comparison"
1846   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-hsw-2n-clx-1c-ndr"
1847   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1848   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-XL710') and 'NDRPDR' and '1C'"
1849   columns:
1850     - title: "3n-hsw xl710"
1851       data-set: "vpp-compare-testbeds-hsw-clx-ref"
1852       tag: "NIC_Intel-XL710"
1853     - title: "2n-clx xxv710"
1854       data-set: "vpp-compare-testbeds-hsw-clx-cmp"
1855       tag: "NIC_Intel-XXV710"
1856   comparisons:
1857     - title: "Diff"
1858       reference: 1
1859       compare: 2
1860   legend:
1861     - ""
1862     - "3n-hsw xl710, 2n-clx xxv710 - testbeds and NICs tested."
1863     - "Diff - difference between 3n-hsw xl710 and 2n-clx xxv710 testbeds."
1864
1865 # VPP Comparison Across Testbeds 3n-hsw to 2n-clx 2c ndr
1866 - type: "table"
1867   title: "VPP Comparison Across Testbeds 3n-hsw to 2n-clx 2c ndr"
1868   algorithm: "table_comparison"
1869   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-hsw-2n-clx-2c-ndr"
1870   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1871   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-XL710') and 'NDRPDR' and '2C'"
1872   columns:
1873     - title: "3n-hsw xl710"
1874       data-set: "vpp-compare-testbeds-hsw-clx-ref"
1875       tag: "NIC_Intel-XL710"
1876     - title: "2n-clx xxv710"
1877       data-set: "vpp-compare-testbeds-hsw-clx-cmp"
1878       tag: "NIC_Intel-XXV710"
1879   comparisons:
1880     - title: "Diff"
1881       reference: 1
1882       compare: 2
1883   legend:
1884     - ""
1885     - "3n-hsw xl710, 2n-clx xxv710 - testbeds and NICs tested."
1886     - "Diff - difference between 3n-hsw xl710 and 2n-clx xxv710 testbeds."
1887
1888 # VPP Comparison Across Testbeds 3n-hsw to 2n-clx 1c pdr
1889 - type: "table"
1890   title: "VPP Comparison Across Testbeds 3n-hsw to 2n-clx 1c pdr"
1891   algorithm: "table_comparison"
1892   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-hsw-2n-clx-1c-pdr"
1893   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1894   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-XL710') and 'NDRPDR' and '1C'"
1895   columns:
1896     - title: "3n-hsw xl710"
1897       data-set: "vpp-compare-testbeds-hsw-clx-ref"
1898       tag: "NIC_Intel-XL710"
1899     - title: "2n-clx xxv710"
1900       data-set: "vpp-compare-testbeds-hsw-clx-cmp"
1901       tag: "NIC_Intel-XXV710"
1902   comparisons:
1903     - title: "Diff"
1904       reference: 1
1905       compare: 2
1906   legend:
1907     - ""
1908     - "3n-hsw xl710, 2n-clx xxv710 - testbeds and NICs tested."
1909     - "Diff - difference between 3n-hsw xl710 and 2n-clx xxv710 testbeds."
1910
1911 # VPP Comparison Across Testbeds 3n-hsw to 2n-clx 2c pdr
1912 - type: "table"
1913   title: "VPP Comparison Across Testbeds 3n-hsw to 2n-clx 2c pdr"
1914   algorithm: "table_comparison"
1915   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-hsw-2n-clx-2c-pdr"
1916   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1917   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-XL710') and 'NDRPDR' and '2C'"
1918   columns:
1919     - title: "3n-hsw xl710"
1920       data-set: "vpp-compare-testbeds-hsw-clx-ref"
1921       tag: "NIC_Intel-XL710"
1922     - title: "2n-clx xxv710"
1923       data-set: "vpp-compare-testbeds-hsw-clx-cmp"
1924       tag: "NIC_Intel-XXV710"
1925   comparisons:
1926     - title: "Diff"
1927       reference: 1
1928       compare: 2
1929   legend:
1930     - ""
1931     - "3n-hsw xl710, 2n-clx xxv710 - testbeds and NICs tested."
1932     - "Diff - difference between 3n-hsw xl710 and 2n-clx xxv710 testbeds."
1933
1934 # # VPP Comparison Across Testbeds 2n-clx to 2n-icx 1c ndr
1935 # - type: "table"
1936 #   title: "VPP Comparison Across Testbeds 2n-clx to 2n-icx 1c ndr"
1937 #   algorithm: "table_comparison"
1938 #   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-clx-2n-icx-1c-ndr"
1939 #   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1940 #   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-E810CQ') and 'NDRPDR' and '1C'"
1941 #   columns:
1942 #     - title: "2n-clx xxv710"
1943 #       data-set: "vpp-compare-testbeds-clx-icx-ref"
1944 #       tag: "NIC_Intel-XXV710"
1945 #     - title: "2n-icx e810cq"
1946 #       data-set: "vpp-compare-testbeds-clx-icx-cmp"
1947 #       tag: "NIC_Intel-E810CQ"
1948 #   comparisons:
1949 #     - title: "Diff"
1950 #       reference: 1
1951 #       compare: 2
1952 #   legend:
1953 #     - ""
1954 #     - "2n-clx xxv710, 2n-icx e810cq - testbeds and NICs tested."
1955 #     - "Diff - difference between 2n-clx xxv710 and 2n-icx e810cq testbeds."
1956 #
1957 # # VPP Comparison Across Testbeds 2n-clx to 2n-icx 2c ndr
1958 # - type: "table"
1959 #   title: "VPP Comparison Across Testbeds 2n-clx to 2n-icx 2c ndr"
1960 #   algorithm: "table_comparison"
1961 #   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-clx-2n-icx-2c-ndr"
1962 #   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1963 #   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-E810CQ') and 'NDRPDR' and '2C'"
1964 #   columns:
1965 #     - title: "2n-clx xxv710"
1966 #       data-set: "vpp-compare-testbeds-clx-icx-ref"
1967 #       tag: "NIC_Intel-XXV710"
1968 #     - title: "2n-icx e810cq"
1969 #       data-set: "vpp-compare-testbeds-clx-icx-cmp"
1970 #       tag: "NIC_Intel-E810CQ"
1971 #   comparisons:
1972 #     - title: "Diff"
1973 #       reference: 1
1974 #       compare: 2
1975 #   legend:
1976 #     - ""
1977 #     - "2n-clx xxv710, 2n-icx e810cq - testbeds and NICs tested."
1978 #     - "Diff - difference between 2n-clx xxv710 and 2n-icx e810cq testbeds."
1979 #
1980 # # VPP Comparison Across Testbeds 2n-clx to 2n-icx 1c pdr
1981 # - type: "table"
1982 #   title: "VPP Comparison Across Testbeds 2n-clx to 2n-icx 1c pdr"
1983 #   algorithm: "table_comparison"
1984 #   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-clx-2n-icx-1c-pdr"
1985 #   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1986 #   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-E810CQ') and 'NDRPDR' and '1C'"
1987 #   columns:
1988 #     - title: "2n-clx xxv710"
1989 #       data-set: "vpp-compare-testbeds-clx-icx-ref"
1990 #       tag: "NIC_Intel-XXV710"
1991 #     - title: "2n-icx e810cq"
1992 #       data-set: "vpp-compare-testbeds-clx-icx-cmp"
1993 #       tag: "NIC_Intel-E810CQ"
1994 #   comparisons:
1995 #     - title: "Diff"
1996 #       reference: 1
1997 #       compare: 2
1998 #   legend:
1999 #     - ""
2000 #     - "2n-clx xxv710, 2n-icx e810cq - testbeds and NICs tested."
2001 #     - "Diff - difference between 2n-clx xxv710 and 2n-icx e810cq testbeds."
2002 #
2003 # # VPP Comparison Across Testbeds 2n-clx to 2n-icx 2c pdr
2004 # - type: "table"
2005 #   title: "VPP Comparison Across Testbeds 2n-clx to 2n-icx 2c pdr"
2006 #   algorithm: "table_comparison"
2007 #   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-clx-2n-icx-2c-pdr"
2008 #   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2009 #   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-E810CQ') and 'NDRPDR' and '2C'"
2010 #   columns:
2011 #     - title: "2n-clx xxv710"
2012 #       data-set: "vpp-compare-testbeds-clx-icx-ref"
2013 #       tag: "NIC_Intel-XXV710"
2014 #     - title: "2n-icx e810cq"
2015 #       data-set: "vpp-compare-testbeds-clx-icx-cmp"
2016 #       tag: "NIC_Intel-E810CQ"
2017 #   comparisons:
2018 #     - title: "Diff"
2019 #       reference: 1
2020 #       compare: 2
2021 #   legend:
2022 #     - ""
2023 #     - "2n-clx xxv710, 2n-icx e810cq - testbeds and NICs tested."
2024 #     - "Diff - difference between 2n-clx xxv710 and 2n-icx e810cq testbeds."
2025
2026 # VPP Comparison Across Topologies 3n-skx to 2n-skx 1c ndr
2027 - type: "table"
2028   title: "VPP Comparison Across Topologies 3n-skx to 2n-skx 1c ndr"
2029   algorithm: "table_comparison"
2030   output-file: "{DIR[STATIC,VPP]}/performance-compare-topologies-3n-skx-2n-skx-1c-ndr"
2031   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2032   filter: "'NDRPDR' and '1C' and 'NIC_Intel-XXV710'"
2033   columns:
2034     - title: "3n-skx"
2035       data-set: "vpp-compare-topologies-ref"
2036     - title: "2n-skx"
2037       data-set: "vpp-compare-topologies-cmp"
2038   comparisons:
2039     - title: "Diff"
2040       reference: 1
2041       compare: 2
2042   legend:
2043     - ""
2044     - "3n-skx, 2n-skx - topologies tested."
2045     - "Diff - difference between 3n-skx and 2n-skx topologies."
2046
2047 # VPP Comparison Across Topologies 3n-skx to 2n-skx 2c ndr
2048 - type: "table"
2049   title: "VPP Comparison Across Topologies 3n-skx to 2n-skx 2c ndr"
2050   algorithm: "table_comparison"
2051   output-file: "{DIR[STATIC,VPP]}/performance-compare-topologies-3n-skx-2n-skx-2c-ndr"
2052   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2053   filter: "'NDRPDR' and '2C' and 'NIC_Intel-XXV710'"
2054   columns:
2055     - title: "3n-skx"
2056       data-set: "vpp-compare-topologies-ref"
2057     - title: "2n-skx"
2058       data-set: "vpp-compare-topologies-cmp"
2059   comparisons:
2060     - title: "Diff"
2061       reference: 1
2062       compare: 2
2063   legend:
2064     - ""
2065     - "3n-skx, 2n-skx - topologies tested."
2066     - "Diff - difference between 3n-skx and 2n-skx topologies."
2067
2068 # VPP Comparison Across Topologies 3n-skx to 2n-skx 1c pdr
2069 - type: "table"
2070   title: "VPP Comparison Across Topologies 3n-skx to 2n-skx 1c pdr"
2071   algorithm: "table_comparison"
2072   output-file: "{DIR[STATIC,VPP]}/performance-compare-topologies-3n-skx-2n-skx-1c-pdr"
2073   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2074   filter: "'NDRPDR' and '1C' and 'NIC_Intel-XXV710'"
2075   columns:
2076     - title: "3n-skx"
2077       data-set: "vpp-compare-topologies-ref"
2078     - title: "2n-skx"
2079       data-set: "vpp-compare-topologies-cmp"
2080   comparisons:
2081     - title: "Diff"
2082       reference: 1
2083       compare: 2
2084   legend:
2085     - ""
2086     - "3n-skx, 2n-skx - topologies tested."
2087     - "Diff - difference between 3n-skx and 2n-skx topologies."
2088
2089 # VPP Comparison Across Topologies 3n-skx to 2n-skx 2c pdr
2090 - type: "table"
2091   title: "VPP Comparison Across Topologies 3n-skx to 2n-skx 2c pdr"
2092   algorithm: "table_comparison"
2093   output-file: "{DIR[STATIC,VPP]}/performance-compare-topologies-3n-skx-2n-skx-2c-pdr"
2094   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2095   filter: "'NDRPDR' and '2C' and 'NIC_Intel-XXV710'"
2096   columns:
2097     - title: "3n-skx"
2098       data-set: "vpp-compare-topologies-ref"
2099     - title: "2n-skx"
2100       data-set: "vpp-compare-topologies-cmp"
2101   comparisons:
2102     - title: "Diff"
2103       reference: 1
2104       compare: 2
2105   legend:
2106     - ""
2107     - "3n-skx, 2n-skx - topologies tested."
2108     - "Diff - difference between 3n-skx and 2n-skx topologies."
2109
2110 # VPP Performance Changes 3n-hsw 1t1c mrr
2111 - type: "table"
2112   title: "VPP Performance Changes 3n-hsw 1t1c mrr"
2113   algorithm: "table_comparison"
2114   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-1t1c-mrr"
2115   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2116   filter: "'1T1C' and 'MRR' and 'NIC_Intel-XL710' and not 'NF_DENSITY'"
2117   columns:
2118     - title: "2005.0-5"
2119       data-set: "vpp-performance-changes-3n-hsw-mrr-h1"
2120     - title: "2009.0-5"
2121       data-set: "vpp-performance-changes-3n-hsw-mrr-ref-env-old"
2122     - title: "2009.0-6"
2123       data-set: "vpp-performance-changes-3n-hsw-mrr-ref-env-new"
2124     - title: "2101.0-6"
2125       data-set: "vpp-performance-changes-3n-hsw-mrr-cmp"
2126   comparisons:
2127     - title: "2009.0-6 vs 2009.0-5"
2128       reference: 2
2129       compare: 3
2130 #      rca-file: "rca/rca-3n-hsw-1t1c-mrr-rca1.yaml"
2131     - title: "2101.0-6 vs 2009.0-6"
2132       reference: 3
2133       compare: 4
2134 #      rca-file: "rca/rca-3n-hsw-1t1c-mrr-rca2.yaml"
2135   legend:
2136     - ''
2137     - 'Test Case:            Test cases executed for: MRR throughput on 3n-hsw with xl710.'
2138     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "5" for CSIT rls2009, "6" for CSIT rls2101).'
2139     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2140     - '2009.0-6 vs 2009.0-5: Compares CSIT environment current vs previous with previous VPP code.'
2141     - '2101.0-6 vs 2009.0-6: Compares VPP code current vs previous in the current CSIT environment.'
2142
2143 # VPP Performance Changes 3n-hsw 2t2c mrr
2144 - type: "table"
2145   title: "VPP Performance Changes 3n-hsw 2t2c mrr"
2146   algorithm: "table_comparison"
2147   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-2t2c-mrr"
2148   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2149   filter: "'2T2C' and 'MRR' and 'NIC_Intel-XL710' and not 'NF_DENSITY'"
2150   columns:
2151     - title: "2005.0-5"
2152       data-set: "vpp-performance-changes-3n-hsw-mrr-h1"
2153     - title: "2009.0-5"
2154       data-set: "vpp-performance-changes-3n-hsw-mrr-ref-env-old"
2155     - title: "2009.0-6"
2156       data-set: "vpp-performance-changes-3n-hsw-mrr-ref-env-new"
2157     - title: "2101.0-6"
2158       data-set: "vpp-performance-changes-3n-hsw-mrr-cmp"
2159   comparisons:
2160     - title: "2009.0-6 vs 2009.0-5"
2161       reference: 2
2162       compare: 3
2163 #      rca-file: "rca/rca-3n-hsw-2t2c-mrr-rca1.yaml"
2164     - title: "2101.0-6 vs 2009.0-6"
2165       reference: 3
2166       compare: 4
2167 #      rca-file: "rca/rca-3n-hsw-2t2c-mrr-rca2.yaml"
2168   legend:
2169     - ''
2170     - 'Test Case:            Test cases executed for: MRR throughput on 3n-hsw with xl710.'
2171     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "5" for CSIT rls2009, "6" for CSIT rls2101).'
2172     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2173     - '2009.0-6 vs 2009.0-5: Compares CSIT environment current vs previous with previous VPP code.'
2174     - '2101.0-6 vs 2009.0-6: Compares VPP code current vs previous in the current CSIT environment.'
2175
2176 # VPP Performance Changes 3n-hsw 4t4c mrr
2177 - type: "table"
2178   title: "VPP Performance Changes 3n-hsw 4t4c mrr"
2179   algorithm: "table_comparison"
2180   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-4t4c-mrr"
2181   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2182   filter: "'4T4C' and 'MRR' and 'NIC_Intel-XL710' and not 'NF_DENSITY'"
2183   columns:
2184     - title: "2005.0-5"
2185       data-set: "vpp-performance-changes-3n-hsw-mrr-h1"
2186     - title: "2009.0-5"
2187       data-set: "vpp-performance-changes-3n-hsw-mrr-ref-env-old"
2188     - title: "2009.0-6"
2189       data-set: "vpp-performance-changes-3n-hsw-mrr-ref-env-new"
2190     - title: "2101.0-6"
2191       data-set: "vpp-performance-changes-3n-hsw-mrr-cmp"
2192   comparisons:
2193     - title: "2009.0-6 vs 2009.0-5"
2194       reference: 2
2195       compare: 3
2196 #      rca-file: "rca/rca-3n-hsw-4t4c-mrr-rca1.yaml"
2197     - title: "2101.0-6 vs 2009.0-6"
2198       reference: 3
2199       compare: 4
2200 #      rca-file: "rca/rca-3n-hsw-4t4c-mrr-rca2.yaml"
2201   legend:
2202     - ''
2203     - 'Test Case:            Test cases executed for: MRR throughput on 3n-hsw with xl710.'
2204     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "5" for CSIT rls2009, "6" for CSIT rls2101).'
2205     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2206     - '2009.0-6 vs 2009.0-5: Compares CSIT environment current vs previous with previous VPP code.'
2207     - '2101.0-6 vs 2009.0-6: Compares VPP code current vs previous in the current CSIT environment.'
2208
2209 # VPP Performance Changes 3n-skx 2t1c mrr
2210 - type: "table"
2211   title: "VPP Performance Changes 3n-skx 2t1c mrr"
2212   algorithm: "table_comparison"
2213   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-mrr"
2214   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2215   filter: "'2T1C' and 'MRR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2216   columns:
2217     - title: "2005.0-5"
2218       data-set: "vpp-performance-changes-3n-skx-mrr-h1"
2219     - title: "2009.0-5"
2220       data-set: "vpp-performance-changes-3n-skx-mrr-ref-env-old"
2221     - title: "2009.0-6"
2222       data-set: "vpp-performance-changes-3n-skx-mrr-ref-env-new"
2223     - title: "2101.0-6"
2224       data-set: "vpp-performance-changes-3n-skx-mrr-cmp"
2225   comparisons:
2226     - title: "2009.0-6 vs 2009.0-5"
2227       reference: 2
2228       compare: 3
2229 #      rca-file: "rca/rca-3n-skx-2t1c-mrr-rca1.yaml"
2230     - title: "2101.0-6 vs 2009.0-6"
2231       reference: 3
2232       compare: 4
2233 #      rca-file: "rca/rca-3n-skx-2t1c-mrr-rca2.yaml"
2234   legend:
2235     - ''
2236     - 'Test Case:            Test cases executed for: MRR throughput on 3n-skx with xxv710.'
2237     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "5" for CSIT rls2009, "6" for CSIT rls2101).'
2238     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2239     - '2009.0-6 vs 2009.0-5: Compares CSIT environment current vs previous with previous VPP code.'
2240     - '2101.0-6 vs 2009.0-6: Compares VPP code current vs previous in the current CSIT environment.'
2241
2242 # VPP Performance Changes 3n-skx 4t2c mrr
2243 - type: "table"
2244   title: "VPP Performance Changes 3n-skx 4t2c mrr"
2245   algorithm: "table_comparison"
2246   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-mrr"
2247   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2248   filter: "'4T2C' and 'MRR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2249   columns:
2250     - title: "2005.0-5"
2251       data-set: "vpp-performance-changes-3n-skx-mrr-h1"
2252     - title: "2009.0-5"
2253       data-set: "vpp-performance-changes-3n-skx-mrr-ref-env-old"
2254     - title: "2009.0-6"
2255       data-set: "vpp-performance-changes-3n-skx-mrr-ref-env-new"
2256     - title: "2101.0-6"
2257       data-set: "vpp-performance-changes-3n-skx-mrr-cmp"
2258   comparisons:
2259     - title: "2009.0-6 vs 2009.0-5"
2260       reference: 2
2261       compare: 3
2262 #      rca-file: "rca/rca-3n-skx-4t2c-mrr-rca1.yaml"
2263     - title: "2101.0-6 vs 2009.0-6"
2264       reference: 3
2265       compare: 4
2266 #      rca-file: "rca/rca-3n-skx-4t2c-mrr-rca2.yaml"
2267   legend:
2268     - ''
2269     - 'Test Case:            Test cases executed for: MRR throughput on 3n-skx with xxv710.'
2270     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "5" for CSIT rls2009, "6" for CSIT rls2101).'
2271     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2272     - '2009.0-6 vs 2009.0-5: Compares CSIT environment current vs previous with previous VPP code.'
2273     - '2101.0-6 vs 2009.0-6: Compares VPP code current vs previous in the current CSIT environment.'
2274
2275 # VPP Performance Changes 3n-skx 8t4c mrr
2276 - type: "table"
2277   title: "VPP Performance Changes 3n-skx 8t4c mrr"
2278   algorithm: "table_comparison"
2279   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-8t4c-mrr"
2280   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2281   filter: "'8T4C' and 'MRR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2282   columns:
2283     - title: "2005.0-5"
2284       data-set: "vpp-performance-changes-3n-skx-mrr-h1"
2285     - title: "2009.0-5"
2286       data-set: "vpp-performance-changes-3n-skx-mrr-ref-env-old"
2287     - title: "2009.0-6"
2288       data-set: "vpp-performance-changes-3n-skx-mrr-ref-env-new"
2289     - title: "2101.0-6"
2290       data-set: "vpp-performance-changes-3n-skx-mrr-cmp"
2291   comparisons:
2292     - title: "2009.0-6 vs 2009.0-5"
2293       reference: 2
2294       compare: 3
2295 #      rca-file: "rca/rca-3n-skx-8t4c-mrr-rca1.yaml"
2296     - title: "2101.0-6 vs 2009.0-6"
2297       reference: 3
2298       compare: 4
2299 #      rca-file: "rca/rca-3n-skx-8t4c-mrr-rca2.yaml"
2300   legend:
2301     - ''
2302     - 'Test Case:            Test cases executed for: MRR throughput on 3n-skx with xxv710.'
2303     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "5" for CSIT rls2009, "6" for CSIT rls2101).'
2304     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2305     - '2009.0-6 vs 2009.0-5: Compares CSIT environment current vs previous with previous VPP code.'
2306     - '2101.0-6 vs 2009.0-6: Compares VPP code current vs previous in the current CSIT environment.'
2307
2308 # VPP Performance Changes 2n-skx 2t1c mrr
2309 - type: "table"
2310   title: "VPP Performance Changes 2n-skx 2t1c mrr"
2311   algorithm: "table_comparison"
2312   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-mrr"
2313   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2314   filter: "'2T1C' and 'MRR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2315   columns:
2316     - title: "2005.0-5"
2317       data-set: "vpp-performance-changes-2n-skx-mrr-h1"
2318     - title: "2009.0-5"
2319       data-set: "vpp-performance-changes-2n-skx-mrr-ref-env-old"
2320     - title: "2009.0-6"
2321       data-set: "vpp-performance-changes-2n-skx-mrr-ref-env-new"
2322     - title: "2101.0-6"
2323       data-set: "vpp-performance-changes-2n-skx-mrr-cmp"
2324   comparisons:
2325     - title: "2009.0-6 vs 2009.0-5"
2326       reference: 2
2327       compare: 3
2328 #      rca-file: "rca/rca-2n-skx-2t1c-mrr-rca1.yaml"
2329     - title: "2101.0-6 vs 2009.0-6"
2330       reference: 3
2331       compare: 4
2332 #      rca-file: "rca/rca-2n-skx-2t1c-mrr-rca2.yaml"
2333   legend:
2334     - ''
2335     - 'Test Case:            Test cases executed for: MRR throughput on 2n-skx with xxv710.'
2336     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "5" for CSIT rls2009, "6" for CSIT rls2101).'
2337     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2338     - '2009.0-6 vs 2009.0-5: Compares CSIT environment current vs previous with previous VPP code.'
2339     - '2101.0-6 vs 2009.0-6: Compares VPP code current vs previous in the current CSIT environment.'
2340
2341 # VPP Performance Changes 2n-skx 4t2c mrr
2342 - type: "table"
2343   title: "VPP Performance Changes 2n-skx 4t2c mrr"
2344   algorithm: "table_comparison"
2345   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-mrr"
2346   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2347   filter: "'4T2C' and 'MRR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2348   columns:
2349     - title: "2005.0-5"
2350       data-set: "vpp-performance-changes-2n-skx-mrr-h1"
2351     - title: "2009.0-5"
2352       data-set: "vpp-performance-changes-2n-skx-mrr-ref-env-old"
2353     - title: "2009.0-6"
2354       data-set: "vpp-performance-changes-2n-skx-mrr-ref-env-new"
2355     - title: "2101.0-6"
2356       data-set: "vpp-performance-changes-2n-skx-mrr-cmp"
2357   comparisons:
2358     - title: "2009.0-6 vs 2009.0-5"
2359       reference: 2
2360       compare: 3
2361 #      rca-file: "rca/rca-2n-skx-4t2c-mrr-rca1.yaml"
2362     - title: "2101.0-6 vs 2009.0-6"
2363       reference: 3
2364       compare: 4
2365 #      rca-file: "rca/rca-2n-skx-4t2c-mrr-rca2.yaml"
2366   legend:
2367     - ''
2368     - 'Test Case:            Test cases executed for: MRR throughput on 2n-skx with xxv710.'
2369     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "5" for CSIT rls2009, "6" for CSIT rls2101).'
2370     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2371     - '2009.0-6 vs 2009.0-5: Compares CSIT environment current vs previous with previous VPP code.'
2372     - '2101.0-6 vs 2009.0-6: Compares VPP code current vs previous in the current CSIT environment.'
2373
2374 # VPP Performance Changes 2n-skx 8t4c mrr
2375 - type: "table"
2376   title: "VPP Performance Changes 2n-skx 8t4c mrr"
2377   algorithm: "table_comparison"
2378   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-8t4c-mrr"
2379   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2380   filter: "'8T4C' and 'MRR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2381   columns:
2382     - title: "2005.0-5"
2383       data-set: "vpp-performance-changes-2n-skx-mrr-h1"
2384     - title: "2009.0-5"
2385       data-set: "vpp-performance-changes-2n-skx-mrr-ref-env-old"
2386     - title: "2009.0-6"
2387       data-set: "vpp-performance-changes-2n-skx-mrr-ref-env-new"
2388     - title: "2101.0-6"
2389       data-set: "vpp-performance-changes-2n-skx-mrr-cmp"
2390   comparisons:
2391     - title: "2009.0-6 vs 2009.0-5"
2392       reference: 2
2393       compare: 3
2394 #      rca-file: "rca/rca-2n-skx-8t4c-mrr-rca1.yaml"
2395     - title: "2101.0-6 vs 2009.0-6"
2396       reference: 3
2397       compare: 4
2398 #      rca-file: "rca/rca-2n-skx-8t4c-mrr-rca2.yaml"
2399   legend:
2400     - ''
2401     - 'Test Case:            Test cases executed for: MRR throughput on 2n-skx with xxv710.'
2402     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "5" for CSIT rls2009, "6" for CSIT rls2101).'
2403     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2404     - '2009.0-6 vs 2009.0-5: Compares CSIT environment current vs previous with previous VPP code.'
2405     - '2101.0-6 vs 2009.0-6: Compares VPP code current vs previous in the current CSIT environment.'
2406
2407 # VPP Performance Changes 2n-clx-xxv710 2t1c mrr
2408 - type: "table"
2409   title: "VPP Performance Changes 2n-clx-xxv710 2t1c mrr"
2410   algorithm: "table_comparison"
2411   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-xxv710-2t1c-mrr"
2412   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2413   filter: "'2T1C' and 'MRR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2414   columns:
2415     - title: "2005.0-5"
2416       data-set: "vpp-performance-changes-2n-clx-mrr-h1"
2417     - title: "2009.0-5"
2418       data-set: "vpp-performance-changes-2n-clx-mrr-ref-env-old"
2419     - title: "2009.0-6"
2420       data-set: "vpp-performance-changes-2n-clx-mrr-ref-env-new"
2421     - title: "2101.0-6"
2422       data-set: "vpp-performance-changes-2n-clx-mrr-cmp"
2423   comparisons:
2424     - title: "2009.0-6 vs 2009.0-5"
2425       reference: 2
2426       compare: 3
2427 #      rca-file: "rca/rca-2n-clx-2t1c-mrr-rca1.yaml"
2428     - title: "2101.0-6 vs 2009.0-6"
2429       reference: 3
2430       compare: 4
2431 #      rca-file: "rca/rca-2n-clx-2t1c-mrr-rca2.yaml"
2432   legend:
2433     - ''
2434     - 'Test Case:            Test cases executed for: MRR throughput on 2n-clx with xxv710.'
2435     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "5" for CSIT rls2009, "6" for CSIT rls2101).'
2436     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2437     - '2009.0-6 vs 2009.0-5: Compares CSIT environment current vs previous with previous VPP code.'
2438     - '2101.0-6 vs 2009.0-6: Compares VPP code current vs previous in the current CSIT environment.'
2439
2440 # VPP Performance Changes 2n-clx-xxv710 4t2c mrr
2441 - type: "table"
2442   title: "VPP Performance Changes 2n-clx-xxv710 4t2c mrr"
2443   algorithm: "table_comparison"
2444   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-xxv710-4t2c-mrr"
2445   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2446   filter: "'4T2C' and 'MRR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2447   columns:
2448     - title: "2005.0-5"
2449       data-set: "vpp-performance-changes-2n-clx-mrr-h1"
2450     - title: "2009.0-5"
2451       data-set: "vpp-performance-changes-2n-clx-mrr-ref-env-old"
2452     - title: "2009.0-6"
2453       data-set: "vpp-performance-changes-2n-clx-mrr-ref-env-new"
2454     - title: "2101.0-6"
2455       data-set: "vpp-performance-changes-2n-clx-mrr-cmp"
2456   comparisons:
2457     - title: "2009.0-6 vs 2009.0-5"
2458       reference: 2
2459       compare: 3
2460 #      rca-file: "rca/rca-2n-clx-4t2c-mrr-rca1.yaml"
2461     - title: "2101.0-6 vs 2009.0-6"
2462       reference: 3
2463       compare: 4
2464 #      rca-file: "rca/rca-2n-clx-4t2c-mrr-rca2.yaml"
2465   legend:
2466     - ''
2467     - 'Test Case:            Test cases executed for: MRR throughput on 2n-clx with xxv710.'
2468     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "5" for CSIT rls2009, "6" for CSIT rls2101).'
2469     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2470     - '2009.0-6 vs 2009.0-5: Compares CSIT environment current vs previous with previous VPP code.'
2471     - '2101.0-6 vs 2009.0-6: Compares VPP code current vs previous in the current CSIT environment.'
2472
2473 # VPP Performance Changes 2n-clx-xxv710 8t4c mrr
2474 - type: "table"
2475   title: "VPP Performance Changes 2n-clx-xxv710 8t4c mrr"
2476   algorithm: "table_comparison"
2477   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-xxv710-8t4c-mrr"
2478   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2479   filter: "'8T4C' and 'MRR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2480   columns:
2481     - title: "2005.0-5"
2482       data-set: "vpp-performance-changes-2n-clx-mrr-h1"
2483     - title: "2009.0-5"
2484       data-set: "vpp-performance-changes-2n-clx-mrr-ref-env-old"
2485     - title: "2009.0-6"
2486       data-set: "vpp-performance-changes-2n-clx-mrr-ref-env-new"
2487     - title: "2101.0-6"
2488       data-set: "vpp-performance-changes-2n-clx-mrr-cmp"
2489   comparisons:
2490     - title: "2009.0-6 vs 2009.0-5"
2491       reference: 2
2492       compare: 3
2493 #      rca-file: "rca/rca-2n-clx-8t4c-mrr-rca1.yaml"
2494     - title: "2101.0-6 vs 2009.0-6"
2495       reference: 3
2496       compare: 4
2497 #      rca-file: "rca/rca-2n-clx-8t4c-mrr-rca2.yaml"
2498   legend:
2499     - ''
2500     - 'Test Case:            Test cases executed for: MRR throughput on 2n-clx with xxv710.'
2501     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "5" for CSIT rls2009, "6" for CSIT rls2101).'
2502     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2503     - '2009.0-6 vs 2009.0-5: Compares CSIT environment current vs previous with previous VPP code.'
2504     - '2101.0-6 vs 2009.0-6: Compares VPP code current vs previous in the current CSIT environment.'
2505
2506 # VPP Performance Changes 2n-clx-cx556a 2t1c mrr
2507 - type: "table"
2508   title: "VPP Performance Changes 2n-clx-cx556a 2t1c mrr"
2509   algorithm: "table_comparison"
2510   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-cx556a-2t1c-mrr"
2511   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2512   filter: "'2T1C' and 'MRR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
2513   columns:
2514     - title: "2005.0-5"
2515       data-set: "vpp-performance-changes-2n-clx-mrr-h1"
2516     - title: "2009.0-5"
2517       data-set: "vpp-performance-changes-2n-clx-mrr-ref-env-old"
2518     - title: "2009.0-6"
2519       data-set: "vpp-performance-changes-2n-clx-mrr-ref-env-new"
2520     - title: "2101.0-6"
2521       data-set: "vpp-performance-changes-2n-clx-mrr-cmp"
2522   comparisons:
2523     - title: "2009.0-6 vs 2009.0-5"
2524       reference: 2
2525       compare: 3
2526 #      rca-file: "rca/rca-2n-clx-2t1c-mrr-rca3.yaml"
2527     - title: "2101.0-6 vs 2009.0-6"
2528       reference: 3
2529       compare: 4
2530 #      rca-file: "rca/rca-2n-clx-2t1c-mrr-rca4.yaml"
2531   legend:
2532     - ''
2533     - 'Test Case:            Test cases executed for: MRR throughput on 2n-clx with cx556a.'
2534     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "5" for CSIT rls2009, "6" for CSIT rls2101).'
2535     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2536     - '2009.0-6 vs 2009.0-5: Compares CSIT environment current vs previous with previous VPP code.'
2537     - '2101.0-6 vs 2009.0-6: Compares VPP code current vs previous in the current CSIT environment.'
2538
2539 # VPP Performance Changes 2n-clx-cx556a 4t2c mrr
2540 - type: "table"
2541   title: "VPP Performance Changes 2n-clx-cx556a 4t2c mrr"
2542   algorithm: "table_comparison"
2543   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-cx556a-4t2c-mrr"
2544   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2545   filter: "'4T2C' and 'MRR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
2546   columns:
2547     - title: "2005.0-5"
2548       data-set: "vpp-performance-changes-2n-clx-mrr-h1"
2549     - title: "2009.0-5"
2550       data-set: "vpp-performance-changes-2n-clx-mrr-ref-env-old"
2551     - title: "2009.0-6"
2552       data-set: "vpp-performance-changes-2n-clx-mrr-ref-env-new"
2553     - title: "2101.0-6"
2554       data-set: "vpp-performance-changes-2n-clx-mrr-cmp"
2555   comparisons:
2556     - title: "2009.0-6 vs 2009.0-5"
2557       reference: 2
2558       compare: 3
2559 #      rca-file: "rca/rca-2n-clx-4t2c-mrr-rca3.yaml"
2560     - title: "2101.0-6 vs 2009.0-6"
2561       reference: 3
2562       compare: 4
2563 #      rca-file: "rca/rca-2n-clx-4t2c-mrr-rca4.yaml"
2564   legend:
2565     - ''
2566     - 'Test Case:            Test cases executed for: MRR throughput on 2n-clx with cx556a.'
2567     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "5" for CSIT rls2009, "6" for CSIT rls2101).'
2568     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2569     - '2009.0-6 vs 2009.0-5: Compares CSIT environment current vs previous with previous VPP code.'
2570     - '2101.0-6 vs 2009.0-6: Compares VPP code current vs previous in the current CSIT environment.'
2571
2572 # VPP Performance Changes 2n-clx-cx556a 8t4c mrr
2573 - type: "table"
2574   title: "VPP Performance Changes 2n-clx-cx556a 8t4c mrr"
2575   algorithm: "table_comparison"
2576   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-cx556a-8t4c-mrr"
2577   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2578   filter: "'8T4C' and 'MRR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
2579   columns:
2580     - title: "2005.0-5"
2581       data-set: "vpp-performance-changes-2n-clx-mrr-h1"
2582     - title: "2009.0-5"
2583       data-set: "vpp-performance-changes-2n-clx-mrr-ref-env-old"
2584     - title: "2009.0-6"
2585       data-set: "vpp-performance-changes-2n-clx-mrr-ref-env-new"
2586     - title: "2101.0-6"
2587       data-set: "vpp-performance-changes-2n-clx-mrr-cmp"
2588   comparisons:
2589     - title: "2009.0-6 vs 2009.0-5"
2590       reference: 2
2591       compare: 3
2592 #      rca-file: "rca/rca-2n-clx-8t4c-mrr-rca3.yaml"
2593     - title: "2101.0-6 vs 2009.0-6"
2594       reference: 3
2595       compare: 4
2596 #      rca-file: "rca/rca-2n-clx-8t4c-mrr-rca4.yaml"
2597   legend:
2598     - ''
2599     - 'Test Case:            Test cases executed for: MRR throughput on 2n-clx with cx556a.'
2600     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "5" for CSIT rls2009, "6" for CSIT rls2101).'
2601     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2602     - '2009.0-6 vs 2009.0-5: Compares CSIT environment current vs previous with previous VPP code.'
2603     - '2101.0-6 vs 2009.0-6: Compares VPP code current vs previous in the current CSIT environment.'
2604
2605 # VPP Performance Changes 2n-zn2-xxv710 2t1c mrr
2606 - type: "table"
2607   title: "VPP Performance Changes 2n-zn2-xxv710 2t1c mrr"
2608   algorithm: "table_comparison"
2609   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-zn2-xxv710-2t1c-mrr"
2610   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2611   filter: "'2T1C' and 'MRR' and 'NIC_Intel-XXV710'"
2612   columns:
2613 #     - title: "2005.0-5"
2614 #       data-set: "vpp-performance-changes-2n-zn2-mrr-h1"
2615     - title: "2009.0-5"
2616       data-set: "vpp-performance-changes-2n-zn2-mrr-ref-env-old"
2617     - title: "2009.0-6"
2618       data-set: "vpp-performance-changes-2n-zn2-mrr-ref-env-new"
2619     - title: "2101.0-6"
2620       data-set: "vpp-performance-changes-2n-zn2-mrr-cmp"
2621   comparisons:
2622     - title: "2009.0-6 vs 2009.0-5"
2623       reference: 1  # 2
2624       compare: 2  # 3
2625 #      rca-file: "rca/rca-2n-zn2-2t1c-mrr-rca1.yaml"
2626     - title: "2101.0-6 vs 2009.0-6"
2627       reference: 2  # 3
2628       compare: 3  # 4
2629 #      rca-file: "rca/rca-2n-zn2-2t1c-mrr-rca2.yaml"
2630   legend:
2631     - ''
2632     - 'Test Case:            Test cases executed for: MRR throughput on 2n-zn2 with xxv710.'
2633     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "5" for CSIT rls2009, "6" for CSIT rls2101).'
2634     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2635     - '2009.0-6 vs 2009.0-5: Compares CSIT environment current vs previous with previous VPP code.'
2636     - '2101.0-6 vs 2009.0-6: Compares VPP code current vs previous in the current CSIT environment.'
2637
2638 # VPP Performance Changes 2n-zn2-xxv710 4t2c mrr
2639 - type: "table"
2640   title: "VPP Performance Changes 2n-zn2-xxv710 4t2c mrr"
2641   algorithm: "table_comparison"
2642   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-zn2-xxv710-4t2c-mrr"
2643   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2644   filter: "'4T2C' and 'MRR' and 'NIC_Intel-XXV710'"
2645   columns:
2646 #     - title: "2005.0-5"
2647 #       data-set: "vpp-performance-changes-2n-zn2-mrr-h1"
2648     - title: "2009.0-5"
2649       data-set: "vpp-performance-changes-2n-zn2-mrr-ref-env-old"
2650     - title: "2009.0-6"
2651       data-set: "vpp-performance-changes-2n-zn2-mrr-ref-env-new"
2652     - title: "2101.0-6"
2653       data-set: "vpp-performance-changes-2n-zn2-mrr-cmp"
2654   comparisons:
2655     - title: "2009.0-6 vs 2009.0-5"
2656       reference: 1  # 2
2657       compare: 2  # 3
2658 #      rca-file: "rca/rca-2n-zn2-4t2c-mrr-rca1.yaml"
2659     - title: "2101.0-6 vs 2009.0-6"
2660       reference: 2  # 3
2661       compare: 3  # 4
2662 #      rca-file: "rca/rca-2n-zn2-4t2c-mrr-rca2.yaml"
2663   legend:
2664     - ''
2665     - 'Test Case:            Test cases executed for: MRR throughput on 2n-zn2 with xxv710.'
2666     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "5" for CSIT rls2009, "6" for CSIT rls2101).'
2667     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2668     - '2009.0-6 vs 2009.0-5: Compares CSIT environment current vs previous with previous VPP code.'
2669     - '2101.0-6 vs 2009.0-6: Compares VPP code current vs previous in the current CSIT environment.'
2670
2671 # VPP Performance Changes 2n-zn2-xxv710 8t4c mrr
2672 - type: "table"
2673   title: "VPP Performance Changes 2n-zn2-xxv710 8t4c mrr"
2674   algorithm: "table_comparison"
2675   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-zn2-xxv710-8t4c-mrr"
2676   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2677   filter: "'8T4C' and 'MRR' and 'NIC_Intel-XXV710'"
2678   columns:
2679 #     - title: "2005.0-5"
2680 #       data-set: "vpp-performance-changes-2n-zn2-mrr-h1"
2681     - title: "2009.0-5"
2682       data-set: "vpp-performance-changes-2n-zn2-mrr-ref-env-old"
2683     - title: "2009.0-6"
2684       data-set: "vpp-performance-changes-2n-zn2-mrr-ref-env-new"
2685     - title: "2101.0-6"
2686       data-set: "vpp-performance-changes-2n-zn2-mrr-cmp"
2687   comparisons:
2688     - title: "2009.0-6 vs 2009.0-5"
2689       reference: 1  # 2
2690       compare: 2  # 3
2691 #      rca-file: "rca/rca-2n-zn2-8t4c-mrr-rca1.yaml"
2692     - title: "2101.0-6 vs 2009.0-6"
2693       reference: 2  # 3
2694       compare: 3  # 4
2695 #      rca-file: "rca/rca-2n-zn2-8t4c-mrr-rca2.yaml"
2696   legend:
2697     - ''
2698     - 'Test Case:            Test cases executed for: MRR throughput on 2n-zn2 with xxv710.'
2699     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "5" for CSIT rls2009, "6" for CSIT rls2101).'
2700     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2701     - '2009.0-6 vs 2009.0-5: Compares CSIT environment current vs previous with previous VPP code.'
2702     - '2101.0-6 vs 2009.0-6: Compares VPP code current vs previous in the current CSIT environment.'
2703
2704 # VPP Performance Changes 2n-dnv 1t1c mrr
2705 - type: "table"
2706   title: "VPP Performance Changes 2n-dnv 1t1c mrr"
2707   algorithm: "table_comparison"
2708   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-dnv-1t1c-mrr"
2709   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2710   filter: "'1T1C'"
2711   columns:
2712     - title: "2005.0-5"
2713       data-set: "vpp-performance-changes-2n-dnv-mrr-h1"
2714     - title: "2009.0-5"
2715       data-set: "vpp-performance-changes-2n-dnv-mrr-ref-env-old"
2716 #     - title: "2009.0-6"
2717 #       data-set: "vpp-performance-changes-2n-dnv-mrr-ref-env-new"
2718     - title: "2101.0-6"
2719       data-set: "vpp-performance-changes-2n-dnv-mrr-cmp"
2720   comparisons:
2721 #     - title: "2009.0-6 vs 2009.0-5"
2722 #       reference: 2
2723 #       compare: 3
2724     - title: "2101.0-6 vs 2009.0-5"
2725       reference: 2
2726       compare: 3
2727   legend:
2728     - ''
2729     - 'Test Case:            Test cases executed for: MRR throughput on 2n-dnv with x553.'
2730     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "5" for CSIT rls2009, "6" for CSIT rls2101).'
2731     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2732 #     - '2009.0-6 vs 2009.0-5: Compares CSIT environment current vs previous with previous VPP code.'
2733     - '2101.0-6 vs 2009.0-5: Compares VPP code current vs previous in the current CSIT environment.'
2734
2735 # VPP Performance Changes 2n-dnv 2t2c mrr
2736 - type: "table"
2737   title: "VPP Performance Changes 2n-dnv 2t2c mrr"
2738   algorithm: "table_comparison"
2739   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-dnv-2t2c-mrr"
2740   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2741   filter: "'2T2C'"
2742   columns:
2743     - title: "2005.0-5"
2744       data-set: "vpp-performance-changes-2n-dnv-mrr-h1"
2745     - title: "2009.0-5"
2746       data-set: "vpp-performance-changes-2n-dnv-mrr-ref-env-old"
2747 #     - title: "2009.0-6"
2748 #       data-set: "vpp-performance-changes-2n-dnv-mrr-ref-env-new"
2749     - title: "2101.0-6"
2750       data-set: "vpp-performance-changes-2n-dnv-mrr-cmp"
2751   comparisons:
2752 #     - title: "2009.0-6 vs 2009.0-5"
2753 #       reference: 2
2754 #       compare: 3
2755     - title: "2101.0-6 vs 2009.0-5"
2756       reference: 2
2757       compare: 3
2758   legend:
2759     - ''
2760     - 'Test Case:            Test cases executed for: MRR throughput on 2n-dnv with x553.'
2761     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "5" for CSIT rls2009, "6" for CSIT rls2101).'
2762     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2763 #     - '2009.0-6 vs 2009.0-5: Compares CSIT environment current vs previous with previous VPP code.'
2764     - '2101.0-6 vs 2009.0-5: Compares VPP code current vs previous in the current CSIT environment.'
2765
2766 # VPP Performance Changes 2n-dnv 4t4c mrr
2767 - type: "table"
2768   title: "VPP Performance Changes 2n-dnv 4t4c mrr"
2769   algorithm: "table_comparison"
2770   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-dnv-4t4c-mrr"
2771   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2772   filter: "'4T4C'"
2773   columns:
2774     - title: "2005.0-5"
2775       data-set: "vpp-performance-changes-2n-dnv-mrr-h1"
2776     - title: "2009.0-5"
2777       data-set: "vpp-performance-changes-2n-dnv-mrr-ref-env-old"
2778 #     - title: "2009.0-6"
2779 #       data-set: "vpp-performance-changes-2n-dnv-mrr-ref-env-new"
2780     - title: "2101.0-6"
2781       data-set: "vpp-performance-changes-2n-dnv-mrr-cmp"
2782   comparisons:
2783 #     - title: "2009.0-6 vs 2009.0-5"
2784 #       reference: 2
2785 #       compare: 3
2786     - title: "2101.0-6 vs 2009.0-5"
2787       reference: 2
2788       compare: 3
2789   legend:
2790     - ''
2791     - 'Test Case:            Test cases executed for: MRR throughput on 2n-dnv with x553.'
2792     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "5" for CSIT rls2009, "6" for CSIT rls2101).'
2793     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2794 #     - '2009.0-6 vs 2009.0-5: Compares CSIT environment current vs previous with previous VPP code.'
2795     - '2101.0-6 vs 2009.0-5: Compares VPP code current vs previous in the current CSIT environment.'
2796
2797 # VPP Performance Changes 3n-dnv 1t1c mrr
2798 - type: "table"
2799   title: "VPP Performance Changes 3n-dnv 1t1c mrr"
2800   algorithm: "table_comparison"
2801   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-dnv-1t1c-mrr"
2802   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2803   filter: "'1T1C'"
2804   columns:
2805     - title: "2005.0-5"
2806       data-set: "vpp-performance-changes-3n-dnv-mrr-h1"
2807     - title: "2009.0-5"
2808       data-set: "vpp-performance-changes-3n-dnv-mrr-ref-env-old"
2809 #     - title: "2009.0-6"
2810 #       data-set: "vpp-performance-changes-2n-dnv-mrr-ref-env-new"
2811     - title: "2101.0-6"
2812       data-set: "vpp-performance-changes-3n-dnv-mrr-cmp"
2813   comparisons:
2814 #     - title: "2009.0-6 vs 2009.0-5"
2815 #       reference: 2
2816 #       compare: 3
2817     - title: "2101.0-6 vs 2009.0-5"
2818       reference: 2
2819       compare: 3
2820   legend:
2821     - ''
2822     - 'Test Case:            Test cases executed for: MRR throughput on 3n-dnv with x553.'
2823     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "5" for CSIT rls2009, "6" for CSIT rls2101).'
2824     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2825 #     - '2009.0-6 vs 2009.0-5: Compares CSIT environment current vs previous with previous VPP code.'
2826     - '2101.0-6 vs 2009.0-5: Compares VPP code current vs previous in the current CSIT environment.'
2827
2828 # VPP Performance Changes 3n-dnv 2t2c mrr
2829 - type: "table"
2830   title: "VPP Performance Changes 3n-dnv 2t2c mrr"
2831   algorithm: "table_comparison"
2832   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-dnv-2t2c-mrr"
2833   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2834   filter: "'2T2C'"
2835   columns:
2836     - title: "2005.0-5"
2837       data-set: "vpp-performance-changes-3n-dnv-mrr-h1"
2838     - title: "2009.0-5"
2839       data-set: "vpp-performance-changes-3n-dnv-mrr-ref-env-old"
2840 #     - title: "2009.0-6"
2841 #       data-set: "vpp-performance-changes-2n-dnv-mrr-ref-env-new"
2842     - title: "2101.0-6"
2843       data-set: "vpp-performance-changes-3n-dnv-mrr-cmp"
2844   comparisons:
2845 #     - title: "2009.0-6 vs 2009.0-5"
2846 #       reference: 2
2847 #       compare: 3
2848     - title: "2101.0-6 vs 2009.0-5"
2849       reference: 2
2850       compare: 3
2851   legend:
2852     - ''
2853     - 'Test Case:            Test cases executed for: MRR throughput on 3n-dnv with x553.'
2854     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "5" for CSIT rls2009, "6" for CSIT rls2101).'
2855     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2856 #     - '2009.0-6 vs 2009.0-5: Compares CSIT environment current vs previous with previous VPP code.'
2857     - '2101.0-6 vs 2009.0-5: Compares VPP code current vs previous in the current CSIT environment.'
2858
2859 # VPP Performance Changes 3n-dnv 4t4c mrr
2860 - type: "table"
2861   title: "VPP Performance Changes 3n-dnv 4t4c mrr"
2862   algorithm: "table_comparison"
2863   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-dnv-4t4c-mrr"
2864   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2865   filter: "'4T4C'"
2866   columns:
2867     - title: "2005.0-5"
2868       data-set: "vpp-performance-changes-3n-dnv-mrr-h1"
2869     - title: "2009.0-5"
2870       data-set: "vpp-performance-changes-3n-dnv-mrr-ref-env-old"
2871 #     - title: "2009.0-6"
2872 #       data-set: "vpp-performance-changes-2n-dnv-mrr-ref-env-new"
2873     - title: "2101.0-6"
2874       data-set: "vpp-performance-changes-3n-dnv-mrr-cmp"
2875   comparisons:
2876 #     - title: "2009.0-6 vs 2009.0-5"
2877 #       reference: 2
2878 #       compare: 3
2879     - title: "2101.0-6 vs 2009.0-5"
2880       reference: 2
2881       compare: 3
2882   legend:
2883     - ''
2884     - 'Test Case:            Test cases executed for: MRR throughput on 3n-dnv with x553.'
2885     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "5" for CSIT rls2009, "6" for CSIT rls2101).'
2886     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2887 #     - '2009.0-6 vs 2009.0-5: Compares CSIT environment current vs previous with previous VPP code.'
2888     - '2101.0-6 vs 2009.0-5: Compares VPP code current vs previous in the current CSIT environment.'
2889
2890 # VPP Performance Changes 3n-tsh 1t1c mrr
2891 - type: "table"
2892   title: "VPP Performance Changes 3n-tsh 1t1c mrr"
2893   algorithm: "table_comparison"
2894   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-tsh-1t1c-mrr"
2895   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2896   filter: "'1T1C'"
2897   columns:
2898     - title: "2005.0-5"
2899       data-set: "vpp-performance-changes-3n-tsh-mrr-h1"
2900     - title: "2009.0-5"
2901       data-set: "vpp-performance-changes-3n-tsh-mrr-ref-env-old"
2902     - title: "2009.0-6"
2903       data-set: "vpp-performance-changes-3n-tsh-mrr-ref-env-new"
2904     - title: "2101.0-6"
2905       data-set: "vpp-performance-changes-3n-tsh-mrr-cmp"
2906   comparisons:
2907     - title: "2009.0-6 vs 2009.0-5"
2908       reference: 2
2909       compare: 3
2910     - title: "2101.0-6 vs 2009.0-6"
2911       reference: 3
2912       compare: 4
2913   legend:
2914     - ''
2915     - 'Test Case:            Test cases executed for: MRR throughput on 3n-tsh with x520.'
2916     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "5" for CSIT rls2009, "6" for CSIT rls2101).'
2917     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2918     - '2009.0-6 vs 2009.0-5: Compares CSIT environment current vs previous with previous VPP code.'
2919     - '2101.0-6 vs 2009.0-6: Compares VPP code current vs previous in the current CSIT environment.'
2920
2921 # VPP Performance Changes 3n-tsh 2t2c mrr
2922 - type: "table"
2923   title: "VPP Performance Changes 3n-tsh 2t2c mrr"
2924   algorithm: "table_comparison"
2925   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-tsh-2t2c-mrr"
2926   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2927   filter: "'2T2C'"
2928   columns:
2929     - title: "2005.0-5"
2930       data-set: "vpp-performance-changes-3n-tsh-mrr-h1"
2931     - title: "2009.0-5"
2932       data-set: "vpp-performance-changes-3n-tsh-mrr-ref-env-old"
2933     - title: "2009.0-6"
2934       data-set: "vpp-performance-changes-3n-tsh-mrr-ref-env-new"
2935     - title: "2101.0-6"
2936       data-set: "vpp-performance-changes-3n-tsh-mrr-cmp"
2937   comparisons:
2938     - title: "2009.0-6 vs 2009.0-5"
2939       reference: 2
2940       compare: 3
2941     - title: "2101.0-6 vs 2009.0-6"
2942       reference: 3
2943       compare: 4
2944   legend:
2945     - ''
2946     - 'Test Case:            Test cases executed for: MRR throughput on 3n-tsh with x520.'
2947     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "5" for CSIT rls2009, "6" for CSIT rls2101).'
2948     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2949     - '2009.0-6 vs 2009.0-5: Compares CSIT environment current vs previous with previous VPP code.'
2950     - '2101.0-6 vs 2009.0-6: Compares VPP code current vs previous in the current CSIT environment.'
2951
2952 # VPP Performance Changes 3n-tsh 4t4c mrr
2953 - type: "table"
2954   title: "VPP Performance Changes 3n-tsh 4t4c mrr"
2955   algorithm: "table_comparison"
2956   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-tsh-4t4c-mrr"
2957   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2958   filter: "'4T4C'"
2959   columns:
2960     - title: "2005.0-5"
2961       data-set: "vpp-performance-changes-3n-tsh-mrr-h1"
2962     - title: "2009.0-5"
2963       data-set: "vpp-performance-changes-3n-tsh-mrr-ref-env-old"
2964     - title: "2009.0-6"
2965       data-set: "vpp-performance-changes-3n-tsh-mrr-ref-env-new"
2966     - title: "2101.0-6"
2967       data-set: "vpp-performance-changes-3n-tsh-mrr-cmp"
2968   comparisons:
2969     - title: "2009.0-6 vs 2009.0-5"
2970       reference: 2
2971       compare: 3
2972     - title: "2101.0-6 vs 2009.0-6"
2973       reference: 3
2974       compare: 4
2975   legend:
2976     - ''
2977     - 'Test Case:            Test cases executed for: MRR throughput on 3n-tsh with x520.'
2978     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "5" for CSIT rls2009, "6" for CSIT rls2101).'
2979     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2980     - '2009.0-6 vs 2009.0-5: Compares CSIT environment current vs previous with previous VPP code.'
2981     - '2101.0-6 vs 2009.0-6: Compares VPP code current vs previous in the current CSIT environment.'
2982
2983 # VPP Performance Changes 2n-tx2 1t1c mrr
2984 - type: "table"
2985   title: "VPP Performance Changes 2n-tx2 1t1c mrr"
2986   algorithm: "table_comparison"
2987   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-tx2-1t1c-mrr"
2988   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2989   filter: "'1T1C'"
2990   columns:
2991 #     - title: "2005.0-5"
2992 #       data-set: "vpp-performance-changes-2n-tx2-mrr-h1"
2993 #     - title: "2009.0-5"
2994 #       data-set: "vpp-performance-changes-2n-tx2-mrr-ref-env-old"
2995     - title: "2009.0-6"
2996       data-set: "vpp-performance-changes-2n-tx2-mrr-ref-env-new"
2997     - title: "2101.0-6"
2998       data-set: "vpp-performance-changes-2n-tx2-mrr-cmp"
2999   comparisons:
3000 #     - title: "2009.0-6 vs 2009.0-5"
3001 #       reference: 2
3002 #       compare: 3
3003     - title: "2101.0-6 vs 2009.0-6"
3004       reference: 1
3005       compare: 2
3006   legend:
3007     - ''
3008     - 'Test Case:            Test cases executed for: MRR throughput on 2n-tx2 with xl710.'
300