resources/tools/presentation/specifications/report/elements.yaml

   1 ################################################################################
   2 ###                               T A B L E S                                ###
   3 ################################################################################
   4
   5 # VPP Soak vs NDR - 2n-skx
   6 - type: "table"
   7   title: "VPP Soak vs NDR 2n-skx"
   8   algorithm: "table_soak_vs_ndr"
   9   output-file: "{DIR[STATIC,VPP]}/soak-vs-ndr-2n-skx"
  10   reference:
  11     title: "NDR"
  12     data: "vpp-soak-vs-ndr-2n-skx-ref"
  13   compare:
  14     title: "Soak"
  15     data: "vpp-2n-skx-curr-soak"
  16   data: "vpp-soak-vs-ndr-2n-skx"
  17   include-tests: "NDR"
  18   filter: "('NDRPDR' or 'SOAK') and not 'NF_DENSITY'"
  19   parameters:
  20     - "throughput"
  21     - "name"
  22     - "parent"
  23
  24 # VPP Soak vs NDR - 2n-clx
  25 - type: "table"
  26   title: "VPP Soak vs NDR 2n-clx"
  27   algorithm: "table_soak_vs_ndr"
  28   output-file: "{DIR[STATIC,VPP]}/soak-vs-ndr-2n-clx"
  29   reference:
  30     title: "NDR"
  31     data: "vpp-soak-vs-ndr-2n-clx-ref"
  32   compare:
  33     title: "Soak"
  34     data: "vpp-2n-clx-curr-soak"
  35   data: "vpp-soak-vs-ndr-2n-clx"
  36   include-tests: "NDR"
  37   filter: "('NDRPDR' or 'SOAK') and not 'NF_DENSITY'"
  38   parameters:
  39     - "throughput"
  40     - "name"
  41     - "parent"
  42
  43 ################################################################################
  44
  45 # VPP Compare NICs 3n-skx 2t1c ndr
  46 - type: "table"
  47   title: "VPP Compare NICs 3n-skx 2t1c ndr"
  48   algorithm: "table_comparison"
  49   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-ndr"
  50   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
  51   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
  52   columns:
  53     - title: "x710"
  54       data-set: "vpp-3n-skx-curr-iter"
  55       tag: "NIC_Intel-X710"
  56     - title: "xxv710"
  57       data-set: "vpp-3n-skx-curr-iter"
  58       tag: "NIC_Intel-XXV710"
  59   comparisons:
  60     - title: "Diff"
  61       reference: 1
  62       compare: 2
  63   legend:
  64     - ""
  65     - "x710, xxv710 - NICs tested."
  66     - "Diff - difference between x710 and xxv710 NIC."
  67
  68 # VPP Compare NICs 3n-skx 4t2c ndr
  69 - type: "table"
  70   title: "VPP Compare NICs 3n-skx 4t2c ndr"
  71   algorithm: "table_comparison"
  72   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-ndr"
  73   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
  74   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
  75   columns:
  76     - title: "x710"
  77       data-set: "vpp-3n-skx-curr-iter"
  78       tag: "NIC_Intel-X710"
  79     - title: "xxv710"
  80       data-set: "vpp-3n-skx-curr-iter"
  81       tag: "NIC_Intel-XXV710"
  82   comparisons:
  83     - title: "Diff"
  84       reference: 1
  85       compare: 2
  86   legend:
  87     - ""
  88     - "x710, xxv710 - NICs tested."
  89     - "Diff - difference between x710 and xxv710 NIC."
  90
  91 # VPP Compare NICs 3n-skx 2t1c pdr
  92 - type: "table"
  93   title: "VPP Compare NICs 3n-skx 2t1c pdr"
  94   algorithm: "table_comparison"
  95   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-pdr"
  96   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
  97   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
  98   columns:
  99     - title: "x710"
 100       data-set: "vpp-3n-skx-curr-iter"
 101       tag: "NIC_Intel-X710"
 102     - title: "xxv710"
 103       data-set: "vpp-3n-skx-curr-iter"
 104       tag: "NIC_Intel-XXV710"
 105   comparisons:
 106     - title: "Diff"
 107       reference: 1
 108       compare: 2
 109   legend:
 110     - ""
 111     - "x710, xxv710 - NICs tested."
 112     - "Diff - difference between x710 and xxv710 NIC."
 113
 114 # VPP Compare NICs 3n-skx 4t2c pdr
 115 - type: "table"
 116   title: "VPP Compare NICs 3n-skx 4t2c pdr"
 117   algorithm: "table_comparison"
 118   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-pdr"
 119   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
 120   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
 121   columns:
 122     - title: "x710"
 123       data-set: "vpp-3n-skx-curr-iter"
 124       tag: "NIC_Intel-X710"
 125     - title: "xxv710"
 126       data-set: "vpp-3n-skx-curr-iter"
 127       tag: "NIC_Intel-XXV710"
 128   comparisons:
 129     - title: "Diff"
 130       reference: 1
 131       compare: 2
 132   legend:
 133     - ""
 134     - "x710, xxv710 - NICs tested."
 135     - "Diff - difference between x710 and xxv710 NIC."
 136
 137 # VPP Compare NICs 3n-skx 2t1c mrr
 138 - type: "table"
 139   title: "VPP Compare NICs 3n-skx 2t1c mrr"
 140   algorithm: "table_comparison"
 141   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-mrr"
 142   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
 143   filter: "'2T1C' and 'MRR' and not 'NF_DENSITY'"
 144   columns:
 145     - title: "x710"
 146       data-set: "vpp-3n-skx-curr-iter-mrr"
 147       tag: "NIC_Intel-X710"
 148     - title: "xxv710"
 149       data-set: "vpp-3n-skx-curr-iter-mrr"
 150       tag: "NIC_Intel-XXV710"
 151   comparisons:
 152     - title: "Diff"
 153       reference: 1
 154       compare: 2
 155   legend:
 156     - ""
 157     - "x710, xxv710 - NICs tested."
 158     - "Diff - difference between x710 and xxv710 NIC."
 159
 160 # VPP Compare NICs 3n-skx 4t2c mrr
 161 - type: "table"
 162   title: "VPP Compare NICs 3n-skx 4t2c mrr"
 163   algorithm: "table_comparison"
 164   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-mrr"
 165   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
 166   filter: "'4T2C' and 'MRR' and not 'NF_DENSITY'"
 167   columns:
 168     - title: "x710"
 169       data-set: "vpp-3n-skx-curr-iter-mrr"
 170       tag: "NIC_Intel-X710"
 171     - title: "xxv710"
 172       data-set: "vpp-3n-skx-curr-iter-mrr"
 173       tag: "NIC_Intel-XXV710"
 174   comparisons:
 175     - title: "Diff"
 176       reference: 1
 177       compare: 2
 178   legend:
 179     - ""
 180     - "x710, xxv710 - NICs tested."
 181     - "Diff - difference between x710 and xxv710 NIC."
 182
 183 # VPP Compare NICs 3n-skx 8t4c mrr
 184 - type: "table"
 185   title: "VPP Compare NICs 3n-skx 8t4c mrr"
 186   algorithm: "table_comparison"
 187   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-8t4c-nics-mrr"
 188   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
 189   filter: "'8T4C' and 'MRR' and not 'NF_DENSITY'"
 190   columns:
 191     - title: "x710"
 192       data-set: "vpp-3n-skx-curr-iter-mrr"
 193       tag: "NIC_Intel-X710"
 194     - title: "xxv710"
 195       data-set: "vpp-3n-skx-curr-iter-mrr"
 196       tag: "NIC_Intel-XXV710"
 197   comparisons:
 198     - title: "Diff"
 199       reference: 1
 200       compare: 2
 201   legend:
 202     - ""
 203     - "x710, xxv710 - NICs tested."
 204     - "Diff - difference between x710 and xxv710 NIC."
 205
 206 # VPP Compare NICs 2n-skx 2t1c ndr
 207 - type: "table"
 208   title: "VPP Compare NICs 2n-skx 2t1c ndr"
 209   algorithm: "table_comparison"
 210   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-nics-ndr"
 211   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
 212   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
 213   columns:
 214     - title: "x710"
 215       data-set: "vpp-2n-skx-curr-iter"
 216       tag: "NIC_Intel-X710"
 217     - title: "xxv710"
 218       data-set: "vpp-2n-skx-curr-iter"
 219       tag: "NIC_Intel-XXV710"
 220   comparisons:
 221     - title: "Diff"
 222       reference: 1
 223       compare: 2
 224   legend:
 225     - ""
 226     - "x710, xxv710 - NICs tested."
 227     - "Diff - difference between x710 and xxv710 NIC."
 228
 229 # VPP Compare NICs 2n-skx 4t2c ndr
 230 - type: "table"
 231   title: "VPP Compare NICs 2n-skx 4t2c ndr"
 232   algorithm: "table_comparison"
 233   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-nics-ndr"
 234   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
 235   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
 236   columns:
 237     - title: "x710"
 238       data-set: "vpp-2n-skx-curr-iter"
 239       tag: "NIC_Intel-X710"
 240     - title: "xxv710"
 241       data-set: "vpp-2n-skx-curr-iter"
 242       tag: "NIC_Intel-XXV710"
 243   comparisons:
 244     - title: "Diff"
 245       reference: 1
 246       compare: 2
 247   legend:
 248     - ""
 249     - "x710, xxv710 - NICs tested."
 250     - "Diff - difference between x710 and xxv710 NIC."
 251
 252 # VPP Compare NICs 2n-skx 2t1c pdr
 253 - type: "table"
 254   title: "VPP Compare NICs 2n-skx 2t1c pdr"
 255   algorithm: "table_comparison"
 256   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-nics-pdr"
 257   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
 258   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
 259   columns:
 260     - title: "x710"
 261       data-set: "vpp-2n-skx-curr-iter"
 262       tag: "NIC_Intel-X710"
 263     - title: "xxv710"
 264       data-set: "vpp-2n-skx-curr-iter"
 265       tag: "NIC_Intel-XXV710"
 266   comparisons:
 267     - title: "Diff"
 268       reference: 1
 269       compare: 2
 270   legend:
 271     - ""
 272     - "x710, xxv710 - NICs tested."
 273     - "Diff - difference between x710 and xxv710 NIC."
 274
 275 # VPP Compare NICs 2n-skx 4t2c pdr
 276 - type: "table"
 277   title: "VPP Compare NICs 2n-skx 4t2c pdr"
 278   algorithm: "table_comparison"
 279   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-nics-pdr"
 280   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
 281   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
 282   columns:
 283     - title: "x710"
 284       data-set: "vpp-2n-skx-curr-iter"
 285       tag: "NIC_Intel-X710"
 286     - title: "xxv710"
 287       data-set: "vpp-2n-skx-curr-iter"
 288       tag: "NIC_Intel-XXV710"
 289   comparisons:
 290     - title: "Diff"
 291       reference: 1
 292       compare: 2
 293   legend:
 294     - ""
 295     - "x710, xxv710 - NICs tested."
 296     - "Diff - difference between x710 and xxv710 NIC."
 297
 298 # VPP Compare NICs 2n-skx 2t1c mrr
 299 - type: "table"
 300   title: "VPP Compare NICs 2n-skx 2t1c mrr"
 301   algorithm: "table_comparison"
 302   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-nics-mrr"
 303   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
 304   filter: "'2T1C' and 'MRR' and not 'NF_DENSITY'"
 305   columns:
 306     - title: "x710"
 307       data-set: "vpp-2n-skx-curr-iter-mrr"
 308       tag: "NIC_Intel-X710"
 309     - title: "xxv710"
 310       data-set: "vpp-2n-skx-curr-iter-mrr"
 311       tag: "NIC_Intel-XXV710"
 312   comparisons:
 313     - title: "Diff"
 314       reference: 1
 315       compare: 2
 316   legend:
 317     - ""
 318     - "x710, xxv710 - NICs tested."
 319     - "Diff - difference between x710 and xxv710 NIC."
 320
 321 # VPP Compare NICs 2n-skx 4t2c mrr
 322 - type: "table"
 323   title: "VPP Compare NICs 2n-skx 4t2c mrr"
 324   algorithm: "table_comparison"
 325   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-nics-mrr"
 326   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
 327   filter: "'4T2C' and 'MRR' and not 'NF_DENSITY'"
 328   columns:
 329     - title: "x710"
 330       data-set: "vpp-2n-skx-curr-iter-mrr"
 331       tag: "NIC_Intel-X710"
 332     - title: "xxv710"
 333       data-set: "vpp-2n-skx-curr-iter-mrr"
 334       tag: "NIC_Intel-XXV710"
 335   comparisons:
 336     - title: "Diff"
 337       reference: 1
 338       compare: 2
 339   legend:
 340     - ""
 341     - "x710, xxv710 - NICs tested."
 342     - "Diff - difference between x710 and xxv710 NIC."
 343
 344 # VPP Compare NICs 2n-skx 8t4c mrr
 345 - type: "table"
 346   title: "VPP Compare NICs 2n-skx 8t4c mrr"
 347   algorithm: "table_comparison"
 348   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-8t4c-nics-mrr"
 349   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
 350   filter: "'8T4C' and 'MRR' and not 'NF_DENSITY'"
 351   columns:
 352     - title: "x710"
 353       data-set: "vpp-2n-skx-curr-iter-mrr"
 354       tag: "NIC_Intel-X710"
 355     - title: "xxv710"
 356       data-set: "vpp-2n-skx-curr-iter-mrr"
 357       tag: "NIC_Intel-XXV710"
 358   comparisons:
 359     - title: "Diff"
 360       reference: 1
 361       compare: 2
 362   legend:
 363     - ""
 364     - "x710, xxv710 - NICs tested."
 365     - "Diff - difference between x710 and xxv710 NIC."
 366
 367 ################################################################################
 368 # VPP
 369
 370 # VPP Performance Changes 3n-skx 2t1c pdr
 371 - type: "table"
 372   title: "VPP Performance Changes 3n-skx 2t1c pdr"
 373   algorithm: "table_comparison"
 374   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-pdr"
 375   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
 376   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
 377   columns:
 378     - title: "2009.0-6"
 379       data-set: "vpp-3n-skx-hist-iter-new-env"
 380     - title: "2101.0-6"
 381       data-set: "vpp-3n-skx-prev-iter-old-env"
 382     - title: "2101.0-7"
 383       data-set: "vpp-3n-skx-prev-iter-new-env"
 384     - title: "2106.0-7"
 385       data-set: "vpp-3n-skx-curr-iter"
 386   comparisons:
 387     - title: "2101.0-7 vs 2101.0-6"
 388       reference: 2
 389       compare: 3
 390 #      rca-file: "rca/rca-3n-skx-2t1c-pdr-rca1.yaml"
 391     - title: "2106.0-7 vs 2101.0-7"
 392       reference: 3
 393       compare: 4
 394 #      rca-file: "rca/rca-3n-skx-2t1c-pdr-rca2.yaml"
 395   legend:
 396     - ''
 397     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
 398     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "6" for CSIT rls2101, "7" for CSIT rls2106).'
 399     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
 400     - '2101.0-7 vs 2101.0-6: Compares CSIT environment current vs previous with previous VPP code.'
 401     - '2106.0-7 vs 2101.0-7: Compares VPP code current vs previous in the current CSIT environment.'
 402
 403 # VPP Performance Changes 3n-skx 4t2c pdr
 404 - type: "table"
 405   title: "VPP Performance Changes 3n-skx 4t2c pdr"
 406   algorithm: "table_comparison"
 407   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-pdr"
 408   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
 409   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
 410   columns:
 411     - title: "2009.0-6"
 412       data-set: "vpp-3n-skx-hist-iter-new-env"
 413     - title: "2101.0-6"
 414       data-set: "vpp-3n-skx-prev-iter-old-env"
 415     - title: "2101.0-7"
 416       data-set: "vpp-3n-skx-prev-iter-new-env"
 417     - title: "2106.0-7"
 418       data-set: "vpp-3n-skx-curr-iter"
 419   comparisons:
 420     - title: "2101.0-7 vs 2101.0-6"
 421       reference: 2
 422       compare: 3
 423 #      rca-file: "rca/rca-3n-skx-4t2c-pdr-rca1.yaml"
 424     - title: "2106.0-7 vs 2101.0-7"
 425       reference: 3
 426       compare: 4
 427 #      rca-file: "rca/rca-3n-skx-4t2c-pdr-rca2.yaml"
 428   legend:
 429     - ''
 430     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
 431     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "6" for CSIT rls2101, "7" for CSIT rls2106).'
 432     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
 433     - '2101.0-7 vs 2101.0-6: Compares CSIT environment current vs previous with previous VPP code.'
 434     - '2106.0-7 vs 2101.0-7: Compares VPP code current vs previous in the current CSIT environment.'
 435
 436 # VPP Performance Changes 3n-skx 2t1c ndr
 437 - type: "table"
 438   title: "VPP Performance Changes 3n-skx 2t1c ndr"
 439   algorithm: "table_comparison"
 440   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-ndr"
 441   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
 442   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
 443   columns:
 444     - title: "2009.0-6"
 445       data-set: "vpp-3n-skx-hist-iter-new-env"
 446     - title: "2101.0-6"
 447       data-set: "vpp-3n-skx-prev-iter-old-env"
 448     - title: "2101.0-7"
 449       data-set: "vpp-3n-skx-prev-iter-new-env"
 450     - title: "2106.0-7"
 451       data-set: "vpp-3n-skx-curr-iter"
 452   comparisons:
 453     - title: "2101.0-7 vs 2101.0-6"
 454       reference: 2
 455       compare: 3
 456 #      rca-file: "rca/rca-3n-skx-2t1c-ndr-rca1.yaml"
 457     - title: "2106.0-7 vs 2101.0-7"
 458       reference: 3
 459       compare: 4
 460 #      rca-file: "rca/rca-3n-skx-2t1c-ndr-rca2.yaml"
 461   legend:
 462     - ''
 463     - 'Test Case:            Test cases executed for: NDR throughput on 3n-skx with xxv710.'
 464     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "6" for CSIT rls2101, "7" for CSIT rls2106).'
 465     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
 466     - '2101.0-7 vs 2101.0-6: Compares CSIT environment current vs previous with previous VPP code.'
 467     - '2106.0-7 vs 2101.0-7: Compares VPP code current vs previous in the current CSIT environment.'
 468
 469 # VPP Performance Changes 3n-skx 4t2c ndr
 470 - type: "table"
 471   title: "VPP Performance Changes 3n-skx 4t2c ndr"
 472   algorithm: "table_comparison"
 473   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-ndr"
 474   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
 475   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
 476   columns:
 477     - title: "2009.0-6"
 478       data-set: "vpp-3n-skx-hist-iter-new-env"
 479     - title: "2101.0-6"
 480       data-set: "vpp-3n-skx-prev-iter-old-env"
 481     - title: "2101.0-7"
 482       data-set: "vpp-3n-skx-prev-iter-new-env"
 483     - title: "2106.0-7"
 484       data-set: "vpp-3n-skx-curr-iter"
 485   comparisons:
 486     - title: "2101.0-7 vs 2101.0-6"
 487       reference: 2
 488       compare: 3
 489 #      rca-file: "rca/rca-3n-skx-4t2c-ndr-rca1.yaml"
 490     - title: "2106.0-7 vs 2101.0-7"
 491       reference: 3
 492       compare: 4
 493 #      rca-file: "rca/rca-3n-skx-4t2c-ndr-rca2.yaml"
 494   legend:
 495     - ''
 496     - 'Test Case:            Test cases executed for: NDR throughput on 3n-skx with xxv710.'
 497     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "6" for CSIT rls2101, "7" for CSIT rls2106).'
 498     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
 499     - '2101.0-7 vs 2101.0-6: Compares CSIT environment current vs previous with previous VPP code.'
 500     - '2106.0-7 vs 2101.0-7: Compares VPP code current vs previous in the current CSIT environment.'
 501
 502 # VPP Performance Changes 2n-skx 2t1c pdr
 503 - type: "table"
 504   title: "VPP Performance Changes 2n-skx 2t1c pdr"
 505   algorithm: "table_comparison"
 506   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-pdr"
 507   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
 508   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
 509   columns:
 510     - title: "2009.0-6"
 511       data-set: "vpp-2n-skx-hist-iter-new-env"
 512     - title: "2101.0-6"
 513       data-set: "vpp-2n-skx-prev-iter-old-env"
 514     - title: "2101.0-7"
 515       data-set: "vpp-2n-skx-prev-iter-new-env"
 516     - title: "2106.0-7"
 517       data-set: "vpp-2n-skx-curr-iter"
 518   comparisons:
 519     - title: "2101.0-7 vs 2101.0-6"
 520       reference: 2
 521       compare: 3
 522 #      rca-file: "rca/rca-2n-skx-2t1c-pdr-rca1.yaml"
 523     - title: "2106.0-7 vs 2101.0-7"
 524       reference: 3
 525       compare: 4
 526 #      rca-file: "rca/rca-2n-skx-2t1c-pdr-rca2.yaml"
 527   legend:
 528     - ''
 529     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
 530     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "6" for CSIT rls2101, "7" for CSIT rls2106).'
 531     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
 532     - '2101.0-7 vs 2101.0-6: Compares CSIT environment current vs previous with previous VPP code.'
 533     - '2106.0-7 vs 2101.0-7: Compares VPP code current vs previous in the current CSIT environment.'
 534
 535 # VPP Performance Changes 2n-skx 4t2c pdr
 536 - type: "table"
 537   title: "VPP Performance Changes 2n-skx 4t2c pdr"
 538   algorithm: "table_comparison"
 539   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-pdr"
 540   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
 541   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
 542   columns:
 543     - title: "2009.0-6"
 544       data-set: "vpp-2n-skx-hist-iter-new-env"
 545     - title: "2101.0-6"
 546       data-set: "vpp-2n-skx-prev-iter-old-env"
 547     - title: "2101.0-7"
 548       data-set: "vpp-2n-skx-prev-iter-new-env"
 549     - title: "2106.0-7"
 550       data-set: "vpp-2n-skx-curr-iter"
 551   comparisons:
 552     - title: "2101.0-7 vs 2101.0-6"
 553       reference: 2
 554       compare: 3
 555 #      rca-file: "rca/rca-2n-skx-4t2c-pdr-rca1.yaml"
 556     - title: "2106.0-7 vs 2101.0-7"
 557       reference: 3
 558       compare: 4
 559 #      rca-file: "rca/rca-2n-skx-4t2c-pdr-rca2.yaml"
 560   legend:
 561     - ''
 562     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
 563     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "6" for CSIT rls2101, "7" for CSIT rls2106).'
 564     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
 565     - '2101.0-7 vs 2101.0-6: Compares CSIT environment current vs previous with previous VPP code.'
 566     - '2106.0-7 vs 2101.0-7: Compares VPP code current vs previous in the current CSIT environment.'
 567
 568 # VPP Performance Changes 2n-skx 2t1c ndr
 569 - type: "table"
 570   title: "VPP Performance Changes 2n-skx 2t1c ndr"
 571   algorithm: "table_comparison"
 572   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-ndr"
 573   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
 574   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
 575   columns:
 576     - title: "2009.0-6"
 577       data-set: "vpp-2n-skx-hist-iter-new-env"
 578     - title: "2101.0-6"
 579       data-set: "vpp-2n-skx-prev-iter-old-env"
 580     - title: "2101.0-7"
 581       data-set: "vpp-2n-skx-prev-iter-new-env"
 582     - title: "2106.0-7"
 583       data-set: "vpp-2n-skx-curr-iter"
 584   comparisons:
 585     - title: "2101.0-7 vs 2101.0-6"
 586       reference: 2
 587       compare: 3
 588 #      rca-file: "rca/rca-2n-skx-2t1c-ndr-rca1.yaml"
 589     - title: "2106.0-7 vs 2101.0-7"
 590       reference: 3
 591       compare: 4
 592 #      rca-file: "rca/rca-2n-skx-2t1c-ndr-rca2.yaml"
 593   legend:
 594     - ''
 595     - 'Test Case:            Test cases executed for: NDR throughput on 2n-skx with xxv710.'
 596     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "6" for CSIT rls2101, "7" for CSIT rls2106).'
 597     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
 598     - '2101.0-7 vs 2101.0-6: Compares CSIT environment current vs previous with previous VPP code.'
 599     - '2106.0-7 vs 2101.0-7: Compares VPP code current vs previous in the current CSIT environment.'
 600
 601 # VPP Performance Changes 2n-skx 4t2c ndr
 602 - type: "table"
 603   title: "VPP Performance Changes 2n-skx 4t2c ndr"
 604   algorithm: "table_comparison"
 605   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-ndr"
 606   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
 607   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
 608   columns:
 609     - title: "2009.0-6"
 610       data-set: "vpp-2n-skx-hist-iter-new-env"
 611     - title: "2101.0-6"
 612       data-set: "vpp-2n-skx-prev-iter-old-env"
 613     - title: "2101.0-7"
 614       data-set: "vpp-2n-skx-prev-iter-new-env"
 615     - title: "2106.0-7"
 616       data-set: "vpp-2n-skx-curr-iter"
 617   comparisons:
 618     - title: "2101.0-7 vs 2101.0-6"
 619       reference: 2
 620       compare: 3
 621 #      rca-file: "rca/rca-2n-skx-4t2c-ndr-rca1.yaml"
 622     - title: "2106.0-7 vs 2101.0-7"
 623       reference: 3
 624       compare: 4
 625 #      rca-file: "rca/rca-2n-skx-4t2c-ndr-rca2.yaml"
 626   legend:
 627     - ''
 628     - 'Test Case:            Test cases executed for: NDR throughput on 2n-skx with xxv710.'
 629     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "6" for CSIT rls2101, "7" for CSIT rls2106).'
 630     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
 631     - '2101.0-7 vs 2101.0-6: Compares CSIT environment current vs previous with previous VPP code.'
 632     - '2106.0-7 vs 2101.0-7: Compares VPP code current vs previous in the current CSIT environment.'
 633
 634 # VPP Performance Changes 2n-clx-xxv710 2t1c pdr
 635 - type: "table"
 636   title: "VPP Performance Changes 2n-clx-xxv710 2t1c pdr"
 637   algorithm: "table_comparison"
 638   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-xxv710-2t1c-pdr"
 639   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
 640   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
 641   columns:
 642     - title: "2009.0-6"
 643       data-set: "vpp-2n-clx-hist-iter-new-env"
 644     - title: "2101.0-6"
 645       data-set: "vpp-2n-clx-prev-iter-old-env"
 646     - title: "2101.0-7"
 647       data-set: "vpp-2n-clx-prev-iter-new-env"
 648     - title: "2106.0-7"
 649       data-set: "vpp-2n-clx-curr-iter"
 650   comparisons:
 651     - title: "2101.0-7 vs 2101.0-6"
 652       reference: 2
 653       compare: 3
 654 #      rca-file: "rca/rca-2n-clx-2t1c-pdr-rca1.yaml"
 655     - title: "2106.0-7 vs 2101.0-7"
 656       reference: 3
 657       compare: 4
 658 #      rca-file: "rca/rca-2n-clx-2t1c-pdr-rca1.yaml"
 659   legend:
 660     - ''
 661     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
 662     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "6" for CSIT rls2101, "7" for CSIT rls2106).'
 663     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
 664     - '2101.0-7 vs 2101.0-6: Compares CSIT environment current vs previous with previous VPP code.'
 665     - '2106.0-7 vs 2101.0-7: Compares VPP code current vs previous in the current CSIT environment.'
 666
 667 # VPP Performance Changes 2n-clx-xxv710 4t2c pdr
 668 - type: "table"
 669   title: "VPP Performance Changes 2n-clx-xxv710 4t2c pdr"
 670   algorithm: "table_comparison"
 671   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-xxv710-4t2c-pdr"
 672   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
 673   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
 674   columns:
 675     - title: "2009.0-6"
 676       data-set: "vpp-2n-clx-hist-iter-new-env"
 677     - title: "2101.0-6"
 678       data-set: "vpp-2n-clx-prev-iter-old-env"
 679     - title: "2101.0-7"
 680       data-set: "vpp-2n-clx-prev-iter-new-env"
 681     - title: "2106.0-7"
 682       data-set: "vpp-2n-clx-curr-iter"
 683   comparisons:
 684     - title: "2101.0-7 vs 2101.0-6"
 685       reference: 2
 686       compare: 3
 687 #      rca-file: "rca/rca-2n-clx-4t2c-pdr-rca1.yaml"
 688     - title: "2106.0-7 vs 2101.0-7"
 689       reference: 3
 690       compare: 4
 691 #      rca-file: "rca/rca-2n-clx-4t2c-pdr-rca1.yaml"
 692   legend:
 693     - ''
 694     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
 695     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "6" for CSIT rls2101, "7" for CSIT rls2106).'
 696     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
 697     - '2101.0-7 vs 2101.0-6: Compares CSIT environment current vs previous with previous VPP code.'
 698     - '2106.0-7 vs 2101.0-7: Compares VPP code current vs previous in the current CSIT environment.'
 699
 700 # VPP Performance Changes 2n-clx-xxv710 2t1c ndr
 701 - type: "table"
 702   title: "VPP Performance Changes 2n-clx-xxv710 2t1c ndr"
 703   algorithm: "table_comparison"
 704   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-xxv710-2t1c-ndr"
 705   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
 706   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
 707   columns:
 708     - title: "2009.0-6"
 709       data-set: "vpp-2n-clx-hist-iter-new-env"
 710     - title: "2101.0-6"
 711       data-set: "vpp-2n-clx-prev-iter-old-env"
 712     - title: "2101.0-7"
 713       data-set: "vpp-2n-clx-prev-iter-new-env"
 714     - title: "2106.0-7"
 715       data-set: "vpp-2n-clx-curr-iter"
 716   comparisons:
 717     - title: "2101.0-7 vs 2101.0-6"
 718       reference: 2
 719       compare: 3
 720 #      rca-file: "rca/rca-2n-clx-2t1c-ndr-rca1.yaml"
 721     - title: "2106.0-7 vs 2101.0-7"
 722       reference: 3
 723       compare: 4
 724 #      rca-file: "rca/rca-2n-clx-2t1c-ndr-rca1.yaml"
 725   legend:
 726     - ''
 727     - 'Test Case:            Test cases executed for: NDR throughput on 2n-clx with xxv710.'
 728     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "6" for CSIT rls2101, "7" for CSIT rls2106).'
 729     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
 730     - '2101.0-7 vs 2101.0-6: Compares CSIT environment current vs previous with previous VPP code.'
 731     - '2106.0-7 vs 2101.0-7: Compares VPP code current vs previous in the current CSIT environment.'
 732
 733 # VPP Performance Changes 2n-clx-xxv710 4t2c ndr
 734 - type: "table"
 735   title: "VPP Performance Changes 2n-clx-xxv710 ndr"
 736   algorithm: "table_comparison"
 737   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-xxv710-4t2c-ndr"
 738   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
 739   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
 740   columns:
 741     - title: "2009.0-6"
 742       data-set: "vpp-2n-clx-hist-iter-new-env"
 743     - title: "2101.0-6"
 744       data-set: "vpp-2n-clx-prev-iter-old-env"
 745     - title: "2101.0-7"
 746       data-set: "vpp-2n-clx-prev-iter-new-env"
 747     - title: "2106.0-7"
 748       data-set: "vpp-2n-clx-curr-iter"
 749   comparisons:
 750     - title: "2101.0-7 vs 2101.0-6"
 751       reference: 2
 752       compare: 3
 753 #      rca-file: "rca/rca-2n-clx-4t2c-ndr-rca1.yaml"
 754     - title: "2106.0-7 vs 2101.0-7"
 755       reference: 3
 756       compare: 4
 757 #      rca-file: "rca/rca-2n-clx-4t2c-ndr-rca1.yaml"
 758   legend:
 759     - ''
 760     - 'Test Case:            Test cases executed for: NDR throughput on 2n-clx with xxv710.'
 761     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "6" for CSIT rls2101, "7" for CSIT rls2106).'
 762     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
 763     - '2101.0-7 vs 2101.0-6: Compares CSIT environment current vs previous with previous VPP code.'
 764     - '2106.0-7 vs 2101.0-7: Compares VPP code current vs previous in the current CSIT environment.'
 765
 766 # VPP Performance Changes 2n-clx-cx556a 2t1c pdr
 767 - type: "table"
 768   title: "VPP Performance Changes 2n-clx-cx556a 2t1c pdr"
 769   algorithm: "table_comparison"
 770   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-cx556a-2t1c-pdr"
 771   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
 772   filter: "'2T1C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
 773   columns:
 774     - title: "2009.0-6"
 775       data-set: "vpp-2n-clx-hist-iter-new-env"
 776     - title: "2101.0-6"
 777       data-set: "vpp-2n-clx-prev-iter-old-env"
 778     - title: "2101.0-7"
 779       data-set: "vpp-2n-clx-prev-iter-new-env"
 780     - title: "2106.0-7"
 781       data-set: "vpp-2n-clx-curr-iter"
 782   comparisons:
 783     - title: "2101.0-7 vs 2101.0-6"
 784       reference: 2
 785       compare: 3
 786 #      rca-file: "rca/rca-2n-clx-2t1c-pdr-rca2.yaml"
 787     - title: "2106.0-7 vs 2101.0-7"
 788       reference: 3
 789       compare: 4
 790 #      rca-file: "rca/rca-2n-clx-2t1c-pdr-rca2.yaml"
 791   legend:
 792     - ''
 793     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
 794     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "6" for CSIT rls2101, "7" for CSIT rls2106).'
 795     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
 796     - '2101.0-7 vs 2101.0-6: Compares CSIT environment current vs previous with previous VPP code.'
 797     - '2106.0-7 vs 2101.0-7: Compares VPP code current vs previous in the current CSIT environment.'
 798
 799 # VPP Performance Changes 2n-clx-cx556a 4t2c pdr
 800 - type: "table"
 801   title: "VPP Performance Changes 2n-clx-cx556a 4t2c pdr"
 802   algorithm: "table_comparison"
 803   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-cx556a-4t2c-pdr"
 804   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
 805   filter: "'4T2C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
 806   columns:
 807     - title: "2009.0-6"
 808       data-set: "vpp-2n-clx-hist-iter-new-env"
 809     - title: "2101.0-6"
 810       data-set: "vpp-2n-clx-prev-iter-old-env"
 811     - title: "2101.0-7"
 812       data-set: "vpp-2n-clx-prev-iter-new-env"
 813     - title: "2106.0-7"
 814       data-set: "vpp-2n-clx-curr-iter"
 815   comparisons:
 816     - title: "2101.0-7 vs 2101.0-6"
 817       reference: 2
 818       compare: 3
 819 #      rca-file: "rca/rca-2n-clx-4t2c-pdr-rca2.yaml"
 820     - title: "2106.0-7 vs 2101.0-7"
 821       reference: 3
 822       compare: 4
 823 #      rca-file: "rca/rca-2n-clx-4t2c-pdr-rca2.yaml"
 824   legend:
 825     - ''
 826     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
 827     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "6" for CSIT rls2101, "7" for CSIT rls2106).'
 828     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
 829     - '2101.0-7 vs 2101.0-6: Compares CSIT environment current vs previous with previous VPP code.'
 830     - '2106.0-7 vs 2101.0-7: Compares VPP code current vs previous in the current CSIT environment.'
 831
 832 # VPP Performance Changes 2n-clx-cx556a 2t1c ndr
 833 - type: "table"
 834   title: "VPP Performance Changes 2n-clx-cx556a 2t1c ndr"
 835   algorithm: "table_comparison"
 836   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-cx556a-2t1c-ndr"
 837   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
 838   filter: "'2T1C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
 839   columns:
 840     - title: "2009.0-6"
 841       data-set: "vpp-2n-clx-hist-iter-new-env"
 842     - title: "2101.0-6"
 843       data-set: "vpp-2n-clx-prev-iter-old-env"
 844     - title: "2101.0-7"
 845       data-set: "vpp-2n-clx-prev-iter-new-env"
 846     - title: "2106.0-7"
 847       data-set: "vpp-2n-clx-curr-iter"
 848   comparisons:
 849     - title: "2101.0-7 vs 2101.0-6"
 850       reference: 2
 851       compare: 3
 852 #      rca-file: "rca/rca-2n-clx-2t1c-ndr-rca2.yaml"
 853     - title: "2106.0-7 vs 2101.0-7"
 854       reference: 3
 855       compare: 4
 856 #      rca-file: "rca/rca-2n-clx-2t1c-ndr-rca2.yaml"
 857   legend:
 858     - ''
 859     - 'Test Case:            Test cases executed for: NDR throughput on 2n-clx with cx556a.'
 860     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "6" for CSIT rls2101, "7" for CSIT rls2106).'
 861     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
 862     - '2101.0-7 vs 2101.0-6: Compares CSIT environment current vs previous with previous VPP code.'
 863     - '2106.0-7 vs 2101.0-7: Compares VPP code current vs previous in the current CSIT environment.'
 864
 865 # VPP Performance Changes 2n-clx-cx556a 4t2c ndr
 866 - type: "table"
 867   title: "VPP Performance Changes 2n-clx-cx556a ndr"
 868   algorithm: "table_comparison"
 869   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-cx556a-4t2c-ndr"
 870   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
 871   filter: "'4T2C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
 872   columns:
 873     - title: "2009.0-6"
 874       data-set: "vpp-2n-clx-hist-iter-new-env"
 875     - title: "2101.0-6"
 876       data-set: "vpp-2n-clx-prev-iter-old-env"
 877     - title: "2101.0-7"
 878       data-set: "vpp-2n-clx-prev-iter-new-env"
 879     - title: "2106.0-7"
 880       data-set: "vpp-2n-clx-curr-iter"
 881   comparisons:
 882     - title: "2101.0-7 vs 2101.0-6"
 883       reference: 2
 884       compare: 3
 885 #      rca-file: "rca/rca-2n-clx-4t2c-ndr-rca2.yaml"
 886     - title: "2106.0-7 vs 2101.0-7"
 887       reference: 3
 888       compare: 4
 889 #      rca-file: "rca/rca-2n-clx-4t2c-ndr-rca2.yaml"
 890   legend:
 891     - ''
 892     - 'Test Case:            Test cases executed for: NDR throughput on 2n-clx with cx556a.'
 893     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "6" for CSIT rls2101, "7" for CSIT rls2106).'
 894     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
 895     - '2101.0-7 vs 2101.0-6: Compares CSIT environment current vs previous with previous VPP code.'
 896     - '2106.0-7 vs 2101.0-7: Compares VPP code current vs previous in the current CSIT environment.'
 897
 898 # VPP Performance Changes 2n-zn2-xxv710 2t1c pdr
 899 - type: "table"
 900   title: "VPP Performance Changes 2n-zn2-xxv710 2t1c pdr"
 901   algorithm: "table_comparison"
 902   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-zn2-xxv710-2t1c-pdr"
 903   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
 904   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
 905   columns:
 906     - title: "2009.0-6"
 907       data-set: "vpp-2n-zn2-hist-iter-new-env"
 908     - title: "2101.0-6"
 909       data-set: "vpp-2n-zn2-prev-iter-old-env"
 910     - title: "2101.0-7"
 911       data-set: "vpp-2n-zn2-prev-iter-new-env"
 912     - title: "2106.0-7"
 913       data-set: "vpp-2n-zn2-curr-iter"
 914   comparisons:
 915     - title: "2101.0-7 vs 2101.0-6"
 916       reference: 2
 917       compare: 3
 918 #      rca-file: "rca/rca-2n-zn2-2t1c-pdr-rca1.yaml"
 919     - title: "2106.0-7 vs 2101.0-7"
 920       reference: 3
 921       compare: 4
 922 #      rca-file: "rca/rca-2n-zn2-2t1c-pdr-rca1.yaml"
 923   legend:
 924     - ''
 925     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
 926     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "6" for CSIT rls2101, "7" for CSIT rls2106).'
 927     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
 928     - '2101.0-7 vs 2101.0-6: Compares CSIT environment current vs previous with previous VPP code.'
 929     - '2106.0-7 vs 2101.0-7: Compares VPP code current vs previous in the current CSIT environment.'
 930
 931 # VPP Performance Changes 2n-zn2-xxv710 4t2c pdr
 932 - type: "table"
 933   title: "VPP Performance Changes 2n-zn2-xxv710 4t2c pdr"
 934   algorithm: "table_comparison"
 935   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-zn2-xxv710-4t2c-pdr"
 936   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
 937   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
 938   columns:
 939     - title: "2009.0-6"
 940       data-set: "vpp-2n-zn2-hist-iter-new-env"
 941     - title: "2101.0-6"
 942       data-set: "vpp-2n-zn2-prev-iter-old-env"
 943     - title: "2101.0-7"
 944       data-set: "vpp-2n-zn2-prev-iter-new-env"
 945     - title: "2106.0-7"
 946       data-set: "vpp-2n-zn2-curr-iter"
 947   comparisons:
 948     - title: "2101.0-7 vs 2101.0-6"
 949       reference: 2
 950       compare: 3
 951 #      rca-file: "rca/rca-2n-zn2-4t2c-pdr-rca1.yaml"
 952     - title: "2106.0-7 vs 2101.0-7"
 953       reference: 3
 954       compare: 4
 955 #      rca-file: "rca/rca-2n-zn2-4t2c-pdr-rca1.yaml"
 956   legend:
 957     - ''
 958     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
 959     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "6" for CSIT rls2101, "7" for CSIT rls2106).'
 960     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
 961     - '2101.0-7 vs 2101.0-6: Compares CSIT environment current vs previous with previous VPP code.'
 962     - '2106.0-7 vs 2101.0-7: Compares VPP code current vs previous in the current CSIT environment.'
 963
 964 # VPP Performance Changes 2n-zn2-xxv710 2t1c ndr
 965 - type: "table"
 966   title: "VPP Performance Changes 2n-zn2-xxv710 2t1c ndr"
 967   algorithm: "table_comparison"
 968   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-zn2-xxv710-2t1c-ndr"
 969   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
 970   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
 971   columns:
 972     - title: "2009.0-6"
 973       data-set: "vpp-2n-zn2-hist-iter-new-env"
 974     - title: "2101.0-6"
 975       data-set: "vpp-2n-zn2-prev-iter-old-env"
 976     - title: "2101.0-7"
 977       data-set: "vpp-2n-zn2-prev-iter-new-env"
 978     - title: "2106.0-7"
 979       data-set: "vpp-2n-zn2-curr-iter"
 980   comparisons:
 981     - title: "2101.0-7 vs 2101.0-6"
 982       reference: 2
 983       compare: 3
 984 #      rca-file: "rca/rca-2n-zn2-2t1c-ndr-rca1.yaml"
 985     - title: "2106.0-7 vs 2101.0-7"
 986       reference: 3
 987       compare: 4
 988 #      rca-file: "rca/rca-2n-zn2-2t1c-ndr-rca1.yaml"
 989   legend:
 990     - ''
 991     - 'Test Case:            Test cases executed for: NDR throughput on 2n-zn2 with xxv710.'
 992     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "6" for CSIT rls2101, "7" for CSIT rls2106).'
 993     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
 994     - '2101.0-7 vs 2101.0-6: Compares CSIT environment current vs previous with previous VPP code.'
 995     - '2106.0-7 vs 2101.0-7: Compares VPP code current vs previous in the current CSIT environment.'
 996
 997 # VPP Performance Changes 2n-zn2-xxv710 4t2c ndr
 998 - type: "table"
 999   title: "VPP Performance Changes 2n-zn2-xxv710 4t2c ndr"
1000   algorithm: "table_comparison"
1001   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-zn2-xxv710-4t2c-ndr"
1002   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1003   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
1004   columns:
1005     - title: "2009.0-6"
1006       data-set: "vpp-2n-zn2-hist-iter-new-env"
1007     - title: "2101.0-6"
1008       data-set: "vpp-2n-zn2-prev-iter-old-env"
1009     - title: "2101.0-7"
1010       data-set: "vpp-2n-zn2-prev-iter-new-env"
1011     - title: "2106.0-7"
1012       data-set: "vpp-2n-zn2-curr-iter"
1013   comparisons:
1014     - title: "2101.0-7 vs 2101.0-6"
1015       reference: 2
1016       compare: 3
1017 #      rca-file: "rca/rca-2n-zn2-4t2c-ndr-rca1.yaml"
1018     - title: "2106.0-7 vs 2101.0-7"
1019       reference: 3
1020       compare: 4
1021 #      rca-file: "rca/rca-2n-zn2-4t2c-ndr-rca1.yaml"
1022   legend:
1023     - ''
1024     - 'Test Case:            Test cases executed for: NDR throughput on 2n-zn2 with xxv710.'
1025     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "6" for CSIT rls2101, "7" for CSIT rls2106).'
1026     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1027     - '2101.0-7 vs 2101.0-6: Compares CSIT environment current vs previous with previous VPP code.'
1028     - '2106.0-7 vs 2101.0-7: Compares VPP code current vs previous in the current CSIT environment.'
1029
1030 # VPP Performance Changes 2n-dnv 1t1c pdr
1031 - type: "table"
1032   title: "VPP Performance Changes 2n-dnv 1t1c pdr"
1033   algorithm: "table_comparison"
1034   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-dnv-1t1c-pdr"
1035   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1036   filter: "'1T1C'"
1037   columns:
1038     - title: "2009.0-6"
1039       data-set: "vpp-2n-dnv-hist-iter-new-env"
1040     - title: "2101.0-6"
1041       data-set: "vpp-2n-dnv-prev-iter-old-env"
1042     - title: "2101.0-7"
1043       data-set: "vpp-2n-dnv-prev-iter-new-env"
1044     - title: "2106.0-7"
1045       data-set: "vpp-2n-dnv-curr-iter"
1046   comparisons:
1047     - title: "2101.0-7 vs 2101.0-6"
1048       reference: 2
1049       compare: 3
1050     - title: "2101.0-6 vs 2009.0-5"
1051       reference: 3
1052       compare: 4
1053   legend:
1054     - ''
1055     - 'Test Case:            Test cases executed for: PDR throughput on 2n-dnv with x553.'
1056     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "6" for CSIT rls2101, "7" for CSIT rls2106).'
1057     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1058     - '2101.0-7 vs 2101.0-6: Compares CSIT environment current vs previous with previous VPP code.'
1059     - '2106.0-7 vs 2101.0-7: Compares VPP code current vs previous.'
1060
1061 # VPP Performance Changes 2n-dnv 2t2c pdr
1062 - type: "table"
1063   title: "VPP Performance Changes 2n-dnv 2t2c pdr"
1064   algorithm: "table_comparison"
1065   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-dnv-2t2c-pdr"
1066   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1067   filter: "'2T2C'"
1068   columns:
1069     - title: "2009.0-6"
1070       data-set: "vpp-2n-dnv-hist-iter-new-env"
1071     - title: "2101.0-6"
1072       data-set: "vpp-2n-dnv-prev-iter-old-env"
1073     - title: "2101.0-7"
1074       data-set: "vpp-2n-dnv-prev-iter-new-env"
1075     - title: "2106.0-7"
1076       data-set: "vpp-2n-dnv-curr-iter"
1077   comparisons:
1078     - title: "2101.0-7 vs 2101.0-6"
1079       reference: 2
1080       compare: 3
1081     - title: "2101.0-6 vs 2009.0-5"
1082       reference: 3
1083       compare: 4
1084   legend:
1085     - ''
1086     - 'Test Case:            Test cases executed for: PDR throughput on 2n-dnv with x553.'
1087     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "6" for CSIT rls2101, "7" for CSIT rls2106).'
1088     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1089     - '2101.0-7 vs 2101.0-6: Compares CSIT environment current vs previous with previous VPP code.'
1090     - '2106.0-7 vs 2101.0-7: Compares VPP code current vs previous.'
1091
1092 # VPP Performance Changes 2n-dnv 1t1c ndr
1093 - type: "table"
1094   title: "VPP Performance Changes 2n-dnv 1t1c ndr"
1095   algorithm: "table_comparison"
1096   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-dnv-1t1c-ndr"
1097   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1098   filter: "'1T1C'"
1099   columns:
1100     - title: "2009.0-6"
1101       data-set: "vpp-2n-dnv-hist-iter-new-env"
1102     - title: "2101.0-6"
1103       data-set: "vpp-2n-dnv-prev-iter-old-env"
1104     - title: "2101.0-7"
1105       data-set: "vpp-2n-dnv-prev-iter-new-env"
1106     - title: "2106.0-7"
1107       data-set: "vpp-2n-dnv-curr-iter"
1108   comparisons:
1109     - title: "2101.0-7 vs 2101.0-6"
1110       reference: 2
1111       compare: 3
1112     - title: "2101.0-6 vs 2009.0-5"
1113       reference: 3
1114       compare: 4
1115   legend:
1116     - ''
1117     - 'Test Case:            Test cases executed for: NDR throughput on 2n-dnv with x553.'
1118     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "6" for CSIT rls2101, "7" for CSIT rls2106).'
1119     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1120     - '2101.0-7 vs 2101.0-6: Compares CSIT environment current vs previous with previous VPP code.'
1121     - '2106.0-7 vs 2101.0-7: Compares VPP code current vs previous.'
1122
1123 # VPP Performance Changes 2n-dnv 2t2c ndr
1124 - type: "table"
1125   title: "VPP Performance Changes 2n-dnv 2t2c ndr"
1126   algorithm: "table_comparison"
1127   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-dnv-2t2c-ndr"
1128   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1129   filter: "'2T2C'"
1130   columns:
1131     - title: "2009.0-6"
1132       data-set: "vpp-2n-dnv-hist-iter-new-env"
1133     - title: "2101.0-6"
1134       data-set: "vpp-2n-dnv-prev-iter-old-env"
1135     - title: "2101.0-7"
1136       data-set: "vpp-2n-dnv-prev-iter-new-env"
1137     - title: "2106.0-7"
1138       data-set: "vpp-2n-dnv-curr-iter"
1139   comparisons:
1140     - title: "2101.0-7 vs 2101.0-6"
1141       reference: 2
1142       compare: 3
1143     - title: "2101.0-6 vs 2009.0-5"
1144       reference: 3
1145       compare: 4
1146   legend:
1147     - ''
1148     - 'Test Case:            Test cases executed for: NDR throughput on 2n-dnv with x553.'
1149     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "6" for CSIT rls2101, "7" for CSIT rls2106).'
1150     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1151     - '2101.0-7 vs 2101.0-6: Compares CSIT environment current vs previous with previous VPP code.'
1152     - '2106.0-7 vs 2101.0-7: Compares VPP code current vs previous.'
1153
1154 # VPP Performance Changes 3n-dnv 1t1c pdr
1155 - type: "table"
1156   title: "VPP Performance Changes 3n-dnv 1t1c pdr"
1157   algorithm: "table_comparison"
1158   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-dnv-1t1c-pdr"
1159   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1160   filter: "'1T1C'"
1161   columns:
1162     - title: "2009.0-6"
1163       data-set: "vpp-3n-dnv-hist-iter-new-env"
1164     - title: "2101.0-6"
1165       data-set: "vpp-3n-dnv-prev-iter-old-env"
1166     - title: "2101.0-7"
1167       data-set: "vpp-3n-dnv-prev-iter-new-env"
1168     - title: "2106.0-7"
1169       data-set: "vpp-3n-dnv-curr-iter"
1170   comparisons:
1171     - title: "2101.0-7 vs 2101.0-6"
1172       reference: 2
1173       compare: 3
1174     - title: "2101.0-6 vs 2009.0-5"
1175       reference: 3
1176       compare: 4
1177   legend:
1178     - ''
1179     - 'Test Case:            Test cases executed for: PDR throughput on 3n-dnv with x553.'
1180     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "6" for CSIT rls2101, "7" for CSIT rls2106).'
1181     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1182     - '2101.0-7 vs 2101.0-6: Compares CSIT environment current vs previous with previous VPP code.'
1183     - '2106.0-7 vs 2101.0-7: Compares VPP code current vs previous.'
1184
1185 # VPP Performance Changes 3n-dnv 2t2c pdr
1186 - type: "table"
1187   title: "VPP Performance Changes 3n-dnv 2t2c pdr"
1188   algorithm: "table_comparison"
1189   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-dnv-2t2c-pdr"
1190   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1191   filter: "'2T2C'"
1192   columns:
1193     - title: "2009.0-6"
1194       data-set: "vpp-3n-dnv-hist-iter-new-env"
1195     - title: "2101.0-6"
1196       data-set: "vpp-3n-dnv-prev-iter-old-env"
1197     - title: "2101.0-7"
1198       data-set: "vpp-3n-dnv-prev-iter-new-env"
1199     - title: "2106.0-7"
1200       data-set: "vpp-3n-dnv-curr-iter"
1201   comparisons:
1202     - title: "2101.0-7 vs 2101.0-6"
1203       reference: 2
1204       compare: 3
1205     - title: "2101.0-6 vs 2009.0-5"
1206       reference: 3
1207       compare: 4
1208   legend:
1209     - ''
1210     - 'Test Case:            Test cases executed for: PDR throughput on 3n-dnv with x553.'
1211     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "6" for CSIT rls2101, "7" for CSIT rls2106).'
1212     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1213     - '2101.0-7 vs 2101.0-6: Compares CSIT environment current vs previous with previous VPP code.'
1214     - '2106.0-7 vs 2101.0-7: Compares VPP code current vs previous.'
1215
1216 # VPP Performance Changes 3n-dnv 1t1c ndr
1217 - type: "table"
1218   title: "VPP Performance Changes 3n-dnv 1t1c ndr"
1219   algorithm: "table_comparison"
1220   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-dnv-1t1c-ndr"
1221   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1222   filter: "'1T1C'"
1223   columns:
1224     - title: "2009.0-6"
1225       data-set: "vpp-3n-dnv-hist-iter-new-env"
1226     - title: "2101.0-6"
1227       data-set: "vpp-3n-dnv-prev-iter-old-env"
1228     - title: "2101.0-7"
1229       data-set: "vpp-3n-dnv-prev-iter-new-env"
1230     - title: "2106.0-7"
1231       data-set: "vpp-3n-dnv-curr-iter"
1232   comparisons:
1233     - title: "2101.0-7 vs 2101.0-6"
1234       reference: 2
1235       compare: 3
1236     - title: "2101.0-6 vs 2009.0-5"
1237       reference: 3
1238       compare: 4
1239   legend:
1240     - ''
1241     - 'Test Case:            Test cases executed for: NDR throughput on 3n-dnv with x553.'
1242     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "6" for CSIT rls2101, "7" for CSIT rls2106).'
1243     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1244     - '2101.0-7 vs 2101.0-6: Compares CSIT environment current vs previous with previous VPP code.'
1245     - '2106.0-7 vs 2101.0-7: Compares VPP code current vs previous.'
1246
1247 # VPP Performance Changes 3n-dnv 2t2c ndr
1248 - type: "table"
1249   title: "VPP Performance Changes 3n-dnv 2t2c ndr"
1250   algorithm: "table_comparison"
1251   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-dnv-2t2c-ndr"
1252   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1253   filter: "'2T2C'"
1254   columns:
1255     - title: "2009.0-6"
1256       data-set: "vpp-3n-dnv-hist-iter-new-env"
1257     - title: "2101.0-6"
1258       data-set: "vpp-3n-dnv-prev-iter-old-env"
1259     - title: "2101.0-7"
1260       data-set: "vpp-3n-dnv-prev-iter-new-env"
1261     - title: "2106.0-7"
1262       data-set: "vpp-3n-dnv-curr-iter"
1263   comparisons:
1264     - title: "2101.0-7 vs 2101.0-6"
1265       reference: 2
1266       compare: 3
1267     - title: "2101.0-6 vs 2009.0-5"
1268       reference: 3
1269       compare: 4
1270   legend:
1271     - ''
1272     - 'Test Case:            Test cases executed for: NDR throughput on 3n-dnv with x553.'
1273     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "6" for CSIT rls2101, "7" for CSIT rls2106).'
1274     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1275     - '2101.0-7 vs 2101.0-6: Compares CSIT environment current vs previous with previous VPP code.'
1276     - '2106.0-7 vs 2101.0-7: Compares VPP code current vs previous.'
1277
1278 # VPP Performance Changes 3n-tsh 1t1c pdr
1279 - type: "table"
1280   title: "VPP Performance Changes 3n-tsh 1t1c pdr"
1281   algorithm: "table_comparison"
1282   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-tsh-1t1c-pdr"
1283   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1284   filter: "'1T1C'"
1285   columns:
1286     - title: "2009.0-6"
1287       data-set: "vpp-3n-tsh-hist-iter-new-env"
1288     - title: "2101.0-6"
1289       data-set: "vpp-3n-tsh-prev-iter-old-env"
1290 #     - title: "2101.0-7"
1291 #       data-set: "vpp-3n-tsh-prev-iter-new-env"
1292     - title: "2106.0-7"
1293       data-set: "vpp-3n-tsh-curr-iter"
1294   comparisons:
1295 #     - title: "2101.0-7 vs 2101.0-6"
1296 #       reference: 2
1297 #       compare: 3
1298 #      rca-file: "rca/rca-3n-tsh-1t1c-pdr-rca1.yaml"
1299 #     - title: "2106.0-7 vs 2101.0-7"
1300     - title: "2106.0-7 vs 2101.0-6"
1301       reference: 2  # 3
1302       compare: 3  # 4
1303 #      rca-file: "rca/rca-3n-tsh-1t1c-pdr-rca2.yaml"
1304   legend:
1305     - ''
1306     - 'Test Case:            Test cases executed for: PDR throughput on 3n-tsh with x520.'
1307     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "6" for CSIT rls2101, "7" for CSIT rls2106).'
1308     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1309     - '2101.0-7 vs 2101.0-6: Compares CSIT environment current vs previous with previous VPP code.'
1310 #     - '2106.0-7 vs 2101.0-7: Compares VPP code current vs previous in the current CSIT environment.'
1311     - '2106.0-7 vs 2101.0-6: Compares VPP code current vs previous.'
1312
1313 # VPP Performance Changes 3n-tsh 2t2c pdr
1314 - type: "table"
1315   title: "VPP Performance Changes 3n-tsh 2t2c pdr"
1316   algorithm: "table_comparison"
1317   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-tsh-2t2c-pdr"
1318   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1319   filter: "'2T2C'"
1320   columns:
1321     - title: "2009.0-6"
1322       data-set: "vpp-3n-tsh-hist-iter-new-env"
1323     - title: "2101.0-6"
1324       data-set: "vpp-3n-tsh-prev-iter-old-env"
1325 #     - title: "2101.0-7"
1326 #       data-set: "vpp-3n-tsh-prev-iter-new-env"
1327     - title: "2106.0-7"
1328       data-set: "vpp-3n-tsh-curr-iter"
1329   comparisons:
1330 #     - title: "2101.0-7 vs 2101.0-6"
1331 #       reference: 2
1332 #       compare: 3
1333 #      rca-file: "rca/rca-3n-tsh-2t2c-pdr-rca1.yaml"
1334 #     - title: "2106.0-7 vs 2101.0-7"
1335     - title: "2106.0-7 vs 2101.0-6"
1336       reference: 2  # 3
1337       compare: 3  # 4
1338 #      rca-file: "rca/rca-3n-tsh-2t2c-pdr-rca2.yaml"
1339   legend:
1340     - ''
1341     - 'Test Case:            Test cases executed for: PDR throughput on 3n-tsh with x520.'
1342     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "6" for CSIT rls2101, "7" for CSIT rls2106).'
1343     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1344     - '2101.0-7 vs 2101.0-6: Compares CSIT environment current vs previous with previous VPP code.'
1345 #     - '2106.0-7 vs 2101.0-7: Compares VPP code current vs previous in the current CSIT environment.'
1346     - '2106.0-7 vs 2101.0-6: Compares VPP code current vs previous.'
1347
1348 # VPP Performance Changes 3n-tsh 1t1c ndr
1349 - type: "table"
1350   title: "VPP Performance Changes 3n-tsh 1t1c ndr"
1351   algorithm: "table_comparison"
1352   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-tsh-1t1c-ndr"
1353   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1354   filter: "'1T1C'"
1355   columns:
1356     - title: "2009.0-6"
1357       data-set: "vpp-3n-tsh-hist-iter-new-env"
1358     - title: "2101.0-6"
1359       data-set: "vpp-3n-tsh-prev-iter-old-env"
1360 #     - title: "2101.0-7"
1361 #       data-set: "vpp-3n-tsh-prev-iter-new-env"
1362     - title: "2106.0-7"
1363       data-set: "vpp-3n-tsh-curr-iter"
1364   comparisons:
1365 #     - title: "2101.0-7 vs 2101.0-6"
1366 #       reference: 2
1367 #       compare: 3
1368 #      rca-file: "rca/rca-3n-tsh-1t1c-ndr-rca1.yaml"
1369 #     - title: "2106.0-7 vs 2101.0-7"
1370     - title: "2106.0-7 vs 2101.0-6"
1371       reference: 2  # 3
1372       compare: 3  # 4
1373 #      rca-file: "rca/rca-3n-tsh-1t1c-ndr-rca2.yaml"
1374   legend:
1375     - ''
1376     - 'Test Case:            Test cases executed for: NDR throughput on 3n-tsh with x520.'
1377     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "6" for CSIT rls2101, "7" for CSIT rls2106).'
1378     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1379     - '2101.0-7 vs 2101.0-6: Compares CSIT environment current vs previous with previous VPP code.'
1380 #     - '2106.0-7 vs 2101.0-7: Compares VPP code current vs previous in the current CSIT environment.'
1381     - '2106.0-7 vs 2101.0-6: Compares VPP code current vs previous.'
1382
1383 # VPP Performance Changes 3n-tsh 2t2c ndr
1384 - type: "table"
1385   title: "VPP Performance Changes 3n-tsh 2t2c ndr"
1386   algorithm: "table_comparison"
1387   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-tsh-2t2c-ndr"
1388   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1389   filter: "'2T2C'"
1390   columns:
1391     - title: "2009.0-6"
1392       data-set: "vpp-3n-tsh-hist-iter-new-env"
1393     - title: "2101.0-6"
1394       data-set: "vpp-3n-tsh-prev-iter-old-env"
1395 #     - title: "2101.0-7"
1396 #       data-set: "vpp-3n-tsh-prev-iter-new-env"
1397     - title: "2106.0-7"
1398       data-set: "vpp-3n-tsh-curr-iter"
1399   comparisons:
1400 #     - title: "2101.0-7 vs 2101.0-6"
1401 #       reference: 2
1402 #       compare: 3
1403 #      rca-file: "rca/rca-3n-tsh-2t2c-ndr-rca1.yaml"
1404 #     - title: "2106.0-7 vs 2101.0-7"
1405     - title: "2106.0-7 vs 2101.0-6"
1406       reference: 2  # 3
1407       compare: 3  # 4
1408 #      rca-file: "rca/rca-3n-tsh-2t2c-ndr-rca2.yaml"
1409   legend:
1410     - ''
1411     - 'Test Case:            Test cases executed for: NDR throughput on 3n-tsh with x520.'
1412     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "6" for CSIT rls2101, "7" for CSIT rls2106).'
1413     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1414     - '2101.0-7 vs 2101.0-6: Compares CSIT environment current vs previous with previous VPP code.'
1415 #     - '2106.0-7 vs 2101.0-7: Compares VPP code current vs previous in the current CSIT environment.'
1416     - '2106.0-7 vs 2101.0-6: Compares VPP code current vs previous.'
1417
1418 # VPP Performance Changes 2n-tx2 1t1c pdr
1419 - type: "table"
1420   title: "VPP Performance Changes 2n-tx2 1t1c pdr"
1421   algorithm: "table_comparison"
1422   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-tx2-1t1c-pdr"
1423   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1424   filter: "'1T1C'"
1425   columns:
1426     - title: "2009.0-6"
1427       data-set: "vpp-2n-tx2-hist-iter-new-env"
1428     - title: "2101.0-6"
1429       data-set: "vpp-2n-tx2-prev-iter-old-env"
1430 #     - title: "2101.0-7"
1431 #       data-set: "vpp-2n-tx2-prev-iter-new-env"
1432     - title: "2106.0-7"
1433       data-set: "vpp-2n-tx2-curr-iter"
1434   comparisons:
1435 #     - title: "2101.0-7 vs 2101.0-6"
1436 #       reference: 2
1437 #       compare: 3
1438 #     - title: "2106.0-7 vs 2101.0-7"
1439     - title: "2106.0-7 vs 2101.0-6"
1440       reference: 2  # 3
1441       compare: 3  # 4
1442   legend:
1443     - ''
1444     - 'Test Case:            Test cases executed for: PDR throughput on 2n-tx2 with xl710.'
1445     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "6" for CSIT rls2101, "7" for CSIT rls2106).'
1446     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1447     - '2101.0-7 vs 2101.0-6: Compares CSIT environment current vs previous with previous VPP code.'
1448 #     - '2106.0-7 vs 2101.0-7: Compares VPP code current vs previous in the current CSIT environment.'
1449     - '2106.0-7 vs 2101.0-6: Compares VPP code current vs previous.'
1450
1451 # VPP Performance Changes 2n-tx2 2t2c pdr
1452 - type: "table"
1453   title: "VPP Performance Changes 2n-tx2 2t2c pdr"
1454   algorithm: "table_comparison"
1455   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-tx2-2t2c-pdr"
1456   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1457   filter: "'2T2C'"
1458   columns:
1459     - title: "2009.0-6"
1460       data-set: "vpp-2n-tx2-hist-iter-new-env"
1461     - title: "2101.0-6"
1462       data-set: "vpp-2n-tx2-prev-iter-old-env"
1463 #     - title: "2101.0-7"
1464 #       data-set: "vpp-2n-tx2-prev-iter-new-env"
1465     - title: "2106.0-7"
1466       data-set: "vpp-2n-tx2-curr-iter"
1467   comparisons:
1468 #     - title: "2101.0-7 vs 2101.0-6"
1469 #       reference: 2
1470 #       compare: 3
1471 #     - title: "2106.0-7 vs 2101.0-7"
1472     - title: "2106.0-7 vs 2101.0-6"
1473       reference: 2  # 3
1474       compare: 3  # 4
1475   legend:
1476     - ''
1477     - 'Test Case:            Test cases executed for: PDR throughput on 2n-tx2 with xl710.'
1478     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "6" for CSIT rls2101, "7" for CSIT rls2106).'
1479     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1480     - '2101.0-7 vs 2101.0-6: Compares CSIT environment current vs previous with previous VPP code.'
1481 #     - '2106.0-7 vs 2101.0-7: Compares VPP code current vs previous in the current CSIT environment.'
1482     - '2106.0-7 vs 2101.0-6: Compares VPP code current vs previous.'
1483
1484 # VPP Performance Changes 2n-tx2 1t1c ndr
1485 - type: "table"
1486   title: "VPP Performance Changes 2n-tx2 1t1c ndr"
1487   algorithm: "table_comparison"
1488   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-tx2-1t1c-ndr"
1489   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1490   filter: "'1T1C'"
1491   columns:
1492     - title: "2009.0-6"
1493       data-set: "vpp-2n-tx2-hist-iter-new-env"
1494     - title: "2101.0-6"
1495       data-set: "vpp-2n-tx2-prev-iter-old-env"
1496 #     - title: "2101.0-7"
1497 #       data-set: "vpp-2n-tx2-prev-iter-new-env"
1498     - title: "2106.0-7"
1499       data-set: "vpp-2n-tx2-curr-iter"
1500   comparisons:
1501 #     - title: "2101.0-7 vs 2101.0-6"
1502 #       reference: 2
1503 #       compare: 3
1504 #     - title: "2106.0-7 vs 2101.0-7"
1505     - title: "2106.0-7 vs 2101.0-6"
1506       reference: 2  # 3
1507       compare: 3  # 4
1508   legend:
1509     - ''
1510     - 'Test Case:            Test cases executed for: NDR throughput on 2n-tx2 with xl710.'
1511     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "6" for CSIT rls2101, "7" for CSIT rls2106).'
1512     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1513     - '2101.0-7 vs 2101.0-6: Compares CSIT environment current vs previous with previous VPP code.'
1514 #     - '2106.0-7 vs 2101.0-7: Compares VPP code current vs previous in the current CSIT environment.'
1515     - '2106.0-7 vs 2101.0-6: Compares VPP code current vs previous.'
1516
1517 # VPP Performance Changes 2n-tx2 2t2c ndr
1518 - type: "table"
1519   title: "VPP Performance Changes 2n-tx2 2t2c ndr"
1520   algorithm: "table_comparison"
1521   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-tx2-2t2c-ndr"
1522   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1523   filter: "'2T2C'"
1524   columns:
1525     - title: "2009.0-6"
1526       data-set: "vpp-2n-tx2-hist-iter-new-env"
1527     - title: "2101.0-6"
1528       data-set: "vpp-2n-tx2-prev-iter-old-env"
1529 #     - title: "2101.0-7"
1530 #       data-set: "vpp-2n-tx2-prev-iter-new-env"
1531     - title: "2106.0-7"
1532       data-set: "vpp-2n-tx2-curr-iter"
1533   comparisons:
1534 #     - title: "2101.0-7 vs 2101.0-6"
1535 #       reference: 2
1536 #       compare: 3
1537 #     - title: "2106.0-7 vs 2101.0-7"
1538     - title: "2106.0-7 vs 2101.0-6"
1539       reference: 2  # 3
1540       compare: 3  # 4
1541   legend:
1542     - ''
1543     - 'Test Case:            Test cases executed for: NDR throughput on 2n-tx2 with xl710.'
1544     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "6" for CSIT rls2101, "7" for CSIT rls2106).'
1545     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1546     - '2101.0-7 vs 2101.0-6: Compares CSIT environment current vs previous with previous VPP code.'
1547 #     - '2106.0-7 vs 2101.0-7: Compares VPP code current vs previous in the current CSIT environment.'
1548     - '2106.0-7 vs 2101.0-6: Compares VPP code current vs previous.'
1549
1550 # VPP Comparison Across Testbeds 2n-skx to 2n-clx 2t1c ndr
1551 - type: "table"
1552   title: "VPP Comparison Across Testbeds 2n-skx to 2n-clx 2t1c ndr"
1553   algorithm: "table_comparison"
1554   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-skx-2n-clx-2t1c-ndr"
1555   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1556   filter: "'2T1C' and 'NIC_Intel-XXV710'"
1557   columns:
1558     - title: "2n-skx"
1559       data-set: "vpp-2n-skx-curr-iter"
1560     - title: "2n-clx"
1561       data-set: "vpp-2n-clx-curr-iter"
1562   comparisons:
1563     - title: "Diff"
1564       reference: 1
1565       compare: 2
1566   legend:
1567     - ""
1568     - "2n-skx, 2n-clx - testbeds and NICs tested."
1569     - "Diff - difference between 2n-skx and 2n-clx testbeds."
1570
1571 # VPP Comparison Across Testbeds 2n-skx to 2n-clx 4t2c ndr
1572 - type: "table"
1573   title: "VPP Comparison Across Testbeds 2n-skx to 2n-clx 4t2c ndr"
1574   algorithm: "table_comparison"
1575   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-skx-2n-clx-4t2c-ndr"
1576   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1577   filter: "'4T2C' and 'NIC_Intel-XXV710'"
1578   columns:
1579     - title: "2n-skx"
1580       data-set: "vpp-2n-skx-curr-iter"
1581     - title: "2n-clx"
1582       data-set: "vpp-2n-clx-curr-iter"
1583   comparisons:
1584     - title: "Diff"
1585       reference: 1
1586       compare: 2
1587   legend:
1588     - ""
1589     - "2n-skx, 2n-clx - testbeds and NICs tested."
1590     - "Diff - difference between 2n-skx and 2n-clx testbeds."
1591
1592 # VPP Comparison Across Testbeds 2n-skx to 2n-clx 2t1c pdr
1593 - type: "table"
1594   title: "VPP Comparison Across Testbeds 2n-skx to 2n-clx 2t1c pdr"
1595   algorithm: "table_comparison"
1596   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-skx-2n-clx-2t1c-pdr"
1597   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1598   filter: "'2T1C' and 'NIC_Intel-XXV710'"
1599   columns:
1600     - title: "2n-skx"
1601       data-set: "vpp-2n-skx-curr-iter"
1602     - title: "2n-clx"
1603       data-set: "vpp-2n-clx-curr-iter"
1604   comparisons:
1605     - title: "Diff"
1606       reference: 1
1607       compare: 2
1608   legend:
1609     - ""
1610     - "2n-skx, 2n-clx - testbeds and NICs tested."
1611     - "Diff - difference between 2n-skx and 2n-clx testbeds."
1612
1613 # VPP Comparison Across Testbeds 2n-skx to 2n-clx 4t2c pdr
1614 - type: "table"
1615   title: "VPP Comparison Across Testbeds 2n-skx to 2n-clx 4t2c pdr"
1616   algorithm: "table_comparison"
1617   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-skx-2n-clx-4t2c-pdr"
1618   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1619   filter: "'4T2C' and 'NIC_Intel-XXV710'"
1620   columns:
1621     - title: "2n-skx"
1622       data-set: "vpp-2n-skx-curr-iter"
1623     - title: "2n-clx"
1624       data-set: "vpp-2n-clx-curr-iter"
1625   comparisons:
1626     - title: "Diff"
1627       reference: 1
1628       compare: 2
1629   legend:
1630     - ""
1631     - "2n-skx, 2n-clx - testbeds and NICs tested."
1632     - "Diff - difference between 2n-skx and 2n-clx testbeds."
1633
1634 # VPP Comparison Across Testbeds 2n-clx to 2n-icx 1c ndr
1635 - type: "table"
1636   title: "VPP Comparison Across Testbeds 2n-clx to 2n-icx 1c ndr"
1637   algorithm: "table_comparison"
1638   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-clx-2n-icx-1c-ndr"
1639   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1640   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-E810CQ') and 'NDRPDR' and '1C'"
1641   columns:
1642     - title: "2n-clx xxv710"
1643       data-set: "vpp-2n-clx-curr-iter"
1644       tag: "NIC_Intel-XXV710"
1645     - title: "2n-icx e810cq"
1646       data-set: "vpp-2n-icx-curr-iter"
1647       tag: "NIC_Intel-E810CQ"
1648   comparisons:
1649     - title: "Diff"
1650       reference: 1
1651       compare: 2
1652   legend:
1653     - ""
1654     - "2n-clx xxv710, 2n-icx e810cq - testbeds and NICs tested."
1655     - "Diff - difference between 2n-clx xxv710 and 2n-icx e810cq testbeds."
1656
1657 # VPP Comparison Across Testbeds 2n-clx to 2n-icx 2c ndr
1658 - type: "table"
1659   title: "VPP Comparison Across Testbeds 2n-clx to 2n-icx 2c ndr"
1660   algorithm: "table_comparison"
1661   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-clx-2n-icx-2c-ndr"
1662   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1663   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-E810CQ') and 'NDRPDR' and '2C'"
1664   columns:
1665     - title: "2n-clx xxv710"
1666       data-set: "vpp-2n-clx-curr-iter"
1667       tag: "NIC_Intel-XXV710"
1668     - title: "2n-icx e810cq"
1669       data-set: "vpp-2n-icx-curr-iter"
1670       tag: "NIC_Intel-E810CQ"
1671   comparisons:
1672     - title: "Diff"
1673       reference: 1
1674       compare: 2
1675   legend:
1676     - ""
1677     - "2n-clx xxv710, 2n-icx e810cq - testbeds and NICs tested."
1678     - "Diff - difference between 2n-clx xxv710 and 2n-icx e810cq testbeds."
1679
1680 # VPP Comparison Across Testbeds 2n-clx to 2n-icx 1c pdr
1681 - type: "table"
1682   title: "VPP Comparison Across Testbeds 2n-clx to 2n-icx 1c pdr"
1683   algorithm: "table_comparison"
1684   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-clx-2n-icx-1c-pdr"
1685   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1686   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-E810CQ') and 'NDRPDR' and '1C'"
1687   columns:
1688     - title: "2n-clx xxv710"
1689       data-set: "vpp-2n-clx-curr-iter"
1690       tag: "NIC_Intel-XXV710"
1691     - title: "2n-icx e810cq"
1692       data-set: "vpp-2n-icx-curr-iter"
1693       tag: "NIC_Intel-E810CQ"
1694   comparisons:
1695     - title: "Diff"
1696       reference: 1
1697       compare: 2
1698   legend:
1699     - ""
1700     - "2n-clx xxv710, 2n-icx e810cq - testbeds and NICs tested."
1701     - "Diff - difference between 2n-clx xxv710 and 2n-icx e810cq testbeds."
1702
1703 # VPP Comparison Across Testbeds 2n-clx to 2n-icx 2c pdr
1704 - type: "table"
1705   title: "VPP Comparison Across Testbeds 2n-clx to 2n-icx 2c pdr"
1706   algorithm: "table_comparison"
1707   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-clx-2n-icx-2c-pdr"
1708   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1709   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-E810CQ') and 'NDRPDR' and '2C'"
1710   columns:
1711     - title: "2n-clx xxv710"
1712       data-set: "vpp-3n-skx-curr-iter"
1713       tag: "NIC_Intel-XXV710"
1714     - title: "2n-icx e810cq"
1715       data-set: "vpp-2n-icx-curr-iter"
1716       tag: "NIC_Intel-E810CQ"
1717   comparisons:
1718     - title: "Diff"
1719       reference: 1
1720       compare: 2
1721   legend:
1722     - ""
1723     - "2n-clx xxv710, 2n-icx e810cq - testbeds and NICs tested."
1724     - "Diff - difference between 2n-clx xxv710 and 2n-icx e810cq testbeds."
1725
1726 # VPP Comparison Across Testbeds 3n-skx to 3n-icx 1c ndr
1727 - type: "table"
1728   title: "VPP Comparison Across Testbeds 3n-skx to 3n-icx 1c ndr"
1729   algorithm: "table_comparison"
1730   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-skx-3n-icx-1c-ndr"
1731   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1732   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-E810CQ') and 'NDRPDR' and '1C'"
1733   columns:
1734     - title: "3n-skx xxv710"
1735       data-set: "vpp-3n-skx-curr-iter"
1736       tag: "NIC_Intel-XXV710"
1737     - title: "3n-icx e810cq"
1738       data-set: "vpp-3n-icx-curr-iter"
1739       tag: "NIC_Intel-E810CQ"
1740   comparisons:
1741     - title: "Diff"
1742       reference: 1
1743       compare: 2
1744   legend:
1745     - ""
1746     - "3n-skx xxv710, 3n-icx e810cq - testbeds and NICs tested."
1747     - "Diff - difference between 3n-skx xxv710 and 3n-icx e810cq testbeds."
1748
1749 # VPP Comparison Across Testbeds 3n-skx to 3n-icx 2c ndr
1750 - type: "table"
1751   title: "VPP Comparison Across Testbeds 3n-skx to 3n-icx ndr"
1752   algorithm: "table_comparison"
1753   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-skx-3n-icx-2c-ndr"
1754   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1755   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-E810CQ') and 'NDRPDR' and '2C'"
1756   columns:
1757     - title: "3n-skx xxv710"
1758       data-set: "vpp-3n-skx-curr-iter"
1759       tag: "NIC_Intel-XXV710"
1760     - title: "3n-icx e810cq"
1761       data-set: "vpp-3n-icx-curr-iter"
1762       tag: "NIC_Intel-E810CQ"
1763   comparisons:
1764     - title: "Diff"
1765       reference: 1
1766       compare: 2
1767   legend:
1768     - ""
1769     - "3n-skx xxv710, 3n-icx e810cq - testbeds and NICs tested."
1770     - "Diff - difference between 3n-skx xxv710 and 3n-icx e810cq testbeds."
1771
1772 # VPP Comparison Across Testbeds 3n-skx to 3n-icx 1c pdr
1773 - type: "table"
1774   title: "VPP Comparison Across Testbeds 3n-skx to 3n-icx 1c pdr"
1775   algorithm: "table_comparison"
1776   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-skx-3n-icx-1c-pdr"
1777   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1778   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-E810CQ') and 'NDRPDR' and '1C'"
1779   columns:
1780     - title: "3n-skx xxv710"
1781       data-set: "vpp-3n-skx-curr-iter"
1782       tag: "NIC_Intel-XXV710"
1783     - title: "3n-icx e810cq"
1784       data-set: "vpp-3n-icx-curr-iter"
1785       tag: "NIC_Intel-E810CQ"
1786   comparisons:
1787     - title: "Diff"
1788       reference: 1
1789       compare: 2
1790   legend:
1791     - ""
1792     - "3n-skx xxv710, 3n-icx e810cq - testbeds and NICs tested."
1793     - "Diff - difference between 3n-skx xxv710 and 3n-icx e810cq testbeds."
1794
1795 # VPP Comparison Across Testbeds 3n-skx to 3n-icx 2c pdr
1796 - type: "table"
1797   title: "VPP Comparison Across Testbeds 3n-skx to 3n-icx 2c pdr"
1798   algorithm: "table_comparison"
1799   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-skx-3n-icx-2c-pdr"
1800   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1801   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-E810CQ') and 'NDRPDR' and '2C'"
1802   columns:
1803     - title: "3n-skx xxv710"
1804       data-set: "vpp-3n-skx-curr-iter"
1805       tag: "NIC_Intel-XXV710"
1806     - title: "3n-icx e810cq"
1807       data-set: "vpp-3n-icx-curr-iter"
1808       tag: "NIC_Intel-E810CQ"
1809   comparisons:
1810     - title: "Diff"
1811       reference: 1
1812       compare: 2
1813   legend:
1814     - ""
1815     - "3n-skx xxv710, 3n-icx e810cq - testbeds and NICs tested."
1816     - "Diff - difference between 3n-skx xxv710 and 3n-icx e810cq testbeds."
1817
1818 # VPP Comparison Across Topologies 3n-skx to 2n-skx 1c ndr
1819 - type: "table"
1820   title: "VPP Comparison Across Topologies 3n-skx to 2n-skx 1c ndr"
1821   algorithm: "table_comparison"
1822   output-file: "{DIR[STATIC,VPP]}/performance-compare-topologies-3n-skx-2n-skx-1c-ndr"
1823   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1824   filter: "'NDRPDR' and '1C' and 'NIC_Intel-XXV710'"
1825   columns:
1826     - title: "3n-skx"
1827       data-set: "vpp-3n-skx-curr-iter"
1828     - title: "2n-skx"
1829       data-set: "vpp-2n-skx-curr-iter"
1830   comparisons:
1831     - title: "Diff"
1832       reference: 1
1833       compare: 2
1834   legend:
1835     - ""
1836     - "3n-skx, 2n-skx - topologies tested."
1837     - "Diff - difference between 3n-skx and 2n-skx topologies."
1838
1839 # VPP Comparison Across Topologies 3n-skx to 2n-skx 2c ndr
1840 - type: "table"
1841   title: "VPP Comparison Across Topologies 3n-skx to 2n-skx 2c ndr"
1842   algorithm: "table_comparison"
1843   output-file: "{DIR[STATIC,VPP]}/performance-compare-topologies-3n-skx-2n-skx-2c-ndr"
1844   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1845   filter: "'NDRPDR' and '2C' and 'NIC_Intel-XXV710'"
1846   columns:
1847     - title: "3n-skx"
1848       data-set: "vpp-3n-skx-curr-iter"
1849     - title: "2n-skx"
1850       data-set: "vpp-2n-skx-curr-iter"
1851   comparisons:
1852     - title: "Diff"
1853       reference: 1
1854       compare: 2
1855   legend:
1856     - ""
1857     - "3n-skx, 2n-skx - topologies tested."
1858     - "Diff - difference between 3n-skx and 2n-skx topologies."
1859
1860 # VPP Comparison Across Topologies 3n-skx to 2n-skx 1c pdr
1861 - type: "table"
1862   title: "VPP Comparison Across Topologies 3n-skx to 2n-skx 1c pdr"
1863   algorithm: "table_comparison"
1864   output-file: "{DIR[STATIC,VPP]}/performance-compare-topologies-3n-skx-2n-skx-1c-pdr"
1865   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1866   filter: "'NDRPDR' and '1C' and 'NIC_Intel-XXV710'"
1867   columns:
1868     - title: "3n-skx"
1869       data-set: "vpp-3n-skx-curr-iter"
1870     - title: "2n-skx"
1871       data-set: "vpp-2n-skx-curr-iter"
1872   comparisons:
1873     - title: "Diff"
1874       reference: 1
1875       compare: 2
1876   legend:
1877     - ""
1878     - "3n-skx, 2n-skx - topologies tested."
1879     - "Diff - difference between 3n-skx and 2n-skx topologies."
1880
1881 # VPP Comparison Across Topologies 3n-skx to 2n-skx 2c pdr
1882 - type: "table"
1883   title: "VPP Comparison Across Topologies 3n-skx to 2n-skx 2c pdr"
1884   algorithm: "table_comparison"
1885   output-file: "{DIR[STATIC,VPP]}/performance-compare-topologies-3n-skx-2n-skx-2c-pdr"
1886   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1887   filter: "'NDRPDR' and '2C' and 'NIC_Intel-XXV710'"
1888   columns:
1889     - title: "3n-skx"
1890       data-set: "vpp-3n-skx-curr-iter"
1891     - title: "2n-skx"
1892       data-set: "vpp-2n-skx-curr-iter"
1893   comparisons:
1894     - title: "Diff"
1895       reference: 1
1896       compare: 2
1897   legend:
1898     - ""
1899     - "3n-skx, 2n-skx - topologies tested."
1900     - "Diff - difference between 3n-skx and 2n-skx topologies."
1901
1902 # VPP Performance Changes 3n-skx 2t1c mrr
1903 - type: "table"
1904   title: "VPP Performance Changes 3n-skx 2t1c mrr"
1905   algorithm: "table_comparison"
1906   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-mrr"
1907   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1908   filter: "'2T1C' and 'MRR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1909   columns:
1910     - title: "2009.0-6"
1911       data-set: "vpp-3n-skx-hist-iter-mrr-new-env"
1912     - title: "2101.0-6"
1913       data-set: "vpp-3n-skx-prev-iter-mrr-old-env"
1914     - title: "2101.0-7"
1915       data-set: "vpp-3n-skx-prev-iter-mrr-new-env"
1916     - title: "2106.0-7"
1917       data-set: "vpp-3n-skx-curr-iter-mrr"
1918   comparisons:
1919     - title: "2101.0-7 vs 2101.0-6"
1920       reference: 2
1921       compare: 3
1922 #      rca-file: "rca/rca-3n-skx-2t1c-mrr-rca1.yaml"
1923     - title: "2106.0-7 vs 2101.0-7"
1924       reference: 3
1925       compare: 4
1926 #      rca-file: "rca/rca-3n-skx-2t1c-mrr-rca2.yaml"
1927   legend:
1928     - ''
1929     - 'Test Case:            Test cases executed for: MRR throughput on 3n-skx with xxv710.'
1930     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "6" for CSIT rls2101, "7" for CSIT rls2106).'
1931     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1932     - '2101.0-7 vs 2101.0-6: Compares CSIT environment current vs previous with previous VPP code.'
1933     - '2106.0-7 vs 2101.0-7: Compares VPP code current vs previous in the current CSIT environment.'
1934
1935 # VPP Performance Changes 3n-skx 4t2c mrr
1936 - type: "table"
1937   title: "VPP Performance Changes 3n-skx 4t2c mrr"
1938   algorithm: "table_comparison"
1939   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-mrr"
1940   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1941   filter: "'4T2C' and 'MRR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1942   columns:
1943     - title: "2009.0-6"
1944       data-set: "vpp-3n-skx-hist-iter-mrr-new-env"
1945     - title: "2101.0-6"
1946       data-set: "vpp-3n-skx-prev-iter-mrr-old-env"
1947     - title: "2101.0-7"
1948       data-set: "vpp-3n-skx-prev-iter-mrr-new-env"
1949     - title: "2106.0-7"
1950       data-set: "vpp-3n-skx-curr-iter-mrr"
1951   comparisons:
1952     - title: "2101.0-7 vs 2101.0-6"
1953       reference: 2
1954       compare: 3
1955 #      rca-file: "rca/rca-3n-skx-4t2c-mrr-rca1.yaml"
1956     - title: "2106.0-7 vs 2101.0-7"
1957       reference: 3
1958       compare: 4
1959 #      rca-file: "rca/rca-3n-skx-4t2c-mrr-rca2.yaml"
1960   legend:
1961     - ''
1962     - 'Test Case:            Test cases executed for: MRR throughput on 3n-skx with xxv710.'
1963     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "6" for CSIT rls2101, "7" for CSIT rls2106).'
1964     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1965     - '2101.0-7 vs 2101.0-6: Compares CSIT environment current vs previous with previous VPP code.'
1966     - '2106.0-7 vs 2101.0-7: Compares VPP code current vs previous in the current CSIT environment.'
1967
1968 # VPP Performance Changes 3n-skx 8t4c mrr
1969 - type: "table"
1970   title: "VPP Performance Changes 3n-skx 8t4c mrr"
1971   algorithm: "table_comparison"
1972   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-8t4c-mrr"
1973   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1974   filter: "'8T4C' and 'MRR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1975   columns:
1976     - title: "2009.0-6"
1977       data-set: "vpp-3n-skx-hist-iter-mrr-new-env"
1978     - title: "2101.0-6"
1979       data-set: "vpp-3n-skx-prev-iter-mrr-old-env"
1980     - title: "2101.0-7"
1981       data-set: "vpp-3n-skx-prev-iter-mrr-new-env"
1982     - title: "2106.0-7"
1983       data-set: "vpp-3n-skx-curr-iter-mrr"
1984   comparisons:
1985     - title: "2101.0-7 vs 2101.0-6"
1986       reference: 2
1987       compare: 3
1988 #      rca-file: "rca/rca-3n-skx-8t4c-mrr-rca1.yaml"
1989     - title: "2106.0-7 vs 2101.0-7"
1990       reference: 3
1991       compare: 4
1992 #      rca-file: "rca/rca-3n-skx-8t4c-mrr-rca2.yaml"
1993   legend:
1994     - ''
1995     - 'Test Case:            Test cases executed for: MRR throughput on 3n-skx with xxv710.'
1996     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "6" for CSIT rls2101, "7" for CSIT rls2106).'
1997     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1998     - '2101.0-7 vs 2101.0-6: Compares CSIT environment current vs previous with previous VPP code.'
1999     - '2106.0-7 vs 2101.0-7: Compares VPP code current vs previous in the current CSIT environment.'
2000
2001 # VPP Performance Changes 2n-skx 2t1c mrr
2002 - type: "table"
2003   title: "VPP Performance Changes 2n-skx 2t1c mrr"
2004   algorithm: "table_comparison"
2005   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-mrr"
2006   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2007   filter: "'2T1C' and 'MRR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2008   columns:
2009     - title: "2009.0-6"
2010       data-set: "vpp-2n-skx-hist-iter-mrr-new-env"
2011     - title: "2101.0-6"
2012       data-set: "vpp-2n-skx-prev-iter-mrr-old-env"
2013     - title: "2101.0-7"
2014       data-set: "vpp-2n-skx-prev-iter-mrr-new-env"
2015     - title: "2106.0-7"
2016       data-set: "vpp-2n-skx-curr-iter-mrr"
2017   comparisons:
2018     - title: "2101.0-7 vs 2101.0-6"
2019       reference: 2
2020       compare: 3
2021 #      rca-file: "rca/rca-2n-skx-2t1c-mrr-rca1.yaml"
2022     - title: "2106.0-7 vs 2101.0-7"
2023       reference: 3
2024       compare: 4
2025 #      rca-file: "rca/rca-2n-skx-2t1c-mrr-rca2.yaml"
2026   legend:
2027     - ''
2028     - 'Test Case:            Test cases executed for: MRR throughput on 2n-skx with xxv710.'
2029     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "6" for CSIT rls2101, "7" for CSIT rls2106).'
2030     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2031     - '2101.0-7 vs 2101.0-6: Compares CSIT environment current vs previous with previous VPP code.'
2032     - '2106.0-7 vs 2101.0-7: Compares VPP code current vs previous in the current CSIT environment.'
2033
2034 # VPP Performance Changes 2n-skx 4t2c mrr
2035 - type: "table"
2036   title: "VPP Performance Changes 2n-skx 4t2c mrr"
2037   algorithm: "table_comparison"
2038   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-mrr"
2039   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2040   filter: "'4T2C' and 'MRR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2041   columns:
2042     - title: "2009.0-6"
2043       data-set: "vpp-2n-skx-hist-iter-mrr-new-env"
2044     - title: "2101.0-6"
2045       data-set: "vpp-2n-skx-prev-iter-mrr-old-env"
2046     - title: "2101.0-7"
2047       data-set: "vpp-2n-skx-prev-iter-mrr-new-env"
2048     - title: "2106.0-7"
2049       data-set: "vpp-2n-skx-curr-iter-mrr"
2050   comparisons:
2051     - title: "2101.0-7 vs 2101.0-6"
2052       reference: 2
2053       compare: 3
2054 #      rca-file: "rca/rca-2n-skx-4t2c-mrr-rca1.yaml"
2055     - title: "2106.0-7 vs 2101.0-7"
2056       reference: 3
2057       compare: 4
2058 #      rca-file: "rca/rca-2n-skx-4t2c-mrr-rca2.yaml"
2059   legend:
2060     - ''
2061     - 'Test Case:            Test cases executed for: MRR throughput on 2n-skx with xxv710.'
2062     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "6" for CSIT rls2101, "7" for CSIT rls2106).'
2063     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2064     - '2101.0-7 vs 2101.0-6: Compares CSIT environment current vs previous with previous VPP code.'
2065     - '2106.0-7 vs 2101.0-7: Compares VPP code current vs previous in the current CSIT environment.'
2066
2067 # VPP Performance Changes 2n-skx 8t4c mrr
2068 - type: "table"
2069   title: "VPP Performance Changes 2n-skx 8t4c mrr"
2070   algorithm: "table_comparison"
2071   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-8t4c-mrr"
2072   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2073   filter: "'8T4C' and 'MRR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2074   columns:
2075     - title: "2009.0-6"
2076       data-set: "vpp-2n-skx-hist-iter-mrr-new-env"
2077     - title: "2101.0-6"
2078       data-set: "vpp-2n-skx-prev-iter-mrr-old-env"
2079     - title: "2101.0-7"
2080       data-set: "vpp-2n-skx-prev-iter-mrr-new-env"
2081     - title: "2106.0-7"
2082       data-set: "vpp-2n-skx-curr-iter-mrr"
2083   comparisons:
2084     - title: "2101.0-7 vs 2101.0-6"
2085       reference: 2
2086       compare: 3
2087 #      rca-file: "rca/rca-2n-skx-8t4c-mrr-rca1.yaml"
2088     - title: "2106.0-7 vs 2101.0-7"
2089       reference: 3
2090       compare: 4
2091 #      rca-file: "rca/rca-2n-skx-8t4c-mrr-rca2.yaml"
2092   legend:
2093     - ''
2094     - 'Test Case:            Test cases executed for: MRR throughput on 2n-skx with xxv710.'
2095     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "6" for CSIT rls2101, "7" for CSIT rls2106).'
2096     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2097     - '2101.0-7 vs 2101.0-6: Compares CSIT environment current vs previous with previous VPP code.'
2098     - '2106.0-7 vs 2101.0-7: Compares VPP code current vs previous in the current CSIT environment.'
2099
2100 # VPP Performance Changes 2n-clx-xxv710 2t1c mrr
2101 - type: "table"
2102   title: "VPP Performance Changes 2n-clx-xxv710 2t1c mrr"
2103   algorithm: "table_comparison"
2104   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-xxv710-2t1c-mrr"
2105   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2106   filter: "'2T1C' and 'MRR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2107   columns:
2108     - title: "2009.0-6"
2109       data-set: "vpp-2n-clx-hist-iter-mrr-new-env"
2110     - title: "2101.0-6"
2111       data-set: "vpp-2n-clx-prev-iter-mrr-old-env"
2112     - title: "2101.0-7"
2113       data-set: "vpp-2n-clx-prev-iter-mrr-new-env"
2114     - title: "2106.0-7"
2115       data-set: "vpp-2n-clx-curr-iter-mrr"
2116   comparisons:
2117     - title: "2101.0-7 vs 2101.0-6"
2118       reference: 2
2119       compare: 3
2120 #      rca-file: "rca/rca-2n-clx-2t1c-mrr-rca1.yaml"
2121     - title: "2106.0-7 vs 2101.0-7"
2122       reference: 3
2123       compare: 4
2124 #      rca-file: "rca/rca-2n-clx-2t1c-mrr-rca2.yaml"
2125   legend:
2126     - ''
2127     - 'Test Case:            Test cases executed for: MRR throughput on 2n-clx with xxv710.'
2128     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "6" for CSIT rls2101, "7" for CSIT rls2106).'
2129     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2130     - '2101.0-7 vs 2101.0-6: Compares CSIT environment current vs previous with previous VPP code.'
2131     - '2106.0-7 vs 2101.0-7: Compares VPP code current vs previous in the current CSIT environment.'
2132
2133 # VPP Performance Changes 2n-clx-xxv710 4t2c mrr
2134 - type: "table"
2135   title: "VPP Performance Changes 2n-clx-xxv710 4t2c mrr"
2136   algorithm: "table_comparison"
2137   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-xxv710-4t2c-mrr"
2138   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2139   filter: "'4T2C' and 'MRR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2140   columns:
2141     - title: "2009.0-6"
2142       data-set: "vpp-2n-clx-hist-iter-mrr-new-env"
2143     - title: "2101.0-6"
2144       data-set: "vpp-2n-clx-prev-iter-mrr-old-env"
2145     - title: "2101.0-7"
2146       data-set: "vpp-2n-clx-prev-iter-mrr-new-env"
2147     - title: "2106.0-7"
2148       data-set: "vpp-2n-clx-curr-iter-mrr"
2149   comparisons:
2150     - title: "2101.0-7 vs 2101.0-6"
2151       reference: 2
2152       compare: 3
2153 #      rca-file: "rca/rca-2n-clx-4t2c-mrr-rca1.yaml"
2154     - title: "2106.0-7 vs 2101.0-7"
2155       reference: 3
2156       compare: 4
2157 #      rca-file: "rca/rca-2n-clx-4t2c-mrr-rca2.yaml"
2158   legend:
2159     - ''
2160     - 'Test Case:            Test cases executed for: MRR throughput on 2n-clx with xxv710.'
2161     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "6" for CSIT rls2101, "7" for CSIT rls2106).'
2162     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2163     - '2101.0-7 vs 2101.0-6: Compares CSIT environment current vs previous with previous VPP code.'
2164     - '2106.0-7 vs 2101.0-7: Compares VPP code current vs previous in the current CSIT environment.'
2165
2166 # VPP Performance Changes 2n-clx-xxv710 8t4c mrr
2167 - type: "table"
2168   title: "VPP Performance Changes 2n-clx-xxv710 8t4c mrr"
2169   algorithm: "table_comparison"
2170   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-xxv710-8t4c-mrr"
2171   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2172   filter: "'8T4C' and 'MRR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2173   columns:
2174     - title: "2009.0-6"
2175       data-set: "vpp-2n-clx-hist-iter-mrr-new-env"
2176     - title: "2101.0-6"
2177       data-set: "vpp-2n-clx-prev-iter-mrr-old-env"
2178     - title: "2101.0-7"
2179       data-set: "vpp-2n-clx-prev-iter-mrr-new-env"
2180     - title: "2106.0-7"
2181       data-set: "vpp-2n-clx-curr-iter-mrr"
2182   comparisons:
2183     - title: "2101.0-7 vs 2101.0-6"
2184       reference: 2
2185       compare: 3
2186 #      rca-file: "rca/rca-2n-clx-8t4c-mrr-rca1.yaml"
2187     - title: "2106.0-7 vs 2101.0-7"
2188       reference: 3
2189       compare: 4
2190 #      rca-file: "rca/rca-2n-clx-8t4c-mrr-rca2.yaml"
2191   legend:
2192     - ''
2193     - 'Test Case:            Test cases executed for: MRR throughput on 2n-clx with xxv710.'
2194     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "6" for CSIT rls2101, "7" for CSIT rls2106).'
2195     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2196     - '2101.0-7 vs 2101.0-6: Compares CSIT environment current vs previous with previous VPP code.'
2197     - '2106.0-7 vs 2101.0-7: Compares VPP code current vs previous in the current CSIT environment.'
2198
2199 # VPP Performance Changes 2n-clx-cx556a 2t1c mrr
2200 - type: "table"
2201   title: "VPP Performance Changes 2n-clx-cx556a 2t1c mrr"
2202   algorithm: "table_comparison"
2203   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-cx556a-2t1c-mrr"
2204   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2205   filter: "'2T1C' and 'MRR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
2206   columns:
2207     - title: "2009.0-6"
2208       data-set: "vpp-2n-clx-hist-iter-mrr-new-env"
2209     - title: "2101.0-6"
2210       data-set: "vpp-2n-clx-prev-iter-mrr-old-env"
2211     - title: "2101.0-7"
2212       data-set: "vpp-2n-clx-prev-iter-mrr-new-env"
2213     - title: "2106.0-7"
2214       data-set: "vpp-2n-clx-curr-iter-mrr"
2215   comparisons:
2216     - title: "2101.0-7 vs 2101.0-6"
2217       reference: 2
2218       compare: 3
2219 #      rca-file: "rca/rca-2n-clx-2t1c-mrr-rca1.yaml"
2220     - title: "2106.0-7 vs 2101.0-7"
2221       reference: 3
2222       compare: 4
2223 #      rca-file: "rca/rca-2n-clx-2t1c-mrr-rca2.yaml"
2224   legend:
2225     - ''
2226     - 'Test Case:            Test cases executed for: MRR throughput on 2n-clx with cx556a.'
2227     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "6" for CSIT rls2101, "7" for CSIT rls2106).'
2228     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2229     - '2101.0-7 vs 2101.0-6: Compares CSIT environment current vs previous with previous VPP code.'
2230     - '2106.0-7 vs 2101.0-7: Compares VPP code current vs previous in the current CSIT environment.'
2231
2232 # VPP Performance Changes 2n-clx-cx556a 4t2c mrr
2233 - type: "table"
2234   title: "VPP Performance Changes 2n-clx-cx556a 4t2c mrr"
2235   algorithm: "table_comparison"
2236   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-cx556a-4t2c-mrr"
2237   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2238   filter: "'4T2C' and 'MRR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
2239   columns:
2240     - title: "2009.0-6"
2241       data-set: "vpp-2n-clx-hist-iter-mrr-new-env"
2242     - title: "2101.0-6"
2243       data-set: "vpp-2n-clx-prev-iter-mrr-old-env"
2244     - title: "2101.0-7"
2245       data-set: "vpp-2n-clx-prev-iter-mrr-new-env"
2246     - title: "2106.0-7"
2247       data-set: "vpp-2n-clx-curr-iter-mrr"
2248   comparisons:
2249     - title: "2101.0-7 vs 2101.0-6"
2250       reference: 2
2251       compare: 3
2252 #      rca-file: "rca/rca-2n-clx-4t2c-mrr-rca1.yaml"
2253     - title: "2106.0-7 vs 2101.0-7"
2254       reference: 3
2255       compare: 4
2256 #      rca-file: "rca/rca-2n-clx-4t2c-mrr-rca2.yaml"
2257   legend:
2258     - ''
2259     - 'Test Case:            Test cases executed for: MRR throughput on 2n-clx with cx556a.'
2260     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "6" for CSIT rls2101, "7" for CSIT rls2106).'
2261     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2262     - '2101.0-7 vs 2101.0-6: Compares CSIT environment current vs previous with previous VPP code.'
2263     - '2106.0-7 vs 2101.0-7: Compares VPP code current vs previous in the current CSIT environment.'
2264
2265 # VPP Performance Changes 2n-clx-cx556a 8t4c mrr
2266 - type: "table"
2267   title: "VPP Performance Changes 2n-clx-cx556a 8t4c mrr"
2268   algorithm: "table_comparison"
2269   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-cx556a-8t4c-mrr"
2270   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2271   filter: "'8T4C' and 'MRR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
2272   columns:
2273     - title: "2009.0-6"
2274       data-set: "vpp-2n-clx-hist-iter-mrr-new-env"
2275     - title: "2101.0-6"
2276       data-set: "vpp-2n-clx-prev-iter-mrr-old-env"
2277     - title: "2101.0-7"
2278       data-set: "vpp-2n-clx-prev-iter-mrr-new-env"
2279     - title: "2106.0-7"
2280       data-set: "vpp-2n-clx-curr-iter-mrr"
2281   comparisons:
2282     - title: "2101.0-7 vs 2101.0-6"
2283       reference: 2
2284       compare: 3
2285 #      rca-file: "rca/rca-2n-clx-8t4c-mrr-rca1.yaml"
2286     - title: "2106.0-7 vs 2101.0-7"
2287       reference: 3
2288       compare: 4
2289 #      rca-file: "rca/rca-2n-clx-8t4c-mrr-rca2.yaml"
2290   legend:
2291     - ''
2292     - 'Test Case:            Test cases executed for: MRR throughput on 2n-clx with cx556a.'
2293     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "6" for CSIT rls2101, "7" for CSIT rls2106).'
2294     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2295     - '2101.0-7 vs 2101.0-6: Compares CSIT environment current vs previous with previous VPP code.'
2296     - '2106.0-7 vs 2101.0-7: Compares VPP code current vs previous in the current CSIT environment.'
2297
2298 # VPP Performance Changes 2n-zn2-xxv710 2t1c mrr
2299 - type: "table"
2300   title: "VPP Performance Changes 2n-zn2-xxv710 2t1c mrr"
2301   algorithm: "table_comparison"
2302   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-zn2-xxv710-2t1c-mrr"
2303   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2304   filter: "'2T1C' and 'MRR' and 'NIC_Intel-XXV710'"
2305   columns:
2306     - title: "2009.0-6"
2307       data-set: "vpp-2n-zn2-hist-iter-mrr-new-env"
2308     - title: "2101.0-6"
2309       data-set: "vpp-2n-zn2-prev-iter-mrr-old-env"
2310     - title: "2101.0-7"
2311       data-set: "vpp-2n-zn2-prev-iter-mrr-new-env"
2312     - title: "2106.0-7"
2313       data-set: "vpp-2n-zn2-curr-iter-mrr"
2314   comparisons:
2315     - title: "2101.0-7 vs 2101.0-6"
2316       reference: 2
2317       compare: 3
2318 #      rca-file: "rca/rca-2n-zn2-2t1c-mrr-rca1.yaml"
2319     - title: "2106.0-7 vs 2101.0-7"
2320       reference: 3
2321       compare: 4
2322 #      rca-file: "rca/rca-2n-zn2-2t1c-mrr-rca2.yaml"
2323   legend:
2324     - ''
2325     - 'Test Case:            Test cases executed for: MRR throughput on 2n-zn2 with xxv710.'
2326     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "6" for CSIT rls2101, "7" for CSIT rls2106).'
2327     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2328     - '2101.0-7 vs 2101.0-6: Compares CSIT environment current vs previous with previous VPP code.'
2329     - '2106.0-7 vs 2101.0-7: Compares VPP code current vs previous in the current CSIT environment.'
2330
2331 # VPP Performance Changes 2n-zn2-xxv710 4t2c mrr
2332 - type: "table"
2333   title: "VPP Performance Changes 2n-zn2-xxv710 4t2c mrr"
2334   algorithm: "table_comparison"
2335   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-zn2-xxv710-4t2c-mrr"
2336   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2337   filter: "'4T2C' and 'MRR' and 'NIC_Intel-XXV710'"
2338   columns:
2339     - title: "2009.0-6"
2340       data-set: "vpp-2n-zn2-hist-iter-mrr-new-env"
2341     - title: "2101.0-6"
2342       data-set: "vpp-2n-zn2-prev-iter-mrr-old-env"
2343     - title: "2101.0-7"
2344       data-set: "vpp-2n-zn2-prev-iter-mrr-new-env"
2345     - title: "2106.0-7"
2346       data-set: "vpp-2n-zn2-curr-iter-mrr"
2347   comparisons:
2348     - title: "2101.0-7 vs 2101.0-6"
2349       reference: 2
2350       compare: 3
2351 #      rca-file: "rca/rca-2n-zn2-4t2c-mrr-rca1.yaml"
2352     - title: "2106.0-7 vs 2101.0-7"
2353       reference: 3
2354       compare: 4
2355 #      rca-file: "rca/rca-2n-zn2-4t2c-mrr-rca2.yaml"
2356   legend:
2357     - ''
2358     - 'Test Case:            Test cases executed for: MRR throughput on 2n-zn2 with xxv710.'
2359     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "6" for CSIT rls2101, "7" for CSIT rls2106).'
2360     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2361     - '2101.0-7 vs 2101.0-6: Compares CSIT environment current vs previous with previous VPP code.'
2362     - '2106.0-7 vs 2101.0-7: Compares VPP code current vs previous in the current CSIT environment.'
2363
2364 # VPP Performance Changes 2n-zn2-xxv710 8t4c mrr
2365 - type: "table"
2366   title: "VPP Performance Changes 2n-zn2-xxv710 8t4c mrr"
2367   algorithm: "table_comparison"
2368   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-zn2-xxv710-8t4c-mrr"
2369   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2370   filter: "'8T4C' and 'MRR' and 'NIC_Intel-XXV710'"
2371   columns:
2372     - title: "2009.0-6"
2373       data-set: "vpp-2n-zn2-hist-iter-mrr-new-env"
2374     - title: "2101.0-6"
2375       data-set: "vpp-2n-zn2-prev-iter-mrr-old-env"
2376     - title: "2101.0-7"
2377       data-set: "vpp-2n-zn2-prev-iter-mrr-new-env"
2378     - title: "2106.0-7"
2379       data-set: "vpp-2n-zn2-curr-iter-mrr"
2380   comparisons:
2381     - title: "2101.0-7 vs 2101.0-6"
2382       reference: 2
2383       compare: 3
2384 #      rca-file: "rca/rca-2n-zn2-8t4c-mrr-rca1.yaml"
2385     - title: "2106.0-7 vs 2101.0-7"
2386       reference: 3
2387       compare: 4
2388 #      rca-file: "rca/rca-2n-zn2-8t4c-mrr-rca2.yaml"
2389   legend:
2390     - ''
2391     - 'Test Case:            Test cases executed for: MRR throughput on 2n-zn2 with xxv710.'
2392     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "6" for CSIT rls2101, "7" for CSIT rls2106).'
2393     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2394     - '2101.0-7 vs 2101.0-6: Compares CSIT environment current vs previous with previous VPP code.'
2395     - '2106.0-7 vs 2101.0-7: Compares VPP code current vs previous in the current CSIT environment.'
2396
2397 # VPP Performance Changes 2n-dnv 1t1c mrr
2398 - type: "table"
2399   title: "VPP Performance Changes 2n-dnv 1t1c mrr"
2400   algorithm: "table_comparison"
2401   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-dnv-1t1c-mrr"
2402   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2403   filter: "'1T1C'"
2404   columns:
2405     - title: "2009.0-6"
2406       data-set: "vpp-2n-dnv-hist-iter-mrr-new-env"
2407     - title: "2101.0-6"
2408       data-set: "vpp-2n-dnv-prev-iter-mrr-old-env"
2409     - title: "2101.0-7"
2410       data-set: "vpp-2n-dnv-prev-iter-mrr-new-env"
2411     - title: "2106.0-7"
2412       data-set: "vpp-2n-dnv-curr-iter-mrr"
2413   comparisons:
2414     - title: "2101.0-7 vs 2101.0-6"
2415       reference: 2
2416       compare: 3
2417 #      rca-file: "rca/rca-2n-dnv-1t1c-mrr-rca1.yaml"
2418     - title: "2106.0-7 vs 2101.0-7"
2419       reference: 3
2420       compare: 4
2421 #      rca-file: "rca/rca-2n-dnv-1t1c-mrr-rca2.yaml"
2422   legend:
2423     - ''
2424     - 'Test Case:            Test cases executed for: MRR throughput on 2n-dnv with x553.'
2425     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "6" for CSIT rls2101, "7" for CSIT rls2106).'
2426     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2427     - '2101.0-7 vs 2101.0-6: Compares CSIT environment current vs previous with previous VPP code.'
2428     - '2106.0-7 vs 2101.0-7: Compares VPP code current vs previous in the current CSIT environment.'
2429
2430 # VPP Performance Changes 2n-dnv 2t2c mrr
2431 - type: "table"
2432   title: "VPP Performance Changes 2n-dnv 2t2c mrr"
2433   algorithm: "table_comparison"
2434   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-dnv-2t2c-mrr"
2435   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2436   filter: "'2T2C'"
2437   columns:
2438     - title: "2009.0-6"
2439       data-set: "vpp-2n-dnv-hist-iter-mrr-new-env"
2440     - title: "2101.0-6"
2441       data-set: "vpp-2n-dnv-prev-iter-mrr-old-env"
2442     - title: "2101.0-7"
2443       data-set: "vpp-2n-dnv-prev-iter-mrr-new-env"
2444     - title: "2106.0-7"
2445       data-set: "vpp-2n-dnv-curr-iter-mrr"
2446   comparisons:
2447     - title: "2101.0-7 vs 2101.0-6"
2448       reference: 2
2449       compare: 3
2450 #      rca-file: "rca/rca-2n-dnv-2t2c-mrr-rca1.yaml"
2451     - title: "2106.0-7 vs 2101.0-7"
2452       reference: 3
2453       compare: 4
2454 #      rca-file: "rca/rca-2n-dnv-2t2c-mrr-rca2.yaml"
2455   legend:
2456     - ''
2457     - 'Test Case:            Test cases executed for: MRR throughput on 2n-dnv with x553.'
2458     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "6" for CSIT rls2101, "7" for CSIT rls2106).'
2459     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2460     - '2101.0-7 vs 2101.0-6: Compares CSIT environment current vs previous with previous VPP code.'
2461     - '2106.0-7 vs 2101.0-7: Compares VPP code current vs previous in the current CSIT environment.'
2462
2463 # VPP Performance Changes 2n-dnv 4t4c mrr
2464 - type: "table"
2465   title: "VPP Performance Changes 2n-dnv 4t4c mrr"
2466   algorithm: "table_comparison"
2467   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-dnv-4t4c-mrr"
2468   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2469   filter: "'4T4C'"
2470   columns:
2471     - title: "2009.0-6"
2472       data-set: "vpp-2n-dnv-hist-iter-mrr-new-env"
2473     - title: "2101.0-6"
2474       data-set: "vpp-2n-dnv-prev-iter-mrr-old-env"
2475     - title: "2101.0-7"
2476       data-set: "vpp-2n-dnv-prev-iter-mrr-new-env"
2477     - title: "2106.0-7"
2478       data-set: "vpp-2n-dnv-curr-iter-mrr"
2479   comparisons:
2480     - title: "2101.0-7 vs 2101.0-6"
2481       reference: 2
2482       compare: 3
2483 #      rca-file: "rca/rca-2n-dnv-4t4c-mrr-rca1.yaml"
2484     - title: "2106.0-7 vs 2101.0-7"
2485       reference: 3
2486       compare: 4
2487 #      rca-file: "rca/rca-2n-dnv-4t4c-mrr-rca2.yaml"
2488   legend:
2489     - ''
2490     - 'Test Case:            Test cases executed for: MRR throughput on 2n-dnv with x553.'
2491     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "6" for CSIT rls2101, "7" for CSIT rls2106).'
2492     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2493     - '2101.0-7 vs 2101.0-6: Compares CSIT environment current vs previous with previous VPP code.'
2494     - '2106.0-7 vs 2101.0-7: Compares VPP code current vs previous in the current CSIT environment.'
2495
2496 # VPP Performance Changes 3n-dnv 1t1c mrr
2497 - type: "table"
2498   title: "VPP Performance Changes 3n-dnv 1t1c mrr"
2499   algorithm: "table_comparison"
2500   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-dnv-1t1c-mrr"
2501   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2502   filter: "'1T1C'"
2503   columns:
2504     - title: "2009.0-6"
2505       data-set: "vpp-3n-dnv-hist-iter-mrr-new-env"
2506     - title: "2101.0-6"
2507       data-set: "vpp-3n-dnv-prev-iter-mrr-old-env"
2508     - title: "2101.0-7"
2509       data-set: "vpp-3n-dnv-prev-iter-mrr-new-env"
2510     - title: "2106.0-7"
2511       data-set: "vpp-3n-dnv-curr-iter-mrr"
2512   comparisons:
2513     - title: "2101.0-7 vs 2101.0-6"
2514       reference: 2
2515       compare: 3
2516 #      rca-file: "rca/rca-3n-dnv-1t1c-mrr-rca1.yaml"
2517     - title: "2106.0-7 vs 2101.0-7"
2518       reference: 3
2519       compare: 4
2520 #      rca-file: "rca/rca-3n-dnv-1t1c-mrr-rca2.yaml"
2521   legend:
2522     - ''
2523     - 'Test Case:            Test cases executed for: MRR throughput on 3n-dnv with x553.'
2524     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "6" for CSIT rls2101, "7" for CSIT rls2106).'
2525     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2526     - '2101.0-7 vs 2101.0-6: Compares CSIT environment current vs previous with previous VPP code.'
2527     - '2106.0-7 vs 2101.0-7: Compares VPP code current vs previous in the current CSIT environment.'
2528
2529 # VPP Performance Changes 3n-dnv 2t2c mrr
2530 - type: "table"
2531   title: "VPP Performance Changes 3n-dnv 2t2c mrr"
2532   algorithm: "table_comparison"
2533   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-dnv-2t2c-mrr"
2534   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2535   filter: "'2T2C'"
2536   columns:
2537     - title: "2009.0-6"
2538       data-set: "vpp-3n-dnv-hist-iter-mrr-new-env"
2539     - title: "2101.0-6"
2540       data-set: "vpp-3n-dnv-prev-iter-mrr-old-env"
2541     - title: "2101.0-7"
2542       data-set: "vpp-3n-dnv-prev-iter-mrr-new-env"
2543     - title: "2106.0-7"
2544       data-set: "vpp-3n-dnv-curr-iter-mrr"
2545   comparisons:
2546     - title: "2101.0-7 vs 2101.0-6"
2547       reference: 2
2548       compare: 3
2549 #      rca-file: "rca/rca-3n-dnv-2t2c-mrr-rca1.yaml"
2550     - title: "2106.0-7 vs 2101.0-7"
2551       reference: 3
2552       compare: 4
2553 #      rca-file: "rca/rca-3n-dnv-2t2c-mrr-rca2.yaml"
2554   legend:
2555     - ''
2556     - 'Test Case:            Test cases executed for: MRR throughput on 3n-dnv with x553.'
2557     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "6" for CSIT rls2101, "7" for CSIT rls2106).'
2558     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2559     - '2101.0-7 vs 2101.0-6: Compares CSIT environment current vs previous with previous VPP code.'
2560     - '2106.0-7 vs 2101.0-7: Compares VPP code current vs previous in the current CSIT environment.'
2561
2562 # VPP Performance Changes 3n-dnv 4t4c mrr
2563 - type: "table"
2564   title: "VPP Performance Changes 3n-dnv 4t4c mrr"
2565   algorithm: "table_comparison"
2566   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-dnv-4t4c-mrr"
2567   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2568   filter: "'4T4C'"
2569   columns:
2570     - title: "2009.0-6"
2571       data-set: "vpp-3n-dnv-hist-iter-mrr-new-env"
2572     - title: "2101.0-6"
2573       data-set: "vpp-3n-dnv-prev-iter-mrr-old-env"
2574     - title: "2101.0-7"
2575       data-set: "vpp-3n-dnv-prev-iter-mrr-new-env"
2576     - title: "2106.0-7"
2577       data-set: "vpp-3n-dnv-curr-iter-mrr"
2578   comparisons:
2579     - title: "2101.0-7 vs 2101.0-6"
2580       reference: 2
2581       compare: 3
2582 #      rca-file: "rca/rca-3n-dnv-4t4c-mrr-rca1.yaml"
2583     - title: "2106.0-7 vs 2101.0-7"
2584       reference: 3
2585       compare: 4
2586 #      rca-file: "rca/rca-3n-dnv-4t4c-mrr-rca2.yaml"
2587   legend:
2588     - ''
2589     - 'Test Case:            Test cases executed for: MRR throughput on 3n-dnv with x553.'
2590     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "6" for CSIT rls2101, "7" for CSIT rls2106).'
2591     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2592     - '2101.0-7 vs 2101.0-6: Compares CSIT environment current vs previous with previous VPP code.'
2593     - '2106.0-7 vs 2101.0-7: Compares VPP code current vs previous in the current CSIT environment.'
2594
2595 # VPP Performance Changes 3n-tsh 1t1c mrr
2596 - type: "table"
2597   title: "VPP Performance Changes 3n-tsh 1t1c mrr"
2598   algorithm: "table_comparison"
2599   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-tsh-1t1c-mrr"
2600   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2601   filter: "'1T1C'"
2602   columns:
2603     - title: "2009.0-6"
2604       data-set: "vpp-3n-tsh-hist-iter-mrr-new-env"
2605     - title: "2101.0-6"
2606       data-set: "vpp-3n-tsh-prev-iter-mrr-old-env"
2607     - title: "2101.0-7"
2608       data-set: "vpp-3n-tsh-prev-iter-mrr-new-env"
2609     - title: "2106.0-7"
2610       data-set: "vpp-3n-tsh-curr-iter-mrr"
2611   comparisons:
2612     - title: "2101.0-7 vs 2101.0-6"
2613       reference: 2
2614       compare: 3
2615 #      rca-file: "rca/rca-3n-tsh-1t1c-mrr-rca1.yaml"
2616     - title: "2106.0-7 vs 2101.0-7"
2617       reference: 3
2618       compare: 4
2619 #      rca-file: "rca/rca-3n-tsh-1t1c-mrr-rca2.yaml"
2620   legend:
2621     - ''
2622     - 'Test Case:            Test cases executed for: MRR throughput on 3n-tsh with x520.'
2623     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "6" for CSIT rls2101, "7" for CSIT rls2106).'
2624     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2625     - '2101.0-7 vs 2101.0-6: Compares CSIT environment current vs previous with previous VPP code.'
2626     - '2106.0-7 vs 2101.0-7: Compares VPP code current vs previous in the current CSIT environment.'
2627
2628 # VPP Performance Changes 3n-tsh 2t2c mrr
2629 - type: "table"
2630   title: "VPP Performance Changes 3n-tsh 2t2c mrr"
2631   algorithm: "table_comparison"
2632   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-tsh-2t2c-mrr"
2633   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2634   filter: "'2T2C'"
2635   columns:
2636     - title: "2009.0-6"
2637       data-set: "vpp-3n-tsh-hist-iter-mrr-new-env"
2638     - title: "2101.0-6"
2639       data-set: "vpp-3n-tsh-prev-iter-mrr-old-env"
2640     - title: "2101.0-7"
2641       data-set: "vpp-3n-tsh-prev-iter-mrr-new-env"
2642     - title: "2106.0-7"
2643       data-set: "vpp-3n-tsh-curr-iter-mrr"
2644   comparisons:
2645     - title: "2101.0-7 vs 2101.0-6"
2646       reference: 2
2647       compare: 3
2648 #      rca-file: "rca/rca-3n-tsh-2t2c-mrr-rca1.yaml"
2649     - title: "2106.0-7 vs 2101.0-7"
2650       reference: 3
2651       compare: 4
2652 #      rca-file: "rca/rca-3n-tsh-2t2c-mrr-rca2.yaml"
2653   legend:
2654     - ''
2655     - 'Test Case:            Test cases executed for: MRR throughput on 3n-tsh with x520.'
2656     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "6" for CSIT rls2101, "7" for CSIT rls2106).'
2657     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2658     - '2101.0-7 vs 2101.0-6: Compares CSIT environment current vs previous with previous VPP code.'
2659     - '2106.0-7 vs 2101.0-7: Compares VPP code current vs previous in the current CSIT environment.'
2660
2661 # VPP Performance Changes 3n-tsh 4t4c mrr
2662 - type: "table"
2663   title: "VPP Performance Changes 3n-tsh 4t4c mrr"
2664   algorithm: "table_comparison"
2665   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-tsh-4t4c-mrr"
2666   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2667   filter: "'4T4C'"
2668   columns:
2669     - title: "2009.0-6"
2670       data-set: "vpp-3n-tsh-hist-iter-mrr-new-env"
2671     - title: "2101.0-6"
2672       data-set: "vpp-3n-tsh-prev-iter-mrr-old-env"
2673     - title: "2101.0-7"
2674       data-set: "vpp-3n-tsh-prev-iter-mrr-new-env"
2675     - title: "2106.0-7"
2676       data-set: "vpp-3n-tsh-curr-iter-mrr"
2677   comparisons:
2678     - title: "2101.0-7 vs 2101.0-6"
2679       reference: 2
2680       compare: 3
2681 #      rca-file: "rca/rca-3n-tsh-4t4c-mrr-rca1.yaml"
2682     - title: "2106.0-7 vs 2101.0-7"
2683       reference: 3
2684       compare: 4
2685 #      rca-file: "rca/rca-3n-tsh-4t4c-mrr-rca2.yaml"
2686   legend:
2687     - ''
2688     - 'Test Case:            Test cases executed for: MRR throughput on 3n-tsh with x520.'
2689     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "6" for CSIT rls2101, "7" for CSIT rls2106).'
2690     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2691     - '2101.0-7 vs 2101.0-6: Compares CSIT environment current vs previous with previous VPP code.'
2692     - '2106.0-7 vs 2101.0-7: Compares VPP code current vs previous in the current CSIT environment.'
2693
2694 # VPP Performance Changes 2n-tx2 1t1c mrr
2695 - type: "table"
2696   title: "VPP Performance Changes 2n-tx2 1t1c mrr"
2697   algorithm: "table_comparison"
2698   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-tx2-1t1c-mrr"
2699   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2700   filter: "'1T1C'"
2701   columns:
2702     - title: "2009.0-6"
2703       data-set: "vpp-2n-tx2-hist-iter-mrr-new-env"
2704     - title: "2101.0-6"
2705       data-set: "vpp-2n-tx2-prev-iter-mrr-old-env"
2706     - title: "2101.0-7"
2707       data-set: "vpp-2n-tx2-prev-iter-mrr-new-env"
2708     - title: "2106.0-7"
2709       data-set: "vpp-2n-tx2-curr-iter-mrr"
2710   comparisons:
2711     - title: "2101.0-7 vs 2101.0-6"
2712       reference: 2
2713       compare: 3
2714 #      rca-file: "rca/rca-2n-tx2-1t1c-mrr-rca1.yaml"
2715     - title: "2106.0-7 vs 2101.0-7"
2716       reference: 3
2717       compare: 4
2718 #      rca-file: "rca/rca-2n-tx2-1t1c-mrr-rca2.yaml"
2719   legend:
2720     - ''
2721     - 'Test Case:            Test cases executed for: MRR throughput on 2n-tx2 with xl710.'
2722     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "6" for CSIT rls2101, "7" for CSIT rls2106).'
2723     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2724     - '2101.0-7 vs 2101.0-6: Compares CSIT environment current vs previous with previous VPP code.'
2725     - '2106.0-7 vs 2101.0-7: Compares VPP code current vs previous in the current CSIT environment.'
2726
2727 # VPP Performance Changes 2n-tx2 2t2c mrr
2728 - type: "table"
2729   title: "VPP Performance Changes 2n-tx2 2t2c mrr"
2730   algorithm: "table_comparison"
2731   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-tx2-2t2c-mrr"
2732   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2733   filter: "'2T2C'"
2734   columns:
2735     - title: "2009.0-6"
2736       data-set: "vpp-2n-tx2-hist-iter-mrr-new-env"
2737     - title: "2101.0-6"
2738       data-set: "vpp-2n-tx2-prev-iter-mrr-old-env"
2739     - title: "2101.0-7"
2740       data-set: "vpp-2n-tx2-prev-iter-mrr-new-env"
2741     - title: "2106.0-7"
2742       data-set: "vpp-2n-tx2-curr-iter-mrr"
2743   comparisons:
2744     - title: "2101.0-7 vs 2101.0-6"
2745       reference: 2
2746       compare: 3
2747 #      rca-file: "rca/rca-2n-tx2-2t2c-mrr-rca1.yaml"
2748     - title: "2106.0-7 vs 2101.0-7"
2749       reference: 3
2750       compare: 4
2751 #      rca-file: "rca/rca-2n-tx2-2t2c-mrr-rca2.yaml"
2752   legend:
2753     - ''
2754     - 'Test Case:            Test cases executed for: MRR throughput on 2n-tx2 with xl710.'
2755     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "6" for CSIT rls2101, "7" for CSIT rls2106).'
2756     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2757     - '2101.0-7 vs 2101.0-6: Compares CSIT environment current vs previous with previous VPP code.'
2758     - '2106.0-7 vs 2101.0-7: Compares VPP code current vs previous in the current CSIT environment.'
2759
2760 # VPP Performance Changes 2n-tx2 4t4c mrr
2761 - type: "table"
2762   title: "VPP Performance Changes 2n-tx2 4t4c mrr"
2763   algorithm: "table_comparison"
2764   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-tx2-4t4c-mrr"
2765   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2766   filter: "'4T4C'"
2767   columns:
2768     - title: "2009.0-6"
2769       data-set: "vpp-2n-tx2-hist-iter-mrr-new-env"
2770     - title: "2101.0-6"
2771       data-set: "vpp-2n-tx2-prev-iter-mrr-old-env"
2772     - title: "2101.0-7"
2773       data-set: "vpp-2n-tx2-prev-iter-mrr-new-env"
2774     - title: "2106.0-7"
2775       data-set: "vpp-2n-tx2-curr-iter-mrr"
2776   comparisons:
2777     - title: "2101.0-7 vs 2101.0-6"
2778       reference: 2
2779       compare: 3
2780 #      rca-file: "rca/rca-2n-tx2-4t4c-mrr-rca1.yaml"
2781     - title: "2106.0-7 vs 2101.0-7"
2782       reference: 3
2783       compare: 4
2784 #      rca-file: "rca/rca-2n-tx2-4t4c-mrr-rca2.yaml"
2785   legend:
2786     - ''
2787     - 'Test Case:            Test cases executed for: MRR throughput on 2n-tx2 with xl710.'
2788     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "6" for CSIT rls2101, "7" for CSIT rls2106).'
2789     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2790     - '2101.0-7 vs 2101.0-6: Compares CSIT environment current vs previous with previous VPP code.'
2791     - '2106.0-7 vs 2101.0-7: Compares VPP code current vs previous in the current CSIT environment.'
2792
2793 # VPP Comparison Across Testbeds 2n-skx to 2n-clx 2t1c mrr
2794 - type: "table"
2795   title: "VPP Comparison Across Testbeds 2n-skx to 2n-clx 2t1c mrr"
2796   algorithm: "table_comparison"
2797   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-skx-2n-clx-2t1c-mrr"
2798   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2799   filter: "'2T1C' and 'NIC_Intel-XXV710'"
2800   columns:
2801     - title: "2n-skx"
2802       data-set: "vpp-2n-skx-curr-iter-mrr"
2803     - title: "2n-clx"
2804       data-set: "vpp-2n-clx-curr-iter-mrr"
2805   comparisons:
2806     - title: "Diff"
2807       reference: 1
2808       compare: 2
2809   legend:
2810     - ""
2811     - "2n-skx, 2n-clx - testbeds and NICs tested."
2812     - "Diff - difference between 2n-skx and 2n-clx testbeds."
2813
2814 # VPP Comparison Across Testbeds 2n-skx to 2n-clx 4t2c mrr
2815 - type: "table"
2816   title: "VPP Comparison Across Testbeds 2n-skx to 2n-clx 4t2c mrr"
2817   algorithm: "table_comparison"
2818   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-skx-2n-clx-4t2c-mrr"
2819   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2820   filter: "'4T2C' and 'NIC_Intel-XXV710'"
2821   columns:
2822     - title: "2n-skx"
2823       data-set: "vpp-2n-skx-curr-iter-mrr"
2824     - title: "2n-clx"
2825       data-set: "vpp-2n-clx-curr-iter-mrr"
2826   comparisons:
2827     - title: "Diff"
2828       reference: 1
2829       compare: 2
2830   legend:
2831     - ""
2832     - "2n-skx, 2n-clx - testbeds and NICs tested."
2833     - "Diff - difference between 2n-skx and 2n-clx testbeds."
2834
2835 # VPP Comparison Across Testbeds 2n-skx to 2n-clx 8t4c mrr
2836 - type: "table"
2837   title: "VPP Comparison Across Testbeds 2n-skx to 2n-clx 8t4c mrr"
2838   algorithm: "table_comparison"
2839   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-skx-2n-clx-8t4c-mrr"
2840   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2841   filter: "'8T4C' and 'NIC_Intel-XXV710'"
2842   columns:
2843     - title: "2n-skx"
2844       data-set: "vpp-2n-skx-curr-iter-mrr"
2845     - title: "2n-clx"
2846       data-set: "vpp-2n-clx-curr-iter-mrr"
2847   comparisons:
2848     - title: "Diff"
2849       reference: 1
2850       compare: 2
2851   legend:
2852     - ""
2853     - "2n-skx, 2n-clx - testbeds and NICs tested."
2854     - "Diff - difference between 2n-skx and 2n-clx testbeds."
2855
2856 # VPP Comparison Across Topologies 3n-skx to 2n-skx 1c mrr
2857 - type: "table"
2858   title: "VPP Comparison Across Topologies 3n-skx to 2n-skx 1c mrr"
2859   algorithm: "table_comparison"
2860   output-file: "{DIR[STATIC,VPP]}/performance-compare-topologies-3n-skx-2n-skx-1c-mrr"
2861   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2862   filter: "'MRR' and '1C' and 'NIC_Intel-XXV710'"
2863   columns:
2864     - title: "3n-skx"
2865       data-set: "vpp-3n-skx-curr-iter-mrr"
2866     - title: "2n-skx"
2867       data-set: "vpp-2n-skx-curr-iter-mrr"
2868   comparisons:
2869     - title: "Diff"
2870       reference: 1
2871       compare: 2
2872   legend:
2873     - ""
2874     - "3n-skx, 2n-skx - topologies tested."
2875     - "Diff - difference between 3n-skx and 2n-skx topologies."
2876
2877 # VPP Comparison Across Topologies 3n-skx to 2n-skx 2c mrr
2878 - type: "table"
2879   title: "VPP Comparison Across Topologies 3n-skx to 2n-skx 2c mrr"
2880   algorithm: "table_comparison"
2881   output-file: "{DIR[STATIC,VPP]}/performance-compare-topologies-3n-skx-2n-skx-2c-mrr"
2882   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2883   filter: "'MRR' and '2C' and 'NIC_Intel-XXV710'"
2884   columns:
2885     - title: "3n-skx"
2886       data-set: "vpp-3n-skx-curr-iter-mrr"
2887     - title: "2n-skx"
2888       data-set: "vpp-2n-skx-curr-iter-mrr"
2889   comparisons:
2890     - title: "Diff"
2891       reference: 1
2892       compare: 2
2893   legend:
2894     - ""
2895     - "3n-skx, 2n-skx - topologies tested."
2896     - "Diff - difference between 3n-skx and 2n-skx topologies."
2897
2898 # VPP Comparison Across Topologies 3n-skx to 2n-skx 4c mrr
2899 - type: "table"
2900   title: "VPP Comparison Across Topologies 3n-skx to 2n-skx 4c mrr"
2901   algorithm: "table_comparison"
2902   output-file: "{DIR[STATIC,VPP]}/performance-compare-topologies-3n-skx-2n-skx-4c-mrr"
2903   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2904   filter: "'MRR' and '4C' and 'NIC_Intel-XXV710'"
2905   columns:
2906     - title: "3n-skx"
2907       data-set: "vpp-3n-skx-curr-iter-mrr"
2908     - title: "2n-skx"
2909       data-set: "vpp-2n-skx-curr-iter-mrr"
2910   comparisons:
2911     - title: "Diff"
2912       reference: 1
2913       compare: 2
2914   legend:
2915     - ""
2916     - "3n-skx, 2n-skx - topologies tested."
2917     - "Diff - difference between 3n-skx and 2n-skx topologies."
2918
2919 # # VPP Comparison Across Testbeds 2n-clx to 2n-icx 1c mrr
2920 # - type: "table"
2921 #   title: "VPP Comparison Across Testbeds 2n-clx to 2n-icx 1c mrr"
2922 #   algorithm: "table_comparison"
2923 #   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-clx-2n-icx-1c-mrr"
2924 #   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2925 #   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-E810CQ') and 'MRR' and '1C'"
2926 #   columns:
2927 #     - title: "2n-clx xxv710"
2928 #       data-set: "vpp-2n-clx-curr-iter-mrr"
2929 #       tag: "NIC_Intel-XXV710"
2930 #     - title: "2n-icx e810cq"
2931 #       data-set: "vpp-2n-icx-curr-iter-mrr"
2932 #       tag: "NIC_Intel-E810CQ"
2933 #   comparisons:
2934 #     - title: "Diff"
2935 #       reference: 1
2936 #       compare: 2
2937 #   legend:
2938 #     - ""
2939 #     - "2n-clx xxv710, 2n-icx e810cq - testbeds and NICs tested."
2940 #     - "Diff - difference between 2n-clx xxv710 and 2n-icx e810cq testbeds."
2941 #
2942 # # VPP Comparison Across Testbeds 2n-clx to 2n-icx 2c mrr
2943 # - type: "table"
2944 #   title: "VPP Comparison Across Testbeds 2n-clx to 2n-icx 2c mrr"
2945 #   algorithm: "table_comparison"
2946 #   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-clx-2n-icx-2c-mrr"
2947 #   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2948 #   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-E810CQ') and 'MRR' and '2C'"
2949 #   columns:
2950 #     - title: "2n-clx xxv710"
2951 #       data-set: "vpp-2n-clx-curr-iter-mrr"
2952 #       tag: "NIC_Intel-XXV710"
2953 #     - title: "2n-icx e810cq"
2954 #       data-set: "vpp-2n-icx-curr-iter-mrr"
2955 #       tag: "NIC_Intel-E810CQ"
2956 #   comparisons:
2957 #     - title: "Diff"
2958 #       reference: 1
2959 #       compare: 2
2960 #   legend:
2961 #     - ""
2962 #     - "2n-clx xxv710, 2n-icx e810cq - testbeds and NICs tested."
2963 #     - "Diff - difference between 2n-clx xxv710 and 2n-icx e810cq testbeds."
2964 #
2965 # # VPP Comparison Across Testbeds 2n-clx to 2n-icx 4c mrr
2966 # - type: "table"
2967 #   title: "VPP Comparison Across Testbeds 2n-clx to 2n-icx 4c mrr"
2968 #   algorithm: "table_comparison"
2969 #   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-clx-2n-icx-4c-mrr"
2970 #   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2971 #   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-E810CQ') and 'MRR' and '4C'"
2972 #   columns:
2973 #     - title: "2n-clx xxv710"
2974 #       data-set: "vpp-2n-clx-curr-iter-mrr"
2975 #       tag: "NIC_Intel-XXV710"
2976 #     - title: "2n-icx e810cq"
2977 #       data-set: "vpp-2n-icx-curr-iter-mrr"
2978 #       tag: "NIC_Intel-E810CQ"
2979 #   comparisons:
2980 #     - title: "Diff"
2981 #       reference: 1
2982 #       compare: 2
2983 #   legend:
2984 #     - ""
2985 #     - "2n-clx xxv710, 2n-icx e810cq - testbeds and NICs tested."
2986 #     - "Diff - difference between 2n-clx xxv710 and 2n-icx e810cq testbeds."
2987
2988 # Detailed Test Results - VPP Performance Results 3n-skx
2989 - type: "table"
2990   title: "Detailed Test Results - VPP Performance Results 3n-skx"
2991   algorithm: "table_merged_details"
2992   output-file: "{DIR[DTR,PERF,VPP,3N,SKX]}/"
2993   columns:
2994     - title: " |prein| Test Name |preout| "
2995       data: "data name"
2996     - title: " |prein| Throughput: |br| 1.  Mpps       Gbps (NDR) |br| 2.  Mpps       Gbps (PDR) |br| |br| One-Way Latency Percentiles in uSec at %PDR load, |br| one set per each direction: |br| 3.  P50  P90  P99       P50  P90  P99 (10% PDR) |br| 4.  P50  P90  P99       P50  P90  P99 (50% PDR) |br| 5.  P50  P90  P99       P50  P90  P99 (90% PDR) |preout| "
2997       data: "data msg"
2998   data: "vpp-3n-skx-curr-cov"
2999   filter: "all"
3000   remove-ndr: False
3001   parameters:
3002   - "name"
3003   - "parent"
3004   - "msg"
3005
3006 # Detailed Test Results - VPP Performance Results 2n-skx
3007 - type: "table"
3008   title: "Detailed Test Results - VPP Performance Results 2n-skx"
3009   algorithm: "table_merged_details"
3010   output-file: "{DIR[DTR,PERF,VPP,2N,SKX]}/"
3011   columns:
3012     - title: " |prein| Test Name |preout| "
3013       data: "data name"
3014     - title: " |prein| Throughput: |br| 1.  Mpps       Gbps (NDR) |br| 2.  Mpps       Gbps (PDR) |br| |br| One-Way Latency Percentiles in uSec at %PDR load, |br| one set per each direction: |br| 3.  P50  P90  P99       P50  P90  P99 (10% PDR) |br| 4.  P50  P90  P99       P50  P90  P99 (50% PDR) |br| 5.  P50  P90  P99       P50  P90  P99 (90% PDR) |preout| "
3015       data: "data msg"
3016   data: "vpp-2n-skx-curr-cov"
3017   filter: "all"
3018   remove-ndr: False
3019   parameters:
3020   - "name"
3021   - "parent"
3022   - "msg"
3023
3024 # Detailed Test Results - VPP Performance Results 2n-zn2
3025 - type: "table"
3026   title: "Detailed Test Results - VPP Performance Results 2n-zn2"
3027   algorithm: "table_merged_details"
3028   output-file: "{DIR[DTR,PERF,VPP,2N,ZN2]}/"
3029   columns:
3030     - title: " |prein| Test Name |preout| "
3031       data: "data name"
3032     - title: " |prein| Throughput: |br| 1.  Mpps       Gbps (NDR) |br| 2.  Mpps       Gbps (PDR) |br| |br| One-Way Latency Percentiles in uSec at %PDR load, |br| one set per each direction: |br| 3.  P50  P90  P99       P50  P90  P99 (10% PDR) |br| 4.  P50  P90  P99       P50  P90  P99 (50% PDR) |br| 5.  P50  P90  P99       P50  P90  P99 (90% PDR) |preout| "
3033       data: "data msg"
3034   data: "vpp-2n-zn2-curr-cov"
3035   filter: "all"
3036   remove-ndr: False
3037   parameters:
3038   - "name"
3039   - "parent"
3040   - "msg"
3041
3042 # Detailed Test Results - VPP Performance Results 2n-clx
3043 - type: "table"
3044   title: "Detailed Test Results - VPP Performance Results 2n-clx"
3045   algorithm: "table_merged_details"
3046   output-file: "{DIR[DTR,PERF,VPP,2N,CLX]}/"
3047   columns:
3048     - title: " |prein| Test Name |preout| "
3049       data: "data name"
3050     - title: " |prein| Throughput: |br| 1.  Mpps       Gbps (NDR) |br| 2.  Mpps       Gbps (PDR) |br| |br| One-Way Latency Percentiles in uSec at %PDR load, |br| one set per each direction: |br| 3.  P50  P90  P99       P50  P90  P99 (10% PDR) |br| 4.  P50  P90  P99       P50  P90  P99 (50% PDR) |br| 5.  P50  P90  P99       P50  P90  P99 (90% PDR) |preout| "
3051       data: "data msg"
3052   data: "vpp-2n-clx-curr-cov"
3053   filter: "all"
3054   parameters:
3055   - "name"
3056   - "parent"
3057   - "msg"
3058
3059 # Detailed Test Results - VPP Performance Results 2n-icx
3060 - type: "table"
3061   title: "Detailed Test Results - VPP Performance Results 2n-icx"
3062   algorithm: "table_merged_details"
3063   output-file: "{DIR[DTR,PERF,VPP,2N,ICX]}/"
3064   columns:
3065     - title: " |prein| Test Name |preout| "
3066       data: "data name"
3067     - title: " |prein| Throughput: |br| 1.  Mpps       Gbps (NDR) |br| 2.  Mpps       Gbps (PDR) |br| |br| One-Way Latency Percentiles in uSec at %PDR load, |br| one set per each direction: |br| 3.  P50  P90  P99       P50  P90  P99 (10% PDR) |br| 4.  P50  P90  P99       P50  P90  P99 (50% PDR) |br| 5.  P50  P90  P99       P50  P90  P99 (90% PDR) |preout| "
3068       data: "data msg"
3069   data: "vpp-2n-icx-curr-iter-best"
3070   filter: "'NDRPDR'"
3071   remove-ndr: True
3072   parameters:
3073   - "name"
3074   - "parent"
3075   - "msg"
3076
3077 # Detailed Test Results - VPP Performance Results 3n-icx
3078 - type: "table"
3079   title: "Detailed Test Results - VPP Performance Results 3n-icx"
3080   algorithm: "table_merged_details"
3081   output-file: "{DIR[DTR,PERF,VPP,3N,ICX]}/"
3082   columns:
3083     - title: " |prein| Test Name |preout| "
3084       data: "data name"
3085     - title: " |prein| Throughput: |br| 1.  Mpps       Gbps (NDR) |br| 2.  Mpps       Gbps (PDR) |br| |br| One-Way Latency Percentiles in uSec at %PDR load, |br| one set per each direction: |br| 3.  P50  P90  P99       P50  P90  P99 (10% PDR) |br| 4.  P50  P90  P99       P50  P90  P99 (50% PDR) |br| 5.  P50  P90  P99       P50  P90  P99 (90% PDR) |preout| "
3086       data: "data msg"
3087   data: "vpp-3n-icx-curr-iter-best"
3088   filter: "'NDRPDR'"
3089   remove-ndr: True
3090   parameters:
3091   - "name"
3092   - "parent"
3093   - "msg"
3094
3095 # Detailed Test Results - VPP Performance Results 3n-tsh
3096 - type: "table"
3097   title: "Detailed Test Results - VPP Performance Results 3n-tsh"
3098   algorithm: "table_merged_details"
3099   output-file: "{DIR[DTR,PERF,VPP,3N,TSH]}/"
3100   columns:
3101     - title: " |prein| Test Name |preout| "
3102       data: "data name"
3103     - title: " |prein| Throughput: |br| 1.  Mpps       Gbps (NDR) |br| 2.  Mpps       Gbps (PDR) |br| |br| One-Way Latency Percentiles in uSec at %PDR load, |br| one set per each direction: |br| 3.  P50  P90  P99       P50  P90  P99 (10% PDR) |br| 4.  P50  P90  P99       P50  P90  P99 (50% PDR) |br| 5.  P50  P90  P99       P50  P90  P99 (90% PDR) |preout| "
3104       data: "data msg"
3105   data: "vpp-3n-tsh-curr-cov"
3106   filter: "all"
3107   parameters:
3108   - "name"
3109   - "parent"
3110   - "msg"
3111
3112 # Detailed Test Results - VPP Performance Results 2n-tx2
3113 - type: "table"
3114   title: "Detailed Test Results - VPP Performance Results 2n-tx2"
3115   algorithm: "table_merged_details"
3116   output-file: "{DIR[DTR,PERF,VPP,2N,TX2]}/"
3117   columns:
3118     - title: " |prein| Test Name |preout| "
3119       data: "data name"
3120     - title: " |prein| Throughput: |br| 1.  Mpps       Gbps (NDR) |br| 2.  Mpps       Gbps (PDR) |br| |br| One-Way Latency Percentiles in uSec at %PDR load, |br| one set per each direction: |br| 3.  P50  P90  P99       P50  P90  P99 (10% PDR) |br| 4.  P50  P90  P99       P50  P90  P99 (50% PDR) |br| 5.  P50  P90  P99       P50  P90  P99 (90% PDR) |preout| "
3121       data: "data msg"
3122   data: "vpp-2n-tx2-curr-cov"
3123   filter: "all"
3124   parameters:
3125   - "name"
3126   - "parent"
3127   - "msg"
3128
3129 # Detailed Test Results - VPP Performance Results 3n-dnv
3130 - type: "table"
3131   title: "Detailed Test Results - VPP Performance Results 3n-dnv"
3132   algorithm: "table_merged_details"
3133   output-file: "{DIR[DTR,PERF,VPP,3N,DNV]}/"
3134   columns:
3135     - title: " |prein| Test Name |preout| "
3136       data: "data name"
3137     - title: " |prein| Throughput: |br| 1.  Mpps       Gbps (NDR) |br| 2.  Mpps       Gbps (PDR) |br| |br| One-Way Latency Percentiles in uSec at %PDR load, |br| one set per each direction: |br| 3.  P50  P90  P99       P50  P90  P99 (10% PDR) |br| 4.  P50  P90  P99       P50  P90  P99 (50% PDR) |br| 5.  P50  P90  P99       P50  P90  P99 (90% PDR) |preout| "
3138       data: "data msg"
3139   data: "vpp-3n-dnv-curr-cov"
3140   filter: "all"
3141   parameters:
3142   - "name"
3143   - "parent"
3144   - "msg"
3145
3146 # Detailed Test Results - VPP Performance Results 2n-dnv
3147 - type: "table"
3148   title: "Detailed Test Results - VPP Performance Results 2n-dnv"
3149   algorithm: "table_merged_details"
3150   output-file: "{DIR[DTR,PERF,VPP,2N,DNV]}/vpp_performance_results_2n_dnv"
3151   columns:
3152     - title: " |prein| Test Name |preout| "
3153       data: "data name"
3154     - title: " |prein| Throughput: |br| 1.  Mpps       Gbps (NDR) |br| 2.  Mpps       Gbps (PDR) |br| |br| One-Way Latency Percentiles in uSec at %PDR load, |br| one set per each direction: |br| 3.  P50  P90  P99       P50  P90  P99 (10% PDR) |br| 4.  P50  P90  P99       P50  P90  P99 (50% PDR) |br| 5.  P50  P90  P99       P50  P90  P99 (90% PDR) |preout| "
3155       data: "data msg"
3156   data: "vpp-2n-dnv-curr-cov"
3157   filter: "all"
3158   parameters:
3159   - "name"
3160   - "parent"
3161   - "msg"
3162
3163 # Test configuration - VPP Performance Test Configs 3n-skx
3164 - type: "table"
3165   title: "Test configuration - VPP Performance Test Configs 3n-skx"
3166   algorithm: "table_merged_details"
3167   output-file: "{DIR[DTC,PERF,VPP,3N,SKX]}/"
3168   columns:
3169     - title: " |prein| Test Name |preout| "
3170       data: "data name"
3171     - title: " |prein| VPP API Test Commands History - Commands Used Per Test Case |preout| "
3172       data: "data conf-history"
3173   data: "vpp-3n-skx-curr-cov"
3174   filter: "all"
3175   parameters:
3176   - "parent"
3177   - "name"
3178   - "conf-history"
3179
3180 # Test configuration - VPP Performance Test Configs 2n-skx
3181 - type: "table"
3182   title: "Test configuration - VPP Performance Test Configs 2n-skx"
3183   algorithm: "table_merged_details"
3184   output-file: "{DIR[DTC,PERF,VPP,2N,SKX]}/"
3185   columns:
3186     - title: " |prein| Test Name |preout| "
3187       data: "data name"
3188     - title: " |prein| VPP API Test Commands History - Commands Used Per Test Case |preout| "
3189       data: "data conf-history"
3190   data: "vpp-2n-skx-curr-cov"
3191   filter: "all"
3192   parameters:
3193   - "parent"
3194   - "name"
3195   - "conf-history"
3196
3197 # Test configuration - VPP Performance Test Configs 2n-zn2
3198 - type: "table"
3199   title: "Test configuration - VPP Performance Test Configs 2n-zn2"
3200   algorithm: "table_merged_details"
3201   output-file: "{DIR[DTC,PERF,VPP,2N,ZN2]}/"
3202   columns:
3203     - title: " |prein| Test Name |preout| "
3204       data: "data name"
3205     - title: " |prein| VPP API Test Commands History - Commands Used Per Test Case |preout| "
3206       data: "data conf-history"
3207   data: "vpp-2n-zn2-curr-cov"
3208   filter: "all"
3209   parameters:
3210   - "parent"
3211   - "name"
3212   - "conf-history"
3213
3214 # Test configuration - VPP Performance Test Configs 2n-clx
3215 - type: "table"
3216   title: "Test configuration - VPP Performance Test Configs 2n-clx"
3217   algorithm: "table_merged_details"
3218   output-file: "{DIR[DTC,PERF,VPP,2N,CLX]}/"
3219   columns:
3220     - title: " |prein| Test Name |preout| "
3221       data: "data name"
3222     - title: " |prein| VPP API Test Commands History - Commands Used Per Test Case |preout| "
3223       data: "data conf-history"
3224   data: "vpp-2n-clx-curr-cov"
3225   filter: "all"
3226   parameters:
3227   - "parent"
3228   - "name"
3229   - "conf-history"
3230
3231 # Test configuration - VPP Performance Test Configs 2n-icx
3232 - type: "table"
3233   title: "Test configuration - VPP Performance Test Configs 2n-icx"
3234   algorithm: "table_merged_details"
3235   output-file: "{DIR[DTC,PERF,VPP,2N,ICX]}/"
3236   columns:
3237     - title: " |prein| Test Name |preout| "
3238       data: "data name"
3239     - title: " |prein| VPP API Test Commands History - Commands Used Per Test Case |preout| "
3240       data: "data conf-history"
3241   data: "vpp-2n-icx-curr-iter-best"
3242   filter: "'NDRPDR'"
3243   remove-ndr: True
3244   parameters:
3245   - "parent"
3246   - "name"
3247   - "conf-history"
3248
3249 # Test configuration - VPP Performance Test Configs 3n-icx
3250 - type: "table"
3251   title: "Test configuration - VPP Performance Test Configs 3n-icx"
3252   algorithm: "table_merged_details"
3253   output-file: "{DIR[DTC,PERF,VPP,3N,ICX]}/"
3254   columns:
3255     - title: " |prein| Test Name |preout| "
3256       data: "data name"
3257     - title: " |prein| VPP API Test Commands History - Commands Used Per Test Case |preout| "
3258       data: "data conf-history"
3259   data: "vpp-3n-icx-curr-iter-best"
3260   filter: "'NDRPDR'"
3261   remove-ndr: True
3262   parameters:
3263   - "parent"
3264   - "name"
3265   - "conf-history"
3266
3267 # Test configuration - VPP Performance Test Configs 3n-tsh
3268 - type: "table"
3269   title: "Test configuration - VPP Performance Test Configs 3n-tsh"
3270   algorithm: "table_merged_details"
3271   output-file: "{DIR[DTC,PERF,VPP,3N,TSH]}/"
3272   columns:
3273     - title: " |prein| Test Name |preout| "
3274       data: "data name"
3275     - title: " |prein| VPP API Test Commands History - Commands Used Per Test Case |preout| "
3276       data: "data conf-history"
3277   data: "vpp-3n-tsh-curr-cov"
3278   filter: "all"
3279   parameters:
3280   - "parent"
3281   - "name"
3282   - "conf-history"
3283
3284 # Test configuration - VPP Performance Test Configs 2n-tx2
3285 - type: "table"
3286   title: "Test configuration - VPP Performance Test Configs 2n-tx2"
3287   algorithm: "table_merged_details"
3288   output-file: "{DIR[DTC,PERF,VPP,2N,TX2]}/"
3289   columns:
3290     - title: " |prein| Test Name |preout| "
3291       data: "data name"
3292     - title: " |prein| VPP API Test Commands History - Commands Used Per Test Case |preout| "
3293       data: "data conf-history"
3294   data: "vpp-2n-tx2-curr-cov"
3295   filter: "all"
3296   parameters:
3297   - "parent"
3298   - "name"
3299   - "conf-history"
3300
3301 # Test configuration - VPP Performance Test Configs 3n-dnv
3302 - type: "table"
3303   title: "Test configuration - VPP Performance Test Configs 3n-dnv"
3304   algorithm: "table_merged_details"
3305   output-file: "{DIR[DTC,PERF,VPP,3N,DNV]}/"
3306   columns:
3307     - title: " |prein| Test Name |preout| "
3308       data: "data name"
3309     - title: " |prein| VPP API Test Commands History - Commands Used Per Test Case |preout| "
3310       data: "data conf-history"
3311   data: "vpp-3n-dnv-curr-cov"
3312   filter: "all"
3313   parameters:
3314   - "parent"
3315   - "name"
3316   - "conf-history"
3317
3318 # Test configuration - VPP Performance Test Configs 2n-dnv
3319 - type: "table"
3320   title: "Test configuration - VPP Performance Test Configs 2n-dnv"
3321   algorithm: "table_merged_details"
3322   output-file: "{DIR[DTC,PERF,VPP,2N,DNV]}/"
3323   columns:
3324     - title: " |prein| Test Name |preout| "
3325       data: "data name"
3326     - title: " |prein| VPP API Test Commands History - Commands Used Per Test Case |preout| "
3327       data: "data conf-history"
3328   data: "vpp-2n-dnv-curr-cov"
3329   filter: "all"
3330   parameters:
3331   - "parent"
3332   - "name"
3333   - "conf-history"
3334
3335 # Test Operational Data - VPP Performance Operational Data 3n-skx
3336 - type: "table"
3337   title: "Test Operational Data - VPP Performance Operational Data 3n-skx"
3338   algorithm: "table_oper_data_html"
3339   output-file: "{DIR[DTO,PERF,VPP,3N,SKX]}/"
3340   data: "vpp-3n-skx-curr-cov"
3341   filter: "all"
3342
3343 # Test Operational Data - VPP Performance Operational Data 2n-skx
3344 - type: "table"
3345   title: "Test Operational Data - VPP Performance Operational Data 2n-skx"
3346   algorithm: "table_oper_data_html"
3347   output-file: "{DIR[DTO,PERF,VPP,2N,SKX]}/"
3348   data: "vpp-2n-skx-curr-cov"
3349   filter: "all"
3350
3351 # Test Operational Data - VPP Performance Operational Data 2n-zn2
3352 - type: "table"
3353   title: "Test Operational Data - VPP Performance Operational Data 2n-zn2"
3354   algorithm: "table_oper_data_html"
3355   output-file: "{DIR[DTO,PERF,VPP,2N,ZN2]}/"
3356   data: "vpp-2n-zn2-curr-cov"
3357   filter: "all"
3358
3359 # Test Operational Data - VPP Performance Operational Data 2n-clx
3360 - type: "table"
3361   title: "Test Operational Data - VPP Performance Operational Data 2n-clx"
3362   algorithm: "table_oper_data_html"
3363   output-file: "{DIR[DTO,PERF,VPP,2N,CLX]}/"
3364   data: "vpp-2n-clx-curr-cov"
3365   filter: "all"
3366
3367 # # Test Operational Data - VPP Performance Operational Data 2n-icx
3368 # - type: "table"
3369 #   title: "Test Operational Data - VPP Performance Operational Data 2n-icx"
3370 #   algorithm: "table_oper_data_html"
3371 #   output-file: "{DIR[DTO,PERF,VPP,2N,ICX]}/"
3372 #   data: "vpp-2n-icx-curr-iter-best"
3373 #   filter: "'NDRPDR'"
3374
3375 # # Test Operational Data - VPP Performance Operational Data 3n-icx
3376 # - type: "table"
3377 #   title: "Test Operational Data - VPP Performance Operational Data 3n-icx"
3378 #   algorithm: "table_oper_data_html"
3379 #   output-file: "{DIR[DTO,PERF,VPP,3N,ICX]}/"
3380 #   data: "vpp-3n-icx-curr-iter-best"
3381 #   filter: "'NDRPDR'"
3382
3383 # Test Operational Data - VPP Performance Operational Data 3n-tsh
3384 - type: "table"
3385   title: "Test Operational Data - VPP Performance Operational Data 3n-tsh"
3386   algorithm: "table_oper_data_html"
3387   output-file: "{DIR[DTO,PERF,VPP,3N,TSH]}/"
3388   data: "vpp-3n-tsh-curr-cov"
3389   filter: "all"
3390
3391 # Test Operational Data - VPP Performance Operational Data 2n-tx2
3392 - type: "table"
3393   title: "Test Operational Data - VPP Performance Operational Data 2n-tx2"
3394   algorithm: "table_oper_data_html"
3395   output-file: "{DIR[DTO,PERF,VPP,2N,TX2]}/"
3396   data: "vpp-2n-tx2-curr-cov"
3397   filter: "all"
3398
3399 # Test Operational Data - VPP Performance Operational Data 3n-dnv
3400 - type: "table"
3401   title: "Test Operational Data - VPP Performance Operational Data 3n-dnv"
3402   algorithm: "table_oper_data_html"
3403   output-file: "{DIR[DTO,PERF,VPP,3N,DNV]}/"
3404   data: "vpp-3n-dnv-curr-cov"
3405   filter: "all"
3406
3407 # Test Operational Data - VPP Performance Operational Data 2n-dnv
3408 - type: "table"
3409   title: "Test Operational Data - VPP Performance Operational Data 2n-dnv"
3410   algorithm: "table_oper_data_html"
3411   output-file: "{DIR[DTO,PERF,VPP,2N,DNV]}/"
3412   data: "vpp-2n-dnv-curr-cov"
3413   filter: "all"
3414
3415 # Detailed Test Results - VPP MRR Results 3n-skx
3416 - type: "table"
3417   title: "Detailed Test Results - VPP MRR Results 3n-skx"
3418   algorithm: "table_merged_details"
3419   output-file: "{DIR[DTR,MRR,VPP,3N,SKX]}/"
3420   columns:
3421     - title: " |prein| Test Name |preout| "
3422       data: "data name"
3423     - title: " |prein| Maximum Receive Rate trial [Mpps] |preout| "
3424       data: "data msg"
3425   data: "vpp-3n-skx-curr-iter-mrr"
3426   filter: "all"
3427   parameters:
3428   - "name"
3429   - "parent"
3430   - "msg"
3431
3432 # Detailed Test Results - VPP MRR Results 2n-skx
3433 - type: "table"
3434   title: "Detailed Test Results - VPP MRR Results 2n-skx"
3435   algorithm: "table_merged_details"
3436   output-file: "{DIR[DTR,MRR,VPP,2N,SKX]}/"
3437   columns:
3438     - title: " |prein| Test Name |preout| "
3439       data: "data name"
3440     - title: " |prein| Maximum Receive Rate trial [Mpps] |preout| "
3441       data: "data msg"
3442   data: "vpp-2n-skx-curr-iter-mrr"
3443   filter: "all"
3444   parameters:
3445   - "name"
3446   - "parent"
3447   - "msg"
3448
3449 # Detailed Test Results - VPP MRR Results 2n-zn2
3450 - type: "table"
3451   title: "Detailed Test Results - VPP MRR Results 2n-zn2"
3452   algorithm: "table_merged_details"
3453   output-file: "{DIR[DTR,MRR,VPP,2N,ZN2]}/"
3454   columns:
3455     - title: " |prein| Test Name |preout| "
3456       data: "data name"
3457     - title: " |prein| Maximum Receive Rate trial [Mpps] |preout| "
3458       data: "data msg"
3459   data: "vpp-2n-zn2-curr-iter-mrr"
3460   filter: "all"
3461   parameters:
3462   - "name"
3463   - "parent"
3464   - "msg"
3465
3466 # Detailed Test Results - VPP MRR Results 2n-clx
3467 - type: "table"
3468   title: "Detailed Test Results - VPP MRR Results 2n-clx"
3469   algorithm: "table_merged_details"
3470   output-file: "{DIR[DTR,MRR,VPP,2N,CLX]}/"
3471   columns:
3472     - title: " |prein| Test Name |preout| "
3473       data: "data name"
3474     - title: " |prein| Maximum Receive Rate trial [Mpps] |preout| "
3475       data: "data msg"
3476   data: "vpp-2n-clx-curr-iter-mrr"
3477   filter: "all"
3478   parameters:
3479   - "name"
3480   - "parent"
3481   - "msg"
3482
3483 # # Detailed Test Results - VPP MRR Results 2n-icx
3484 # - type: "table"
3485 #   title: "Detailed Test Results - VPP MRR Results 2n-icx"
3486 #   algorithm: "table_merged_details"
3487 #   output-file: "{DIR[DTR,MRR,VPP,2N,ICX]}/"
3488 #   columns:
3489 #     - title: " |prein| Test Name |preout| "
3490 #       data: "data name"
3491 #     - title: " |prein| Maximum Receive Rate trial [Mpps] |preout| "
3492 #       data: "data msg"
3493 #   data: "vpp-2n-icx-curr-iter-mrr"