resources/tools/presentation/specifications/report/elements.yaml

   1 ################################################################################
   2 ###                               T A B L E S                                ###
   3 ################################################################################
   4
   5 # Statistics: job-specs' durations
   6 - type: "table"
   7   title: "Job Specification Duration: 2n-clx-iterative"
   8   algorithm: "table_job_spec_duration"
   9   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-clx-iter"
  10   jb-type: "iterative"
  11   lines:
  12     - job-spec: "vpp-mrr-00"
  13       data-set: "vpp-2n-clx-curr-iter-mrr"
  14     - job-spec: "vpp-mlr-00"
  15       data-set: "vpp-2n-clx-curr-iter"
  16     - job-spec: "vpp-gso-mrr-00"
  17       data-set: "vpp-2n-clx-curr-iter-gso"
  18     - job-spec: "soak-00"
  19       data-set: "vpp-2n-clx-curr-soak"
  20     - job-spec: "vsap-00"
  21       data-set: "vpp-2n-clx-curr-iter-vsap"
  22     - job-spec: "nfv-density-mrr-00"
  23       data-set: "vpp-2n-clx-curr-nfv-mrr"
  24     - job-spec: "nfv-density-mlr-00"
  25       data-set: "vpp-2n-clx-curr-nfv-ndrpdr"
  26     - job-spec: "reconf-00"
  27       data-set: "vpp-2n-clx-curr-nfv-reconf"
  28     - job-spec: "dpdk-mlr-00"
  29       data-set: "dpdk-2n-clx-curr-iter"
  30
  31 - type: "table"
  32   title: "Job Specification Duration: 2n-clx-coverage"
  33   algorithm: "table_job_spec_duration"
  34   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-clx-cov"
  35   jb-type: "coverage"
  36   data: "vpp-2n-clx-curr-cov"
  37   lines:
  38     - job-spec: "gso-00"
  39       build: "18"
  40     - job-spec: "ip4-00"
  41       build: "19"
  42     - job-spec: "ip4-01"
  43       build: "20"
  44     - job-spec: "ip4-02"
  45       build: "21"
  46     - job-spec: "ip4-03"
  47       build: "22"
  48     - job-spec: "ip4-04"
  49       build: "23"
  50     - job-spec: "ip4-05"
  51       build: "24"
  52     - job-spec: "ip4-06"
  53       build: "25"
  54     - job-spec: "ip4-07"
  55       build: "26"
  56     - job-spec: "ip4tun-00"
  57       build: "27"
  58     - job-spec: "ip6-00"
  59       build: "28"
  60     - job-spec: "ip6-01"
  61       build: "29"
  62     - job-spec: "l2-00"
  63       build: "30"
  64     - job-spec: "l2-01"
  65       build: "31"
  66     - job-spec: "lb-00"
  67       build: "32"
  68     - job-spec: "memif-00"
  69       build: "33"
  70     - job-spec: "vhost-00"
  71       build: "34"
  72
  73 - type: "table"
  74   title: "Job Specification Duration: 2n-dnv-iterative"
  75   algorithm: "table_job_spec_duration"
  76   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-dnv-iter"
  77   jb-type: "iterative"
  78   lines:
  79     - job-spec: "vpp-mrr-00"
  80       data-set: "vpp-2n-dnv-curr-iter-mrr"
  81     - job-spec: "vpp-mlr-00"
  82       data-set: "vpp-2n-dnv-curr-iter"
  83
  84 - type: "table"
  85   title: "Job Specification Duration: 2n-dnv-coverage"
  86   algorithm: "table_job_spec_duration"
  87   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-dnv-cov"
  88   jb-type: "coverage"
  89   data: "vpp-2n-dnv-curr-cov"
  90   lines:
  91     - job-spec: "ip4-00"
  92       build: "7"
  93     - job-spec: "ip4-01"
  94       build: "8"
  95     - job-spec: "ip6-00"
  96       build: "9"
  97     - job-spec: "ip6-01"
  98       build: "10"
  99     - job-spec: "l2-00"
 100       build: "11"
 101     - job-spec: "l2-01"
 102       build: "12"
 103
 104 - type: "table"
 105   title: "Job Specification Duration: 2n-aws-iterative"
 106   algorithm: "table_job_spec_duration"
 107   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-aws-iter"
 108   jb-type: "iterative"
 109   lines:
 110     - job-spec: "vpp-mrr-00"
 111       data-set: "vpp-2n-aws-curr-iter-mrr"
 112     - job-spec: "vpp-mlr-00"
 113       data-set: "vpp-2n-aws-curr-iter"
 114
 115 - type: "table"
 116   title: "Job Specification Duration: 2n-aws-coverage"
 117   algorithm: "table_job_spec_duration"
 118   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-aws-cov"
 119   jb-type: "coverage"
 120   data: "vpp-2n-aws-curr-cov"
 121   lines:
 122     - job-spec: "vpp-00"
 123       build: "26"
 124
 125 - type: "table"
 126   title: "Job Specification Duration: 3n-aws-iterative"
 127   algorithm: "table_job_spec_duration"
 128   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-aws-iter"
 129   jb-type: "iterative"
 130   lines:
 131     - job-spec: "vpp-mrr-00"
 132       data-set: "vpp-3n-aws-curr-iter-mrr"
 133     - job-spec: "vpp-mlr-00"
 134       data-set: "vpp-3n-aws-curr-iter"
 135
 136 - type: "table"
 137   title: "Job Specification Duration: 3n-aws-coverage"
 138   algorithm: "table_job_spec_duration"
 139   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-aws-cov"
 140   jb-type: "coverage"
 141   data: "vpp-3n-aws-curr-cov"
 142   lines:
 143     - job-spec: "vpp-00"
 144       build: "34"
 145
 146 - type: "table"
 147   title: "Job Specification Duration: 2n-skx-iterative"
 148   algorithm: "table_job_spec_duration"
 149   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-skx-iter"
 150   jb-type: "iterative"
 151   lines:
 152     - job-spec: "vpp-mrr-00"
 153       data-set: "vpp-2n-skx-curr-iter-mrr"
 154     - job-spec: "vpp-mlr-00"
 155       data-set: "vpp-2n-skx-curr-iter"
 156     - job-spec: "vpp-gso-mrr-00"
 157       data-set: "vpp-2n-skx-curr-gso"
 158     - job-spec: "soak-00"
 159       data-set: "vpp-2n-skx-curr-soak"
 160     - job-spec: "nfv-density-mrr-00"
 161       data-set: "vpp-2n-skx-curr-nfv-mrr"
 162     - job-spec: "nfv-density-mlr-00"
 163       data-set: "vpp-2n-skx-curr-nfv-ndrpdr"
 164     - job-spec: "reconf-00"
 165       data-set: "vpp-2n-skx-curr-nfv-reconf"
 166     - job-spec: "dpdk-mlr-00"
 167       data-set: "dpdk-2n-skx-curr-iter"
 168     - job-spec: "trex-mlr-00"
 169       data-set: "trex-2n-skx-curr-iter"
 170
 171 - type: "table"
 172   title: "Job Specification Duration: 2n-skx-coverage"
 173   algorithm: "table_job_spec_duration"
 174   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-skx-cov"
 175   jb-type: "coverage"
 176   data: "vpp-2n-skx-curr-cov"
 177   lines:
 178     - job-spec: "gso-00"
 179       build: "18"
 180     - job-spec: "ip4-00"
 181       build: "19"
 182     - job-spec: "ip4-01"
 183       build: "20"
 184     - job-spec: "ip4-02"
 185       build: "21"
 186     - job-spec: "ip4-03"
 187       build: "22"
 188     - job-spec: "ip4-04"
 189       build: "23"
 190     - job-spec: "ip4-05"
 191       build: "24"
 192     - job-spec: "ip4-06"
 193       build: "25"
 194     - job-spec: "ip4-07"
 195       build: "26"
 196     - job-spec: "ip4tun-00"
 197       build: "27"
 198     - job-spec: "ip6-00"
 199       build: "28"
 200     - job-spec: "ip6-01"
 201       build: "29"
 202     - job-spec: "l2-00"
 203       build: "30"
 204     - job-spec: "l2-01"
 205       build: "31"
 206     - job-spec: "lb-00"
 207       build: "32"
 208     - job-spec: "memif-00"
 209       build: "33"
 210     - job-spec: "vhost-00"
 211       build: "34"
 212
 213 - type: "table"
 214   title: "Job Specification Duration: 2n-tx2-iterative"
 215   algorithm: "table_job_spec_duration"
 216   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-tx2-iter"
 217   jb-type: "iterative"
 218   lines:
 219     - job-spec: "vpp-mrr-00"
 220       data-set: "vpp-2n-tx2-curr-iter-mrr"
 221     - job-spec: "vpp-mlr-00"
 222       data-set: "vpp-2n-tx2-curr-iter"
 223
 224 - type: "table"
 225   title: "Job Specification Duration: 2n-tx2-coverage"
 226   algorithm: "table_job_spec_duration"
 227   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-tx2-cov"
 228   jb-type: "coverage"
 229   data: "vpp-2n-tx2-curr-cov"
 230   lines:
 231     - job-spec: "ip4-00"
 232       build: "1"
 233     - job-spec: "ip4-01"
 234       build: "2"
 235     - job-spec: "ip4-02"
 236       build: "3"
 237     - job-spec: "ip4-03"
 238       build: "4"
 239     - job-spec: "ip4-04"
 240       build: "5"
 241     - job-spec: "ip4-05"
 242       build: "6"
 243     - job-spec: "ip4-06"
 244       build: "7"
 245     - job-spec: "ip6-00"
 246       build: "8"
 247     - job-spec: "ip6-01"
 248       build: "9"
 249     - job-spec: "l2-00"
 250       build: "10"
 251     - job-spec: "l2-01"
 252       build: "11"
 253     - job-spec: "l2-02"
 254       build: "12"
 255     - job-spec: "l2-03"
 256       build: "13"
 257     - job-spec: "l2-04"
 258       build: "14"
 259
 260 - type: "table"
 261   title: "Job Specification Duration: 2n-zn2-iterative"
 262   algorithm: "table_job_spec_duration"
 263   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-zn2-iter"
 264   jb-type: "iterative"
 265   lines:
 266     - job-spec: "vpp-mrr-00"
 267       data-set: "vpp-2n-zn2-curr-iter-mrr"
 268     - job-spec: "vpp-mlr-00"
 269       data-set: "vpp-2n-zn2-curr-iter"
 270     - job-spec: "vpp-gso-mrr-00"
 271       data-set: "vpp-2n-zn2-curr-iter-gso"
 272     - job-spec: "dpdk-mlr-00"
 273       data-set: "dpdk-2n-zn2-curr-iter"
 274
 275 - type: "table"
 276   title: "Job Specification Duration: 2n-zn2-coverage"
 277   algorithm: "table_job_spec_duration"
 278   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-zn2-cov"
 279   jb-type: "coverage"
 280   data: "vpp-2n-zn2-curr-cov"
 281   lines:
 282     - job-spec: "gso-00"
 283       build: "1"
 284     - job-spec: "ip4-00"
 285       build: "2"
 286     - job-spec: "ip4-01"
 287       build: "3"
 288     - job-spec: "ip4-02"
 289       build: "4"
 290     - job-spec: "ip4-03"
 291       build: "18"
 292     - job-spec: "ip4-04"
 293       build: "6"
 294     - job-spec: "ip4-05"
 295       build: "7"
 296     - job-spec: "ip4tun-00"
 297       build: "8"
 298     - job-spec: "ip6-00"
 299       build: "9"
 300     - job-spec: "ip6-01"
 301       build: "19"
 302     - job-spec: "l2-00"
 303       build: "11"
 304     - job-spec: "l2-01"
 305       build: "12"
 306     - job-spec: "lb-00"
 307       build: "13"
 308     - job-spec: "memif-00"
 309       build: "14"
 310     - job-spec: "vhost-00"
 311       build: "15"
 312
 313 - type: "table"
 314   title: "Job Specification Duration: 3n-dnv-iterative"
 315   algorithm: "table_job_spec_duration"
 316   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-dnv-iter"
 317   jb-type: "iterative"
 318   lines:
 319     - job-spec: "vpp-mrr-00"
 320       data-set: "vpp-3n-dnv-curr-iter-mrr"
 321     - job-spec: "vpp-mlr-00"
 322       data-set: "vpp-3n-dnv-curr-iter"
 323
 324 - type: "table"
 325   title: "Job Specification Duration: 3n-dnv-coverage"
 326   algorithm: "table_job_spec_duration"
 327   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-dnv-cov"
 328   jb-type: "coverage"
 329   data: "vpp-3n-dnv-curr-cov"
 330   lines:
 331     - job-spec: "crypto-00"
 332       build: "12"
 333     - job-spec: "crypto-01"
 334       build: "13"
 335     - job-spec: "crypto-02"
 336       build: "14"
 337     - job-spec: "ip4-00"
 338       build: "15"
 339     - job-spec: "ip4-01"
 340       build: "16"
 341     - job-spec: "ip4tun-00"
 342       build: "17"
 343     - job-spec: "ip6-00"
 344       build: "18"
 345     - job-spec: "ip6-01"
 346       build: "19"
 347     - job-spec: "l2-00"
 348       build: "20"
 349     - job-spec: "l2-01"
 350       build: "21"
 351
 352 - type: "table"
 353   title: "Job Specification Duration: 3n-skx-iterative"
 354   algorithm: "table_job_spec_duration"
 355   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-skx-iter"
 356   jb-type: "iterative"
 357   lines:
 358     - job-spec: "vpp-mrr-00"
 359       data-set: "vpp-3n-skx-curr-iter-mrr"
 360     - job-spec: "vpp-mlr-00"
 361       data-set: "vpp-3n-skx-curr-iter"
 362     - job-spec: "hoststack-00"
 363       data-set: "vpp-3n-skx-curr-iter-hoststack"
 364     - job-spec: "dpdk-mlr-00"
 365       data-set: "dpdk-3n-skx-curr-iter"
 366
 367 - type: "table"
 368   title: "Job Specification Duration: 3n-skx-coverage"
 369   algorithm: "table_job_spec_duration"
 370   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-skx-cov"
 371   jb-type: "coverage"
 372   data: "vpp-3n-skx-curr-cov"
 373   lines:
 374     - job-spec: "crypto-00"
 375       build: "35"
 376     - job-spec: "crypto-01"
 377       build: "36"
 378     - job-spec: "crypto-02"
 379       build: "37"
 380 #     - job-spec: "crypto-03"  # Completly failed
 381 #       build: "38"
 382     - job-spec: "crypto-04"
 383       build: "39"
 384     - job-spec: "ip4-00"
 385       build: "40"
 386     - job-spec: "ip4-01"
 387       build: "41"
 388     - job-spec: "ip4-02"
 389       build: "42"
 390     - job-spec: "ip4-03"
 391       build: "43"
 392     - job-spec: "ip4-04"
 393       build: "44"
 394     - job-spec: "ip4-05"
 395       build: "45"
 396     - job-spec: "ip4-06"
 397       build: "46"
 398     - job-spec: "ip4-07"
 399       build: "47"
 400     - job-spec: "ip4tun-00"
 401       build: "48"
 402     - job-spec: "ip4tun-02"
 403       build: "49"
 404     - job-spec: "ip6-00"
 405       build: "50"
 406     - job-spec: "ip6-01"
 407       build: "51"
 408     - job-spec: "ip6tun-00"
 409       build: "52"
 410     - job-spec: "l2-00"
 411       build: "53"
 412     - job-spec: "l2-01"
 413       build: "54"
 414     - job-spec: "l2-02"
 415       build: "55"
 416     - job-spec: "l2-03"
 417       build: "56"
 418     - job-spec: "l2-04"
 419       build: "57"
 420     - job-spec: "l2-05"
 421       build: "58"
 422     - job-spec: "l2-06"
 423       build: "59"
 424     - job-spec: "l2-07"
 425       build: "60"
 426     - job-spec: "l2-08"
 427       build: "61"
 428     - job-spec: "l2-09"
 429       build: "62"
 430     - job-spec: "l2-10"
 431       build: "63"
 432     - job-spec: "memif-00"
 433       build: "64"
 434     - job-spec: "srv6-00"
 435       build: "65"
 436     - job-spec: "srv6-01"
 437       build: "66"
 438     - job-spec: "vhost-00"
 439       build: "67"
 440     - job-spec: "vhost-01"
 441       build: "68"
 442
 443 - type: "table"
 444   title: "Job Specification Duration: 3n-tsh-iterative"
 445   algorithm: "table_job_spec_duration"
 446   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-tsh-iter"
 447   jb-type: "iterative"
 448   lines:
 449     - job-spec: "vpp-mrr-00"
 450       data-set: "vpp-3n-tsh-curr-iter-mrr"
 451     - job-spec: "vpp-mlr-00"
 452       data-set: "vpp-3n-tsh-curr-iter"
 453     - job-spec: "dpdk-mlr-00"
 454       data-set: "dpdk-3n-tsh-curr-iter"
 455
 456 - type: "table"
 457   title: "Job Specification Duration: 3n-tsh-coverage"
 458   algorithm: "table_job_spec_duration"
 459   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-tsh-cov"
 460   jb-type: "coverage"
 461   data: "vpp-3n-tsh-curr-cov"
 462   lines:
 463     - job-spec: "ip4-00"
 464       build: "1"
 465     - job-spec: "ip4-01"
 466       build: "2"
 467     - job-spec: "ip4-02"
 468       build: "3"
 469     - job-spec: "ip4-03"
 470       build: "4"
 471     - job-spec: "ip4tun-00"
 472       build: "5"
 473     - job-spec: "ip6-00"
 474       build: "6"
 475     - job-spec: "ip6-01"
 476       build: "7"
 477     - job-spec: "l2-00"
 478       build: "8"
 479     - job-spec: "l2-01"
 480       build: "9"
 481     - job-spec: "l2-02"
 482       build: "10"
 483     - job-spec: "l2-03"
 484       build: "11"
 485     - job-spec: "l2-04"
 486       build: "12"
 487     - job-spec: "memif-00"
 488       build: "13"
 489     - job-spec: "srv6-00"
 490       build: "14"
 491     - job-spec: "srv6-01"
 492       build: "15"
 493     - job-spec: "vhost-00"
 494       build: "16"
 495     - job-spec: "vhost-01"
 496       build: "17"
 497
 498 # VPP Latency Changes 3n-skx 2t1c
 499 - type: "table"
 500   title: "VPP Latency Changes 3n-skx 2t1c PDR50-direction1-avg"
 501   algorithm: "table_comparison"
 502   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-skx-xxv710-2t1c-pdr50-d1-avg"
 503   include-tests: "latency-PDR50-direction1-avg"
 504   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
 505   columns:
 506     - title: "2101.0-7"
 507       data-set: "vpp-3n-skx-hist-iter-new-env"
 508     - title: "2106.0-7"
 509       data-set: "vpp-3n-skx-prev-iter-old-env"
 510     - title: "2106.0-8"
 511       data-set: "vpp-3n-skx-prev-iter-new-env"
 512     - title: "2110.0-8"
 513       data-set: "vpp-3n-skx-curr-iter"
 514   comparisons:
 515     - title: "2106.0-8 vs 2106.0-7"
 516       reference: 2
 517       compare: 3
 518     - title: "2110.0-8 vs 2106.0-8"
 519       reference: 3
 520       compare: 4
 521   legend:
 522     - ''
 523     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
 524     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
 525     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
 526     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
 527     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
 528
 529 # VPP Latency Changes 3n-skx 2t1c
 530 - type: "table"
 531   title: "VPP Latency Changes 3n-skx 2t1c PDR90-direction1-avg"
 532   algorithm: "table_comparison"
 533   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-skx-xxv710-2t1c-pdr90-d1-avg"
 534   include-tests: "latency-PDR90-direction1-avg"
 535   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
 536   columns:
 537     - title: "2101.0-7"
 538       data-set: "vpp-3n-skx-hist-iter-new-env"
 539     - title: "2106.0-7"
 540       data-set: "vpp-3n-skx-prev-iter-old-env"
 541     - title: "2106.0-8"
 542       data-set: "vpp-3n-skx-prev-iter-new-env"
 543     - title: "2110.0-8"
 544       data-set: "vpp-3n-skx-curr-iter"
 545   comparisons:
 546     - title: "2106.0-8 vs 2106.0-7"
 547       reference: 2
 548       compare: 3
 549     - title: "2110.0-8 vs 2106.0-8"
 550       reference: 3
 551       compare: 4
 552   legend:
 553     - ''
 554     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
 555     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
 556     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
 557     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
 558     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
 559
 560 # VPP Latency Changes 3n-skx 2t1c
 561 - type: "table"
 562   title: "VPP Latency Changes 3n-skx 2t1c PDR90-direction1-max"
 563   algorithm: "table_comparison"
 564   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-skx-xxv710-2t1c-pdr90-d1-max"
 565   include-tests: "latency-PDR90-direction1-max"
 566   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
 567   columns:
 568     - title: "2101.0-7"
 569       data-set: "vpp-3n-skx-hist-iter-new-env"
 570     - title: "2106.0-7"
 571       data-set: "vpp-3n-skx-prev-iter-old-env"
 572     - title: "2106.0-8"
 573       data-set: "vpp-3n-skx-prev-iter-new-env"
 574     - title: "2110.0-8"
 575       data-set: "vpp-3n-skx-curr-iter"
 576   comparisons:
 577     - title: "2106.0-8 vs 2106.0-7"
 578       reference: 2
 579       compare: 3
 580     - title: "2110.0-8 vs 2106.0-8"
 581       reference: 3
 582       compare: 4
 583   legend:
 584     - ''
 585     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
 586     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
 587     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
 588     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
 589     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
 590
 591 # VPP Latency Changes 2n-skx 2t1c
 592 - type: "table"
 593   title: "VPP Latency Changes 2n-skx 2t1c PDR50-direction1-avg"
 594   algorithm: "table_comparison"
 595   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-skx-xxv710-2t1c-pdr50-d1-avg"
 596   include-tests: "latency-PDR50-direction1-avg"
 597   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
 598   columns:
 599     - title: "2101.0-7"
 600       data-set: "vpp-2n-skx-hist-iter-new-env"
 601     - title: "2106.0-7"
 602       data-set: "vpp-2n-skx-prev-iter-old-env"
 603     - title: "2106.0-8"
 604       data-set: "vpp-2n-skx-prev-iter-new-env"
 605     - title: "2110.0-8"
 606       data-set: "vpp-2n-skx-curr-iter"
 607   comparisons:
 608     - title: "2106.0-8 vs 2106.0-7"
 609       reference: 2
 610       compare: 3
 611     - title: "2110.0-8 vs 2106.0-8"
 612       reference: 3
 613       compare: 4
 614   legend:
 615     - ''
 616     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
 617     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
 618     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
 619     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
 620     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
 621
 622 # VPP Latency Changes 2n-skx 2t1c
 623 - type: "table"
 624   title: "VPP Latency Changes 2n-skx 2t1c PDR90-direction1-avg"
 625   algorithm: "table_comparison"
 626   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-skx-xxv710-2t1c-pdr90-d1-avg"
 627   include-tests: "latency-PDR90-direction1-avg"
 628   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
 629   columns:
 630     - title: "2101.0-7"
 631       data-set: "vpp-2n-skx-hist-iter-new-env"
 632     - title: "2106.0-7"
 633       data-set: "vpp-2n-skx-prev-iter-old-env"
 634     - title: "2106.0-8"
 635       data-set: "vpp-2n-skx-prev-iter-new-env"
 636     - title: "2110.0-8"
 637       data-set: "vpp-2n-skx-curr-iter"
 638   comparisons:
 639     - title: "2106.0-8 vs 2106.0-7"
 640       reference: 2
 641       compare: 3
 642     - title: "2110.0-8 vs 2106.0-8"
 643       reference: 3
 644       compare: 4
 645   legend:
 646     - ''
 647     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
 648     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
 649     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
 650     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
 651     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
 652
 653 # VPP Latency Changes 2n-skx 2t1c
 654 - type: "table"
 655   title: "VPP Latency Changes 2n-skx 2t1c PDR90-direction1-max"
 656   algorithm: "table_comparison"
 657   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-skx-xxv710-2t1c-pdr90-d1-max"
 658   include-tests: "latency-PDR90-direction1-max"
 659   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
 660   columns:
 661     - title: "2101.0-7"
 662       data-set: "vpp-2n-skx-hist-iter-new-env"
 663     - title: "2106.0-7"
 664       data-set: "vpp-2n-skx-prev-iter-old-env"
 665     - title: "2106.0-8"
 666       data-set: "vpp-2n-skx-prev-iter-new-env"
 667     - title: "2110.0-8"
 668       data-set: "vpp-2n-skx-curr-iter"
 669   comparisons:
 670     - title: "2106.0-8 vs 2106.0-7"
 671       reference: 2
 672       compare: 3
 673     - title: "2110.0-8 vs 2106.0-8"
 674       reference: 3
 675       compare: 4
 676   legend:
 677     - ''
 678     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
 679     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
 680     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
 681     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
 682     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
 683
 684 # VPP Latency Changes 2n-clx 2t1c
 685 - type: "table"
 686   title: "VPP Latency Changes 2n-clx 2t1c PDR50-direction1-avg"
 687   algorithm: "table_comparison"
 688   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-xxv710-2t1c-pdr50-d1-avg"
 689   include-tests: "latency-PDR50-direction1-avg"
 690   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
 691   columns:
 692     - title: "2101.0-7"
 693       data-set: "vpp-2n-clx-hist-iter-new-env"
 694     - title: "2106.0-7"
 695       data-set: "vpp-2n-clx-prev-iter-old-env"
 696     - title: "2106.0-8"
 697       data-set: "vpp-2n-clx-prev-iter-new-env"
 698     - title: "2110.0-8"
 699       data-set: "vpp-2n-clx-curr-iter"
 700   comparisons:
 701     - title: "2106.0-8 vs 2106.0-7"
 702       reference: 2
 703       compare: 3
 704     - title: "2110.0-8 vs 2106.0-8"
 705       reference: 3
 706       compare: 4
 707   legend:
 708     - ''
 709     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
 710     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
 711     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
 712     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
 713     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
 714
 715 # VPP Latency Changes 2n-clx 2t1c
 716 - type: "table"
 717   title: "VPP Latency Changes 2n-clx 2t1c PDR90-direction1-avg"
 718   algorithm: "table_comparison"
 719   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-xxv710-2t1c-pdr90-d1-avg"
 720   include-tests: "latency-PDR90-direction1-avg"
 721   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
 722   columns:
 723     - title: "2101.0-7"
 724       data-set: "vpp-2n-clx-hist-iter-new-env"
 725     - title: "2106.0-7"
 726       data-set: "vpp-2n-clx-prev-iter-old-env"
 727     - title: "2106.0-8"
 728       data-set: "vpp-2n-clx-prev-iter-new-env"
 729     - title: "2110.0-8"
 730       data-set: "vpp-2n-clx-curr-iter"
 731   comparisons:
 732     - title: "2106.0-8 vs 2106.0-7"
 733       reference: 2
 734       compare: 3
 735     - title: "2110.0-8 vs 2106.0-8"
 736       reference: 3
 737       compare: 4
 738   legend:
 739     - ''
 740     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
 741     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
 742     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
 743     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
 744     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
 745
 746 # VPP Latency Changes 2n-clx 2t1c
 747 - type: "table"
 748   title: "VPP Latency Changes 2n-clx 2t1c PDR90-direction1-max"
 749   algorithm: "table_comparison"
 750   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-xxv710-2t1c-pdr90-d1-max"
 751   include-tests: "latency-PDR90-direction1-max"
 752   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
 753   columns:
 754     - title: "2101.0-7"
 755       data-set: "vpp-2n-clx-hist-iter-new-env"
 756     - title: "2106.0-7"
 757       data-set: "vpp-2n-clx-prev-iter-old-env"
 758     - title: "2106.0-8"
 759       data-set: "vpp-2n-clx-prev-iter-new-env"
 760     - title: "2110.0-8"
 761       data-set: "vpp-2n-clx-curr-iter"
 762   comparisons:
 763     - title: "2106.0-8 vs 2106.0-7"
 764       reference: 2
 765       compare: 3
 766     - title: "2110.0-8 vs 2106.0-8"
 767       reference: 3
 768       compare: 4
 769   legend:
 770     - ''
 771     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
 772     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
 773     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
 774     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
 775     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
 776
 777 # VPP Latency Changes 2n-clx 2t1c
 778 - type: "table"
 779   title: "VPP Latency Changes 2n-clx 2t1c PDR50-direction1-avg"
 780   algorithm: "table_comparison"
 781   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-cx556a-2t1c-pdr50-d1-avg"
 782   include-tests: "latency-PDR50-direction1-avg"
 783   filter: "'2T1C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
 784   columns:
 785     - title: "2101.0-7"
 786       data-set: "vpp-2n-clx-hist-iter-new-env"
 787     - title: "2106.0-7"
 788       data-set: "vpp-2n-clx-prev-iter-old-env"
 789     - title: "2106.0-8"
 790       data-set: "vpp-2n-clx-prev-iter-new-env"
 791     - title: "2110.0-8"
 792       data-set: "vpp-2n-clx-curr-iter"
 793   comparisons:
 794     - title: "2106.0-8 vs 2106.0-7"
 795       reference: 2
 796       compare: 3
 797     - title: "2110.0-8 vs 2106.0-8"
 798       reference: 3
 799       compare: 4
 800   legend:
 801     - ''
 802     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
 803     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
 804     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
 805     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
 806     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
 807
 808 # VPP Latency Changes 2n-clx 2t1c
 809 - type: "table"
 810   title: "VPP Latency Changes 2n-clx 2t1c PDR90-direction1-avg"
 811   algorithm: "table_comparison"
 812   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-cx556a-2t1c-pdr90-d1-avg"
 813   include-tests: "latency-PDR90-direction1-avg"
 814   filter: "'2T1C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
 815   columns:
 816     - title: "2101.0-7"
 817       data-set: "vpp-2n-clx-hist-iter-new-env"
 818     - title: "2106.0-7"
 819       data-set: "vpp-2n-clx-prev-iter-old-env"
 820     - title: "2106.0-8"
 821       data-set: "vpp-2n-clx-prev-iter-new-env"
 822     - title: "2110.0-8"
 823       data-set: "vpp-2n-clx-curr-iter"
 824   comparisons:
 825     - title: "2106.0-8 vs 2106.0-7"
 826       reference: 2
 827       compare: 3
 828     - title: "2110.0-8 vs 2106.0-8"
 829       reference: 3
 830       compare: 4
 831   legend:
 832     - ''
 833     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
 834     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
 835     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
 836     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
 837     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
 838
 839 # VPP Latency Changes 2n-clx 2t1c
 840 - type: "table"
 841   title: "VPP Latency Changes 2n-clx 2t1c PDR90-direction1-max"
 842   algorithm: "table_comparison"
 843   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-cx556a-2t1c-pdr90-d1-max"
 844   include-tests: "latency-PDR90-direction1-max"
 845   filter: "'2T1C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
 846   columns:
 847     - title: "2101.0-7"
 848       data-set: "vpp-2n-clx-hist-iter-new-env"
 849     - title: "2106.0-7"
 850       data-set: "vpp-2n-clx-prev-iter-old-env"
 851     - title: "2106.0-8"
 852       data-set: "vpp-2n-clx-prev-iter-new-env"
 853     - title: "2110.0-8"
 854       data-set: "vpp-2n-clx-curr-iter"
 855   comparisons:
 856     - title: "2106.0-8 vs 2106.0-7"
 857       reference: 2
 858       compare: 3
 859     - title: "2110.0-8 vs 2106.0-8"
 860       reference: 3
 861       compare: 4
 862   legend:
 863     - ''
 864     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
 865     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
 866     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
 867     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
 868     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
 869
 870 # VPP Latency Changes 2n-zn2 2t1c
 871 - type: "table"
 872   title: "VPP Latency Changes 2n-zn2 2t1c PDR50-direction1-avg"
 873   algorithm: "table_comparison"
 874   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-zn2-xxv710-2t1c-pdr50-d1-avg"
 875   include-tests: "latency-PDR50-direction1-avg"
 876   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
 877   columns:
 878     - title: "2101.0-7"
 879       data-set: "vpp-2n-zn2-hist-iter-new-env"
 880     - title: "2106.0-7"
 881       data-set: "vpp-2n-zn2-prev-iter-old-env"
 882     - title: "2106.0-8"
 883       data-set: "vpp-2n-zn2-prev-iter-new-env"
 884     - title: "2110.0-8"
 885       data-set: "vpp-2n-zn2-curr-iter"
 886   comparisons:
 887     - title: "2106.0-8 vs 2106.0-7"
 888       reference: 2
 889       compare: 3
 890     - title: "2110.0-8 vs 2106.0-8"
 891       reference: 3
 892       compare: 4
 893   legend:
 894     - ''
 895     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
 896     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
 897     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
 898     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
 899     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
 900
 901 # VPP Latency Changes 2n-zn2 2t1c
 902 - type: "table"
 903   title: "VPP Latency Changes 2n-zn2 2t1c PDR90-direction1-avg"
 904   algorithm: "table_comparison"
 905   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-zn2-xxv710-2t1c-pdr90-d1-avg"
 906   include-tests: "latency-PDR90-direction1-avg"
 907   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
 908   columns:
 909     - title: "2101.0-7"
 910       data-set: "vpp-2n-zn2-hist-iter-new-env"
 911     - title: "2106.0-7"
 912       data-set: "vpp-2n-zn2-prev-iter-old-env"
 913     - title: "2106.0-8"
 914       data-set: "vpp-2n-zn2-prev-iter-new-env"
 915     - title: "2110.0-8"
 916       data-set: "vpp-2n-zn2-curr-iter"
 917   comparisons:
 918     - title: "2106.0-8 vs 2106.0-7"
 919       reference: 2
 920       compare: 3
 921     - title: "2110.0-8 vs 2106.0-8"
 922       reference: 3
 923       compare: 4
 924   legend:
 925     - ''
 926     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
 927     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
 928     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
 929     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
 930     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
 931
 932 # VPP Latency Changes 2n-zn2 2t1c
 933 - type: "table"
 934   title: "VPP Latency Changes 2n-zn2 2t1c PDR90-direction1-max"
 935   algorithm: "table_comparison"
 936   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-zn2-xxv710-2t1c-pdr90-d1-max"
 937   include-tests: "latency-PDR90-direction1-max"
 938   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
 939   columns:
 940     - title: "2101.0-7"
 941       data-set: "vpp-2n-zn2-hist-iter-new-env"
 942     - title: "2106.0-7"
 943       data-set: "vpp-2n-zn2-prev-iter-old-env"
 944     - title: "2106.0-8"
 945       data-set: "vpp-2n-zn2-prev-iter-new-env"
 946     - title: "2110.0-8"
 947       data-set: "vpp-2n-zn2-curr-iter"
 948   comparisons:
 949     - title: "2106.0-8 vs 2106.0-7"
 950       reference: 2
 951       compare: 3
 952     - title: "2110.0-8 vs 2106.0-8"
 953       reference: 3
 954       compare: 4
 955   legend:
 956     - ''
 957     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
 958     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
 959     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
 960     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
 961     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
 962
 963 # VPP Latency Changes 2n-tx2 1t1c
 964 - type: "table"
 965   title: "VPP Latency Changes 2n-tx2 1t1c PDR50-direction1-avg"
 966   algorithm: "table_comparison"
 967   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-tx2-xl710-1t1c-pdr50-d1-avg"
 968   include-tests: "latency-PDR50-direction1-avg"
 969   filter: "'1T1C' and 'NDRPDR'"
 970   columns:
 971     - title: "2101.0-7"
 972       data-set: "vpp-2n-tx2-hist-iter-new-env"
 973     - title: "2106.0-7"
 974       data-set: "vpp-2n-tx2-prev-iter-old-env"
 975     - title: "2106.0-8"
 976       data-set: "vpp-2n-tx2-prev-iter-new-env"
 977     - title: "2110.0-8"
 978       data-set: "vpp-2n-tx2-curr-iter"
 979   comparisons:
 980     - title: "2106.0-8 vs 2106.0-7"
 981       reference: 2
 982       compare: 3
 983     - title: "2110.0-8 vs 2106.0-8"
 984       reference: 3
 985       compare: 4
 986   legend:
 987     - ''
 988     - 'Test Case:            Test cases executed for: PDR throughput on 2n-tx2 with xl710.'
 989     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
 990     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
 991     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
 992     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
 993
 994 # VPP Latency Changes 2n-tx2 1t1c
 995 - type: "table"
 996   title: "VPP Latency Changes 2n-tx2 1t1c PDR90-direction1-avg"
 997   algorithm: "table_comparison"
 998   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-tx2-xl710-1t1c-pdr90-d1-avg"
 999   include-tests: "latency-PDR90-direction1-avg"
1000   filter: "'1T1C' and 'NDRPDR'"
1001   columns:
1002     - title: "2101.0-7"
1003       data-set: "vpp-2n-tx2-hist-iter-new-env"
1004     - title: "2106.0-7"
1005       data-set: "vpp-2n-tx2-prev-iter-old-env"
1006     - title: "2106.0-8"
1007       data-set: "vpp-2n-tx2-prev-iter-new-env"
1008     - title: "2110.0-8"
1009       data-set: "vpp-2n-tx2-curr-iter"
1010   comparisons:
1011     - title: "2106.0-8 vs 2106.0-7"
1012       reference: 2
1013       compare: 3
1014     - title: "2110.0-8 vs 2106.0-8"
1015       reference: 3
1016       compare: 4
1017   legend:
1018     - ''
1019     - 'Test Case:            Test cases executed for: PDR throughput on 2n-tx2 with xl710.'
1020     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
1021     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1022     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
1023     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
1024
1025 # VPP Latency Changes 2n-tx2 1t1c
1026 - type: "table"
1027   title: "VPP Latency Changes 2n-tx2 1t1c PDR90-direction1-max"
1028   algorithm: "table_comparison"
1029   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-tx2-xl710-1t1c-pdr90-d1-max"
1030   include-tests: "latency-PDR90-direction1-max"
1031   filter: "'1T1C' and 'NDRPDR'"
1032   columns:
1033     - title: "2101.0-7"
1034       data-set: "vpp-2n-tx2-hist-iter-new-env"
1035     - title: "2106.0-7"
1036       data-set: "vpp-2n-tx2-prev-iter-old-env"
1037     - title: "2106.0-8"
1038       data-set: "vpp-2n-tx2-prev-iter-new-env"
1039     - title: "2110.0-8"
1040       data-set: "vpp-2n-tx2-curr-iter"
1041   comparisons:
1042     - title: "2106.0-8 vs 2106.0-7"
1043       reference: 2
1044       compare: 3
1045     - title: "2110.0-8 vs 2106.0-8"
1046       reference: 3
1047       compare: 4
1048   legend:
1049     - ''
1050     - 'Test Case:            Test cases executed for: PDR throughput on 2n-tx2 with xl710.'
1051     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
1052     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1053     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
1054     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
1055
1056 # VPP Latency Changes 3n-tsh 1t1c
1057 - type: "table"
1058   title: "VPP Latency Changes 3n-tsh 1t1c PDR50-direction1-avg"
1059   algorithm: "table_comparison"
1060   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-tsh-x520-1t1c-pdr50-d1-avg"
1061   include-tests: "latency-PDR50-direction1-avg"
1062   filter: "'1T1C' and 'NDRPDR'"
1063   columns:
1064     - title: "2101.0-7"
1065       data-set: "vpp-3n-tsh-hist-iter-new-env"
1066     - title: "2106.0-7"
1067       data-set: "vpp-3n-tsh-prev-iter-old-env"
1068     - title: "2106.0-8"
1069       data-set: "vpp-3n-tsh-prev-iter-new-env"
1070     - title: "2110.0-8"
1071       data-set: "vpp-3n-tsh-curr-iter"
1072   comparisons:
1073     - title: "2106.0-8 vs 2106.0-7"
1074       reference: 2
1075       compare: 3
1076     - title: "2110.0-8 vs 2106.0-8"
1077       reference: 3
1078       compare: 4
1079   legend:
1080     - ''
1081     - 'Test Case:            Test cases executed for: PDR throughput on 3n-tsh with x520.'
1082     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
1083     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1084     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
1085     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
1086
1087 # VPP Latency Changes 3n-tsh 1t1c
1088 - type: "table"
1089   title: "VPP Latency Changes 3n-tsh 1t1c PDR90-direction1-avg"
1090   algorithm: "table_comparison"
1091   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-tsh-x520-1t1c-pdr90-d1-avg"
1092   include-tests: "latency-PDR90-direction1-avg"
1093   filter: "'1T1C' and 'NDRPDR'"
1094   columns:
1095     - title: "2101.0-7"
1096       data-set: "vpp-3n-tsh-hist-iter-new-env"
1097     - title: "2106.0-7"
1098       data-set: "vpp-3n-tsh-prev-iter-old-env"
1099     - title: "2106.0-8"
1100       data-set: "vpp-3n-tsh-prev-iter-new-env"
1101     - title: "2110.0-8"
1102       data-set: "vpp-3n-tsh-curr-iter"
1103   comparisons:
1104     - title: "2106.0-8 vs 2106.0-7"
1105       reference: 2
1106       compare: 3
1107     - title: "2110.0-8 vs 2106.0-8"
1108       reference: 3
1109       compare: 4
1110   legend:
1111     - ''
1112     - 'Test Case:            Test cases executed for: PDR throughput on 3n-tsh with x520.'
1113     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
1114     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1115     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
1116     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
1117
1118 # VPP Latency Changes 3n-tsh 1t1c
1119 - type: "table"
1120   title: "VPP Latency Changes 3n-tsh 1t1c PDR90-direction1-max"
1121   algorithm: "table_comparison"
1122   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-tsh-x520-1t1c-pdr90-d1-max"
1123   include-tests: "latency-PDR90-direction1-max"
1124   filter: "'1T1C' and 'NDRPDR'"
1125   columns:
1126     - title: "2101.0-7"
1127       data-set: "vpp-3n-tsh-hist-iter-new-env"
1128     - title: "2106.0-7"
1129       data-set: "vpp-3n-tsh-prev-iter-old-env"
1130     - title: "2106.0-8"
1131       data-set: "vpp-3n-tsh-prev-iter-new-env"
1132     - title: "2110.0-8"
1133       data-set: "vpp-3n-tsh-curr-iter"
1134   comparisons:
1135     - title: "2106.0-8 vs 2106.0-7"
1136       reference: 2
1137       compare: 3
1138     - title: "2110.0-8 vs 2106.0-8"
1139       reference: 3
1140       compare: 4
1141   legend:
1142     - ''
1143     - 'Test Case:            Test cases executed for: PDR throughput on 3n-tsh with x520.'
1144     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
1145     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1146     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
1147     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
1148
1149 # VPP Soak vs NDR - 2n-skx
1150 - type: "table"
1151   title: "VPP Soak vs NDR 2n-skx"
1152   algorithm: "table_soak_vs_ndr"
1153   output-file: "{DIR[STATIC,VPP]}/soak-vs-ndr-2n-skx"
1154   reference:
1155     title: "NDR"
1156     data: "vpp-soak-vs-ndr-2n-skx-ref"
1157   compare:
1158     title: "Soak"
1159     data: "vpp-2n-skx-curr-soak"
1160   data: "vpp-soak-vs-ndr-2n-skx"
1161   include-tests: "NDR"
1162   filter: "('NDRPDR' or 'SOAK') and not 'NF_DENSITY'"
1163   parameters:
1164     - "throughput"
1165     - "name"
1166     - "parent"
1167
1168 # VPP Soak vs NDR - 2n-clx
1169 - type: "table"
1170   title: "VPP Soak vs NDR 2n-clx"
1171   algorithm: "table_soak_vs_ndr"
1172   output-file: "{DIR[STATIC,VPP]}/soak-vs-ndr-2n-clx"
1173   reference:
1174     title: "NDR"
1175     data: "vpp-soak-vs-ndr-2n-clx-ref"
1176   compare:
1177     title: "Soak"
1178     data: "vpp-2n-clx-curr-soak"
1179   data: "vpp-soak-vs-ndr-2n-clx"
1180   include-tests: "NDR"
1181   filter: "('NDRPDR' or 'SOAK') and not 'NF_DENSITY'"
1182   parameters:
1183     - "throughput"
1184     - "name"
1185     - "parent"
1186
1187 ################################################################################
1188
1189 # VPP Compare NICs 3n-skx 2t1c ndr
1190 - type: "table"
1191   title: "VPP Compare NICs 3n-skx 2t1c ndr"
1192   algorithm: "table_comparison"
1193   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-ndr"
1194   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1195   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
1196   columns:
1197     - title: "x710"
1198       data-set: "vpp-3n-skx-curr-iter"
1199       tag: "NIC_Intel-X710"
1200     - title: "xxv710"
1201       data-set: "vpp-3n-skx-curr-iter"
1202       tag: "NIC_Intel-XXV710"
1203   comparisons:
1204     - title: "Diff"
1205       reference: 1
1206       compare: 2
1207   legend:
1208     - ""
1209     - "x710, xxv710 - NICs tested."
1210     - "Diff - difference between x710 and xxv710 NIC."
1211
1212 # VPP Compare NICs 3n-skx 4t2c ndr
1213 - type: "table"
1214   title: "VPP Compare NICs 3n-skx 4t2c ndr"
1215   algorithm: "table_comparison"
1216   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-ndr"
1217   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1218   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
1219   columns:
1220     - title: "x710"
1221       data-set: "vpp-3n-skx-curr-iter"
1222       tag: "NIC_Intel-X710"
1223     - title: "xxv710"
1224       data-set: "vpp-3n-skx-curr-iter"
1225       tag: "NIC_Intel-XXV710"
1226   comparisons:
1227     - title: "Diff"
1228       reference: 1
1229       compare: 2
1230   legend:
1231     - ""
1232     - "x710, xxv710 - NICs tested."
1233     - "Diff - difference between x710 and xxv710 NIC."
1234
1235 # VPP Compare NICs 3n-skx 2t1c pdr
1236 - type: "table"
1237   title: "VPP Compare NICs 3n-skx 2t1c pdr"
1238   algorithm: "table_comparison"
1239   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-pdr"
1240   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1241   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
1242   columns:
1243     - title: "x710"
1244       data-set: "vpp-3n-skx-curr-iter"
1245       tag: "NIC_Intel-X710"
1246     - title: "xxv710"
1247       data-set: "vpp-3n-skx-curr-iter"
1248       tag: "NIC_Intel-XXV710"
1249   comparisons:
1250     - title: "Diff"
1251       reference: 1
1252       compare: 2
1253   legend:
1254     - ""
1255     - "x710, xxv710 - NICs tested."
1256     - "Diff - difference between x710 and xxv710 NIC."
1257
1258 # VPP Compare NICs 3n-skx 4t2c pdr
1259 - type: "table"
1260   title: "VPP Compare NICs 3n-skx 4t2c pdr"
1261   algorithm: "table_comparison"
1262   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-pdr"
1263   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1264   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
1265   columns:
1266     - title: "x710"
1267       data-set: "vpp-3n-skx-curr-iter"
1268       tag: "NIC_Intel-X710"
1269     - title: "xxv710"
1270       data-set: "vpp-3n-skx-curr-iter"
1271       tag: "NIC_Intel-XXV710"
1272   comparisons:
1273     - title: "Diff"
1274       reference: 1
1275       compare: 2
1276   legend:
1277     - ""
1278     - "x710, xxv710 - NICs tested."
1279     - "Diff - difference between x710 and xxv710 NIC."
1280
1281 # VPP Compare NICs 3n-skx 2t1c mrr
1282 - type: "table"
1283   title: "VPP Compare NICs 3n-skx 2t1c mrr"
1284   algorithm: "table_comparison"
1285   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-mrr"
1286   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1287   filter: "'2T1C' and 'MRR' and not 'NF_DENSITY'"
1288   columns:
1289     - title: "x710"
1290       data-set: "vpp-3n-skx-curr-iter-mrr"
1291       tag: "NIC_Intel-X710"
1292     - title: "xxv710"
1293       data-set: "vpp-3n-skx-curr-iter-mrr"
1294       tag: "NIC_Intel-XXV710"
1295   comparisons:
1296     - title: "Diff"
1297       reference: 1
1298       compare: 2
1299   legend:
1300     - ""
1301     - "x710, xxv710 - NICs tested."
1302     - "Diff - difference between x710 and xxv710 NIC."
1303
1304 # VPP Compare NICs 3n-skx 4t2c mrr
1305 - type: "table"
1306   title: "VPP Compare NICs 3n-skx 4t2c mrr"
1307   algorithm: "table_comparison"
1308   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-mrr"
1309   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1310   filter: "'4T2C' and 'MRR' and not 'NF_DENSITY'"
1311   columns:
1312     - title: "x710"
1313       data-set: "vpp-3n-skx-curr-iter-mrr"
1314       tag: "NIC_Intel-X710"
1315     - title: "xxv710"
1316       data-set: "vpp-3n-skx-curr-iter-mrr"
1317       tag: "NIC_Intel-XXV710"
1318   comparisons:
1319     - title: "Diff"
1320       reference: 1
1321       compare: 2
1322   legend:
1323     - ""
1324     - "x710, xxv710 - NICs tested."
1325     - "Diff - difference between x710 and xxv710 NIC."
1326
1327 # VPP Compare NICs 3n-skx 8t4c mrr
1328 - type: "table"
1329   title: "VPP Compare NICs 3n-skx 8t4c mrr"
1330   algorithm: "table_comparison"
1331   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-8t4c-nics-mrr"
1332   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1333   filter: "'8T4C' and 'MRR' and not 'NF_DENSITY'"
1334   columns:
1335     - title: "x710"
1336       data-set: "vpp-3n-skx-curr-iter-mrr"
1337       tag: "NIC_Intel-X710"
1338     - title: "xxv710"
1339       data-set: "vpp-3n-skx-curr-iter-mrr"
1340       tag: "NIC_Intel-XXV710"
1341   comparisons:
1342     - title: "Diff"
1343       reference: 1
1344       compare: 2
1345   legend:
1346     - ""
1347     - "x710, xxv710 - NICs tested."
1348     - "Diff - difference between x710 and xxv710 NIC."
1349
1350 # VPP Compare NICs 2n-skx 2t1c ndr
1351 - type: "table"
1352   title: "VPP Compare NICs 2n-skx 2t1c ndr"
1353   algorithm: "table_comparison"
1354   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-nics-ndr"
1355   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1356   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
1357   columns:
1358     - title: "x710"
1359       data-set: "vpp-2n-skx-curr-iter"
1360       tag: "NIC_Intel-X710"
1361     - title: "xxv710"
1362       data-set: "vpp-2n-skx-curr-iter"
1363       tag: "NIC_Intel-XXV710"
1364   comparisons:
1365     - title: "Diff"
1366       reference: 1
1367       compare: 2
1368   legend:
1369     - ""
1370     - "x710, xxv710 - NICs tested."
1371     - "Diff - difference between x710 and xxv710 NIC."
1372
1373 # VPP Compare NICs 2n-skx 4t2c ndr
1374 - type: "table"
1375   title: "VPP Compare NICs 2n-skx 4t2c ndr"
1376   algorithm: "table_comparison"
1377   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-nics-ndr"
1378   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1379   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
1380   columns:
1381     - title: "x710"
1382       data-set: "vpp-2n-skx-curr-iter"
1383       tag: "NIC_Intel-X710"
1384     - title: "xxv710"
1385       data-set: "vpp-2n-skx-curr-iter"
1386       tag: "NIC_Intel-XXV710"
1387   comparisons:
1388     - title: "Diff"
1389       reference: 1
1390       compare: 2
1391   legend:
1392     - ""
1393     - "x710, xxv710 - NICs tested."
1394     - "Diff - difference between x710 and xxv710 NIC."
1395
1396 # VPP Compare NICs 2n-skx 2t1c pdr
1397 - type: "table"
1398   title: "VPP Compare NICs 2n-skx 2t1c pdr"
1399   algorithm: "table_comparison"
1400   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-nics-pdr"
1401   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1402   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
1403   columns:
1404     - title: "x710"
1405       data-set: "vpp-2n-skx-curr-iter"
1406       tag: "NIC_Intel-X710"
1407     - title: "xxv710"
1408       data-set: "vpp-2n-skx-curr-iter"
1409       tag: "NIC_Intel-XXV710"
1410   comparisons:
1411     - title: "Diff"
1412       reference: 1
1413       compare: 2
1414   legend:
1415     - ""
1416     - "x710, xxv710 - NICs tested."
1417     - "Diff - difference between x710 and xxv710 NIC."
1418
1419 # VPP Compare NICs 2n-skx 4t2c pdr
1420 - type: "table"
1421   title: "VPP Compare NICs 2n-skx 4t2c pdr"
1422   algorithm: "table_comparison"
1423   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-nics-pdr"
1424   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1425   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
1426   columns:
1427     - title: "x710"
1428       data-set: "vpp-2n-skx-curr-iter"
1429       tag: "NIC_Intel-X710"
1430     - title: "xxv710"
1431       data-set: "vpp-2n-skx-curr-iter"
1432       tag: "NIC_Intel-XXV710"
1433   comparisons:
1434     - title: "Diff"
1435       reference: 1
1436       compare: 2
1437   legend:
1438     - ""
1439     - "x710, xxv710 - NICs tested."
1440     - "Diff - difference between x710 and xxv710 NIC."
1441
1442 # VPP Compare NICs 2n-skx 2t1c mrr
1443 - type: "table"
1444   title: "VPP Compare NICs 2n-skx 2t1c mrr"
1445   algorithm: "table_comparison"
1446   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-nics-mrr"
1447   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1448   filter: "'2T1C' and 'MRR' and not 'NF_DENSITY'"
1449   columns:
1450     - title: "x710"
1451       data-set: "vpp-2n-skx-curr-iter-mrr"
1452       tag: "NIC_Intel-X710"
1453     - title: "xxv710"
1454       data-set: "vpp-2n-skx-curr-iter-mrr"
1455       tag: "NIC_Intel-XXV710"
1456   comparisons:
1457     - title: "Diff"
1458       reference: 1
1459       compare: 2
1460   legend:
1461     - ""
1462     - "x710, xxv710 - NICs tested."
1463     - "Diff - difference between x710 and xxv710 NIC."
1464
1465 # VPP Compare NICs 2n-skx 4t2c mrr
1466 - type: "table"
1467   title: "VPP Compare NICs 2n-skx 4t2c mrr"
1468   algorithm: "table_comparison"
1469   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-nics-mrr"
1470   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1471   filter: "'4T2C' and 'MRR' and not 'NF_DENSITY'"
1472   columns:
1473     - title: "x710"
1474       data-set: "vpp-2n-skx-curr-iter-mrr"
1475       tag: "NIC_Intel-X710"
1476     - title: "xxv710"
1477       data-set: "vpp-2n-skx-curr-iter-mrr"
1478       tag: "NIC_Intel-XXV710"
1479   comparisons:
1480     - title: "Diff"
1481       reference: 1
1482       compare: 2
1483   legend:
1484     - ""
1485     - "x710, xxv710 - NICs tested."
1486     - "Diff - difference between x710 and xxv710 NIC."
1487
1488 # VPP Compare NICs 2n-skx 8t4c mrr
1489 - type: "table"
1490   title: "VPP Compare NICs 2n-skx 8t4c mrr"
1491   algorithm: "table_comparison"
1492   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-8t4c-nics-mrr"
1493   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1494   filter: "'8T4C' and 'MRR' and not 'NF_DENSITY'"
1495   columns:
1496     - title: "x710"
1497       data-set: "vpp-2n-skx-curr-iter-mrr"
1498       tag: "NIC_Intel-X710"
1499     - title: "xxv710"
1500       data-set: "vpp-2n-skx-curr-iter-mrr"
1501       tag: "NIC_Intel-XXV710"
1502   comparisons:
1503     - title: "Diff"
1504       reference: 1
1505       compare: 2
1506   legend:
1507     - ""
1508     - "x710, xxv710 - NICs tested."
1509     - "Diff - difference between x710 and xxv710 NIC."
1510
1511 ################################################################################
1512 # VPP
1513
1514 # VPP Performance Changes 3n-skx 2t1c pdr
1515 - type: "table"
1516   title: "VPP Performance Changes 3n-skx 2t1c pdr"
1517   algorithm: "table_comparison"
1518   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-pdr"
1519   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1520   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1521   columns:
1522     - title: "2101.0-7"
1523       data-set: "vpp-3n-skx-hist-iter-new-env"
1524     - title: "2106.0-7"
1525       data-set: "vpp-3n-skx-prev-iter-old-env"
1526     - title: "2106.0-8"
1527       data-set: "vpp-3n-skx-prev-iter-new-env"
1528     - title: "2110.0-8"
1529       data-set: "vpp-3n-skx-curr-iter"
1530   comparisons:
1531     - title: "2106.0-8 vs 2106.0-7"
1532       reference: 2
1533       compare: 3
1534     - title: "2110.0-8 vs 2106.0-8"
1535       reference: 3
1536       compare: 4
1537   legend:
1538     - ''
1539     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
1540     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
1541     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1542     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
1543     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
1544
1545 # VPP Performance Changes 3n-skx 4t2c pdr
1546 - type: "table"
1547   title: "VPP Performance Changes 3n-skx 4t2c pdr"
1548   algorithm: "table_comparison"
1549   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-pdr"
1550   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1551   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1552   columns:
1553     - title: "2101.0-7"
1554       data-set: "vpp-3n-skx-hist-iter-new-env"
1555     - title: "2106.0-7"
1556       data-set: "vpp-3n-skx-prev-iter-old-env"
1557     - title: "2106.0-8"
1558       data-set: "vpp-3n-skx-prev-iter-new-env"
1559     - title: "2110.0-8"
1560       data-set: "vpp-3n-skx-curr-iter"
1561   comparisons:
1562     - title: "2106.0-8 vs 2106.0-7"
1563       reference: 2
1564       compare: 3
1565     - title: "2110.0-8 vs 2106.0-8"
1566       reference: 3
1567       compare: 4
1568   legend:
1569     - ''
1570     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
1571     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
1572     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1573     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
1574     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
1575
1576 # VPP Performance Changes 3n-skx 2t1c ndr
1577 - type: "table"
1578   title: "VPP Performance Changes 3n-skx 2t1c ndr"
1579   algorithm: "table_comparison"
1580   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-ndr"
1581   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1582   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1583   columns:
1584     - title: "2101.0-7"
1585       data-set: "vpp-3n-skx-hist-iter-new-env"
1586     - title: "2106.0-7"
1587       data-set: "vpp-3n-skx-prev-iter-old-env"
1588     - title: "2106.0-8"
1589       data-set: "vpp-3n-skx-prev-iter-new-env"
1590     - title: "2110.0-8"
1591       data-set: "vpp-3n-skx-curr-iter"
1592   comparisons:
1593     - title: "2106.0-8 vs 2106.0-7"
1594       reference: 2
1595       compare: 3
1596     - title: "2110.0-8 vs 2106.0-8"
1597       reference: 3
1598       compare: 4
1599   legend:
1600     - ''
1601     - 'Test Case:            Test cases executed for: NDR throughput on 3n-skx with xxv710.'
1602     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
1603     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1604     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
1605     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
1606
1607 # VPP Performance Changes 3n-skx 4t2c ndr
1608 - type: "table"
1609   title: "VPP Performance Changes 3n-skx 4t2c ndr"
1610   algorithm: "table_comparison"
1611   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-ndr"
1612   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1613   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1614   columns:
1615     - title: "2101.0-7"
1616       data-set: "vpp-3n-skx-hist-iter-new-env"
1617     - title: "2106.0-7"
1618       data-set: "vpp-3n-skx-prev-iter-old-env"
1619     - title: "2106.0-8"
1620       data-set: "vpp-3n-skx-prev-iter-new-env"
1621     - title: "2110.0-8"
1622       data-set: "vpp-3n-skx-curr-iter"
1623   comparisons:
1624     - title: "2106.0-8 vs 2106.0-7"
1625       reference: 2
1626       compare: 3
1627     - title: "2110.0-8 vs 2106.0-8"
1628       reference: 3
1629       compare: 4
1630   legend:
1631     - ''
1632     - 'Test Case:            Test cases executed for: NDR throughput on 3n-skx with xxv710.'
1633     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
1634     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1635     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
1636     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
1637
1638 # VPP Performance Changes 2n-skx 2t1c pdr
1639 - type: "table"
1640   title: "VPP Performance Changes 2n-skx 2t1c pdr"
1641   algorithm: "table_comparison"
1642   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-pdr"
1643   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1644   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1645   columns:
1646     - title: "2101.0-7"
1647       data-set: "vpp-2n-skx-hist-iter-new-env"
1648     - title: "2106.0-7"
1649       data-set: "vpp-2n-skx-prev-iter-old-env"
1650     - title: "2106.0-8"
1651       data-set: "vpp-2n-skx-prev-iter-new-env"
1652     - title: "2110.0-8"
1653       data-set: "vpp-2n-skx-curr-iter"
1654   comparisons:
1655     - title: "2106.0-8 vs 2106.0-7"
1656       reference: 2
1657       compare: 3
1658     - title: "2110.0-8 vs 2106.0-8"
1659       reference: 3
1660       compare: 4
1661   legend:
1662     - ''
1663     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
1664     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
1665     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1666     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
1667     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
1668
1669 # VPP Performance Changes 2n-skx 4t2c pdr
1670 - type: "table"
1671   title: "VPP Performance Changes 2n-skx 4t2c pdr"
1672   algorithm: "table_comparison"
1673   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-pdr"
1674   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1675   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1676   columns:
1677     - title: "2101.0-7"
1678       data-set: "vpp-2n-skx-hist-iter-new-env"
1679     - title: "2106.0-7"
1680       data-set: "vpp-2n-skx-prev-iter-old-env"
1681     - title: "2106.0-8"
1682       data-set: "vpp-2n-skx-prev-iter-new-env"
1683     - title: "2110.0-8"
1684       data-set: "vpp-2n-skx-curr-iter"
1685   comparisons:
1686     - title: "2106.0-8 vs 2106.0-7"
1687       reference: 2
1688       compare: 3
1689     - title: "2110.0-8 vs 2106.0-8"
1690       reference: 3
1691       compare: 4
1692   legend:
1693     - ''
1694     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
1695     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
1696     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1697     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
1698     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
1699
1700 # VPP Performance Changes 2n-skx 2t1c ndr
1701 - type: "table"
1702   title: "VPP Performance Changes 2n-skx 2t1c ndr"
1703   algorithm: "table_comparison"
1704   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-ndr"
1705   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1706   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1707   columns:
1708     - title: "2101.0-7"
1709       data-set: "vpp-2n-skx-hist-iter-new-env"
1710     - title: "2106.0-7"
1711       data-set: "vpp-2n-skx-prev-iter-old-env"
1712     - title: "2106.0-8"
1713       data-set: "vpp-2n-skx-prev-iter-new-env"
1714     - title: "2110.0-8"
1715       data-set: "vpp-2n-skx-curr-iter"
1716   comparisons:
1717     - title: "2106.0-8 vs 2106.0-7"
1718       reference: 2
1719       compare: 3
1720     - title: "2110.0-8 vs 2106.0-8"
1721       reference: 3
1722       compare: 4
1723   legend:
1724     - ''
1725     - 'Test Case:            Test cases executed for: NDR throughput on 2n-skx with xxv710.'
1726     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
1727     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1728     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
1729     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
1730
1731 # VPP Performance Changes 2n-skx 4t2c ndr
1732 - type: "table"
1733   title: "VPP Performance Changes 2n-skx 4t2c ndr"
1734   algorithm: "table_comparison"
1735   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-ndr"
1736   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1737   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1738   columns:
1739     - title: "2101.0-7"
1740       data-set: "vpp-2n-skx-hist-iter-new-env"
1741     - title: "2106.0-7"
1742       data-set: "vpp-2n-skx-prev-iter-old-env"
1743     - title: "2106.0-8"
1744       data-set: "vpp-2n-skx-prev-iter-new-env"
1745     - title: "2110.0-8"
1746       data-set: "vpp-2n-skx-curr-iter"
1747   comparisons:
1748     - title: "2106.0-8 vs 2106.0-7"
1749       reference: 2
1750       compare: 3
1751     - title: "2110.0-8 vs 2106.0-8"
1752       reference: 3
1753       compare: 4
1754   legend:
1755     - ''
1756     - 'Test Case:            Test cases executed for: NDR throughput on 2n-skx with xxv710.'
1757     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
1758     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1759     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
1760     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
1761
1762 # VPP Performance Changes 2n-clx-xxv710 2t1c pdr
1763 - type: "table"
1764   title: "VPP Performance Changes 2n-clx-xxv710 2t1c pdr"
1765   algorithm: "table_comparison"
1766   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-xxv710-2t1c-pdr"
1767   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1768   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1769   columns:
1770     - title: "2101.0-7"
1771       data-set: "vpp-2n-clx-hist-iter-new-env"
1772     - title: "2106.0-7"
1773       data-set: "vpp-2n-clx-prev-iter-old-env"
1774     - title: "2106.0-8"
1775       data-set: "vpp-2n-clx-prev-iter-new-env"
1776     - title: "2110.0-8"
1777       data-set: "vpp-2n-clx-curr-iter"
1778   comparisons:
1779     - title: "2106.0-8 vs 2106.0-7"
1780       reference: 2
1781       compare: 3
1782     - title: "2110.0-8 vs 2106.0-8"
1783       reference: 3
1784       compare: 4
1785   legend:
1786     - ''
1787     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
1788     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
1789     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1790     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
1791     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
1792
1793 # VPP Performance Changes 2n-clx-xxv710 4t2c pdr
1794 - type: "table"
1795   title: "VPP Performance Changes 2n-clx-xxv710 4t2c pdr"
1796   algorithm: "table_comparison"
1797   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-xxv710-4t2c-pdr"
1798   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1799   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1800   columns:
1801     - title: "2101.0-7"
1802       data-set: "vpp-2n-clx-hist-iter-new-env"
1803     - title: "2106.0-7"
1804       data-set: "vpp-2n-clx-prev-iter-old-env"
1805     - title: "2106.0-8"
1806       data-set: "vpp-2n-clx-prev-iter-new-env"
1807     - title: "2110.0-8"
1808       data-set: "vpp-2n-clx-curr-iter"
1809   comparisons:
1810     - title: "2106.0-8 vs 2106.0-7"
1811       reference: 2
1812       compare: 3
1813     - title: "2110.0-8 vs 2106.0-8"
1814       reference: 3
1815       compare: 4
1816   legend:
1817     - ''
1818     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
1819     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
1820     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1821     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
1822     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
1823
1824 # VPP Performance Changes 2n-clx-xxv710 2t1c ndr
1825 - type: "table"
1826   title: "VPP Performance Changes 2n-clx-xxv710 2t1c ndr"
1827   algorithm: "table_comparison"
1828   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-xxv710-2t1c-ndr"
1829   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1830   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1831   columns:
1832     - title: "2101.0-7"
1833       data-set: "vpp-2n-clx-hist-iter-new-env"
1834     - title: "2106.0-7"
1835       data-set: "vpp-2n-clx-prev-iter-old-env"
1836     - title: "2106.0-8"
1837       data-set: "vpp-2n-clx-prev-iter-new-env"
1838     - title: "2110.0-8"
1839       data-set: "vpp-2n-clx-curr-iter"
1840   comparisons:
1841     - title: "2106.0-8 vs 2106.0-7"
1842       reference: 2
1843       compare: 3
1844     - title: "2110.0-8 vs 2106.0-8"
1845       reference: 3
1846       compare: 4
1847   legend:
1848     - ''
1849     - 'Test Case:            Test cases executed for: NDR throughput on 2n-clx with xxv710.'
1850     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
1851     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1852     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
1853     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
1854
1855 # VPP Performance Changes 2n-clx-xxv710 4t2c ndr
1856 - type: "table"
1857   title: "VPP Performance Changes 2n-clx-xxv710 ndr"
1858   algorithm: "table_comparison"
1859   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-xxv710-4t2c-ndr"
1860   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1861   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1862   columns:
1863     - title: "2101.0-7"
1864       data-set: "vpp-2n-clx-hist-iter-new-env"
1865     - title: "2106.0-7"
1866       data-set: "vpp-2n-clx-prev-iter-old-env"
1867     - title: "2106.0-8"
1868       data-set: "vpp-2n-clx-prev-iter-new-env"
1869     - title: "2110.0-8"
1870       data-set: "vpp-2n-clx-curr-iter"
1871   comparisons:
1872     - title: "2106.0-8 vs 2106.0-7"
1873       reference: 2
1874       compare: 3
1875     - title: "2110.0-8 vs 2106.0-8"
1876       reference: 3
1877       compare: 4
1878   legend:
1879     - ''
1880     - 'Test Case:            Test cases executed for: NDR throughput on 2n-clx with xxv710.'
1881     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
1882     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1883     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
1884     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
1885
1886 # VPP Performance Changes 2n-clx-cx556a 2t1c pdr
1887 - type: "table"
1888   title: "VPP Performance Changes 2n-clx-cx556a 2t1c pdr"
1889   algorithm: "table_comparison"
1890   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-cx556a-2t1c-pdr"
1891   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1892   filter: "'2T1C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
1893   columns:
1894     - title: "2101.0-7"
1895       data-set: "vpp-2n-clx-hist-iter-new-env"
1896     - title: "2106.0-7"
1897       data-set: "vpp-2n-clx-prev-iter-old-env"
1898     - title: "2106.0-8"
1899       data-set: "vpp-2n-clx-prev-iter-new-env"
1900     - title: "2110.0-8"
1901       data-set: "vpp-2n-clx-curr-iter"
1902   comparisons:
1903     - title: "2106.0-8 vs 2106.0-7"
1904       reference: 2
1905       compare: 3
1906     - title: "2110.0-8 vs 2106.0-8"
1907       reference: 3
1908       compare: 4
1909   legend:
1910     - ''
1911     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
1912     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
1913     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1914     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
1915     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
1916
1917 # VPP Performance Changes 2n-clx-cx556a 4t2c pdr
1918 - type: "table"
1919   title: "VPP Performance Changes 2n-clx-cx556a 4t2c pdr"
1920   algorithm: "table_comparison"
1921   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-cx556a-4t2c-pdr"
1922   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1923   filter: "'4T2C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
1924   columns:
1925     - title: "2101.0-7"
1926       data-set: "vpp-2n-clx-hist-iter-new-env"
1927     - title: "2106.0-7"
1928       data-set: "vpp-2n-clx-prev-iter-old-env"
1929     - title: "2106.0-8"
1930       data-set: "vpp-2n-clx-prev-iter-new-env"
1931     - title: "2110.0-8"
1932       data-set: "vpp-2n-clx-curr-iter"
1933   comparisons:
1934     - title: "2106.0-8 vs 2106.0-7"
1935       reference: 2
1936       compare: 3
1937     - title: "2110.0-8 vs 2106.0-8"
1938       reference: 3
1939       compare: 4
1940   legend:
1941     - ''
1942     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
1943     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
1944     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1945     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
1946     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
1947
1948 # VPP Performance Changes 2n-clx-cx556a 2t1c ndr
1949 - type: "table"
1950   title: "VPP Performance Changes 2n-clx-cx556a 2t1c ndr"
1951   algorithm: "table_comparison"
1952   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-cx556a-2t1c-ndr"
1953   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1954   filter: "'2T1C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
1955   columns:
1956     - title: "2101.0-7"
1957       data-set: "vpp-2n-clx-hist-iter-new-env"
1958     - title: "2106.0-7"
1959       data-set: "vpp-2n-clx-prev-iter-old-env"
1960     - title: "2106.0-8"
1961       data-set: "vpp-2n-clx-prev-iter-new-env"
1962     - title: "2110.0-8"
1963       data-set: "vpp-2n-clx-curr-iter"
1964   comparisons:
1965     - title: "2106.0-8 vs 2106.0-7"
1966       reference: 2
1967       compare: 3
1968     - title: "2110.0-8 vs 2106.0-8"
1969       reference: 3
1970       compare: 4
1971   legend:
1972     - ''
1973     - 'Test Case:            Test cases executed for: NDR throughput on 2n-clx with cx556a.'
1974     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
1975     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1976     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
1977     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
1978
1979 # VPP Performance Changes 2n-clx-cx556a 4t2c ndr
1980 - type: "table"
1981   title: "VPP Performance Changes 2n-clx-cx556a ndr"
1982   algorithm: "table_comparison"
1983   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-cx556a-4t2c-ndr"
1984   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1985   filter: "'4T2C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
1986   columns:
1987     - title: "2101.0-7"
1988       data-set: "vpp-2n-clx-hist-iter-new-env"
1989     - title: "2106.0-7"
1990       data-set: "vpp-2n-clx-prev-iter-old-env"
1991     - title: "2106.0-8"
1992       data-set: "vpp-2n-clx-prev-iter-new-env"
1993     - title: "2110.0-8"
1994       data-set: "vpp-2n-clx-curr-iter"
1995   comparisons:
1996     - title: "2106.0-8 vs 2106.0-7"
1997       reference: 2
1998       compare: 3
1999     - title: "2110.0-8 vs 2106.0-8"
2000       reference: 3
2001       compare: 4
2002   legend:
2003     - ''
2004     - 'Test Case:            Test cases executed for: NDR throughput on 2n-clx with cx556a.'
2005     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
2006     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2007     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
2008     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
2009
2010 # VPP Performance Changes 2n-zn2-xxv710 2t1c pdr
2011 - type: "table"
2012   title: "VPP Performance Changes 2n-zn2-xxv710 2t1c pdr"
2013   algorithm: "table_comparison"
2014   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-zn2-xxv710-2t1c-pdr"
2015   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2016   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
2017   columns:
2018     - title: "2101.0-7"
2019       data-set: "vpp-2n-zn2-hist-iter-new-env"
2020     - title: "2106.0-7"
2021       data-set: "vpp-2n-zn2-prev-iter-old-env"
2022     - title: "2106.0-8"
2023       data-set: "vpp-2n-zn2-prev-iter-new-env"
2024     - title: "2110.0-8"
2025       data-set: "vpp-2n-zn2-curr-iter"
2026   comparisons:
2027     - title: "2106.0-8 vs 2106.0-7"
2028       reference: 2
2029       compare: 3
2030     - title: "2110.0-8 vs 2106.0-8"
2031       reference: 3
2032       compare: 4
2033   legend:
2034     - ''
2035     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
2036     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
2037     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2038     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
2039     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
2040
2041 # VPP Performance Changes 2n-zn2-xxv710 4t2c pdr
2042 - type: "table"
2043   title: "VPP Performance Changes 2n-zn2-xxv710 4t2c pdr"
2044   algorithm: "table_comparison"
2045   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-zn2-xxv710-4t2c-pdr"
2046   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2047   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
2048   columns:
2049     - title: "2101.0-7"
2050       data-set: "vpp-2n-zn2-hist-iter-new-env"
2051     - title: "2106.0-7"
2052       data-set: "vpp-2n-zn2-prev-iter-old-env"
2053     - title: "2106.0-8"
2054       data-set: "vpp-2n-zn2-prev-iter-new-env"
2055     - title: "2110.0-8"
2056       data-set: "vpp-2n-zn2-curr-iter"
2057   comparisons:
2058     - title: "2106.0-8 vs 2106.0-7"
2059       reference: 2
2060       compare: 3
2061     - title: "2110.0-8 vs 2106.0-8"
2062       reference: 3
2063       compare: 4
2064   legend:
2065     - ''
2066     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
2067     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
2068     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2069     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
2070     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
2071
2072 # VPP Performance Changes 2n-zn2-xxv710 2t1c ndr
2073 - type: "table"
2074   title: "VPP Performance Changes 2n-zn2-xxv710 2t1c ndr"
2075   algorithm: "table_comparison"
2076   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-zn2-xxv710-2t1c-ndr"
2077   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2078   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
2079   columns:
2080     - title: "2101.0-7"
2081       data-set: "vpp-2n-zn2-hist-iter-new-env"
2082     - title: "2106.0-7"
2083       data-set: "vpp-2n-zn2-prev-iter-old-env"
2084     - title: "2106.0-8"
2085       data-set: "vpp-2n-zn2-prev-iter-new-env"
2086     - title: "2110.0-8"
2087       data-set: "vpp-2n-zn2-curr-iter"
2088   comparisons:
2089     - title: "2106.0-8 vs 2106.0-7"
2090       reference: 2
2091       compare: 3
2092     - title: "2110.0-8 vs 2106.0-8"
2093       reference: 3
2094       compare: 4
2095   legend:
2096     - ''
2097     - 'Test Case:            Test cases executed for: NDR throughput on 2n-zn2 with xxv710.'
2098     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
2099     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2100     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
2101     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
2102
2103 # VPP Performance Changes 2n-zn2-xxv710 4t2c ndr
2104 - type: "table"
2105   title: "VPP Performance Changes 2n-zn2-xxv710 4t2c ndr"
2106   algorithm: "table_comparison"
2107   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-zn2-xxv710-4t2c-ndr"
2108   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2109   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
2110   columns:
2111     - title: "2101.0-7"
2112       data-set: "vpp-2n-zn2-hist-iter-new-env"
2113     - title: "2106.0-7"
2114       data-set: "vpp-2n-zn2-prev-iter-old-env"
2115     - title: "2106.0-8"
2116       data-set: "vpp-2n-zn2-prev-iter-new-env"
2117     - title: "2110.0-8"
2118       data-set: "vpp-2n-zn2-curr-iter"
2119   comparisons:
2120     - title: "2106.0-8 vs 2106.0-7"
2121       reference: 2
2122       compare: 3
2123     - title: "2110.0-8 vs 2106.0-8"
2124       reference: 3
2125       compare: 4
2126   legend:
2127     - ''
2128     - 'Test Case:            Test cases executed for: NDR throughput on 2n-zn2 with xxv710.'
2129     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
2130     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2131     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
2132     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
2133
2134 # VPP Performance Changes 2n-dnv 1t1c pdr
2135 - type: "table"
2136   title: "VPP Performance Changes 2n-dnv 1t1c pdr"
2137   algorithm: "table_comparison"
2138   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-dnv-1t1c-pdr"
2139   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2140   filter: "'1T1C'"
2141   columns:
2142     - title: "2101.0-7"
2143       data-set: "vpp-2n-dnv-hist-iter-new-env"
2144     - title: "2106.0-7"
2145       data-set: "vpp-2n-dnv-prev-iter-old-env"
2146     - title: "2106.0-8"
2147       data-set: "vpp-2n-dnv-prev-iter-new-env"
2148     - title: "2110.0-8"
2149       data-set: "vpp-2n-dnv-curr-iter"
2150   comparisons:
2151     - title: "2106.0-8 vs 2106.0-7"
2152       reference: 2
2153       compare: 3
2154     - title: "2110.0-8 vs 2106.0-8"
2155       reference: 3
2156       compare: 4
2157   legend:
2158     - ''
2159     - 'Test Case:            Test cases executed for: PDR throughput on 2n-dnv with x553.'
2160     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
2161     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2162     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
2163     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous.'
2164
2165 # VPP Performance Changes 2n-dnv 2t2c pdr
2166 - type: "table"
2167   title: "VPP Performance Changes 2n-dnv 2t2c pdr"
2168   algorithm: "table_comparison"
2169   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-dnv-2t2c-pdr"
2170   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2171   filter: "'2T2C'"
2172   columns:
2173     - title: "2101.0-7"
2174       data-set: "vpp-2n-dnv-hist-iter-new-env"
2175     - title: "2106.0-7"
2176       data-set: "vpp-2n-dnv-prev-iter-old-env"
2177     - title: "2106.0-8"
2178       data-set: "vpp-2n-dnv-prev-iter-new-env"
2179     - title: "2110.0-8"
2180       data-set: "vpp-2n-dnv-curr-iter"
2181   comparisons:
2182     - title: "2106.0-8 vs 2106.0-7"
2183       reference: 2
2184       compare: 3
2185     - title: "2110.0-8 vs 2106.0-8"
2186       reference: 3
2187       compare: 4
2188   legend:
2189     - ''
2190     - 'Test Case:            Test cases executed for: PDR throughput on 2n-dnv with x553.'
2191     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
2192     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2193     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
2194     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous.'
2195
2196 # VPP Performance Changes 2n-dnv 1t1c ndr
2197 - type: "table"
2198   title: "VPP Performance Changes 2n-dnv 1t1c ndr"
2199   algorithm: "table_comparison"
2200   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-dnv-1t1c-ndr"
2201   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2202   filter: "'1T1C'"
2203   columns:
2204     - title: "2101.0-7"
2205       data-set: "vpp-2n-dnv-hist-iter-new-env"
2206     - title: "2106.0-7"
2207       data-set: "vpp-2n-dnv-prev-iter-old-env"
2208     - title: "2106.0-8"
2209       data-set: "vpp-2n-dnv-prev-iter-new-env"
2210     - title: "2110.0-8"
2211       data-set: "vpp-2n-dnv-curr-iter"
2212   comparisons:
2213     - title: "2106.0-8 vs 2106.0-7"
2214       reference: 2
2215       compare: 3
2216     - title: "2110.0-8 vs 2106.0-8"
2217       reference: 3
2218       compare: 4
2219   legend:
2220     - ''
2221     - 'Test Case:            Test cases executed for: NDR throughput on 2n-dnv with x553.'
2222     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
2223     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2224     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
2225     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous.'
2226
2227 # VPP Performance Changes 2n-dnv 2t2c ndr
2228 - type: "table"
2229   title: "VPP Performance Changes 2n-dnv 2t2c ndr"
2230   algorithm: "table_comparison"
2231   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-dnv-2t2c-ndr"
2232   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2233   filter: "'2T2C'"
2234   columns:
2235     - title: "2101.0-7"
2236       data-set: "vpp-2n-dnv-hist-iter-new-env"
2237     - title: "2106.0-7"
2238       data-set: "vpp-2n-dnv-prev-iter-old-env"
2239     - title: "2106.0-8"
2240       data-set: "vpp-2n-dnv-prev-iter-new-env"
2241     - title: "2110.0-8"
2242       data-set: "vpp-2n-dnv-curr-iter"
2243   comparisons:
2244     - title: "2106.0-8 vs 2106.0-7"
2245       reference: 2
2246       compare: 3
2247     - title: "2110.0-8 vs 2106.0-8"
2248       reference: 3
2249       compare: 4
2250   legend:
2251     - ''
2252     - 'Test Case:            Test cases executed for: NDR throughput on 2n-dnv with x553.'
2253     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
2254     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2255     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
2256     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous.'
2257
2258 # VPP Performance Changes 3n-dnv 1t1c pdr
2259 - type: "table"
2260   title: "VPP Performance Changes 3n-dnv 1t1c pdr"
2261   algorithm: "table_comparison"
2262   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-dnv-1t1c-pdr"
2263   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2264   filter: "'1T1C'"
2265   columns:
2266     - title: "2101.0-7"
2267       data-set: "vpp-3n-dnv-hist-iter-new-env"
2268     - title: "2106.0-7"
2269       data-set: "vpp-3n-dnv-prev-iter-old-env"
2270     - title: "2106.0-8"
2271       data-set: "vpp-3n-dnv-prev-iter-new-env"
2272     - title: "2110.0-8"
2273       data-set: "vpp-3n-dnv-curr-iter"
2274   comparisons:
2275     - title: "2106.0-8 vs 2106.0-7"
2276       reference: 2
2277       compare: 3
2278     - title: "2110.0-8 vs 2106.0-8"
2279       reference: 3
2280       compare: 4
2281   legend:
2282     - ''
2283     - 'Test Case:            Test cases executed for: PDR throughput on 3n-dnv with x553.'
2284     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
2285     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2286     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
2287     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous.'
2288
2289 # VPP Performance Changes 3n-dnv 2t2c pdr
2290 - type: "table"
2291   title: "VPP Performance Changes 3n-dnv 2t2c pdr"
2292   algorithm: "table_comparison"
2293   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-dnv-2t2c-pdr"
2294   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2295   filter: "'2T2C'"
2296   columns:
2297     - title: "2101.0-7"
2298       data-set: "vpp-3n-dnv-hist-iter-new-env"
2299     - title: "2106.0-7"
2300       data-set: "vpp-3n-dnv-prev-iter-old-env"
2301     - title: "2106.0-8"
2302       data-set: "vpp-3n-dnv-prev-iter-new-env"
2303     - title: "2110.0-8"
2304       data-set: "vpp-3n-dnv-curr-iter"
2305   comparisons:
2306     - title: "2106.0-8 vs 2106.0-7"
2307       reference: 2
2308       compare: 3
2309     - title: "2110.0-8 vs 2106.0-8"
2310       reference: 3
2311       compare: 4
2312   legend:
2313     - ''
2314     - 'Test Case:            Test cases executed for: PDR throughput on 3n-dnv with x553.'
2315     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
2316     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2317     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
2318     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous.'
2319
2320 # VPP Performance Changes 3n-dnv 1t1c ndr
2321 - type: "table"
2322   title: "VPP Performance Changes 3n-dnv 1t1c ndr"
2323   algorithm: "table_comparison"
2324   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-dnv-1t1c-ndr"
2325   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2326   filter: "'1T1C'"
2327   columns:
2328     - title: "2101.0-7"
2329       data-set: "vpp-3n-dnv-hist-iter-new-env"
2330     - title: "2106.0-7"
2331       data-set: "vpp-3n-dnv-prev-iter-old-env"
2332     - title: "2106.0-8"
2333       data-set: "vpp-3n-dnv-prev-iter-new-env"
2334     - title: "2110.0-8"
2335       data-set: "vpp-3n-dnv-curr-iter"
2336   comparisons:
2337     - title: "2106.0-8 vs 2106.0-7"
2338       reference: 2
2339       compare: 3
2340     - title: "2110.0-8 vs 2106.0-8"
2341       reference: 3
2342       compare: 4
2343   legend:
2344     - ''
2345     - 'Test Case:            Test cases executed for: NDR throughput on 3n-dnv with x553.'
2346     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
2347     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2348     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
2349     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous.'
2350
2351 # VPP Performance Changes 3n-dnv 2t2c ndr
2352 - type: "table"
2353   title: "VPP Performance Changes 3n-dnv 2t2c ndr"
2354   algorithm: "table_comparison"
2355   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-dnv-2t2c-ndr"
2356   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2357   filter: "'2T2C'"
2358   columns:
2359     - title: "2101.0-7"
2360       data-set: "vpp-3n-dnv-hist-iter-new-env"
2361     - title: "2106.0-7"
2362       data-set: "vpp-3n-dnv-prev-iter-old-env"
2363     - title: "2106.0-8"
2364       data-set: "vpp-3n-dnv-prev-iter-new-env"
2365     - title: "2110.0-8"
2366       data-set: "vpp-3n-dnv-curr-iter"
2367   comparisons:
2368     - title: "2106.0-8 vs 2106.0-7"
2369       reference: 2
2370       compare: 3
2371     - title: "2110.0-8 vs 2106.0-8"
2372       reference: 3
2373       compare: 4
2374   legend:
2375     - ''
2376     - 'Test Case:            Test cases executed for: NDR throughput on 3n-dnv with x553.'
2377     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
2378     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2379     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
2380     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous.'
2381
2382 # VPP Performance Changes 3n-tsh 1t1c pdr
2383 - type: "table"
2384   title: "VPP Performance Changes 3n-tsh 1t1c pdr"
2385   algorithm: "table_comparison"
2386   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-tsh-1t1c-pdr"
2387   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2388   filter: "'1T1C'"
2389   columns:
2390     - title: "2101.0-7"
2391       data-set: "vpp-3n-tsh-hist-iter-new-env"
2392     - title: "2106.0-7"
2393       data-set: "vpp-3n-tsh-prev-iter-old-env"
2394     - title: "2106.0-8"
2395       data-set: "vpp-3n-tsh-prev-iter-new-env"
2396     - title: "2110.0-8"
2397       data-set: "vpp-3n-tsh-curr-iter"
2398   comparisons:
2399     - title: "2106.0-8 vs 2106.0-7"
2400       reference: 2
2401       compare: 3
2402     - title: "2110.0-8 vs 2106.0-8"
2403       reference: 3
2404       compare: 4
2405   legend:
2406     - ''
2407     - 'Test Case:            Test cases executed for: PDR throughput on 3n-tsh with x520.'
2408     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
2409     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2410     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
2411     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
2412
2413 # VPP Performance Changes 3n-tsh 2t2c pdr
2414 - type: "table"
2415   title: "VPP Performance Changes 3n-tsh 2t2c pdr"
2416   algorithm: "table_comparison"
2417   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-tsh-2t2c-pdr"
2418   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2419   filter: "'2T2C'"
2420   columns:
2421     - title: "2101.0-7"
2422       data-set: "vpp-3n-tsh-hist-iter-new-env"
2423     - title: "2106.0-7"
2424       data-set: "vpp-3n-tsh-prev-iter-old-env"
2425     - title: "2106.0-8"
2426       data-set: "vpp-3n-tsh-prev-iter-new-env"
2427     - title: "2110.0-8"
2428       data-set: "vpp-3n-tsh-curr-iter"
2429   comparisons:
2430     - title: "2106.0-8 vs 2106.0-7"
2431       reference: 2
2432       compare: 3
2433     - title: "2110.0-8 vs 2106.0-8"
2434       reference: 3
2435       compare: 4
2436   legend:
2437     - ''
2438     - 'Test Case:            Test cases executed for: PDR throughput on 3n-tsh with x520.'
2439     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
2440     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2441     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
2442     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
2443
2444 # VPP Performance Changes 3n-tsh 1t1c ndr
2445 - type: "table"
2446   title: "VPP Performance Changes 3n-tsh 1t1c ndr"
2447   algorithm: "table_comparison"
2448   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-tsh-1t1c-ndr"
2449   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2450   filter: "'1T1C'"
2451   columns:
2452     - title: "2101.0-7"
2453       data-set: "vpp-3n-tsh-hist-iter-new-env"
2454     - title: "2106.0-7"
2455       data-set: "vpp-3n-tsh-prev-iter-old-env"
2456     - title: "2106.0-8"
2457       data-set: "vpp-3n-tsh-prev-iter-new-env"
2458     - title: "2110.0-8"
2459       data-set: "vpp-3n-tsh-curr-iter"
2460   comparisons:
2461     - title: "2106.0-8 vs 2106.0-7"
2462       reference: 2
2463       compare: 3
2464     - title: "2110.0-8 vs 2106.0-8"
2465       reference: 3
2466       compare: 4
2467   legend:
2468     - ''
2469     - 'Test Case:            Test cases executed for: NDR throughput on 3n-tsh with x520.'
2470     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
2471     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2472     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
2473     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
2474
2475 # VPP Performance Changes 3n-tsh 2t2c ndr
2476 - type: "table"
2477   title: "VPP Performance Changes 3n-tsh 2t2c ndr"
2478   algorithm: "table_comparison"
2479   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-tsh-2t2c-ndr"
2480   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2481   filter: "'2T2C'"
2482   columns:
2483     - title: "2101.0-7"
2484       data-set: "vpp-3n-tsh-hist-iter-new-env"
2485     - title: "2106.0-7"
2486       data-set: "vpp-3n-tsh-prev-iter-old-env"
2487     - title: "2106.0-8"
2488       data-set: "vpp-3n-tsh-prev-iter-new-env"
2489     - title: "2110.0-8"
2490       data-set: "vpp-3n-tsh-curr-iter"
2491   comparisons:
2492     - title: "2106.0-8 vs 2106.0-7"
2493       reference: 2
2494       compare: 3
2495     - title: "2110.0-8 vs 2106.0-8"
2496       reference: 3
2497       compare: 4
2498   legend:
2499     - ''
2500     - 'Test Case:            Test cases executed for: NDR throughput on 3n-tsh with x520.'
2501     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
2502     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2503     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
2504     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
2505
2506 # VPP Performance Changes 2n-tx2 1t1c pdr
2507 - type: "table"
2508   title: "VPP Performance Changes 2n-tx2 1t1c pdr"
2509   algorithm: "table_comparison"
2510   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-tx2-1t1c-pdr"
2511   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2512   filter: "'1T1C'"
2513   columns:
2514     - title: "2101.0-7"
2515       data-set: "vpp-2n-tx2-hist-iter-new-env"
2516     - title: "2106.0-7"
2517       data-set: "vpp-2n-tx2-prev-iter-old-env"
2518     - title: "2106.0-8"
2519       data-set: "vpp-2n-tx2-prev-iter-new-env"
2520     - title: "2110.0-8"
2521       data-set: "vpp-2n-tx2-curr-iter"
2522   comparisons:
2523     - title: "2106.0-8 vs 2106.0-7"
2524       reference: 2
2525       compare: 3
2526     - title: "2110.0-8 vs 2106.0-8"
2527       reference: 3
2528       compare: 4
2529   legend:
2530     - ''
2531     - 'Test Case:            Test cases executed for: PDR throughput on 2n-tx2 with xl710.'
2532     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
2533     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2534     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
2535     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
2536
2537 # VPP Performance Changes 2n-tx2 2t2c pdr
2538 - type: "table"
2539   title: "VPP Performance Changes 2n-tx2 2t2c pdr"
2540   algorithm: "table_comparison"
2541   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-tx2-2t2c-pdr"
2542   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2543   filter: "'2T2C'"
2544   columns:
2545     - title: "2101.0-7"
2546       data-set: "vpp-2n-tx2-hist-iter-new-env"
2547     - title: "2106.0-7"
2548       data-set: "vpp-2n-tx2-prev-iter-old-env"
2549     - title: "2106.0-8"
2550       data-set: "vpp-2n-tx2-prev-iter-new-env"
2551     - title: "2110.0-8"
2552       data-set: "vpp-2n-tx2-curr-iter"
2553   comparisons:
2554     - title: "2106.0-8 vs 2106.0-7"
2555       reference: 2
2556       compare: 3
2557     - title: "2110.0-8 vs 2106.0-8"
2558       reference: 3
2559       compare: 4
2560   legend:
2561     - ''
2562     - 'Test Case:            Test cases executed for: PDR throughput on 2n-tx2 with xl710.'
2563     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
2564     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2565     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
2566     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
2567
2568 # VPP Performance Changes 2n-tx2 1t1c ndr
2569 - type: "table"
2570   title: "VPP Performance Changes 2n-tx2 1t1c ndr"
2571   algorithm: "table_comparison"
2572   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-tx2-1t1c-ndr"
2573   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2574   filter: "'1T1C'"
2575   columns:
2576     - title: "2101.0-7"
2577       data-set: "vpp-2n-tx2-hist-iter-new-env"
2578     - title: "2106.0-7"
2579       data-set: "vpp-2n-tx2-prev-iter-old-env"
2580     - title: "2106.0-8"
2581       data-set: "vpp-2n-tx2-prev-iter-new-env"
2582     - title: "2110.0-8"
2583       data-set: "vpp-2n-tx2-curr-iter"
2584   comparisons:
2585     - title: "2106.0-8 vs 2106.0-7"
2586       reference: 2
2587       compare: 3
2588     - title: "2110.0-8 vs 2106.0-8"
2589       reference: 3
2590       compare: 4
2591   legend:
2592     - ''
2593     - 'Test Case:            Test cases executed for: NDR throughput on 2n-tx2 with xl710.'
2594     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
2595     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2596     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
2597     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
2598
2599 # VPP Performance Changes 2n-tx2 2t2c ndr
2600 - type: "table"
2601   title: "VPP Performance Changes 2n-tx2 2t2c ndr"
2602   algorithm: "table_comparison"
2603   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-tx2-2t2c-ndr"
2604   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2605   filter: "'2T2C'"
2606   columns:
2607     - title: "2101.0-7"
2608       data-set: "vpp-2n-tx2-hist-iter-new-env"
2609     - title: "2106.0-7"
2610       data-set: "vpp-2n-tx2-prev-iter-old-env"
2611     - title: "2106.0-8"
2612       data-set: "vpp-2n-tx2-prev-iter-new-env"
2613     - title: "2110.0-8"
2614       data-set: "vpp-2n-tx2-curr-iter"
2615   comparisons:
2616     - title: "2106.0-8 vs 2106.0-7"
2617       reference: 2
2618       compare: 3
2619     - title: "2110.0-8 vs 2106.0-8"
2620       reference: 3
2621       compare: 4
2622   legend:
2623     - ''
2624     - 'Test Case:            Test cases executed for: NDR throughput on 2n-tx2 with xl710.'
2625     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
2626     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2627     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
2628     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
2629
2630 # VPP Comparison Across Testbeds 2n-skx to 2n-clx 2t1c ndr
2631 - type: "table"
2632   title: "VPP Comparison Across Testbeds 2n-skx to 2n-clx 2t1c ndr"
2633   algorithm: "table_comparison"
2634   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-skx-2n-clx-2t1c-ndr"
2635   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2636   filter: "'2T1C' and 'NIC_Intel-XXV710'"
2637   columns:
2638     - title: "2n-skx"
2639       data-set: "vpp-2n-skx-curr-iter"
2640     - title: "2n-clx"
2641       data-set: "vpp-2n-clx-curr-iter"
2642   comparisons:
2643     - title: "Diff"
2644       reference: 1
2645       compare: 2
2646   legend:
2647     - ""
2648     - "2n-skx, 2n-clx - testbeds and NICs tested."
2649     - "Diff - difference between 2n-skx and 2n-clx testbeds."
2650
2651 # VPP Comparison Across Testbeds 2n-skx to 2n-clx 4t2c ndr
2652 - type: "table"
2653   title: "VPP Comparison Across Testbeds 2n-skx to 2n-clx 4t2c ndr"
2654   algorithm: "table_comparison"
2655   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-skx-2n-clx-4t2c-ndr"
2656   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2657   filter: "'4T2C' and 'NIC_Intel-XXV710'"
2658   columns:
2659     - title: "2n-skx"
2660       data-set: "vpp-2n-skx-curr-iter"
2661     - title: "2n-clx"
2662       data-set: "vpp-2n-clx-curr-iter"
2663   comparisons:
2664     - title: "Diff"
2665       reference: 1
2666       compare: 2
2667   legend:
2668     - ""
2669     - "2n-skx, 2n-clx - testbeds and NICs tested."
2670     - "Diff - difference between 2n-skx and 2n-clx testbeds."
2671
2672 # VPP Comparison Across Testbeds 2n-skx to 2n-clx 2t1c pdr
2673 - type: "table"
2674   title: "VPP Comparison Across Testbeds 2n-skx to 2n-clx 2t1c pdr"
2675   algorithm: "table_comparison"
2676   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-skx-2n-clx-2t1c-pdr"
2677   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2678   filter: "'2T1C' and 'NIC_Intel-XXV710'"
2679   columns:
2680     - title: "2n-skx"
2681       data-set: "vpp-2n-skx-curr-iter"
2682     - title: "2n-clx"
2683       data-set: "vpp-2n-clx-curr-iter"
2684   comparisons:
2685     - title: "Diff"
2686       reference: 1
2687       compare: 2
2688   legend:
2689     - ""
2690     - "2n-skx, 2n-clx - testbeds and NICs tested."
2691     - "Diff - difference between 2n-skx and 2n-clx testbeds."
2692
2693 # VPP Comparison Across Testbeds 2n-skx to 2n-clx 4t2c pdr
2694 - type: "table"
2695   title: "VPP Comparison Across Testbeds 2n-skx to 2n-clx 4t2c pdr"
2696   algorithm: "table_comparison"
2697   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-skx-2n-clx-4t2c-pdr"
2698   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2699   filter: "'4T2C' and 'NIC_Intel-XXV710'"
2700   columns:
2701     - title: "2n-skx"
2702       data-set: "vpp-2n-skx-curr-iter"
2703     - title: "2n-clx"
2704       data-set: "vpp-2n-clx-curr-iter"
2705   comparisons:
2706     - title: "Diff"
2707       reference: 1
2708       compare: 2
2709   legend:
2710     - ""
2711     - "2n-skx, 2n-clx - testbeds and NICs tested."
2712     - "Diff - difference between 2n-skx and 2n-clx testbeds."
2713
2714 # VPP Comparison Across Testbeds 2n-clx to 2n-icx 1c ndr
2715 - type: "table"
2716   title: "VPP Comparison Across Testbeds 2n-clx to 2n-icx 1c ndr"
2717   algorithm: "table_comparison"
2718   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-clx-2n-icx-1c-ndr"
2719   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2720   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-E810CQ') and 'NDRPDR' and '1C'"
2721   columns:
2722     - title: "2n-clx xxv710"
2723       data-set: "vpp-2n-clx-curr-iter"
2724       tag: "NIC_Intel-XXV710"
2725     - title: "2n-icx e810cq"
2726       data-set: "vpp-2n-icx-curr-iter"
2727       tag: "NIC_Intel-E810CQ"
2728   comparisons:
2729     - title: "Diff"
2730       reference: 1
2731       compare: 2
2732   legend:
2733     - ""
2734     - "2n-clx xxv710, 2n-icx e810cq - testbeds and NICs tested."
2735     - "Diff - difference between 2n-clx xxv710 and 2n-icx e810cq testbeds."
2736
2737 # VPP Comparison Across Testbeds 2n-clx to 2n-icx 2c ndr
2738 - type: "table"
2739   title: "VPP Comparison Across Testbeds 2n-clx to 2n-icx 2c ndr"
2740   algorithm: "table_comparison"
2741   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-clx-2n-icx-2c-ndr"
2742   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2743   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-E810CQ') and 'NDRPDR' and '2C'"
2744   columns:
2745     - title: "2n-clx xxv710"
2746       data-set: "vpp-2n-clx-curr-iter"
2747       tag: "NIC_Intel-XXV710"
2748     - title: "2n-icx e810cq"
2749       data-set: "vpp-2n-icx-curr-iter"
2750       tag: "NIC_Intel-E810CQ"
2751   comparisons:
2752     - title: "Diff"
2753       reference: 1
2754       compare: 2
2755   legend:
2756     - ""
2757     - "2n-clx xxv710, 2n-icx e810cq - testbeds and NICs tested."
2758     - "Diff - difference between 2n-clx xxv710 and 2n-icx e810cq testbeds."
2759
2760 # VPP Comparison Across Testbeds 2n-clx to 2n-icx 1c pdr
2761 - type: "table"
2762   title: "VPP Comparison Across Testbeds 2n-clx to 2n-icx 1c pdr"
2763   algorithm: "table_comparison"
2764   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-clx-2n-icx-1c-pdr"
2765   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2766   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-E810CQ') and 'NDRPDR' and '1C'"
2767   columns:
2768     - title: "2n-clx xxv710"
2769       data-set: "vpp-2n-clx-curr-iter"
2770       tag: "NIC_Intel-XXV710"
2771     - title: "2n-icx e810cq"
2772       data-set: "vpp-2n-icx-curr-iter"
2773       tag: "NIC_Intel-E810CQ"
2774   comparisons:
2775     - title: "Diff"
2776       reference: 1
2777       compare: 2
2778   legend:
2779     - ""
2780     - "2n-clx xxv710, 2n-icx e810cq - testbeds and NICs tested."
2781     - "Diff - difference between 2n-clx xxv710 and 2n-icx e810cq testbeds."
2782
2783 # VPP Comparison Across Testbeds 2n-clx to 2n-icx 2c pdr
2784 - type: "table"
2785   title: "VPP Comparison Across Testbeds 2n-clx to 2n-icx 2c pdr"
2786   algorithm: "table_comparison"
2787   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-clx-2n-icx-2c-pdr"
2788   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2789   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-E810CQ') and 'NDRPDR' and '2C'"
2790   columns:
2791     - title: "2n-clx xxv710"
2792       data-set: "vpp-3n-skx-curr-iter"
2793       tag: "NIC_Intel-XXV710"
2794     - title: "2n-icx e810cq"
2795       data-set: "vpp-2n-icx-curr-iter"
2796       tag: "NIC_Intel-E810CQ"
2797   comparisons:
2798     - title: "Diff"
2799       reference: 1
2800       compare: 2
2801   legend:
2802     - ""
2803     - "2n-clx xxv710, 2n-icx e810cq - testbeds and NICs tested."
2804     - "Diff - difference between 2n-clx xxv710 and 2n-icx e810cq testbeds."
2805
2806 # VPP Comparison Across Testbeds 3n-skx to 3n-icx 1c ndr
2807 - type: "table"
2808   title: "VPP Comparison Across Testbeds 3n-skx to 3n-icx 1c ndr"
2809   algorithm: "table_comparison"
2810   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-skx-3n-icx-1c-ndr"
2811   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2812   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-E810CQ') and 'NDRPDR' and '1C'"
2813   columns:
2814     - title: "3n-skx xxv710"
2815       data-set: "vpp-3n-skx-curr-iter"
2816       tag: "NIC_Intel-XXV710"
2817     - title: "3n-icx e810cq"
2818       data-set: "vpp-3n-icx-curr-iter"
2819       tag: "NIC_Intel-E810CQ"
2820   comparisons:
2821     - title: "Diff"
2822       reference: 1
2823       compare: 2
2824   legend:
2825     - ""
2826     - "3n-skx xxv710, 3n-icx e810cq - testbeds and NICs tested."
2827     - "Diff - difference between 3n-skx xxv710 and 3n-icx e810cq testbeds."
2828
2829 # VPP Comparison Across Testbeds 3n-skx to 3n-icx 2c ndr
2830 - type: "table"
2831   title: "VPP Comparison Across Testbeds 3n-skx to 3n-icx ndr"
2832   algorithm: "table_comparison"
2833   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-skx-3n-icx-2c-ndr"
2834   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2835   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-E810CQ') and 'NDRPDR' and '2C'"
2836   columns:
2837     - title: "3n-skx xxv710"
2838       data-set: "vpp-3n-skx-curr-iter"
2839       tag: "NIC_Intel-XXV710"
2840     - title: "3n-icx e810cq"
2841       data-set: "vpp-3n-icx-curr-iter"
2842       tag: "NIC_Intel-E810CQ"
2843   comparisons:
2844     - title: "Diff"
2845       reference: 1
2846       compare: 2
2847   legend:
2848     - ""
2849     - "3n-skx xxv710, 3n-icx e810cq - testbeds and NICs tested."
2850     - "Diff - difference between 3n-skx xxv710 and 3n-icx e810cq testbeds."
2851
2852 # VPP Comparison Across Testbeds 3n-skx to 3n-icx 1c pdr
2853 - type: "table"
2854   title: "VPP Comparison Across Testbeds 3n-skx to 3n-icx 1c pdr"
2855   algorithm: "table_comparison"
2856   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-skx-3n-icx-1c-pdr"
2857   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2858   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-E810CQ') and 'NDRPDR' and '1C'"
2859   columns:
2860     - title: "3n-skx xxv710"
2861       data-set: "vpp-3n-skx-curr-iter"
2862       tag: "NIC_Intel-XXV710"
2863     - title: "3n-icx e810cq"
2864       data-set: "vpp-3n-icx-curr-iter"
2865       tag: "NIC_Intel-E810CQ"
2866   comparisons:
2867     - title: "Diff"
2868       reference: 1
2869       compare: 2
2870   legend:
2871     - ""
2872     - "3n-skx xxv710, 3n-icx e810cq - testbeds and NICs tested."
2873     - "Diff - difference between 3n-skx xxv710 and 3n-icx e810cq testbeds."
2874
2875 # VPP Comparison Across Testbeds 3n-skx to 3n-icx 2c pdr
2876 - type: "table"
2877   title: "VPP Comparison Across Testbeds 3n-skx to 3n-icx 2c pdr"
2878   algorithm: "table_comparison"
2879   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-skx-3n-icx-2c-pdr"
2880   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2881   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-E810CQ') and 'NDRPDR' and '2C'"
2882   columns:
2883     - title: "3n-skx xxv710"
2884       data-set: "vpp-3n-skx-curr-iter"
2885       tag: "NIC_Intel-XXV710"
2886     - title: "3n-icx e810cq"
2887       data-set: "vpp-3n-icx-curr-iter"
2888       tag: "NIC_Intel-E810CQ"
2889   comparisons:
2890     - title: "Diff"
2891       reference: 1
2892       compare: 2
2893   legend:
2894     - ""
2895     - "3n-skx xxv710, 3n-icx e810cq - testbeds and NICs tested."
2896     - "Diff - difference between 3n-skx xxv710 and 3n-icx e810cq testbeds."
2897
2898 # VPP Comparison Across Topologies 3n-skx to 2n-skx 1c ndr
2899 - type: "table"
2900   title: "VPP Comparison Across Topologies 3n-skx to 2n-skx 1c ndr"
2901   algorithm: "table_comparison"
2902   output-file: "{DIR[STATIC,VPP]}/performance-compare-topologies-3n-skx-2n-skx-1c-ndr"
2903   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2904   filter: "'NDRPDR' and '1C' and 'NIC_Intel-XXV710'"
2905   columns:
2906     - title: "3n-skx"
2907       data-set: "vpp-3n-skx-curr-iter"
2908     - title: "2n-skx"
2909       data-set: "vpp-2n-skx-curr-iter"
2910   comparisons:
2911     - title: "Diff"
2912       reference: 1
2913       compare: 2
2914   legend:
2915     - ""
2916     - "3n-skx, 2n-skx - topologies tested."
2917     - "Diff - difference between 3n-skx and 2n-skx topologies."
2918
2919 # VPP Comparison Across Topologies 3n-skx to 2n-skx 2c ndr
2920 - type: "table"
2921   title: "VPP Comparison Across Topologies 3n-skx to 2n-skx 2c ndr"
2922   algorithm: "table_comparison"
2923   output-file: "{DIR[STATIC,VPP]}/performance-compare-topologies-3n-skx-2n-skx-2c-ndr"
2924   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2925   filter: "'NDRPDR' and '2C' and 'NIC_Intel-XXV710'"
2926   columns:
2927     - title: "3n-skx"
2928       data-set: "vpp-3n-skx-curr-iter"
2929     - title: "2n-skx"
2930       data-set: "vpp-2n-skx-curr-iter"
2931   comparisons:
2932     - title: "Diff"
2933       reference: 1
2934       compare: 2
2935   legend:
2936     - ""
2937     - "3n-skx, 2n-skx - topologies tested."
2938     - "Diff - difference between 3n-skx and 2n-skx topologies."
2939
2940 # VPP Comparison Across Topologies 3n-skx to 2n-skx 1c pdr
2941 - type: "table"
2942   title: "VPP Comparison Across Topologies 3n-skx to 2n-skx 1c pdr"
2943   algorithm: "table_comparison"
2944   output-file: "{DIR[STATIC,VPP]}/performance-compare-topologies-3n-skx-2n-skx-1c-pdr"
2945   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2946   filter: "'NDRPDR' and '1C' and 'NIC_Intel-XXV710'"
2947   columns:
2948     - title: "3n-skx"
2949       data-set: "vpp-3n-skx-curr-iter"
2950     - title: "2n-skx"
2951       data-set: "vpp-2n-skx-curr-iter"
2952   comparisons:
2953     - title: "Diff"
2954       reference: 1
2955       compare: 2
2956   legend:
2957     - ""
2958     - "3n-skx, 2n-skx - topologies tested."
2959     - "Diff - difference between 3n-skx and 2n-skx topologies."
2960
2961 # VPP Comparison Across Topologies 3n-skx to 2n-skx 2c pdr
2962 - type: "table"
2963   title: "VPP Comparison Across Topologies 3n-skx to 2n-skx 2c pdr"
2964   algorithm: "table_comparison"
2965   output-file: "{DIR[STATIC,VPP]}/performance-compare-topologies-3n-skx-2n-skx-2c-pdr"
2966   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2967   filter: "'NDRPDR' and '2C' and 'NIC_Intel-XXV710'"
2968   columns:
2969     - title: "3n-skx"
2970       data-set: "vpp-3n-skx-curr-iter"
2971     - title: "2n-skx"
2972       data-set: "vpp-2n-skx-curr-iter"
2973   comparisons:
2974     - title: "Diff"
2975       reference: 1
2976       compare: 2
2977   legend:
2978     - ""
2979     - "3n-skx, 2n-skx - topologies tested."
2980     - "Diff - difference between 3n-skx and 2n-skx topologies."
2981
2982 # VPP Performance Changes 3n-skx 2t1c mrr
2983 - type: "table"
2984   title: "VPP Performance Changes 3n-skx 2t1c mrr"
2985   algorithm: "table_comparison"
2986   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-mrr"
2987   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2988   filter: "'2T1C' and 'MRR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2989   columns:
2990     - title: "2101.0-7"
2991       data-set: "vpp-3n-skx-hist-iter-mrr-new-env"
2992     - title: "2106.0-7"
2993       data-set: "vpp-3n-skx-prev-iter-mrr-old-env"
2994     - title: "2106.0-8"
2995       data-set: "vpp-3n-skx-prev-iter-mrr-new-env"
2996     - title: "2110.0-8"
2997       data-set: "vpp-3n-skx-curr-iter-mrr"
2998   comparisons:
2999     - title: "2106.0-8 vs 2106.0-7"
3000       reference: 2
3001       compare: 3
3002     - title: "2110.0-8 vs 2106.0-8"
3003       reference: 3
3004       compare: 4
3005   legend:
3006     - ''
3007     - 'Test Case:            Test cases executed for: MRR throughput on 3n-skx with xxv710.'
3008     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
3009     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
3010     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
3011     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
3012
3013 # VPP Performance Changes 3n-skx 4t2c mrr
3014 - type: "table"
3015   title: "VPP Performance Changes 3n-skx 4t2c mrr"
3016   algorithm: "table_comparison"
3017   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-mrr"
3018   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3019   filter: "'4T2C' and 'MRR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
3020   columns:
3021     - title: "2101.0-7"
3022       data-set: "vpp-3n-skx-hist-iter-mrr-new-env"
3023     - title: "2106.0-7"
3024       data-set: "vpp-3n-skx-prev-iter-mrr-old-env"
3025     - title: "2106.0-8"
3026       data-set: "vpp-3n-skx-prev-iter-mrr-new-env"
3027     - title: "2110.0-8"
3028       data-set: "vpp-3n-skx-curr-iter-mrr"
3029   comparisons:
3030     - title: "2106.0-8 vs 2106.0-7"
3031       reference: 2
3032       compare: 3
3033     - title: "2110.0-8 vs 2106.0-8"
3034       reference: 3
3035       compare: 4
3036   legend:
3037     - ''
3038     - 'Test Case:            Test cases executed for: MRR throughput on 3n-skx with xxv710.'
3039     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
3040     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
3041     - '2106.0-8 vs 2106.0-7: Compares CSIT environment current vs previous with previous VPP code.'
3042     - '2110.0-8 vs 2106.0-8: Compares VPP code current vs previous in the current CSIT environment.'
3043
3044 # VPP Performance Changes 3n-skx 8t4c mrr
3045 - type: "table"
3046   title: "VPP Performance Changes 3n-skx 8t4c mrr"
3047   algorithm: "table_comparison"
3048   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-8t4c-mrr"
3049   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3050   filter: "'8T4C' and 'MRR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
3051   columns:
3052     - title: "2101.0-7"
3053       data-set: "vpp-3n-skx-hist-iter-mrr-new-env"
3054     - title: "2106.0-7"
3055       data-set: "vpp-3n-skx-prev-iter-mrr-old-env"
3056     - title: "2106.0-8"
3057       data-set: "vpp-3n-skx-prev-iter-mrr-new-env"
3058     - title: "2110.0-8"
3059       data-set: "vpp-3n-skx-curr-iter-mrr"
3060   comparisons:
3061     - title: "2106.0-8 vs 2106.0-7"
3062       reference: 2
3063       compare: 3
3064     - title: "2110.0-8 vs 2106.0-8"
3065       reference: 3
3066       compare: 4
3067   legend:
3068     - ''
3069     - 'Test Case:            Test cases executed for: MRR throughput on 3n-skx with xxv710.'
3070     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "7" for CSIT rls2106, "8" for CSIT rls2110).'
3071     - '