resources/tools/presentation/specifications/report/elements.yaml

   1 ################################################################################
   2 ###                               T A B L E S                                ###
   3 ################################################################################
   4
   5 # Statistics: job-specs' durations
   6
   7 - type: "table"
   8   title: "Job Specification Duration: 2n-clx-iterative"
   9   algorithm: "table_job_spec_duration"
  10   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-clx-iter"
  11   jb-type: "iterative"
  12   lines:
  13     - job-spec: "vpp-mrr-00"
  14       data-set: "vpp-2n-clx-curr-iter-mrr"
  15     - job-spec: "vpp-mlr-00"
  16       data-set: "vpp-2n-clx-curr-iter"
  17     - job-spec: "vpp-gso-mrr-00"
  18       data-set: "vpp-2n-clx-curr-iter-gso"
  19     - job-spec: "soak-00"
  20       data-set: "vpp-2n-clx-curr-soak"
  21     - job-spec: "vsap-00"
  22       data-set: "vpp-2n-clx-curr-iter-vsap"
  23     - job-spec: "nfv-density-mrr-00"
  24       data-set: "vpp-2n-clx-curr-nfv-mrr"
  25     - job-spec: "nfv-density-mlr-00"
  26       data-set: "vpp-2n-clx-curr-nfv-ndrpdr"
  27     - job-spec: "reconf-00"
  28       data-set: "vpp-2n-clx-curr-nfv-reconf"
  29     - job-spec: "dpdk-mlr-00"
  30       data-set: "dpdk-2n-clx-curr-iter"
  31
  32 # - type: "table"
  33 #   title: "Job Specification Duration: 2n-clx-coverage"
  34 #   algorithm: "table_job_spec_duration"
  35 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-clx-cov"
  36 #   jb-type: "coverage"
  37 #   data: "vpp-2n-clx-curr-cov"
  38 #   lines:
  39 #     - job-spec: "gso-00"
  40 #       build: "18"
  41 #     - job-spec: "ip4-00"
  42 #       build: "19"
  43 #     - job-spec: "ip4-01"
  44 #       build: "20"
  45 #     - job-spec: "ip4-02"
  46 #       build: "21"
  47 #     - job-spec: "ip4-03"
  48 #       build: "22"
  49 #     - job-spec: "ip4-04"
  50 #       build: "23"
  51 #     - job-spec: "ip4-05"
  52 #       build: "24"
  53 #     - job-spec: "ip4-06"
  54 #       build: "25"
  55 #     - job-spec: "ip4-07"
  56 #       build: "26"
  57 #     - job-spec: "ip4tun-00"
  58 #       build: "27"
  59 #     - job-spec: "ip6-00"
  60 #       build: "28"
  61 #     - job-spec: "ip6-01"
  62 #       build: "29"
  63 #     - job-spec: "l2-00"
  64 #       build: "30"
  65 #     - job-spec: "l2-01"
  66 #       build: "31"
  67 #     - job-spec: "lb-00"
  68 #       build: "32"
  69 #     - job-spec: "memif-00"
  70 #       build: "33"
  71 #     - job-spec: "vhost-00"
  72 #       build: "34"
  73
  74 - type: "table"
  75   title: "Job Specification Duration: 2n-dnv-iterative"
  76   algorithm: "table_job_spec_duration"
  77   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-dnv-iter"
  78   jb-type: "iterative"
  79   lines:
  80     - job-spec: "vpp-mrr-00"
  81       data-set: "vpp-2n-dnv-curr-iter-mrr"
  82     - job-spec: "vpp-mlr-00"
  83       data-set: "vpp-2n-dnv-curr-iter"
  84
  85 # - type: "table"
  86 #   title: "Job Specification Duration: 2n-dnv-coverage"
  87 #   algorithm: "table_job_spec_duration"
  88 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-dnv-cov"
  89 #   jb-type: "coverage"
  90 #   data: "vpp-2n-dnv-curr-cov"
  91 #   lines:
  92 #     - job-spec: "ip4-00"
  93 #       build: "7"
  94 #     - job-spec: "ip4-01"
  95 #       build: "8"
  96 #     - job-spec: "ip6-00"
  97 #       build: "9"
  98 #     - job-spec: "ip6-01"
  99 #       build: "10"
 100 #     - job-spec: "l2-00"
 101 #       build: "11"
 102 #     - job-spec: "l2-01"
 103 #       build: "12"
 104
 105 - type: "table"
 106   title: "Job Specification Duration: 2n-aws-iterative"
 107   algorithm: "table_job_spec_duration"
 108   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-aws-iter"
 109   jb-type: "iterative"
 110   lines:
 111     - job-spec: "vpp-mrr-00"
 112       data-set: "vpp-2n-aws-curr-iter-mrr"
 113     - job-spec: "vpp-mlr-00"
 114       data-set: "vpp-2n-aws-curr-iter"
 115
 116 # - type: "table"
 117 #   title: "Job Specification Duration: 2n-aws-coverage"
 118 #   algorithm: "table_job_spec_duration"
 119 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-aws-cov"
 120 #   jb-type: "coverage"
 121 #   data: "vpp-2n-aws-curr-cov"
 122 #   lines:
 123 #     - job-spec: "vpp-00"
 124 #       build: "26"
 125
 126 - type: "table"
 127   title: "Job Specification Duration: 3n-aws-iterative"
 128   algorithm: "table_job_spec_duration"
 129   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-aws-iter"
 130   jb-type: "iterative"
 131   lines:
 132     - job-spec: "vpp-mrr-00"
 133       data-set: "vpp-3n-aws-curr-iter-mrr"
 134     - job-spec: "vpp-mlr-00"
 135       data-set: "vpp-3n-aws-curr-iter"
 136
 137 # - type: "table"
 138 #   title: "Job Specification Duration: 3n-aws-coverage"
 139 #   algorithm: "table_job_spec_duration"
 140 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-aws-cov"
 141 #   jb-type: "coverage"
 142 #   data: "vpp-3n-aws-curr-cov"
 143 #   lines:
 144 #     - job-spec: "vpp-00"
 145 #       build: "34"
 146
 147 - type: "table"
 148   title: "Job Specification Duration: 2n-skx-iterative"
 149   algorithm: "table_job_spec_duration"
 150   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-skx-iter"
 151   jb-type: "iterative"
 152   lines:
 153     - job-spec: "vpp-mrr-00"
 154       data-set: "vpp-2n-skx-curr-iter-mrr"
 155     - job-spec: "vpp-mlr-00"
 156       data-set: "vpp-2n-skx-curr-iter"
 157     - job-spec: "vpp-gso-mrr-00"
 158       data-set: "vpp-2n-skx-curr-gso"
 159     - job-spec: "soak-00"
 160       data-set: "vpp-2n-skx-curr-soak"
 161     - job-spec: "nfv-density-mrr-00"
 162       data-set: "vpp-2n-skx-curr-nfv-mrr"
 163     - job-spec: "nfv-density-mlr-00"
 164       data-set: "vpp-2n-skx-curr-nfv-ndrpdr"
 165     - job-spec: "reconf-00"
 166       data-set: "vpp-2n-skx-curr-nfv-reconf"
 167     - job-spec: "dpdk-mlr-00"
 168       data-set: "dpdk-2n-skx-curr-iter"
 169     - job-spec: "trex-mlr-00"
 170       data-set: "trex-2n-skx-curr-iter"
 171
 172 # - type: "table"
 173 #   title: "Job Specification Duration: 2n-skx-coverage"
 174 #   algorithm: "table_job_spec_duration"
 175 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-skx-cov"
 176 #   jb-type: "coverage"
 177 #   data: "vpp-2n-skx-curr-cov"
 178 #   lines:
 179 #     - job-spec: "gso-00"
 180 #       build: "18"
 181 #     - job-spec: "ip4-00"
 182 #       build: "19"
 183 #     - job-spec: "ip4-01"
 184 #       build: "20"
 185 #     - job-spec: "ip4-02"
 186 #       build: "21"
 187 #     - job-spec: "ip4-03"
 188 #       build: "22"
 189 #     - job-spec: "ip4-04"
 190 #       build: "23"
 191 #     - job-spec: "ip4-05"
 192 #       build: "24"
 193 #     - job-spec: "ip4-06"
 194 #       build: "25"
 195 #     - job-spec: "ip4-07"
 196 #       build: "26"
 197 #     - job-spec: "ip4tun-00"
 198 #       build: "27"
 199 #     - job-spec: "ip6-00"
 200 #       build: "28"
 201 #     - job-spec: "ip6-01"
 202 #       build: "29"
 203 #     - job-spec: "l2-00"
 204 #       build: "30"
 205 #     - job-spec: "l2-01"
 206 #       build: "31"
 207 #     - job-spec: "lb-00"
 208 #       build: "32"
 209 #     - job-spec: "memif-00"
 210 #       build: "33"
 211 #     - job-spec: "vhost-00"
 212 #       build: "34"
 213
 214 - type: "table"
 215   title: "Job Specification Duration: 2n-tx2-iterative"
 216   algorithm: "table_job_spec_duration"
 217   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-tx2-iter"
 218   jb-type: "iterative"
 219   lines:
 220     - job-spec: "vpp-mrr-00"
 221       data-set: "vpp-2n-tx2-curr-iter-mrr"
 222     - job-spec: "vpp-mlr-00"
 223       data-set: "vpp-2n-tx2-curr-iter"
 224
 225 # - type: "table"
 226 #   title: "Job Specification Duration: 2n-tx2-coverage"
 227 #   algorithm: "table_job_spec_duration"
 228 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-tx2-cov"
 229 #   jb-type: "coverage"
 230 #   data: "vpp-2n-tx2-curr-cov"
 231 #   lines:
 232 #     - job-spec: "ip4-00"
 233 #       build: "1"
 234 #     - job-spec: "ip4-01"
 235 #       build: "2"
 236 #     - job-spec: "ip4-02"
 237 #       build: "3"
 238 #     - job-spec: "ip4-03"
 239 #       build: "4"
 240 #     - job-spec: "ip4-04"
 241 #       build: "5"
 242 #     - job-spec: "ip4-05"
 243 #       build: "6"
 244 #     - job-spec: "ip4-06"
 245 #       build: "7"
 246 #     - job-spec: "ip6-00"
 247 #       build: "8"
 248 #     - job-spec: "ip6-01"
 249 #       build: "9"
 250 #     - job-spec: "l2-00"
 251 #       build: "10"
 252 #     - job-spec: "l2-01"
 253 #       build: "11"
 254 #     - job-spec: "l2-02"
 255 #       build: "12"
 256 #     - job-spec: "l2-03"
 257 #       build: "13"
 258 #     - job-spec: "l2-04"
 259 #       build: "14"
 260
 261 - type: "table"
 262   title: "Job Specification Duration: 2n-zn2-iterative"
 263   algorithm: "table_job_spec_duration"
 264   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-zn2-iter"
 265   jb-type: "iterative"
 266   lines:
 267     - job-spec: "vpp-mrr-00"
 268       data-set: "vpp-2n-zn2-curr-iter-mrr"
 269     - job-spec: "vpp-mlr-00"
 270       data-set: "vpp-2n-zn2-curr-iter"
 271     - job-spec: "vpp-gso-mrr-00"
 272       data-set: "vpp-2n-zn2-curr-iter-gso"
 273     - job-spec: "dpdk-mlr-00"
 274       data-set: "dpdk-2n-zn2-curr-iter"
 275
 276 # - type: "table"
 277 #   title: "Job Specification Duration: 2n-zn2-coverage"
 278 #   algorithm: "table_job_spec_duration"
 279 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-2n-zn2-cov"
 280 #   jb-type: "coverage"
 281 #   data: "vpp-2n-zn2-curr-cov"
 282 #   lines:
 283 #     - job-spec: "gso-00"
 284 #       build: "1"
 285 #     - job-spec: "ip4-00"
 286 #       build: "2"
 287 #     - job-spec: "ip4-01"
 288 #       build: "3"
 289 #     - job-spec: "ip4-02"
 290 #       build: "4"
 291 #     - job-spec: "ip4-03"
 292 #       build: "18"
 293 #     - job-spec: "ip4-04"
 294 #       build: "6"
 295 #     - job-spec: "ip4-05"
 296 #       build: "7"
 297 #     - job-spec: "ip4tun-00"
 298 #       build: "8"
 299 #     - job-spec: "ip6-00"
 300 #       build: "9"
 301 #     - job-spec: "ip6-01"
 302 #       build: "19"
 303 #     - job-spec: "l2-00"
 304 #       build: "11"
 305 #     - job-spec: "l2-01"
 306 #       build: "12"
 307 #     - job-spec: "lb-00"
 308 #       build: "13"
 309 #     - job-spec: "memif-00"
 310 #       build: "14"
 311 #     - job-spec: "vhost-00"
 312 #       build: "15"
 313
 314 - type: "table"
 315   title: "Job Specification Duration: 3n-dnv-iterative"
 316   algorithm: "table_job_spec_duration"
 317   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-dnv-iter"
 318   jb-type: "iterative"
 319   lines:
 320     - job-spec: "vpp-mrr-00"
 321       data-set: "vpp-3n-dnv-curr-iter-mrr"
 322     - job-spec: "vpp-mlr-00"
 323       data-set: "vpp-3n-dnv-curr-iter"
 324
 325 # - type: "table"
 326 #   title: "Job Specification Duration: 3n-dnv-coverage"
 327 #   algorithm: "table_job_spec_duration"
 328 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-dnv-cov"
 329 #   jb-type: "coverage"
 330 #   data: "vpp-3n-dnv-curr-cov"
 331 #   lines:
 332 #     - job-spec: "crypto-00"
 333 #       build: "12"
 334 #     - job-spec: "crypto-01"
 335 #       build: "13"
 336 #     - job-spec: "crypto-02"
 337 #       build: "14"
 338 #     - job-spec: "ip4-00"
 339 #       build: "15"
 340 #     - job-spec: "ip4-01"
 341 #       build: "16"
 342 #     - job-spec: "ip4tun-00"
 343 #       build: "17"
 344 #     - job-spec: "ip6-00"
 345 #       build: "18"
 346 #     - job-spec: "ip6-01"
 347 #       build: "19"
 348 #     - job-spec: "l2-00"
 349 #       build: "20"
 350 #     - job-spec: "l2-01"
 351 #       build: "21"
 352
 353 - type: "table"
 354   title: "Job Specification Duration: 3n-skx-iterative"
 355   algorithm: "table_job_spec_duration"
 356   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-skx-iter"
 357   jb-type: "iterative"
 358   lines:
 359     - job-spec: "vpp-mrr-00"
 360       data-set: "vpp-3n-skx-curr-iter-mrr"
 361     - job-spec: "vpp-mlr-00"
 362       data-set: "vpp-3n-skx-curr-iter"
 363     - job-spec: "hoststack-00"
 364       data-set: "vpp-3n-skx-curr-iter-hoststack"
 365     - job-spec: "dpdk-mlr-00"
 366       data-set: "dpdk-3n-skx-curr-iter"
 367
 368 # - type: "table"
 369 #   title: "Job Specification Duration: 3n-skx-coverage"
 370 #   algorithm: "table_job_spec_duration"
 371 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-skx-cov"
 372 #   jb-type: "coverage"
 373 #   data: "vpp-3n-skx-curr-cov"
 374 #   lines:
 375 #     - job-spec: "crypto-00"
 376 #       build: "35"
 377 #     - job-spec: "crypto-01"
 378 #       build: "36"
 379 #     - job-spec: "crypto-02"
 380 #       build: "37"
 381 #     - job-spec: "crypto-03"  # Completly failed
 382 #       build: "38"
 383 #     - job-spec: "crypto-04"
 384 #       build: "39"
 385 #     - job-spec: "ip4-00"
 386 #       build: "40"
 387 #     - job-spec: "ip4-01"
 388 #       build: "41"
 389 #     - job-spec: "ip4-02"
 390 #       build: "42"
 391 #     - job-spec: "ip4-03"
 392 #       build: "43"
 393 #     - job-spec: "ip4-04"
 394 #       build: "44"
 395 #     - job-spec: "ip4-05"
 396 #       build: "45"
 397 #     - job-spec: "ip4-06"
 398 #       build: "46"
 399 #     - job-spec: "ip4-07"
 400 #       build: "47"
 401 #     - job-spec: "ip4tun-00"
 402 #       build: "48"
 403 #     - job-spec: "ip4tun-02"
 404 #       build: "49"
 405 #     - job-spec: "ip6-00"
 406 #       build: "50"
 407 #     - job-spec: "ip6-01"
 408 #       build: "51"
 409 #     - job-spec: "ip6tun-00"
 410 #       build: "52"
 411 #     - job-spec: "l2-00"
 412 #       build: "53"
 413 #     - job-spec: "l2-01"
 414 #       build: "54"
 415 #     - job-spec: "l2-02"
 416 #       build: "55"
 417 #     - job-spec: "l2-03"
 418 #       build: "56"
 419 #     - job-spec: "l2-04"
 420 #       build: "57"
 421 #     - job-spec: "l2-05"
 422 #       build: "58"
 423 #     - job-spec: "l2-06"
 424 #       build: "59"
 425 #     - job-spec: "l2-07"
 426 #       build: "60"
 427 #     - job-spec: "l2-08"
 428 #       build: "61"
 429 #     - job-spec: "l2-09"
 430 #       build: "62"
 431 #     - job-spec: "l2-10"
 432 #       build: "63"
 433 #     - job-spec: "memif-00"
 434 #       build: "64"
 435 #     - job-spec: "srv6-00"
 436 #       build: "65"
 437 #     - job-spec: "srv6-01"
 438 #       build: "66"
 439 #     - job-spec: "vhost-00"
 440 #       build: "67"
 441 #     - job-spec: "vhost-01"
 442 #       build: "68"
 443
 444 - type: "table"
 445   title: "Job Specification Duration: 3n-tsh-iterative"
 446   algorithm: "table_job_spec_duration"
 447   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-tsh-iter"
 448   jb-type: "iterative"
 449   lines:
 450     - job-spec: "vpp-mrr-00"
 451       data-set: "vpp-3n-tsh-curr-iter-mrr"
 452     - job-spec: "vpp-mlr-00"
 453       data-set: "vpp-3n-tsh-curr-iter"
 454     - job-spec: "dpdk-mlr-00"
 455       data-set: "dpdk-3n-tsh-curr-iter"
 456
 457 # - type: "table"
 458 #   title: "Job Specification Duration: 3n-tsh-coverage"
 459 #   algorithm: "table_job_spec_duration"
 460 #   output-file: "{DIR[STATIC,VPP]}/job-spec-duration-3n-tsh-cov"
 461 #   jb-type: "coverage"
 462 #   data: "vpp-3n-tsh-curr-cov"
 463 #   lines:
 464 #     - job-spec: "ip4-00"
 465 #       build: "1"
 466 #     - job-spec: "ip4-01"
 467 #       build: "2"
 468 #     - job-spec: "ip4-02"
 469 #       build: "3"
 470 #     - job-spec: "ip4-03"
 471 #       build: "4"
 472 #     - job-spec: "ip4tun-00"
 473 #       build: "5"
 474 #     - job-spec: "ip6-00"
 475 #       build: "6"
 476 #     - job-spec: "ip6-01"
 477 #       build: "7"
 478 #     - job-spec: "l2-00"
 479 #       build: "8"
 480 #     - job-spec: "l2-01"
 481 #       build: "9"
 482 #     - job-spec: "l2-02"
 483 #       build: "10"
 484 #     - job-spec: "l2-03"
 485 #       build: "11"
 486 #     - job-spec: "l2-04"
 487 #       build: "12"
 488 #     - job-spec: "memif-00"
 489 #       build: "13"
 490 #     - job-spec: "srv6-00"
 491 #       build: "14"
 492 #     - job-spec: "srv6-01"
 493 #       build: "15"
 494 #     - job-spec: "vhost-00"
 495 #       build: "16"
 496 #     - job-spec: "vhost-01"
 497 #       build: "17"
 498
 499 # VPP Latency Changes 3n-skx 2t1c
 500 - type: "table"
 501   title: "VPP Latency Changes 3n-skx 2t1c PDR50-direction1-avg"
 502   algorithm: "table_comparison"
 503   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-skx-xxv710-2t1c-pdr50-d1-avg"
 504   include-tests: "latency-PDR50-direction1-avg"
 505   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
 506   columns:
 507     - title: "2106.0-8"
 508       data-set: "vpp-3n-skx-hist-iter-new-env"
 509     - title: "2110.0-8"
 510       data-set: "vpp-3n-skx-prev-iter-old-env"
 511     - title: "2110.0-9"
 512       data-set: "vpp-3n-skx-prev-iter-new-env"
 513     - title: "2202.0-9"
 514       data-set: "vpp-3n-skx-curr-iter"
 515   comparisons:
 516     - title: "2110.0-9 vs 2110.0-8"
 517       reference: 2
 518       compare: 3
 519     - title: "2202.0-9 vs 2110.0-9"
 520       reference: 3
 521       compare: 4
 522   legend:
 523     - ''
 524     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
 525     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
 526     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
 527     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
 528     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
 529
 530 # VPP Latency Changes 3n-skx 2t1c
 531 - type: "table"
 532   title: "VPP Latency Changes 3n-skx 2t1c PDR90-direction1-avg"
 533   algorithm: "table_comparison"
 534   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-skx-xxv710-2t1c-pdr90-d1-avg"
 535   include-tests: "latency-PDR90-direction1-avg"
 536   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
 537   columns:
 538     - title: "2106.0-8"
 539       data-set: "vpp-3n-skx-hist-iter-new-env"
 540     - title: "2110.0-8"
 541       data-set: "vpp-3n-skx-prev-iter-old-env"
 542     - title: "2110.0-9"
 543       data-set: "vpp-3n-skx-prev-iter-new-env"
 544     - title: "2202.0-9"
 545       data-set: "vpp-3n-skx-curr-iter"
 546   comparisons:
 547     - title: "2110.0-9 vs 2110.0-8"
 548       reference: 2
 549       compare: 3
 550     - title: "2202.0-9 vs 2110.0-9"
 551       reference: 3
 552       compare: 4
 553   legend:
 554     - ''
 555     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
 556     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
 557     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
 558     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
 559     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
 560
 561 # VPP Latency Changes 3n-skx 2t1c
 562 - type: "table"
 563   title: "VPP Latency Changes 3n-skx 2t1c PDR90-direction1-max"
 564   algorithm: "table_comparison"
 565   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-skx-xxv710-2t1c-pdr90-d1-max"
 566   include-tests: "latency-PDR90-direction1-max"
 567   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
 568   columns:
 569     - title: "2106.0-8"
 570       data-set: "vpp-3n-skx-hist-iter-new-env"
 571     - title: "2110.0-8"
 572       data-set: "vpp-3n-skx-prev-iter-old-env"
 573     - title: "2110.0-9"
 574       data-set: "vpp-3n-skx-prev-iter-new-env"
 575     - title: "2202.0-9"
 576       data-set: "vpp-3n-skx-curr-iter"
 577   comparisons:
 578     - title: "2110.0-9 vs 2110.0-8"
 579       reference: 2
 580       compare: 3
 581     - title: "2202.0-9 vs 2110.0-9"
 582       reference: 3
 583       compare: 4
 584   legend:
 585     - ''
 586     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
 587     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
 588     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
 589     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
 590     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
 591
 592 # VPP Latency Changes 2n-skx 2t1c
 593 - type: "table"
 594   title: "VPP Latency Changes 2n-skx 2t1c PDR50-direction1-avg"
 595   algorithm: "table_comparison"
 596   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-skx-xxv710-2t1c-pdr50-d1-avg"
 597   include-tests: "latency-PDR50-direction1-avg"
 598   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
 599   columns:
 600     - title: "2106.0-8"
 601       data-set: "vpp-2n-skx-hist-iter-new-env"
 602     - title: "2110.0-8"
 603       data-set: "vpp-2n-skx-prev-iter-old-env"
 604     - title: "2110.0-9"
 605       data-set: "vpp-2n-skx-prev-iter-new-env"
 606     - title: "2202.0-9"
 607       data-set: "vpp-2n-skx-curr-iter"
 608   comparisons:
 609     - title: "2110.0-9 vs 2110.0-8"
 610       reference: 2
 611       compare: 3
 612     - title: "2202.0-9 vs 2110.0-9"
 613       reference: 3
 614       compare: 4
 615   legend:
 616     - ''
 617     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
 618     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
 619     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
 620     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
 621     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
 622
 623 # VPP Latency Changes 2n-skx 2t1c
 624 - type: "table"
 625   title: "VPP Latency Changes 2n-skx 2t1c PDR90-direction1-avg"
 626   algorithm: "table_comparison"
 627   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-skx-xxv710-2t1c-pdr90-d1-avg"
 628   include-tests: "latency-PDR90-direction1-avg"
 629   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
 630   columns:
 631     - title: "2106.0-8"
 632       data-set: "vpp-2n-skx-hist-iter-new-env"
 633     - title: "2110.0-8"
 634       data-set: "vpp-2n-skx-prev-iter-old-env"
 635     - title: "2110.0-9"
 636       data-set: "vpp-2n-skx-prev-iter-new-env"
 637     - title: "2202.0-9"
 638       data-set: "vpp-2n-skx-curr-iter"
 639   comparisons:
 640     - title: "2110.0-9 vs 2110.0-8"
 641       reference: 2
 642       compare: 3
 643     - title: "2202.0-9 vs 2110.0-9"
 644       reference: 3
 645       compare: 4
 646   legend:
 647     - ''
 648     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
 649     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
 650     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
 651     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
 652     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
 653
 654 # VPP Latency Changes 2n-skx 2t1c
 655 - type: "table"
 656   title: "VPP Latency Changes 2n-skx 2t1c PDR90-direction1-max"
 657   algorithm: "table_comparison"
 658   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-skx-xxv710-2t1c-pdr90-d1-max"
 659   include-tests: "latency-PDR90-direction1-max"
 660   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
 661   columns:
 662     - title: "2106.0-8"
 663       data-set: "vpp-2n-skx-hist-iter-new-env"
 664     - title: "2110.0-8"
 665       data-set: "vpp-2n-skx-prev-iter-old-env"
 666     - title: "2110.0-9"
 667       data-set: "vpp-2n-skx-prev-iter-new-env"
 668     - title: "2202.0-9"
 669       data-set: "vpp-2n-skx-curr-iter"
 670   comparisons:
 671     - title: "2110.0-9 vs 2110.0-8"
 672       reference: 2
 673       compare: 3
 674     - title: "2202.0-9 vs 2110.0-9"
 675       reference: 3
 676       compare: 4
 677   legend:
 678     - ''
 679     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
 680     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
 681     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
 682     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
 683     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
 684
 685 # VPP Latency Changes 2n-clx 2t1c
 686 - type: "table"
 687   title: "VPP Latency Changes 2n-clx 2t1c PDR50-direction1-avg"
 688   algorithm: "table_comparison"
 689   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-xxv710-2t1c-pdr50-d1-avg"
 690   include-tests: "latency-PDR50-direction1-avg"
 691   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
 692   columns:
 693     - title: "2106.0-8"
 694       data-set: "vpp-2n-clx-hist-iter-new-env"
 695     - title: "2110.0-8"
 696       data-set: "vpp-2n-clx-prev-iter-old-env"
 697     - title: "2110.0-9"
 698       data-set: "vpp-2n-clx-prev-iter-new-env"
 699     - title: "2202.0-9"
 700       data-set: "vpp-2n-clx-curr-iter"
 701   comparisons:
 702     - title: "2110.0-9 vs 2110.0-8"
 703       reference: 2
 704       compare: 3
 705     - title: "2202.0-9 vs 2110.0-9"
 706       reference: 3
 707       compare: 4
 708   legend:
 709     - ''
 710     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
 711     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
 712     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
 713     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
 714     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
 715
 716 # VPP Latency Changes 2n-clx 2t1c
 717 - type: "table"
 718   title: "VPP Latency Changes 2n-clx 2t1c PDR90-direction1-avg"
 719   algorithm: "table_comparison"
 720   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-xxv710-2t1c-pdr90-d1-avg"
 721   include-tests: "latency-PDR90-direction1-avg"
 722   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
 723   columns:
 724     - title: "2106.0-8"
 725       data-set: "vpp-2n-clx-hist-iter-new-env"
 726     - title: "2110.0-8"
 727       data-set: "vpp-2n-clx-prev-iter-old-env"
 728     - title: "2110.0-9"
 729       data-set: "vpp-2n-clx-prev-iter-new-env"
 730     - title: "2202.0-9"
 731       data-set: "vpp-2n-clx-curr-iter"
 732   comparisons:
 733     - title: "2110.0-9 vs 2110.0-8"
 734       reference: 2
 735       compare: 3
 736     - title: "2202.0-9 vs 2110.0-9"
 737       reference: 3
 738       compare: 4
 739   legend:
 740     - ''
 741     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
 742     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
 743     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
 744     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
 745     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
 746
 747 # VPP Latency Changes 2n-clx 2t1c
 748 - type: "table"
 749   title: "VPP Latency Changes 2n-clx 2t1c PDR90-direction1-max"
 750   algorithm: "table_comparison"
 751   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-xxv710-2t1c-pdr90-d1-max"
 752   include-tests: "latency-PDR90-direction1-max"
 753   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
 754   columns:
 755     - title: "2106.0-8"
 756       data-set: "vpp-2n-clx-hist-iter-new-env"
 757     - title: "2110.0-8"
 758       data-set: "vpp-2n-clx-prev-iter-old-env"
 759     - title: "2110.0-9"
 760       data-set: "vpp-2n-clx-prev-iter-new-env"
 761     - title: "2202.0-9"
 762       data-set: "vpp-2n-clx-curr-iter"
 763   comparisons:
 764     - title: "2110.0-9 vs 2110.0-8"
 765       reference: 2
 766       compare: 3
 767     - title: "2202.0-9 vs 2110.0-9"
 768       reference: 3
 769       compare: 4
 770   legend:
 771     - ''
 772     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
 773     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
 774     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
 775     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
 776     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
 777
 778 # VPP Latency Changes 2n-clx 2t1c
 779 - type: "table"
 780   title: "VPP Latency Changes 2n-clx 2t1c PDR50-direction1-avg"
 781   algorithm: "table_comparison"
 782   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-cx556a-2t1c-pdr50-d1-avg"
 783   include-tests: "latency-PDR50-direction1-avg"
 784   filter: "'2T1C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
 785   columns:
 786     - title: "2106.0-8"
 787       data-set: "vpp-2n-clx-hist-iter-new-env"
 788     - title: "2110.0-8"
 789       data-set: "vpp-2n-clx-prev-iter-old-env"
 790     - title: "2110.0-9"
 791       data-set: "vpp-2n-clx-prev-iter-new-env"
 792     - title: "2202.0-9"
 793       data-set: "vpp-2n-clx-curr-iter"
 794   comparisons:
 795     - title: "2110.0-9 vs 2110.0-8"
 796       reference: 2
 797       compare: 3
 798     - title: "2202.0-9 vs 2110.0-9"
 799       reference: 3
 800       compare: 4
 801   legend:
 802     - ''
 803     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
 804     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
 805     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
 806     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
 807     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
 808
 809 # VPP Latency Changes 2n-clx 2t1c
 810 - type: "table"
 811   title: "VPP Latency Changes 2n-clx 2t1c PDR90-direction1-avg"
 812   algorithm: "table_comparison"
 813   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-cx556a-2t1c-pdr90-d1-avg"
 814   include-tests: "latency-PDR90-direction1-avg"
 815   filter: "'2T1C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
 816   columns:
 817     - title: "2106.0-8"
 818       data-set: "vpp-2n-clx-hist-iter-new-env"
 819     - title: "2110.0-8"
 820       data-set: "vpp-2n-clx-prev-iter-old-env"
 821     - title: "2110.0-9"
 822       data-set: "vpp-2n-clx-prev-iter-new-env"
 823     - title: "2202.0-9"
 824       data-set: "vpp-2n-clx-curr-iter"
 825   comparisons:
 826     - title: "2110.0-9 vs 2110.0-8"
 827       reference: 2
 828       compare: 3
 829     - title: "2202.0-9 vs 2110.0-9"
 830       reference: 3
 831       compare: 4
 832   legend:
 833     - ''
 834     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
 835     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
 836     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
 837     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
 838     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
 839
 840 # VPP Latency Changes 2n-clx 2t1c
 841 - type: "table"
 842   title: "VPP Latency Changes 2n-clx 2t1c PDR90-direction1-max"
 843   algorithm: "table_comparison"
 844   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-clx-cx556a-2t1c-pdr90-d1-max"
 845   include-tests: "latency-PDR90-direction1-max"
 846   filter: "'2T1C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
 847   columns:
 848     - title: "2106.0-8"
 849       data-set: "vpp-2n-clx-hist-iter-new-env"
 850     - title: "2110.0-8"
 851       data-set: "vpp-2n-clx-prev-iter-old-env"
 852     - title: "2110.0-9"
 853       data-set: "vpp-2n-clx-prev-iter-new-env"
 854     - title: "2202.0-9"
 855       data-set: "vpp-2n-clx-curr-iter"
 856   comparisons:
 857     - title: "2110.0-9 vs 2110.0-8"
 858       reference: 2
 859       compare: 3
 860     - title: "2202.0-9 vs 2110.0-9"
 861       reference: 3
 862       compare: 4
 863   legend:
 864     - ''
 865     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
 866     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
 867     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
 868     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
 869     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
 870
 871 # VPP Latency Changes 2n-zn2 2t1c
 872 - type: "table"
 873   title: "VPP Latency Changes 2n-zn2 2t1c PDR50-direction1-avg"
 874   algorithm: "table_comparison"
 875   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-zn2-xxv710-2t1c-pdr50-d1-avg"
 876   include-tests: "latency-PDR50-direction1-avg"
 877   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
 878   columns:
 879     - title: "2106.0-8"
 880       data-set: "vpp-2n-zn2-hist-iter-new-env"
 881     - title: "2110.0-8"
 882       data-set: "vpp-2n-zn2-prev-iter-old-env"
 883     - title: "2110.0-9"
 884       data-set: "vpp-2n-zn2-prev-iter-new-env"
 885     - title: "2202.0-9"
 886       data-set: "vpp-2n-zn2-curr-iter"
 887   comparisons:
 888     - title: "2110.0-9 vs 2110.0-8"
 889       reference: 2
 890       compare: 3
 891     - title: "2202.0-9 vs 2110.0-9"
 892       reference: 3
 893       compare: 4
 894   legend:
 895     - ''
 896     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
 897     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
 898     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
 899     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
 900     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
 901
 902 # VPP Latency Changes 2n-zn2 2t1c
 903 - type: "table"
 904   title: "VPP Latency Changes 2n-zn2 2t1c PDR90-direction1-avg"
 905   algorithm: "table_comparison"
 906   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-zn2-xxv710-2t1c-pdr90-d1-avg"
 907   include-tests: "latency-PDR90-direction1-avg"
 908   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
 909   columns:
 910     - title: "2106.0-8"
 911       data-set: "vpp-2n-zn2-hist-iter-new-env"
 912     - title: "2110.0-8"
 913       data-set: "vpp-2n-zn2-prev-iter-old-env"
 914     - title: "2110.0-9"
 915       data-set: "vpp-2n-zn2-prev-iter-new-env"
 916     - title: "2202.0-9"
 917       data-set: "vpp-2n-zn2-curr-iter"
 918   comparisons:
 919     - title: "2110.0-9 vs 2110.0-8"
 920       reference: 2
 921       compare: 3
 922     - title: "2202.0-9 vs 2110.0-9"
 923       reference: 3
 924       compare: 4
 925   legend:
 926     - ''
 927     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
 928     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
 929     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
 930     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
 931     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
 932
 933 # VPP Latency Changes 2n-zn2 2t1c
 934 - type: "table"
 935   title: "VPP Latency Changes 2n-zn2 2t1c PDR90-direction1-max"
 936   algorithm: "table_comparison"
 937   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-zn2-xxv710-2t1c-pdr90-d1-max"
 938   include-tests: "latency-PDR90-direction1-max"
 939   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
 940   columns:
 941     - title: "2106.0-8"
 942       data-set: "vpp-2n-zn2-hist-iter-new-env"
 943     - title: "2110.0-8"
 944       data-set: "vpp-2n-zn2-prev-iter-old-env"
 945     - title: "2110.0-9"
 946       data-set: "vpp-2n-zn2-prev-iter-new-env"
 947     - title: "2202.0-9"
 948       data-set: "vpp-2n-zn2-curr-iter"
 949   comparisons:
 950     - title: "2110.0-9 vs 2110.0-8"
 951       reference: 2
 952       compare: 3
 953     - title: "2202.0-9 vs 2110.0-9"
 954       reference: 3
 955       compare: 4
 956   legend:
 957     - ''
 958     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
 959     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
 960     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
 961     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
 962     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
 963
 964 # VPP Latency Changes 2n-tx2 1t1c
 965 - type: "table"
 966   title: "VPP Latency Changes 2n-tx2 1t1c PDR50-direction1-avg"
 967   algorithm: "table_comparison"
 968   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-tx2-xl710-1t1c-pdr50-d1-avg"
 969   include-tests: "latency-PDR50-direction1-avg"
 970   filter: "'1T1C' and 'NDRPDR'"
 971   columns:
 972     - title: "2106.0-8"
 973       data-set: "vpp-2n-tx2-hist-iter-new-env"
 974     - title: "2110.0-8"
 975       data-set: "vpp-2n-tx2-prev-iter-old-env"
 976     - title: "2110.0-9"
 977       data-set: "vpp-2n-tx2-prev-iter-new-env"
 978     - title: "2202.0-9"
 979       data-set: "vpp-2n-tx2-curr-iter"
 980   comparisons:
 981     - title: "2110.0-9 vs 2110.0-8"
 982       reference: 2
 983       compare: 3
 984     - title: "2202.0-9 vs 2110.0-9"
 985       reference: 3
 986       compare: 4
 987   legend:
 988     - ''
 989     - 'Test Case:            Test cases executed for: PDR throughput on 2n-tx2 with xl710.'
 990     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
 991     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
 992     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
 993     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
 994
 995 # VPP Latency Changes 2n-tx2 1t1c
 996 - type: "table"
 997   title: "VPP Latency Changes 2n-tx2 1t1c PDR90-direction1-avg"
 998   algorithm: "table_comparison"
 999   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-tx2-xl710-1t1c-pdr90-d1-avg"
1000   include-tests: "latency-PDR90-direction1-avg"
1001   filter: "'1T1C' and 'NDRPDR'"
1002   columns:
1003     - title: "2106.0-8"
1004       data-set: "vpp-2n-tx2-hist-iter-new-env"
1005     - title: "2110.0-8"
1006       data-set: "vpp-2n-tx2-prev-iter-old-env"
1007     - title: "2110.0-9"
1008       data-set: "vpp-2n-tx2-prev-iter-new-env"
1009     - title: "2202.0-9"
1010       data-set: "vpp-2n-tx2-curr-iter"
1011   comparisons:
1012     - title: "2110.0-9 vs 2110.0-8"
1013       reference: 2
1014       compare: 3
1015     - title: "2202.0-9 vs 2110.0-9"
1016       reference: 3
1017       compare: 4
1018   legend:
1019     - ''
1020     - 'Test Case:            Test cases executed for: PDR throughput on 2n-tx2 with xl710.'
1021     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1022     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1023     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1024     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1025
1026 # VPP Latency Changes 2n-tx2 1t1c
1027 - type: "table"
1028   title: "VPP Latency Changes 2n-tx2 1t1c PDR90-direction1-max"
1029   algorithm: "table_comparison"
1030   output-file: "{DIR[STATIC,VPP]}/latency-changes-2n-tx2-xl710-1t1c-pdr90-d1-max"
1031   include-tests: "latency-PDR90-direction1-max"
1032   filter: "'1T1C' and 'NDRPDR'"
1033   columns:
1034     - title: "2106.0-8"
1035       data-set: "vpp-2n-tx2-hist-iter-new-env"
1036     - title: "2110.0-8"
1037       data-set: "vpp-2n-tx2-prev-iter-old-env"
1038     - title: "2110.0-9"
1039       data-set: "vpp-2n-tx2-prev-iter-new-env"
1040     - title: "2202.0-9"
1041       data-set: "vpp-2n-tx2-curr-iter"
1042   comparisons:
1043     - title: "2110.0-9 vs 2110.0-8"
1044       reference: 2
1045       compare: 3
1046     - title: "2202.0-9 vs 2110.0-9"
1047       reference: 3
1048       compare: 4
1049   legend:
1050     - ''
1051     - 'Test Case:            Test cases executed for: PDR throughput on 2n-tx2 with xl710.'
1052     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1053     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1054     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1055     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1056
1057 # VPP Latency Changes 3n-tsh 1t1c
1058 - type: "table"
1059   title: "VPP Latency Changes 3n-tsh 1t1c PDR50-direction1-avg"
1060   algorithm: "table_comparison"
1061   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-tsh-x520-1t1c-pdr50-d1-avg"
1062   include-tests: "latency-PDR50-direction1-avg"
1063   filter: "'1T1C' and 'NDRPDR'"
1064   columns:
1065     - title: "2106.0-8"
1066       data-set: "vpp-3n-tsh-hist-iter-new-env"
1067     - title: "2110.0-8"
1068       data-set: "vpp-3n-tsh-prev-iter-old-env"
1069     - title: "2110.0-9"
1070       data-set: "vpp-3n-tsh-prev-iter-new-env"
1071     - title: "2202.0-9"
1072       data-set: "vpp-3n-tsh-curr-iter"
1073   comparisons:
1074     - title: "2110.0-9 vs 2110.0-8"
1075       reference: 2
1076       compare: 3
1077     - title: "2202.0-9 vs 2110.0-9"
1078       reference: 3
1079       compare: 4
1080   legend:
1081     - ''
1082     - 'Test Case:            Test cases executed for: PDR throughput on 3n-tsh with x520.'
1083     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1084     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1085     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1086     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1087
1088 # VPP Latency Changes 3n-tsh 1t1c
1089 - type: "table"
1090   title: "VPP Latency Changes 3n-tsh 1t1c PDR90-direction1-avg"
1091   algorithm: "table_comparison"
1092   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-tsh-x520-1t1c-pdr90-d1-avg"
1093   include-tests: "latency-PDR90-direction1-avg"
1094   filter: "'1T1C' and 'NDRPDR'"
1095   columns:
1096     - title: "2106.0-8"
1097       data-set: "vpp-3n-tsh-hist-iter-new-env"
1098     - title: "2110.0-8"
1099       data-set: "vpp-3n-tsh-prev-iter-old-env"
1100     - title: "2110.0-9"
1101       data-set: "vpp-3n-tsh-prev-iter-new-env"
1102     - title: "2202.0-9"
1103       data-set: "vpp-3n-tsh-curr-iter"
1104   comparisons:
1105     - title: "2110.0-9 vs 2110.0-8"
1106       reference: 2
1107       compare: 3
1108     - title: "2202.0-9 vs 2110.0-9"
1109       reference: 3
1110       compare: 4
1111   legend:
1112     - ''
1113     - 'Test Case:            Test cases executed for: PDR throughput on 3n-tsh with x520.'
1114     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1115     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1116     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1117     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1118
1119 # VPP Latency Changes 3n-tsh 1t1c
1120 - type: "table"
1121   title: "VPP Latency Changes 3n-tsh 1t1c PDR90-direction1-max"
1122   algorithm: "table_comparison"
1123   output-file: "{DIR[STATIC,VPP]}/latency-changes-3n-tsh-x520-1t1c-pdr90-d1-max"
1124   include-tests: "latency-PDR90-direction1-max"
1125   filter: "'1T1C' and 'NDRPDR'"
1126   columns:
1127     - title: "2106.0-8"
1128       data-set: "vpp-3n-tsh-hist-iter-new-env"
1129     - title: "2110.0-8"
1130       data-set: "vpp-3n-tsh-prev-iter-old-env"
1131     - title: "2110.0-9"
1132       data-set: "vpp-3n-tsh-prev-iter-new-env"
1133     - title: "2202.0-9"
1134       data-set: "vpp-3n-tsh-curr-iter"
1135   comparisons:
1136     - title: "2110.0-9 vs 2110.0-8"
1137       reference: 2
1138       compare: 3
1139     - title: "2202.0-9 vs 2110.0-9"
1140       reference: 3
1141       compare: 4
1142   legend:
1143     - ''
1144     - 'Test Case:            Test cases executed for: PDR throughput on 3n-tsh with x520.'
1145     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1146     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1147     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1148     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1149
1150 # VPP Soak vs NDR - 2n-skx
1151 - type: "table"
1152   title: "VPP Soak vs NDR 2n-skx"
1153   algorithm: "table_soak_vs_ndr"
1154   output-file: "{DIR[STATIC,VPP]}/soak-vs-ndr-2n-skx"
1155   reference:
1156     title: "NDR"
1157     data: "vpp-soak-vs-ndr-2n-skx-ref"
1158   compare:
1159     title: "Soak"
1160     data: "vpp-2n-skx-curr-soak"
1161   data: "vpp-soak-vs-ndr-2n-skx"
1162   include-tests: "NDR"
1163   filter: "('NDRPDR' or 'SOAK') and not 'NF_DENSITY'"
1164   parameters:
1165     - "throughput"
1166     - "name"
1167     - "parent"
1168
1169 # VPP Soak vs NDR - 2n-clx
1170 - type: "table"
1171   title: "VPP Soak vs NDR 2n-clx"
1172   algorithm: "table_soak_vs_ndr"
1173   output-file: "{DIR[STATIC,VPP]}/soak-vs-ndr-2n-clx"
1174   reference:
1175     title: "NDR"
1176     data: "vpp-soak-vs-ndr-2n-clx-ref"
1177   compare:
1178     title: "Soak"
1179     data: "vpp-2n-clx-curr-soak"
1180   data: "vpp-soak-vs-ndr-2n-clx"
1181   include-tests: "NDR"
1182   filter: "('NDRPDR' or 'SOAK') and not 'NF_DENSITY'"
1183   parameters:
1184     - "throughput"
1185     - "name"
1186     - "parent"
1187
1188 ################################################################################
1189
1190 # VPP Compare NICs 3n-skx 2t1c ndr
1191 - type: "table"
1192   title: "VPP Compare NICs 3n-skx 2t1c ndr"
1193   algorithm: "table_comparison"
1194   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-ndr"
1195   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1196   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
1197   columns:
1198     - title: "x710"
1199       data-set: "vpp-3n-skx-curr-iter"
1200       tag: "NIC_Intel-X710"
1201     - title: "xxv710"
1202       data-set: "vpp-3n-skx-curr-iter"
1203       tag: "NIC_Intel-XXV710"
1204   comparisons:
1205     - title: "Diff"
1206       reference: 1
1207       compare: 2
1208   legend:
1209     - ""
1210     - "x710, xxv710 - NICs tested."
1211     - "Diff - difference between x710 and xxv710 NIC."
1212
1213 # VPP Compare NICs 3n-skx 4t2c ndr
1214 - type: "table"
1215   title: "VPP Compare NICs 3n-skx 4t2c ndr"
1216   algorithm: "table_comparison"
1217   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-ndr"
1218   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1219   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
1220   columns:
1221     - title: "x710"
1222       data-set: "vpp-3n-skx-curr-iter"
1223       tag: "NIC_Intel-X710"
1224     - title: "xxv710"
1225       data-set: "vpp-3n-skx-curr-iter"
1226       tag: "NIC_Intel-XXV710"
1227   comparisons:
1228     - title: "Diff"
1229       reference: 1
1230       compare: 2
1231   legend:
1232     - ""
1233     - "x710, xxv710 - NICs tested."
1234     - "Diff - difference between x710 and xxv710 NIC."
1235
1236 # VPP Compare NICs 3n-skx 2t1c pdr
1237 - type: "table"
1238   title: "VPP Compare NICs 3n-skx 2t1c pdr"
1239   algorithm: "table_comparison"
1240   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-pdr"
1241   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1242   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
1243   columns:
1244     - title: "x710"
1245       data-set: "vpp-3n-skx-curr-iter"
1246       tag: "NIC_Intel-X710"
1247     - title: "xxv710"
1248       data-set: "vpp-3n-skx-curr-iter"
1249       tag: "NIC_Intel-XXV710"
1250   comparisons:
1251     - title: "Diff"
1252       reference: 1
1253       compare: 2
1254   legend:
1255     - ""
1256     - "x710, xxv710 - NICs tested."
1257     - "Diff - difference between x710 and xxv710 NIC."
1258
1259 # VPP Compare NICs 3n-skx 4t2c pdr
1260 - type: "table"
1261   title: "VPP Compare NICs 3n-skx 4t2c pdr"
1262   algorithm: "table_comparison"
1263   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-pdr"
1264   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1265   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
1266   columns:
1267     - title: "x710"
1268       data-set: "vpp-3n-skx-curr-iter"
1269       tag: "NIC_Intel-X710"
1270     - title: "xxv710"
1271       data-set: "vpp-3n-skx-curr-iter"
1272       tag: "NIC_Intel-XXV710"
1273   comparisons:
1274     - title: "Diff"
1275       reference: 1
1276       compare: 2
1277   legend:
1278     - ""
1279     - "x710, xxv710 - NICs tested."
1280     - "Diff - difference between x710 and xxv710 NIC."
1281
1282 # VPP Compare NICs 3n-skx 2t1c mrr
1283 - type: "table"
1284   title: "VPP Compare NICs 3n-skx 2t1c mrr"
1285   algorithm: "table_comparison"
1286   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-mrr"
1287   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1288   filter: "'2T1C' and 'MRR' and not 'NF_DENSITY'"
1289   columns:
1290     - title: "x710"
1291       data-set: "vpp-3n-skx-curr-iter-mrr"
1292       tag: "NIC_Intel-X710"
1293     - title: "xxv710"
1294       data-set: "vpp-3n-skx-curr-iter-mrr"
1295       tag: "NIC_Intel-XXV710"
1296   comparisons:
1297     - title: "Diff"
1298       reference: 1
1299       compare: 2
1300   legend:
1301     - ""
1302     - "x710, xxv710 - NICs tested."
1303     - "Diff - difference between x710 and xxv710 NIC."
1304
1305 # VPP Compare NICs 3n-skx 4t2c mrr
1306 - type: "table"
1307   title: "VPP Compare NICs 3n-skx 4t2c mrr"
1308   algorithm: "table_comparison"
1309   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-mrr"
1310   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1311   filter: "'4T2C' and 'MRR' and not 'NF_DENSITY'"
1312   columns:
1313     - title: "x710"
1314       data-set: "vpp-3n-skx-curr-iter-mrr"
1315       tag: "NIC_Intel-X710"
1316     - title: "xxv710"
1317       data-set: "vpp-3n-skx-curr-iter-mrr"
1318       tag: "NIC_Intel-XXV710"
1319   comparisons:
1320     - title: "Diff"
1321       reference: 1
1322       compare: 2
1323   legend:
1324     - ""
1325     - "x710, xxv710 - NICs tested."
1326     - "Diff - difference between x710 and xxv710 NIC."
1327
1328 # VPP Compare NICs 3n-skx 8t4c mrr
1329 - type: "table"
1330   title: "VPP Compare NICs 3n-skx 8t4c mrr"
1331   algorithm: "table_comparison"
1332   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-8t4c-nics-mrr"
1333   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1334   filter: "'8T4C' and 'MRR' and not 'NF_DENSITY'"
1335   columns:
1336     - title: "x710"
1337       data-set: "vpp-3n-skx-curr-iter-mrr"
1338       tag: "NIC_Intel-X710"
1339     - title: "xxv710"
1340       data-set: "vpp-3n-skx-curr-iter-mrr"
1341       tag: "NIC_Intel-XXV710"
1342   comparisons:
1343     - title: "Diff"
1344       reference: 1
1345       compare: 2
1346   legend:
1347     - ""
1348     - "x710, xxv710 - NICs tested."
1349     - "Diff - difference between x710 and xxv710 NIC."
1350
1351 # VPP Compare NICs 2n-skx 2t1c ndr
1352 - type: "table"
1353   title: "VPP Compare NICs 2n-skx 2t1c ndr"
1354   algorithm: "table_comparison"
1355   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-nics-ndr"
1356   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1357   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
1358   columns:
1359     - title: "x710"
1360       data-set: "vpp-2n-skx-curr-iter"
1361       tag: "NIC_Intel-X710"
1362     - title: "xxv710"
1363       data-set: "vpp-2n-skx-curr-iter"
1364       tag: "NIC_Intel-XXV710"
1365   comparisons:
1366     - title: "Diff"
1367       reference: 1
1368       compare: 2
1369   legend:
1370     - ""
1371     - "x710, xxv710 - NICs tested."
1372     - "Diff - difference between x710 and xxv710 NIC."
1373
1374 # VPP Compare NICs 2n-skx 4t2c ndr
1375 - type: "table"
1376   title: "VPP Compare NICs 2n-skx 4t2c ndr"
1377   algorithm: "table_comparison"
1378   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-nics-ndr"
1379   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1380   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
1381   columns:
1382     - title: "x710"
1383       data-set: "vpp-2n-skx-curr-iter"
1384       tag: "NIC_Intel-X710"
1385     - title: "xxv710"
1386       data-set: "vpp-2n-skx-curr-iter"
1387       tag: "NIC_Intel-XXV710"
1388   comparisons:
1389     - title: "Diff"
1390       reference: 1
1391       compare: 2
1392   legend:
1393     - ""
1394     - "x710, xxv710 - NICs tested."
1395     - "Diff - difference between x710 and xxv710 NIC."
1396
1397 # VPP Compare NICs 2n-skx 2t1c pdr
1398 - type: "table"
1399   title: "VPP Compare NICs 2n-skx 2t1c pdr"
1400   algorithm: "table_comparison"
1401   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-nics-pdr"
1402   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1403   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
1404   columns:
1405     - title: "x710"
1406       data-set: "vpp-2n-skx-curr-iter"
1407       tag: "NIC_Intel-X710"
1408     - title: "xxv710"
1409       data-set: "vpp-2n-skx-curr-iter"
1410       tag: "NIC_Intel-XXV710"
1411   comparisons:
1412     - title: "Diff"
1413       reference: 1
1414       compare: 2
1415   legend:
1416     - ""
1417     - "x710, xxv710 - NICs tested."
1418     - "Diff - difference between x710 and xxv710 NIC."
1419
1420 # VPP Compare NICs 2n-skx 4t2c pdr
1421 - type: "table"
1422   title: "VPP Compare NICs 2n-skx 4t2c pdr"
1423   algorithm: "table_comparison"
1424   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-nics-pdr"
1425   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1426   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
1427   columns:
1428     - title: "x710"
1429       data-set: "vpp-2n-skx-curr-iter"
1430       tag: "NIC_Intel-X710"
1431     - title: "xxv710"
1432       data-set: "vpp-2n-skx-curr-iter"
1433       tag: "NIC_Intel-XXV710"
1434   comparisons:
1435     - title: "Diff"
1436       reference: 1
1437       compare: 2
1438   legend:
1439     - ""
1440     - "x710, xxv710 - NICs tested."
1441     - "Diff - difference between x710 and xxv710 NIC."
1442
1443 # VPP Compare NICs 2n-skx 2t1c mrr
1444 - type: "table"
1445   title: "VPP Compare NICs 2n-skx 2t1c mrr"
1446   algorithm: "table_comparison"
1447   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-nics-mrr"
1448   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1449   filter: "'2T1C' and 'MRR' and not 'NF_DENSITY'"
1450   columns:
1451     - title: "x710"
1452       data-set: "vpp-2n-skx-curr-iter-mrr"
1453       tag: "NIC_Intel-X710"
1454     - title: "xxv710"
1455       data-set: "vpp-2n-skx-curr-iter-mrr"
1456       tag: "NIC_Intel-XXV710"
1457   comparisons:
1458     - title: "Diff"
1459       reference: 1
1460       compare: 2
1461   legend:
1462     - ""
1463     - "x710, xxv710 - NICs tested."
1464     - "Diff - difference between x710 and xxv710 NIC."
1465
1466 # VPP Compare NICs 2n-skx 4t2c mrr
1467 - type: "table"
1468   title: "VPP Compare NICs 2n-skx 4t2c mrr"
1469   algorithm: "table_comparison"
1470   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-nics-mrr"
1471   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1472   filter: "'4T2C' and 'MRR' and not 'NF_DENSITY'"
1473   columns:
1474     - title: "x710"
1475       data-set: "vpp-2n-skx-curr-iter-mrr"
1476       tag: "NIC_Intel-X710"
1477     - title: "xxv710"
1478       data-set: "vpp-2n-skx-curr-iter-mrr"
1479       tag: "NIC_Intel-XXV710"
1480   comparisons:
1481     - title: "Diff"
1482       reference: 1
1483       compare: 2
1484   legend:
1485     - ""
1486     - "x710, xxv710 - NICs tested."
1487     - "Diff - difference between x710 and xxv710 NIC."
1488
1489 # VPP Compare NICs 2n-skx 8t4c mrr
1490 - type: "table"
1491   title: "VPP Compare NICs 2n-skx 8t4c mrr"
1492   algorithm: "table_comparison"
1493   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-8t4c-nics-mrr"
1494   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1495   filter: "'8T4C' and 'MRR' and not 'NF_DENSITY'"
1496   columns:
1497     - title: "x710"
1498       data-set: "vpp-2n-skx-curr-iter-mrr"
1499       tag: "NIC_Intel-X710"
1500     - title: "xxv710"
1501       data-set: "vpp-2n-skx-curr-iter-mrr"
1502       tag: "NIC_Intel-XXV710"
1503   comparisons:
1504     - title: "Diff"
1505       reference: 1
1506       compare: 2
1507   legend:
1508     - ""
1509     - "x710, xxv710 - NICs tested."
1510     - "Diff - difference between x710 and xxv710 NIC."
1511
1512 ################################################################################
1513 # VPP
1514
1515 # VPP Performance Changes 3n-skx 2t1c pdr
1516 - type: "table"
1517   title: "VPP Performance Changes 3n-skx 2t1c pdr"
1518   algorithm: "table_comparison"
1519   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-pdr"
1520   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1521   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1522   columns:
1523     - title: "2106.0-8"
1524       data-set: "vpp-3n-skx-hist-iter-new-env"
1525     - title: "2110.0-8"
1526       data-set: "vpp-3n-skx-prev-iter-old-env"
1527     - title: "2110.0-9"
1528       data-set: "vpp-3n-skx-prev-iter-new-env"
1529     - title: "2202.0-9"
1530       data-set: "vpp-3n-skx-curr-iter"
1531   comparisons:
1532     - title: "2110.0-9 vs 2110.0-8"
1533       reference: 2
1534       compare: 3
1535     - title: "2202.0-9 vs 2110.0-9"
1536       reference: 3
1537       compare: 4
1538   legend:
1539     - ''
1540     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
1541     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1542     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1543     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1544     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1545
1546 # VPP Performance Changes 3n-skx 4t2c pdr
1547 - type: "table"
1548   title: "VPP Performance Changes 3n-skx 4t2c pdr"
1549   algorithm: "table_comparison"
1550   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-pdr"
1551   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1552   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1553   columns:
1554     - title: "2106.0-8"
1555       data-set: "vpp-3n-skx-hist-iter-new-env"
1556     - title: "2110.0-8"
1557       data-set: "vpp-3n-skx-prev-iter-old-env"
1558     - title: "2110.0-9"
1559       data-set: "vpp-3n-skx-prev-iter-new-env"
1560     - title: "2202.0-9"
1561       data-set: "vpp-3n-skx-curr-iter"
1562   comparisons:
1563     - title: "2110.0-9 vs 2110.0-8"
1564       reference: 2
1565       compare: 3
1566     - title: "2202.0-9 vs 2110.0-9"
1567       reference: 3
1568       compare: 4
1569   legend:
1570     - ''
1571     - 'Test Case:            Test cases executed for: PDR throughput on 3n-skx with xxv710.'
1572     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1573     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1574     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1575     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1576
1577 # VPP Performance Changes 3n-skx 2t1c ndr
1578 - type: "table"
1579   title: "VPP Performance Changes 3n-skx 2t1c ndr"
1580   algorithm: "table_comparison"
1581   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-ndr"
1582   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1583   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1584   columns:
1585     - title: "2106.0-8"
1586       data-set: "vpp-3n-skx-hist-iter-new-env"
1587     - title: "2110.0-8"
1588       data-set: "vpp-3n-skx-prev-iter-old-env"
1589     - title: "2110.0-9"
1590       data-set: "vpp-3n-skx-prev-iter-new-env"
1591     - title: "2202.0-9"
1592       data-set: "vpp-3n-skx-curr-iter"
1593   comparisons:
1594     - title: "2110.0-9 vs 2110.0-8"
1595       reference: 2
1596       compare: 3
1597     - title: "2202.0-9 vs 2110.0-9"
1598       reference: 3
1599       compare: 4
1600   legend:
1601     - ''
1602     - 'Test Case:            Test cases executed for: NDR throughput on 3n-skx with xxv710.'
1603     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1604     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1605     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1606     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1607
1608 # VPP Performance Changes 3n-skx 4t2c ndr
1609 - type: "table"
1610   title: "VPP Performance Changes 3n-skx 4t2c ndr"
1611   algorithm: "table_comparison"
1612   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-ndr"
1613   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1614   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1615   columns:
1616     - title: "2106.0-8"
1617       data-set: "vpp-3n-skx-hist-iter-new-env"
1618     - title: "2110.0-8"
1619       data-set: "vpp-3n-skx-prev-iter-old-env"
1620     - title: "2110.0-9"
1621       data-set: "vpp-3n-skx-prev-iter-new-env"
1622     - title: "2202.0-9"
1623       data-set: "vpp-3n-skx-curr-iter"
1624   comparisons:
1625     - title: "2110.0-9 vs 2110.0-8"
1626       reference: 2
1627       compare: 3
1628     - title: "2202.0-9 vs 2110.0-9"
1629       reference: 3
1630       compare: 4
1631   legend:
1632     - ''
1633     - 'Test Case:            Test cases executed for: NDR throughput on 3n-skx with xxv710.'
1634     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1635     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1636     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1637     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1638
1639 # VPP Performance Changes 2n-skx 2t1c pdr
1640 - type: "table"
1641   title: "VPP Performance Changes 2n-skx 2t1c pdr"
1642   algorithm: "table_comparison"
1643   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-pdr"
1644   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1645   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1646   columns:
1647     - title: "2106.0-8"
1648       data-set: "vpp-2n-skx-hist-iter-new-env"
1649     - title: "2110.0-8"
1650       data-set: "vpp-2n-skx-prev-iter-old-env"
1651     - title: "2110.0-9"
1652       data-set: "vpp-2n-skx-prev-iter-new-env"
1653     - title: "2202.0-9"
1654       data-set: "vpp-2n-skx-curr-iter"
1655   comparisons:
1656     - title: "2110.0-9 vs 2110.0-8"
1657       reference: 2
1658       compare: 3
1659     - title: "2202.0-9 vs 2110.0-9"
1660       reference: 3
1661       compare: 4
1662   legend:
1663     - ''
1664     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
1665     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1666     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1667     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1668     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1669
1670 # VPP Performance Changes 2n-skx 4t2c pdr
1671 - type: "table"
1672   title: "VPP Performance Changes 2n-skx 4t2c pdr"
1673   algorithm: "table_comparison"
1674   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-pdr"
1675   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1676   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1677   columns:
1678     - title: "2106.0-8"
1679       data-set: "vpp-2n-skx-hist-iter-new-env"
1680     - title: "2110.0-8"
1681       data-set: "vpp-2n-skx-prev-iter-old-env"
1682     - title: "2110.0-9"
1683       data-set: "vpp-2n-skx-prev-iter-new-env"
1684     - title: "2202.0-9"
1685       data-set: "vpp-2n-skx-curr-iter"
1686   comparisons:
1687     - title: "2110.0-9 vs 2110.0-8"
1688       reference: 2
1689       compare: 3
1690     - title: "2202.0-9 vs 2110.0-9"
1691       reference: 3
1692       compare: 4
1693   legend:
1694     - ''
1695     - 'Test Case:            Test cases executed for: PDR throughput on 2n-skx with xxv710.'
1696     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1697     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1698     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1699     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1700
1701 # VPP Performance Changes 2n-skx 2t1c ndr
1702 - type: "table"
1703   title: "VPP Performance Changes 2n-skx 2t1c ndr"
1704   algorithm: "table_comparison"
1705   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-ndr"
1706   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1707   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1708   columns:
1709     - title: "2106.0-8"
1710       data-set: "vpp-2n-skx-hist-iter-new-env"
1711     - title: "2110.0-8"
1712       data-set: "vpp-2n-skx-prev-iter-old-env"
1713     - title: "2110.0-9"
1714       data-set: "vpp-2n-skx-prev-iter-new-env"
1715     - title: "2202.0-9"
1716       data-set: "vpp-2n-skx-curr-iter"
1717   comparisons:
1718     - title: "2110.0-9 vs 2110.0-8"
1719       reference: 2
1720       compare: 3
1721     - title: "2202.0-9 vs 2110.0-9"
1722       reference: 3
1723       compare: 4
1724   legend:
1725     - ''
1726     - 'Test Case:            Test cases executed for: NDR throughput on 2n-skx with xxv710.'
1727     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1728     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1729     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1730     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1731
1732 # VPP Performance Changes 2n-skx 4t2c ndr
1733 - type: "table"
1734   title: "VPP Performance Changes 2n-skx 4t2c ndr"
1735   algorithm: "table_comparison"
1736   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-ndr"
1737   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1738   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1739   columns:
1740     - title: "2106.0-8"
1741       data-set: "vpp-2n-skx-hist-iter-new-env"
1742     - title: "2110.0-8"
1743       data-set: "vpp-2n-skx-prev-iter-old-env"
1744     - title: "2110.0-9"
1745       data-set: "vpp-2n-skx-prev-iter-new-env"
1746     - title: "2202.0-9"
1747       data-set: "vpp-2n-skx-curr-iter"
1748   comparisons:
1749     - title: "2110.0-9 vs 2110.0-8"
1750       reference: 2
1751       compare: 3
1752     - title: "2202.0-9 vs 2110.0-9"
1753       reference: 3
1754       compare: 4
1755   legend:
1756     - ''
1757     - 'Test Case:            Test cases executed for: NDR throughput on 2n-skx with xxv710.'
1758     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1759     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1760     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1761     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1762
1763 # VPP Performance Changes 2n-clx-xxv710 2t1c pdr
1764 - type: "table"
1765   title: "VPP Performance Changes 2n-clx-xxv710 2t1c pdr"
1766   algorithm: "table_comparison"
1767   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-xxv710-2t1c-pdr"
1768   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1769   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1770   columns:
1771     - title: "2106.0-8"
1772       data-set: "vpp-2n-clx-hist-iter-new-env"
1773     - title: "2110.0-8"
1774       data-set: "vpp-2n-clx-prev-iter-old-env"
1775     - title: "2110.0-9"
1776       data-set: "vpp-2n-clx-prev-iter-new-env"
1777     - title: "2202.0-9"
1778       data-set: "vpp-2n-clx-curr-iter"
1779   comparisons:
1780     - title: "2110.0-9 vs 2110.0-8"
1781       reference: 2
1782       compare: 3
1783     - title: "2202.0-9 vs 2110.0-9"
1784       reference: 3
1785       compare: 4
1786   legend:
1787     - ''
1788     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
1789     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1790     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1791     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1792     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1793
1794 # VPP Performance Changes 2n-clx-xxv710 4t2c pdr
1795 - type: "table"
1796   title: "VPP Performance Changes 2n-clx-xxv710 4t2c pdr"
1797   algorithm: "table_comparison"
1798   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-xxv710-4t2c-pdr"
1799   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1800   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1801   columns:
1802     - title: "2106.0-8"
1803       data-set: "vpp-2n-clx-hist-iter-new-env"
1804     - title: "2110.0-8"
1805       data-set: "vpp-2n-clx-prev-iter-old-env"
1806     - title: "2110.0-9"
1807       data-set: "vpp-2n-clx-prev-iter-new-env"
1808     - title: "2202.0-9"
1809       data-set: "vpp-2n-clx-curr-iter"
1810   comparisons:
1811     - title: "2110.0-9 vs 2110.0-8"
1812       reference: 2
1813       compare: 3
1814     - title: "2202.0-9 vs 2110.0-9"
1815       reference: 3
1816       compare: 4
1817   legend:
1818     - ''
1819     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with xxv710.'
1820     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1821     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1822     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1823     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1824
1825 # VPP Performance Changes 2n-clx-xxv710 2t1c ndr
1826 - type: "table"
1827   title: "VPP Performance Changes 2n-clx-xxv710 2t1c ndr"
1828   algorithm: "table_comparison"
1829   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-xxv710-2t1c-ndr"
1830   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1831   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1832   columns:
1833     - title: "2106.0-8"
1834       data-set: "vpp-2n-clx-hist-iter-new-env"
1835     - title: "2110.0-8"
1836       data-set: "vpp-2n-clx-prev-iter-old-env"
1837     - title: "2110.0-9"
1838       data-set: "vpp-2n-clx-prev-iter-new-env"
1839     - title: "2202.0-9"
1840       data-set: "vpp-2n-clx-curr-iter"
1841   comparisons:
1842     - title: "2110.0-9 vs 2110.0-8"
1843       reference: 2
1844       compare: 3
1845     - title: "2202.0-9 vs 2110.0-9"
1846       reference: 3
1847       compare: 4
1848   legend:
1849     - ''
1850     - 'Test Case:            Test cases executed for: NDR throughput on 2n-clx with xxv710.'
1851     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1852     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1853     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1854     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1855
1856 # VPP Performance Changes 2n-clx-xxv710 4t2c ndr
1857 - type: "table"
1858   title: "VPP Performance Changes 2n-clx-xxv710 ndr"
1859   algorithm: "table_comparison"
1860   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-xxv710-4t2c-ndr"
1861   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1862   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
1863   columns:
1864     - title: "2106.0-8"
1865       data-set: "vpp-2n-clx-hist-iter-new-env"
1866     - title: "2110.0-8"
1867       data-set: "vpp-2n-clx-prev-iter-old-env"
1868     - title: "2110.0-9"
1869       data-set: "vpp-2n-clx-prev-iter-new-env"
1870     - title: "2202.0-9"
1871       data-set: "vpp-2n-clx-curr-iter"
1872   comparisons:
1873     - title: "2110.0-9 vs 2110.0-8"
1874       reference: 2
1875       compare: 3
1876     - title: "2202.0-9 vs 2110.0-9"
1877       reference: 3
1878       compare: 4
1879   legend:
1880     - ''
1881     - 'Test Case:            Test cases executed for: NDR throughput on 2n-clx with xxv710.'
1882     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1883     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1884     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1885     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1886
1887 # VPP Performance Changes 2n-clx-cx556a 2t1c pdr
1888 - type: "table"
1889   title: "VPP Performance Changes 2n-clx-cx556a 2t1c pdr"
1890   algorithm: "table_comparison"
1891   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-cx556a-2t1c-pdr"
1892   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1893   filter: "'2T1C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
1894   columns:
1895     - title: "2106.0-8"
1896       data-set: "vpp-2n-clx-hist-iter-new-env"
1897     - title: "2110.0-8"
1898       data-set: "vpp-2n-clx-prev-iter-old-env"
1899     - title: "2110.0-9"
1900       data-set: "vpp-2n-clx-prev-iter-new-env"
1901     - title: "2202.0-9"
1902       data-set: "vpp-2n-clx-curr-iter"
1903   comparisons:
1904     - title: "2110.0-9 vs 2110.0-8"
1905       reference: 2
1906       compare: 3
1907     - title: "2202.0-9 vs 2110.0-9"
1908       reference: 3
1909       compare: 4
1910   legend:
1911     - ''
1912     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
1913     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1914     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1915     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1916     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1917
1918 # VPP Performance Changes 2n-clx-cx556a 4t2c pdr
1919 - type: "table"
1920   title: "VPP Performance Changes 2n-clx-cx556a 4t2c pdr"
1921   algorithm: "table_comparison"
1922   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-cx556a-4t2c-pdr"
1923   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1924   filter: "'4T2C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
1925   columns:
1926     - title: "2106.0-8"
1927       data-set: "vpp-2n-clx-hist-iter-new-env"
1928     - title: "2110.0-8"
1929       data-set: "vpp-2n-clx-prev-iter-old-env"
1930     - title: "2110.0-9"
1931       data-set: "vpp-2n-clx-prev-iter-new-env"
1932     - title: "2202.0-9"
1933       data-set: "vpp-2n-clx-curr-iter"
1934   comparisons:
1935     - title: "2110.0-9 vs 2110.0-8"
1936       reference: 2
1937       compare: 3
1938     - title: "2202.0-9 vs 2110.0-9"
1939       reference: 3
1940       compare: 4
1941   legend:
1942     - ''
1943     - 'Test Case:            Test cases executed for: PDR throughput on 2n-clx with cx556a.'
1944     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1945     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1946     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1947     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1948
1949 # VPP Performance Changes 2n-clx-cx556a 2t1c ndr
1950 - type: "table"
1951   title: "VPP Performance Changes 2n-clx-cx556a 2t1c ndr"
1952   algorithm: "table_comparison"
1953   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-cx556a-2t1c-ndr"
1954   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1955   filter: "'2T1C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
1956   columns:
1957     - title: "2106.0-8"
1958       data-set: "vpp-2n-clx-hist-iter-new-env"
1959     - title: "2110.0-8"
1960       data-set: "vpp-2n-clx-prev-iter-old-env"
1961     - title: "2110.0-9"
1962       data-set: "vpp-2n-clx-prev-iter-new-env"
1963     - title: "2202.0-9"
1964       data-set: "vpp-2n-clx-curr-iter"
1965   comparisons:
1966     - title: "2110.0-9 vs 2110.0-8"
1967       reference: 2
1968       compare: 3
1969     - title: "2202.0-9 vs 2110.0-9"
1970       reference: 3
1971       compare: 4
1972   legend:
1973     - ''
1974     - 'Test Case:            Test cases executed for: NDR throughput on 2n-clx with cx556a.'
1975     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
1976     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
1977     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
1978     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
1979
1980 # VPP Performance Changes 2n-clx-cx556a 4t2c ndr
1981 - type: "table"
1982   title: "VPP Performance Changes 2n-clx-cx556a ndr"
1983   algorithm: "table_comparison"
1984   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-clx-cx556a-4t2c-ndr"
1985   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1986   filter: "'4T2C' and 'NDRPDR' and 'NIC_Mellanox-CX556A' and not 'NF_DENSITY'"
1987   columns:
1988     - title: "2106.0-8"
1989       data-set: "vpp-2n-clx-hist-iter-new-env"
1990     - title: "2110.0-8"
1991       data-set: "vpp-2n-clx-prev-iter-old-env"
1992     - title: "2110.0-9"
1993       data-set: "vpp-2n-clx-prev-iter-new-env"
1994     - title: "2202.0-9"
1995       data-set: "vpp-2n-clx-curr-iter"
1996   comparisons:
1997     - title: "2110.0-9 vs 2110.0-8"
1998       reference: 2
1999       compare: 3
2000     - title: "2202.0-9 vs 2110.0-9"
2001       reference: 3
2002       compare: 4
2003   legend:
2004     - ''
2005     - 'Test Case:            Test cases executed for: NDR throughput on 2n-clx with cx556a.'
2006     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2007     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2008     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2009     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2010
2011 # VPP Performance Changes 2n-zn2-xxv710 2t1c pdr
2012 - type: "table"
2013   title: "VPP Performance Changes 2n-zn2-xxv710 2t1c pdr"
2014   algorithm: "table_comparison"
2015   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-zn2-xxv710-2t1c-pdr"
2016   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2017   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
2018   columns:
2019     - title: "2106.0-8"
2020       data-set: "vpp-2n-zn2-hist-iter-new-env"
2021     - title: "2110.0-8"
2022       data-set: "vpp-2n-zn2-prev-iter-old-env"
2023     - title: "2110.0-9"
2024       data-set: "vpp-2n-zn2-prev-iter-new-env"
2025     - title: "2202.0-9"
2026       data-set: "vpp-2n-zn2-curr-iter"
2027   comparisons:
2028     - title: "2110.0-9 vs 2110.0-8"
2029       reference: 2
2030       compare: 3
2031     - title: "2202.0-9 vs 2110.0-9"
2032       reference: 3
2033       compare: 4
2034   legend:
2035     - ''
2036     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
2037     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2038     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2039     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2040     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2041
2042 # VPP Performance Changes 2n-zn2-xxv710 4t2c pdr
2043 - type: "table"
2044   title: "VPP Performance Changes 2n-zn2-xxv710 4t2c pdr"
2045   algorithm: "table_comparison"
2046   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-zn2-xxv710-4t2c-pdr"
2047   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2048   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
2049   columns:
2050     - title: "2106.0-8"
2051       data-set: "vpp-2n-zn2-hist-iter-new-env"
2052     - title: "2110.0-8"
2053       data-set: "vpp-2n-zn2-prev-iter-old-env"
2054     - title: "2110.0-9"
2055       data-set: "vpp-2n-zn2-prev-iter-new-env"
2056     - title: "2202.0-9"
2057       data-set: "vpp-2n-zn2-curr-iter"
2058   comparisons:
2059     - title: "2110.0-9 vs 2110.0-8"
2060       reference: 2
2061       compare: 3
2062     - title: "2202.0-9 vs 2110.0-9"
2063       reference: 3
2064       compare: 4
2065   legend:
2066     - ''
2067     - 'Test Case:            Test cases executed for: PDR throughput on 2n-zn2 with xxv710.'
2068     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2069     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2070     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2071     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2072
2073 # VPP Performance Changes 2n-zn2-xxv710 2t1c ndr
2074 - type: "table"
2075   title: "VPP Performance Changes 2n-zn2-xxv710 2t1c ndr"
2076   algorithm: "table_comparison"
2077   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-zn2-xxv710-2t1c-ndr"
2078   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2079   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
2080   columns:
2081     - title: "2106.0-8"
2082       data-set: "vpp-2n-zn2-hist-iter-new-env"
2083     - title: "2110.0-8"
2084       data-set: "vpp-2n-zn2-prev-iter-old-env"
2085     - title: "2110.0-9"
2086       data-set: "vpp-2n-zn2-prev-iter-new-env"
2087     - title: "2202.0-9"
2088       data-set: "vpp-2n-zn2-curr-iter"
2089   comparisons:
2090     - title: "2110.0-9 vs 2110.0-8"
2091       reference: 2
2092       compare: 3
2093     - title: "2202.0-9 vs 2110.0-9"
2094       reference: 3
2095       compare: 4
2096   legend:
2097     - ''
2098     - 'Test Case:            Test cases executed for: NDR throughput on 2n-zn2 with xxv710.'
2099     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2100     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2101     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2102     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2103
2104 # VPP Performance Changes 2n-zn2-xxv710 4t2c ndr
2105 - type: "table"
2106   title: "VPP Performance Changes 2n-zn2-xxv710 4t2c ndr"
2107   algorithm: "table_comparison"
2108   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-zn2-xxv710-4t2c-ndr"
2109   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2110   filter: "'4T2C' and 'NDRPDR' and 'NIC_Intel-XXV710'"
2111   columns:
2112     - title: "2106.0-8"
2113       data-set: "vpp-2n-zn2-hist-iter-new-env"
2114     - title: "2110.0-8"
2115       data-set: "vpp-2n-zn2-prev-iter-old-env"
2116     - title: "2110.0-9"
2117       data-set: "vpp-2n-zn2-prev-iter-new-env"
2118     - title: "2202.0-9"
2119       data-set: "vpp-2n-zn2-curr-iter"
2120   comparisons:
2121     - title: "2110.0-9 vs 2110.0-8"
2122       reference: 2
2123       compare: 3
2124     - title: "2202.0-9 vs 2110.0-9"
2125       reference: 3
2126       compare: 4
2127   legend:
2128     - ''
2129     - 'Test Case:            Test cases executed for: NDR throughput on 2n-zn2 with xxv710.'
2130     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2131     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2132     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2133     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2134
2135 # VPP Performance Changes 2n-dnv 1t1c pdr
2136 - type: "table"
2137   title: "VPP Performance Changes 2n-dnv 1t1c pdr"
2138   algorithm: "table_comparison"
2139   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-dnv-1t1c-pdr"
2140   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2141   filter: "'1T1C'"
2142   columns:
2143     - title: "2106.0-8"
2144       data-set: "vpp-2n-dnv-hist-iter-new-env"
2145     - title: "2110.0-8"
2146       data-set: "vpp-2n-dnv-prev-iter-old-env"
2147     - title: "2110.0-9"
2148       data-set: "vpp-2n-dnv-prev-iter-new-env"
2149     - title: "2202.0-9"
2150       data-set: "vpp-2n-dnv-curr-iter"
2151   comparisons:
2152     - title: "2110.0-9 vs 2110.0-8"
2153       reference: 2
2154       compare: 3
2155     - title: "2202.0-9 vs 2110.0-9"
2156       reference: 3
2157       compare: 4
2158   legend:
2159     - ''
2160     - 'Test Case:            Test cases executed for: PDR throughput on 2n-dnv with x553.'
2161     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2162     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2163     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2164     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2165
2166 # VPP Performance Changes 2n-dnv 2t2c pdr
2167 - type: "table"
2168   title: "VPP Performance Changes 2n-dnv 2t2c pdr"
2169   algorithm: "table_comparison"
2170   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-dnv-2t2c-pdr"
2171   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2172   filter: "'2T2C'"
2173   columns:
2174     - title: "2106.0-8"
2175       data-set: "vpp-2n-dnv-hist-iter-new-env"
2176     - title: "2110.0-8"
2177       data-set: "vpp-2n-dnv-prev-iter-old-env"
2178     - title: "2110.0-9"
2179       data-set: "vpp-2n-dnv-prev-iter-new-env"
2180     - title: "2202.0-9"
2181       data-set: "vpp-2n-dnv-curr-iter"
2182   comparisons:
2183     - title: "2110.0-9 vs 2110.0-8"
2184       reference: 2
2185       compare: 3
2186     - title: "2202.0-9 vs 2110.0-9"
2187       reference: 3
2188       compare: 4
2189   legend:
2190     - ''
2191     - 'Test Case:            Test cases executed for: PDR throughput on 2n-dnv with x553.'
2192     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2193     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2194     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2195     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2196
2197 # VPP Performance Changes 2n-dnv 1t1c ndr
2198 - type: "table"
2199   title: "VPP Performance Changes 2n-dnv 1t1c ndr"
2200   algorithm: "table_comparison"
2201   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-dnv-1t1c-ndr"
2202   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2203   filter: "'1T1C'"
2204   columns:
2205     - title: "2106.0-8"
2206       data-set: "vpp-2n-dnv-hist-iter-new-env"
2207     - title: "2110.0-8"
2208       data-set: "vpp-2n-dnv-prev-iter-old-env"
2209     - title: "2110.0-9"
2210       data-set: "vpp-2n-dnv-prev-iter-new-env"
2211     - title: "2202.0-9"
2212       data-set: "vpp-2n-dnv-curr-iter"
2213   comparisons:
2214     - title: "2110.0-9 vs 2110.0-8"
2215       reference: 2
2216       compare: 3
2217     - title: "2202.0-9 vs 2110.0-9"
2218       reference: 3
2219       compare: 4
2220   legend:
2221     - ''
2222     - 'Test Case:            Test cases executed for: NDR throughput on 2n-dnv with x553.'
2223     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2224     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2225     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2226     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2227
2228 # VPP Performance Changes 2n-dnv 2t2c ndr
2229 - type: "table"
2230   title: "VPP Performance Changes 2n-dnv 2t2c ndr"
2231   algorithm: "table_comparison"
2232   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-dnv-2t2c-ndr"
2233   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2234   filter: "'2T2C'"
2235   columns:
2236     - title: "2106.0-8"
2237       data-set: "vpp-2n-dnv-hist-iter-new-env"
2238     - title: "2110.0-8"
2239       data-set: "vpp-2n-dnv-prev-iter-old-env"
2240     - title: "2110.0-9"
2241       data-set: "vpp-2n-dnv-prev-iter-new-env"
2242     - title: "2202.0-9"
2243       data-set: "vpp-2n-dnv-curr-iter"
2244   comparisons:
2245     - title: "2110.0-9 vs 2110.0-8"
2246       reference: 2
2247       compare: 3
2248     - title: "2202.0-9 vs 2110.0-9"
2249       reference: 3
2250       compare: 4
2251   legend:
2252     - ''
2253     - 'Test Case:            Test cases executed for: NDR throughput on 2n-dnv with x553.'
2254     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2255     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2256     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2257     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2258
2259 # VPP Performance Changes 3n-dnv 1t1c pdr
2260 - type: "table"
2261   title: "VPP Performance Changes 3n-dnv 1t1c pdr"
2262   algorithm: "table_comparison"
2263   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-dnv-1t1c-pdr"
2264   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2265   filter: "'1T1C'"
2266   columns:
2267     - title: "2106.0-8"
2268       data-set: "vpp-3n-dnv-hist-iter-new-env"
2269     - title: "2110.0-8"
2270       data-set: "vpp-3n-dnv-prev-iter-old-env"
2271     - title: "2110.0-9"
2272       data-set: "vpp-3n-dnv-prev-iter-new-env"
2273     - title: "2202.0-9"
2274       data-set: "vpp-3n-dnv-curr-iter"
2275   comparisons:
2276     - title: "2110.0-9 vs 2110.0-8"
2277       reference: 2
2278       compare: 3
2279     - title: "2202.0-9 vs 2110.0-9"
2280       reference: 3
2281       compare: 4
2282   legend:
2283     - ''
2284     - 'Test Case:            Test cases executed for: PDR throughput on 3n-dnv with x553.'
2285     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2286     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2287     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2288     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2289
2290 # VPP Performance Changes 3n-dnv 2t2c pdr
2291 - type: "table"
2292   title: "VPP Performance Changes 3n-dnv 2t2c pdr"
2293   algorithm: "table_comparison"
2294   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-dnv-2t2c-pdr"
2295   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2296   filter: "'2T2C'"
2297   columns:
2298     - title: "2106.0-8"
2299       data-set: "vpp-3n-dnv-hist-iter-new-env"
2300     - title: "2110.0-8"
2301       data-set: "vpp-3n-dnv-prev-iter-old-env"
2302     - title: "2110.0-9"
2303       data-set: "vpp-3n-dnv-prev-iter-new-env"
2304     - title: "2202.0-9"
2305       data-set: "vpp-3n-dnv-curr-iter"
2306   comparisons:
2307     - title: "2110.0-9 vs 2110.0-8"
2308       reference: 2
2309       compare: 3
2310     - title: "2202.0-9 vs 2110.0-9"
2311       reference: 3
2312       compare: 4
2313   legend:
2314     - ''
2315     - 'Test Case:            Test cases executed for: PDR throughput on 3n-dnv with x553.'
2316     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2317     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2318     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2319     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2320
2321 # VPP Performance Changes 3n-dnv 1t1c ndr
2322 - type: "table"
2323   title: "VPP Performance Changes 3n-dnv 1t1c ndr"
2324   algorithm: "table_comparison"
2325   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-dnv-1t1c-ndr"
2326   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2327   filter: "'1T1C'"
2328   columns:
2329     - title: "2106.0-8"
2330       data-set: "vpp-3n-dnv-hist-iter-new-env"
2331     - title: "2110.0-8"
2332       data-set: "vpp-3n-dnv-prev-iter-old-env"
2333     - title: "2110.0-9"
2334       data-set: "vpp-3n-dnv-prev-iter-new-env"
2335     - title: "2202.0-9"
2336       data-set: "vpp-3n-dnv-curr-iter"
2337   comparisons:
2338     - title: "2110.0-9 vs 2110.0-8"
2339       reference: 2
2340       compare: 3
2341     - title: "2202.0-9 vs 2110.0-9"
2342       reference: 3
2343       compare: 4
2344   legend:
2345     - ''
2346     - 'Test Case:            Test cases executed for: NDR throughput on 3n-dnv with x553.'
2347     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2348     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2349     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2350     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2351
2352 # VPP Performance Changes 3n-dnv 2t2c ndr
2353 - type: "table"
2354   title: "VPP Performance Changes 3n-dnv 2t2c ndr"
2355   algorithm: "table_comparison"
2356   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-dnv-2t2c-ndr"
2357   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2358   filter: "'2T2C'"
2359   columns:
2360     - title: "2106.0-8"
2361       data-set: "vpp-3n-dnv-hist-iter-new-env"
2362     - title: "2110.0-8"
2363       data-set: "vpp-3n-dnv-prev-iter-old-env"
2364     - title: "2110.0-9"
2365       data-set: "vpp-3n-dnv-prev-iter-new-env"
2366     - title: "2202.0-9"
2367       data-set: "vpp-3n-dnv-curr-iter"
2368   comparisons:
2369     - title: "2110.0-9 vs 2110.0-8"
2370       reference: 2
2371       compare: 3
2372     - title: "2202.0-9 vs 2110.0-9"
2373       reference: 3
2374       compare: 4
2375   legend:
2376     - ''
2377     - 'Test Case:            Test cases executed for: NDR throughput on 3n-dnv with x553.'
2378     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2379     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2380     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2381     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2382
2383 # VPP Performance Changes 3n-tsh 1t1c pdr
2384 - type: "table"
2385   title: "VPP Performance Changes 3n-tsh 1t1c pdr"
2386   algorithm: "table_comparison"
2387   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-tsh-1t1c-pdr"
2388   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2389   filter: "'1T1C'"
2390   columns:
2391     - title: "2106.0-8"
2392       data-set: "vpp-3n-tsh-hist-iter-new-env"
2393     - title: "2110.0-8"
2394       data-set: "vpp-3n-tsh-prev-iter-old-env"
2395     - title: "2110.0-9"
2396       data-set: "vpp-3n-tsh-prev-iter-new-env"
2397     - title: "2202.0-9"
2398       data-set: "vpp-3n-tsh-curr-iter"
2399   comparisons:
2400     - title: "2110.0-9 vs 2110.0-8"
2401       reference: 2
2402       compare: 3
2403     - title: "2202.0-9 vs 2110.0-9"
2404       reference: 3
2405       compare: 4
2406   legend:
2407     - ''
2408     - 'Test Case:            Test cases executed for: PDR throughput on 3n-tsh with x520.'
2409     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2410     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2411     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2412     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2413
2414 # VPP Performance Changes 3n-tsh 2t2c pdr
2415 - type: "table"
2416   title: "VPP Performance Changes 3n-tsh 2t2c pdr"
2417   algorithm: "table_comparison"
2418   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-tsh-2t2c-pdr"
2419   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2420   filter: "'2T2C'"
2421   columns:
2422     - title: "2106.0-8"
2423       data-set: "vpp-3n-tsh-hist-iter-new-env"
2424     - title: "2110.0-8"
2425       data-set: "vpp-3n-tsh-prev-iter-old-env"
2426     - title: "2110.0-9"
2427       data-set: "vpp-3n-tsh-prev-iter-new-env"
2428     - title: "2202.0-9"
2429       data-set: "vpp-3n-tsh-curr-iter"
2430   comparisons:
2431     - title: "2110.0-9 vs 2110.0-8"
2432       reference: 2
2433       compare: 3
2434     - title: "2202.0-9 vs 2110.0-9"
2435       reference: 3
2436       compare: 4
2437   legend:
2438     - ''
2439     - 'Test Case:            Test cases executed for: PDR throughput on 3n-tsh with x520.'
2440     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2441     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2442     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2443     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2444
2445 # VPP Performance Changes 3n-tsh 1t1c ndr
2446 - type: "table"
2447   title: "VPP Performance Changes 3n-tsh 1t1c ndr"
2448   algorithm: "table_comparison"
2449   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-tsh-1t1c-ndr"
2450   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2451   filter: "'1T1C'"
2452   columns:
2453     - title: "2106.0-8"
2454       data-set: "vpp-3n-tsh-hist-iter-new-env"
2455     - title: "2110.0-8"
2456       data-set: "vpp-3n-tsh-prev-iter-old-env"
2457     - title: "2110.0-9"
2458       data-set: "vpp-3n-tsh-prev-iter-new-env"
2459     - title: "2202.0-9"
2460       data-set: "vpp-3n-tsh-curr-iter"
2461   comparisons:
2462     - title: "2110.0-9 vs 2110.0-8"
2463       reference: 2
2464       compare: 3
2465     - title: "2202.0-9 vs 2110.0-9"
2466       reference: 3
2467       compare: 4
2468   legend:
2469     - ''
2470     - 'Test Case:            Test cases executed for: NDR throughput on 3n-tsh with x520.'
2471     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2472     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2473     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2474     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2475
2476 # VPP Performance Changes 3n-tsh 2t2c ndr
2477 - type: "table"
2478   title: "VPP Performance Changes 3n-tsh 2t2c ndr"
2479   algorithm: "table_comparison"
2480   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-tsh-2t2c-ndr"
2481   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2482   filter: "'2T2C'"
2483   columns:
2484     - title: "2106.0-8"
2485       data-set: "vpp-3n-tsh-hist-iter-new-env"
2486     - title: "2110.0-8"
2487       data-set: "vpp-3n-tsh-prev-iter-old-env"
2488     - title: "2110.0-9"
2489       data-set: "vpp-3n-tsh-prev-iter-new-env"
2490     - title: "2202.0-9"
2491       data-set: "vpp-3n-tsh-curr-iter"
2492   comparisons:
2493     - title: "2110.0-9 vs 2110.0-8"
2494       reference: 2
2495       compare: 3
2496     - title: "2202.0-9 vs 2110.0-9"
2497       reference: 3
2498       compare: 4
2499   legend:
2500     - ''
2501     - 'Test Case:            Test cases executed for: NDR throughput on 3n-tsh with x520.'
2502     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2503     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2504     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2505     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2506
2507 # VPP Performance Changes 2n-tx2 1t1c pdr
2508 - type: "table"
2509   title: "VPP Performance Changes 2n-tx2 1t1c pdr"
2510   algorithm: "table_comparison"
2511   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-tx2-1t1c-pdr"
2512   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2513   filter: "'1T1C'"
2514   columns:
2515     - title: "2106.0-8"
2516       data-set: "vpp-2n-tx2-hist-iter-new-env"
2517     - title: "2110.0-8"
2518       data-set: "vpp-2n-tx2-prev-iter-old-env"
2519     - title: "2110.0-9"
2520       data-set: "vpp-2n-tx2-prev-iter-new-env"
2521     - title: "2202.0-9"
2522       data-set: "vpp-2n-tx2-curr-iter"
2523   comparisons:
2524     - title: "2110.0-9 vs 2110.0-8"
2525       reference: 2
2526       compare: 3
2527     - title: "2202.0-9 vs 2110.0-9"
2528       reference: 3
2529       compare: 4
2530   legend:
2531     - ''
2532     - 'Test Case:            Test cases executed for: PDR throughput on 2n-tx2 with xl710.'
2533     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2534     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2535     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2536     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2537
2538 # VPP Performance Changes 2n-tx2 2t2c pdr
2539 - type: "table"
2540   title: "VPP Performance Changes 2n-tx2 2t2c pdr"
2541   algorithm: "table_comparison"
2542   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-tx2-2t2c-pdr"
2543   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2544   filter: "'2T2C'"
2545   columns:
2546     - title: "2106.0-8"
2547       data-set: "vpp-2n-tx2-hist-iter-new-env"
2548     - title: "2110.0-8"
2549       data-set: "vpp-2n-tx2-prev-iter-old-env"
2550     - title: "2110.0-9"
2551       data-set: "vpp-2n-tx2-prev-iter-new-env"
2552     - title: "2202.0-9"
2553       data-set: "vpp-2n-tx2-curr-iter"
2554   comparisons:
2555     - title: "2110.0-9 vs 2110.0-8"
2556       reference: 2
2557       compare: 3
2558     - title: "2202.0-9 vs 2110.0-9"
2559       reference: 3
2560       compare: 4
2561   legend:
2562     - ''
2563     - 'Test Case:            Test cases executed for: PDR throughput on 2n-tx2 with xl710.'
2564     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2565     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2566     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2567     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2568
2569 # VPP Performance Changes 2n-tx2 1t1c ndr
2570 - type: "table"
2571   title: "VPP Performance Changes 2n-tx2 1t1c ndr"
2572   algorithm: "table_comparison"
2573   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-tx2-1t1c-ndr"
2574   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2575   filter: "'1T1C'"
2576   columns:
2577     - title: "2106.0-8"
2578       data-set: "vpp-2n-tx2-hist-iter-new-env"
2579     - title: "2110.0-8"
2580       data-set: "vpp-2n-tx2-prev-iter-old-env"
2581     - title: "2110.0-9"
2582       data-set: "vpp-2n-tx2-prev-iter-new-env"
2583     - title: "2202.0-9"
2584       data-set: "vpp-2n-tx2-curr-iter"
2585   comparisons:
2586     - title: "2110.0-9 vs 2110.0-8"
2587       reference: 2
2588       compare: 3
2589     - title: "2202.0-9 vs 2110.0-9"
2590       reference: 3
2591       compare: 4
2592   legend:
2593     - ''
2594     - 'Test Case:            Test cases executed for: NDR throughput on 2n-tx2 with xl710.'
2595     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2596     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2597     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2598     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2599
2600 # VPP Performance Changes 2n-tx2 2t2c ndr
2601 - type: "table"
2602   title: "VPP Performance Changes 2n-tx2 2t2c ndr"
2603   algorithm: "table_comparison"
2604   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-tx2-2t2c-ndr"
2605   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2606   filter: "'2T2C'"
2607   columns:
2608     - title: "2106.0-8"
2609       data-set: "vpp-2n-tx2-hist-iter-new-env"
2610     - title: "2110.0-8"
2611       data-set: "vpp-2n-tx2-prev-iter-old-env"
2612     - title: "2110.0-9"
2613       data-set: "vpp-2n-tx2-prev-iter-new-env"
2614     - title: "2202.0-9"
2615       data-set: "vpp-2n-tx2-curr-iter"
2616   comparisons:
2617     - title: "2110.0-9 vs 2110.0-8"
2618       reference: 2
2619       compare: 3
2620     - title: "2202.0-9 vs 2110.0-9"
2621       reference: 3
2622       compare: 4
2623   legend:
2624     - ''
2625     - 'Test Case:            Test cases executed for: NDR throughput on 2n-tx2 with xl710.'
2626     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
2627     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
2628     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
2629     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
2630
2631 # VPP Comparison Across Testbeds 2n-skx to 2n-clx 2t1c ndr
2632 - type: "table"
2633   title: "VPP Comparison Across Testbeds 2n-skx to 2n-clx 2t1c ndr"
2634   algorithm: "table_comparison"
2635   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-skx-2n-clx-2t1c-ndr"
2636   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2637   filter: "'2T1C' and 'NIC_Intel-XXV710'"
2638   columns:
2639     - title: "2n-skx"
2640       data-set: "vpp-2n-skx-curr-iter"
2641     - title: "2n-clx"
2642       data-set: "vpp-2n-clx-curr-iter"
2643   comparisons:
2644     - title: "Diff"
2645       reference: 1
2646       compare: 2
2647   legend:
2648     - ""
2649     - "2n-skx, 2n-clx - testbeds and NICs tested."
2650     - "Diff - difference between 2n-skx and 2n-clx testbeds."
2651
2652 # VPP Comparison Across Testbeds 2n-skx to 2n-clx 4t2c ndr
2653 - type: "table"
2654   title: "VPP Comparison Across Testbeds 2n-skx to 2n-clx 4t2c ndr"
2655   algorithm: "table_comparison"
2656   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-skx-2n-clx-4t2c-ndr"
2657   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2658   filter: "'4T2C' and 'NIC_Intel-XXV710'"
2659   columns:
2660     - title: "2n-skx"
2661       data-set: "vpp-2n-skx-curr-iter"
2662     - title: "2n-clx"
2663       data-set: "vpp-2n-clx-curr-iter"
2664   comparisons:
2665     - title: "Diff"
2666       reference: 1
2667       compare: 2
2668   legend:
2669     - ""
2670     - "2n-skx, 2n-clx - testbeds and NICs tested."
2671     - "Diff - difference between 2n-skx and 2n-clx testbeds."
2672
2673 # VPP Comparison Across Testbeds 2n-skx to 2n-clx 2t1c pdr
2674 - type: "table"
2675   title: "VPP Comparison Across Testbeds 2n-skx to 2n-clx 2t1c pdr"
2676   algorithm: "table_comparison"
2677   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-skx-2n-clx-2t1c-pdr"
2678   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2679   filter: "'2T1C' and 'NIC_Intel-XXV710'"
2680   columns:
2681     - title: "2n-skx"
2682       data-set: "vpp-2n-skx-curr-iter"
2683     - title: "2n-clx"
2684       data-set: "vpp-2n-clx-curr-iter"
2685   comparisons:
2686     - title: "Diff"
2687       reference: 1
2688       compare: 2
2689   legend:
2690     - ""
2691     - "2n-skx, 2n-clx - testbeds and NICs tested."
2692     - "Diff - difference between 2n-skx and 2n-clx testbeds."
2693
2694 # VPP Comparison Across Testbeds 2n-skx to 2n-clx 4t2c pdr
2695 - type: "table"
2696   title: "VPP Comparison Across Testbeds 2n-skx to 2n-clx 4t2c pdr"
2697   algorithm: "table_comparison"
2698   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-skx-2n-clx-4t2c-pdr"
2699   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2700   filter: "'4T2C' and 'NIC_Intel-XXV710'"
2701   columns:
2702     - title: "2n-skx"
2703       data-set: "vpp-2n-skx-curr-iter"
2704     - title: "2n-clx"
2705       data-set: "vpp-2n-clx-curr-iter"
2706   comparisons:
2707     - title: "Diff"
2708       reference: 1
2709       compare: 2
2710   legend:
2711     - ""
2712     - "2n-skx, 2n-clx - testbeds and NICs tested."
2713     - "Diff - difference between 2n-skx and 2n-clx testbeds."
2714
2715 # VPP Comparison Across Testbeds 2n-clx to 2n-icx 1c ndr
2716 - type: "table"
2717   title: "VPP Comparison Across Testbeds 2n-clx to 2n-icx 1c ndr"
2718   algorithm: "table_comparison"
2719   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-clx-2n-icx-1c-ndr"
2720   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2721   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-E810CQ') and 'NDRPDR' and '1C'"
2722   columns:
2723     - title: "2n-clx xxv710"
2724       data-set: "vpp-2n-clx-curr-iter"
2725       tag: "NIC_Intel-XXV710"
2726     - title: "2n-icx e810cq"
2727       data-set: "vpp-2n-icx-curr-iter"
2728       tag: "NIC_Intel-E810CQ"
2729   comparisons:
2730     - title: "Diff"
2731       reference: 1
2732       compare: 2
2733   legend:
2734     - ""
2735     - "2n-clx xxv710, 2n-icx e810cq - testbeds and NICs tested."
2736     - "Diff - difference between 2n-clx xxv710 and 2n-icx e810cq testbeds."
2737
2738 # VPP Comparison Across Testbeds 2n-clx to 2n-icx 2c ndr
2739 - type: "table"
2740   title: "VPP Comparison Across Testbeds 2n-clx to 2n-icx 2c ndr"
2741   algorithm: "table_comparison"
2742   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-clx-2n-icx-2c-ndr"
2743   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2744   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-E810CQ') and 'NDRPDR' and '2C'"
2745   columns:
2746     - title: "2n-clx xxv710"
2747       data-set: "vpp-2n-clx-curr-iter"
2748       tag: "NIC_Intel-XXV710"
2749     - title: "2n-icx e810cq"
2750       data-set: "vpp-2n-icx-curr-iter"
2751       tag: "NIC_Intel-E810CQ"
2752   comparisons:
2753     - title: "Diff"
2754       reference: 1
2755       compare: 2
2756   legend:
2757     - ""
2758     - "2n-clx xxv710, 2n-icx e810cq - testbeds and NICs tested."
2759     - "Diff - difference between 2n-clx xxv710 and 2n-icx e810cq testbeds."
2760
2761 # VPP Comparison Across Testbeds 2n-clx to 2n-icx 1c pdr
2762 - type: "table"
2763   title: "VPP Comparison Across Testbeds 2n-clx to 2n-icx 1c pdr"
2764   algorithm: "table_comparison"
2765   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-clx-2n-icx-1c-pdr"
2766   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2767   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-E810CQ') and 'NDRPDR' and '1C'"
2768   columns:
2769     - title: "2n-clx xxv710"
2770       data-set: "vpp-2n-clx-curr-iter"
2771       tag: "NIC_Intel-XXV710"
2772     - title: "2n-icx e810cq"
2773       data-set: "vpp-2n-icx-curr-iter"
2774       tag: "NIC_Intel-E810CQ"
2775   comparisons:
2776     - title: "Diff"
2777       reference: 1
2778       compare: 2
2779   legend:
2780     - ""
2781     - "2n-clx xxv710, 2n-icx e810cq - testbeds and NICs tested."
2782     - "Diff - difference between 2n-clx xxv710 and 2n-icx e810cq testbeds."
2783
2784 # VPP Comparison Across Testbeds 2n-clx to 2n-icx 2c pdr
2785 - type: "table"
2786   title: "VPP Comparison Across Testbeds 2n-clx to 2n-icx 2c pdr"
2787   algorithm: "table_comparison"
2788   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-2n-clx-2n-icx-2c-pdr"
2789   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2790   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-E810CQ') and 'NDRPDR' and '2C'"
2791   columns:
2792     - title: "2n-clx xxv710"
2793       data-set: "vpp-3n-skx-curr-iter"
2794       tag: "NIC_Intel-XXV710"
2795     - title: "2n-icx e810cq"
2796       data-set: "vpp-2n-icx-curr-iter"
2797       tag: "NIC_Intel-E810CQ"
2798   comparisons:
2799     - title: "Diff"
2800       reference: 1
2801       compare: 2
2802   legend:
2803     - ""
2804     - "2n-clx xxv710, 2n-icx e810cq - testbeds and NICs tested."
2805     - "Diff - difference between 2n-clx xxv710 and 2n-icx e810cq testbeds."
2806
2807 # VPP Comparison Across Testbeds 3n-skx to 3n-icx 1c ndr
2808 - type: "table"
2809   title: "VPP Comparison Across Testbeds 3n-skx to 3n-icx 1c ndr"
2810   algorithm: "table_comparison"
2811   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-skx-3n-icx-1c-ndr"
2812   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2813   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-E810CQ') and 'NDRPDR' and '1C'"
2814   columns:
2815     - title: "3n-skx xxv710"
2816       data-set: "vpp-3n-skx-curr-iter"
2817       tag: "NIC_Intel-XXV710"
2818     - title: "3n-icx e810cq"
2819       data-set: "vpp-3n-icx-curr-iter"
2820       tag: "NIC_Intel-E810CQ"
2821   comparisons:
2822     - title: "Diff"
2823       reference: 1
2824       compare: 2
2825   legend:
2826     - ""
2827     - "3n-skx xxv710, 3n-icx e810cq - testbeds and NICs tested."
2828     - "Diff - difference between 3n-skx xxv710 and 3n-icx e810cq testbeds."
2829
2830 # VPP Comparison Across Testbeds 3n-skx to 3n-icx 2c ndr
2831 - type: "table"
2832   title: "VPP Comparison Across Testbeds 3n-skx to 3n-icx ndr"
2833   algorithm: "table_comparison"
2834   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-skx-3n-icx-2c-ndr"
2835   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2836   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-E810CQ') and 'NDRPDR' and '2C'"
2837   columns:
2838     - title: "3n-skx xxv710"
2839       data-set: "vpp-3n-skx-curr-iter"
2840       tag: "NIC_Intel-XXV710"
2841     - title: "3n-icx e810cq"
2842       data-set: "vpp-3n-icx-curr-iter"
2843       tag: "NIC_Intel-E810CQ"
2844   comparisons:
2845     - title: "Diff"
2846       reference: 1
2847       compare: 2
2848   legend:
2849     - ""
2850     - "3n-skx xxv710, 3n-icx e810cq - testbeds and NICs tested."
2851     - "Diff - difference between 3n-skx xxv710 and 3n-icx e810cq testbeds."
2852
2853 # VPP Comparison Across Testbeds 3n-skx to 3n-icx 1c pdr
2854 - type: "table"
2855   title: "VPP Comparison Across Testbeds 3n-skx to 3n-icx 1c pdr"
2856   algorithm: "table_comparison"
2857   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-skx-3n-icx-1c-pdr"
2858   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2859   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-E810CQ') and 'NDRPDR' and '1C'"
2860   columns:
2861     - title: "3n-skx xxv710"
2862       data-set: "vpp-3n-skx-curr-iter"
2863       tag: "NIC_Intel-XXV710"
2864     - title: "3n-icx e810cq"
2865       data-set: "vpp-3n-icx-curr-iter"
2866       tag: "NIC_Intel-E810CQ"
2867   comparisons:
2868     - title: "Diff"
2869       reference: 1
2870       compare: 2
2871   legend:
2872     - ""
2873     - "3n-skx xxv710, 3n-icx e810cq - testbeds and NICs tested."
2874     - "Diff - difference between 3n-skx xxv710 and 3n-icx e810cq testbeds."
2875
2876 # VPP Comparison Across Testbeds 3n-skx to 3n-icx 2c pdr
2877 - type: "table"
2878   title: "VPP Comparison Across Testbeds 3n-skx to 3n-icx 2c pdr"
2879   algorithm: "table_comparison"
2880   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-skx-3n-icx-2c-pdr"
2881   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2882   filter: "('NIC_Intel-XXV710' or 'NIC_Intel-E810CQ') and 'NDRPDR' and '2C'"
2883   columns:
2884     - title: "3n-skx xxv710"
2885       data-set: "vpp-3n-skx-curr-iter"
2886       tag: "NIC_Intel-XXV710"
2887     - title: "3n-icx e810cq"
2888       data-set: "vpp-3n-icx-curr-iter"
2889       tag: "NIC_Intel-E810CQ"
2890   comparisons:
2891     - title: "Diff"
2892       reference: 1
2893       compare: 2
2894   legend:
2895     - ""
2896     - "3n-skx xxv710, 3n-icx e810cq - testbeds and NICs tested."
2897     - "Diff - difference between 3n-skx xxv710 and 3n-icx e810cq testbeds."
2898
2899 # VPP Comparison Across Topologies 3n-skx to 2n-skx 1c ndr
2900 - type: "table"
2901   title: "VPP Comparison Across Topologies 3n-skx to 2n-skx 1c ndr"
2902   algorithm: "table_comparison"
2903   output-file: "{DIR[STATIC,VPP]}/performance-compare-topologies-3n-skx-2n-skx-1c-ndr"
2904   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2905   filter: "'NDRPDR' and '1C' and 'NIC_Intel-XXV710'"
2906   columns:
2907     - title: "3n-skx"
2908       data-set: "vpp-3n-skx-curr-iter"
2909     - title: "2n-skx"
2910       data-set: "vpp-2n-skx-curr-iter"
2911   comparisons:
2912     - title: "Diff"
2913       reference: 1
2914       compare: 2
2915   legend:
2916     - ""
2917     - "3n-skx, 2n-skx - topologies tested."
2918     - "Diff - difference between 3n-skx and 2n-skx topologies."
2919
2920 # VPP Comparison Across Topologies 3n-skx to 2n-skx 2c ndr
2921 - type: "table"
2922   title: "VPP Comparison Across Topologies 3n-skx to 2n-skx 2c ndr"
2923   algorithm: "table_comparison"
2924   output-file: "{DIR[STATIC,VPP]}/performance-compare-topologies-3n-skx-2n-skx-2c-ndr"
2925   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2926   filter: "'NDRPDR' and '2C' and 'NIC_Intel-XXV710'"
2927   columns:
2928     - title: "3n-skx"
2929       data-set: "vpp-3n-skx-curr-iter"
2930     - title: "2n-skx"
2931       data-set: "vpp-2n-skx-curr-iter"
2932   comparisons:
2933     - title: "Diff"
2934       reference: 1
2935       compare: 2
2936   legend:
2937     - ""
2938     - "3n-skx, 2n-skx - topologies tested."
2939     - "Diff - difference between 3n-skx and 2n-skx topologies."
2940
2941 # VPP Comparison Across Topologies 3n-skx to 2n-skx 1c pdr
2942 - type: "table"
2943   title: "VPP Comparison Across Topologies 3n-skx to 2n-skx 1c pdr"
2944   algorithm: "table_comparison"
2945   output-file: "{DIR[STATIC,VPP]}/performance-compare-topologies-3n-skx-2n-skx-1c-pdr"
2946   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2947   filter: "'NDRPDR' and '1C' and 'NIC_Intel-XXV710'"
2948   columns:
2949     - title: "3n-skx"
2950       data-set: "vpp-3n-skx-curr-iter"
2951     - title: "2n-skx"
2952       data-set: "vpp-2n-skx-curr-iter"
2953   comparisons:
2954     - title: "Diff"
2955       reference: 1
2956       compare: 2
2957   legend:
2958     - ""
2959     - "3n-skx, 2n-skx - topologies tested."
2960     - "Diff - difference between 3n-skx and 2n-skx topologies."
2961
2962 # VPP Comparison Across Topologies 3n-skx to 2n-skx 2c pdr
2963 - type: "table"
2964   title: "VPP Comparison Across Topologies 3n-skx to 2n-skx 2c pdr"
2965   algorithm: "table_comparison"
2966   output-file: "{DIR[STATIC,VPP]}/performance-compare-topologies-3n-skx-2n-skx-2c-pdr"
2967   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2968   filter: "'NDRPDR' and '2C' and 'NIC_Intel-XXV710'"
2969   columns:
2970     - title: "3n-skx"
2971       data-set: "vpp-3n-skx-curr-iter"
2972     - title: "2n-skx"
2973       data-set: "vpp-2n-skx-curr-iter"
2974   comparisons:
2975     - title: "Diff"
2976       reference: 1
2977       compare: 2
2978   legend:
2979     - ""
2980     - "3n-skx, 2n-skx - topologies tested."
2981     - "Diff - difference between 3n-skx and 2n-skx topologies."
2982
2983 # VPP Performance Changes 3n-skx 2t1c mrr
2984 - type: "table"
2985   title: "VPP Performance Changes 3n-skx 2t1c mrr"
2986   algorithm: "table_comparison"
2987   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-mrr"
2988   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2989   filter: "'2T1C' and 'MRR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
2990   columns:
2991     - title: "2106.0-8"
2992       data-set: "vpp-3n-skx-hist-iter-mrr-new-env"
2993     - title: "2110.0-8"
2994       data-set: "vpp-3n-skx-prev-iter-mrr-old-env"
2995     - title: "2110.0-9"
2996       data-set: "vpp-3n-skx-prev-iter-mrr-new-env"
2997     - title: "2202.0-9"
2998       data-set: "vpp-3n-skx-curr-iter-mrr"
2999   comparisons:
3000     - title: "2110.0-9 vs 2110.0-8"
3001       reference: 2
3002       compare: 3
3003     - title: "2202.0-9 vs 2110.0-9"
3004       reference: 3
3005       compare: 4
3006   legend:
3007     - ''
3008     - 'Test Case:            Test cases executed for: MRR throughput on 3n-skx with xxv710.'
3009     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
3010     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
3011     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
3012     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
3013
3014 # VPP Performance Changes 3n-skx 4t2c mrr
3015 - type: "table"
3016   title: "VPP Performance Changes 3n-skx 4t2c mrr"
3017   algorithm: "table_comparison"
3018   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-mrr"
3019   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3020   filter: "'4T2C' and 'MRR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
3021   columns:
3022     - title: "2106.0-8"
3023       data-set: "vpp-3n-skx-hist-iter-mrr-new-env"
3024     - title: "2110.0-8"
3025       data-set: "vpp-3n-skx-prev-iter-mrr-old-env"
3026     - title: "2110.0-9"
3027       data-set: "vpp-3n-skx-prev-iter-mrr-new-env"
3028     - title: "2202.0-9"
3029       data-set: "vpp-3n-skx-curr-iter-mrr"
3030   comparisons:
3031     - title: "2110.0-9 vs 2110.0-8"
3032       reference: 2
3033       compare: 3
3034     - title: "2202.0-9 vs 2110.0-9"
3035       reference: 3
3036       compare: 4
3037   legend:
3038     - ''
3039     - 'Test Case:            Test cases executed for: MRR throughput on 3n-skx with xxv710.'
3040     - 'YYMM.V-E:             [uSec +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "8" for CSIT rls2110, "9" for CSIT rls2202).'
3041     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
3042     - '2110.0-9 vs 2110.0-8: Compares CSIT environment current vs previous with previous VPP code.'
3043     - '2202.0-9 vs 2110.0-9: Compares VPP code current vs previous in the current CSIT environment.'
3044
3045 # VPP Performance Changes 3n-skx 8t4c mrr
3046 - type: "table"
3047   title: "VPP Performance Changes 3n-skx 8t4c mrr"
3048   algorithm: "table_comparison"
3049   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-8t4c-mrr"
3050   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3051   filter: "'8T4C' and 'MRR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
3052   columns:
3053     - title: "2106.0-8"
3054       data-set: "vpp-3n-skx-hist-iter-mrr-new-env"
3055     - title: "2110.0-8"
3056       data-set: "vpp-3n-skx-prev-iter-mrr-old-env"
3057     - title: "2110.0-9"
3058       data-set: "vpp-3n-skx-prev-iter-mrr-new-env"
3059     - title: "2202.0-9"
3060       data-set: "vpp-3n-skx-curr-iter-mrr"
3061   comparisons:
3062     - title: "2110.0-9 vs 2110.0-8"
3063       reference: 2
3064    &nb