resources/tools/presentation/specification.yaml

   1 -
   2   type: "environment"
   3
   4   paths:
   5     # Top level directories:
   6     ## Working directory
   7     DIR[WORKING]: "_tmp"
   8     ## Build directories
   9     DIR[BUILD,HTML]: "_build"
  10     DIR[BUILD,LATEX]: "_build_latex"
  11
  12     # Static .rst files
  13     DIR[RST]: "../../../docs/report"
  14
  15     # Working directories
  16     ## Input data files (.zip, .xml)
  17     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
  18     ## Static source files from git
  19     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
  20     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
  21
  22     # Static html content
  23     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
  24     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
  25     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
  26     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
  27
  28     # Detailed test results
  29     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
  30     DIR[DTR,PERF,DPDK,3N,HSW]: "{DIR[DTR]}/dpdk_performance_results_3n_hsw"
  31     DIR[DTR,PERF,DPDK,3N,SKX]: "{DIR[DTR]}/dpdk_performance_results_3n_skx"
  32     DIR[DTR,PERF,DPDK,2N,SKX]: "{DIR[DTR]}/dpdk_performance_results_2n_skx"
  33     DIR[DTR,PERF,VPP,3N,HSW]: "{DIR[DTR]}/vpp_performance_results_3n_hsw"
  34     DIR[DTR,PERF,VPP,3N,SKX]: "{DIR[DTR]}/vpp_performance_results_3n_skx"
  35     DIR[DTR,PERF,VPP,2N,SKX]: "{DIR[DTR]}/vpp_performance_results_2n_skx"
  36     DIR[DTR,MRR,VPP,3N,HSW]: "{DIR[DTR]}/vpp_mrr_results_3n_hsw"
  37     DIR[DTR,MRR,VPP,3N,SKX]: "{DIR[DTR]}/vpp_mrr_results_3n_skx"
  38     DIR[DTR,MRR,VPP,2N,SKX]: "{DIR[DTR]}/vpp_mrr_results_2n_skx"
  39     DIR[DTR,PERF,COT,3N,HSW]: "{DIR[DTR]}/cot_performance_results_3n_hsw"
  40     DIR[DTR,FUNC,VPP,UBUNTU]: "{DIR[DTR]}/vpp_functional_results_ubuntu"
  41     DIR[DTR,FUNC,VPP,CENTOS]: "{DIR[DTR]}/vpp_functional_results_centos"
  42     DIR[DTR,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTR]}/vpp_device_results_ubuntu"
  43     DIR[DTR,FUNC,HC]: "{DIR[DTR]}/honeycomb_functional_results"
  44     DIR[DTR,FUNC,NSHSFC]: "{DIR[DTR]}/nshsfc_functional_results"
  45     DIR[DTR,FUNC,DMM]: "{DIR[DTR]}/dmm_functional_results"
  46     DIR[DTR,PERF,VPP,IMPRV]: "{DIR[WORKING,SRC]}/vpp_performance_tests/performance_improvements"
  47
  48     # Detailed test configurations
  49     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
  50     DIR[DTC,PERF,VPP,3N,HSW]: "{DIR[DTC]}/vpp_performance_configuration_3n_hsw"
  51     DIR[DTC,PERF,VPP,3N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_3n_skx"
  52     DIR[DTC,PERF,VPP,2N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_2n_skx"
  53     DIR[DTC,MRR,VPP,3N,HSW]: "{DIR[DTC]}/vpp_mrr_configuration_3n_hsw"
  54     DIR[DTC,MRR,VPP,3N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_3n_skx"
  55     DIR[DTC,MRR,VPP,2N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_skx"
  56     DIR[DTC,FUNC,VPP,UBUNTU]: "{DIR[DTC]}/vpp_functional_configuration_ubuntu"
  57     DIR[DTC,FUNC,VPP,CENTOS]: "{DIR[DTC]}/vpp_functional_configuration_centos"
  58     DIR[DTC,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTC]}/vpp_device_configuration_ubuntu"
  59
  60     # Detailed tests operational data
  61     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
  62     DIR[DTO,PERF,VPP,3N,HSW]: "{DIR[DTO]}/vpp_performance_operational_data_3n_hsw"
  63     DIR[DTO,PERF,VPP,3N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_3n_skx"
  64     DIR[DTO,PERF,VPP,2N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_skx"
  65
  66     # .css patch file to fix tables generated by Sphinx
  67     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
  68     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
  69
  70   urls:
  71     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
  72     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
  73     URL[NEXUS]: "https://docs.fd.io/csit"
  74     DIR[NEXUS]: "report/_static/archive"
  75
  76   make-dirs:
  77   # List the directories which are created while preparing the environment.
  78   # All directories MUST be defined in "paths" section.
  79   - "DIR[WORKING,DATA]"
  80   - "DIR[STATIC,VPP]"
  81   - "DIR[STATIC,DPDK]"
  82   - "DIR[STATIC,ARCH]"
  83   - "DIR[BUILD,LATEX]"
  84   - "DIR[WORKING,SRC]"
  85   - "DIR[WORKING,SRC,STATIC]"
  86
  87   remove-dirs:
  88   # List the directories which are deleted while cleaning the environment.
  89   # All directories MUST be defined in "paths" section.
  90   #- "DIR[BUILD,HTML]"
  91   - "DIR[WORKING,DATA]"
  92
  93   build-dirs:
  94   # List the directories where the results (build) is stored.
  95   # All directories MUST be defined in "paths" section.
  96   - "DIR[BUILD,HTML]"
  97   - "DIR[BUILD,LATEX]"
  98
  99 -
 100   type: "configuration"
 101
 102   limits:
 103     nic:
 104       x520: 24460000
 105       x710: 35800000
 106       xxv710: 35800000
 107       xl710: 35800000
 108
 109     link:
 110       10ge: 14880952.38
 111       25ge: 37202380.95
 112       40ge: 59523809.52
 113       100ge: 148809523.81
 114
 115     pci:
 116       pci-g3-x8: 74404761.90
 117       pci-g3-x16: 148809523.81
 118
 119   data-sets:
 120
 121     # VPP Performance
 122     vpp-performance-changes:
 123       csit-vpp-perf-1804-all:
 124       - 21  # sel
 125       - 22  # sel
 126       - 23  # sel
 127       - 24  # sel
 128       - 27  # sel
 129       - 28  # sel
 130       - 29  # sel
 131       - 30  # sel
 132       - 31  # sel
 133       - 35  # sel
 134       csit-vpp-perf-verify-1807-3n-hsw:
 135       - 11  # NDRPDR full 1
 136       - 22  # NDRPDR full 2
 137       - 45  # NDRPDR full 3
 138       - 46  # NDRPDR full 4
 139       - 15  # NDRPDR sel
 140       - 16  # NDRPDR sel
 141       - 19  # NDRPDR sel
 142       - 18  # NDRPDR sel
 143       - 20  # NDRPDR sel
 144       - 38  # NDRPDR sel
 145       - 40  # NDRPDR sel
 146       - 44  # NDRPDR sel
 147       - 47  # NDRPDR sel
 148       csit-vpp-perf-verify-1810-3n-hsw:
 149       - 8   # NDRPDR sel
 150       - 12  # NDRPDR sel
 151       - 14  # NDRPDR sel
 152       - 18  # NDRPDR sel
 153       - 23  # NDRPDR sel
 154       - 25  # NDRPDR sel
 155       - 38  # NDRPDR sel
 156       - 39  # NDRPDR sel
 157       - 41  # NDRPDR sel
 158       - 42  # NDRPDR sel
 159
 160     vpp-compare-testbeds:
 161       csit-vpp-perf-verify-1810-3n-hsw:
 162       - 8   # NDRPDR sel
 163       - 12  # NDRPDR sel
 164       - 14  # NDRPDR sel
 165       - 18  # NDRPDR sel
 166       - 23  # NDRPDR sel
 167       - 25  # NDRPDR sel
 168       - 38  # NDRPDR sel
 169       - 39  # NDRPDR sel
 170       - 41  # NDRPDR sel
 171       - 42  # NDRPDR sel
 172       csit-vpp-perf-verify-1810-3n-skx:
 173       - 24  # NDRPDR full
 174       - 10  # NDRPDR sel
 175       - 14  # NDRPDR sel
 176       - 15  # NDRPDR sel
 177       - 16  # NDRPDR sel
 178       - 17  # NDRPDR sel
 179       - 19  # NDRPDR sel
 180       - 20  # NDRPDR sel
 181       - 21  # NDRPDR sel
 182       - 22  # NDRPDR sel
 183       - 25  # NDRPDR sel
 184
 185     vpp-compare-testbeds-mrr:
 186       csit-vpp-perf-verify-1810-3n-hsw:
 187       - 9   # MRR sel
 188       csit-vpp-perf-verify-1810-3n-skx:
 189       - 9   # MRR sel
 190       - 11  # MRR sel
 191       - 12  # MRR sel
 192       - 13  # MRR sel
 193
 194     vpp-performance-changes-mrr:
 195       csit-vpp-perf-check-1804:
 196       - 6   # mrr - sel
 197       - 13  # mrr - sel
 198       - 14  # mrr - sel
 199       - 15  # mrr - sel
 200       - 16  # mrr - sel
 201       - 17  # mrr - sel
 202       - 19  # mrr - sel
 203       - 20  # mrr - sel
 204       - 21  # mrr - sel
 205       - 22  # mrr - sel
 206       csit-vpp-perf-verify-1807-3n-hsw:
 207       - 8   # MRR full
 208       - 9   # MRR sel
 209       - 21  # MRR sel
 210       - 31  # MRR sel
 211       - 33  # MRR sel
 212       - 36  # MRR sel
 213       - 41  # MRR sel
 214       - 42  # MRR sel
 215       - 48  # MRR sel
 216       csit-vpp-perf-verify-1810-3n-hsw:
 217       - 9   # MRR sel
 218
 219     vpp-perf-results-3n-hsw:
 220       csit-vpp-perf-verify-1810-3n-hsw:
 221       - 20  # NDRPDR full
 222       - 21  # NDRPDR full
 223       - 22  # NDRPDR full
 224       - 27  # NDRPDR full
 225
 226     vpp-perf-results-3n-skx:
 227       csit-vpp-perf-verify-1810-3n-skx:
 228       - 23  # NDRPDR full
 229       - 24  # NDRPDR full
 230
 231     vpp-perf-results-2n-skx:
 232       csit-vpp-perf-verify-1810-2n-skx:
 233       - 25  # NDRPDR full
 234       - 26  # NDRPDR full
 235
 236     vpp-mrr-results-3n-hsw:
 237       csit-vpp-perf-verify-1810-3n-hsw:
 238       - 9   # MRR sel
 239
 240     vpp-mrr-results-3n-skx:
 241       csit-vpp-perf-verify-1810-3n-skx:
 242       - 9   # MRR sel
 243
 244     vpp-mrr-results-2n-skx:
 245       csit-vpp-perf-verify-1810-2n-skx:
 246       - 8   # MRR sel
 247
 248     plot-throughput-speedup-analysis-3n-hsw:
 249       csit-vpp-perf-verify-1810-3n-hsw:
 250       - 8   # NDRPDR sel
 251       - 12  # NDRPDR sel
 252       - 14  # NDRPDR sel
 253       - 18  # NDRPDR sel
 254       - 23  # NDRPDR sel
 255       - 25  # NDRPDR sel
 256       - 38  # NDRPDR sel
 257       - 39  # NDRPDR sel
 258       - 41  # NDRPDR sel
 259       - 42  # NDRPDR sel
 260
 261     plot-throughput-speedup-analysis-3n-skx:
 262       csit-vpp-perf-verify-1810-3n-skx:
 263       - 24  # NDRPDR full
 264       - 10  # NDRPDR sel
 265       - 14  # NDRPDR sel
 266       - 15  # NDRPDR sel
 267       - 16  # NDRPDR sel
 268       - 17  # NDRPDR sel
 269       - 19  # NDRPDR sel
 270       - 20  # NDRPDR sel
 271       - 21  # NDRPDR sel
 272       - 22  # NDRPDR sel
 273       - 25  # NDRPDR sel
 274
 275     plot-throughput-speedup-analysis-2n-skx:
 276       csit-vpp-perf-verify-1810-2n-skx:
 277       - 9   # NDRPDR sel
 278       - 13  # NDRPDR sel
 279       - 14  # NDRPDR sel
 280       - 19  # NDRPDR sel
 281       - 20  # NDRPDR sel
 282       - 21  # NDRPDR sel
 283       - 22  # NDRPDR sel
 284       - 23  # NDRPDR sel
 285       - 24  # NDRPDR sel
 286       - 27  # NDRPDR sel
 287
 288     plot-vpp-throughput-latency-3n-hsw:
 289       csit-vpp-perf-verify-1810-3n-hsw:
 290       - 8   # NDRPDR sel
 291       - 12  # NDRPDR sel
 292       - 14  # NDRPDR sel
 293       - 18  # NDRPDR sel
 294       - 23  # NDRPDR sel
 295       - 25  # NDRPDR sel
 296       - 38  # NDRPDR sel
 297       - 39  # NDRPDR sel
 298       - 41  # NDRPDR sel
 299       - 42  # NDRPDR sel
 300
 301     plot-vpp-throughput-latency-3n-skx:
 302       csit-vpp-perf-verify-1810-3n-skx:
 303       - 24  # NDRPDR full
 304       - 10  # NDRPDR sel
 305       - 14  # NDRPDR sel
 306       - 15  # NDRPDR sel
 307       - 16  # NDRPDR sel
 308       - 17  # NDRPDR sel
 309       - 19  # NDRPDR sel
 310       - 20  # NDRPDR sel
 311       - 21  # NDRPDR sel
 312       - 22  # NDRPDR sel
 313       - 25  # NDRPDR sel
 314
 315     plot-vpp-throughput-latency-2n-skx:
 316       csit-vpp-perf-verify-1810-2n-skx:
 317       - 9   # NDRPDR sel
 318       - 13  # NDRPDR sel
 319       - 14  # NDRPDR sel
 320       - 19  # NDRPDR sel
 321       - 20  # NDRPDR sel
 322       - 21  # NDRPDR sel
 323       - 22  # NDRPDR sel
 324       - 23  # NDRPDR sel
 325       - 24  # NDRPDR sel
 326       - 27  # NDRPDR sel
 327
 328     plot-vpp-http-server-performance:
 329       csit-vpp-perf-verify-1810-3n-hsw:
 330       - 28  # WRK
 331       - 29  # WRK
 332       - 30  # WRK
 333       - 31  # WRK
 334       - 32  # WRK
 335       - 33  # WRK
 336       - 34  # WRK
 337       - 35  # WRK
 338       - 36  # WRK
 339       - 37  # WRK
 340
 341     # VPP Functional
 342     vpp-func-results-ubuntu:
 343       csit-vpp-functional-1810-ubuntu1604-virl:
 344       - 44
 345
 346     vpp-func-results-centos:
 347       csit-vpp-functional-1810-centos7-virl:
 348       - 44
 349
 350     vpp-device-results-ubuntu:
 351       csit-vpp-device-1810-ubuntu1804-1n-skx:
 352       - 2
 353
 354     # VPP Ligato
 355     ligato-perf-results-3n-hsw:
 356       csit-ligato-perf-verify-1810-3n-hsw:
 357       - 5   # full
 358
 359     plot-ligato-throughput-speedup-analysis-3n-hsw:
 360       csit-ligato-perf-verify-1810-3n-hsw:
 361       - 5   # full
 362       - 6   # sel
 363       - 8   # sel
 364       - 9   # sel
 365       - 11  # sel
 366       - 12  # sel
 367       - 13  # sel
 368       - 14  # sel
 369       - 16  # sel
 370       - 17  # sel
 371       - 18  # sel
 372
 373     plot-ligato-throughput-latency-3n-hsw:
 374       csit-ligato-perf-verify-1810-3n-hsw:
 375       - 5   # full
 376       - 6   # sel
 377       - 8   # sel
 378       - 9   # sel
 379       - 11  # sel
 380       - 12  # sel
 381       - 13  # sel
 382       - 14  # sel
 383       - 16  # sel
 384       - 17  # sel
 385       - 18  # sel
 386
 387     # DPDK Performance
 388     dpdk-performance-changes:
 389       csit-dpdk-perf-1804-all:
 390       - 4
 391       - 5
 392       - 6
 393       - 7
 394       - 8
 395       - 9
 396       - 10
 397       - 11
 398       - 12
 399       - 13
 400       csit-dpdk-perf-verify-1807-3n-hsw:
 401       - 11
 402       - 12  # full
 403       - 14
 404       - 15
 405       - 16
 406       - 17
 407       - 20
 408       - 21
 409       - 22
 410       - 23
 411       csit-dpdk-perf-verify-1810-3n-hsw:
 412       - 1   # NDRPDR sel
 413       - 2   # NDRPDR sel
 414       - 3   # NDRPDR sel
 415       - 4   # NDRPDR sel
 416       - 5   # NDRPDR sel
 417       - 6   # NDRPDR sel
 418       - 7   # NDRPDR sel
 419       - 8   # NDRPDR sel
 420       - 9   # NDRPDR sel
 421       - 10  # NDRPDR sel
 422
 423     dpdk-compare-testbeds:
 424       csit-dpdk-perf-verify-1810-3n-skx:
 425       - 3   # NDRPDR sel
 426       - 4   # NDRPDR sel
 427       - 6   # NDRPDR sel
 428       - 7   # NDRPDR sel
 429       - 8   # NDRPDR sel
 430       - 9   # NDRPDR sel
 431       - 10  # NDRPDR sel
 432       - 11  # NDRPDR sel
 433       - 12  # NDRPDR sel
 434       - 13  # NDRPDR sel
 435       csit-dpdk-perf-verify-1810-3n-hsw:
 436       - 1   # NDRPDR sel
 437       - 2   # NDRPDR sel
 438       - 3   # NDRPDR sel
 439       - 4   # NDRPDR sel
 440       - 5   # NDRPDR sel
 441       - 6   # NDRPDR sel
 442       - 7   # NDRPDR sel
 443       - 8   # NDRPDR sel
 444       - 9   # NDRPDR sel
 445       - 10  # NDRPDR sel
 446
 447     dpdk-perf-results-3n-hsw:
 448       csit-dpdk-perf-verify-1810-3n-hsw:
 449       - 1
 450
 451     dpdk-perf-results-3n-skx:
 452       csit-dpdk-perf-verify-1810-3n-skx:
 453       - 3   # NDRPDR sel
 454
 455     dpdk-perf-results-2n-skx:
 456       csit-dpdk-perf-verify-1810-2n-skx:
 457       - 3
 458
 459     plot-dpdk-throughput-latency-3n-hsw:
 460       csit-dpdk-perf-verify-1810-3n-hsw:
 461       - 1   # NDRPDR sel
 462       - 2   # NDRPDR sel
 463       - 3   # NDRPDR sel
 464       - 4   # NDRPDR sel
 465       - 5   # NDRPDR sel
 466       - 6   # NDRPDR sel
 467       - 7   # NDRPDR sel
 468       - 8   # NDRPDR sel
 469       - 9   # NDRPDR sel
 470       - 10  # NDRPDR sel
 471
 472     plot-dpdk-throughput-latency-3n-skx:
 473       csit-dpdk-perf-verify-1810-3n-skx:
 474       - 3   # NDRPDR sel
 475       - 4   # NDRPDR sel
 476       - 6   # NDRPDR sel
 477       - 7   # NDRPDR sel
 478       - 8   # NDRPDR sel
 479       - 9   # NDRPDR sel
 480       - 10  # NDRPDR sel
 481       - 11  # NDRPDR sel
 482       - 12  # NDRPDR sel
 483       - 13  # NDRPDR sel
 484
 485     plot-dpdk-throughput-latency-2n-skx:
 486       csit-dpdk-perf-verify-1810-2n-skx:
 487       - 3   # NDRPDR sel
 488       - 4   # NDRPDR sel
 489       - 5   # NDRPDR sel
 490       - 7   # NDRPDR sel
 491       - 8   # NDRPDR sel
 492       - 9   # NDRPDR sel
 493       - 10  # NDRPDR sel
 494       - 11  # NDRPDR sel
 495       - 12  # NDRPDR sel
 496       - 13  # NDRPDR sel
 497
 498     # HoneyComb Functional
 499     hc-func-results:
 500       csit-hc2vpp-verify-func-1810-ubuntu1604:
 501       - 1
 502
 503     # NSH SFC Functional
 504     nsh-func-results:
 505       csit-nsh_sfc-verify-func-1810-ubuntu1604-virl:
 506       - 1
 507
 508     # DMM Functional
 509     dmm-func-results:
 510       csit-dmm-functional-1810-ubuntu1604-virl:
 511       - 1
 512
 513   plot-layouts:
 514
 515     plot-cps:
 516       titlefont:
 517         size: 18
 518       xaxis:
 519         title: "<b>Test Cases [Index]</b>"
 520         titlefont:
 521           size: 16
 522         autorange: True
 523         fixedrange: False
 524         gridcolor: "rgb(230, 230, 230)"
 525         linecolor: "rgb(220, 220, 220)"
 526         linewidth: 1
 527         showgrid: True
 528         showline: True
 529         showticklabels: True
 530         tickcolor: "rgb(220, 220, 220)"
 531         tickmode: "linear"
 532         tickfont:
 533           size: 16
 534         zeroline: False
 535       yaxis:
 536         title: "<b>Connections Per Second [cps]</b>"
 537         titlefont:
 538           size: 16
 539         gridcolor: "rgb(230, 230, 230)"
 540         hoverformat: ".4s"
 541         linecolor: "rgb(220, 220, 220)"
 542         linewidth: 1
 543         rangemode: "tozero"
 544         showgrid: True
 545         showline: True
 546         showticklabels: True
 547         tickcolor: "rgb(220, 220, 220)"
 548         tickformat: ".3s"
 549         tickfont:
 550           size: 16
 551         zeroline: False
 552       boxmode: "group"
 553       boxgroupgap: 0.5
 554       autosize: False
 555       margin:
 556         t: 50
 557         b: 20
 558         l: 80
 559         r: 20
 560       showlegend: True
 561       legend:
 562         orientation: "h"
 563         font:
 564           size: 16
 565       width: 700
 566       height: 800
 567
 568     plot-rps:
 569       titlefont:
 570         size: 18
 571       xaxis:
 572         title: "<b>Test Cases [Index]</b>"
 573         titlefont:
 574           size: 16
 575         autorange: True
 576         fixedrange: False
 577         gridcolor: "rgb(230, 230, 230)"
 578         linecolor: "rgb(220, 220, 220)"
 579         linewidth: 1
 580         showgrid: True
 581         showline: True
 582         showticklabels: True
 583         tickcolor: "rgb(220, 220, 220)"
 584         tickmode: "linear"
 585         tickfont:
 586           size: 16
 587         zeroline: False
 588       yaxis:
 589         title: "<b>Requests Per Second [rps]</b>"
 590         titlefont:
 591           size: 16
 592         gridcolor: "rgb(230, 230, 230)"
 593         hoverformat: ".4s"
 594         linecolor: "rgb(220, 220, 220)"
 595         linewidth: 1
 596         rangemode: "tozero"
 597         showgrid: True
 598         showline: True
 599         showticklabels: True
 600         tickcolor: "rgb(230, 230, 230)"
 601         tickformat: ".3s"
 602         tickfont:
 603           size: 16
 604         zeroline: False
 605       boxmode: "group"
 606       boxgroupgap: 0.5
 607       autosize: False
 608       margin:
 609         t: 50
 610         b: 20
 611         l: 80
 612         r: 20
 613       showlegend: True
 614       legend:
 615         orientation: "h"
 616         font:
 617           size: 16
 618       width: 700
 619       height: 800
 620
 621     plot-throughput:
 622       titlefont:
 623         size: 18
 624       xaxis:
 625         title: "<b>Test Cases [Index]</b>"
 626         titlefont:
 627           size: 16
 628         autorange: True
 629         fixedrange: False
 630         gridcolor: "rgb(230, 230, 230)"
 631         linecolor: "rgb(220, 220, 220)"
 632         linewidth: 1
 633         showgrid: True
 634         showline: True
 635         showticklabels: True
 636         tickcolor: "rgb(220, 220, 220)"
 637         tickmode: "linear"
 638         tickfont:
 639           size: 16
 640         zeroline: False
 641       yaxis:
 642         title: "<b>Packet Throughput [Mpps]</b>"
 643         titlefont:
 644           size: 16
 645         gridcolor: "rgb(230, 230, 230)"
 646         hoverformat: ".4s"
 647         tickformat: ".3s"
 648         linecolor: "rgb(220, 220, 220)"
 649         linewidth: 1
 650         showgrid: True
 651         showline: True
 652         showticklabels: True
 653         tickcolor: "rgb(220, 220, 220)"
 654         tickfont:
 655           size: 16
 656         zeroline: False
 657         range: [0,50]
 658       boxmode: "group"
 659       boxgroupgap: 0.5
 660       autosize: False
 661       margin:
 662         t: 50
 663         b: 20
 664         l: 80
 665         r: 20
 666       showlegend: True
 667       legend:
 668         orientation: "h"
 669         font:
 670           size: 16
 671       width: 700
 672       # height: 850
 673
 674     plot-throughput-speedup-analysis:
 675       titlefont:
 676         size: 18
 677       xaxis:
 678         title: "<b>Number of Cores [Qty]</b>"
 679         titlefont:
 680           size: 16
 681         autorange: True
 682         fixedrange: False
 683         gridcolor: "rgb(230, 230, 230)"
 684         linecolor: "rgb(220, 220, 220)"
 685         linewidth: 1
 686         showgrid: True
 687         showline: True
 688         showticklabels: True
 689         tickcolor: "rgb(238, 238, 238)"
 690         tickmode: "linear"
 691         tickfont:
 692           size: 16
 693         zeroline: False
 694       yaxis:
 695         title: "<b>Packet Throughput [Mpps]</b>"
 696         titlefont:
 697           size: 16
 698         type: "linear"
 699         gridcolor: "rgb(230, 230, 230)"
 700         hoverformat: ".4s"
 701         linecolor: "rgb(220, 220, 220)"
 702         linewidth: 1
 703         showgrid: True
 704         showline: True
 705         showticklabels: True
 706         tickcolor: "rgb(220, 220, 220)"
 707         tickformat: ".4s"
 708         tickfont:
 709           size: 16
 710         zeroline: True
 711         rangemode: "tozero"
 712         # range: [0,100]
 713       legend:
 714         orientation: "h"
 715         font:
 716           size: 16
 717         xanchor: "left"
 718         yanchor: "top"
 719         x: 0
 720         y: -0.2
 721         bgcolor: "rgba(255, 255, 255, 0)"
 722         bordercolor: "rgba(255, 255, 255, 0)"
 723         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
 724       autosize: False
 725       margin:
 726           't': 50
 727           'b': 150
 728           'l': 85
 729           'r': 10
 730       showlegend: True
 731       width: 700
 732       height: 700
 733       hoverlabel:
 734         namelength: -1
 735       annotations: [
 736         {
 737           text: "_ _          __          ...",
 738           align: "left",
 739           showarrow: False,
 740           xref: "paper",
 741           yref: "paper",
 742           xanchor: "left",
 743           yanchor: "top",
 744           x: 0,
 745           y: -0.13,
 746           font: {
 747             family: "Consolas, Courier New",
 748             size: 15
 749           },
 750         },
 751         {
 752           text: "    Perfect     Measured     Limit",
 753           align: "left",
 754           showarrow: False,
 755           xref: "paper",
 756           yref: "paper",
 757           xanchor: "left",
 758           yanchor: "top",
 759           x: 0,
 760           y: -0.15,
 761           font: {
 762             family: "Consolas, Courier New",
 763             size: 15
 764           },
 765         },
 766       ]
 767
 768     plot-latency:
 769       titlefont:
 770         size: 18
 771       xaxis:
 772         title: "<b>Direction</b>"
 773         titlefont:
 774           size: 16
 775         autorange: True
 776         fixedrange: False
 777         gridcolor: "rgb(230, 230, 230)"
 778         linecolor: "rgb(220, 220, 220)"
 779         linewidth: 1
 780         showgrid: True
 781         showline: True
 782         showticklabels: False
 783         tickcolor: "rgb(220, 220, 220)"
 784         tickmode: "linear"
 785         tickfont:
 786           size: 16
 787         zeroline: False
 788       yaxis:
 789         title: "<b>Packet Latency [uSec]</b>"
 790         titlefont:
 791           size: 16
 792         type: "linear"
 793         gridcolor: "rgb(230, 230, 230)"
 794         hoverformat: ".4s"
 795         linecolor: "rgb(220, 220, 220)"
 796         linewidth: 1
 797         showgrid: True
 798         showline: True
 799         showticklabels: True
 800         tickcolor: "rgb(220, 220, 220)"
 801         tickformat: ".4s"
 802         tickfont:
 803           size: 16
 804         zeroline: True
 805         rangemode: "tozero"
 806       legend:
 807         orientation: "h"
 808         font:
 809           size: 16
 810         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
 811       autosize: False
 812       margin:
 813           't': 50
 814           'b': 150
 815           'l': 80
 816           'r': 10
 817       showlegend: True
 818       width: 700
 819       height: 700
 820       hoverlabel:
 821         namelength: -1
 822
 823 -
 824   type: "static"
 825   src-path: "{DIR[RST]}"
 826   dst-path: "{DIR[WORKING,SRC]}"
 827
 828 -
 829   type: "input"
 830   general:
 831     file-name: "robot-plugin.zip"
 832     file-format: ".zip"
 833     download-path: "{job}/{build}/robot/report/*zip*/{filename}"
 834     extract: "robot-plugin/output.xml"
 835
 836   builds:
 837
 838     csit-vpp-perf-1804-all:
 839     - 21  # sel
 840     - 22  # sel
 841     - 23  # sel
 842     - 24  # sel
 843     - 27  # sel
 844     - 28  # sel
 845     - 29  # sel
 846     - 30  # sel
 847     - 31  # sel
 848     - 35  # sel
 849     csit-vpp-perf-verify-1807-3n-hsw:
 850     - 8   # MRR full
 851     - 9   # MRR sel
 852     - 21  # MRR sel
 853     - 31  # MRR sel
 854     - 33  # MRR sel
 855     - 36  # MRR sel
 856     - 41  # MRR sel
 857     - 42  # MRR sel
 858     - 48  # MRR sel
 859     - 11  # NDRPDR full 1
 860     - 22  # NDRPDR full 2
 861     - 45  # NDRPDR full 3
 862     - 46  # NDRPDR full 4
 863     - 15  # NDRPDR sel
 864     - 16  # NDRPDR sel
 865     - 19  # NDRPDR sel
 866     - 18  # NDRPDR sel
 867     - 20  # NDRPDR sel
 868     - 38  # NDRPDR sel
 869     - 40  # NDRPDR sel
 870     - 44  # NDRPDR sel
 871     - 47  # NDRPDR sel
 872     - 24  # WRK
 873     - 25  # WRK
 874     - 23  # WRK
 875     - 26  # WRK
 876     - 27  # WRK
 877     - 28  # WRK
 878     - 29  # WRK
 879     - 30  # WRK
 880     - 32  # WRK
 881     - 35  # WRK
 882     csit-vpp-perf-verify-1810-3n-hsw:
 883     - 9   # MRR sel
 884     - 20  # NDRPDR full
 885     - 21  # NDRPDR full
 886     - 22  # NDRPDR full
 887     - 27  # NDRPDR full
 888     - 8   # NDRPDR sel
 889     - 12  # NDRPDR sel
 890     - 14  # NDRPDR sel
 891     - 18  # NDRPDR sel
 892     - 23  # NDRPDR sel
 893     - 25  # NDRPDR sel
 894     - 38  # NDRPDR sel
 895     - 39  # NDRPDR sel
 896     - 41  # NDRPDR sel
 897     - 42  # NDRPDR sel
 898     - 28  # WRK
 899     - 29  # WRK
 900     - 30  # WRK
 901     - 31  # WRK
 902     - 32  # WRK
 903     - 33  # WRK
 904     - 34  # WRK
 905     - 35  # WRK
 906     - 36  # WRK
 907     - 37  # WRK
 908     csit-vpp-perf-verify-1807-3n-skx:
 909     - 31  # MRR full
 910     - 28  # MRR sel
 911     - 32  # MRR sel
 912     - 36  # MRR sel
 913     - 42  # MRR sel
 914     - 47  # MRR sel
 915     - 48  # MRR sel
 916     - 51  # MRR sel
 917     - 52  # MRR sel
 918     - 53  # MRR sel
 919     - 54  # MRR sel
 920     - 40  # NDRPDR full 1
 921     - 41  # NDRPDR full 2
 922     - 33  # NDRPDR sel
 923     - 35  # NDRPDR sel
 924     - 37  # NDRPDR sel
 925     - 38  # NDRPDR sel
 926     - 39  # NDRPDR sel
 927     - 43  # NDRPDR sel
 928     - 44  # NDRPDR sel
 929     - 49  # NDRPDR sel
 930     - 50  # NDRPDR sel
 931     - 56  # NDRPDR sel
 932     csit-vpp-perf-verify-1810-3n-skx:
 933     - 9   # MRR sel
 934     - 11  # MRR sel
 935     - 12  # MRR sel
 936     - 13  # MRR sel
 937     - 23  # NDRPDR full
 938     - 24  # NDRPDR full
 939     - 10  # NDRPDR sel
 940     - 14  # NDRPDR sel
 941     - 15  # NDRPDR sel
 942     - 16  # NDRPDR sel
 943     - 17  # NDRPDR sel
 944     - 19  # NDRPDR sel
 945     - 20  # NDRPDR sel
 946     - 21  # NDRPDR sel
 947     - 22  # NDRPDR sel
 948     - 25  # NDRPDR sel
 949     csit-vpp-perf-verify-1807-2n-skx:
 950     - 27  # MRR full
 951     - 31  # MRR sel
 952     - 33  # MRR sel
 953     - 37  # MRR sel
 954     - 38  # MRR sel
 955     - 41  # MRR sel
 956     - 43  # MRR sel
 957     - 44  # MRR sel
 958     - 45  # MRR sel
 959     - 46  # MRR sel
 960     - 47  # MRR sel
 961     - 32  # NDRPDR full
 962     - 26  # NDRPDR sel
 963     - 28  # NDRPDR sel
 964     - 29  # NDRPDR sel
 965     - 30  # NDRPDR sel
 966     - 34  # NDRPDR sel
 967     - 35  # NDRPDR sel
 968     - 36  # NDRPDR sel
 969     - 39  # NDRPDR sel
 970     - 40  # NDRPDR sel
 971     - 42  # NDRPDR sel
 972     csit-vpp-perf-verify-1810-2n-skx:
 973     - 8   # MRR sel
 974     - 10  # MRR sel
 975     - 11  # MRR sel
 976     - 12  # MRR sel
 977     - 25  # NDRPDR full
 978     - 26  # NDRPDR full
 979     - 9   # NDRPDR sel
 980     - 13  # NDRPDR sel
 981     - 14  # NDRPDR sel
 982     - 19  # NDRPDR sel
 983     - 20  # NDRPDR sel
 984     - 21  # NDRPDR sel
 985     - 22  # NDRPDR sel
 986     - 23  # NDRPDR sel
 987     - 24  # NDRPDR sel
 988     - 27  # NDRPDR sel
 989     csit-vpp-perf-check-1804:
 990     - 5   # mrr - full
 991     - 6   # mrr - sel
 992     - 13  # mrr - sel
 993     - 14  # mrr - sel
 994     - 15  # mrr - sel
 995     - 16  # mrr - sel
 996     - 17  # mrr - sel
 997     - 19  # mrr - sel
 998     - 20  # mrr - sel
 999     - 21  # mrr - sel
1000     - 22  # mrr - sel
1001     csit-ligato-perf-verify-1810-3n-hsw:
1002     - 5   # full
1003     - 6   # sel
1004     - 8   # sel
1005     - 9   # sel
1006     - 11  # sel
1007     - 12  # sel
1008     - 13  # sel
1009     - 14  # sel
1010     - 16  # sel
1011     - 17  # sel
1012     - 18  # sel
1013     csit-dpdk-perf-1804-all:
1014     - 4
1015     - 5
1016     - 6
1017     - 7
1018     - 8
1019     - 9
1020     - 10
1021     - 11
1022     - 12
1023     - 13
1024     csit-dpdk-perf-verify-1807-3n-hsw:
1025     - 11
1026     - 12  # full
1027     - 14
1028     - 15
1029     - 16
1030     - 17
1031     - 20
1032     - 21
1033     - 22
1034     - 23
1035     csit-dpdk-perf-verify-1810-3n-hsw:
1036     - 1   # NDRPDR sel
1037     - 2   # NDRPDR sel
1038     - 3   # NDRPDR sel
1039     - 4   # NDRPDR sel
1040     - 5   # NDRPDR sel
1041     - 6   # NDRPDR sel
1042     - 7   # NDRPDR sel
1043     - 8   # NDRPDR sel
1044     - 9   # NDRPDR sel
1045     - 10  # NDRPDR sel
1046     csit-dpdk-perf-verify-1807-3n-skx:
1047     - 1
1048     - 2
1049     - 3
1050     - 6
1051     - 7
1052     - 8
1053     - 9
1054     - 10
1055     - 11
1056     - 12
1057     csit-dpdk-perf-verify-1810-3n-skx:
1058     - 3   # NDRPDR sel
1059     - 4   # NDRPDR sel
1060     - 6   # NDRPDR sel
1061     - 7   # NDRPDR sel
1062     - 8   # NDRPDR sel
1063     - 9   # NDRPDR sel
1064     - 10  # NDRPDR sel
1065     - 11  # NDRPDR sel
1066     - 12  # NDRPDR sel
1067     - 13  # NDRPDR sel
1068     csit-dpdk-perf-verify-1810-2n-skx:
1069     - 3   # NDRPDR sel
1070     - 4   # NDRPDR sel
1071     - 5   # NDRPDR sel
1072     - 7   # NDRPDR sel
1073     - 8   # NDRPDR sel
1074     - 9   # NDRPDR sel
1075     - 10  # NDRPDR sel
1076     - 11  # NDRPDR sel
1077     - 12  # NDRPDR sel
1078     - 13  # NDRPDR sel
1079
1080     csit-vpp-functional-1810-ubuntu1604-virl:
1081     - 44
1082     csit-vpp-functional-1810-centos7-virl:
1083     - 44
1084     csit-vpp-device-1810-ubuntu1804-1n-skx:
1085     - 2
1086     csit-nsh_sfc-verify-func-1810-ubuntu1604-virl:
1087     - 1
1088     csit-dmm-functional-1810-ubuntu1604-virl:
1089     - 1
1090     csit-hc2vpp-verify-func-1810-ubuntu1604:
1091     - 1
1092
1093 -
1094   type: "output"
1095   output: "report"
1096   format:
1097     html:
1098     - full
1099     pdf:
1100     - minimal
1101
1102 ################################################################################
1103 ###                               T A B L E S                                ###
1104 ################################################################################
1105
1106 ################################################################################
1107 # VPP
1108
1109 # VPP Performance Changes 1t1c pdr
1110 -
1111   type: "table"
1112   title: "VPP Performance Changes 1t1c pdr"
1113   algorithm: "table_performance_comparison"
1114   output-file: "{DIR[STATIC,VPP]}/performance-changes-1t1c-pdr"
1115   history:
1116     -
1117       title: "rls1804"
1118       data:
1119         csit-vpp-perf-1804-all:
1120         - 21  # sel
1121         - 22  # sel
1122         - 23  # sel
1123         - 24  # sel
1124         - 27  # sel
1125         - 28  # sel
1126         - 29  # sel
1127         - 30  # sel
1128         - 31  # sel
1129         - 35  # sel
1130   reference:
1131     title: "rls1807"
1132     data:
1133       csit-vpp-perf-verify-1807-3n-hsw:
1134       - 11  # NDRPDR full 1
1135       - 22  # NDRPDR full 2
1136       - 45  # NDRPDR full 3
1137       - 46  # NDRPDR full 4
1138       - 15  # NDRPDR sel
1139       - 16  # NDRPDR sel
1140       - 19  # NDRPDR sel
1141       - 18  # NDRPDR sel
1142       - 20  # NDRPDR sel
1143       - 38  # NDRPDR sel
1144       - 40  # NDRPDR sel
1145       - 44  # NDRPDR sel
1146       - 47  # NDRPDR sel
1147   compare:
1148     title: "rls1810"
1149     data:
1150       csit-vpp-perf-verify-1810-3n-hsw:
1151       - 8   # NDRPDR sel
1152       - 12  # NDRPDR sel
1153       - 14  # NDRPDR sel
1154       - 18  # NDRPDR sel
1155       - 23  # NDRPDR sel
1156       - 25  # NDRPDR sel
1157       - 38  # NDRPDR sel
1158       - 39  # NDRPDR sel
1159       - 41  # NDRPDR sel
1160       - 42  # NDRPDR sel
1161   data: "vpp-performance-changes"
1162   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1163   filter: "'1T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1164   parameters:
1165   - "name"
1166   - "parent"
1167   - "throughput"
1168
1169 # VPP Performance Changes 2t2c pdr
1170 -
1171   type: "table"
1172   title: "VPP Performance Changes 2t2c pdr"
1173   algorithm: "table_performance_comparison"
1174   output-file: "{DIR[STATIC,VPP]}/performance-changes-2t2c-pdr"
1175   history:
1176     -
1177       title: "rls1804"
1178       data:
1179         csit-vpp-perf-1804-all:
1180         - 21  # sel
1181         - 22  # sel
1182         - 23  # sel
1183         - 24  # sel
1184         - 27  # sel
1185         - 28  # sel
1186         - 29  # sel
1187         - 30  # sel
1188         - 31  # sel
1189         - 35  # sel
1190   reference:
1191     title: "rls1807"
1192     data:
1193       csit-vpp-perf-verify-1807-3n-hsw:
1194       - 11  # NDRPDR full 1
1195       - 22  # NDRPDR full 2
1196       - 45  # NDRPDR full 3
1197       - 46  # NDRPDR full 4
1198       - 15  # NDRPDR sel
1199       - 16  # NDRPDR sel
1200       - 19  # NDRPDR sel
1201       - 18  # NDRPDR sel
1202       - 20  # NDRPDR sel
1203       - 38  # NDRPDR sel
1204       - 40  # NDRPDR sel
1205       - 44  # NDRPDR sel
1206       - 47  # NDRPDR sel
1207   compare:
1208     title: "rls1810"
1209     data:
1210       csit-vpp-perf-verify-1810-3n-hsw:
1211       - 8   # NDRPDR sel
1212       - 12  # NDRPDR sel
1213       - 14  # NDRPDR sel
1214       - 18  # NDRPDR sel
1215       - 23  # NDRPDR sel
1216       - 25  # NDRPDR sel
1217       - 38  # NDRPDR sel
1218       - 39  # NDRPDR sel
1219       - 41  # NDRPDR sel
1220       - 42  # NDRPDR sel
1221   data: "vpp-performance-changes"
1222   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1223   filter: "'2T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1224   parameters:
1225   - "name"
1226   - "parent"
1227   - "throughput"
1228
1229 # VPP Performance Changes 1t1c ndr
1230 -
1231   type: "table"
1232   title: "VPP Performance Changes 1t1c ndr"
1233   algorithm: "table_performance_comparison"
1234   output-file: "{DIR[STATIC,VPP]}/performance-changes-1t1c-ndr"
1235   history:
1236     -
1237       title: "rls1804"
1238       data:
1239         csit-vpp-perf-1804-all:
1240         - 21  # sel
1241         - 22  # sel
1242         - 23  # sel
1243         - 24  # sel
1244         - 27  # sel
1245         - 28  # sel
1246         - 29  # sel
1247         - 30  # sel
1248         - 31  # sel
1249         - 35  # sel
1250   reference:
1251     title: "rls1807"
1252     data:
1253       csit-vpp-perf-verify-1807-3n-hsw:
1254       - 11  # NDRPDR full 1
1255       - 22  # NDRPDR full 2
1256       - 45  # NDRPDR full 3
1257       - 46  # NDRPDR full 4
1258       - 15  # NDRPDR sel
1259       - 16  # NDRPDR sel
1260       - 19  # NDRPDR sel
1261       - 18  # NDRPDR sel
1262       - 20  # NDRPDR sel
1263       - 38  # NDRPDR sel
1264       - 40  # NDRPDR sel
1265       - 44  # NDRPDR sel
1266       - 47  # NDRPDR sel
1267   compare:
1268     title: "rls1810"
1269     data:
1270       csit-vpp-perf-verify-1810-3n-hsw:
1271       - 8   # NDRPDR sel
1272       - 12  # NDRPDR sel
1273       - 14  # NDRPDR sel
1274       - 18  # NDRPDR sel
1275       - 23  # NDRPDR sel
1276       - 25  # NDRPDR sel
1277       - 38  # NDRPDR sel
1278       - 39  # NDRPDR sel
1279       - 41  # NDRPDR sel
1280       - 42  # NDRPDR sel
1281   data: "vpp-performance-changes"
1282   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1283   filter: "'1T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1284   parameters:
1285   - "name"
1286   - "parent"
1287   - "throughput"
1288
1289 # VPP Performance Changes 2t2c ndr
1290 -
1291   type: "table"
1292   title: "VPP Performance Changes 2t2c ndr"
1293   algorithm: "table_performance_comparison"
1294   output-file: "{DIR[STATIC,VPP]}/performance-changes-2t2c-ndr"
1295   history:
1296     -
1297       title: "rls1804"
1298       data:
1299         csit-vpp-perf-1804-all:
1300         - 21  # sel
1301         - 22  # sel
1302         - 23  # sel
1303         - 24  # sel
1304         - 27  # sel
1305         - 28  # sel
1306         - 29  # sel
1307         - 30  # sel
1308         - 31  # sel
1309         - 35  # sel
1310   reference:
1311     title: "rls1807"
1312     data:
1313       csit-vpp-perf-verify-1807-3n-hsw:
1314       - 11  # NDRPDR full 1
1315       - 22  # NDRPDR full 2
1316       - 45  # NDRPDR full 3
1317       - 46  # NDRPDR full 4
1318       - 15  # NDRPDR sel
1319       - 16  # NDRPDR sel
1320       - 19  # NDRPDR sel
1321       - 18  # NDRPDR sel
1322       - 20  # NDRPDR sel
1323       - 38  # NDRPDR sel
1324       - 40  # NDRPDR sel
1325       - 44  # NDRPDR sel
1326       - 47  # NDRPDR sel
1327   compare:
1328     title: "rls1810"
1329     data:
1330       csit-vpp-perf-verify-1810-3n-hsw:
1331       - 8   # NDRPDR sel
1332       - 12  # NDRPDR sel
1333       - 14  # NDRPDR sel
1334       - 18  # NDRPDR sel
1335       - 23  # NDRPDR sel
1336       - 25  # NDRPDR sel
1337       - 38  # NDRPDR sel
1338       - 39  # NDRPDR sel
1339       - 41  # NDRPDR sel
1340       - 42  # NDRPDR sel
1341   data: "vpp-performance-changes"
1342   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1343   filter: "'2T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1344   parameters:
1345   - "name"
1346   - "parent"
1347   - "throughput"
1348
1349 # VPP Comparison Across Testbeds 3n-hsw to 3n-skx ndr
1350 -
1351   type: "table"
1352   title: "VPP Comparison Across Testbeds 3n-hsw to 3n-skx ndr"
1353   algorithm: "table_performance_comparison"
1354   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-hsw-3n-skx-ndr"
1355   reference:
1356     title: "3-Node Hsw"
1357     data:
1358       csit-vpp-perf-verify-1810-3n-hsw:
1359       - 8   # NDRPDR sel
1360       - 12  # NDRPDR sel
1361       - 14  # NDRPDR sel
1362       - 18  # NDRPDR sel
1363       - 23  # NDRPDR sel
1364       - 25  # NDRPDR sel
1365       - 38  # NDRPDR sel
1366       - 39  # NDRPDR sel
1367       - 41  # NDRPDR sel
1368       - 42  # NDRPDR sel
1369   compare:
1370     title: "3-Node Skx"
1371     data:
1372       csit-vpp-perf-verify-1810-3n-skx:
1373       - 10  # NDRPDR sel
1374       - 14  # NDRPDR sel
1375       - 15  # NDRPDR sel
1376       - 16  # NDRPDR sel
1377       - 17  # NDRPDR sel
1378       - 19  # NDRPDR sel
1379       - 20  # NDRPDR sel
1380       - 21  # NDRPDR sel
1381       - 22  # NDRPDR sel
1382       - 25  # NDRPDR sel
1383   data: "vpp-compare-testbeds"
1384   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1385   filter: "'NIC_Intel-X710' and 'NDRPDR'"
1386   parameters:
1387   - "name"
1388   - "parent"
1389   - "throughput"
1390
1391 # VPP Comparison Across Testbeds 3n-hsw to 3n-skx pdr
1392 -
1393   type: "table"
1394   title: "VPP Comparison Across Testbeds 3n-hsw to 3n-skx pdr"
1395   algorithm: "table_performance_comparison"
1396   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-hsw-3n-skx-pdr"
1397   reference:
1398     title: "3-Node Hsw"
1399     data:
1400       csit-vpp-perf-verify-1810-3n-hsw:
1401       - 8   # NDRPDR sel
1402       - 12  # NDRPDR sel
1403       - 14  # NDRPDR sel
1404       - 18  # NDRPDR sel
1405       - 23  # NDRPDR sel
1406       - 25  # NDRPDR sel
1407       - 38  # NDRPDR sel
1408       - 39  # NDRPDR sel
1409       - 41  # NDRPDR sel
1410       - 42  # NDRPDR sel
1411   compare:
1412     title: "3-Node Skx"
1413     data:
1414       csit-vpp-perf-verify-1810-3n-skx:
1415       - 10  # NDRPDR sel
1416       - 14  # NDRPDR sel
1417       - 15  # NDRPDR sel
1418       - 16  # NDRPDR sel
1419       - 17  # NDRPDR sel
1420       - 19  # NDRPDR sel
1421       - 20  # NDRPDR sel
1422       - 21  # NDRPDR sel
1423       - 22  # NDRPDR sel
1424       - 25  # NDRPDR sel
1425   data: "vpp-compare-testbeds"
1426   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1427   filter: "'NIC_Intel-X710' and 'NDRPDR'"
1428   parameters:
1429   - "name"
1430   - "parent"
1431   - "throughput"
1432
1433 # VPP Performance Changes - 1t1c MRR
1434 -
1435   type: "table"
1436   title: "VPP Performance Changes - 1t1c MRR"
1437   algorithm: "table_performance_comparison"
1438   output-file: "{DIR[STATIC,VPP]}/performance-changes-1t1c-mrr"
1439   history:
1440     -
1441       title: "rls1804"
1442       data:
1443         csit-vpp-perf-check-1804:
1444         - 6   # mrr - sel
1445         - 13  # mrr - sel
1446         - 14  # mrr - sel
1447         - 15  # mrr - sel
1448         - 16  # mrr - sel
1449         - 17  # mrr - sel
1450         - 19  # mrr - sel
1451         - 20  # mrr - sel
1452         - 21  # mrr - sel
1453         - 22  # mrr - sel
1454   reference:
1455     title: "rls1807"
1456     data:
1457       csit-vpp-perf-verify-1807-3n-hsw:
1458       - 8   # MRR full
1459       - 9   # MRR sel
1460       - 21  # MRR sel
1461       - 31  # MRR sel
1462       - 33  # MRR sel
1463       - 36  # MRR sel
1464       - 41  # MRR sel
1465       - 42  # MRR sel
1466       - 48  # MRR sel
1467   compare:
1468     title: "rls1810"
1469     data:
1470       csit-vpp-perf-verify-1810-3n-hsw:
1471       - 9   # MRR sel
1472   data: "vpp-performance-changes-mrr"
1473   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1474   filter: "'1T1C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1475   parameters:
1476   - "name"
1477   - "parent"
1478   - "result"
1479
1480 # VPP Performance Changes - 2t2c MRR
1481 -
1482   type: "table"
1483   title: "VPP Performance Changes - 2t2c MRR"
1484   algorithm: "table_performance_comparison"
1485   output-file: "{DIR[STATIC,VPP]}/performance-changes-2t2c-mrr"
1486   history:
1487     -
1488       title: "rls1804"
1489       data:
1490         csit-vpp-perf-check-1804:
1491         - 6   # mrr - sel
1492         - 13  # mrr - sel
1493         - 14  # mrr - sel
1494         - 15  # mrr - sel
1495         - 16  # mrr - sel
1496         - 17  # mrr - sel
1497         - 19  # mrr - sel
1498         - 20  # mrr - sel
1499         - 21  # mrr - sel
1500         - 22  # mrr - sel
1501   reference:
1502     title: "rls1807"
1503     data:
1504       csit-vpp-perf-verify-1807-3n-hsw:
1505       - 8   # MRR full
1506       - 9   # MRR sel
1507       - 21  # MRR sel
1508       - 31  # MRR sel
1509       - 33  # MRR sel
1510       - 36  # MRR sel
1511       - 41  # MRR sel
1512       - 42  # MRR sel
1513       - 48  # MRR sel
1514   compare:
1515     title: "rls1810"
1516     data:
1517       csit-vpp-perf-verify-1810-3n-hsw:
1518       - 9   # MRR sel
1519   data: "vpp-performance-changes-mrr"
1520   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1521   filter: "'2T2C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1522   parameters:
1523   - "name"
1524   - "parent"
1525   - "result"
1526
1527 # VPP Performance Changes - 4t4c MRR
1528 -
1529   type: "table"
1530   title: "VPP Performance Changes - 4t4c MRR"
1531   algorithm: "table_performance_comparison"
1532   output-file: "{DIR[STATIC,VPP]}/performance-changes-4t4c-mrr"
1533   history:
1534     -
1535       title: "rls1804"
1536       data:
1537         csit-vpp-perf-check-1804:
1538         - 6   # mrr - sel
1539         - 13  # mrr - sel
1540         - 14  # mrr - sel
1541         - 15  # mrr - sel
1542         - 16  # mrr - sel
1543         - 17  # mrr - sel
1544         - 19  # mrr - sel
1545         - 20  # mrr - sel
1546         - 21  # mrr - sel
1547         - 22  # mrr - sel
1548   reference:
1549     title: "rls1807"
1550     data:
1551       csit-vpp-perf-verify-1807-3n-hsw:
1552       - 8   # MRR full
1553       - 9   # MRR sel
1554       - 21  # MRR sel
1555       - 31  # MRR sel
1556       - 33  # MRR sel
1557       - 36  # MRR sel
1558       - 41  # MRR sel
1559       - 42  # MRR sel
1560       - 48  # MRR sel
1561   compare:
1562     title: "rls1810"
1563     data:
1564       csit-vpp-perf-verify-1810-3n-hsw:
1565       - 9   # MRR sel
1566   data: "vpp-performance-changes-mrr"
1567   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1568   filter: "'4T4C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1569   parameters:
1570   - "name"
1571   - "parent"
1572   - "result"
1573
1574 # VPP Comparison Across Testbeds 3n-hsw to 3n-skx mrr
1575 -
1576   type: "table"
1577   title: "VPP Comparison Across Testbeds 3n-hsw to 3n-skx mrr"
1578   algorithm: "table_performance_comparison"
1579   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-hsw-3n-skx-mrr"
1580   reference:
1581     title: "3-Node Hsw"
1582     data:
1583       csit-vpp-perf-verify-1810-3n-hsw:
1584       - 9   # MRR sel
1585   compare:
1586     title: "3-Node Skx"
1587     data:
1588       csit-vpp-perf-verify-1810-3n-skx:
1589       - 9   # MRR sel
1590       - 11  # MRR sel
1591       - 12  # MRR sel
1592       - 13  # MRR sel
1593   data: "vpp-compare-testbeds-mrr"
1594   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1595   filter: "'NIC_Intel-X710' and 'MRR'"
1596   parameters:
1597   - "name"
1598   - "parent"
1599   - "result"
1600
1601 # Detailed Test Results - VPP Performance Results 3n-hsw
1602 -
1603   type: "table"
1604   title: "Detailed Test Results - VPP Performance Results 3n-hsw"
1605   algorithm: "table_merged_details"
1606   output-file-ext: ".csv"
1607   output-file: "{DIR[DTR,PERF,VPP,3N,HSW]}/vpp_performance_results_3n_hsw"
1608   columns:
1609   -
1610     title: "Name"
1611     data: "data name"
1612   -
1613     title: "Status"
1614     data: "data msg"
1615   rows: "generated"
1616   data: "vpp-perf-results-3n-hsw"
1617   filter: "not 'NDRCHK' and not 'PDRCHK'"
1618   parameters:
1619   - "name"
1620   - "parent"
1621   - "msg"
1622
1623 # Detailed Test Results - VPP Performance Results 3n-skx
1624 -
1625   type: "table"
1626   title: "Detailed Test Results - VPP Performance Results 3n-skx"
1627   algorithm: "table_merged_details"
1628   output-file-ext: ".csv"
1629   output-file: "{DIR[DTR,PERF,VPP,3N,SKX]}/vpp_performance_results_3n_skx"
1630   columns:
1631   -
1632     title: "Name"
1633     data: "data name"
1634   -
1635     title: "Status"
1636     data: "data msg"
1637   rows: "generated"
1638   data: "vpp-perf-results-3n-skx"
1639   filter: "not 'NDRCHK' and not 'PDRCHK'"
1640   parameters:
1641   - "name"
1642   - "parent"
1643   - "msg"
1644
1645 # Detailed Test Results - VPP Performance Results 2n-skx
1646 -
1647   type: "table"
1648   title: "Detailed Test Results - VPP Performance Results 2n-skx"
1649   algorithm: "table_merged_details"
1650   output-file-ext: ".csv"
1651   output-file: "{DIR[DTR,PERF,VPP,2N,SKX]}/vpp_performance_results_2n_skx"
1652   columns:
1653   -
1654     title: "Name"
1655     data: "data name"
1656   -
1657     title: "Status"
1658     data: "data msg"
1659   rows: "generated"
1660   data: "vpp-perf-results-2n-skx"
1661   filter: "not 'NDRCHK' and not 'PDRCHK'"
1662   parameters:
1663   - "name"
1664   - "parent"
1665   - "msg"
1666
1667 # Test configuration - VPP Performance Test Configs 3n-hsw
1668 -
1669   type: "table"
1670   title: "Test configuration - VPP Performance Test Configs 3n-hsw"
1671   algorithm: "table_merged_details"
1672   output-file-ext: ".csv"
1673   output-file: "{DIR[DTC,PERF,VPP,3N,HSW]}/vpp_test_configuration_3n_hsw"
1674   columns:
1675   -
1676     title: "Name"
1677     data: "data name"
1678   -
1679     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1680     data: "data vat-history"
1681   rows: "generated"
1682   data: "vpp-perf-results-3n-hsw"
1683   filter: "not 'NDRCHK' and not 'PDRCHK'"
1684   parameters:
1685   - "parent"
1686   - "name"
1687   - "vat-history"
1688
1689 # Test configuration - VPP Performance Test Configs 3n-skx
1690 -
1691   type: "table"
1692   title: "Test configuration - VPP Performance Test Configs 3n-skx"
1693   algorithm: "table_merged_details"
1694   output-file-ext: ".csv"
1695   output-file: "{DIR[DTC,PERF,VPP,3N,SKX]}/vpp_test_configuration_3n_skx"
1696   columns:
1697   -
1698     title: "Name"
1699     data: "data name"
1700   -
1701     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1702     data: "data vat-history"
1703   rows: "generated"
1704   data: "vpp-perf-results-3n-skx"
1705   filter: "not 'NDRCHK' and not 'PDRCHK'"
1706   parameters:
1707   - "parent"
1708   - "name"
1709   - "vat-history"
1710
1711 # Test configuration - VPP Performance Test Configs 2n-skx
1712 -
1713   type: "table"
1714   title: "Test configuration - VPP Performance Test Configs 2n-skx"
1715   algorithm: "table_merged_details"
1716   output-file-ext: ".csv"
1717   output-file: "{DIR[DTC,PERF,VPP,2N,SKX]}/vpp_test_configuration_2n_skx"
1718   columns:
1719   -
1720     title: "Name"
1721     data: "data name"
1722   -
1723     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1724     data: "data vat-history"
1725   rows: "generated"
1726   data: "vpp-perf-results-2n-skx"
1727   filter: "not 'NDRCHK' and not 'PDRCHK'"
1728   parameters:
1729   - "parent"
1730   - "name"
1731   - "vat-history"
1732
1733 # Test Operational Data - VPP Performance Operational Data 3n-hsw
1734 -
1735   type: "table"
1736   title: "Test Operational Data - VPP Performance Operational Data 3n-hsw"
1737   algorithm: "table_merged_details"
1738   output-file-ext: ".csv"
1739   output-file: "{DIR[DTO,PERF,VPP,3N,HSW]}/vpp_test_operational_3n_hsw"
1740   columns:
1741   -
1742     title: "Name"
1743     data: "data name"
1744   -
1745     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
1746     data: "data show-run"
1747   rows: "generated"
1748   data: "vpp-perf-results-3n-hsw"
1749   filter: "not 'NDRCHK' and not 'PDRCHK'"
1750   parameters:
1751   - "parent"
1752   - "name"
1753   - "show-run"
1754
1755 # Test Operational Data - VPP Performance Operational Data 3n-skx
1756 -
1757   type: "table"
1758   title: "Test Operational Data - VPP Performance Operational Data 3n-skx"
1759   algorithm: "table_merged_details"
1760   output-file-ext: ".csv"
1761   output-file: "{DIR[DTO,PERF,VPP,3N,SKX]}/vpp_test_operational_3n_skx"
1762   columns:
1763   -
1764     title: "Name"
1765     data: "data name"
1766   -
1767     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
1768     data: "data show-run"
1769   rows: "generated"
1770   data: "vpp-perf-results-3n-skx"
1771   filter: "not 'NDRCHK' and not 'PDRCHK'"
1772   parameters:
1773   - "parent"
1774   - "name"
1775   - "show-run"
1776
1777 # Test Operational Data - VPP Performance Operational Data 2n-skx
1778 -
1779   type: "table"
1780   title: "Test Operational Data - VPP Performance Operational Data 2n-skx"
1781   algorithm: "table_merged_details"
1782   output-file-ext: ".csv"
1783   output-file: "{DIR[DTO,PERF,VPP,2N,SKX]}/vpp_test_operational_2n_skx"
1784   columns:
1785   -
1786     title: "Name"
1787     data: "data name"
1788   -
1789     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
1790     data: "data show-run"
1791   rows: "generated"
1792   data: "vpp-perf-results-2n-skx"
1793   filter: "not 'NDRCHK' and not 'PDRCHK'"
1794   parameters:
1795   - "parent"
1796   - "name"
1797   - "show-run"
1798
1799 # Detailed Test Results - VPP MRR Results 3n-hsw
1800 -
1801   type: "table"
1802   title: "Detailed Test Results - VPP MRR Results 3n-hsw"
1803   algorithm: "table_details"
1804   output-file-ext: ".csv"
1805   output-file: "{DIR[DTR,MRR,VPP,3N,HSW]}/vpp_mrr_results_3n_hsw"
1806   columns:
1807   -
1808     title: "Name"
1809     data: "data name"
1810   -
1811     title: "Status"
1812     data: "data msg"
1813   rows: "generated"
1814   data: "vpp-mrr-results-3n-hsw"
1815   filter: "'MRR'"
1816   parameters:
1817   - "name"
1818   - "parent"
1819   - "msg"
1820
1821 # Detailed Test Results - VPP MRR Results 3n-skx
1822 -
1823   type: "table"
1824   title: "Detailed Test Results - VPP MRR Results 3n-skx"
1825   algorithm: "table_details"
1826   output-file-ext: ".csv"
1827   output-file: "{DIR[DTR,MRR,VPP,3N,SKX]}/vpp_mrr_results_3n_skx"
1828   columns:
1829   -
1830     title: "Name"
1831     data: "data name"
1832   -
1833     title: "Status"
1834     data: "data msg"
1835   rows: "generated"
1836   data: "vpp-mrr-results-3n-skx"
1837   filter: "'MRR'"
1838   parameters:
1839   - "name"
1840   - "parent"
1841   - "msg"
1842
1843 # Detailed Test Results - VPP MRR Results 2n-skx
1844 -
1845   type: "table"
1846   title: "Detailed Test Results - VPP MRR Results 2n-skx"
1847   algorithm: "table_details"
1848   output-file-ext: ".csv"
1849   output-file: "{DIR[DTR,MRR,VPP,2N,SKX]}/vpp_mrr_results_2n_skx"
1850   columns:
1851   -
1852     title: "Name"
1853     data: "data name"
1854   -
1855     title: "Status"
1856     data: "data msg"
1857   rows: "generated"
1858   data: "vpp-mrr-results-2n-skx"
1859   filter: "'MRR'"
1860   parameters:
1861   - "name"
1862   - "parent"
1863   - "msg"
1864
1865 # Test configuration - VPP MRR Test Configs 3n-hsw
1866 -
1867   type: "table"
1868   title: "Test configuration - VPP MRR Test Configs 3n-hsw"
1869   algorithm: "table_details"
1870   output-file-ext: ".csv"
1871   output-file: "{DIR[DTC,MRR,VPP,3N,HSW]}/vpp_mrr_test_configuration_3n_hsw"
1872   columns:
1873   -
1874     title: "Name"
1875     data: "data name"
1876   -
1877     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1878     data: "data vat-history"
1879   rows: "generated"
1880   data: "vpp-mrr-results-3n-hsw"
1881   filter: "'MRR'"
1882   parameters:
1883   - "parent"
1884   - "name"
1885   - "vat-history"
1886
1887 # Test configuration - VPP MRR Test Configs 3n-skx
1888 -
1889   type: "table"
1890   title: "Test configuration - VPP MRR Test Configs 3n-skx"
1891   algorithm: "table_details"
1892   output-file-ext: ".csv"
1893   output-file: "{DIR[DTC,MRR,VPP,3N,SKX]}/vpp_mrr_test_configuration_3n_skx"
1894   columns:
1895   -
1896     title: "Name"
1897     data: "data name"
1898   -
1899     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1900     data: "data vat-history"
1901   rows: "generated"
1902   data: "vpp-mrr-results-3n-skx"
1903   filter: "'MRR'"
1904   parameters:
1905   - "parent"
1906   - "name"
1907   - "vat-history"
1908
1909 # Test configuration - VPP MRR Test Configs 2n-skx
1910 -
1911   type: "table"
1912   title: "Test configuration - VPP MRR Test Configs 2n-skx"
1913   algorithm: "table_details"
1914   output-file-ext: ".csv"
1915   output-file: "{DIR[DTC,MRR,VPP,2N,SKX]}/vpp_mrr_test_configuration_2n_skx"
1916   columns:
1917   -
1918     title: "Name"
1919     data: "data name"
1920   -
1921     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1922     data: "data vat-history"
1923   rows: "generated"
1924   data: "vpp-mrr-results-2n-skx"
1925   filter: "'MRR'"
1926   parameters:
1927   - "parent"
1928   - "name"
1929   - "vat-history"
1930
1931 # Detailed Test Results - VPP Functional Results - Ubuntu
1932 -
1933   type: "table"
1934   title: "Detailed Test Results - VPP Functional Results - Ubuntu"
1935   algorithm: "table_details"
1936   output-file-ext: ".csv"
1937   output-file: "{DIR[DTR,FUNC,VPP,UBUNTU]}/vpp_functional_results_ubuntu"
1938   columns:
1939   -
1940     title: "Name"
1941     data: "data name"
1942   -
1943     title: "Documentation"
1944     data: "data doc"
1945   -
1946     title: "Status"
1947     data: "data status"
1948   rows: "generated"
1949   data: "vpp-func-results-ubuntu"
1950   filter: "all"
1951   parameters:
1952   - "name"
1953   - "parent"
1954   - "doc"
1955   - "status"
1956
1957 # Detailed Test Results - VPP Functional Results - CentOS
1958 -
1959   type: "table"
1960   title: "Detailed Test Results - VPP Functional Results - CentOS"
1961   algorithm: "table_details"
1962   output-file-ext: ".csv"
1963   output-file: "{DIR[DTR,FUNC,VPP,CENTOS]}/vpp_functional_results_centos"
1964   columns:
1965   -
1966     title: "Name"
1967     data: "data name"
1968   -
1969     title: "Documentation"
1970     data: "data doc"
1971   -
1972     title: "Status"
1973     data: "data status"
1974   rows: "generated"
1975   data:
1976     "vpp-func-results-centos"
1977   filter: "all"
1978   parameters:
1979   - "name"
1980   - "parent"
1981   - "doc"
1982   - "status"
1983
1984 # Test configuration - VPP Functional Test Configs - Ubuntu
1985 -
1986   type: "table"
1987   title: "Test configuration - VPP Functional Test Configs - Ubuntu"
1988   algorithm: "table_details"
1989   output-file-ext: ".csv"
1990   output-file: "{DIR[DTC,FUNC,VPP,UBUNTU]}/vpp_functional_configuration_ubuntu"
1991   columns:
1992   -
1993     title: "Name"
1994     data: "data name"
1995   -
1996     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1997     data: "data vat-history"
1998   rows: "generated"
1999   data: "vpp-func-results-ubuntu"
2000   filter: "all"
2001   parameters:
2002   - "parent"
2003   - "name"
2004   - "vat-history"
2005
2006 # Test configuration - VPP Functional Test Configs - CentOS
2007 -
2008   type: "table"
2009   title: "Test configuration - VPP Functional Test Configs - CentOS"
2010   algorithm: "table_details"
2011   output-file-ext: ".csv"
2012   output-file: "{DIR[DTC,FUNC,VPP,CENTOS]}/vpp_functional_configuration_centos"
2013   columns:
2014   -
2015     title: "Name"
2016     data: "data name"
2017   -
2018     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
2019     data: "data vat-history"
2020   rows: "generated"
2021   data: "vpp-func-results-centos"
2022   filter: "all"
2023   parameters:
2024   - "parent"
2025   - "name"
2026   - "vat-history"
2027
2028 # Detailed Test Results - Container Orchestrated Topologies Performance Results 3n-hsw
2029 -
2030   type: "table"
2031   title: "Detailed Test Results - Container Orchestrated Topologies Performance Results 3n-hsw"
2032   algorithm: "table_details"
2033   output-file-ext: ".csv"
2034   output-file: "{DIR[DTR,PERF,COT,3N,HSW]}/cot_performance_results_3n_hsw"
2035   columns:
2036   -
2037     title: "Name"
2038     data: "data name"
2039   -
2040     title: "Status"
2041     data: "data msg"
2042   rows: "generated"
2043   data: "ligato-perf-results-3n-hsw"
2044   filter: "all"
2045   parameters:
2046   - "name"
2047   - "parent"
2048   - "msg"
2049
2050 # Detailed Test Results - VPP Device Results - Ubuntu
2051 -
2052   type: "table"
2053   title: "Detailed Test Results - VPP Device Results - Ubuntu"
2054   algorithm: "table_details"
2055   output-file-ext: ".csv"
2056   output-file: "{DIR[DTR,FUNC,VPP,DEVICE,UBUNTU]}/vpp_device_results_ubuntu"
2057   columns:
2058   -
2059     title: "Name"
2060     data: "data name"
2061   -
2062     title: "Documentation"
2063     data: "data doc"
2064   -
2065     title: "Status"
2066     data: "data status"
2067   rows: "generated"
2068   data: "vpp-device-results-ubuntu"
2069   filter: "all"
2070   parameters:
2071   - "name"
2072   - "parent"
2073   - "doc"
2074   - "status"
2075
2076 # Test configuration - VPP Device Test Configs - Ubuntu
2077 -
2078   type: "table"
2079   title: "Test configuration - VPP Device Test Configs - Ubuntu"
2080   algorithm: "table_details"
2081   output-file-ext: ".csv"
2082   output-file: "{DIR[DTC,FUNC,VPP,DEVICE,UBUNTU]}/vpp_device_configuration_ubuntu"
2083   columns:
2084   -
2085     title: "Name"
2086     data: "data name"
2087   -
2088     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
2089     data: "data vat-history"
2090   rows: "generated"
2091   data: "vpp-device-results-ubuntu"
2092   filter: "all"
2093   parameters:
2094   - "parent"
2095   - "name"
2096   - "vat-history"
2097
2098 ################################################################################
2099
2100 # DPDK Performance Changes 1t1c pdr
2101 -
2102   type: "table"
2103   title: "DPDK Performance Changes 1t1c pdr"
2104   algorithm: "table_performance_comparison"
2105   output-file: "{DIR[STATIC,DPDK]}/performance-changes-1t1c-pdr"
2106   history:
2107     -
2108       title: "rls1804"
2109       data:
2110         csit-dpdk-perf-1804-all:
2111         - 4
2112         - 5
2113         - 6
2114         - 7
2115         - 8
2116         - 9
2117         - 10
2118         - 11
2119         - 12
2120         - 13
2121   reference:
2122     title: "rls1807"
2123     data:
2124       csit-dpdk-perf-verify-1807-3n-hsw:
2125       - 11
2126       - 12  # full
2127       - 14
2128       - 15
2129       - 16
2130       - 17
2131       - 20
2132       - 21
2133       - 22
2134       - 23
2135   compare:
2136     title: "rls1810"
2137     data:
2138       csit-dpdk-perf-verify-1810-3n-hsw:
2139       - 1   # NDRPDR sel
2140       - 2   # NDRPDR sel
2141       - 3   # NDRPDR sel
2142       - 4   # NDRPDR sel
2143       - 5   # NDRPDR sel
2144       - 6   # NDRPDR sel
2145       - 7   # NDRPDR sel
2146       - 8   # NDRPDR sel
2147       - 9   # NDRPDR sel
2148       - 10  # NDRPDR sel
2149   data: "dpdk-performance-changes"
2150   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2151   filter: "'1T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2152   parameters:
2153   - "name"
2154   - "parent"
2155   - "throughput"
2156
2157 # DPDK Performance Changes 2t2c pdr
2158 -
2159   type: "table"
2160   title: "DPDK Performance Changes 2t2c pdr"
2161   algorithm: "table_performance_comparison"
2162   output-file: "{DIR[STATIC,DPDK]}/performance-changes-2t2c-pdr"
2163   history:
2164     -
2165       title: "rls1804"
2166       data:
2167         csit-dpdk-perf-1804-all:
2168         - 4
2169         - 5
2170         - 6
2171         - 7
2172         - 8
2173         - 9
2174         - 10
2175         - 11
2176         - 12
2177         - 13
2178   reference:
2179     title: "rls1807"
2180     data:
2181       csit-dpdk-perf-verify-1807-3n-hsw:
2182       - 11
2183       - 12  # full
2184       - 14
2185       - 15
2186       - 16
2187       - 17
2188       - 20
2189       - 21
2190       - 22
2191       - 23
2192   compare:
2193     title: "rls1810"
2194     data:
2195       csit-dpdk-perf-verify-1810-3n-hsw:
2196       - 1   # NDRPDR sel
2197       - 2   # NDRPDR sel
2198       - 3   # NDRPDR sel
2199       - 4   # NDRPDR sel
2200       - 5   # NDRPDR sel
2201       - 6   # NDRPDR sel
2202       - 7   # NDRPDR sel
2203       - 8   # NDRPDR sel
2204       - 9   # NDRPDR sel
2205       - 10  # NDRPDR sel
2206   data: "dpdk-performance-changes"
2207   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2208   filter: "'2T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2209   parameters:
2210   - "name"
2211   - "parent"
2212   - "throughput"
2213
2214 # DPDK Performance Changes 1t1c ndr
2215 -
2216   type: "table"
2217   title: "DPDK Performance Changes 1t1c ndr"
2218   algorithm: "table_performance_comparison"
2219   output-file: "{DIR[STATIC,DPDK]}/performance-changes-1t1c-ndr"
2220   history:
2221     -
2222       title: "rls1804"
2223       data:
2224         csit-dpdk-perf-1804-all:
2225         - 4
2226         - 5
2227         - 6
2228         - 7
2229         - 8
2230         - 9
2231         - 10
2232         - 11
2233         - 12
2234         - 13
2235   reference:
2236     title: "rls1807"
2237     data:
2238       csit-dpdk-perf-verify-1807-3n-hsw:
2239       - 11
2240       - 12  # full
2241       - 14
2242       - 15
2243       - 16
2244       - 17
2245       - 20
2246       - 21
2247       - 22
2248       - 23
2249   compare:
2250     title: "rls1810"
2251     data:
2252       csit-dpdk-perf-verify-1810-3n-hsw:
2253       - 1   # NDRPDR sel
2254       - 2   # NDRPDR sel
2255       - 3   # NDRPDR sel
2256       - 4   # NDRPDR sel
2257       - 5   # NDRPDR sel
2258       - 6   # NDRPDR sel
2259       - 7   # NDRPDR sel
2260       - 8   # NDRPDR sel
2261       - 9   # NDRPDR sel
2262       - 10  # NDRPDR sel
2263   data: "dpdk-performance-changes"
2264   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2265   filter: "'1T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2266   parameters:
2267   - "name"
2268   - "parent"
2269   - "throughput"
2270
2271 # DPDK Performance Changes 2t2c ndr
2272 -
2273   type: "table"
2274   title: "DPDK Performance Changes 2t2c ndr"
2275   algorithm: "table_performance_comparison"
2276   output-file: "{DIR[STATIC,DPDK]}/performance-changes-2t2c-ndr"
2277   history:
2278     -
2279       title: "rls1804"
2280       data:
2281         csit-dpdk-perf-1804-all:
2282         - 4
2283         - 5
2284         - 6
2285         - 7
2286         - 8
2287         - 9
2288         - 10
2289         - 11
2290         - 12
2291         - 13
2292   reference:
2293     title: "rls1807"
2294     data:
2295       csit-dpdk-perf-verify-1807-3n-hsw:
2296       - 11
2297       - 12  # full
2298       - 14
2299       - 15
2300       - 16
2301       - 17
2302       - 20
2303       - 21
2304       - 22
2305       - 23
2306   compare:
2307     title: "rls1810"
2308     data:
2309       csit-dpdk-perf-verify-1810-3n-hsw:
2310       - 1   # NDRPDR sel
2311       - 2   # NDRPDR sel
2312       - 3   # NDRPDR sel
2313       - 4   # NDRPDR sel
2314       - 5   # NDRPDR sel
2315       - 6   # NDRPDR sel
2316       - 7   # NDRPDR sel
2317       - 8   # NDRPDR sel
2318       - 9   # NDRPDR sel
2319       - 10  # NDRPDR sel
2320   data: "dpdk-performance-changes"
2321   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2322   filter: "'2T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2323   parameters:
2324   - "name"
2325   - "parent"
2326   - "throughput"
2327
2328 # DPDK Comparison Across Testbeds 3n-hsw to 3n-skx ndr
2329 -
2330   type: "table"
2331   title: "DPDK Comparison Across Testbeds 3n-hsw to 3n-skx ndr"
2332   algorithm: "table_performance_comparison"
2333   output-file: "{DIR[STATIC,DPDK]}/performance-compare-testbeds-3n-hsw-3n-skx-ndr"
2334   reference:
2335     title: "3-Node Hsw"
2336     data:
2337       csit-dpdk-perf-verify-1810-3n-hsw:
2338       - 1   # NDRPDR sel
2339       - 2   # NDRPDR sel
2340       - 3   # NDRPDR sel
2341       - 4   # NDRPDR sel
2342       - 5   # NDRPDR sel
2343       - 6   # NDRPDR sel
2344       - 7   # NDRPDR sel
2345       - 8   # NDRPDR sel
2346       - 9   # NDRPDR sel
2347       - 10  # NDRPDR sel
2348   compare:
2349     title: "3-Node Skx"
2350     data:
2351       csit-dpdk-perf-verify-1810-3n-skx:
2352       - 3   # NDRPDR sel
2353       - 4   # NDRPDR sel
2354       - 6   # NDRPDR sel
2355       - 7   # NDRPDR sel
2356       - 8   # NDRPDR sel
2357       - 9   # NDRPDR sel
2358       - 10  # NDRPDR sel
2359       - 11  # NDRPDR sel
2360       - 12  # NDRPDR sel
2361       - 13  # NDRPDR sel
2362   data: "dpdk-compare-testbeds"
2363   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2364   filter: "'NIC_Intel-X710' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2365   parameters:
2366   - "name"
2367   - "parent"
2368   - "throughput"
2369
2370 # DPDK Comparison Across Testbeds 3n-hsw to 3n-skx pdr
2371 -
2372   type: "table"
2373   title: "DPDK Comparison Across Testbeds 3n-hsw to 3n-skx pdr"
2374   algorithm: "table_performance_comparison"
2375   output-file: "{DIR[STATIC,DPDK]}/performance-compare-testbeds-3n-hsw-3n-skx-pdr"
2376   reference:
2377     title: "3-Node Hsw"
2378     data:
2379       csit-dpdk-perf-verify-1810-3n-hsw:
2380       - 1   # NDRPDR sel
2381       - 2   # NDRPDR sel
2382       - 3   # NDRPDR sel
2383       - 4   # NDRPDR sel
2384       - 5   # NDRPDR sel
2385       - 6   # NDRPDR sel
2386       - 7   # NDRPDR sel
2387       - 8   # NDRPDR sel
2388       - 9   # NDRPDR sel
2389       - 10  # NDRPDR sel
2390   compare:
2391     title: "3-Node Skx"
2392     data:
2393       csit-dpdk-perf-verify-1810-3n-skx:
2394       - 3   # NDRPDR sel
2395       - 4   # NDRPDR sel
2396       - 6   # NDRPDR sel
2397       - 7   # NDRPDR sel
2398       - 8   # NDRPDR sel
2399       - 9   # NDRPDR sel
2400       - 10  # NDRPDR sel
2401       - 11  # NDRPDR sel
2402       - 12  # NDRPDR sel
2403       - 13  # NDRPDR sel
2404   data: "dpdk-compare-testbeds"
2405   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2406   filter: "'NIC_Intel-X710' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2407   parameters:
2408   - "name"
2409   - "parent"
2410   - "throughput"
2411
2412 # DPDK Comparison Across Testbeds 3n-hsw to 3n-skx mrr
2413 # NOTE: Not used in 18.10
2414 #-
2415 #  type: "table"
2416 #  title: "DPDK Comparison Across Testbeds 3n-hsw to 3n-skx mrr"
2417 #  algorithm: "table_performance_comparison"
2418 #  output-file: "{DIR[STATIC,DPDK]}/performance-compare-testbeds-3n-hsw-3n-skx-mrr"
2419 #  reference:
2420 #    title: "3-Node Hsw"
2421 #    data:
2422 #      csit-dpdk-perf-verify-1807-3n-hsw:
2423 #      - 11
2424 #      - 12  # full
2425 #      - 14
2426 #      - 15
2427 #      - 16
2428 #      - 17
2429 #      - 20
2430 #      - 21
2431 #      - 22
2432 #      - 23
2433 #  compare:
2434 #    title: "3-Node Skx"
2435 #    data:
2436 #      csit-dpdk-perf-verify-1807-3n-skx:
2437 #      - 1
2438 #      - 2
2439 #      - 3
2440 #      - 6
2441 #      - 7
2442 #      - 8
2443 #      - 9
2444 #      - 10
2445 #      - 11
2446 #      - 12
2447 #  data: "dpdk-compare-testbeds"
2448 #  include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2449 #  filter: "'NIC_Intel-X710' and MRR" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2450 #  parameters:
2451 #  - "name"
2452 #  - "parent"
2453 #  - "result"
2454
2455 # Detailed Test Results - DPDK Performance Results 3n-hsw
2456 -
2457   type: "table"
2458   title: "Detailed Test Results - DPDK Performance Results 3n-hsw"
2459   algorithm: "table_details"
2460   output-file-ext: ".csv"
2461   output-file: "{DIR[DTR,PERF,DPDK,3N,HSW]}/dpdk_performance_results_3n_hsw"
2462   columns:
2463   -
2464     title: "Name"
2465     data: "data name"
2466   -
2467     title: "Status"
2468     data: "data msg"
2469   rows: "generated"
2470   data: "dpdk-perf-results-3n-hsw"
2471   filter: "all"
2472   parameters:
2473   - "name"
2474   - "parent"
2475   - "msg"
2476
2477 # Detailed Test Results - DPDK Performance Results 3n-skx
2478 -
2479   type: "table"
2480   title: "Detailed Test Results - DPDK Performance Results 3n-skx"
2481   algorithm: "table_details"
2482   output-file-ext: ".csv"
2483   output-file: "{DIR[DTR,PERF,DPDK,3N,SKX]}/dpdk_performance_results_3n_skx"
2484   columns:
2485   -
2486     title: "Name"
2487     data: "data name"
2488   -
2489     title: "Status"
2490     data: "data msg"
2491   rows: "generated"
2492   data: "dpdk-perf-results-3n-skx"
2493   filter: "all"
2494   parameters:
2495   - "name"
2496   - "parent"
2497   - "msg"
2498
2499 # Detailed Test Results - DPDK Performance Results 2n-skx
2500 -
2501   type: "table"
2502   title: "Detailed Test Results - DPDK Performance Results 2n-skx"
2503   algorithm: "table_details"
2504   output-file-ext: ".csv"
2505   output-file: "{DIR[DTR,PERF,DPDK,2N,SKX]}/dpdk_performance_results_2n_skx"
2506   columns:
2507   -
2508     title: "Name"
2509     data: "data name"
2510   -
2511     title: "Status"
2512     data: "data msg"
2513   rows: "generated"
2514   data: "dpdk-perf-results-2n-skx"
2515   filter: "all"
2516   parameters:
2517   - "name"
2518   - "parent"
2519   - "msg"
2520
2521 ################################################################################
2522 # HoneyComb
2523 -
2524   type: "table"
2525   title: "Detailed Test Results - Honeycomb Functional Results"
2526   algorithm: "table_details"
2527   output-file-ext: ".csv"
2528   output-file: "{DIR[DTR,FUNC,HC]}/hc_functional_results"
2529   columns:
2530   -
2531     title: "Name"
2532     data: "data name"
2533   -
2534     title: "Documentation"
2535     data: "data doc"
2536   -
2537     title: "Status"
2538     data: "data status"
2539   rows: "generated"
2540   data:
2541     "hc-func-results"
2542   filter: "all"
2543   parameters:
2544   - "name"
2545   - "parent"
2546   - "doc"
2547   - "status"
2548
2549 ################################################################################
2550 # NSH SFC
2551 -
2552   type: "table"
2553   title: "Detailed Test Results - NSH SFC Functional Results"
2554   algorithm: "table_details"
2555   output-file-ext: ".csv"
2556   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nsh_sfc_functional_results"
2557   columns:
2558   -
2559     title: "Name"
2560     data: "data name"
2561   -
2562     title: "Documentation"
2563     data: "data doc"
2564   -
2565     title: "Status"
2566     data: "data status"
2567   rows: "generated"
2568   data:
2569     "nsh-func-results"
2570   filter: "all"
2571   parameters:
2572   - "name"
2573   - "parent"
2574   - "doc"
2575   - "status"
2576
2577 ################################################################################
2578 # DMM
2579 -
2580   type: "table"
2581   title: "Detailed Test Results - DMM Functional Results"
2582   algorithm: "table_details"
2583   output-file-ext: ".csv"
2584   output-file: "{DIR[DTR,FUNC,DMM]}/dmm_functional_results"
2585   columns:
2586   -
2587     title: "Name"
2588     data: "data name"
2589   -
2590     title: "Documentation"
2591     data: "data doc"
2592   -
2593     title: "Status"
2594     data: "data status"
2595   rows: "generated"
2596   data:
2597     "dmm-func-results"
2598   filter: "all"
2599   parameters:
2600   - "name"
2601   - "parent"
2602   - "doc"
2603   - "status"
2604
2605 ################################################################################
2606 ###                                F I L E S                                 ###
2607 ################################################################################
2608
2609 # VPP Performance Results 3n-hsw
2610 -
2611   type: "file"
2612   title: "VPP Performance Results 3n-hsw"
2613   algorithm: "file_test_results"
2614   output-file-ext: ".rst"
2615   output-file: "{DIR[DTR,PERF,VPP,3N,HSW]}/vpp_performance_results_3n_hsw"
2616   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2617   dir-tables: "{DIR[DTR,PERF,VPP,3N,HSW]}"
2618   data: "vpp-perf-results-3n-hsw"
2619   filter: "not 'NDRCHK' and not 'PDRCHK'"
2620   parameters:
2621   - "name"
2622   - "doc"
2623   - "level"
2624   - "parent"
2625   data-start-level: 3
2626
2627 # VPP Performance Results 3n-skx
2628 -
2629   type: "file"
2630   title: "VPP Performance Results 3n-skx"
2631   algorithm: "file_test_results"
2632   output-file-ext: ".rst"
2633   output-file: "{DIR[DTR,PERF,VPP,3N,SKX]}/vpp_performance_results_3n_skx"
2634   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2635   dir-tables: "{DIR[DTR,PERF,VPP,3N,SKX]}"
2636   data: "vpp-perf-results-3n-skx"
2637   filter: "not 'NDRCHK' and not 'PDRCHK'"
2638   parameters:
2639   - "name"
2640   - "doc"
2641   - "level"
2642   - "parent"
2643   data-start-level: 3
2644
2645 # VPP Performance Results 2n-skx
2646 -
2647   type: "file"
2648   title: "VPP Performance Results 2n-skx"
2649   algorithm: "file_test_results"
2650   output-file-ext: ".rst"
2651   output-file: "{DIR[DTR,PERF,VPP,2N,SKX]}/vpp_performance_results_2n_skx"
2652   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2653   dir-tables: "{DIR[DTR,PERF,VPP,2N,SKX]}"
2654   data: "vpp-perf-results-2n-skx"
2655   filter: "not 'NDRCHK' and not 'PDRCHK'"
2656   parameters:
2657   - "name"
2658   - "doc"
2659   - "level"
2660   - "parent"
2661   data-start-level: 3
2662
2663 # VPP Performance Configuration 3n-hsw
2664 -
2665   type: "file"
2666   title: "VPP Performance Configuration 3n-hsw"
2667   algorithm: "file_test_results"
2668   output-file-ext: ".rst"
2669   output-file: "{DIR[DTC,PERF,VPP,3N,HSW]}/vpp_performance_configuration_3n_hsw"
2670   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2671   dir-tables: "{DIR[DTC,PERF,VPP,3N,HSW]}"
2672   data: "vpp-perf-results-3n-hsw"
2673   filter: "not 'NDRCHK' and not 'PDRCHK'"
2674   parameters:
2675   - "name"
2676   - "doc"
2677   - "level"
2678   - "parent"
2679   data-start-level: 3
2680
2681 # VPP Performance Configuration 3n-skx
2682 -
2683   type: "file"
2684   title: "VPP Performance Configuration 3n-skx"
2685   algorithm: "file_test_results"
2686   output-file-ext: ".rst"
2687   output-file: "{DIR[DTC,PERF,VPP,3N,SKX]}/vpp_performance_configuration_3n_skx"
2688   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2689   dir-tables: "{DIR[DTC,PERF,VPP,3N,SKX]}"
2690   data: "vpp-perf-results-3n-skx"
2691   filter: "not 'NDRCHK' and not 'PDRCHK'"
2692   parameters:
2693   - "name"
2694   - "doc"
2695   - "level"
2696   - "parent"
2697   data-start-level: 3
2698
2699 # VPP Performance Configuration 2n-skx
2700 -
2701   type: "file"
2702   title: "VPP Performance Configuration 2n-skx"
2703   algorithm: "file_test_results"
2704   output-file-ext: ".rst"
2705   output-file: "{DIR[DTC,PERF,VPP,2N,SKX]}/vpp_performance_configuration_2n_skx"
2706   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2707   dir-tables: "{DIR[DTC,PERF,VPP,2N,SKX]}"
2708   data: "vpp-perf-results-2n-skx"
2709   filter: "not 'NDRCHK' and not 'PDRCHK'"
2710   parameters:
2711   - "name"
2712   - "doc"
2713   - "level"
2714   - "parent"
2715   data-start-level: 3
2716
2717 # VPP Performance Operational Data 3n-hsw
2718 -
2719   type: "file"
2720   title: "VPP Performance Operational Data 3n-hsw"
2721   algorithm: "file_test_results"
2722   output-file-ext: ".rst"
2723   output-file: "{DIR[DTO,PERF,VPP,3N,HSW]}/vpp_performance_operational_data_3n_hsw"
2724   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2725   dir-tables: "{DIR[DTO,PERF,VPP,3N,HSW]}"
2726   data: "vpp-perf-results-3n-hsw"
2727   filter: "not 'NDRCHK' and not 'PDRCHK'"
2728   parameters:
2729   - "name"
2730   - "doc"
2731   - "level"
2732   - "parent"
2733   data-start-level: 3
2734
2735 # VPP Performance Operational Data 3n-skx
2736 -
2737   type: "file"
2738   title: "VPP Performance Operational Data 3n-skx"
2739   algorithm: "file_test_results"
2740   output-file-ext: ".rst"
2741   output-file: "{DIR[DTO,PERF,VPP,3N,SKX]}/vpp_performance_operational_data_3n_skx"
2742   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2743   dir-tables: "{DIR[DTO,PERF,VPP,3N,SKX]}"
2744   data: "vpp-perf-results-3n-skx"
2745   filter: "not 'NDRCHK' and not 'PDRCHK'"
2746   parameters:
2747   - "name"
2748   - "doc"
2749   - "level"
2750   - "parent"
2751   data-start-level: 3
2752
2753 # VPP Performance Operational Data 2n-skx
2754 -
2755   type: "file"
2756   title: "VPP Performance Operational Data 2n-skx"
2757   algorithm: "file_test_results"
2758   output-file-ext: ".rst"
2759   output-file: "{DIR[DTO,PERF,VPP,2N,SKX]}/vpp_performance_operational_data_2n_skx"
2760   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2761   dir-tables: "{DIR[DTO,PERF,VPP,2N,SKX]}"
2762   data: "vpp-perf-results-2n-skx"
2763   filter: "not 'NDRCHK' and not 'PDRCHK'"
2764   parameters:
2765   - "name"
2766   - "doc"
2767   - "level"
2768   - "parent"
2769   data-start-level: 3
2770
2771 # VPP MRR Results 3n-hsw
2772 -
2773   type: "file"
2774   title: "VPP MRR Results 3n-hsw"
2775   algorithm: "file_test_results"
2776   output-file-ext: ".rst"
2777   output-file: "{DIR[DTR,MRR,VPP,3N,HSW]}/vpp_mrr_results_3n_hsw"
2778   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2779   dir-tables: "{DIR[DTR,MRR,VPP,3N,HSW]}"
2780   data: "vpp-mrr-results-3n-hsw"
2781   filter: "'MRR'"
2782   parameters:
2783   - "name"
2784   - "doc"
2785   - "level"
2786   - "parent"
2787   data-start-level: 3
2788
2789 # VPP MRR Results 3n-skx
2790 -
2791   type: "file"
2792   title: "VPP MRR Results 3n-skx"
2793   algorithm: "file_test_results"
2794   output-file-ext: ".rst"
2795   output-file: "{DIR[DTR,MRR,VPP,3N,SKX]}/vpp_mrr_results_3n_skx"
2796   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2797   dir-tables: "{DIR[DTR,MRR,VPP,3N,SKX]}"
2798   data: "vpp-mrr-results-3n-skx"
2799   filter: "'MRR'"
2800   parameters:
2801   - "name"
2802   - "doc"
2803   - "level"
2804   - "parent"
2805   data-start-level: 3
2806
2807 # VPP MRR Results 2n-skx
2808 -
2809   type: "file"
2810   title: "VPP MRR Results 2n-skx"
2811   algorithm: "file_test_results"
2812   output-file-ext: ".rst"
2813   output-file: "{DIR[DTR,MRR,VPP,2N,SKX]}/vpp_mrr_results_2n_skx"
2814   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2815   dir-tables: "{DIR[DTR,MRR,VPP,2N,SKX]}"
2816   data: "vpp-mrr-results-2n-skx"
2817   filter: "all"
2818   parameters:
2819   - "name"
2820   - "doc"
2821   - "level"
2822   - "parent"
2823   data-start-level: 3
2824
2825 # VPP MRR Configuration 3n-hsw
2826 -
2827   type: "file"
2828   title: "VPP MRR Configuration 3n-hsw"
2829   algorithm: "file_test_results"
2830   output-file-ext: ".rst"
2831   output-file: "{DIR[DTC,MRR,VPP,3N,HSW]}/vpp_mrr_configuration_3n_hsw"
2832   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2833   dir-tables: "{DIR[DTC,MRR,VPP,3N,HSW]}"
2834   data: "vpp-mrr-results-3n-hsw"
2835   filter: "'MRR'"
2836   parameters:
2837   - "name"
2838   - "doc"
2839   - "level"
2840   - "parent"
2841   data-start-level: 3
2842
2843 # VPP MRR Configuration 3n-skx
2844 -
2845   type: "file"
2846   title: "VPP MRR Configuration 3n-skx"
2847   algorithm: "file_test_results"
2848   output-file-ext: ".rst"
2849   output-file: "{DIR[DTC,MRR,VPP,3N,SKX]}/vpp_mrr_configuration_3n_skx"
2850   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2851   dir-tables: "{DIR[DTC,MRR,VPP,3N,SKX]}"
2852   data: "vpp-mrr-results-3n-skx"
2853   filter: "'MRR'"
2854   parameters:
2855   - "name"
2856   - "doc"
2857   - "level"
2858   - "parent"
2859   data-start-level: 3
2860
2861 # VPP MRR Configuration 2n-skx
2862 -
2863   type: "file"
2864   title: "VPP MRR Configuration 2n-skx"
2865   algorithm: "file_test_results"
2866   output-file-ext: ".rst"
2867   output-file: "{DIR[DTC,MRR,VPP,2N,SKX]}/vpp_mrr_configuration_2n_skx"
2868   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2869   dir-tables: "{DIR[DTC,MRR,VPP,2N,SKX]}"
2870   data: "vpp-mrr-results-2n-skx"
2871   filter: "'MRR'"
2872   parameters:
2873   - "name"
2874   - "doc"
2875   - "level"
2876   - "parent"
2877   data-start-level: 3
2878
2879 # VPP Functional Results - Ubuntu
2880 -
2881   type: "file"
2882   title: "VPP Functional Results - Ubuntu"
2883   algorithm: "file_test_results"
2884   output-file-ext: ".rst"
2885   output-file: "{DIR[DTR,FUNC,VPP,UBUNTU]}/vpp_functional_results_ubuntu"
2886   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2887   dir-tables: "{DIR[DTR,FUNC,VPP,UBUNTU]}"
2888   data: "vpp-func-results-ubuntu"
2889   filter: "all"
2890   parameters:
2891   - "name"
2892   - "doc"
2893   - "level"
2894   - "parent"
2895   data-start-level: 3
2896
2897 # VPP Functional Results - CentOS
2898 -
2899   type: "file"
2900   title: "VPP Functional Results - CentOS"
2901   algorithm: "file_test_results"
2902   output-file-ext: ".rst"
2903   output-file: "{DIR[DTR,FUNC,VPP,CENTOS]}/vpp_functional_results_centos"
2904   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2905   dir-tables: "{DIR[DTR,FUNC,VPP,CENTOS]}"
2906   data:
2907     "vpp-func-results-centos"
2908   filter: "all"
2909   parameters:
2910   - "name"
2911   - "doc"
2912   - "level"
2913   - "parent"
2914   data-start-level: 3
2915
2916 # VPP Functional Configuration - Ubuntu
2917 -
2918   type: "file"
2919   title: "VPP Functional Configuration - Ubuntu"
2920   algorithm: "file_test_results"
2921   output-file-ext: ".rst"
2922   output-file: "{DIR[DTC,FUNC,VPP,UBUNTU]}/vpp_functional_configuration_ubuntu"
2923   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2924   dir-tables: "{DIR[DTC,FUNC,VPP,UBUNTU]}"
2925   data: "vpp-func-results-ubuntu"
2926   filter: "all"
2927   parameters:
2928   - "name"
2929   - "doc"
2930   - "level"
2931   - "parent"
2932   data-start-level: 3
2933
2934 # VPP Functional Configuration - CentOS
2935 -
2936   type: "file"
2937   title: "VPP Functional Configuration - CentOS"
2938   algorithm: "file_test_results"
2939   output-file-ext: ".rst"
2940   output-file: "{DIR[DTC,FUNC,VPP,CENTOS]}/vpp_functional_configuration_centos"
2941   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2942   dir-tables: "{DIR[DTC,FUNC,VPP,CENTOS]}"
2943   data:
2944     "vpp-func-results-centos"
2945   filter: "all"
2946   parameters:
2947   - "name"
2948   - "doc"
2949   - "level"
2950   - "parent"
2951   data-start-level: 3
2952
2953 # VPP Device Results - Ubuntu
2954 -
2955   type: "file"
2956   title: "VPP Device Results - Ubuntu"
2957   algorithm: "file_test_results"
2958   output-file-ext: ".rst"
2959   output-file: "{DIR[DTR,FUNC,VPP,DEVICE,UBUNTU]}/vpp_device_results_ubuntu"
2960   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2961   dir-tables: "{DIR[DTR,FUNC,VPP,DEVICE,UBUNTU]}"
2962   data: "vpp-device-results-ubuntu"
2963   filter: "all"
2964   parameters:
2965   - "name"
2966   - "doc"
2967   - "level"
2968   - "parent"
2969   data-start-level: 2
2970
2971 # VPP Device Configuration - Ubuntu
2972 -
2973   type: "file"
2974   title: "VPP Device Configuration - Ubuntu"
2975   algorithm: "file_test_results"
2976   output-file-ext: ".rst"
2977   output-file: "{DIR[DTC,FUNC,VPP,DEVICE,UBUNTU]}/vpp_device_configuration_ubuntu"
2978   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2979   dir-tables: "{DIR[DTC,FUNC,VPP,DEVICE,UBUNTU]}"
2980   data: "vpp-device-results-ubuntu"
2981   filter: "all"
2982   parameters:
2983   - "name"
2984   - "doc"
2985   - "level"
2986   - "parent"
2987   data-start-level: 2
2988
2989 # Container Orchestrated Performance Results 3n-hsw
2990 -
2991   type: "file"
2992   title: "Container Orchestrated Performance Results 3n-hsw"
2993   algorithm: "file_test_results"
2994   output-file-ext: ".rst"
2995   output-file: "{DIR[DTR,PERF,COT,3N,HSW]}/cot_performance_results_3n_hsw"
2996   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2997   dir-tables: "{DIR[DTR,PERF,COT,3N,HSW]}"
2998   data: "ligato-perf-results-3n-hsw"
2999   filter: "all"
3000   parameters:
3001   - "name"
3002   - "doc"
3003   - "level"
3004   - "parent"
3005   data-start-level: 3
3006
3007 # DPDK Performance Results 3n-hsw
3008 -
3009   type: "file"
3010   title: "DPDK Performance Results 3n-hsw"
3011   algorithm: "file_test_results"
3012   output-file-ext: ".rst"
3013   output-file: "{DIR[DTR,PERF,DPDK,3N,HSW]}/dpdk_performance_results_3n_hsw"
3014   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
3015   dir-tables: "{DIR[DTR,PERF,DPDK,3N,HSW]}"
3016   data: "dpdk-perf-results-3n-hsw"
3017   filter: "all"
3018   parameters:
3019   - "name"
3020   - "doc"
3021   - "level"
3022   - "parent"
3023   data-start-level: 3
3024
3025 # DPDK Performance Results 3n-skx
3026 -
3027   type: "file"
3028   title: "DPDK Performance Results 3n-skx"
3029   algorithm: "file_test_results"
3030   output-file-ext: ".rst"
3031   output-file: "{DIR[DTR,PERF,DPDK,3N,SKX]}/dpdk_performance_results_3n_skx"
3032   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
3033   dir-tables: "{DIR[DTR,PERF,DPDK,3N,SKX]}"
3034   data: "dpdk-perf-results-3n-skx"
3035   filter: "all"
3036   parameters:
3037   - "name"
3038   - "doc"
3039   - "level"
3040   - "parent"
3041   data-start-level: 3
3042
3043 # DPDK Performance Results 2n-skx
3044 -
3045   type: "file"
3046   title: "DPDK Performance Results 2n-skx"
3047   algorithm: "file_test_results"
3048   output-file-ext: ".rst"
3049   output-file: "{DIR[DTR,PERF,DPDK,2N,SKX]}/dpdk_performance_results_2n_skx"
3050   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
3051   dir-tables: "{DIR[DTR,PERF,DPDK,2N,SKX]}"
3052   data: "dpdk-perf-results-2n-skx"
3053   filter: "all"
3054   parameters:
3055   - "name"
3056   - "doc"
3057   - "level"
3058   - "parent"
3059   data-start-level: 3
3060
3061 # Honeycomb Functional Results
3062 -
3063   type: "file"
3064   title: "Honeycomb Functional Results"
3065   algorithm: "file_test_results"
3066   output-file-ext: ".rst"
3067   output-file: "{DIR[DTR,FUNC,HC]}/honeycomb_functional_results"
3068   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
3069   dir-tables: "{DIR[DTR,FUNC,HC]}"
3070   data:
3071     "hc-func-results"
3072   filter: "all"
3073   parameters:
3074   - "name"
3075   - "doc"
3076   - "level"
3077   - "parent"
3078   data-start-level: 3
3079
3080 # NSH SFC Functional Results
3081 -
3082   type: "file"
3083   title: "NSH SFC Functional Results"
3084   algorithm: "file_test_results"
3085   output-file-ext: ".rst"
3086   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nshsfc_functional_results"
3087   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
3088   dir-tables: "{DIR[DTR,FUNC,NSHSFC]}"
3089   data:
3090     "nsh-func-results"
3091   filter: "all"
3092   parameters:
3093   - "name"
3094   - "doc"
3095   - "level"
3096   - "parent"
3097   data-start-level: 3
3098
3099 # DMM Functional Results
3100 -
3101   type: "file"
3102   title: "DMM Functional Results"
3103   algorithm: "file_test_results"
3104   output-file-ext: ".rst"
3105   output-file: "{DIR[DTR,FUNC,DMM]}/dmm_functional_results"
3106   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
3107   dir-tables: "{DIR[DTR,FUNC,DMM]}"
3108   data:
3109     "dmm-func-results"
3110   filter: "all"
3111   parameters:
3112   - "name"
3113   - "doc"
3114   - "level"
3115   - "parent"
3116   data-start-level: 3
3117
3118 ################################################################################
3119 ###                                P L O T S                                 ###
3120 ################################################################################
3121
3122 ################################################################################
3123 # Plots VPP HTTP Server Performance
3124 -
3125   type: "plot"
3126   title: "VPP HTTP Server Performance"
3127   algorithm: "plot_http_server_performance_box"
3128   output-file-type: ".html"
3129   output-file: "{DIR[STATIC,VPP]}/http-server-performance-cps"
3130   data:
3131     "plot-vpp-http-server-performance"
3132   # Keep this formatting, the filter is enclosed with " (quotation mark) and
3133   # each tag is enclosed with ' (apostrophe).
3134   filter: "'HTTP' and 'TCP_CPS'"
3135   parameters:
3136   - "result"
3137   - "name"
3138   traces:
3139     hoverinfo: "x+y"
3140     boxpoints: "outliers"
3141     whiskerwidth: 0
3142   layout:
3143     title: "VPP HTTP Server Performance"
3144     layout:
3145       "plot-cps"
3146
3147 -
3148   type: "plot"
3149   title: "VPP HTTP Server Performance"
3150   algorithm: "plot_http_server_performance_box"
3151   output-file-type: ".html"
3152   output-file: "{DIR[STATIC,VPP]}/http-server-performance-rps"
3153   data:
3154     "plot-vpp-http-server-performance"
3155   filter: "'HTTP' and 'TCP_RPS'"
3156   parameters:
3157   - "result"
3158   - "name"
3159   traces:
3160     hoverinfo: "x+y"
3161     boxpoints: "outliers"
3162     whiskerwidth: 0
3163   layout:
3164     title: "VPP HTTP Server Performance"
3165     layout:
3166       "plot-rps"
3167
3168 ################################################################################
3169
3170 # Packet Throughput - VPP L2 3n-hsw-x520 base and scale
3171 -
3172   type: "plot"
3173   title: "VPP Throughput: l2sw-3n-hsw-x520-64b-1t1c-base_and_scale-ndr"
3174   algorithm: "plot_performance_box"
3175   output-file-type: ".html"
3176   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x520-64b-1t1c-base_and_scale-ndr"
3177   data: "plot-vpp-throughput-latency-3n-hsw"
3178   filter: "'NIC_Intel-X520-DA2' and
3179            '64B' and
3180            ('BASE' or 'SCALE') and
3181            'NDRPDR' and
3182            'ETH' and
3183            '1T1C' and
3184            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3185            not 'VHOST' and
3186            not 'MEMIF'"
3187   parameters:
3188   - "throughput"
3189   - "parent"
3190   - "tags"
3191   sort:
3192   - "L2PATCH"
3193   - "L2XCBASE"
3194   - "BASE"
3195   - "FIB_10K"
3196   - "FIB_100K"
3197   - "FIB_1M"
3198   traces:
3199     hoverinfo: "x+y"
3200     boxpoints: "outliers"
3201     whiskerwidth: 0
3202   layout:
3203     title: "l2sw-3n-hsw-x520-64b-1t1c-base_and_scale-ndr"
3204     layout: "plot-throughput"
3205
3206 -
3207   type: "plot"
3208   title: "VPP Throughput: l2sw-3n-hsw-x520-64b-1t1c-base_and_scale-pdr"
3209   algorithm: "plot_performance_box"
3210   output-file-type: ".html"
3211   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x520-64b-1t1c-base_and_scale-pdr"
3212   data: "plot-vpp-throughput-latency-3n-hsw"
3213   filter: "'NIC_Intel-X520-DA2' and
3214            '64B' and
3215            ('BASE' or 'SCALE') and
3216            'NDRPDR' and
3217            'ETH' and
3218            '1T1C' and
3219            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3220            not 'VHOST' and
3221            not 'MEMIF'"
3222   parameters:
3223   - "throughput"
3224   - "parent"
3225   - "tags"
3226   sort:
3227   - "L2PATCH"
3228   - "L2XCBASE"
3229   - "BASE"
3230   - "FIB_10K"
3231   - "FIB_100K"
3232   - "FIB_1M"
3233   traces:
3234     hoverinfo: "x+y"
3235     boxpoints: "outliers"
3236     whiskerwidth: 0
3237   layout:
3238     title: "l2sw-3n-hsw-x520-64b-1t1c-base_and_scale-pdr"
3239     layout: "plot-throughput"
3240
3241 -
3242   type: "plot"
3243   title: "VPP Throughput: l2sw-3n-hsw-x520-64b-2t2c-base_and_scale-ndr"
3244   algorithm: "plot_performance_box"
3245   output-file-type: ".html"
3246   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x520-64b-2t2c-base_and_scale-ndr"
3247   data: "plot-vpp-throughput-latency-3n-hsw"
3248   filter: "'NIC_Intel-X520-DA2' and
3249            '64B' and
3250            ('BASE' or 'SCALE') and
3251            'NDRPDR' and
3252            'ETH' and
3253            '2T2C' and
3254            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3255            not 'VHOST' and
3256            not 'MEMIF'"
3257   parameters:
3258   - "throughput"
3259   - "parent"
3260   - "tags"
3261   sort:
3262   - "L2PATCH"
3263   - "L2XCBASE"
3264   - "BASE"
3265   - "FIB_10K"
3266   - "FIB_100K"
3267   - "FIB_1M"
3268   traces:
3269     hoverinfo: "x+y"
3270     boxpoints: "outliers"
3271     whiskerwidth: 0
3272   layout:
3273     title: "l2sw-3n-hsw-x520-64b-2t2c-base_and_scale-ndr"
3274     layout: "plot-throughput"
3275
3276 -
3277   type: "plot"
3278   title: "VPP Throughput: l2sw-3n-hsw-x520-64b-2t2c-base_and_scale-pdr"
3279   algorithm: "plot_performance_box"
3280   output-file-type: ".html"
3281   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x520-64b-2t2c-base_and_scale-pdr"
3282   data: "plot-vpp-throughput-latency-3n-hsw"
3283   filter: "'NIC_Intel-X520-DA2' and
3284            '64B' and
3285            ('BASE' or 'SCALE') and
3286            'NDRPDR' and
3287            'ETH' and
3288            '2T2C' and
3289            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3290            not 'VHOST' and
3291            not 'MEMIF'"
3292   parameters:
3293   - "throughput"
3294   - "parent"
3295   - "tags"
3296   sort:
3297   - "L2PATCH"
3298   - "L2XCBASE"
3299   - "BASE"
3300   - "FIB_10K"
3301   - "FIB_100K"
3302   - "FIB_1M"
3303   traces:
3304     hoverinfo: "x+y"
3305     boxpoints: "outliers"
3306     whiskerwidth: 0
3307   layout:
3308     title: "l2sw-3n-hsw-x520-64b-2t2c-base_and_scale-pdr"
3309     layout: "plot-throughput"
3310
3311 # Packet Throughput - VPP L2 3n-hsw-x520 features
3312 -
3313   type: "plot"
3314   title: "VPP Throughput: l2sw-3n-hsw-x520-64b-1t1c-features-ndr"
3315   algorithm: "plot_performance_box"
3316   output-file-type: ".html"
3317   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x520-64b-1t1c-features-ndr"
3318   data: "plot-vpp-throughput-latency-3n-hsw"
3319   filter: "'NIC_Intel-X520-DA2' and
3320            '64B' and
3321            'NDRPDR' and
3322            '1T1C' and
3323            (('L2BDMACLRN' and ('L2BDBASE' or 'DOT1Q')) or ('L2XCFWD' and ('L2XCBASE' or 'DOT1Q'))) and
3324            not 'ACL' and
3325            not 'VHOST' and
3326            not 'MEMIF'"
3327   parameters:
3328   - "throughput"
3329   - "parent"
3330   - "tags"
3331   sort:
3332   - "L2XCBASE"    # l2xcbase
3333   - "L2BDBASE"    # l2bdbase
3334   - "L2XCFWD"     # dot1q-l2xcbase
3335   - "L2BDMACLRN"  # dot1q-l2bdbase
3336   traces:
3337     hoverinfo: "x+y"
3338     boxpoints: "outliers"
3339     whiskerwidth: 0
3340   layout:
3341     title: "l2sw-3n-hsw-x520-64b-1t1c-features-ndr"
3342     layout: "plot-throughput"
3343
3344 -
3345   type: "plot"
3346   title: "VPP Throughput: l2sw-3n-hsw-x520-64b-1t1c-features-pdr"
3347   algorithm: "plot_performance_box"
3348   output-file-type: ".html"
3349   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x520-64b-1t1c-features-pdr"
3350   data: "plot-vpp-throughput-latency-3n-hsw"
3351   filter: "'NIC_Intel-X520-DA2' and
3352            '64B' and
3353            'NDRPDR' and
3354            '1T1C' and
3355            (('L2BDMACLRN' and ('L2BDBASE' or 'DOT1Q')) or ('L2XCFWD' and ('L2XCBASE' or 'DOT1Q'))) and
3356            not 'ACL' and
3357            not 'VHOST' and
3358            not 'MEMIF'"
3359   parameters:
3360   - "throughput"
3361   - "parent"
3362   - "tags"
3363   sort:
3364   - "L2XCBASE"    # l2xcbase
3365   - "L2BDBASE"    # l2bdbase
3366   - "L2XCFWD"     # dot1q-l2xcbase
3367   - "L2BDMACLRN"  # dot1q-l2bdbase
3368   traces:
3369     hoverinfo: "x+y"
3370     boxpoints: "outliers"
3371     whiskerwidth: 0
3372   layout:
3373     title: "l2sw-3n-hsw-x520-64b-1t1c-features-pdr"
3374     layout: "plot-throughput"
3375
3376 -
3377   type: "plot"
3378   title: "VPP Throughput: l2sw-3n-hsw-x520-64b-2t2c-features-ndr"
3379   algorithm: "plot_performance_box"
3380   output-file-type: ".html"
3381   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x520-64b-2t2c-features-ndr"
3382   data: "plot-vpp-throughput-latency-3n-hsw"
3383   filter: "'NIC_Intel-X520-DA2' and
3384            '64B' and
3385            'NDRPDR' and
3386            '2T2C' and
3387            (('L2BDMACLRN' and ('L2BDBASE' or 'DOT1Q')) or ('L2XCFWD' and ('L2XCBASE' or 'DOT1Q'))) and
3388            not 'ACL' and
3389            not 'VHOST' and
3390            not 'MEMIF'"
3391   parameters:
3392   - "throughput"
3393   - "parent"
3394   - "tags"
3395   sort:
3396   - "L2XCBASE"    # l2xcbase
3397   - "L2BDBASE"    # l2bdbase
3398   - "L2XCFWD"     # dot1q-l2xcbase
3399   - "L2BDMACLRN"  # dot1q-l2bdbase
3400   traces:
3401     hoverinfo: "x+y"
3402     boxpoints: "outliers"
3403     whiskerwidth: 0
3404   layout:
3405     title: "l2sw-3n-hsw-x520-64b-2t2c-features-ndr"
3406     layout: "plot-throughput"
3407
3408 -
3409   type: "plot"
3410   title: "VPP Throughput: l2sw-3n-hsw-x520-64b-2t2c-features-pdr"
3411   algorithm: "plot_performance_box"
3412   output-file-type: ".html"
3413   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x520-64b-2t2c-features-pdr"
3414   data: "plot-vpp-throughput-latency-3n-hsw"
3415   filter: "'NIC_Intel-X520-DA2' and
3416            '64B' and
3417            'NDRPDR' and
3418            '2T2C' and
3419            (('L2BDMACLRN' and ('L2BDBASE' or 'DOT1Q')) or ('L2XCFWD' and ('L2XCBASE' or 'DOT1Q'))) and
3420            not 'ACL' and
3421            not 'VHOST' and
3422            not 'MEMIF'"
3423   parameters:
3424   - "throughput"
3425   - "parent"
3426   - "tags"
3427   sort:
3428   - "L2XCBASE"    # l2xcbase
3429   - "L2BDBASE"    # l2bdbase
3430   - "L2XCFWD"     # dot1q-l2xcbase
3431   - "L2BDMACLRN"  # dot1q-l2bdbase
3432   traces:
3433     hoverinfo: "x+y"
3434     boxpoints: "outliers"
3435     whiskerwidth: 0
3436   layout:
3437     title: "l2sw-3n-hsw-x520-64b-2t2c-features-pdr"
3438     layout: "plot-throughput"
3439
3440 # Packet Throughput - VPP L2 3n-hsw-x710 base and scale
3441 -
3442   type: "plot"
3443   title: "VPP Throughput: l2sw-3n-hsw-x710-64b-1t1c-base_and_scale-ndr"
3444   algorithm: "plot_performance_box"
3445   output-file-type: ".html"
3446   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x710-64b-1t1c-base_and_scale-ndr"
3447   data: "plot-vpp-throughput-latency-3n-hsw"
3448   filter: "'NIC_Intel-X710' and
3449            '64B' and
3450            ('BASE' or 'SCALE') and
3451            'NDRPDR' and
3452            'ETH' and
3453            '1T1C' and
3454            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3455            not 'VHOST' and
3456            not 'MEMIF'"
3457   parameters:
3458   - "throughput"
3459   - "parent"
3460   - "tags"
3461   sort:
3462   - "L2PATCH"
3463   - "L2XCBASE"
3464   - "BASE"
3465   - "FIB_10K"
3466   - "FIB_100K"
3467   - "FIB_1M"
3468   traces:
3469     hoverinfo: "x+y"
3470     boxpoints: "outliers"
3471     whiskerwidth: 0
3472   layout:
3473     title: "l2sw-3n-hsw-x710-64b-1t1c-base_and_scale-ndr"
3474     layout: "plot-throughput"
3475
3476 -
3477   type: "plot"
3478   title: "VPP Throughput: l2sw-3n-hsw-x710-64b-1t1c-base_and_scale-pdr"
3479   algorithm: "plot_performance_box"
3480   output-file-type: ".html"
3481   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x710-64b-1t1c-base_and_scale-pdr"
3482   data: "plot-vpp-throughput-latency-3n-hsw"