resources/tools/presentation/specification.yaml

   1 -
   2   type: "environment"
   3   configuration:
   4     # Debug mode:
   5     # - Skip:
   6     #   - Download of input data files
   7     # - Do:
   8     #   - Read data from given zip / xml files
   9     #   - Set the configuration as it is done in normal mode
  10     # If the section "type: debug" is missing, CFG[DEBUG] is set to 0.
  11     CFG[DEBUG]: 0
  12
  13   paths:
  14     # Top level directories:
  15     ## Working directory
  16     DIR[WORKING]: "_tmp"
  17     ## Build directories
  18     DIR[BUILD,HTML]: "_build"
  19     DIR[BUILD,LATEX]: "_build_latex"
  20
  21     # Static .rst files
  22     DIR[RST]: "../../../docs/report"
  23
  24     # Working directories
  25     ## Input data files (.zip, .xml)
  26     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
  27     ## Static source files from git
  28     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
  29     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
  30
  31     # Static html content
  32     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
  33     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
  34     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
  35     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
  36
  37     # Detailed test results
  38     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
  39     DIR[DTR,PERF,DPDK]: "{DIR[DTR]}/dpdk_performance_results"
  40     DIR[DTR,PERF,VPP]: "{DIR[DTR]}/vpp_performance_results"
  41     DIR[DTR,PERF,COT]: "{DIR[DTR]}/cot_performance_results"
  42     DIR[DTR,PERF,HC]: "{DIR[DTR]}/honeycomb_performance_results"
  43     DIR[DTR,FUNC,VPP]: "{DIR[DTR]}/vpp_functional_results"
  44     DIR[DTR,FUNC,VPP,CENTOS]: "{DIR[DTR]}/vpp_functional_results_centos"
  45     DIR[DTR,FUNC,HC]: "{DIR[DTR]}/honeycomb_functional_results"
  46     DIR[DTR,FUNC,NSHSFC]: "{DIR[DTR]}/nshsfc_functional_results"
  47     DIR[DTR,PERF,VPP,IMPRV]: "{DIR[WORKING,SRC]}/vpp_performance_tests/performance_improvements"
  48
  49     # Detailed test configurations
  50     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
  51     DIR[DTC,PERF,VPP]: "{DIR[DTC]}/vpp_performance_configuration"
  52     DIR[DTC,FUNC,VPP]: "{DIR[DTC]}/vpp_functional_configuration"
  53     DIR[DTC,FUNC,VPP,CENTOS]: "{DIR[DTC]}/vpp_functional_configuration_centos"
  54
  55     # Detailed tests operational data
  56     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
  57     DIR[DTO,PERF,VPP]: "{DIR[DTO]}/vpp_performance_operational_data"
  58
  59     # .css patch file to fix tables generated by Sphinx
  60     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
  61     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
  62
  63   urls:
  64     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
  65     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
  66     URL[NEXUS]: "https://docs.fd.io/csit"
  67     DIR[NEXUS]: "report/_static/archive"
  68
  69   make-dirs:
  70   # List the directories which are created while preparing the environment.
  71   # All directories MUST be defined in "paths" section.
  72   - "DIR[WORKING,DATA]"
  73   - "DIR[STATIC,VPP]"
  74   - "DIR[STATIC,DPDK]"
  75   - "DIR[STATIC,ARCH]"
  76   - "DIR[BUILD,LATEX]"
  77   - "DIR[WORKING,SRC]"
  78   - "DIR[WORKING,SRC,STATIC]"
  79
  80   remove-dirs:
  81   # List the directories which are deleted while cleaning the environment.
  82   # All directories MUST be defined in "paths" section.
  83   #- "DIR[BUILD,HTML]"
  84   - "DIR[WORKING,DATA]"
  85
  86   build-dirs:
  87   # List the directories where the results (build) is stored.
  88   # All directories MUST be defined in "paths" section.
  89   - "DIR[BUILD,HTML]"
  90   - "DIR[BUILD,LATEX]"
  91
  92 -
  93   type: "configuration"
  94   data-sets:
  95     plot-vpp-http-server-performance:
  96 # TODO: Add the data sources
  97       csit-vpp-perf-1801-all:
  98       - 157
  99       - 158
 100       - 159
 101       - 160
 102       - 161
 103       - 164
 104       - 165
 105       - 166
 106       - 168
 107       - 169
 108       - 170
 109 # TODO: Add the data sources
 110 #    vpp-meltdown-impact:
 111 #      csit-vpp-perf-1707-all:
 112 #      - 9
 113 #      - 10
 114 #      - 13
 115 #      csit-vpp-perf-1710-all:
 116 #      - 11l
 117 #      - 12
 118 #      - 13
 119 # TODO: Add the data sources
 120 #    vpp-spectre-impact:
 121 #      csit-vpp-perf-1707-all:
 122 #      - 9
 123 #      - 10
 124 #      - 13
 125 #      csit-vpp-perf-1710-all:
 126 #      - 11
 127 #      - 12
 128 #      - 13
 129     vpp-performance-changes:
 130       csit-vpp-perf-1710-all:
 131       - 11
 132       - 12
 133       - 13
 134       - 14
 135       - 15
 136       - 16
 137       - 17
 138       - 18
 139       - 19
 140       - 20
 141       csit-vpp-perf-1801-all:
 142       - 124  # sel
 143       - 127  # sel
 144       - 128  # sel
 145       - 141  # sel
 146       - 142  # sel
 147       - 143  # sel
 148       - 145  # sel
 149       - 146  # sel
 150       - 162  # sel
 151       - 163  # sel
 152       - 167  # sel
 153       - 172  # sel acl only
 154       csit-vpp-perf-1804-all:
 155       - 21  # sel
 156       - 22  # sel
 157       - 23  # sel
 158       - 24  # sel
 159       - 27  # sel
 160       - 28  # sel
 161       - 29  # sel
 162       - 30  # sel
 163     vpp-performance-changes-mrr:
 164       csit-vpp-perf-check-1801:
 165       - 1
 166       - 2
 167       - 3
 168       - 4
 169       - 5
 170       - 6
 171       - 7
 172       - 8
 173       - 9
 174       - 11
 175       - 12
 176       - 13
 177       csit-vpp-perf-check-1804:
 178       - 5   # mrr - full
 179       - 6   # mrr - sel
 180       - 7   # mrr - sel
 181       - 8   # mrr - sel
 182       - 9   # mrr - sel
 183       - 10  # mrr - sel
 184       - 11  # mrr - sel
 185       - 12  # mrr - sel
 186     plot-throughput-speedup-analysis:
 187       csit-vpp-perf-1804-all:
 188       - 19  # full
 189       - 20  # full
 190       - 25  # full
 191       - 26  # full
 192       - 21  # sel
 193       - 22  # sel
 194       - 23  # sel
 195       - 24  # sel
 196       - 27  # sel
 197       - 28  # sel
 198       - 29  # sel
 199       - 30  # sel
 200 #    performance-improvements:
 201 #      csit-vpp-perf-1707-all:
 202 #      - 9
 203 #      - 10
 204 #      - 13
 205 #      - 14
 206 #      - 15
 207 #      - 16
 208 #      - 17
 209 #      - 18
 210 #      - 19
 211 #      - 21
 212 #      csit-vpp-perf-1710-all:
 213 #      - 11
 214 #      - 12
 215 #      - 13
 216 #      - 14
 217 #      - 15
 218 #      - 16
 219 #      - 17
 220 #      - 18
 221 #      - 19
 222 #      - 20
 223 #      csit-vpp-perf-1801-all:
 224 #      - 124
 225 #      - 127
 226 #      - 128
 227 #      csit-ligato-perf-1710-all:
 228 #      - 5
 229 #      - 7
 230 #      - 8
 231 #      - 9
 232 #      - 10
 233 #      - 11
 234 #      - 12
 235 #      - 13
 236 #      - 16
 237 #      - 17
 238 #      csit-ligato-perf-1801-all:
 239 #      - 16  # sel
 240 #      - 17  # sel
 241 #      - 18  # sel
 242 #      - 19  # sel
 243 #      - 20  # sel
 244 #      - 21  # sel
 245 #      - 22  # sel
 246 #      - 23  # sel
 247 #      - 24  # sel
 248     vpp-perf-results:
 249       csit-vpp-perf-1804-all:
 250       - 19  # full
 251       - 20  # full
 252       - 25  # full
 253       - 26  # full
 254     vpp-func-results:
 255       csit-vpp-functional-1804-ubuntu1604-virl:
 256       - 168
 257     vpp-func-results-centos:
 258       csit-vpp-functional-1804-centos7-virl:
 259       - 175
 260     ligato-perf-results:
 261       csit-ligato-perf-1801-all:
 262       - 25  # full
 263     dpdk-perf-results:
 264       csit-dpdk-perf-1804-all:
 265       - 13
 266     hc-func-results:
 267       csit-hc2vpp-verify-func-1804-ubuntu1604:
 268       - 3
 269     nsh-func-results:
 270       csit-nsh_sfc-verify-func-1804-ubuntu1604-virl:
 271       - 7
 272     plot-vpp-throughput-latency:
 273       csit-vpp-perf-1804-all:
 274       - 19  # full
 275       - 20  # full
 276       - 25  # full
 277       - 26  # full
 278       - 21  # sel
 279       - 22  # sel
 280       - 23  # sel
 281       - 24  # sel
 282       - 27  # sel
 283       - 28  # sel
 284       - 29  # sel
 285       - 30  # sel
 286     plot-dpdk-throughput-latency:
 287       csit-dpdk-perf-1804-all:
 288       - 4
 289       - 5
 290       - 6
 291       - 7
 292       - 8
 293       - 9
 294       - 10
 295       - 11
 296       - 12
 297       - 13
 298     plot-ligato-throughput-latency:
 299       csit-ligato-perf-1801-all:
 300       - 16  # sel
 301       - 17  # sel
 302       - 18  # sel
 303       - 19  # sel
 304       - 20  # sel
 305       - 21  # sel
 306       - 22  # sel
 307       - 23  # sel
 308       - 24  # sel
 309
 310   plot-layouts:
 311
 312     plot-cps:
 313       xaxis:
 314         autorange: True
 315         autotick: False
 316         fixedrange: False
 317         gridcolor: "rgb(238, 238, 238)"
 318         linecolor: "rgb(238, 238, 238)"
 319         linewidth: 1
 320         showgrid: True
 321         showline: True
 322         showticklabels: True
 323         tickcolor: "rgb(238, 238, 238)"
 324         tickmode: "linear"
 325         title: "Indexed Test Cases"
 326         zeroline: False
 327       yaxis:
 328         gridcolor: "rgb(238, 238, 238)'"
 329         hoverformat: ".4s"
 330         linecolor: "rgb(238, 238, 238)"
 331         linewidth: 1
 332         range: []
 333         rangemode: "tozero"
 334         showgrid: True
 335         showline: True
 336         showticklabels: True
 337         tickcolor: "rgb(238, 238, 238)"
 338         title: "Connections Per Second [cps]"
 339         zeroline: False
 340       boxmode: "group"
 341       boxgroupgap: 0.5
 342       autosize: False
 343       margin:
 344         t: 50
 345         b: 20
 346         l: 50
 347         r: 20
 348       showlegend: True
 349       legend:
 350         orientation: "h"
 351       width: 700
 352       height: 1000
 353
 354     plot-rps:
 355       xaxis:
 356         autorange: True
 357         autotick: False
 358         fixedrange: False
 359         gridcolor: "rgb(238, 238, 238)"
 360         linecolor: "rgb(238, 238, 238)"
 361         linewidth: 1
 362         showgrid: True
 363         showline: True
 364         showticklabels: True
 365         tickcolor: "rgb(238, 238, 238)"
 366         tickmode: "linear"
 367         title: "Indexed Test Cases"
 368         zeroline: False
 369       yaxis:
 370         gridcolor: "rgb(238, 238, 238)'"
 371         hoverformat: ".4s"
 372         linecolor: "rgb(238, 238, 238)"
 373         linewidth: 1
 374         range: []
 375         rangemode: "tozero"
 376         showgrid: True
 377         showline: True
 378         showticklabels: True
 379         tickcolor: "rgb(238, 238, 238)"
 380         title: "Requests Per Second [rps]"
 381         zeroline: False
 382       boxmode: "group"
 383       boxgroupgap: 0.5
 384       autosize: False
 385       margin:
 386         t: 50
 387         b: 20
 388         l: 50
 389         r: 20
 390       showlegend: True
 391       legend:
 392         orientation: "h"
 393       width: 700
 394       height: 1000
 395
 396     plot-throughput:
 397       xaxis:
 398         autorange: True
 399         autotick: False
 400         fixedrange: False
 401         gridcolor: "rgb(238, 238, 238)"
 402         linecolor: "rgb(238, 238, 238)"
 403         linewidth: 1
 404         showgrid: True
 405         showline: True
 406         showticklabels: True
 407         tickcolor: "rgb(238, 238, 238)"
 408         tickmode: "linear"
 409         title: "Indexed Test Cases"
 410         zeroline: False
 411       yaxis:
 412         gridcolor: "rgb(238, 238, 238)'"
 413         hoverformat: ".4s"
 414         linecolor: "rgb(238, 238, 238)"
 415         linewidth: 1
 416         range: []
 417         showgrid: True
 418         showline: True
 419         showticklabels: True
 420         tickcolor: "rgb(238, 238, 238)"
 421         title: "Packets Per Second [pps]"
 422         zeroline: False
 423       boxmode: "group"
 424       boxgroupgap: 0.5
 425       autosize: False
 426       margin:
 427         t: 50
 428         b: 20
 429         l: 50
 430         r: 20
 431       showlegend: True
 432       legend:
 433         orientation: "h"
 434       width: 700
 435       height: 1000
 436
 437     plot-latency:
 438       xaxis:
 439         autorange: True
 440         autotick: False
 441         fixedrange: False
 442         gridcolor: "rgb(238, 238, 238)"
 443         linecolor: "rgb(238, 238, 238)"
 444         linewidth: 1
 445         showgrid: True
 446         showline: True
 447         showticklabels: True
 448         tickcolor: "rgb(238, 238, 238)"
 449         tickmode: "linear"
 450         title: "Indexed Test Cases"
 451         zeroline: False
 452       yaxis:
 453         gridcolor: "rgb(238, 238, 238)'"
 454         hoverformat: ""
 455         linecolor: "rgb(238, 238, 238)"
 456         linewidth: 1
 457         range: []
 458         showgrid: True
 459         showline: True
 460         showticklabels: True
 461         tickcolor: "rgb(238, 238, 238)"
 462         title: "Latency min/avg/max [uSec]"
 463         zeroline: False
 464       boxmode: "group"
 465       boxgroupgap: 0.5
 466       autosize: False
 467       margin:
 468         t: 50
 469         b: 20
 470         l: 50
 471         r: 20
 472       showlegend: True
 473       legend:
 474         orientation: "h"
 475       width: 700
 476       height: 1000
 477
 478     plot-throughput-speedup-analysis:
 479       xaxis:
 480         autorange: True
 481         autotick: False
 482         fixedrange: False
 483         gridcolor: "rgb(238, 238, 238)"
 484         linecolor: "rgb(238, 238, 238)"
 485         linewidth: 1
 486         showgrid: True
 487         showline: True
 488         showticklabels: True
 489         tickcolor: "rgb(238, 238, 238)"
 490         tickmode: "linear"
 491         tickangle: 270
 492         zeroline: False
 493       yaxis:
 494         title: "Throughput speedup factor"
 495         gridcolor: "rgb(238, 238, 238)"
 496         hoverformat: ".4s"
 497         linecolor: "rgb(238, 238, 238)"
 498         linewidth: 1
 499         range: []
 500         showgrid: True
 501         showline: True
 502         showticklabels: True
 503         tickcolor: "rgb(238, 238, 238)"
 504         zeroline: False
 505       legend:
 506         orientation: "h"
 507         xanchor: "center"
 508         yanchor: "top"
 509         x: 0.5
 510         y: 1
 511         bgcolor: "rgba(255, 255, 255, 0)"
 512         bordercolor: "rgba(255, 255, 255, 0)"
 513       barmode: "group"
 514       bargap: 0.15
 515       bargroupgap: 0.1
 516       autosize: False
 517       margin:
 518           't': 50
 519           'b': 200
 520           'l': 50
 521           'r': 20
 522       showlegend: True
 523       width: 700
 524       height: 1000
 525
 526 -
 527   type: "debug"
 528   general:
 529     input-format: "xml"  # zip or xml
 530     extract: "robot-plugin/output.xml"  # Only for zip
 531   builds:
 532     # The files must be in the directory DIR[WORKING,DATA]
 533     csit-vpp-perf-1801-all:
 534     -
 535       build: 1
 536       file: "{DIR[WORKING,DATA]}/output.xml"
 537     -
 538       build: 2
 539       file: "{DIR[WORKING,DATA]}/output.xml"
 540     -
 541       build: 3
 542       file: "{DIR[WORKING,DATA]}/output.xml"
 543     -
 544       build: 4
 545       file: "{DIR[WORKING,DATA]}/output.xml"
 546
 547 -
 548   type: "static"
 549   src-path: "{DIR[RST]}"
 550   dst-path: "{DIR[WORKING,SRC]}"
 551
 552 -
 553   type: "input"  # Ignored in debug mode
 554   general:
 555     file-name: "robot-plugin.zip"
 556     file-format: ".zip"
 557     download-path: "{job}/{build}/robot/report/*zip*/{filename}"
 558     extract: "robot-plugin/output.xml"
 559   builds:
 560 #    csit-vpp-perf-1707-all:
 561 #    - 9
 562 #    - 10
 563 #    - 13
 564 #    - 14
 565 #    - 15
 566 #    - 16
 567 #    - 17
 568 #    - 18
 569 #    - 19
 570 #    - 21
 571     csit-vpp-perf-1710-all:
 572     - 11
 573     - 12
 574     - 13
 575     - 14
 576     - 15
 577     - 16
 578     - 17
 579     - 18
 580     - 19
 581     - 20
 582     csit-vpp-perf-1801-all:
 583     - 122  # full
 584     - 126  # full
 585     - 129  # full
 586     - 140  # full
 587     - 124  # sel
 588     - 127  # sel
 589     - 128  # sel
 590     - 141  # sel
 591     - 142  # sel
 592     - 143  # sel
 593     - 145  # sel
 594     - 146  # sel
 595     - 157  # wrk
 596     - 158  # wrk
 597     - 159  # wrk
 598     - 160  # wrk
 599     - 161  # wrk
 600     - 162  # sel
 601     - 163  # sel
 602     - 164  # wrk
 603     - 165  # wrk
 604     - 166  # wrk
 605     - 167  # sel
 606     - 168  # wrk
 607     - 169  # wrk
 608     - 170  # wrk
 609     - 172  # sel acl only
 610     csit-vpp-perf-1804-all:
 611     - 19  # full
 612     - 20  # full
 613     - 25  # full
 614     - 26  # full
 615     - 21  # sel
 616     - 22  # sel
 617     - 23  # sel
 618     - 24  # sel
 619     - 27  # sel
 620     - 28  # sel
 621     - 29  # sel
 622     - 30  # sel
 623     csit-vpp-perf-check-1801:
 624     - 1   # mrr
 625     - 2   # mrr
 626     - 3   # mrr
 627     - 4   # mrr
 628     - 5   # mrr
 629     - 6   # mrr
 630     - 7   # mrr
 631     - 8   # mrr
 632     - 9   # mrr
 633     - 11  # mrr
 634     - 12  # mrr
 635     - 13  # mrr
 636     csit-vpp-perf-check-1804:
 637     - 5   # mrr - full
 638     - 6   # mrr - sel
 639     - 7   # mrr - sel
 640     - 8   # mrr - sel
 641     - 9   # mrr - sel
 642     - 10  # mrr - sel
 643     - 11  # mrr - sel
 644     - 12  # mrr - sel
 645 #    csit-ligato-perf-1710-all:
 646 #    - 5
 647 #    - 7
 648 #    - 8
 649 #    - 9
 650 #    - 10
 651 #    - 11
 652 #    - 12
 653 #    - 13
 654 #    - 16
 655 #    - 17
 656     csit-ligato-perf-1801-all:
 657     - 16  # sel
 658     - 17  # sel
 659     - 18  # sel
 660     - 19  # sel
 661     - 20  # sel
 662     - 21  # sel
 663     - 22  # sel
 664     - 23  # sel
 665     - 24  # sel
 666     - 25  # full
 667     csit-dpdk-perf-1804-all:
 668     - 4
 669     - 5
 670     - 6
 671     - 7
 672     - 8
 673     - 9
 674     - 10
 675     - 11
 676     - 12
 677     - 13
 678     csit-vpp-functional-1804-ubuntu1604-virl:
 679     - 168
 680     csit-vpp-functional-1804-centos7-virl:
 681     - 175
 682     csit-nsh_sfc-verify-func-1804-ubuntu1604-virl:
 683     - 7
 684     csit-hc2vpp-verify-func-1804-ubuntu1604:
 685     - 3
 686
 687 -
 688   type: "output"
 689   output: "report"
 690   format:
 691     html:
 692     - full
 693     pdf:
 694     - minimal
 695
 696 ################################################################################
 697 ###                               T A B L E S                                ###
 698 ################################################################################
 699
 700 #-
 701 #  type: "table"
 702 #  title: "Performance Impact of Meltdown Patches"
 703 #  algorithm: "table_performance_comparison"
 704 #  output-file-ext: ".csv"
 705 ## TODO: specify dir
 706 #  output-file: "{DIR[STATIC,VPP]}/meltdown-impact"
 707 #  reference:
 708 #    title: "No Meltdown"
 709 ## TODO: specify data sources
 710 #    data:
 711 #      csit-vpp-perf-1707-all:
 712 #      - 9
 713 #      - 10
 714 #      - 13
 715 #  compare:
 716 #    title: "Meltdown Patches Applied"
 717 ## TODO: specify data sources
 718 #    data:
 719 #      csit-vpp-perf-1710-all:
 720 #      - 11
 721 #      - 12
 722 #      - 13
 723 #  data:
 724 #    "vpp-meltdown-impact"
 725 #  filter: "all"
 726 #  parameters:
 727 #  - "name"
 728 #  - "parent"
 729 #  - "throughput"
 730 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
 731 #  # to present all tests.
 732 #  nr-of-tests-shown: 20
 733 #
 734 #-
 735 #  type: "table"
 736 #  title: "Performance Impact of Spectre Patches"
 737 #  algorithm: "table_performance_comparison"
 738 #  output-file-ext: ".csv"
 739 ## TODO: specify dir
 740 #  output-file: "{DIR[STATIC,VPP]}/meltdown-spectre-impact"
 741 #  reference:
 742 #    title: "No Spectre"
 743 ## TODO: specify data sources
 744 #    data:
 745 #      csit-vpp-perf-1707-all:
 746 #      - 9
 747 #      - 10
 748 #      - 13
 749 #  compare:
 750 #    title: "Spectre Patches Applied"
 751 ## TODO: specify data sources
 752 #    data:
 753 #      csit-vpp-perf-1710-all:
 754 #      - 11
 755 #      - 12
 756 #      - 13
 757 #  data:
 758 #    "vpp-spectre-impact"
 759 #  filter: "all"
 760 #  parameters:
 761 #  - "name"
 762 #  - "parent"
 763 #  - "throughput"
 764 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
 765 #  # to present all tests.
 766 #  nr-of-tests-shown: 20
 767
 768 -
 769   type: "table"
 770   title: "VPP Performance Changes"
 771   algorithm: "table_performance_comparison"
 772   output-file-ext: ".csv"
 773   output-file: "{DIR[STATIC,VPP]}/performance-changes"
 774   history:
 775     -
 776       title: "rls1710"
 777       data:
 778         csit-vpp-perf-1710-all:
 779         - 11
 780         - 12
 781         - 13
 782         - 14
 783         - 15
 784         - 16
 785         - 17
 786         - 18
 787         - 19
 788         - 20
 789   reference:
 790     title: "rls1801"
 791     data:
 792       csit-vpp-perf-1801-all:
 793       - 124  # sel
 794       - 127  # sel
 795       - 128  # sel
 796       - 141  # sel
 797       - 142  # sel
 798       - 143  # sel
 799       - 145  # sel
 800       - 146  # sel
 801       - 162  # sel
 802       - 163  # sel
 803       - 167  # sel
 804       - 172  # sel acl only
 805   compare:
 806     title: "rls1804"
 807     data:
 808       csit-vpp-perf-1804-all:
 809       - 1   # sel - dry run
 810       - 13  # sel - dry run
 811       - 14  # sel - dry run
 812       - 17  # sel - dry run
 813       - 22  # sel
 814   data: "vpp-performance-changes"
 815   filter: "all"
 816   parameters:
 817   - "name"
 818   - "parent"
 819   - "throughput"
 820   # Number of the best and the worst tests presented in the table. Use 0 (zero)
 821   # to present all tests.
 822   nr-of-tests-shown: 20
 823   outlier-const: 1.5
 824
 825 -
 826   type: "table"
 827   title: "VPP Performance Changes - MRR"
 828   algorithm: "table_performance_comparison_mrr"
 829   output-file-ext: ".csv"
 830   output-file: "{DIR[STATIC,VPP]}/performance-changes-mrr"
 831   reference:
 832     title: "Release 1801"
 833     data:
 834       csit-vpp-perf-check-1801:
 835       - 1
 836       - 2
 837       - 3
 838       - 4
 839       - 5
 840       - 6
 841       - 7
 842       - 8
 843       - 9
 844       - 11
 845       - 12
 846       - 13
 847   compare:
 848     title: "Release 1804"
 849     data:
 850       csit-vpp-perf-check-1804:
 851       - 1   # mrr - dry run
 852       - 2   # mrr - dry run
 853       - 3   # mrr - dry run
 854       - 4   # mrr - dry run
 855       - 5   # mrr
 856   data: "vpp-performance-changes-mrr"
 857   filter: "all"
 858   parameters:
 859   - "name"
 860   - "parent"
 861   - "result"
 862   # Number of the best and the worst tests presented in the table. Use 0 (zero)
 863   # to present all tests.
 864   nr-of-tests-shown: 20
 865   outlier-const: 1.5
 866
 867 #-
 868 #  type: "table"
 869 #  title: "Performance improvements"
 870 #  algorithm: "table_performance_improvements"
 871 #  template: "{DIR[DTR,PERF,VPP,IMPRV]}/tmpl_performance_improvements.csv"
 872 #  output-file-ext: ".csv"
 873 #  output-file: "{DIR[DTR,PERF,VPP,IMPRV]}/performance_improvements"
 874 #  columns:
 875 #  -
 876 #    title: "Test Name"
 877 #    data: "template 1"
 878 #  -
 879 #    title: "16.09 mean [Mpps]"
 880 #    data: "template 2"
 881 #  -
 882 #    title: "17.01 mean [Mpps]"
 883 #    data: "template 3"
 884 #  -
 885 #    title: "17.04 mean [Mpps]"
 886 #    data: "template 4"
 887 #  -
 888 #    title: "17.07 mean [Mpps]"
 889 #    data: "data csit-vpp-perf-1707-all mean"
 890 #  -
 891 #    title: "17.10 mean [Mpps]"
 892 #    data: "data csit-vpp-perf-1710-all csit-ligato-perf-1710-all mean"
 893 #  -
 894 #    title: "18.01 mean [Mpps]"
 895 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all mean"
 896 #  -
 897 #    title: "18.01 stdev [Mpps]"
 898 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all stdev"
 899 #  -
 900 #    title: "17.10 to 18.01 change [%]"
 901 #    data: "operation relative_change 5 6"
 902 #  rows: "generated"
 903 #  data:
 904 #    "performance-improvements"
 905 #  filter: "template"
 906 #  parameters:
 907 #  - "throughput"
 908
 909 -
 910   type: "table"
 911   title: "Detailed Test Results - VPP Performance Results"
 912   algorithm: "table_merged_details"
 913   output-file-ext: ".csv"
 914   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
 915   columns:
 916   -
 917     title: "Name"
 918     data: "data name"
 919   -
 920     title: "Documentation"
 921     data: "data doc"
 922   -
 923     title: "Status"
 924     data: "data msg"
 925   rows: "generated"
 926   data:
 927     "vpp-perf-results"
 928   filter: "not 'NDRCHK' and not 'PDRCHK'"
 929   parameters:
 930   - "name"
 931   - "parent"
 932   - "doc"
 933   - "msg"
 934
 935 -
 936   type: "table"
 937   title: "Test configuration - VPP Performance Test Configs"
 938   algorithm: "table_merged_details"
 939   output-file-ext: ".csv"
 940   output-file: "{DIR[DTC,PERF,VPP]}/vpp_test_configuration"
 941   columns:
 942   -
 943     title: "Name"
 944     data: "data name"
 945   -
 946     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
 947     data: "data vat-history"
 948   rows: "generated"
 949   data:
 950     "vpp-perf-results"
 951   filter: "not 'NDRCHK' and not 'PDRCHK'"
 952   parameters:
 953   - "parent"
 954   - "name"
 955   - "vat-history"
 956
 957 -
 958   type: "table"
 959   title: "Test Operational Data - VPP Performance Operational Data"
 960   algorithm: "table_merged_details"
 961   output-file-ext: ".csv"
 962   output-file: "{DIR[DTO,PERF,VPP]}/vpp_test_operational"
 963   columns:
 964   -
 965     title: "Name"
 966     data: "data name"
 967   -
 968     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
 969     data: "data show-run"
 970   rows: "generated"
 971   data:
 972     "vpp-perf-results"
 973   filter: "not 'NDRCHK' and not 'PDRCHK'"
 974   parameters:
 975   - "parent"
 976   - "name"
 977   - "show-run"
 978
 979 -
 980   type: "table"
 981   title: "Detailed Test Results - VPP Functional Results"
 982   algorithm: "table_details"
 983   output-file-ext: ".csv"
 984   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
 985   columns:
 986   -
 987     title: "Name"
 988     data: "data name"
 989   -
 990     title: "Documentation"
 991     data: "data doc"
 992   -
 993     title: "Status"
 994     data: "data status"
 995   rows: "generated"
 996   data:
 997     "vpp-func-results"
 998   filter: "all"
 999   parameters:
1000   - "name"
1001   - "parent"
1002   - "doc"
1003   - "status"
1004
1005 -
1006   type: "table"
1007   title: "Detailed Test Results - VPP Functional Results - CentOS"
1008   algorithm: "table_details"
1009   output-file-ext: ".csv"
1010   output-file: "{DIR[DTR,FUNC,VPP,CENTOS]}/vpp_functional_results_centos"
1011   columns:
1012   -
1013     title: "Name"
1014     data: "data name"
1015   -
1016     title: "Documentation"
1017     data: "data doc"
1018   -
1019     title: "Status"
1020     data: "data status"
1021   rows: "generated"
1022   data:
1023     "vpp-func-results-centos"
1024   filter: "all"
1025   parameters:
1026   - "name"
1027   - "parent"
1028   - "doc"
1029   - "status"
1030
1031 -
1032   type: "table"
1033   title: "Test configuration - VPP Functional Test Configs"
1034   algorithm: "table_details"
1035   output-file-ext: ".csv"
1036   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
1037   columns:
1038   -
1039     title: "Name"
1040     data: "data name"
1041   -
1042     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1043     data: "data vat-history"
1044   rows: "generated"
1045   data:
1046     "vpp-func-results"
1047   filter: "all"
1048   parameters:
1049   - "parent"
1050   - "name"
1051   - "vat-history"
1052
1053 -
1054   type: "table"
1055   title: "Test configuration - VPP Functional Test Configs - CentOS"
1056   algorithm: "table_details"
1057   output-file-ext: ".csv"
1058   output-file: "{DIR[DTC,FUNC,VPP,CENTOS]}/vpp_functional_configuration_centos"
1059   columns:
1060   -
1061     title: "Name"
1062     data: "data name"
1063   -
1064     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1065     data: "data vat-history"
1066   rows: "generated"
1067   data:
1068     "vpp-func-results-centos"
1069   filter: "all"
1070   parameters:
1071   - "parent"
1072   - "name"
1073   - "vat-history"
1074
1075 -
1076   type: "table"
1077   title: "Detailed Test Results - Container Orchestrated Topologies Performance Results"
1078   algorithm: "table_details"
1079   output-file-ext: ".csv"
1080   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
1081   columns:
1082   -
1083     title: "Name"
1084     data: "data name"
1085   -
1086     title: "Documentation"
1087     data: "data doc"
1088   -
1089     title: "Status"
1090     data: "data msg"
1091   rows: "generated"
1092   data:
1093     "ligato-perf-results"
1094   filter: "all"
1095   parameters:
1096   - "name"
1097   - "parent"
1098   - "doc"
1099   - "msg"
1100
1101 -
1102   type: "table"
1103   title: "Detailed Test Results - DPDK Performance Results"
1104   algorithm: "table_details"
1105   output-file-ext: ".csv"
1106   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
1107   columns:
1108   -
1109     title: "Name"
1110     data: "data name"
1111   -
1112     title: "Documentation"
1113     data: "data doc"
1114   -
1115     title: "Status"
1116     data: "data msg"
1117   rows: "generated"
1118   data:
1119     "dpdk-perf-results"
1120   filter: "all"
1121   parameters:
1122   - "name"
1123   - "parent"
1124   - "doc"
1125   - "msg"
1126
1127 -
1128   type: "table"
1129   title: "Detailed Test Results - Honeycomb Functional Results"
1130   algorithm: "table_details"
1131   output-file-ext: ".csv"
1132   output-file: "{DIR[DTR,FUNC,HC]}/hc_functional_results"
1133   columns:
1134   -
1135     title: "Name"
1136     data: "data name"
1137   -
1138     title: "Documentation"
1139     data: "data doc"
1140   -
1141     title: "Status"
1142     data: "data status"
1143   rows: "generated"
1144   data:
1145     "hc-func-results"
1146   filter: "all"
1147   parameters:
1148   - "name"
1149   - "parent"
1150   - "doc"
1151   - "status"
1152
1153 -
1154   type: "table"
1155   title: "Detailed Test Results - NSH SFC Functional Results"
1156   algorithm: "table_details"
1157   output-file-ext: ".csv"
1158   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nsh_sfc_functional_results"
1159   columns:
1160   -
1161     title: "Name"
1162     data: "data name"
1163   -
1164     title: "Documentation"
1165     data: "data doc"
1166   -
1167     title: "Status"
1168     data: "data status"
1169   rows: "generated"
1170   data:
1171     "nsh-func-results"
1172   filter: "all"
1173   parameters:
1174   - "name"
1175   - "parent"
1176   - "doc"
1177   - "status"
1178
1179 ################################################################################
1180 ###                                F I L E S                                 ###
1181 ################################################################################
1182
1183 -
1184   type: "file"
1185   title: "VPP Performance Results"
1186   algorithm: "file_merged_test_results"
1187   output-file-ext: ".rst"
1188   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
1189   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1190   dir-tables: "{DIR[DTR,PERF,VPP]}"
1191   data:
1192     "vpp-perf-results"
1193   filter: "not 'NDRCHK' and not 'PDRCHK'"
1194   parameters:
1195   - "name"
1196   - "doc"
1197   - "level"
1198   - "parent"
1199   data-start-level: 3  # 0, 1, 2, ...
1200   chapters-start-level: 2  # 0, 1, 2, ...
1201
1202 -
1203   type: "file"
1204   title: "VPP Performance Configuration"
1205   algorithm: "file_merged_test_results"
1206   output-file-ext: ".rst"
1207   output-file: "{DIR[DTC,PERF,VPP]}/vpp_performance_configuration"
1208   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1209   dir-tables: "{DIR[DTC,PERF,VPP]}"
1210   data:
1211     "vpp-perf-results"
1212   filter: "not 'NDRCHK' and not 'PDRCHK'"
1213   parameters:
1214   - "name"
1215   - "doc"
1216   - "level"
1217   - "parent"
1218   data-start-level: 3  # 0, 1, 2, ...
1219   chapters-start-level: 2  # 0, 1, 2, ...
1220
1221 -
1222   type: "file"
1223   title: "VPP Performance Operational Data"
1224   algorithm: "file_merged_test_results"
1225   output-file-ext: ".rst"
1226   output-file: "{DIR[DTO,PERF,VPP]}/vpp_performance_operational_data"
1227   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1228   dir-tables: "{DIR[DTO,PERF,VPP]}"
1229   data:
1230     "vpp-perf-results"
1231   filter: "not 'NDRCHK' and not 'PDRCHK'"
1232   parameters:
1233   - "name"
1234   - "doc"
1235   - "level"
1236   - "parent"
1237   data-start-level: 3  # 0, 1, 2, ...
1238   chapters-start-level: 2  # 0, 1, 2, ...
1239
1240 -
1241   type: "file"
1242   title: "VPP Functional Results"
1243   algorithm: "file_test_results"
1244   output-file-ext: ".rst"
1245   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
1246   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1247   dir-tables: "{DIR[DTR,FUNC,VPP]}"
1248   data:
1249     "vpp-func-results"
1250   filter: "all"
1251   parameters:
1252   - "name"
1253   - "doc"
1254   - "level"
1255   data-start-level: 3  # 0, 1, 2, ...
1256   chapters-start-level: 2  # 0, 1, 2, ...
1257
1258 -
1259   type: "file"
1260   title: "VPP Functional Results - CentOS"
1261   algorithm: "file_test_results"
1262   output-file-ext: ".rst"
1263   output-file: "{DIR[DTR,FUNC,VPP,CENTOS]}/vpp_functional_results_centos"
1264   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1265   dir-tables: "{DIR[DTR,FUNC,VPP,CENTOS]}"
1266   data:
1267     "vpp-func-results-centos"
1268   filter: "all"
1269   parameters:
1270   - "name"
1271   - "doc"
1272   - "level"
1273   data-start-level: 3  # 0, 1, 2, ...
1274   chapters-start-level: 2  # 0, 1, 2, ...
1275
1276 -
1277   type: "file"
1278   title: "VPP Functional Configuration"
1279   algorithm: "file_test_results"
1280   output-file-ext: ".rst"
1281   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
1282   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1283   dir-tables: "{DIR[DTC,FUNC,VPP]}"
1284   data:
1285     "vpp-func-results"
1286   filter: "all"
1287   parameters:
1288   - "name"
1289   - "doc"
1290   - "level"
1291   data-start-level: 3  # 0, 1, 2, ...
1292   chapters-start-level: 2  # 0, 1, 2, ...
1293
1294 -
1295   type: "file"
1296   title: "VPP Functional Configuration - CentOS"
1297   algorithm: "file_test_results"
1298   output-file-ext: ".rst"
1299   output-file: "{DIR[DTC,FUNC,VPP,CENTOS]}/vpp_functional_configuration_centos"
1300   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1301   dir-tables: "{DIR[DTC,FUNC,VPP,CENTOS]}"
1302   data:
1303     "vpp-func-results-centos"
1304   filter: "all"
1305   parameters:
1306   - "name"
1307   - "doc"
1308   - "level"
1309   data-start-level: 3  # 0, 1, 2, ...
1310   chapters-start-level: 2  # 0, 1, 2, ...
1311
1312 -
1313   type: "file"
1314   title: "Container Orchestrated Performance Results"
1315   algorithm: "file_test_results"
1316   output-file-ext: ".rst"
1317   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
1318   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1319   dir-tables: "{DIR[DTR,PERF,COT]}"
1320   data:
1321     "ligato-perf-results"
1322   filter: "all"
1323   parameters:
1324   - "name"
1325   - "doc"
1326   - "level"
1327   data-start-level: 2  # 0, 1, 2, ...
1328   chapters-start-level: 2  # 0, 1, 2, ...
1329
1330 -
1331   type: "file"
1332   title: "DPDK Performance Results"
1333   algorithm: "file_test_results"
1334   output-file-ext: ".rst"
1335   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
1336   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1337   dir-tables: "{DIR[DTR,PERF,DPDK]}"
1338   data:
1339     "dpdk-perf-results"
1340   filter: "all"
1341   parameters:
1342   - "name"
1343   - "doc"
1344   - "level"
1345   chapters:
1346   - "suites"
1347   data-start-level: 2  # 0, 1, 2, ...
1348   chapters-start-level: 2  # 0, 1, 2, ...
1349
1350 -
1351   type: "file"
1352   title: "Honeycomb Functional Results"
1353   algorithm: "file_test_results"
1354   output-file-ext: ".rst"
1355   output-file: "{DIR[DTR,FUNC,HC]}/honeycomb_functional_results"
1356   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1357   dir-tables: "{DIR[DTR,FUNC,HC]}"
1358   data:
1359     "hc-func-results"
1360   filter: "all"
1361   parameters:
1362   - "name"
1363   - "doc"
1364   - "level"
1365   chapters:
1366   - "suites"
1367   data-start-level: 3  # 0, 1, 2, ...
1368   chapters-start-level: 2  # 0, 1, 2, ...
1369
1370 -
1371   type: "file"
1372   title: "NSH SFC Functional Results"
1373   algorithm: "file_test_results"
1374   output-file-ext: ".rst"
1375   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nshsfc_functional_results"
1376   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1377   dir-tables: "{DIR[DTR,FUNC,NSHSFC]}"
1378   data:
1379     "nsh-func-results"
1380   filter: "all"
1381   parameters:
1382   - "name"
1383   - "doc"
1384   - "level"
1385   chapters:
1386   - "suites"
1387   data-start-level: 2  # 0, 1, 2, ...
1388   chapters-start-level: 2  # 0, 1, 2, ...
1389
1390 ################################################################################
1391 ###                                P L O T S                                 ###
1392 ################################################################################
1393
1394 # Plots VPP HTTP Server Performance
1395 -
1396   type: "plot"
1397   title: "VPP HTTP Server Performance"
1398   algorithm: "plot_http_server_performance_box"
1399   output-file-type: ".html"
1400   output-file: "{DIR[STATIC,VPP]}/http-server-performance-cps"
1401   data:
1402     "plot-vpp-http-server-performance"
1403   # Keep this formatting, the filter is enclosed with " (quotation mark) and
1404   # each tag is enclosed with ' (apostrophe).
1405   filter: "'HTTP' and 'TCP_CPS'"
1406   parameters:
1407   - "result"
1408   - "name"
1409   traces:
1410     hoverinfo: "x+y"
1411     boxpoints: "outliers"
1412     whiskerwidth: 0
1413   layout:
1414     title: "VPP HTTP Server Performance"
1415     layout:
1416       "plot-cps"
1417
1418 -
1419   type: "plot"
1420   title: "VPP HTTP Server Performance"
1421   algorithm: "plot_http_server_performance_box"
1422   output-file-type: ".html"
1423   output-file: "{DIR[STATIC,VPP]}/http-server-performance-rps"
1424   data:
1425     "plot-vpp-http-server-performance"
1426   filter: "'HTTP' and 'TCP_RPS'"
1427   parameters:
1428   - "result"
1429   - "name"
1430   traces:
1431     hoverinfo: "x+y"
1432     boxpoints: "outliers"
1433     whiskerwidth: 0
1434   layout:
1435     title: "VPP HTTP Server Performance"
1436     layout:
1437       "plot-rps"
1438
1439 # Plot Throughput Speedup Analysis
1440
1441 # L2 - 10ge2p1x520 - NDR
1442 -
1443   type: "plot"
1444   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1445   algorithm: "plot_throughput_speedup_analysis"
1446   output-file-type: ".html"
1447   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-ndrdisc"
1448   data:
1449     "plot-throughput-speedup-analysis"
1450   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1451   parameters:
1452   - "throughput"
1453   - "parent"
1454   - "tags"
1455   layout:
1456     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1457     layout:
1458       "plot-throughput-speedup-analysis"
1459
1460 # L2 - 40ge2p1xl710 - NDR
1461 -
1462   type: "plot"
1463   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1464   algorithm: "plot_throughput_speedup_analysis"
1465   output-file-type: ".html"
1466   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-l2-tsa-ndrdisc"
1467   data:
1468     "plot-throughput-speedup-analysis"
1469   filter: "'NIC_Intel-XL710' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1470   parameters:
1471   - "throughput"
1472   - "parent"
1473   - "tags"
1474   layout:
1475     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1476     layout:
1477       "plot-throughput-speedup-analysis"
1478
1479 # L2 - 10ge2p1x520 - PDR
1480 -
1481   type: "plot"
1482   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1483   algorithm: "plot_throughput_speedup_analysis"
1484   output-file-type: ".html"
1485   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-pdrdisc"
1486   data:
1487     "plot-throughput-speedup-analysis"
1488   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1489   parameters:
1490   - "throughput"
1491   - "parent"
1492   - "tags"
1493   layout:
1494     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1495     layout:
1496       "plot-throughput-speedup-analysis"
1497
1498 # IPv4 - 10ge2p1x520 - NDR
1499 -
1500   type: "plot"
1501   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1502   algorithm: "plot_throughput_speedup_analysis"
1503   output-file-type: ".html"
1504   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-ndrdisc"
1505   data:
1506     "plot-throughput-speedup-analysis"
1507   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1508   parameters:
1509   - "throughput"
1510   - "parent"
1511   - "tags"
1512   layout:
1513     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1514     layout:
1515       "plot-throughput-speedup-analysis"
1516
1517 # IPv4 - 40ge2p1xl710 - NDR
1518 -
1519   type: "plot"
1520   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1521   algorithm: "plot_throughput_speedup_analysis"
1522   output-file-type: ".html"
1523   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-ip4-tsa-ndrdisc"
1524   data:
1525     "plot-throughput-speedup-analysis"
1526   filter: "'NIC_Intel-XL710' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1527   parameters:
1528   - "throughput"
1529   - "parent"
1530   - "tags"
1531   layout:
1532     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1533     layout:
1534       "plot-throughput-speedup-analysis"
1535
1536 # IPv4 - 10ge2p1x520 - PDR
1537 -
1538   type: "plot"
1539   title: "TSA: 64B-*-ethip4-ip4(base|scale)*pdrdisc"
1540   algorithm: "plot_throughput_speedup_analysis"
1541   output-file-type: ".html"
1542   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-pdrdisc"
1543   data:
1544     "plot-throughput-speedup-analysis"
1545   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1546   parameters:
1547   - "throughput"
1548   - "parent"
1549   - "tags"
1550   layout:
1551     title: "64B-*-ethip4-ip4(base|scale)*pdrdisc"
1552     layout:
1553       "plot-throughput-speedup-analysis"
1554
1555 # IPv6 - 10ge2p1x520 - NDR
1556 -
1557   type: "plot"
1558   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1559   algorithm: "plot_throughput_speedup_analysis"
1560   output-file-type: ".html"
1561   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-ndrdisc"
1562   data:
1563     "plot-throughput-speedup-analysis"
1564   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1565   parameters:
1566   - "throughput"
1567   - "parent"
1568   - "tags"
1569   layout:
1570     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1571     layout:
1572       "plot-throughput-speedup-analysis"
1573
1574 # IPv6 - 40ge2p1xl710 - NDR
1575 -
1576   type: "plot"
1577   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1578   algorithm: "plot_throughput_speedup_analysis"
1579   output-file-type: ".html"
1580   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-78B-ip6-tsa-ndrdisc"
1581   data:
1582     "plot-throughput-speedup-analysis"
1583   filter: "'NIC_Intel-XL710' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1584   parameters:
1585   - "throughput"
1586   - "parent"
1587   - "tags"
1588   layout:
1589     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1590     layout:
1591       "plot-throughput-speedup-analysis"
1592
1593 # IPv6 - 10ge2p1x520 - PDR
1594 -
1595   type: "plot"
1596   title: "TSA: 78B-*-ethip6-ip6(base|scale)*pdrdisc"
1597   algorithm: "plot_throughput_speedup_analysis"
1598   output-file-type: ".html"
1599   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-pdrdisc"
1600   data:
1601     "plot-throughput-speedup-analysis"
1602   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST'"
1603   parameters:
1604   - "throughput"
1605   - "parent"
1606   - "tags"
1607   layout:
1608     title: "78B-*-ethip6-ip6(base|scale)*pdrdisc"
1609     layout:
1610       "plot-throughput-speedup-analysis"
1611
1612 # Plot packets per second
1613
1614 # VPP L2 sel1
1615 -
1616   type: "plot"
1617   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1618   algorithm: "plot_performance_box"
1619   output-file-type: ".html"
1620   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc"
1621   data:
1622     "plot-vpp-throughput-latency"
1623   # Keep this formatting, the filter is enclosed with " (quotation mark) and
1624   # each tag is enclosed with ' (apostrophe).
1625   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1626   parameters:
1627   - "throughput"
1628   - "parent"
1629   traces:
1630     hoverinfo: "x+y"
1631     boxpoints: "outliers"
1632     whiskerwidth: 0
1633   layout:
1634     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1635     layout:
1636       "plot-throughput"
1637
1638 -
1639   type: "plot"
1640   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1641   algorithm: "plot_performance_box"
1642   output-file-type: ".html"
1643   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc"
1644   data:
1645     "plot-vpp-throughput-latency"
1646   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1647   parameters:
1648   - "throughput"
1649   - "parent"
1650   traces:
1651     hoverinfo: "x+y"
1652     boxpoints: "outliers"
1653     whiskerwidth: 0
1654   layout:
1655     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1656     layout:
1657       "plot-throughput"
1658
1659 -
1660   type: "plot"
1661   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1662   algorithm: "plot_performance_box"
1663   output-file-type: ".html"
1664   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-pdrdisc"
1665   data:
1666     "plot-vpp-throughput-latency"
1667   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1668   parameters:
1669   - "throughput"
1670   - "parent"
1671   traces:
1672     hoverinfo: "x+y"
1673     boxpoints: "outliers"
1674     whiskerwidth: 0
1675   layout:
1676     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1677     layout:
1678       "plot-throughput"
1679
1680 -
1681   type: "plot"
1682   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1683   algorithm: "plot_performance_box"
1684   output-file-type: ".html"
1685   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-pdrdisc"
1686   data:
1687     "plot-vpp-throughput-latency"
1688   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1689   parameters:
1690   - "throughput"
1691   - "parent"
1692   traces:
1693     hoverinfo: "x+y"
1694     boxpoints: "outliers"
1695     whiskerwidth: 0
1696   layout:
1697     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1698     layout:
1699       "plot-throughput"
1700
1701 # VPP L2 sel2
1702 -
1703   type: "plot"
1704   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1705   algorithm: "plot_performance_box"
1706   output-file-type: ".html"
1707   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc"
1708   data:
1709     "plot-vpp-throughput-latency"
1710   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1711   parameters:
1712   - "throughput"
1713   - "parent"
1714   traces:
1715     hoverinfo: "x+y"
1716     boxpoints: "outliers"
1717     whiskerwidth: 0
1718   layout:
1719     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1720     layout:
1721       "plot-throughput"
1722
1723 -
1724   type: "plot"
1725   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1726   algorithm: "plot_performance_box"
1727   output-file-type: ".html"
1728   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc"
1729   data:
1730     "plot-vpp-throughput-latency"
1731   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1732   parameters:
1733   - "throughput"
1734   - "parent"
1735   traces:
1736     hoverinfo: "x+y"
1737     boxpoints: "outliers"
1738     whiskerwidth: 0
1739   layout:
1740     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1741     layout:
1742       "plot-throughput"
1743
1744 -
1745   type: "plot"
1746   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1747   algorithm: "plot_performance_box"
1748   output-file-type: ".html"
1749   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-pdrdisc"
1750   data:
1751     "plot-vpp-throughput-latency"
1752   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1753   parameters:
1754   - "throughput"
1755   - "parent"
1756   traces:
1757     hoverinfo: "x+y"
1758     boxpoints: "outliers"
1759     whiskerwidth: 0
1760   layout:
1761     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1762     layout:
1763       "plot-throughput"
1764
1765 -
1766   type: "plot"
1767   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1768   algorithm: "plot_performance_box"
1769   output-file-type: ".html"
1770   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-pdrdisc"
1771   data:
1772     "plot-vpp-throughput-latency"
1773   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1774   parameters:
1775   - "throughput"
1776   - "parent"
1777   traces:
1778     hoverinfo: "x+y"
1779     boxpoints: "outliers"
1780     whiskerwidth: 0
1781   layout:
1782     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1783     layout:
1784       "plot-throughput"
1785
1786 # VPP IP4
1787 -
1788   type: "plot"
1789   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1790   algorithm: "plot_performance_box"
1791   output-file-type: ".html"
1792   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc"
1793   data:
1794     "plot-vpp-throughput-latency"
1795   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
1796   parameters:
1797   - "throughput"
1798   - "parent"
1799   traces:
1800     hoverinfo: "x+y"
1801     boxpoints: "outliers"
1802     whiskerwidth: 0
1803   layout:
1804     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1805     layout:
1806       "plot-throughput"
1807
1808 -
1809   type: "plot"
1810   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1811   algorithm: "plot_performance_box"
1812   output-file-type: ".html"
1813   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc"
1814   data:
1815     "plot-vpp-throughput-latency"
1816   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
1817   parameters:
1818   - "throughput"
1819   - "parent"
1820   traces:
1821     hoverinfo: "x+y"
1822     boxpoints: "outliers"
1823     whiskerwidth: 0
1824   layout:
1825     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1826     layout:
1827       "plot-throughput"
1828
1829 -
1830   type: "plot"
1831   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1832   algorithm: "plot_performance_box"
1833   output-file-type: ".html"
1834   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-pdrdisc"
1835   data:
1836     "plot-vpp-throughput-latency"
1837   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
1838   parameters:
1839   - "throughput"
1840   - "parent"
1841   traces:
1842     hoverinfo: "x+y"
1843     boxpoints: "outliers"
1844     whiskerwidth: 0
1845   layout:
1846     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1847     layout:
1848       "plot-throughput"
1849
1850 -
1851   type: "plot"
1852   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1853   algorithm: "plot_performance_box"
1854   output-file-type: ".html"
1855   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-pdrdisc"
1856   data:
1857     "plot-vpp-throughput-latency"
1858   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
1859   parameters:
1860   - "throughput"
1861   - "parent"
1862   traces:
1863     hoverinfo: "x+y"
1864     boxpoints: "outliers"
1865     whiskerwidth: 0
1866   layout:
1867     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1868     layout:
1869       "plot-throughput"
1870
1871 # VPP IP6
1872 -
1873   type: "plot"
1874   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1875   algorithm: "plot_performance_box"
1876   output-file-type: ".html"
1877   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc"
1878   data:
1879     "plot-vpp-throughput-latency"
1880   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1881   parameters:
1882   - "throughput"
1883   - "parent"
1884   traces:
1885     hoverinfo: "x+y"
1886     boxpoints: "outliers"
1887     whiskerwidth: 0
1888   layout:
1889     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1890     layout:
1891       "plot-throughput"
1892
1893 -
1894   type: "plot"
1895   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1896   algorithm: "plot_performance_box"
1897   output-file-type: ".html"
1898   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc"
1899   data:
1900     "plot-vpp-throughput-latency"
1901   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1902   parameters:
1903   - "throughput"
1904   - "parent"
1905   traces:
1906     hoverinfo: "x+y"
1907     boxpoints: "outliers"
1908     whiskerwidth: 0
1909   layout:
1910     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1911     layout:
1912       "plot-throughput"
1913
1914 -
1915   type: "plot"
1916   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1917   algorithm: "plot_performance_box"
1918   output-file-type: ".html"
1919   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-pdrdisc"
1920   data:
1921     "plot-vpp-throughput-latency"
1922   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1923   parameters:
1924   - "throughput"
1925   - "parent"
1926   traces:
1927     hoverinfo: "x+y"
1928     boxpoints: "outliers"
1929     whiskerwidth: 0
1930   layout:
1931     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1932     layout:
1933       "plot-throughput"
1934
1935 -
1936   type: "plot"
1937   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1938   algorithm: "plot_performance_box"
1939   output-file-type: ".html"
1940   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-pdrdisc"
1941   data:
1942     "plot-vpp-throughput-latency"
1943   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1944   parameters:
1945   - "throughput"
1946   - "parent"
1947   traces:
1948     hoverinfo: "x+y"
1949     boxpoints: "outliers"
1950     whiskerwidth: 0
1951   layout:
1952     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1953     layout:
1954       "plot-throughput"
1955
1956 # VPP IP4_overlay
1957 -
1958   type: "plot"
1959   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1960   algorithm: "plot_performance_box"
1961   output-file-type: ".html"
1962   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc"
1963   data:
1964     "plot-vpp-throughput-latency"
1965   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1966   parameters:
1967   - "throughput"
1968   - "parent"
1969   traces:
1970     hoverinfo: "x+y"
1971     boxpoints: "outliers"
1972     whiskerwidth: 0
1973   layout:
1974     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1975     layout:
1976       "plot-throughput"
1977
1978 -
1979   type: "plot"
1980   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1981   algorithm: "plot_performance_box"
1982   output-file-type: ".html"
1983   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc"
1984   data:
1985     "plot-vpp-throughput-latency"
1986   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1987   parameters:
1988   - "throughput"
1989   - "parent"
1990   traces:
1991     hoverinfo: "x+y"
1992     boxpoints: "outliers"
1993     whiskerwidth: 0
1994   layout:
1995     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1996     layout:
1997       "plot-throughput"
1998
1999 -
2000   type: "plot"
2001   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
2002   algorithm: "plot_performance_box"
2003   output-file-type: ".html"
2004   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-pdrdisc"
2005   data:
2006     "plot-vpp-throughput-latency"
2007   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2008   parameters:
2009   - "throughput"
2010   - "parent"
2011   traces:
2012     hoverinfo: "x+y"
2013     boxpoints: "outliers"
2014     whiskerwidth: 0
2015   layout:
2016     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
2017     layout:
2018       "plot-throughput"
2019
2020 -
2021   type: "plot"
2022   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
2023   algorithm: "plot_performance_box"
2024   output-file-type: ".html"
2025   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-pdrdisc"
2026   data:
2027     "plot-vpp-throughput-latency"
2028   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2029   parameters:
2030   - "throughput"
2031   - "parent"
2032   traces:
2033     hoverinfo: "x+y"
2034     boxpoints: "outliers"
2035     whiskerwidth: 0
2036   layout:
2037     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
2038     layout:
2039       "plot-throughput"
2040
2041 # VPP IP6_overlay
2042 -
2043   type: "plot"
2044   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2045   algorithm: "plot_performance_box"
2046   output-file-type: ".html"
2047   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc"
2048   data:
2049     "plot-vpp-throughput-latency"
2050   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2051   parameters:
2052   - "throughput"
2053   - "parent"
2054   traces:
2055     hoverinfo: "x+y"
2056     boxpoints: "outliers"
2057     whiskerwidth: 0
2058   layout:
2059     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2060     xaxis:
2061       autorange: True
2062       autotick: False
2063       fixedrange: False
2064       gridcolor: "rgb(238, 238, 238)"
2065       linecolor: "rgb(238, 238, 238)"
2066       linewidth: 1
2067       showgrid: True
2068       showline: True
2069       showticklabels: True
2070       tickcolor: "rgb(238, 238, 238)"
2071       tickmode: "linear"
2072       title: "Indexed Test Cases"
2073       zeroline: False
2074     yaxis:
2075       gridcolor: "rgb(238, 238, 238)'"
2076       hoverformat: ".4s"
2077       linecolor: "rgb(238, 238, 238)"
2078       linewidth: 1
2079       range: [2000000, 6000000]
2080       showgrid: True
2081       showline: True
2082       showticklabels: True
2083       tickcolor: "rgb(238, 238, 238)"
2084       title: "Packets Per Second [pps]"
2085       zeroline: False
2086     boxmode: "group"
2087     boxgroupgap: 0.5
2088     autosize: False
2089     margin:
2090       t: 50
2091       b: 20
2092       l: 50
2093       r: 20
2094     showlegend: True
2095     legend:
2096       orientation: "h"
2097     width: 700
2098     height: 1000
2099
2100 -
2101   type: "plot"
2102   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2103   algorithm: "plot_performance_box"
2104   output-file-type: ".html"
2105   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc"
2106   data:
2107     "plot-vpp-throughput-latency"
2108   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2109   parameters:
2110   - "throughput"
2111   - "parent"
2112   traces:
2113     hoverinfo: "x+y"
2114     boxpoints: "outliers"
2115     whiskerwidth: 0
2116   layout:
2117     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2118     layout:
2119       "plot-throughput"
2120
2121 -
2122   type: "plot"
2123   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2124   algorithm: "plot_performance_box"
2125   output-file-type: ".html"
2126   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-pdrdisc"
2127   data:
2128     "plot-vpp-throughput-latency"
2129   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2130   parameters:
2131   - "throughput"
2132   - "parent"
2133   traces:
2134     hoverinfo: "x+y"
2135     boxpoints: "outliers"
2136     whiskerwidth: 0
2137   layout:
2138     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2139     layout:
2140       "plot-throughput"
2141
2142 -
2143   type: "plot"
2144   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2145   algorithm: "plot_performance_box"
2146   output-file-type: ".html"
2147   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-pdrdisc"
2148   data:
2149     "plot-vpp-throughput-latency"
2150   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2151   parameters:
2152   - "throughput"
2153   - "parent"
2154   traces:
2155     hoverinfo: "x+y"
2156     boxpoints: "outliers"
2157     whiskerwidth: 0
2158   layout:
2159     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2160     xaxis:
2161       autorange: True
2162       autotick: False
2163       fixedrange: False
2164       gridcolor: "rgb(238, 238, 238)"
2165       linecolor: "rgb(238, 238, 238)"
2166       linewidth: 1
2167       showgrid: True
2168       showline: True
2169       showticklabels: True
2170       tickcolor: "rgb(238, 238, 238)"
2171       tickmode: "linear"
2172       title: "Indexed Test Cases"
2173       zeroline: False
2174     yaxis:
2175       gridcolor: "rgb(238, 238, 238)'"
2176       hoverformat: ".4s"
2177       linecolor: "rgb(238, 238, 238)"
2178       linewidth: 1
2179       range: [4000000, 12000000]
2180       showgrid: True
2181       showline: True
2182       showticklabels: True
2183       tickcolor: "rgb(238, 238, 238)"
2184       title: "Packets Per Second [pps]"
2185       zeroline: False
2186     boxmode: "group"
2187     boxgroupgap: 0.5
2188     autosize: False
2189     margin:
2190       t: 50
2191       b: 20
2192       l: 50
2193       r: 20
2194     showlegend: True
2195     legend:
2196       orientation: "h"
2197     width: 700
2198     height: 1000
2199
2200 # VPP VM VHOST
2201 -
2202   type: "plot"
2203   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2204   algorithm: "plot_performance_box"
2205   output-file-type: ".html"
2206   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc"
2207   data:
2208     "plot-vpp-throughput-latency"
2209   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2210   parameters:
2211   - "throughput"
2212   - "parent"
2213   traces:
2214     hoverinfo: "x+y"
2215     boxpoints: "outliers"
2216     whiskerwidth: 0
2217   layout:
2218     title: "64B-1t1c-.*vhost.*-ndrdisc"
2219     xaxis:
2220       autorange: True
2221       autotick: False
2222       fixedrange: False
2223       gridcolor: "rgb(238, 238, 238)"
2224       linecolor: "rgb(238, 238, 238)"
2225       linewidth: 1
2226       showgrid: True
2227       showline: True
2228       showticklabels: True
2229       tickcolor: "rgb(238, 238, 238)"
2230       tickmode: "linear"
2231       title: "Indexed Test Cases"
2232       zeroline: False
2233     yaxis:
2234       gridcolor: "rgb(238, 238, 238)'"
2235       hoverformat: ".4s"
2236       linecolor: "rgb(238, 238, 238)"
2237       linewidth: 1
2238       range: [0, 3500000]
2239       showgrid: True
2240       showline: True
2241       showticklabels: True
2242       tickcolor: "rgb(238, 238, 238)"
2243       title: "Packets Per Second [pps]"
2244       zeroline: False
2245     boxmode: "group"
2246     boxgroupgap: 0.5
2247     autosize: False
2248     margin:
2249       t: 50
2250       b: 20
2251       l: 50
2252       r: 20
2253     showlegend: True
2254     legend:
2255       orientation: "h"
2256     width: 700
2257     height: 1000
2258
2259 -
2260   type: "plot"
2261   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2262   algorithm: "plot_performance_box"
2263   output-file-type: ".html"
2264   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc"
2265   data:
2266     "plot-vpp-throughput-latency"
2267   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2268   parameters:
2269   - "throughput"
2270   - "parent"
2271   traces:
2272     hoverinfo: "x+y"
2273     boxpoints: "outliers"
2274     whiskerwidth: 0
2275   layout:
2276     title: "64B-2t2c-.*vhost.*-ndrdisc"
2277     layout:
2278       "plot-throughput"
2279
2280 -
2281   type: "plot"
2282   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2283   algorithm: "plot_performance_box"
2284   output-file-type: ".html"
2285   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-pdrdisc"
2286   data:
2287     "plot-vpp-throughput-latency"
2288   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2289   parameters:
2290   - "throughput"
2291   - "parent"
2292   traces:
2293     hoverinfo: "x+y"
2294     boxpoints: "outliers"
2295     whiskerwidth: 0
2296   layout:
2297     title: "64B-1t1c-.*vhost.*-pdrdisc"
2298     layout:
2299       "plot-throughput"
2300
2301 -
2302   type: "plot"
2303   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2304   algorithm: "plot_performance_box"
2305   output-file-type: ".html"
2306   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-pdrdisc"
2307   data:
2308     "plot-vpp-throughput-latency"
2309   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2310   parameters:
2311   - "throughput"
2312   - "parent"
2313   traces:
2314     hoverinfo: "x+y"
2315     boxpoints: "outliers"
2316     whiskerwidth: 0
2317   layout:
2318     title: "64B-2t2c-.*vhost.*-pdrdisc"
2319     layout:
2320       "plot-throughput"
2321
2322 # VPP VM VHOST SELECTION
2323 -
2324   type: "plot"
2325   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2326   algorithm: "plot_performance_box"
2327   output-file-type: ".html"
2328   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc"
2329   data:
2330     "plot-vpp-throughput-latency"
2331   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2332   parameters:
2333   - "throughput"
2334   - "parent"
2335   traces:
2336     hoverinfo: "x+y"
2337     boxpoints: "outliers"
2338     whiskerwidth: 0
2339   layout:
2340     title: "64B-1t1c-.*vhost.*-ndrdisc"
2341     layout:
2342       "plot-throughput"
2343
2344 -
2345   type: "plot"
2346   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2347   algorithm: "plot_performance_box"
2348   output-file-type: ".html"
2349   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc"
2350   data:
2351     "plot-vpp-throughput-latency"
2352   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2353   parameters:
2354   - "throughput"
2355   - "parent"
2356   traces:
2357     hoverinfo: "x+y"
2358     boxpoints: "outliers"
2359     whiskerwidth: 0
2360   layout:
2361     title: "64B-2t2c-.*vhost.*-ndrdisc"
2362     layout:
2363       "plot-throughput"
2364
2365 -
2366   type: "plot"
2367   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2368   algorithm: "plot_performance_box"
2369   output-file-type: ".html"
2370   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-pdrdisc"
2371   data:
2372     "plot-vpp-throughput-latency"
2373   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2374   parameters:
2375   - "throughput"
2376   - "parent"
2377   traces:
2378     hoverinfo: "x+y"
2379     boxpoints: "outliers"
2380     whiskerwidth: 0
2381   layout:
2382     title: "64B-1t1c-.*vhost.*-pdrdisc"
2383     layout:
2384       "plot-throughput"
2385
2386 -
2387   type: "plot"
2388   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2389   algorithm: "plot_performance_box"
2390   output-file-type: ".html"
2391   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-pdrdisc"
2392   data:
2393     "plot-vpp-throughput-latency"
2394   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2395   parameters:
2396   - "throughput"
2397   - "parent"
2398   traces:
2399     hoverinfo: "x+y"
2400     boxpoints: "outliers"
2401     whiskerwidth: 0
2402   layout:
2403     title: "64B-2t2c-.*vhost.*-pdrdisc"
2404     layout:
2405       "plot-throughput"
2406
2407 # VPP CRYPTO
2408 -
2409   type: "plot"
2410   title: "VPP Performance 64B-1t1c-.*ipsec.*-ndrdisc"
2411   algorithm: "plot_performance_box"
2412   output-file-type: ".html"
2413   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc"
2414   data:
2415     "plot-vpp-throughput-latency"
2416   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2417   parameters:
2418   - "throughput"
2419   - "parent"
2420   traces:
2421     hoverinfo: "x+y"
2422     boxpoints: "outliers"
2423     whiskerwidth: 0
2424   layout:
2425     title: "64B-1t1c-.*ipsec.*-ndrdisc"
2426     layout:
2427       "plot-throughput"
2428
2429 -
2430   type: "plot"
2431   title: "VPP Performance 64B-2t2c-.*ipsec.*-ndrdisc"
2432   algorithm: "plot_performance_box"
2433   output-file-type: ".html"
2434   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc"
2435   data:
2436     "plot-vpp-throughput-latency"
2437   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2438   parameters:
2439   - "throughput"
2440   - "parent"
2441   traces:
2442     hoverinfo: "x+y"
2443     boxpoints: "outliers"
2444     whiskerwidth: 0
2445   layout:
2446     title: "64B-2t2c-.*ipsec.*-ndrdisc"
2447     layout:
2448       "plot-throughput"
2449
2450 -
2451   type: "plot"
2452   title: "VPP Performance 64B-1t1c-.*ipsec.*-pdrdisc"
2453   algorithm: "plot_performance_box"
2454   output-file-type: ".html"
2455   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-pdrdisc"
2456   data:
2457     "plot-vpp-throughput-latency"
2458   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2459   parameters:
2460   - "throughput"
2461   - "parent"
2462   traces:
2463     hoverinfo: "x+y"
2464     boxpoints: "outliers"
2465     whiskerwidth: 0
2466   layout:
2467     title: "64B-1t1c-.*ipsec.*-pdrdisc"
2468     layout:
2469       "plot-throughput"
2470
2471 -
2472   type: "plot"
2473   title: "VPP Performance 64B-2t2c-.*ipsec.*-pdrdisc"
2474   algorithm: "plot_performance_box"
2475   output-file-type: ".html"
2476   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-pdrdisc"
2477   data:
2478     "plot-vpp-throughput-latency"
2479   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2480   parameters:
2481   - "throughput"
2482   - "parent"
2483   traces:
2484     hoverinfo: "x+y"
2485     boxpoints: "outliers"
2486     whiskerwidth: 0
2487   layout:
2488     title: "64B-2t2c-.*ipsec.*-pdrdisc"
2489     layout:
2490       "plot-throughput"
2491
2492 # DPDK
2493 -
2494   type: "plot"
2495   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2496   algorithm: "plot_performance_box"
2497   output-file-type: ".html"
2498   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc"
2499   data:
2500     "plot-dpdk-throughput-latency"
2501   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2502   parameters:
2503   - "throughput"
2504   - "parent"
2505   traces:
2506     hoverinfo: "x+y"
2507     boxpoints: "outliers"
2508     whiskerwidth: 0
2509   layout:
2510     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2511     layout:
2512       "plot-throughput"
2513
2514 -
2515   type: "plot"
2516   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2517   algorithm: "plot_performance_box"
2518   output-file-type: ".html"
2519   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc"
2520   data:
2521     "plot-dpdk-throughput-latency"
2522   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2523   parameters:
2524   - "throughput"
2525   - "parent"
2526   traces:
2527     hoverinfo: "x+y"
2528     boxpoints: "outliers"
2529     whiskerwidth: 0
2530   layout:
2531     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2532     layout:
2533       "plot-throughput"
2534
2535 -
2536   type: "plot"
2537   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2538   algorithm: "plot_performance_box"
2539   output-file-type: ".html"
2540   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc"
2541   data:
2542     "plot-dpdk-throughput-latency"
2543   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
2544   parameters:
2545   - "throughput"
2546   - "parent"
2547   traces:
2548     hoverinfo: "x+y"
2549     boxpoints: "outliers"
2550     whiskerwidth: 0
2551   layout:
2552     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2553     xaxis:
2554       autorange: True
2555       autotick: False
2556       fixedrange: False
2557       gridcolor: "rgb(238, 238, 238)"
2558       linecolor: "rgb(238, 238, 238)"
2559       linewidth: 1
2560       showgrid: True
2561       showline: True
2562       showticklabels: True
2563       tickcolor: "rgb(238, 238, 238)"
2564       tickmode: "linear"
2565       title: "Indexed Test Cases"
2566       zeroline: False
2567     yaxis:
2568       gridcolor: "rgb(238, 238, 238)'"
2569       hoverformat: ".4s"
2570       linecolor: "rgb(238, 238, 238)"
2571       linewidth: 1
2572       range: [2000000, 12000000]
2573       showgrid: True
2574       showline: True
2575       showticklabels: True
2576       tickcolor: "rgb(238, 238, 238)"
2577       title: "Packets Per Second [pps]"
2578       zeroline: False
2579     boxmode: "group"
2580     boxgroupgap: 0.5
2581     autosize: False
2582     margin:
2583       t: 50
2584       b: 20
2585       l: 50
2586       r: 20
2587     showlegend: True
2588     legend:
2589       orientation: "h"
2590     width: 700
2591     height: 1000
2592
2593 -
2594   type: "plot"
2595   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2596   algorithm: "plot_performance_box"
2597   output-file-type: ".html"
2598   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc"
2599   data:
2600     "plot-dpdk-throughput-latency"
2601   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
2602   parameters:
2603   - "throughput"
2604   - "parent"
2605   traces:
2606     hoverinfo: "x+y"
2607     boxpoints: "outliers"
2608     whiskerwidth: 0
2609   layout:
2610     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2611     xaxis:
2612       autorange: True
2613       autotick: False
2614       fixedrange: False
2615       gridcolor: "rgb(238, 238, 238)"
2616       linecolor: "rgb(238, 238, 238)"
2617       linewidth: 1
2618       showgrid: True
2619       showline: True
2620       showticklabels: True
2621       tickcolor: "rgb(238, 238, 238)"
2622       tickmode: "linear"
2623       title: "Indexed Test Cases"
2624       zeroline: False
2625     yaxis:
2626       gridcolor: "rgb(238, 238, 238)'"
2627       hoverformat: ".4s"
2628       linecolor: "rgb(238, 238, 238)"
2629       linewidth: 1
2630       range: [2000000, 12000000]
2631       showgrid: True
2632       showline: True
2633       showticklabels: True
2634       tickcolor: "rgb(238, 238, 238)"
2635       title: "Packets Per Second [pps]"
2636       zeroline: False
2637     boxmode: "group"
2638     boxgroupgap: 0.5
2639     autosize: False
2640     margin:
2641       t: 50
2642       b: 20
2643       l: 50
2644       r: 20
2645     showlegend: True
2646     legend:
2647       orientation: "h"
2648     width: 700
2649     height: 1000
2650
2651 -
2652   type: "plot"
2653   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2654   algorithm: "plot_performance_box"
2655   output-file-type: ".html"
2656   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-pdrdisc"
2657   data:
2658     "plot-dpdk-throughput-latency"
2659   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2660   parameters:
2661   - "throughput"
2662   - "parent"
2663   traces:
2664     hoverinfo: "x+y"
2665     boxpoints: "outliers"
2666     whiskerwidth: 0
2667   layout:
2668     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2669     layout:
2670       "plot-throughput"
2671
2672 -
2673   type: "plot"
2674   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2675   algorithm: "plot_performance_box"
2676   output-file-type: ".html"
2677   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-pdrdisc"
2678   data:
2679     "plot-dpdk-throughput-latency"
2680   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2681   parameters:
2682   - "throughput"
2683   - "parent"
2684   traces:
2685     hoverinfo: "x+y"
2686     boxpoints: "outliers"
2687     whiskerwidth: 0
2688   layout:
2689     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2690     layout:
2691       "plot-throughput"
2692
2693 -
2694   type: "plot"
2695   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
2696   algorithm: "plot_performance_box"
2697   output-file-type: ".html"
2698   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-pdrdisc"
2699   data:
2700     "plot-dpdk-throughput-latency"
2701   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD'"
2702   parameters:
2703   - "throughput"
2704   - "parent"
2705   traces:
2706     hoverinfo: "x+y"
2707     boxpoints: "outliers"
2708     whiskerwidth: 0
2709   layout:
2710     title: "64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
2711     xaxis:
2712       autorange: True
2713       autotick: False
2714       fixedrange: False
2715       gridcolor: "rgb(238, 238, 238)"
2716       linecolor: "rgb(238, 238, 238)"
2717       linewidth: 1
2718       showgrid: True
2719       showline: True
2720       showticklabels: True
2721       tickcolor: "rgb(238, 238, 238)"
2722       tickmode: "linear"
2723       title: "Indexed Test Cases"
2724       zeroline: False
2725     yaxis:
2726       gridcolor: "rgb(238, 238, 238)'"
2727       hoverformat: ".4s"
2728       linecolor: "rgb(238, 238, 238)"
2729       linewidth: 1
2730       range: [20000000, 30000000]
2731       showgrid: True
2732       showline: True
2733       showticklabels: True
2734       tickcolor: "rgb(238, 238, 238)"
2735       title: "Packets Per Second [pps]"
2736       zeroline: False
2737     boxmode: "group"
2738     boxgroupgap: 0.5
2739     autosize: False
2740     margin:
2741       t: 50
2742       b: 20
2743       l: 50
2744       r: 20
2745     showlegend: True
2746     legend:
2747       orientation: "h"
2748     width: 700
2749     height: 1000
2750
2751 -
2752   type: "plot"
2753   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
2754   algorithm: "plot_performance_box"
2755   output-file-type: ".html"
2756   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-pdrdisc"
2757   data:
2758     "plot-dpdk-throughput-latency"
2759   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD'"
2760   parameters:
2761   - "throughput"
2762   - "parent"
2763   traces:
2764     hoverinfo: "x+y"
2765     boxpoints: "outliers"
2766     whiskerwidth: 0
2767   layout:
2768     title: "64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
2769     xaxis:
2770       autorange: True
2771       autotick: False
2772       fixedrange: False
2773       gridcolor: "rgb(238, 238, 238)"
2774       linecolor: "rgb(238, 238, 238)"
2775       linewidth: 1
2776       showgrid: True
2777       showline: True
2778       showticklabels: True
2779       tickcolor: "rgb(238, 238, 238)"
2780       tickmode: "linear"
2781       title: "Indexed Test Cases"
2782       zeroline: False
2783     yaxis:
2784       gridcolor: "rgb(238, 238, 238)'"
2785       hoverformat: ".4s"
2786       linecolor: "rgb(238, 238, 238)"
2787       linewidth: 1
2788       range: [20000000, 30000000]
2789       showgrid: True
2790       showline: True
2791       showticklabels: True
2792       tickcolor: "rgb(238, 238, 238)"
2793       title: "Packets Per Second [pps]"
2794       zeroline: False
2795     boxmode: "group"
2796     boxgroupgap: 0.5
2797     autosize: False
2798     margin:
2799       t: 50
2800       b: 20
2801       l: 50
2802       r: 20
2803     showlegend: True
2804     legend:
2805       orientation: "h"
2806     width: 700
2807     height: 1000
2808
2809 # Plot latency
2810
2811 # VPP L2 sel1
2812 -
2813   type: "plot"
2814   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2815   algorithm: "plot_latency_box"
2816   output-file-type: ".html"
2817   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc-lat50"
2818   data:
2819     "plot-vpp-throughput-latency"
2820   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2821   parameters:
2822   - "latency"
2823   - "parent"
2824   traces:
2825     boxmean: False
2826   layout:
2827     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2828     layout:
2829       "plot-latency"
2830
2831 -
2832   type: "plot"
2833   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2834   algorithm: "plot_latency_box"
2835   output-file-type: ".html"
2836   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc-lat50"
2837   data:
2838     "plot-vpp-throughput-latency"
2839   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2840   parameters:
2841   - "latency"
2842   - "parent"
2843   traces:
2844     boxmean: False
2845   layout:
2846     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2847     layout:
2848       "plot-latency"
2849
2850 # VPP L2 sel2
2851 -
2852   type: "plot"
2853   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2854   algorithm: "plot_latency_box"
2855   output-file-type: ".html"
2856   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc-lat50"
2857   data:
2858     "plot-vpp-throughput-latency"
2859   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2860   parameters:
2861   - "latency"
2862   - "parent"
2863   traces:
2864     boxmean: False
2865   layout:
2866     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2867     layout:
2868       "plot-latency"
2869
2870 -
2871   type: "plot"
2872   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2873   algorithm: "plot_latency_box"
2874   output-file-type: ".html"
2875   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc-lat50"
2876   data:
2877     "plot-vpp-throughput-latency"
2878   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2879   parameters:
2880   - "latency"
2881   - "parent"
2882   traces:
2883     boxmean: False
2884   layout:
2885     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2886     layout:
2887       "plot-latency"
2888
2889 # VPP IP4
2890 -
2891   type: "plot"
2892   title: "VPP Latency 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2893   algorithm: "plot_latency_box"
2894   output-file-type: ".html"
2895   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc-lat50"
2896   data:
2897     "plot-vpp-throughput-latency"
2898   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
2899   parameters:
2900   - "latency"
2901   - "parent"
2902   traces:
2903     boxmean: False
2904   layout:
2905     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2906     layout:
2907       "plot-latency"
2908
2909 -
2910   type: "plot"
2911   title: "VPP Latency 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2912   algorithm: "plot_latency_box"
2913   output-file-type: ".html"
2914   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc-lat50"
2915   data:
2916     "plot-vpp-throughput-latency"
2917   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
2918   parameters:
2919   - "latency"
2920   - "parent"
2921   traces:
2922     boxmean: False
2923   layout:
2924     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2925     layout:
2926       "plot-latency"
2927
2928 # VPP IP6
2929 -
2930   type: "plot"
2931   title: "VPP Latency 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2932   algorithm: "plot_latency_box"
2933   output-file-type: ".html"
2934   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc-lat50"
2935   data:
2936     "plot-vpp-throughput-latency"
2937   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2938   parameters:
2939   - "latency"
2940   - "parent"
2941   traces:
2942     boxmean: False
2943   layout:
2944     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2945     layout:
2946       "plot-latency"
2947
2948 -
2949   type: "plot"
2950   title: "VPP Latency 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2951   algorithm: "plot_latency_box"
2952   output-file-type: ".html"
2953   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc-lat50"
2954   data:
2955     "plot-vpp-throughput-latency"
2956   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2957   parameters:
2958   - "latency"
2959   - "parent"
2960   traces:
2961     boxmean: False
2962   layout:
2963     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2964     layout:
2965       "plot-latency"
2966
2967 # VPP IP4_overlay
2968 -
2969   type: "plot"
2970   title: "VPP Latency 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2971   algorithm: "plot_latency_box"
2972   output-file-type: ".html"
2973   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc-lat50"
2974   data:
2975     "plot-vpp-throughput-latency"
2976   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2977   parameters:
2978   - "latency"
2979   - "parent"
2980   traces:
2981     boxmean: False
2982   layout:
2983     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2984     layout:
2985       "plot-latency"
2986
2987 -
2988   type: "plot"
2989   title: "VPP Latency 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2990   algorithm: "plot_latency_box"
2991   output-file-type: ".html"
2992   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc-lat50"
2993   data:
2994     "plot-vpp-throughput-latency"
2995   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2996   parameters:
2997   - "latency"
2998   - "parent"
2999   traces:
3000     boxmean: False
3001   layout:
3002     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
3003     layout:
3004       "plot-latency"
3005
3006 # VPP IP6_overlay
3007 -
3008   type: "plot"
3009   title: "VPP Latency 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
3010   algorithm: "plot_latency_box"
3011   output-file-type: ".html"
3012   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc-lat50"
3013   data:
3014     "plot-vpp-throughput-latency"
3015   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
3016   parameters:
3017   - "latency"
3018   - "parent"
3019   traces:
3020     boxmean: False
3021   layout:
3022     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
3023     layout:
3024       "plot-latency"
3025
3026 -
3027   type: "plot"
3028   title: "VPP Latency 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
3029   algorithm: "plot_latency_box"
3030   output-file-type: ".html"
3031   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc-lat50"
3032   data:
3033     "plot-vpp-throughput-latency"
3034   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
3035   parameters:
3036   - "latency"
3037   - "parent"
3038   traces:
3039     boxmean: False
3040   layout:
3041     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
3042     layout:
3043       "plot-latency"
3044
3045 # VPP VM VHOST
3046 -
3047   type: "plot"
3048   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
3049   algorithm: "plot_latency_box"
3050   output-file-type: ".html"
3051   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc-lat50"
3052   data:
3053     "plot-vpp-throughput-latency"
3054   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
3055   parameters:
3056   - "latency"
3057   - "parent"
3058   traces:
3059     boxmean: False
3060   layout:
3061     title: "64B-1t1c-.*vhost.*-ndrdisc"
3062     layout:
3063       "plot-latency"
3064
3065 -
3066   type: "plot"
3067   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
3068   algorithm: "plot_latency_box"
3069   output-file-type: ".html"
3070   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc-lat50"
3071   data:
3072     "plot-vpp-throughput-latency"
3073   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
3074   parameters:
3075   - "latency"
3076   - "parent"
3077   traces:
3078     boxmean: False
3079   layout:
3080     title: "64B-2t2c-.*vhost.*-ndrdisc"
3081     layout:
3082       "plot-latency"
3083
3084 # VPP VM VHOST selection
3085 -
3086   type: "plot"
3087   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
3088   algorithm: "plot_latency_box"
3089   output-file-type: ".html"
3090   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc-lat50"
3091   data:
3092     "plot-vpp-throughput-latency"
3093   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
3094   parameters:
3095   - "latency"
3096   - "parent"
3097   traces:
3098     boxmean: False
3099   layout:
3100     title: "64B-1t1c-.*vhost.*-ndrdisc"
3101     layout:
3102       "plot-latency"
3103
3104 -
3105   type: "plot"
3106   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
3107   algorithm: "plot_latency_box"
3108   output-file-type: ".html"
3109   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc-lat50"
3110   data:
3111     "plot-vpp-throughput-latency"
3112   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
3113   parameters:
3114   - "latency"
3115   - "parent"
3116   traces:
3117     boxmean: False
3118   layout:
3119     title: "64B-2t2c-.*vhost.*-ndrdisc"
3120     layout:
3121       "plot-latency"
3122
3123 # VPP CRYPTO
3124 -
3125   type: "plot"
3126   title: "VPP Latency 64B-1t1c-.*ipsec.*-ndrdisc"
3127   algorithm: "plot_latency_box"
3128   output-file-type: ".html"
3129   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc-lat50"
3130   data:
3131     "plot-vpp-throughput-latency"
3132   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
3133   parameters:
3134   - "latency"
3135   - "parent"
3136   traces:
3137     boxmean: False
3138   layout:
3139     title: "64B-1t1c-.*ipsec.*-ndrdisc"
3140     layout:
3141       "plot-latency"
3142
3143 -
3144   type: "plot"
3145   title: "VPP Latency 64B-2t2c-.*ipsec.*-ndrdisc"
3146   algorithm: "plot_latency_box"
3147   output-file-type: ".html"
3148   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc-lat50"
3149   data:
3150     "plot-vpp-throughput-latency"
3151   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
3152   parameters:
3153   - "latency"
3154   - "parent"
3155   traces:
3156     boxmean: False
3157   layout:
3158     title: "64B-2t2c-.*ipsec.*-ndrdisc"
3159     layout:
3160       "plot-latency"
3161
3162 # DPDK
3163 -
3164   type: "plot"
3165   title: "DPDK Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3166   algorithm: "plot_latency_box"
3167   output-file-type: ".html"
3168   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc-lat50"
3169   data:
3170     "plot-dpdk-throughput-latency"
3171   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3172   parameters:
3173   - "latency"
3174   - "parent"
3175   traces:
3176     boxmean: False
3177   layout:
3178     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3179     layout:
3180       "plot-latency"
3181
3182 -
3183   type: "plot"
3184   title: "DPDK Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3185   algorithm: "plot_latency_box"
3186   output-file-type: ".html"
3187   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc-lat50"
3188   data:
3189     "plot-dpdk-throughput-latency"
3190   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3191   parameters:
3192   - "latency"
3193   - "parent"
3194   traces:
3195     boxmean: False
3196   layout:
3197     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3198     layout:
3199       "plot-latency"
3200
3201 -
3202   type: "plot"
3203   title: "DPDK Latency 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3204   algorithm: "plot_latency_box"
3205   output-file-type: ".html"
3206   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc-lat50"
3207   data:
3208     "plot-dpdk-throughput-latency"
3209   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
3210   parameters:
3211   - "latency"
3212   - "parent"
3213   traces:
3214     boxmean: False
3215   layout:
3216     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3217     layout:
3218       "plot-latency"
3219
3220 -
3221   type: "plot"
3222   title: "DPDK Latency 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3223   algorithm: "plot_latency_box"
3224   output-file-type: ".html"
3225   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc-lat50"
3226   data:
3227     "plot-dpdk-throughput-latency"
3228   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
3229   parameters:
3230   - "latency"
3231   - "parent"
3232   traces:
3233     boxmean: False
3234   layout:
3235     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3236     layout:
3237       "plot-latency"
3238
3239 # Ligato - Throughput
3240
3241 # Container memif
3242 -
3243   type: "plot"
3244   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3245   algorithm: "plot_performance_box"
3246   output-file-type: ".html"
3247   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc"
3248   data:
3249     "plot-vpp-throughput-latency"
3250   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3251   parameters:
3252   - "throughput"
3253   - "parent"
3254   traces:
3255     hoverinfo: "x+y"
3256     boxpoints: "outliers"
3257     whiskerwidth: 0
3258   layout:
3259     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3260     xaxis:
3261       autorange: True
3262       autotick: False
3263       fixedrange: False
3264       gridcolor: "rgb(238, 238, 238)"
3265       linecolor: "rgb(238, 238, 238)"
3266       linewidth: 1
3267       showgrid: True
3268       showline: True
3269       showticklabels: True
3270       tickcolor: "rgb(238, 238, 238)"
3271       tickmode: "linear"
3272       title: "Indexed Test Cases"
3273       zeroline: False
3274     yaxis:
3275       gridcolor: "rgb(238, 238, 238)'"
3276       hoverformat: ".4s"
3277       linecolor: "rgb(238, 238, 238)"
3278       linewidth: 1
3279       range: [0, 4500000]
3280       showgrid: True
3281       showline: True
3282       showticklabels: True
3283       tickcolor: "rgb(238, 238, 238)"
3284       title: "Packets Per Second [pps]"
3285       zeroline: False
3286     boxmode: "group"
3287     boxgroupgap: 0.5
3288     autosize: False
3289     margin:
3290       t: 50
3291       b: 20
3292       l: 50
3293       r: 20
3294     showlegend: True
3295     legend:
3296       orientation: "h"
3297     width: 700
3298     height: 1000
3299
3300 -
3301   type: "plot"
3302   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3303   algorithm: "plot_performance_box"
3304   output-file-type: ".html"
3305   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc"
3306   data:
3307     "plot-vpp-throughput-latency"
3308   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3309   parameters:
3310   - "throughput"
3311   - "parent"
3312   traces:
3313     hoverinfo: "x+y"
3314     boxpoints: "outliers"
3315     whiskerwidth: 0
3316   layout:
3317     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3318     xaxis:
3319       autorange: True
3320       autotick: False
3321       fixedrange: False
3322       gridcolor: "rgb(238, 238, 238)"
3323       linecolor: "rgb(238, 238, 238)"
3324       linewidth: 1
3325       showgrid: True
3326       showline: True
3327       showticklabels: True
3328       tickcolor: "rgb(238, 238, 238)"
3329       tickmode: "linear"
3330       title: "Indexed Test Cases"
3331       zeroline: False
3332     yaxis:
3333       gridcolor: "rgb(238, 238, 238)'"
3334       hoverformat: ".4s"
3335       linecolor: "rgb(238, 238, 238)"
3336       linewidth: 1
3337       range: [0, 8000000]
3338       showgrid: True
3339       showline: True
3340       showticklabels: True
3341       tickcolor: "rgb(238, 238, 238)"
3342       title: "Packets Per Second [pps]"
3343       zeroline: False
3344     boxmode: "group"
3345     boxgroupgap: 0.5
3346     autosize: False
3347     margin:
3348       t: 50
3349       b: 20
3350       l: 50
3351       r: 20
3352     showlegend: True
3353     legend:
3354       orientation: "h"
3355     width: 700
3356     height: 1000
3357
3358 -
3359   type: "plot"
3360   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3361   algorithm: "plot_performance_box"
3362   output-file-type: ".html"
3363   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-pdrdisc"
3364   data:
3365     "plot-vpp-throughput-latency"
3366   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3367   parameters:
3368   - "throughput"
3369   - "parent"
3370   traces:
3371     hoverinfo: "x+y"
3372     boxpoints: "outliers"
3373     whiskerwidth: 0
3374   layout:
3375     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3376     xaxis:
3377       autorange: True
3378       autotick: False
3379       fixedrange: False
3380       gridcolor: "rgb(238, 238, 238)"
3381       linecolor: "rgb(238, 238, 238)"
3382       linewidth: 1
3383       showgrid: True
3384       showline: True
3385       showticklabels: True
3386       tickcolor: "rgb(238, 238, 238)"
3387       tickmode: "linear"
3388       title: "Indexed Test Cases"
3389       zeroline: False
3390     yaxis:
3391       gridcolor: "rgb(238, 238, 238)'"
3392       hoverformat: ".4s"
3393       linecolor: "rgb(238, 238, 238)"
3394       linewidth: 1
3395       range: [0, 4500000]
3396       showgrid: True
3397       showline: True
3398       showticklabels: True
3399       tickcolor: "rgb(238, 238, 238)"
3400       title: "Packets Per Second [pps]"
3401       zeroline: False
3402     boxmode: "group"
3403     boxgroupgap: 0.5
3404     autosize: False
3405     margin:
3406       t: 50
3407       b: 20
3408       l: 50
3409       r: 20
3410     showlegend: True
3411     legend:
3412       orientation: "h"
3413     width: 700
3414     height: 1000
3415
3416 -
3417   type: "plot"
3418   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3419   algorithm: "plot_performance_box"
3420   output-file-type: ".html"
3421   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-pdrdisc"
3422   data:
3423     "plot-vpp-throughput-latency"
3424   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3425   parameters:
3426   - "throughput"
3427   - "parent"
3428   traces:
3429     hoverinfo: "x+y"
3430     boxpoints: "outliers"
3431     whiskerwidth: 0
3432   layout:
3433     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3434     xaxis:
3435       autorange: True
3436       autotick: False
3437       fixedrange: False
3438       gridcolor: "rgb(238, 238, 238)"
3439       linecolor: "rgb(238, 238, 238)"
3440       linewidth: 1
3441       showgrid: True
3442       showline: True
3443       showticklabels: True
3444       tickcolor: "rgb(238, 238, 238)"
3445       tickmode: "linear"
3446       title: "Indexed Test Cases"
3447       zeroline: False
3448     yaxis:
3449       gridcolor: "rgb(238, 238, 238)'"
3450       hoverformat: ".4s"
3451       linecolor: "rgb(238, 238, 238)"
3452       linewidth: 1
3453       range: [0, 8000000]
3454       showgrid: True
3455       showline: True
3456       showticklabels: True
3457       tickcolor: "rgb(238, 238, 238)"
3458       title: "Packets Per Second [pps]"
3459       zeroline: False
3460     boxmode: "group"
3461     boxgroupgap: 0.5
3462     autosize: False
3463     margin:
3464       t: 50
3465       b: 20
3466       l: 50
3467       r: 20
3468     showlegend: True
3469     legend:
3470       orientation: "h"
3471     width: 700
3472     height: 1000
3473
3474 # Container orchestrated
3475 -
3476   type: "plot"
3477   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3478   algorithm: "plot_performance_box"
3479   output-file-type: ".html"
3480   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc"
3481   data:
3482     "plot-ligato-throughput-latency"
3483   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3484   parameters:
3485   - "throughput"
3486   - "parent"
3487   traces:
3488     hoverinfo: "x+y"
3489     boxpoints: "outliers"
3490     whiskerwidth: 0
3491   layout:
3492     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3493     layout:
3494       "plot-throughput"
3495
3496 -
3497   type: "plot"
3498   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3499   algorithm: "plot_performance_box"
3500   output-file-type: ".html"
3501   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc"
3502   data:
3503     "plot-ligato-throughput-latency"
3504   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3505   parameters:
3506   - "throughput"
3507   - "parent"
3508   traces:
3509     hoverinfo: "x+y"
3510     boxpoints: "outliers"
3511     whiskerwidth: 0
3512   layout:
3513     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3514     layout:
3515       "plot-throughput"
3516
3517 -
3518   type: "plot"
3519   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3520   algorithm: "plot_performance_box"
3521   output-file-type: ".html"
3522   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-pdrdisc"
3523   data:
3524     "plot-ligato-throughput-latency"
3525   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3526   parameters:
3527   - "throughput"
3528   - "parent"
3529   traces:
3530     hoverinfo: "x+y"
3531     boxpoints: "outliers"
3532     whiskerwidth: 0
3533   layout:
3534     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3535     layout:
3536       "plot-throughput"
3537
3538 -
3539   type: "plot"
3540   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3541   algorithm: "plot_performance_box"
3542   output-file-type: ".html"
3543   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-pdrdisc"
3544   data:
3545     "plot-ligato-throughput-latency"
3546   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3547   parameters:
3548   - "throughput"
3549   - "parent"
3550   traces:
3551     hoverinfo: "x+y"
3552     boxpoints: "outliers"
3553     whiskerwidth: 0
3554   layout:
3555     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3556     layout:
3557       "plot-throughput"
3558
3559 # Ligato - Latency
3560
3561 # Container memif
3562 -
3563   type: "plot"
3564   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3565   algorithm: "plot_latency_box"
3566   output-file-type: ".html"
3567   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc-lat50"
3568   data:
3569     "plot-vpp-throughput-latency"
3570   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3571   parameters:
3572   - "latency"
3573   - "parent"
3574   traces:
3575     boxmean: False
3576   layout:
3577     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3578     layout:
3579       "plot-latency"
3580
3581 -
3582   type: "plot"
3583   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3584   algorithm: "plot_latency_box"
3585   output-file-type: ".html"
3586   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc-lat50"
3587   data:
3588     "plot-vpp-throughput-latency"
3589   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3590   parameters:
3591   - "latency"
3592   - "parent"
3593   traces:
3594     boxmean: False
3595   layout:
3596     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3597     layout:
3598       "plot-latency"
3599
3600 # Container orchestrated
3601 -
3602   type: "plot"
3603   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3604   algorithm: "plot_latency_box"
3605   output-file-type: ".html"
3606   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc-lat50"
3607   data:
3608     "plot-ligato-throughput-latency"
3609   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3610   parameters:
3611   - "latency"
3612   - "parent"
3613   traces:
3614     boxmean: False
3615   layout:
3616     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3617     layout:
3618       "plot-latency"
3619
3620 -
3621   type: "plot"
3622   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3623   algorithm: "plot_latency_box"
3624   output-file-type: ".html"
3625   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc-lat50"
3626   data:
3627     "plot-ligato-throughput-latency"
3628   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3629   parameters:
3630   - "latency"
3631   - "parent"
3632   traces:
3633     boxmean: False
3634   layout:
3635     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3636     layout:
3637       "plot-latency"