resources/tools/presentation/specification.yaml

   1 -
   2   type: "environment"
   3   configuration:
   4     # Debug mode:
   5     # - Skip:
   6     #   - Download of input data files
   7     # - Do:
   8     #   - Read data from given zip / xml files
   9     #   - Set the configuration as it is done in normal mode
  10     # If the section "type: debug" is missing, CFG[DEBUG] is set to 0.
  11     CFG[DEBUG]: 0
  12
  13   paths:
  14     # Top level directories:
  15     ## Working directory
  16     DIR[WORKING]: "_tmp"
  17     ## Build directories
  18     DIR[BUILD,HTML]: "_build"
  19     DIR[BUILD,LATEX]: "_build_latex"
  20
  21     # Static .rst files
  22     DIR[RST]: "../../../docs/report"
  23
  24     # Working directories
  25     ## Input data files (.zip, .xml)
  26     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
  27     ## Static source files from git
  28     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
  29     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
  30
  31     # Static html content
  32     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
  33     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
  34     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
  35     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
  36
  37     # Detailed test results
  38     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
  39     DIR[DTR,PERF,DPDK]: "{DIR[DTR]}/dpdk_performance_results"
  40     DIR[DTR,PERF,VPP]: "{DIR[DTR]}/vpp_performance_results"
  41     DIR[DTR,PERF,COT]: "{DIR[DTR]}/cot_performance_results"
  42     DIR[DTR,PERF,HC]: "{DIR[DTR]}/honeycomb_performance_results"
  43     DIR[DTR,FUNC,VPP]: "{DIR[DTR]}/vpp_functional_results"
  44     DIR[DTR,FUNC,HC]: "{DIR[DTR]}/honeycomb_functional_results"
  45     DIR[DTR,FUNC,NSHSFC]: "{DIR[DTR]}/nshsfc_functional_results"
  46     DIR[DTR,PERF,VPP,IMPRV]: "{DIR[WORKING,SRC]}/vpp_performance_tests/performance_improvements"
  47
  48     # Detailed test configurations
  49     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
  50     DIR[DTC,PERF,VPP]: "{DIR[DTC]}/vpp_performance_configuration"
  51     DIR[DTC,FUNC,VPP]: "{DIR[DTC]}/vpp_functional_configuration"
  52
  53     # Detailed tests operational data
  54     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
  55     DIR[DTO,PERF,VPP]: "{DIR[DTO]}/vpp_performance_operational_data"
  56
  57     # .css patch file to fix tables generated by Sphinx
  58     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
  59     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
  60
  61   urls:
  62     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
  63     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
  64     URL[NEXUS]: "https://docs.fd.io/csit"
  65     DIR[NEXUS]: "report/_static/archive"
  66
  67   make-dirs:
  68   # List the directories which are created while preparing the environment.
  69   # All directories MUST be defined in "paths" section.
  70   - "DIR[WORKING,DATA]"
  71   - "DIR[STATIC,VPP]"
  72   - "DIR[STATIC,DPDK]"
  73   - "DIR[STATIC,ARCH]"
  74   - "DIR[BUILD,LATEX]"
  75   - "DIR[WORKING,SRC]"
  76   - "DIR[WORKING,SRC,STATIC]"
  77
  78   remove-dirs:
  79   # List the directories which are deleted while cleaning the environment.
  80   # All directories MUST be defined in "paths" section.
  81   #- "DIR[BUILD,HTML]"
  82
  83   build-dirs:
  84   # List the directories where the results (build) is stored.
  85   # All directories MUST be defined in "paths" section.
  86   - "DIR[BUILD,HTML]"
  87   - "DIR[BUILD,LATEX]"
  88
  89 -
  90   type: "configuration"
  91   data-sets:
  92 # TODO: Add the data sources
  93     plot-vpp-http-server-performance:
  94       csit-vpp-perf-1801-all:
  95       - 157
  96       - 158
  97       - 159
  98       - 160
  99       - 161
 100       - 164
 101       - 165
 102       - 166
 103       - 168
 104       - 169
 105       - 170
 106 # TODO: Add the data sources
 107 #    vpp-meltdown-impact:
 108 #      csit-vpp-perf-1707-all:
 109 #      - 9
 110 #      - 10
 111 #      - 13
 112 #      csit-vpp-perf-1710-all:
 113 #      - 11l
 114 #      - 12
 115 #      - 13
 116 # TODO: Add the data sources
 117 #    vpp-spectre-impact:
 118 #      csit-vpp-perf-1707-all:
 119 #      - 9
 120 #      - 10
 121 #      - 13
 122 #      csit-vpp-perf-1710-all:
 123 #      - 11
 124 #      - 12
 125 #      - 13
 126     vpp-performance-changes:
 127       csit-vpp-perf-1710-all:
 128       - 11
 129       - 12
 130       - 13
 131       - 14
 132       - 15
 133       - 16
 134       - 17
 135       - 18
 136       - 19
 137       - 20
 138 # TODO: Add the data sources
 139       csit-vpp-perf-1801-all:
 140       - 124  # sel
 141       - 127  # sel
 142       - 128  # sel
 143       - 141  # sel
 144       - 142  # sel
 145       - 143  # sel
 146       - 145  # sel
 147       - 146  # sel
 148       - 162  # sel
 149       - 163  # sel
 150 #      - 167  # sel
 151       - 172  # sel acl only
 152 # TODO: Add the data sources
 153     plot-throughput-speedup-analysis:
 154       csit-vpp-perf-1801-all:
 155       - 122  # full
 156       - 126  # full
 157       - 129  # full
 158       - 140  # full
 159       - 124  # sel
 160       - 127  # sel
 161       - 128  # sel
 162       - 141  # sel
 163       - 142  # sel
 164       - 143  # sel
 165       - 145  # sel
 166       - 146  # sel
 167       - 162  # sel
 168       - 163  # sel
 169 #      - 167  # sel
 170       - 172  # sel acl only
 171 #    performance-improvements:
 172 #      csit-vpp-perf-1707-all:
 173 #      - 9
 174 #      - 10
 175 #      - 13
 176 #      - 14
 177 #      - 15
 178 #      - 16
 179 #      - 17
 180 #      - 18
 181 #      - 19
 182 #      - 21
 183 #      csit-vpp-perf-1710-all:
 184 #      - 11
 185 #      - 12
 186 #      - 13
 187 #      - 14
 188 #      - 15
 189 #      - 16
 190 #      - 17
 191 #      - 18
 192 #      - 19
 193 #      - 20
 194 #      csit-vpp-perf-1801-all:
 195 #      - 124
 196 #      - 127
 197 #      - 128
 198 #      csit-ligato-perf-1710-all:
 199 #      - 5
 200 #      - 7
 201 #      - 8
 202 #      - 9
 203 #      - 10
 204 #      - 11
 205 #      - 12
 206 #      - 13
 207 #      - 16
 208 #      - 17
 209 #      csit-ligato-perf-1801-all:
 210 #      - 16  # sel
 211 #      - 17  # sel
 212 #      - 18  # sel
 213 #      - 19  # sel
 214 #      - 20  # sel
 215 #      - 21  # sel
 216 #      - 22  # sel
 217 #      - 23  # sel
 218 #      - 24  # sel
 219 # TODO: Add the data sources
 220     vpp-perf-results:
 221       csit-vpp-perf-1801-all:
 222       - 122
 223       - 126
 224       - 129
 225       - 140
 226     vpp-func-results:
 227       csit-vpp-functional-1801-ubuntu1604-virl:
 228       - "lastSuccessfulBuild"
 229 # TODO: Add the data sources
 230     ligato-perf-results:
 231       csit-ligato-perf-1801-all:
 232       - 25  # full
 233     dpdk-perf-results:
 234       csit-dpdk-perf-1801-all:
 235       - 12
 236     hc-func-results:
 237       csit-hc2vpp-verify-func-1801-ubuntu1604:
 238       - "lastSuccessfulBuild"
 239     nsh-func-results:
 240       csit-nsh_sfc-verify-func-1801-ubuntu1604-virl:
 241       - 1
 242 # TODO: Add the data sources
 243     plot-vpp-throughput-latency:
 244       csit-vpp-perf-1801-all:
 245       - 122  # full
 246       - 126  # full
 247       - 129  # full
 248       - 140  # full
 249       - 124  # sel
 250       - 127  # sel
 251       - 128  # sel
 252       - 141  # sel
 253       - 142  # sel
 254       - 143  # sel
 255       - 145  # sel
 256       - 146  # sel
 257       - 162  # sel
 258       - 163  # sel
 259 #      - 167  # sel
 260       - 172  # sel acl only
 261     plot-dpdk-throughput-latency:
 262       csit-dpdk-perf-1801-all:
 263       - 1
 264       - 3
 265       - 4
 266       - 5
 267       - 6
 268       - 7
 269       - 8
 270       - 10
 271       - 12
 272 # TODO: Add the data sources
 273     plot-ligato-throughput-latency:
 274       csit-ligato-perf-1801-all:
 275       - 16  # sel
 276       - 17  # sel
 277       - 18  # sel
 278       - 19  # sel
 279       - 20  # sel
 280       - 21  # sel
 281       - 22  # sel
 282       - 23  # sel
 283       - 24  # sel
 284
 285   plot-layouts:
 286
 287     plot-cps:
 288       xaxis:
 289         autorange: True
 290         autotick: False
 291         fixedrange: False
 292         gridcolor: "rgb(238, 238, 238)"
 293         linecolor: "rgb(238, 238, 238)"
 294         linewidth: 1
 295         showgrid: True
 296         showline: True
 297         showticklabels: True
 298         tickcolor: "rgb(238, 238, 238)"
 299         tickmode: "linear"
 300         title: "Indexed Test Cases"
 301         zeroline: False
 302       yaxis:
 303         gridcolor: "rgb(238, 238, 238)'"
 304         hoverformat: ".4s"
 305         linecolor: "rgb(238, 238, 238)"
 306         linewidth: 1
 307         range: []
 308         rangemode: "tozero"
 309         showgrid: True
 310         showline: True
 311         showticklabels: True
 312         tickcolor: "rgb(238, 238, 238)"
 313         title: "Connections Per Second [cps]"
 314         zeroline: False
 315       boxmode: "group"
 316       boxgroupgap: 0.5
 317       autosize: False
 318       margin:
 319         t: 50
 320         b: 20
 321         l: 50
 322         r: 20
 323       showlegend: True
 324       legend:
 325         orientation: "h"
 326       width: 700
 327       height: 1000
 328
 329     plot-rps:
 330       xaxis:
 331         autorange: True
 332         autotick: False
 333         fixedrange: False
 334         gridcolor: "rgb(238, 238, 238)"
 335         linecolor: "rgb(238, 238, 238)"
 336         linewidth: 1
 337         showgrid: True
 338         showline: True
 339         showticklabels: True
 340         tickcolor: "rgb(238, 238, 238)"
 341         tickmode: "linear"
 342         title: "Indexed Test Cases"
 343         zeroline: False
 344       yaxis:
 345         gridcolor: "rgb(238, 238, 238)'"
 346         hoverformat: ".4s"
 347         linecolor: "rgb(238, 238, 238)"
 348         linewidth: 1
 349         range: []
 350         rangemode: "tozero"
 351         showgrid: True
 352         showline: True
 353         showticklabels: True
 354         tickcolor: "rgb(238, 238, 238)"
 355         title: "Requests Per Second [rps]"
 356         zeroline: False
 357       boxmode: "group"
 358       boxgroupgap: 0.5
 359       autosize: False
 360       margin:
 361         t: 50
 362         b: 20
 363         l: 50
 364         r: 20
 365       showlegend: True
 366       legend:
 367         orientation: "h"
 368       width: 700
 369       height: 1000
 370
 371     plot-throughput:
 372       xaxis:
 373         autorange: True
 374         autotick: False
 375         fixedrange: False
 376         gridcolor: "rgb(238, 238, 238)"
 377         linecolor: "rgb(238, 238, 238)"
 378         linewidth: 1
 379         showgrid: True
 380         showline: True
 381         showticklabels: True
 382         tickcolor: "rgb(238, 238, 238)"
 383         tickmode: "linear"
 384         title: "Indexed Test Cases"
 385         zeroline: False
 386       yaxis:
 387         gridcolor: "rgb(238, 238, 238)'"
 388         hoverformat: ".4s"
 389         linecolor: "rgb(238, 238, 238)"
 390         linewidth: 1
 391         range: []
 392         showgrid: True
 393         showline: True
 394         showticklabels: True
 395         tickcolor: "rgb(238, 238, 238)"
 396         title: "Packets Per Second [pps]"
 397         zeroline: False
 398       boxmode: "group"
 399       boxgroupgap: 0.5
 400       autosize: False
 401       margin:
 402         t: 50
 403         b: 20
 404         l: 50
 405         r: 20
 406       showlegend: True
 407       legend:
 408         orientation: "h"
 409       width: 700
 410       height: 1000
 411
 412     plot-latency:
 413       xaxis:
 414         autorange: True
 415         autotick: False
 416         fixedrange: False
 417         gridcolor: "rgb(238, 238, 238)"
 418         linecolor: "rgb(238, 238, 238)"
 419         linewidth: 1
 420         showgrid: True
 421         showline: True
 422         showticklabels: True
 423         tickcolor: "rgb(238, 238, 238)"
 424         tickmode: "linear"
 425         title: "Indexed Test Cases"
 426         zeroline: False
 427       yaxis:
 428         gridcolor: "rgb(238, 238, 238)'"
 429         hoverformat: ""
 430         linecolor: "rgb(238, 238, 238)"
 431         linewidth: 1
 432         range: []
 433         showgrid: True
 434         showline: True
 435         showticklabels: True
 436         tickcolor: "rgb(238, 238, 238)"
 437         title: "Latency min/avg/max [uSec]"
 438         zeroline: False
 439       boxmode: "group"
 440       boxgroupgap: 0.5
 441       autosize: False
 442       margin:
 443         t: 50
 444         b: 20
 445         l: 50
 446         r: 20
 447       showlegend: True
 448       legend:
 449         orientation: "h"
 450       width: 700
 451       height: 1000
 452
 453     plot-throughput-speedup-analysis:
 454       xaxis:
 455         autorange: True
 456         autotick: False
 457         fixedrange: False
 458         gridcolor: "rgb(238, 238, 238)"
 459         linecolor: "rgb(238, 238, 238)"
 460         linewidth: 1
 461         showgrid: True
 462         showline: True
 463         showticklabels: True
 464         tickcolor: "rgb(238, 238, 238)"
 465         tickmode: "linear"
 466         tickangle: 270
 467         zeroline: False
 468       yaxis:
 469         title: "Throughput speedup factor"
 470         gridcolor: "rgb(238, 238, 238)"
 471         hoverformat: ".4s"
 472         linecolor: "rgb(238, 238, 238)"
 473         linewidth: 1
 474         range: []
 475         showgrid: True
 476         showline: True
 477         showticklabels: True
 478         tickcolor: "rgb(238, 238, 238)"
 479         zeroline: False
 480       legend:
 481         orientation: "h"
 482         xanchor: "center"
 483         yanchor: "top"
 484         x: 0.5
 485         y: 1
 486         bgcolor: "rgba(255, 255, 255, 0)"
 487         bordercolor: "rgba(255, 255, 255, 0)"
 488       barmode: "group"
 489       bargap: 0.15
 490       bargroupgap: 0.1
 491       autosize: False
 492       margin:
 493           't': 50
 494           'b': 200
 495           'l': 50
 496           'r': 20
 497       showlegend: True
 498       width: 700
 499       height: 1000
 500
 501 -
 502   type: "debug"
 503   general:
 504     input-format: "xml"  # zip or xml
 505     extract: "robot-plugin/output.xml"  # Only for zip
 506   builds:
 507     # The files must be in the directory DIR[WORKING,DATA]
 508     csit-vpp-perf-1801-all:
 509     -
 510       build: 1
 511       file: "{DIR[WORKING,DATA]}/output.xml"
 512     -
 513       build: 2
 514       file: "{DIR[WORKING,DATA]}/output.xml"
 515     -
 516       build: 3
 517       file: "{DIR[WORKING,DATA]}/output.xml"
 518     -
 519       build: 4
 520       file: "{DIR[WORKING,DATA]}/output.xml"
 521
 522 -
 523   type: "static"
 524   src-path: "{DIR[RST]}"
 525   dst-path: "{DIR[WORKING,SRC]}"
 526
 527 -
 528   type: "input"  # Ignored in debug mode
 529   general:
 530     file-name: "robot-plugin.zip"
 531     file-format: ".zip"
 532     download-path: "{job}/{build}/robot/report/*zip*/{filename}"
 533     extract: "robot-plugin/output.xml"
 534   builds:
 535 #    csit-vpp-perf-1707-all:
 536 #    - 9
 537 #    - 10
 538 #    - 13
 539 #    - 14
 540 #    - 15
 541 #    - 16
 542 #    - 17
 543 #    - 18
 544 #    - 19
 545 #    - 21
 546     csit-vpp-perf-1710-all:
 547     - 11
 548     - 12
 549     - 13
 550     - 14
 551     - 15
 552     - 16
 553     - 17
 554     - 18
 555     - 19
 556     - 20
 557 # TODO:
 558     csit-vpp-perf-1801-all:
 559     - 122  # full
 560     - 126  # full
 561     - 129  # full
 562     - 140  # full
 563     - 124  # sel
 564     - 127  # sel
 565     - 128  # sel
 566     - 141  # sel
 567     - 142  # sel
 568     - 143  # sel
 569     - 145  # sel
 570     - 146  # sel
 571     - 157  # wrk
 572     - 158  # wrk
 573     - 159  # wrk
 574     - 160  # wrk
 575     - 161  # wrk
 576     - 162  # sel
 577     - 163  # sel
 578     - 164  # wrk
 579     - 165  # wrk
 580     - 166  # wrk
 581 #    - 167  # sel
 582     - 168  # wrk
 583     - 169  # wrk
 584     - 170  # wrk
 585     - 172  # sel acl only
 586     csit-ligato-perf-1710-all:
 587     - 5
 588     - 7
 589     - 8
 590     - 9
 591     - 10
 592     - 11
 593     - 12
 594     - 13
 595     - 16
 596     - 17
 597     csit-dpdk-perf-1801-all:
 598     - 1
 599     - 4
 600     - 5
 601     - 7
 602     - 8
 603     - 10
 604     - 12
 605     - 16
 606     - 17
 607 # TODO:
 608     csit-ligato-perf-1801-all:
 609     - 16  # sel
 610     - 17  # sel
 611     - 18  # sel
 612     - 19  # sel
 613     - 20  # sel
 614     - 21  # sel
 615     - 22  # sel
 616     - 23  # sel
 617     - 24  # sel
 618     - 25  # full
 619     csit-dpdk-perf-1801-all:
 620     - 1
 621     - 3
 622     - 4
 623     - 5
 624     - 6
 625     - 7
 626     - 8
 627     - 9
 628     - 10
 629     - 12
 630     csit-vpp-functional-1801-ubuntu1604-virl:
 631     - lastSuccessfulBuild
 632     csit-nsh_sfc-verify-func-1801-ubuntu1604-virl:
 633     - 1
 634     csit-hc2vpp-verify-func-1801-ubuntu1604:
 635     - lastSuccessfulBuild
 636
 637 -
 638   type: "output"
 639   format:
 640     html:
 641     - full
 642     pdf:
 643     - minimal
 644
 645 ################################################################################
 646 ###                               T A B L E S                                ###
 647 ################################################################################
 648
 649 #-
 650 #  type: "table"
 651 #  title: "Performance Impact of Meltdown Patches"
 652 #  algorithm: "table_performance_comparison"
 653 #  output-file-ext: ".csv"
 654 ## TODO: specify dir
 655 #  output-file: "{DIR[STATIC,VPP]}/meltdown-impact"
 656 #  reference:
 657 #    title: "No Meltdown"
 658 ## TODO: specify data sources
 659 #    data:
 660 #      csit-vpp-perf-1707-all:
 661 #      - 9
 662 #      - 10
 663 #      - 13
 664 #  compare:
 665 #    title: "Meltdown Patches Applied"
 666 ## TODO: specify data sources
 667 #    data:
 668 #      csit-vpp-perf-1710-all:
 669 #      - 11
 670 #      - 12
 671 #      - 13
 672 #  data:
 673 #    "vpp-meltdown-impact"
 674 #  filter: "all"
 675 #  parameters:
 676 #  - "name"
 677 #  - "parent"
 678 #  - "throughput"
 679 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
 680 #  # to present all tests.
 681 #  nr-of-tests-shown: 20
 682 #
 683 #-
 684 #  type: "table"
 685 #  title: "Performance Impact of Spectre Patches"
 686 #  algorithm: "table_performance_comparison"
 687 #  output-file-ext: ".csv"
 688 ## TODO: specify dir
 689 #  output-file: "{DIR[STATIC,VPP]}/meltdown-spectre-impact"
 690 #  reference:
 691 #    title: "No Spectre"
 692 ## TODO: specify data sources
 693 #    data:
 694 #      csit-vpp-perf-1707-all:
 695 #      - 9
 696 #      - 10
 697 #      - 13
 698 #  compare:
 699 #    title: "Spectre Patches Applied"
 700 ## TODO: specify data sources
 701 #    data:
 702 #      csit-vpp-perf-1710-all:
 703 #      - 11
 704 #      - 12
 705 #      - 13
 706 #  data:
 707 #    "vpp-spectre-impact"
 708 #  filter: "all"
 709 #  parameters:
 710 #  - "name"
 711 #  - "parent"
 712 #  - "throughput"
 713 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
 714 #  # to present all tests.
 715 #  nr-of-tests-shown: 20
 716
 717 -
 718   type: "table"
 719   title: "VPP Performance Changes"
 720   algorithm: "table_performance_comparison"
 721   output-file-ext: ".csv"
 722 # TODO: specify dir
 723   output-file: "{DIR[STATIC,VPP]}/performance-changes"
 724   reference:
 725     title: "Release 1710"
 726 # TODO: specify data sources
 727     data:
 728       csit-vpp-perf-1710-all:
 729       - 11
 730       - 12
 731       - 13
 732       - 14
 733       - 15
 734       - 16
 735       - 17
 736       - 18
 737       - 19
 738       - 20
 739   compare:
 740     title: "Release 1801"
 741 # TODO: specify data sources
 742     data:
 743       csit-vpp-perf-1801-all:
 744       - 124  # sel
 745       - 127  # sel
 746       - 128  # sel
 747       - 141  # sel
 748       - 142  # sel
 749       - 143  # sel
 750       - 145  # sel
 751       - 146  # sel
 752   data: "vpp-performance-changes"
 753   filter: "all"
 754   parameters:
 755   - "name"
 756   - "parent"
 757   - "throughput"
 758   # Number of the best and the worst tests presented in the table. Use 0 (zero)
 759   # to present all tests.
 760   nr-of-tests-shown: 20
 761   outlier-const: 1.5
 762
 763 #-
 764 #  type: "table"
 765 #  title: "Performance improvements"
 766 #  algorithm: "table_performance_improvements"
 767 #  template: "{DIR[DTR,PERF,VPP,IMPRV]}/tmpl_performance_improvements.csv"
 768 #  output-file-ext: ".csv"
 769 #  output-file: "{DIR[DTR,PERF,VPP,IMPRV]}/performance_improvements"
 770 #  columns:
 771 #  -
 772 #    title: "Test Name"
 773 #    data: "template 1"
 774 #  -
 775 #    title: "16.09 mean [Mpps]"
 776 #    data: "template 2"
 777 #  -
 778 #    title: "17.01 mean [Mpps]"
 779 #    data: "template 3"
 780 #  -
 781 #    title: "17.04 mean [Mpps]"
 782 #    data: "template 4"
 783 #  -
 784 #    title: "17.07 mean [Mpps]"
 785 #    data: "data csit-vpp-perf-1707-all mean"
 786 #  -
 787 #    title: "17.10 mean [Mpps]"
 788 #    data: "data csit-vpp-perf-1710-all csit-ligato-perf-1710-all mean"
 789 #  -
 790 #    title: "18.01 mean [Mpps]"
 791 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all mean"
 792 #  -
 793 #    title: "18.01 stdev [Mpps]"
 794 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all stdev"
 795 #  -
 796 #    title: "17.10 to 18.01 change [%]"
 797 #    data: "operation relative_change 5 6"
 798 #  rows: "generated"
 799 #  data:
 800 #    "performance-improvements"
 801 #  filter: "template"
 802 #  parameters:
 803 #  - "throughput"
 804
 805 -
 806   type: "table"
 807   title: "Detailed Test Results - VPP Performance Results"
 808   algorithm: "table_merged_details"
 809   output-file-ext: ".csv"
 810   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
 811   columns:
 812   -
 813     title: "Name"
 814     data: "data name"
 815   -
 816     title: "Documentation"
 817     data: "data doc"
 818   -
 819     title: "Status"
 820     data: "data msg"
 821   rows: "generated"
 822   data:
 823     "vpp-perf-results"
 824   filter: "not 'NDRCHK' and not 'PDRCHK'"
 825   parameters:
 826   - "name"
 827   - "parent"
 828   - "doc"
 829   - "msg"
 830
 831 -
 832   type: "table"
 833   title: "Test configuration - VPP Performance Test Configs"
 834   algorithm: "table_merged_details"
 835   output-file-ext: ".csv"
 836   output-file: "{DIR[DTC,PERF,VPP]}/vpp_test_configuration"
 837   columns:
 838   -
 839     title: "Name"
 840     data: "data name"
 841   -
 842     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
 843     data: "data vat-history"
 844   rows: "generated"
 845   data:
 846     "vpp-perf-results"
 847   filter: "not 'NDRCHK' and not 'PDRCHK'"
 848   parameters:
 849   - "parent"
 850   - "name"
 851   - "vat-history"
 852
 853 -
 854   type: "table"
 855   title: "Test Operational Data - VPP Performance Operational Data"
 856   algorithm: "table_merged_details"
 857   output-file-ext: ".csv"
 858   output-file: "{DIR[DTO,PERF,VPP]}/vpp_test_operational"
 859   columns:
 860   -
 861     title: "Name"
 862     data: "data name"
 863   -
 864     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
 865     data: "data show-run"
 866   rows: "generated"
 867   data:
 868     "vpp-perf-results"
 869   filter: "not 'NDRCHK' and not 'PDRCHK'"
 870   parameters:
 871   - "parent"
 872   - "name"
 873   - "show-run"
 874
 875 -
 876   type: "table"
 877   title: "Detailed Test Results - VPP Functional Results"
 878   algorithm: "table_details"
 879   output-file-ext: ".csv"
 880   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
 881   columns:
 882   -
 883     title: "Name"
 884     data: "data name"
 885   -
 886     title: "Documentation"
 887     data: "data doc"
 888   -
 889     title: "Status"
 890     data: "data status"
 891   rows: "generated"
 892   data:
 893     "vpp-func-results"
 894   filter: "all"
 895   parameters:
 896   - "name"
 897   - "parent"
 898   - "doc"
 899   - "status"
 900
 901 -
 902   type: "table"
 903   title: "Test configuration - VPP Functional Test Configs"
 904   algorithm: "table_details"
 905   output-file-ext: ".csv"
 906   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
 907   columns:
 908   -
 909     title: "Name"
 910     data: "data name"
 911   -
 912     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
 913     data: "data vat-history"
 914   rows: "generated"
 915   data:
 916     "vpp-func-results"
 917   filter: "all"
 918   parameters:
 919   - "parent"
 920   - "name"
 921   - "vat-history"
 922
 923 -
 924   type: "table"
 925   title: "Detailed Test Results - Container Orchestrated Topologies Performance Results"
 926   algorithm: "table_details"
 927   output-file-ext: ".csv"
 928   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
 929   columns:
 930   -
 931     title: "Name"
 932     data: "data name"
 933   -
 934     title: "Documentation"
 935     data: "data doc"
 936   -
 937     title: "Status"
 938     data: "data msg"
 939   rows: "generated"
 940   data:
 941     "ligato-perf-results"
 942   filter: "all"
 943   parameters:
 944   - "name"
 945   - "parent"
 946   - "doc"
 947   - "msg"
 948
 949 -
 950   type: "table"
 951   title: "Detailed Test Results - DPDK Performance Results"
 952   algorithm: "table_details"
 953   output-file-ext: ".csv"
 954   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
 955   columns:
 956   -
 957     title: "Name"
 958     data: "data name"
 959   -
 960     title: "Documentation"
 961     data: "data doc"
 962   -
 963     title: "Status"
 964     data: "data msg"
 965   rows: "generated"
 966   data:
 967     "dpdk-perf-results"
 968   filter: "all"
 969   parameters:
 970   - "name"
 971   - "parent"
 972   - "doc"
 973   - "msg"
 974
 975 -
 976   type: "table"
 977   title: "Detailed Test Results - Honeycomb Functional Results"
 978   algorithm: "table_details"
 979   output-file-ext: ".csv"
 980   output-file: "{DIR[DTR,FUNC,HC]}/hc_functional_results"
 981   columns:
 982   -
 983     title: "Name"
 984     data: "data name"
 985   -
 986     title: "Documentation"
 987     data: "data doc"
 988   -
 989     title: "Status"
 990     data: "data status"
 991   rows: "generated"
 992   data:
 993     "hc-func-results"
 994   filter: "all"
 995   parameters:
 996   - "name"
 997   - "parent"
 998   - "doc"
 999   - "status"
1000
1001 -
1002   type: "table"
1003   title: "Detailed Test Results - NSH SFC Functional Results"
1004   algorithm: "table_details"
1005   output-file-ext: ".csv"
1006   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nsh_sfc_functional_results"
1007   columns:
1008   -
1009     title: "Name"
1010     data: "data name"
1011   -
1012     title: "Documentation"
1013     data: "data doc"
1014   -
1015     title: "Status"
1016     data: "data status"
1017   rows: "generated"
1018   data:
1019     "nsh-func-results"
1020   filter: "all"
1021   parameters:
1022   - "name"
1023   - "parent"
1024   - "doc"
1025   - "status"
1026
1027 ################################################################################
1028 ###                                F I L E S                                 ###
1029 ################################################################################
1030
1031 -
1032   type: "file"
1033   title: "VPP Performance Results"
1034   algorithm: "file_merged_test_results"
1035   output-file-ext: ".rst"
1036   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
1037   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1038   dir-tables: "{DIR[DTR,PERF,VPP]}"
1039   data:
1040     "vpp-perf-results"
1041   filter: "not 'NDRCHK' and not 'PDRCHK'"
1042   parameters:
1043   - "name"
1044   - "doc"
1045   - "level"
1046   - "parent"
1047   data-start-level: 3  # 0, 1, 2, ...
1048   chapters-start-level: 2  # 0, 1, 2, ...
1049
1050 -
1051   type: "file"
1052   title: "VPP Performance Configuration"
1053   algorithm: "file_merged_test_results"
1054   output-file-ext: ".rst"
1055   output-file: "{DIR[DTC,PERF,VPP]}/vpp_performance_configuration"
1056   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1057   dir-tables: "{DIR[DTC,PERF,VPP]}"
1058   data:
1059     "vpp-perf-results"
1060   filter: "not 'NDRCHK' and not 'PDRCHK'"
1061   parameters:
1062   - "name"
1063   - "doc"
1064   - "level"
1065   - "parent"
1066   data-start-level: 3  # 0, 1, 2, ...
1067   chapters-start-level: 2  # 0, 1, 2, ...
1068
1069 -
1070   type: "file"
1071   title: "VPP Performance Operational Data"
1072   algorithm: "file_merged_test_results"
1073   output-file-ext: ".rst"
1074   output-file: "{DIR[DTO,PERF,VPP]}/vpp_performance_operational_data"
1075   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1076   dir-tables: "{DIR[DTO,PERF,VPP]}"
1077   data:
1078     "vpp-perf-results"
1079   filter: "not 'NDRCHK' and not 'PDRCHK'"
1080   parameters:
1081   - "name"
1082   - "doc"
1083   - "level"
1084   - "parent"
1085   data-start-level: 3  # 0, 1, 2, ...
1086   chapters-start-level: 2  # 0, 1, 2, ...
1087
1088 -
1089   type: "file"
1090   title: "VPP Functional Results"
1091   algorithm: "file_test_results"
1092   output-file-ext: ".rst"
1093   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
1094   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1095   dir-tables: "{DIR[DTR,FUNC,VPP]}"
1096   data:
1097     "vpp-func-results"
1098   filter: "all"
1099   parameters:
1100   - "name"
1101   - "doc"
1102   - "level"
1103   data-start-level: 3  # 0, 1, 2, ...
1104   chapters-start-level: 2  # 0, 1, 2, ...
1105
1106 -
1107   type: "file"
1108   title: "VPP Functional Configuration"
1109   algorithm: "file_test_results"
1110   output-file-ext: ".rst"
1111   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
1112   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1113   dir-tables: "{DIR[DTC,FUNC,VPP]}"
1114   data:
1115     "vpp-func-results"
1116   filter: "all"
1117   parameters:
1118   - "name"
1119   - "doc"
1120   - "level"
1121   data-start-level: 3  # 0, 1, 2, ...
1122   chapters-start-level: 2  # 0, 1, 2, ...
1123
1124 -
1125   type: "file"
1126   title: "Container Orchestrated Performance Results"
1127   algorithm: "file_test_results"
1128   output-file-ext: ".rst"
1129   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
1130   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1131   dir-tables: "{DIR[DTR,PERF,COT]}"
1132   data:
1133     "ligato-perf-results"
1134   filter: "all"
1135   parameters:
1136   - "name"
1137   - "doc"
1138   - "level"
1139   data-start-level: 2  # 0, 1, 2, ...
1140   chapters-start-level: 2  # 0, 1, 2, ...
1141
1142 -
1143   type: "file"
1144   title: "DPDK Performance Results"
1145   algorithm: "file_test_results"
1146   output-file-ext: ".rst"
1147   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
1148   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1149   dir-tables: "{DIR[DTR,PERF,DPDK]}"
1150   data:
1151     "dpdk-perf-results"
1152   filter: "all"
1153   parameters:
1154   - "name"
1155   - "doc"
1156   - "level"
1157   chapters:
1158   - "suites"
1159   data-start-level: 2  # 0, 1, 2, ...
1160   chapters-start-level: 2  # 0, 1, 2, ...
1161
1162 -
1163   type: "file"
1164   title: "Honeycomb Functional Results"
1165   algorithm: "file_test_results"
1166   output-file-ext: ".rst"
1167   output-file: "{DIR[DTR,FUNC,HC]}/honeycomb_functional_results"
1168   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1169   dir-tables: "{DIR[DTR,FUNC,HC]}"
1170   data:
1171     "hc-func-results"
1172   filter: "all"
1173   parameters:
1174   - "name"
1175   - "doc"
1176   - "level"
1177   chapters:
1178   - "suites"
1179   data-start-level: 3  # 0, 1, 2, ...
1180   chapters-start-level: 2  # 0, 1, 2, ...
1181
1182 -
1183   type: "file"
1184   title: "NSH SFC Functional Results"
1185   algorithm: "file_test_results"
1186   output-file-ext: ".rst"
1187   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nshsfc_functional_results"
1188   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1189   dir-tables: "{DIR[DTR,FUNC,NSHSFC]}"
1190   data:
1191     "nsh-func-results"
1192   filter: "all"
1193   parameters:
1194   - "name"
1195   - "doc"
1196   - "level"
1197   chapters:
1198   - "suites"
1199   data-start-level: 2  # 0, 1, 2, ...
1200   chapters-start-level: 2  # 0, 1, 2, ...
1201
1202 ################################################################################
1203 ###                                P L O T S                                 ###
1204 ################################################################################
1205
1206 # Plots VPP HTTP Server Performance
1207 -
1208   type: "plot"
1209   title: "VPP HTTP Server Performance"
1210   algorithm: "plot_http_server_performance_box"
1211   output-file-type: ".html"
1212   output-file: "{DIR[STATIC,VPP]}/http-server-performance-cps"
1213   data:
1214     "plot-vpp-http-server-performance"
1215   # Keep this formatting, the filter is enclosed with " (quotation mark) and
1216   # each tag is enclosed with ' (apostrophe).
1217   filter: "'HTTP' and 'TCP_CPS'"
1218   parameters:
1219   - "result"
1220   - "name"
1221   traces:
1222     hoverinfo: "x+y"
1223     boxpoints: "outliers"
1224     whiskerwidth: 0
1225   layout:
1226     title: "VPP HTTP Server Performance"
1227     layout:
1228       "plot-cps"
1229
1230 -
1231   type: "plot"
1232   title: "VPP HTTP Server Performance"
1233   algorithm: "plot_http_server_performance_box"
1234   output-file-type: ".html"
1235   output-file: "{DIR[STATIC,VPP]}/http-server-performance-rps"
1236   data:
1237     "plot-vpp-http-server-performance"
1238   filter: "'HTTP' and 'TCP_RPS'"
1239   parameters:
1240   - "result"
1241   - "name"
1242   traces:
1243     hoverinfo: "x+y"
1244     boxpoints: "outliers"
1245     whiskerwidth: 0
1246   layout:
1247     title: "VPP HTTP Server Performance"
1248     layout:
1249       "plot-rps"
1250
1251 # Plot Throughput Speedup Analysis
1252
1253 # L2 - 10ge2p1x520 - NDR
1254 -
1255   type: "plot"
1256   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1257   algorithm: "plot_throughput_speedup_analysis"
1258   output-file-type: ".html"
1259   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-ndrdisc"
1260   data:
1261     "plot-throughput-speedup-analysis"
1262   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1263   parameters:
1264   - "throughput"
1265   - "parent"
1266   - "tags"
1267   layout:
1268     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1269     layout:
1270       "plot-throughput-speedup-analysis"
1271
1272 # L2 - 40ge2p1xl710 - NDR
1273 -
1274   type: "plot"
1275   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1276   algorithm: "plot_throughput_speedup_analysis"
1277   output-file-type: ".html"
1278   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-l2-tsa-ndrdisc"
1279   data:
1280     "plot-throughput-speedup-analysis"
1281   filter: "'NIC_Intel-XL710' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1282   parameters:
1283   - "throughput"
1284   - "parent"
1285   - "tags"
1286   layout:
1287     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1288     layout:
1289       "plot-throughput-speedup-analysis"
1290
1291 # L2 - 10ge2p1x520 - PDR
1292 -
1293   type: "plot"
1294   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1295   algorithm: "plot_throughput_speedup_analysis"
1296   output-file-type: ".html"
1297   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-pdrdisc"
1298   data:
1299     "plot-throughput-speedup-analysis"
1300   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1301   parameters:
1302   - "throughput"
1303   - "parent"
1304   - "tags"
1305   layout:
1306     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1307     layout:
1308       "plot-throughput-speedup-analysis"
1309
1310 # IPv4 - 10ge2p1x520 - NDR
1311 -
1312   type: "plot"
1313   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1314   algorithm: "plot_throughput_speedup_analysis"
1315   output-file-type: ".html"
1316   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-ndrdisc"
1317   data:
1318     "plot-throughput-speedup-analysis"
1319   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1320   parameters:
1321   - "throughput"
1322   - "parent"
1323   - "tags"
1324   layout:
1325     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1326     layout:
1327       "plot-throughput-speedup-analysis"
1328
1329 # IPv4 - 40ge2p1xl710 - NDR
1330 -
1331   type: "plot"
1332   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1333   algorithm: "plot_throughput_speedup_analysis"
1334   output-file-type: ".html"
1335   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-ip4-tsa-ndrdisc"
1336   data:
1337     "plot-throughput-speedup-analysis"
1338   filter: "'NIC_Intel-XL710' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1339   parameters:
1340   - "throughput"
1341   - "parent"
1342   - "tags"
1343   layout:
1344     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1345     layout:
1346       "plot-throughput-speedup-analysis"
1347
1348 # IPv4 - 10ge2p1x520 - PDR
1349 -
1350   type: "plot"
1351   title: "TSA: 64B-*-ethip4-ip4(base|scale)*pdrdisc"
1352   algorithm: "plot_throughput_speedup_analysis"
1353   output-file-type: ".html"
1354   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-pdrdisc"
1355   data:
1356     "plot-throughput-speedup-analysis"
1357   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1358   parameters:
1359   - "throughput"
1360   - "parent"
1361   - "tags"
1362   layout:
1363     title: "64B-*-ethip4-ip4(base|scale)*pdrdisc"
1364     layout:
1365       "plot-throughput-speedup-analysis"
1366
1367 # IPv6 - 10ge2p1x520 - NDR
1368 -
1369   type: "plot"
1370   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1371   algorithm: "plot_throughput_speedup_analysis"
1372   output-file-type: ".html"
1373   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-ndrdisc"
1374   data:
1375     "plot-throughput-speedup-analysis"
1376   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1377   parameters:
1378   - "throughput"
1379   - "parent"
1380   - "tags"
1381   layout:
1382     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1383     layout:
1384       "plot-throughput-speedup-analysis"
1385
1386 # IPv6 - 40ge2p1xl710 - NDR
1387 -
1388   type: "plot"
1389   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1390   algorithm: "plot_throughput_speedup_analysis"
1391   output-file-type: ".html"
1392   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-78B-ip6-tsa-ndrdisc"
1393   data:
1394     "plot-throughput-speedup-analysis"
1395   filter: "'NIC_Intel-XL710' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1396   parameters:
1397   - "throughput"
1398   - "parent"
1399   - "tags"
1400   layout:
1401     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1402     layout:
1403       "plot-throughput-speedup-analysis"
1404
1405 # IPv6 - 10ge2p1x520 - PDR
1406 -
1407   type: "plot"
1408   title: "TSA: 78B-*-ethip6-ip6(base|scale)*pdrdisc"
1409   algorithm: "plot_throughput_speedup_analysis"
1410   output-file-type: ".html"
1411   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-pdrdisc"
1412   data:
1413     "plot-throughput-speedup-analysis"
1414   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST'"
1415   parameters:
1416   - "throughput"
1417   - "parent"
1418   - "tags"
1419   layout:
1420     title: "78B-*-ethip6-ip6(base|scale)*pdrdisc"
1421     layout:
1422       "plot-throughput-speedup-analysis"
1423
1424 # Plot packets per second
1425
1426 # VPP L2 sel1
1427 -
1428   type: "plot"
1429   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1430   algorithm: "plot_performance_box"
1431   output-file-type: ".html"
1432   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc"
1433   data:
1434     "plot-vpp-throughput-latency"
1435   # Keep this formatting, the filter is enclosed with " (quotation mark) and
1436   # each tag is enclosed with ' (apostrophe).
1437   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1438   parameters:
1439   - "throughput"
1440   - "parent"
1441   traces:
1442     hoverinfo: "x+y"
1443     boxpoints: "outliers"
1444     whiskerwidth: 0
1445   layout:
1446     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1447     layout:
1448       "plot-throughput"
1449
1450 -
1451   type: "plot"
1452   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1453   algorithm: "plot_performance_box"
1454   output-file-type: ".html"
1455   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc"
1456   data:
1457     "plot-vpp-throughput-latency"
1458   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1459   parameters:
1460   - "throughput"
1461   - "parent"
1462   traces:
1463     hoverinfo: "x+y"
1464     boxpoints: "outliers"
1465     whiskerwidth: 0
1466   layout:
1467     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1468     layout:
1469       "plot-throughput"
1470
1471 -
1472   type: "plot"
1473   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1474   algorithm: "plot_performance_box"
1475   output-file-type: ".html"
1476   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-pdrdisc"
1477   data:
1478     "plot-vpp-throughput-latency"
1479   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1480   parameters:
1481   - "throughput"
1482   - "parent"
1483   traces:
1484     hoverinfo: "x+y"
1485     boxpoints: "outliers"
1486     whiskerwidth: 0
1487   layout:
1488     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1489     layout:
1490       "plot-throughput"
1491
1492 -
1493   type: "plot"
1494   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1495   algorithm: "plot_performance_box"
1496   output-file-type: ".html"
1497   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-pdrdisc"
1498   data:
1499     "plot-vpp-throughput-latency"
1500   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1501   parameters:
1502   - "throughput"
1503   - "parent"
1504   traces:
1505     hoverinfo: "x+y"
1506     boxpoints: "outliers"
1507     whiskerwidth: 0
1508   layout:
1509     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1510     layout:
1511       "plot-throughput"
1512
1513 # VPP L2 sel2
1514 -
1515   type: "plot"
1516   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1517   algorithm: "plot_performance_box"
1518   output-file-type: ".html"
1519   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc"
1520   data:
1521     "plot-vpp-throughput-latency"
1522   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1523   parameters:
1524   - "throughput"
1525   - "parent"
1526   traces:
1527     hoverinfo: "x+y"
1528     boxpoints: "outliers"
1529     whiskerwidth: 0
1530   layout:
1531     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1532     layout:
1533       "plot-throughput"
1534
1535 -
1536   type: "plot"
1537   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1538   algorithm: "plot_performance_box"
1539   output-file-type: ".html"
1540   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc"
1541   data:
1542     "plot-vpp-throughput-latency"
1543   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1544   parameters:
1545   - "throughput"
1546   - "parent"
1547   traces:
1548     hoverinfo: "x+y"
1549     boxpoints: "outliers"
1550     whiskerwidth: 0
1551   layout:
1552     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1553     layout:
1554       "plot-throughput"
1555
1556 -
1557   type: "plot"
1558   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1559   algorithm: "plot_performance_box"
1560   output-file-type: ".html"
1561   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-pdrdisc"
1562   data:
1563     "plot-vpp-throughput-latency"
1564   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1565   parameters:
1566   - "throughput"
1567   - "parent"
1568   traces:
1569     hoverinfo: "x+y"
1570     boxpoints: "outliers"
1571     whiskerwidth: 0
1572   layout:
1573     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1574     layout:
1575       "plot-throughput"
1576
1577 -
1578   type: "plot"
1579   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1580   algorithm: "plot_performance_box"
1581   output-file-type: ".html"
1582   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-pdrdisc"
1583   data:
1584     "plot-vpp-throughput-latency"
1585   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1586   parameters:
1587   - "throughput"
1588   - "parent"
1589   traces:
1590     hoverinfo: "x+y"
1591     boxpoints: "outliers"
1592     whiskerwidth: 0
1593   layout:
1594     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1595     layout:
1596       "plot-throughput"
1597
1598 # VPP IP4
1599 -
1600   type: "plot"
1601   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1602   algorithm: "plot_performance_box"
1603   output-file-type: ".html"
1604   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc"
1605   data:
1606     "plot-vpp-throughput-latency"
1607   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1608   parameters:
1609   - "throughput"
1610   - "parent"
1611   traces:
1612     hoverinfo: "x+y"
1613     boxpoints: "outliers"
1614     whiskerwidth: 0
1615   layout:
1616     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1617     layout:
1618       "plot-throughput"
1619
1620 -
1621   type: "plot"
1622   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1623   algorithm: "plot_performance_box"
1624   output-file-type: ".html"
1625   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc"
1626   data:
1627     "plot-vpp-throughput-latency"
1628   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1629   parameters:
1630   - "throughput"
1631   - "parent"
1632   traces:
1633     hoverinfo: "x+y"
1634     boxpoints: "outliers"
1635     whiskerwidth: 0
1636   layout:
1637     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1638     layout:
1639       "plot-throughput"
1640
1641 -
1642   type: "plot"
1643   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1644   algorithm: "plot_performance_box"
1645   output-file-type: ".html"
1646   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-pdrdisc"
1647   data:
1648     "plot-vpp-throughput-latency"
1649   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1650   parameters:
1651   - "throughput"
1652   - "parent"
1653   traces:
1654     hoverinfo: "x+y"
1655     boxpoints: "outliers"
1656     whiskerwidth: 0
1657   layout:
1658     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1659     layout:
1660       "plot-throughput"
1661
1662 -
1663   type: "plot"
1664   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1665   algorithm: "plot_performance_box"
1666   output-file-type: ".html"
1667   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-pdrdisc"
1668   data:
1669     "plot-vpp-throughput-latency"
1670   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1671   parameters:
1672   - "throughput"
1673   - "parent"
1674   traces:
1675     hoverinfo: "x+y"
1676     boxpoints: "outliers"
1677     whiskerwidth: 0
1678   layout:
1679     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1680     layout:
1681       "plot-throughput"
1682
1683 # VPP IP6
1684 -
1685   type: "plot"
1686   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1687   algorithm: "plot_performance_box"
1688   output-file-type: ".html"
1689   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc"
1690   data:
1691     "plot-vpp-throughput-latency"
1692   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1693   parameters:
1694   - "throughput"
1695   - "parent"
1696   traces:
1697     hoverinfo: "x+y"
1698     boxpoints: "outliers"
1699     whiskerwidth: 0
1700   layout:
1701     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1702     layout:
1703       "plot-throughput"
1704
1705 -
1706   type: "plot"
1707   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1708   algorithm: "plot_performance_box"
1709   output-file-type: ".html"
1710   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc"
1711   data:
1712     "plot-vpp-throughput-latency"
1713   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1714   parameters:
1715   - "throughput"
1716   - "parent"
1717   traces:
1718     hoverinfo: "x+y"
1719     boxpoints: "outliers"
1720     whiskerwidth: 0
1721   layout:
1722     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1723     layout:
1724       "plot-throughput"
1725
1726 -
1727   type: "plot"
1728   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1729   algorithm: "plot_performance_box"
1730   output-file-type: ".html"
1731   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-pdrdisc"
1732   data:
1733     "plot-vpp-throughput-latency"
1734   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1735   parameters:
1736   - "throughput"
1737   - "parent"
1738   traces:
1739     hoverinfo: "x+y"
1740     boxpoints: "outliers"
1741     whiskerwidth: 0
1742   layout:
1743     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1744     layout:
1745       "plot-throughput"
1746
1747 -
1748   type: "plot"
1749   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1750   algorithm: "plot_performance_box"
1751   output-file-type: ".html"
1752   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-pdrdisc"
1753   data:
1754     "plot-vpp-throughput-latency"
1755   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1756   parameters:
1757   - "throughput"
1758   - "parent"
1759   traces:
1760     hoverinfo: "x+y"
1761     boxpoints: "outliers"
1762     whiskerwidth: 0
1763   layout:
1764     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1765     layout:
1766       "plot-throughput"
1767
1768 # VPP IP4_overlay
1769 -
1770   type: "plot"
1771   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1772   algorithm: "plot_performance_box"
1773   output-file-type: ".html"
1774   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc"
1775   data:
1776     "plot-vpp-throughput-latency"
1777   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1778   parameters:
1779   - "throughput"
1780   - "parent"
1781   traces:
1782     hoverinfo: "x+y"
1783     boxpoints: "outliers"
1784     whiskerwidth: 0
1785   layout:
1786     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1787     layout:
1788       "plot-throughput"
1789
1790 -
1791   type: "plot"
1792   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1793   algorithm: "plot_performance_box"
1794   output-file-type: ".html"
1795   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc"
1796   data:
1797     "plot-vpp-throughput-latency"
1798   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1799   parameters:
1800   - "throughput"
1801   - "parent"
1802   traces:
1803     hoverinfo: "x+y"
1804     boxpoints: "outliers"
1805     whiskerwidth: 0
1806   layout:
1807     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1808     layout:
1809       "plot-throughput"
1810
1811 -
1812   type: "plot"
1813   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1814   algorithm: "plot_performance_box"
1815   output-file-type: ".html"
1816   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-pdrdisc"
1817   data:
1818     "plot-vpp-throughput-latency"
1819   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1820   parameters:
1821   - "throughput"
1822   - "parent"
1823   traces:
1824     hoverinfo: "x+y"
1825     boxpoints: "outliers"
1826     whiskerwidth: 0
1827   layout:
1828     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1829     layout:
1830       "plot-throughput"
1831
1832 -
1833   type: "plot"
1834   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1835   algorithm: "plot_performance_box"
1836   output-file-type: ".html"
1837   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-pdrdisc"
1838   data:
1839     "plot-vpp-throughput-latency"
1840   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1841   parameters:
1842   - "throughput"
1843   - "parent"
1844   traces:
1845     hoverinfo: "x+y"
1846     boxpoints: "outliers"
1847     whiskerwidth: 0
1848   layout:
1849     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1850     layout:
1851       "plot-throughput"
1852
1853 # VPP IP6_overlay
1854 -
1855   type: "plot"
1856   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1857   algorithm: "plot_performance_box"
1858   output-file-type: ".html"
1859   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc"
1860   data:
1861     "plot-vpp-throughput-latency"
1862   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1863   parameters:
1864   - "throughput"
1865   - "parent"
1866   traces:
1867     hoverinfo: "x+y"
1868     boxpoints: "outliers"
1869     whiskerwidth: 0
1870   layout:
1871     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1872     xaxis:
1873       autorange: True
1874       autotick: False
1875       fixedrange: False
1876       gridcolor: "rgb(238, 238, 238)"
1877       linecolor: "rgb(238, 238, 238)"
1878       linewidth: 1
1879       showgrid: True
1880       showline: True
1881       showticklabels: True
1882       tickcolor: "rgb(238, 238, 238)"
1883       tickmode: "linear"
1884       title: "Indexed Test Cases"
1885       zeroline: False
1886     yaxis:
1887       gridcolor: "rgb(238, 238, 238)'"
1888       hoverformat: ".4s"
1889       linecolor: "rgb(238, 238, 238)"
1890       linewidth: 1
1891       range: [2000000, 6000000]
1892       showgrid: True
1893       showline: True
1894       showticklabels: True
1895       tickcolor: "rgb(238, 238, 238)"
1896       title: "Packets Per Second [pps]"
1897       zeroline: False
1898     boxmode: "group"
1899     boxgroupgap: 0.5
1900     autosize: False
1901     margin:
1902       t: 50
1903       b: 20
1904       l: 50
1905       r: 20
1906     showlegend: True
1907     legend:
1908       orientation: "h"
1909     width: 700
1910     height: 1000
1911
1912 -
1913   type: "plot"
1914   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1915   algorithm: "plot_performance_box"
1916   output-file-type: ".html"
1917   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc"
1918   data:
1919     "plot-vpp-throughput-latency"
1920   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1921   parameters:
1922   - "throughput"
1923   - "parent"
1924   traces:
1925     hoverinfo: "x+y"
1926     boxpoints: "outliers"
1927     whiskerwidth: 0
1928   layout:
1929     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1930     layout:
1931       "plot-throughput"
1932
1933 -
1934   type: "plot"
1935   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1936   algorithm: "plot_performance_box"
1937   output-file-type: ".html"
1938   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-pdrdisc"
1939   data:
1940     "plot-vpp-throughput-latency"
1941   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1942   parameters:
1943   - "throughput"
1944   - "parent"
1945   traces:
1946     hoverinfo: "x+y"
1947     boxpoints: "outliers"
1948     whiskerwidth: 0
1949   layout:
1950     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1951     layout:
1952       "plot-throughput"
1953
1954 -
1955   type: "plot"
1956   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1957   algorithm: "plot_performance_box"
1958   output-file-type: ".html"
1959   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-pdrdisc"
1960   data:
1961     "plot-vpp-throughput-latency"
1962   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1963   parameters:
1964   - "throughput"
1965   - "parent"
1966   traces:
1967     hoverinfo: "x+y"
1968     boxpoints: "outliers"
1969     whiskerwidth: 0
1970   layout:
1971     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1972     xaxis:
1973       autorange: True
1974       autotick: False
1975       fixedrange: False
1976       gridcolor: "rgb(238, 238, 238)"
1977       linecolor: "rgb(238, 238, 238)"
1978       linewidth: 1
1979       showgrid: True
1980       showline: True
1981       showticklabels: True
1982       tickcolor: "rgb(238, 238, 238)"
1983       tickmode: "linear"
1984       title: "Indexed Test Cases"
1985       zeroline: False
1986     yaxis:
1987       gridcolor: "rgb(238, 238, 238)'"
1988       hoverformat: ".4s"
1989       linecolor: "rgb(238, 238, 238)"
1990       linewidth: 1
1991       range: [4000000, 12000000]
1992       showgrid: True
1993       showline: True
1994       showticklabels: True
1995       tickcolor: "rgb(238, 238, 238)"
1996       title: "Packets Per Second [pps]"
1997       zeroline: False
1998     boxmode: "group"
1999     boxgroupgap: 0.5
2000     autosize: False
2001     margin:
2002       t: 50
2003       b: 20
2004       l: 50
2005       r: 20
2006     showlegend: True
2007     legend:
2008       orientation: "h"
2009     width: 700
2010     height: 1000
2011
2012 # VPP VM VHOST
2013 -
2014   type: "plot"
2015   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2016   algorithm: "plot_performance_box"
2017   output-file-type: ".html"
2018   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc"
2019   data:
2020     "plot-vpp-throughput-latency"
2021   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2022   parameters:
2023   - "throughput"
2024   - "parent"
2025   traces:
2026     hoverinfo: "x+y"
2027     boxpoints: "outliers"
2028     whiskerwidth: 0
2029   layout:
2030     title: "64B-1t1c-.*vhost.*-ndrdisc"
2031     xaxis:
2032       autorange: True
2033       autotick: False
2034       fixedrange: False
2035       gridcolor: "rgb(238, 238, 238)"
2036       linecolor: "rgb(238, 238, 238)"
2037       linewidth: 1
2038       showgrid: True
2039       showline: True
2040       showticklabels: True
2041       tickcolor: "rgb(238, 238, 238)"
2042       tickmode: "linear"
2043       title: "Indexed Test Cases"
2044       zeroline: False
2045     yaxis:
2046       gridcolor: "rgb(238, 238, 238)'"
2047       hoverformat: ".4s"
2048       linecolor: "rgb(238, 238, 238)"
2049       linewidth: 1
2050       range: [0, 3500000]
2051       showgrid: True
2052       showline: True
2053       showticklabels: True
2054       tickcolor: "rgb(238, 238, 238)"
2055       title: "Packets Per Second [pps]"
2056       zeroline: False
2057     boxmode: "group"
2058     boxgroupgap: 0.5
2059     autosize: False
2060     margin:
2061       t: 50
2062       b: 20
2063       l: 50
2064       r: 20
2065     showlegend: True
2066     legend:
2067       orientation: "h"
2068     width: 700
2069     height: 1000
2070
2071 -
2072   type: "plot"
2073   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2074   algorithm: "plot_performance_box"
2075   output-file-type: ".html"
2076   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc"
2077   data:
2078     "plot-vpp-throughput-latency"
2079   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2080   parameters:
2081   - "throughput"
2082   - "parent"
2083   traces:
2084     hoverinfo: "x+y"
2085     boxpoints: "outliers"
2086     whiskerwidth: 0
2087   layout:
2088     title: "64B-2t2c-.*vhost.*-ndrdisc"
2089     layout:
2090       "plot-throughput"
2091
2092 -
2093   type: "plot"
2094   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2095   algorithm: "plot_performance_box"
2096   output-file-type: ".html"
2097   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-pdrdisc"
2098   data:
2099     "plot-vpp-throughput-latency"
2100   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2101   parameters:
2102   - "throughput"
2103   - "parent"
2104   traces:
2105     hoverinfo: "x+y"
2106     boxpoints: "outliers"
2107     whiskerwidth: 0
2108   layout:
2109     title: "64B-1t1c-.*vhost.*-pdrdisc"
2110     layout:
2111       "plot-throughput"
2112
2113 -
2114   type: "plot"
2115   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2116   algorithm: "plot_performance_box"
2117   output-file-type: ".html"
2118   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-pdrdisc"
2119   data:
2120     "plot-vpp-throughput-latency"
2121   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2122   parameters:
2123   - "throughput"
2124   - "parent"
2125   traces:
2126     hoverinfo: "x+y"
2127     boxpoints: "outliers"
2128     whiskerwidth: 0
2129   layout:
2130     title: "64B-2t2c-.*vhost.*-pdrdisc"
2131     layout:
2132       "plot-throughput"
2133
2134 # VPP VM VHOST SELECTION
2135 -
2136   type: "plot"
2137   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2138   algorithm: "plot_performance_box"
2139   output-file-type: ".html"
2140   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc"
2141   data:
2142     "plot-vpp-throughput-latency"
2143   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2144   parameters:
2145   - "throughput"
2146   - "parent"
2147   traces:
2148     hoverinfo: "x+y"
2149     boxpoints: "outliers"
2150     whiskerwidth: 0
2151   layout:
2152     title: "64B-1t1c-.*vhost.*-ndrdisc"
2153     layout:
2154       "plot-throughput"
2155
2156 -
2157   type: "plot"
2158   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2159   algorithm: "plot_performance_box"
2160   output-file-type: ".html"
2161   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc"
2162   data:
2163     "plot-vpp-throughput-latency"
2164   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2165   parameters:
2166   - "throughput"
2167   - "parent"
2168   traces:
2169     hoverinfo: "x+y"
2170     boxpoints: "outliers"
2171     whiskerwidth: 0
2172   layout:
2173     title: "64B-2t2c-.*vhost.*-ndrdisc"
2174     layout:
2175       "plot-throughput"
2176
2177 -
2178   type: "plot"
2179   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2180   algorithm: "plot_performance_box"
2181   output-file-type: ".html"
2182   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-pdrdisc"
2183   data:
2184     "plot-vpp-throughput-latency"
2185   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2186   parameters:
2187   - "throughput"
2188   - "parent"
2189   traces:
2190     hoverinfo: "x+y"
2191     boxpoints: "outliers"
2192     whiskerwidth: 0
2193   layout:
2194     title: "64B-1t1c-.*vhost.*-pdrdisc"
2195     layout:
2196       "plot-throughput"
2197
2198 -
2199   type: "plot"
2200   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2201   algorithm: "plot_performance_box"
2202   output-file-type: ".html"
2203   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-pdrdisc"
2204   data:
2205     "plot-vpp-throughput-latency"
2206   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2207   parameters:
2208   - "throughput"
2209   - "parent"
2210   traces:
2211     hoverinfo: "x+y"
2212     boxpoints: "outliers"
2213     whiskerwidth: 0
2214   layout:
2215     title: "64B-2t2c-.*vhost.*-pdrdisc"
2216     layout:
2217       "plot-throughput"
2218
2219 # VPP CRYPTO
2220 -
2221   type: "plot"
2222   title: "VPP Performance 64B-1t1c-.*ipsec.*-ndrdisc"
2223   algorithm: "plot_performance_box"
2224   output-file-type: ".html"
2225   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc"
2226   data:
2227     "plot-vpp-throughput-latency"
2228   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2229   parameters:
2230   - "throughput"
2231   - "parent"
2232   traces:
2233     hoverinfo: "x+y"
2234     boxpoints: "outliers"
2235     whiskerwidth: 0
2236   layout:
2237     title: "64B-1t1c-.*ipsec.*-ndrdisc"
2238     layout:
2239       "plot-throughput"
2240
2241 -
2242   type: "plot"
2243   title: "VPP Performance 64B-2t2c-.*ipsec.*-ndrdisc"
2244   algorithm: "plot_performance_box"
2245   output-file-type: ".html"
2246   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc"
2247   data:
2248     "plot-vpp-throughput-latency"
2249   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2250   parameters:
2251   - "throughput"
2252   - "parent"
2253   traces:
2254     hoverinfo: "x+y"
2255     boxpoints: "outliers"
2256     whiskerwidth: 0
2257   layout:
2258     title: "64B-2t2c-.*ipsec.*-ndrdisc"
2259     layout:
2260       "plot-throughput"
2261
2262 -
2263   type: "plot"
2264   title: "VPP Performance 64B-1t1c-.*ipsec.*-pdrdisc"
2265   algorithm: "plot_performance_box"
2266   output-file-type: ".html"
2267   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-pdrdisc"
2268   data:
2269     "plot-vpp-throughput-latency"
2270   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2271   parameters:
2272   - "throughput"
2273   - "parent"
2274   traces:
2275     hoverinfo: "x+y"
2276     boxpoints: "outliers"
2277     whiskerwidth: 0
2278   layout:
2279     title: "64B-1t1c-.*ipsec.*-pdrdisc"
2280     layout:
2281       "plot-throughput"
2282
2283 -
2284   type: "plot"
2285   title: "VPP Performance 64B-2t2c-.*ipsec.*-pdrdisc"
2286   algorithm: "plot_performance_box"
2287   output-file-type: ".html"
2288   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-pdrdisc"
2289   data:
2290     "plot-vpp-throughput-latency"
2291   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2292   parameters:
2293   - "throughput"
2294   - "parent"
2295   traces:
2296     hoverinfo: "x+y"
2297     boxpoints: "outliers"
2298     whiskerwidth: 0
2299   layout:
2300     title: "64B-2t2c-.*ipsec.*-pdrdisc"
2301     layout:
2302       "plot-throughput"
2303
2304 # DPDK
2305 -
2306   type: "plot"
2307   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2308   algorithm: "plot_performance_box"
2309   output-file-type: ".html"
2310   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc"
2311   data:
2312     "plot-dpdk-throughput-latency"
2313   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2314   parameters:
2315   - "throughput"
2316   - "parent"
2317   traces:
2318     hoverinfo: "x+y"
2319     boxpoints: "outliers"
2320     whiskerwidth: 0
2321   layout:
2322     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2323     layout:
2324       "plot-throughput"
2325
2326 -
2327   type: "plot"
2328   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2329   algorithm: "plot_performance_box"
2330   output-file-type: ".html"
2331   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc"
2332   data:
2333     "plot-dpdk-throughput-latency"
2334   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2335   parameters:
2336   - "throughput"
2337   - "parent"
2338   traces:
2339     hoverinfo: "x+y"
2340     boxpoints: "outliers"
2341     whiskerwidth: 0
2342   layout:
2343     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2344     layout:
2345       "plot-throughput"
2346
2347 -
2348   type: "plot"
2349   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2350   algorithm: "plot_performance_box"
2351   output-file-type: ".html"
2352   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc"
2353   data:
2354     "plot-dpdk-throughput-latency"
2355   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
2356   parameters:
2357   - "throughput"
2358   - "parent"
2359   traces:
2360     hoverinfo: "x+y"
2361     boxpoints: "outliers"
2362     whiskerwidth: 0
2363   layout:
2364     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2365     xaxis:
2366       autorange: True
2367       autotick: False
2368       fixedrange: False
2369       gridcolor: "rgb(238, 238, 238)"
2370       linecolor: "rgb(238, 238, 238)"
2371       linewidth: 1
2372       showgrid: True
2373       showline: True
2374       showticklabels: True
2375       tickcolor: "rgb(238, 238, 238)"
2376       tickmode: "linear"
2377       title: "Indexed Test Cases"
2378       zeroline: False
2379     yaxis:
2380       gridcolor: "rgb(238, 238, 238)'"
2381       hoverformat: ".4s"
2382       linecolor: "rgb(238, 238, 238)"
2383       linewidth: 1
2384       range: [2000000, 12000000]
2385       showgrid: True
2386       showline: True
2387       showticklabels: True
2388       tickcolor: "rgb(238, 238, 238)"
2389       title: "Packets Per Second [pps]"
2390       zeroline: False
2391     boxmode: "group"
2392     boxgroupgap: 0.5
2393     autosize: False
2394     margin:
2395       t: 50
2396       b: 20
2397       l: 50
2398       r: 20
2399     showlegend: True
2400     legend:
2401       orientation: "h"
2402     width: 700
2403     height: 1000
2404
2405 -
2406   type: "plot"
2407   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2408   algorithm: "plot_performance_box"
2409   output-file-type: ".html"
2410   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc"
2411   data:
2412     "plot-dpdk-throughput-latency"
2413   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
2414   parameters:
2415   - "throughput"
2416   - "parent"
2417   traces:
2418     hoverinfo: "x+y"
2419     boxpoints: "outliers"
2420     whiskerwidth: 0
2421   layout:
2422     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2423     xaxis:
2424       autorange: True
2425       autotick: False
2426       fixedrange: False
2427       gridcolor: "rgb(238, 238, 238)"
2428       linecolor: "rgb(238, 238, 238)"
2429       linewidth: 1
2430       showgrid: True
2431       showline: True
2432       showticklabels: True
2433       tickcolor: "rgb(238, 238, 238)"
2434       tickmode: "linear"
2435       title: "Indexed Test Cases"
2436       zeroline: False
2437     yaxis:
2438       gridcolor: "rgb(238, 238, 238)'"
2439       hoverformat: ".4s"
2440       linecolor: "rgb(238, 238, 238)"
2441       linewidth: 1
2442       range: [2000000, 12000000]
2443       showgrid: True
2444       showline: True
2445       showticklabels: True
2446       tickcolor: "rgb(238, 238, 238)"
2447       title: "Packets Per Second [pps]"
2448       zeroline: False
2449     boxmode: "group"
2450     boxgroupgap: 0.5
2451     autosize: False
2452     margin:
2453       t: 50
2454       b: 20
2455       l: 50
2456       r: 20
2457     showlegend: True
2458     legend:
2459       orientation: "h"
2460     width: 700
2461     height: 1000
2462
2463 -
2464   type: "plot"
2465   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2466   algorithm: "plot_performance_box"
2467   output-file-type: ".html"
2468   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-pdrdisc"
2469   data:
2470     "plot-dpdk-throughput-latency"
2471   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2472   parameters:
2473   - "throughput"
2474   - "parent"
2475   traces:
2476     hoverinfo: "x+y"
2477     boxpoints: "outliers"
2478     whiskerwidth: 0
2479   layout:
2480     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2481     layout:
2482       "plot-throughput"
2483
2484 -
2485   type: "plot"
2486   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2487   algorithm: "plot_performance_box"
2488   output-file-type: ".html"
2489   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-pdrdisc"
2490   data:
2491     "plot-dpdk-throughput-latency"
2492   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2493   parameters:
2494   - "throughput"
2495   - "parent"
2496   traces:
2497     hoverinfo: "x+y"
2498     boxpoints: "outliers"
2499     whiskerwidth: 0
2500   layout:
2501     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2502     layout:
2503       "plot-throughput"
2504
2505 -
2506   type: "plot"
2507   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
2508   algorithm: "plot_performance_box"
2509   output-file-type: ".html"
2510   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-pdrdisc"
2511   data:
2512     "plot-dpdk-throughput-latency"
2513   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD'"
2514   parameters:
2515   - "throughput"
2516   - "parent"
2517   traces:
2518     hoverinfo: "x+y"
2519     boxpoints: "outliers"
2520     whiskerwidth: 0
2521   layout:
2522     title: "64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
2523     xaxis:
2524       autorange: True
2525       autotick: False
2526       fixedrange: False
2527       gridcolor: "rgb(238, 238, 238)"
2528       linecolor: "rgb(238, 238, 238)"
2529       linewidth: 1
2530       showgrid: True
2531       showline: True
2532       showticklabels: True
2533       tickcolor: "rgb(238, 238, 238)"
2534       tickmode: "linear"
2535       title: "Indexed Test Cases"
2536       zeroline: False
2537     yaxis:
2538       gridcolor: "rgb(238, 238, 238)'"
2539       hoverformat: ".4s"
2540       linecolor: "rgb(238, 238, 238)"
2541       linewidth: 1
2542       range: [20000000, 30000000]
2543       showgrid: True
2544       showline: True
2545       showticklabels: True
2546       tickcolor: "rgb(238, 238, 238)"
2547       title: "Packets Per Second [pps]"
2548       zeroline: False
2549     boxmode: "group"
2550     boxgroupgap: 0.5
2551     autosize: False
2552     margin:
2553       t: 50
2554       b: 20
2555       l: 50
2556       r: 20
2557     showlegend: True
2558     legend:
2559       orientation: "h"
2560     width: 700
2561     height: 1000
2562
2563 -
2564   type: "plot"
2565   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
2566   algorithm: "plot_performance_box"
2567   output-file-type: ".html"
2568   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-pdrdisc"
2569   data:
2570     "plot-dpdk-throughput-latency"
2571   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD'"
2572   parameters:
2573   - "throughput"
2574   - "parent"
2575   traces:
2576     hoverinfo: "x+y"
2577     boxpoints: "outliers"
2578     whiskerwidth: 0
2579   layout:
2580     title: "64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
2581     xaxis:
2582       autorange: True
2583       autotick: False
2584       fixedrange: False
2585       gridcolor: "rgb(238, 238, 238)"
2586       linecolor: "rgb(238, 238, 238)"
2587       linewidth: 1
2588       showgrid: True
2589       showline: True
2590       showticklabels: True
2591       tickcolor: "rgb(238, 238, 238)"
2592       tickmode: "linear"
2593       title: "Indexed Test Cases"
2594       zeroline: False
2595     yaxis:
2596       gridcolor: "rgb(238, 238, 238)'"
2597       hoverformat: ".4s"
2598       linecolor: "rgb(238, 238, 238)"
2599       linewidth: 1
2600       range: [20000000, 30000000]
2601       showgrid: True
2602       showline: True
2603       showticklabels: True
2604       tickcolor: "rgb(238, 238, 238)"
2605       title: "Packets Per Second [pps]"
2606       zeroline: False
2607     boxmode: "group"
2608     boxgroupgap: 0.5
2609     autosize: False
2610     margin:
2611       t: 50
2612       b: 20
2613       l: 50
2614       r: 20
2615     showlegend: True
2616     legend:
2617       orientation: "h"
2618     width: 700
2619     height: 1000
2620
2621 # Plot latency
2622
2623 # VPP L2 sel1
2624 -
2625   type: "plot"
2626   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2627   algorithm: "plot_latency_box"
2628   output-file-type: ".html"
2629   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc-lat50"
2630   data:
2631     "plot-vpp-throughput-latency"
2632   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2633   parameters:
2634   - "latency"
2635   - "parent"
2636   traces:
2637     boxmean: False
2638   layout:
2639     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2640     layout:
2641       "plot-latency"
2642
2643 -
2644   type: "plot"
2645   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2646   algorithm: "plot_latency_box"
2647   output-file-type: ".html"
2648   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc-lat50"
2649   data:
2650     "plot-vpp-throughput-latency"
2651   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2652   parameters:
2653   - "latency"
2654   - "parent"
2655   traces:
2656     boxmean: False
2657   layout:
2658     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2659     layout:
2660       "plot-latency"
2661
2662 # VPP L2 sel2
2663 -
2664   type: "plot"
2665   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2666   algorithm: "plot_latency_box"
2667   output-file-type: ".html"
2668   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc-lat50"
2669   data:
2670     "plot-vpp-throughput-latency"
2671   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2672   parameters:
2673   - "latency"
2674   - "parent"
2675   traces:
2676     boxmean: False
2677   layout:
2678     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2679     layout:
2680       "plot-latency"
2681
2682 -
2683   type: "plot"
2684   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2685   algorithm: "plot_latency_box"
2686   output-file-type: ".html"
2687   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc-lat50"
2688   data:
2689     "plot-vpp-throughput-latency"
2690   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2691   parameters:
2692   - "latency"
2693   - "parent"
2694   traces:
2695     boxmean: False
2696   layout:
2697     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2698     layout:
2699       "plot-latency"
2700
2701 # VPP IP4
2702 -
2703   type: "plot"
2704   title: "VPP Latency 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2705   algorithm: "plot_latency_box"
2706   output-file-type: ".html"
2707   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc-lat50"
2708   data:
2709     "plot-vpp-throughput-latency"
2710   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
2711   parameters:
2712   - "latency"
2713   - "parent"
2714   traces:
2715     boxmean: False
2716   layout:
2717     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2718     layout:
2719       "plot-latency"
2720
2721 -
2722   type: "plot"
2723   title: "VPP Latency 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2724   algorithm: "plot_latency_box"
2725   output-file-type: ".html"
2726   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc-lat50"
2727   data:
2728     "plot-vpp-throughput-latency"
2729   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
2730   parameters:
2731   - "latency"
2732   - "parent"
2733   traces:
2734     boxmean: False
2735   layout:
2736     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2737     layout:
2738       "plot-latency"
2739
2740 # VPP IP6
2741 -
2742   type: "plot"
2743   title: "VPP Latency 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2744   algorithm: "plot_latency_box"
2745   output-file-type: ".html"
2746   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc-lat50"
2747   data:
2748     "plot-vpp-throughput-latency"
2749   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2750   parameters:
2751   - "latency"
2752   - "parent"
2753   traces:
2754     boxmean: False
2755   layout:
2756     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2757     layout:
2758       "plot-latency"
2759
2760 -
2761   type: "plot"
2762   title: "VPP Latency 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2763   algorithm: "plot_latency_box"
2764   output-file-type: ".html"
2765   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc-lat50"
2766   data:
2767     "plot-vpp-throughput-latency"
2768   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2769   parameters:
2770   - "latency"
2771   - "parent"
2772   traces:
2773     boxmean: False
2774   layout:
2775     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2776     layout:
2777       "plot-latency"
2778
2779 # VPP IP4_overlay
2780 -
2781   type: "plot"
2782   title: "VPP Latency 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2783   algorithm: "plot_latency_box"
2784   output-file-type: ".html"
2785   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc-lat50"
2786   data:
2787     "plot-vpp-throughput-latency"
2788   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2789   parameters:
2790   - "latency"
2791   - "parent"
2792   traces:
2793     boxmean: False
2794   layout:
2795     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2796     layout:
2797       "plot-latency"
2798
2799 -
2800   type: "plot"
2801   title: "VPP Latency 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2802   algorithm: "plot_latency_box"
2803   output-file-type: ".html"
2804   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc-lat50"
2805   data:
2806     "plot-vpp-throughput-latency"
2807   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2808   parameters:
2809   - "latency"
2810   - "parent"
2811   traces:
2812     boxmean: False
2813   layout:
2814     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2815     layout:
2816       "plot-latency"
2817
2818 # VPP IP6_overlay
2819 -
2820   type: "plot"
2821   title: "VPP Latency 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2822   algorithm: "plot_latency_box"
2823   output-file-type: ".html"
2824   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc-lat50"
2825   data:
2826     "plot-vpp-throughput-latency"
2827   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2828   parameters:
2829   - "latency"
2830   - "parent"
2831   traces:
2832     boxmean: False
2833   layout:
2834     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2835     layout:
2836       "plot-latency"
2837
2838 -
2839   type: "plot"
2840   title: "VPP Latency 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2841   algorithm: "plot_latency_box"
2842   output-file-type: ".html"
2843   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc-lat50"
2844   data:
2845     "plot-vpp-throughput-latency"
2846   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2847   parameters:
2848   - "latency"
2849   - "parent"
2850   traces:
2851     boxmean: False
2852   layout:
2853     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2854     layout:
2855       "plot-latency"
2856
2857 # VPP VM VHOST
2858 -
2859   type: "plot"
2860   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
2861   algorithm: "plot_latency_box"
2862   output-file-type: ".html"
2863   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc-lat50"
2864   data:
2865     "plot-vpp-throughput-latency"
2866   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2867   parameters:
2868   - "latency"
2869   - "parent"
2870   traces:
2871     boxmean: False
2872   layout:
2873     title: "64B-1t1c-.*vhost.*-ndrdisc"
2874     layout:
2875       "plot-latency"
2876
2877 -
2878   type: "plot"
2879   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
2880   algorithm: "plot_latency_box"
2881   output-file-type: ".html"
2882   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc-lat50"
2883   data:
2884     "plot-vpp-throughput-latency"
2885   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2886   parameters:
2887   - "latency"
2888   - "parent"
2889   traces:
2890     boxmean: False
2891   layout:
2892     title: "64B-2t2c-.*vhost.*-ndrdisc"
2893     layout:
2894       "plot-latency"
2895
2896 # VPP VM VHOST selection
2897 -
2898   type: "plot"
2899   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
2900   algorithm: "plot_latency_box"
2901   output-file-type: ".html"
2902   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc-lat50"
2903   data:
2904     "plot-vpp-throughput-latency"
2905   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2906   parameters:
2907   - "latency"
2908   - "parent"
2909   traces:
2910     boxmean: False
2911   layout:
2912     title: "64B-1t1c-.*vhost.*-ndrdisc"
2913     layout:
2914       "plot-latency"
2915
2916 -
2917   type: "plot"
2918   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
2919   algorithm: "plot_latency_box"
2920   output-file-type: ".html"
2921   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc-lat50"
2922   data:
2923     "plot-vpp-throughput-latency"
2924   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2925   parameters:
2926   - "latency"
2927   - "parent"
2928   traces:
2929     boxmean: False
2930   layout:
2931     title: "64B-2t2c-.*vhost.*-ndrdisc"
2932     layout:
2933       "plot-latency"
2934
2935 # VPP CRYPTO
2936 -
2937   type: "plot"
2938   title: "VPP Latency 64B-1t1c-.*ipsec.*-ndrdisc"
2939   algorithm: "plot_latency_box"
2940   output-file-type: ".html"
2941   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc-lat50"
2942   data:
2943     "plot-vpp-throughput-latency"
2944   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2945   parameters:
2946   - "latency"
2947   - "parent"
2948   traces:
2949     boxmean: False
2950   layout:
2951     title: "64B-1t1c-.*ipsec.*-ndrdisc"
2952     layout:
2953       "plot-latency"
2954
2955 -
2956   type: "plot"
2957   title: "VPP Latency 64B-2t2c-.*ipsec.*-ndrdisc"
2958   algorithm: "plot_latency_box"
2959   output-file-type: ".html"
2960   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc-lat50"
2961   data:
2962     "plot-vpp-throughput-latency"
2963   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2964   parameters:
2965   - "latency"
2966   - "parent"
2967   traces:
2968     boxmean: False
2969   layout:
2970     title: "64B-2t2c-.*ipsec.*-ndrdisc"
2971     layout:
2972       "plot-latency"
2973
2974 # DPDK
2975 -
2976   type: "plot"
2977   title: "DPDK Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2978   algorithm: "plot_latency_box"
2979   output-file-type: ".html"
2980   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc-lat50"
2981   data:
2982     "plot-dpdk-throughput-latency"
2983   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2984   parameters:
2985   - "latency"
2986   - "parent"
2987   traces:
2988     boxmean: False
2989   layout:
2990     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2991     layout:
2992       "plot-latency"
2993
2994 -
2995   type: "plot"
2996   title: "DPDK Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2997   algorithm: "plot_latency_box"
2998   output-file-type: ".html"
2999   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc-lat50"
3000   data:
3001     "plot-dpdk-throughput-latency"
3002   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3003   parameters:
3004   - "latency"
3005   - "parent"
3006   traces:
3007     boxmean: False
3008   layout:
3009     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3010     layout:
3011       "plot-latency"
3012
3013 -
3014   type: "plot"
3015   title: "DPDK Latency 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3016   algorithm: "plot_latency_box"
3017   output-file-type: ".html"
3018   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc-lat50"
3019   data:
3020     "plot-dpdk-throughput-latency"
3021   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
3022   parameters:
3023   - "latency"
3024   - "parent"
3025   traces:
3026     boxmean: False
3027   layout:
3028     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3029     layout:
3030       "plot-latency"
3031
3032 -
3033   type: "plot"
3034   title: "DPDK Latency 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3035   algorithm: "plot_latency_box"
3036   output-file-type: ".html"
3037   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc-lat50"
3038   data:
3039     "plot-dpdk-throughput-latency"
3040   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
3041   parameters:
3042   - "latency"
3043   - "parent"
3044   traces:
3045     boxmean: False
3046   layout:
3047     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3048     layout:
3049       "plot-latency"
3050
3051 # Ligato - Throughput
3052
3053 # Container memif
3054 -
3055   type: "plot"
3056   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3057   algorithm: "plot_performance_box"
3058   output-file-type: ".html"
3059   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc"
3060   data:
3061     "plot-vpp-throughput-latency"
3062   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3063   parameters:
3064   - "throughput"
3065   - "parent"
3066   traces:
3067     hoverinfo: "x+y"
3068     boxpoints: "outliers"
3069     whiskerwidth: 0
3070   layout:
3071     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3072     xaxis:
3073       autorange: True
3074       autotick: False
3075       fixedrange: False
3076       gridcolor: "rgb(238, 238, 238)"
3077       linecolor: "rgb(238, 238, 238)"
3078       linewidth: 1
3079       showgrid: True
3080       showline: True
3081       showticklabels: True
3082       tickcolor: "rgb(238, 238, 238)"
3083       tickmode: "linear"
3084       title: "Indexed Test Cases"
3085       zeroline: False
3086     yaxis:
3087       gridcolor: "rgb(238, 238, 238)'"
3088       hoverformat: ".4s"
3089       linecolor: "rgb(238, 238, 238)"
3090       linewidth: 1
3091       range: [0, 4500000]
3092       showgrid: True
3093       showline: True
3094       showticklabels: True
3095       tickcolor: "rgb(238, 238, 238)"
3096       title: "Packets Per Second [pps]"
3097       zeroline: False
3098     boxmode: "group"
3099     boxgroupgap: 0.5
3100     autosize: False
3101     margin:
3102       t: 50
3103       b: 20
3104       l: 50
3105       r: 20
3106     showlegend: True
3107     legend:
3108       orientation: "h"
3109     width: 700
3110     height: 1000
3111
3112 -
3113   type: "plot"
3114   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3115   algorithm: "plot_performance_box"
3116   output-file-type: ".html"
3117   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc"
3118   data:
3119     "plot-vpp-throughput-latency"
3120   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3121   parameters:
3122   - "throughput"
3123   - "parent"
3124   traces:
3125     hoverinfo: "x+y"
3126     boxpoints: "outliers"
3127     whiskerwidth: 0
3128   layout:
3129     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3130     xaxis:
3131       autorange: True
3132       autotick: False
3133       fixedrange: False
3134       gridcolor: "rgb(238, 238, 238)"
3135       linecolor: "rgb(238, 238, 238)"
3136       linewidth: 1
3137       showgrid: True
3138       showline: True
3139       showticklabels: True
3140       tickcolor: "rgb(238, 238, 238)"
3141       tickmode: "linear"
3142       title: "Indexed Test Cases"
3143       zeroline: False
3144     yaxis:
3145       gridcolor: "rgb(238, 238, 238)'"
3146       hoverformat: ".4s"
3147       linecolor: "rgb(238, 238, 238)"
3148       linewidth: 1
3149       range: [0, 8000000]
3150       showgrid: True
3151       showline: True
3152       showticklabels: True
3153       tickcolor: "rgb(238, 238, 238)"
3154       title: "Packets Per Second [pps]"
3155       zeroline: False
3156     boxmode: "group"
3157     boxgroupgap: 0.5
3158     autosize: False
3159     margin:
3160       t: 50
3161       b: 20
3162       l: 50
3163       r: 20
3164     showlegend: True
3165     legend:
3166       orientation: "h"
3167     width: 700
3168     height: 1000
3169
3170 -
3171   type: "plot"
3172   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3173   algorithm: "plot_performance_box"
3174   output-file-type: ".html"
3175   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-pdrdisc"
3176   data:
3177     "plot-vpp-throughput-latency"
3178   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3179   parameters:
3180   - "throughput"
3181   - "parent"
3182   traces:
3183     hoverinfo: "x+y"
3184     boxpoints: "outliers"
3185     whiskerwidth: 0
3186   layout:
3187     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3188     xaxis:
3189       autorange: True
3190       autotick: False
3191       fixedrange: False
3192       gridcolor: "rgb(238, 238, 238)"
3193       linecolor: "rgb(238, 238, 238)"
3194       linewidth: 1
3195       showgrid: True
3196       showline: True
3197       showticklabels: True
3198       tickcolor: "rgb(238, 238, 238)"
3199       tickmode: "linear"
3200       title: "Indexed Test Cases"
3201       zeroline: False
3202     yaxis:
3203       gridcolor: "rgb(238, 238, 238)'"
3204       hoverformat: ".4s"
3205       linecolor: "rgb(238, 238, 238)"
3206       linewidth: 1
3207       range: [0, 4500000]
3208       showgrid: True
3209       showline: True
3210       showticklabels: True
3211       tickcolor: "rgb(238, 238, 238)"
3212       title: "Packets Per Second [pps]"
3213       zeroline: False
3214     boxmode: "group"
3215     boxgroupgap: 0.5
3216     autosize: False
3217     margin:
3218       t: 50
3219       b: 20
3220       l: 50
3221       r: 20
3222     showlegend: True
3223     legend:
3224       orientation: "h"
3225     width: 700
3226     height: 1000
3227
3228 -
3229   type: "plot"
3230   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3231   algorithm: "plot_performance_box"
3232   output-file-type: ".html"
3233   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-pdrdisc"
3234   data:
3235     "plot-vpp-throughput-latency"
3236   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3237   parameters:
3238   - "throughput"
3239   - "parent"
3240   traces:
3241     hoverinfo: "x+y"
3242     boxpoints: "outliers"
3243     whiskerwidth: 0
3244   layout:
3245     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3246     xaxis:
3247       autorange: True
3248       autotick: False
3249       fixedrange: False
3250       gridcolor: "rgb(238, 238, 238)"
3251       linecolor: "rgb(238, 238, 238)"
3252       linewidth: 1
3253       showgrid: True
3254       showline: True
3255       showticklabels: True
3256       tickcolor: "rgb(238, 238, 238)"
3257       tickmode: "linear"
3258       title: "Indexed Test Cases"
3259       zeroline: False
3260     yaxis:
3261       gridcolor: "rgb(238, 238, 238)'"
3262       hoverformat: ".4s"
3263       linecolor: "rgb(238, 238, 238)"
3264       linewidth: 1
3265       range: [0, 8000000]
3266       showgrid: True
3267       showline: True
3268       showticklabels: True
3269       tickcolor: "rgb(238, 238, 238)"
3270       title: "Packets Per Second [pps]"
3271       zeroline: False
3272     boxmode: "group"
3273     boxgroupgap: 0.5
3274     autosize: False
3275     margin:
3276       t: 50
3277       b: 20
3278       l: 50
3279       r: 20
3280     showlegend: True
3281     legend:
3282       orientation: "h"
3283     width: 700
3284     height: 1000
3285
3286 # Container orchestrated
3287 -
3288   type: "plot"
3289   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3290   algorithm: "plot_performance_box"
3291   output-file-type: ".html"
3292   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc"
3293   data:
3294     "plot-ligato-throughput-latency"
3295   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3296   parameters:
3297   - "throughput"
3298   - "parent"
3299   traces:
3300     hoverinfo: "x+y"
3301     boxpoints: "outliers"
3302     whiskerwidth: 0
3303   layout:
3304     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3305     layout:
3306       "plot-throughput"
3307
3308 -
3309   type: "plot"
3310   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3311   algorithm: "plot_performance_box"
3312   output-file-type: ".html"
3313   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc"
3314   data:
3315     "plot-ligato-throughput-latency"
3316   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3317   parameters:
3318   - "throughput"
3319   - "parent"
3320   traces:
3321     hoverinfo: "x+y"
3322     boxpoints: "outliers"
3323     whiskerwidth: 0
3324   layout:
3325     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3326     layout:
3327       "plot-throughput"
3328
3329 -
3330   type: "plot"
3331   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3332   algorithm: "plot_performance_box"
3333   output-file-type: ".html"
3334   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-pdrdisc"
3335   data:
3336     "plot-ligato-throughput-latency"
3337   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3338   parameters:
3339   - "throughput"
3340   - "parent"
3341   traces:
3342     hoverinfo: "x+y"
3343     boxpoints: "outliers"
3344     whiskerwidth: 0
3345   layout:
3346     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3347     layout:
3348       "plot-throughput"
3349
3350 -
3351   type: "plot"
3352   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3353   algorithm: "plot_performance_box"
3354   output-file-type: ".html"
3355   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-pdrdisc"
3356   data:
3357     "plot-ligato-throughput-latency"
3358   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3359   parameters:
3360   - "throughput"
3361   - "parent"
3362   traces:
3363     hoverinfo: "x+y"
3364     boxpoints: "outliers"
3365     whiskerwidth: 0
3366   layout:
3367     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3368     layout:
3369       "plot-throughput"
3370
3371 # Ligato - Latency
3372
3373 # Container memif
3374 -
3375   type: "plot"
3376   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3377   algorithm: "plot_latency_box"
3378   output-file-type: ".html"
3379   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc-lat50"
3380   data:
3381     "plot-vpp-throughput-latency"
3382   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3383   parameters:
3384   - "latency"
3385   - "parent"
3386   traces:
3387     boxmean: False
3388   layout:
3389     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3390     layout:
3391       "plot-latency"
3392
3393 -
3394   type: "plot"
3395   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3396   algorithm: "plot_latency_box"
3397   output-file-type: ".html"
3398   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc-lat50"
3399   data:
3400     "plot-vpp-throughput-latency"
3401   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3402   parameters:
3403   - "latency"
3404   - "parent"
3405   traces:
3406     boxmean: False
3407   layout:
3408     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3409     layout:
3410       "plot-latency"
3411
3412 # Container orchestrated
3413 -
3414   type: "plot"
3415   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3416   algorithm: "plot_latency_box"
3417   output-file-type: ".html"
3418   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc-lat50"
3419   data:
3420     "plot-ligato-throughput-latency"
3421   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3422   parameters:
3423   - "latency"
3424   - "parent"
3425   traces:
3426     boxmean: False
3427   layout:
3428     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3429     layout:
3430       "plot-latency"
3431
3432 -
3433   type: "plot"
3434   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3435   algorithm: "plot_latency_box"
3436   output-file-type: ".html"
3437   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc-lat50"
3438   data:
3439     "plot-ligato-throughput-latency"
3440   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3441   parameters:
3442   - "latency"
3443   - "parent"
3444   traces:
3445     boxmean: False
3446   layout:
3447     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3448     layout:
3449       "plot-latency"