resources/tools/presentation/specification.yaml

   1 -
   2   type: "environment"
   3   configuration:
   4     # Debug mode:
   5     # - Skip:
   6     #   - Download of input data files
   7     # - Do:
   8     #   - Read data from given zip / xml files
   9     #   - Set the configuration as it is done in normal mode
  10     # If the section "type: debug" is missing, CFG[DEBUG] is set to 0.
  11     CFG[DEBUG]: 0
  12
  13   paths:
  14     # Top level directories:
  15     ## Working directory
  16     DIR[WORKING]: "_tmp"
  17     ## Build directories
  18     DIR[BUILD,HTML]: "_build"
  19     DIR[BUILD,LATEX]: "_build_latex"
  20
  21     # Static .rst files
  22     DIR[RST]: "../../../docs/report"
  23
  24     # Working directories
  25     ## Input data files (.zip, .xml)
  26     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
  27     ## Static source files from git
  28     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
  29     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
  30
  31     # Static html content
  32     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
  33     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
  34     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
  35     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
  36
  37     # Detailed test results
  38     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
  39     DIR[DTR,PERF,DPDK]: "{DIR[DTR]}/dpdk_performance_results"
  40     DIR[DTR,PERF,VPP]: "{DIR[DTR]}/vpp_performance_results"
  41     DIR[DTR,PERF,COT]: "{DIR[DTR]}/cot_performance_results"
  42     DIR[DTR,PERF,HC]: "{DIR[DTR]}/honeycomb_performance_results"
  43     DIR[DTR,FUNC,VPP]: "{DIR[DTR]}/vpp_functional_results"
  44     DIR[DTR,FUNC,HC]: "{DIR[DTR]}/honeycomb_functional_results"
  45     DIR[DTR,FUNC,NSHSFC]: "{DIR[DTR]}/nshsfc_functional_results"
  46     DIR[DTR,PERF,VPP,IMPRV]: "{DIR[WORKING,SRC]}/vpp_performance_tests/performance_improvements"
  47
  48     # Detailed test configurations
  49     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
  50     DIR[DTC,PERF,VPP]: "{DIR[DTC]}/vpp_performance_configuration"
  51     DIR[DTC,FUNC,VPP]: "{DIR[DTC]}/vpp_functional_configuration"
  52
  53     # Detailed tests operational data
  54     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
  55     DIR[DTO,PERF,VPP]: "{DIR[DTO]}/vpp_performance_operational_data"
  56
  57     # .css patch file to fix tables generated by Sphinx
  58     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
  59     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
  60
  61   urls:
  62     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
  63     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
  64     URL[NEXUS]: "https://docs.fd.io/csit"
  65     DIR[NEXUS]: "report/_static/archive"
  66
  67   make-dirs:
  68   # List the directories which are created while preparing the environment.
  69   # All directories MUST be defined in "paths" section.
  70   - "DIR[WORKING,DATA]"
  71   - "DIR[STATIC,VPP]"
  72   - "DIR[STATIC,DPDK]"
  73   - "DIR[STATIC,ARCH]"
  74   - "DIR[BUILD,LATEX]"
  75   - "DIR[WORKING,SRC]"
  76   - "DIR[WORKING,SRC,STATIC]"
  77
  78   remove-dirs:
  79   # List the directories which are deleted while cleaning the environment.
  80   # All directories MUST be defined in "paths" section.
  81   #- "DIR[BUILD,HTML]"
  82
  83   build-dirs:
  84   # List the directories where the results (build) is stored.
  85   # All directories MUST be defined in "paths" section.
  86   - "DIR[BUILD,HTML]"
  87   - "DIR[BUILD,LATEX]"
  88
  89 -
  90   type: "configuration"
  91   data-sets:
  92     plot-vpp-http-server-performance:
  93 # TODO: Add the data sources
  94       csit-vpp-perf-1801-all:
  95       - 157
  96       - 158
  97       - 159
  98       - 160
  99       - 161
 100       - 164
 101       - 165
 102       - 166
 103       - 168
 104       - 169
 105       - 170
 106 # TODO: Add the data sources
 107 #    vpp-meltdown-impact:
 108 #      csit-vpp-perf-1707-all:
 109 #      - 9
 110 #      - 10
 111 #      - 13
 112 #      csit-vpp-perf-1710-all:
 113 #      - 11l
 114 #      - 12
 115 #      - 13
 116 # TODO: Add the data sources
 117 #    vpp-spectre-impact:
 118 #      csit-vpp-perf-1707-all:
 119 #      - 9
 120 #      - 10
 121 #      - 13
 122 #      csit-vpp-perf-1710-all:
 123 #      - 11
 124 #      - 12
 125 #      - 13
 126     vpp-performance-changes:
 127       csit-vpp-perf-1710-all:
 128       - 11
 129       - 12
 130       - 13
 131       - 14
 132       - 15
 133       - 16
 134       - 17
 135       - 18
 136       - 19
 137       - 20
 138       csit-vpp-perf-1801-all:
 139       - 124  # sel
 140       - 127  # sel
 141       - 128  # sel
 142       - 141  # sel
 143       - 142  # sel
 144       - 143  # sel
 145       - 145  # sel
 146       - 146  # sel
 147       - 162  # sel
 148       - 163  # sel
 149       - 167  # sel
 150       - 172  # sel acl only
 151       csit-vpp-perf-1804-all:
 152       - 1   # sel
 153       - 13  # sel
 154       - 14  # sel
 155       - 16  # full
 156       - 17  # sel
 157       - 18  # full
 158     vpp-performance-changes-mrr:
 159       csit-vpp-perf-check-1801:
 160       - 1
 161       - 2
 162       - 3
 163       - 4
 164       - 5
 165       - 6
 166       - 7
 167       - 8
 168       - 9
 169       - 11
 170       - 12
 171       - 13
 172       csit-vpp-perf-check-1804:
 173       - 1   # mrr
 174       - 2   # mrr
 175       - 3   # mrr
 176       - 4   # mrr
 177     plot-throughput-speedup-analysis:
 178       csit-vpp-perf-1804-all:
 179       - 1   # sel
 180       - 13  # sel
 181       - 14  # sel
 182       - 16  # full
 183       - 17  # sel
 184       - 18  # full
 185 #    performance-improvements:
 186 #      csit-vpp-perf-1707-all:
 187 #      - 9
 188 #      - 10
 189 #      - 13
 190 #      - 14
 191 #      - 15
 192 #      - 16
 193 #      - 17
 194 #      - 18
 195 #      - 19
 196 #      - 21
 197 #      csit-vpp-perf-1710-all:
 198 #      - 11
 199 #      - 12
 200 #      - 13
 201 #      - 14
 202 #      - 15
 203 #      - 16
 204 #      - 17
 205 #      - 18
 206 #      - 19
 207 #      - 20
 208 #      csit-vpp-perf-1801-all:
 209 #      - 124
 210 #      - 127
 211 #      - 128
 212 #      csit-ligato-perf-1710-all:
 213 #      - 5
 214 #      - 7
 215 #      - 8
 216 #      - 9
 217 #      - 10
 218 #      - 11
 219 #      - 12
 220 #      - 13
 221 #      - 16
 222 #      - 17
 223 #      csit-ligato-perf-1801-all:
 224 #      - 16  # sel
 225 #      - 17  # sel
 226 #      - 18  # sel
 227 #      - 19  # sel
 228 #      - 20  # sel
 229 #      - 21  # sel
 230 #      - 22  # sel
 231 #      - 23  # sel
 232 #      - 24  # sel
 233     vpp-perf-results:
 234       csit-vpp-perf-1804-all:
 235       - 16  # full
 236       - 18  # full
 237     vpp-func-results:
 238       csit-vpp-functional-1804-ubuntu1604-virl:
 239       - "lastSuccessfulBuild"
 240     ligato-perf-results:
 241       csit-ligato-perf-1801-all:
 242       - 25  # full
 243     dpdk-perf-results:
 244       csit-dpdk-perf-1804-all:
 245       - 15
 246     hc-func-results:
 247       csit-hc2vpp-verify-func-1801-ubuntu1604:
 248       - "lastSuccessfulBuild"
 249     nsh-func-results:
 250       csit-nsh_sfc-verify-func-1804-ubuntu1604-virl:
 251       - "lastSuccessfulBuild"
 252     plot-vpp-throughput-latency:
 253       csit-vpp-perf-1804-all:
 254       - 1   # sel
 255       - 13  # sel
 256       - 14  # sel
 257       - 16  # full
 258       - 17  # sel
 259       - 18  # full
 260     plot-dpdk-throughput-latency:
 261       csit-dpdk-perf-1804-all:
 262       - 4
 263       - 5
 264       - 6
 265       - 7
 266       - 8
 267       - 9
 268       - 10
 269       - 11
 270       - 12
 271       - 13
 272       - 14
 273       - 15
 274     plot-ligato-throughput-latency:
 275       csit-ligato-perf-1801-all:
 276       - 16  # sel
 277       - 17  # sel
 278       - 18  # sel
 279       - 19  # sel
 280       - 20  # sel
 281       - 21  # sel
 282       - 22  # sel
 283       - 23  # sel
 284       - 24  # sel
 285
 286   plot-layouts:
 287
 288     plot-cps:
 289       xaxis:
 290         autorange: True
 291         autotick: False
 292         fixedrange: False
 293         gridcolor: "rgb(238, 238, 238)"
 294         linecolor: "rgb(238, 238, 238)"
 295         linewidth: 1
 296         showgrid: True
 297         showline: True
 298         showticklabels: True
 299         tickcolor: "rgb(238, 238, 238)"
 300         tickmode: "linear"
 301         title: "Indexed Test Cases"
 302         zeroline: False
 303       yaxis:
 304         gridcolor: "rgb(238, 238, 238)'"
 305         hoverformat: ".4s"
 306         linecolor: "rgb(238, 238, 238)"
 307         linewidth: 1
 308         range: []
 309         rangemode: "tozero"
 310         showgrid: True
 311         showline: True
 312         showticklabels: True
 313         tickcolor: "rgb(238, 238, 238)"
 314         title: "Connections Per Second [cps]"
 315         zeroline: False
 316       boxmode: "group"
 317       boxgroupgap: 0.5
 318       autosize: False
 319       margin:
 320         t: 50
 321         b: 20
 322         l: 50
 323         r: 20
 324       showlegend: True
 325       legend:
 326         orientation: "h"
 327       width: 700
 328       height: 1000
 329
 330     plot-rps:
 331       xaxis:
 332         autorange: True
 333         autotick: False
 334         fixedrange: False
 335         gridcolor: "rgb(238, 238, 238)"
 336         linecolor: "rgb(238, 238, 238)"
 337         linewidth: 1
 338         showgrid: True
 339         showline: True
 340         showticklabels: True
 341         tickcolor: "rgb(238, 238, 238)"
 342         tickmode: "linear"
 343         title: "Indexed Test Cases"
 344         zeroline: False
 345       yaxis:
 346         gridcolor: "rgb(238, 238, 238)'"
 347         hoverformat: ".4s"
 348         linecolor: "rgb(238, 238, 238)"
 349         linewidth: 1
 350         range: []
 351         rangemode: "tozero"
 352         showgrid: True
 353         showline: True
 354         showticklabels: True
 355         tickcolor: "rgb(238, 238, 238)"
 356         title: "Requests Per Second [rps]"
 357         zeroline: False
 358       boxmode: "group"
 359       boxgroupgap: 0.5
 360       autosize: False
 361       margin:
 362         t: 50
 363         b: 20
 364         l: 50
 365         r: 20
 366       showlegend: True
 367       legend:
 368         orientation: "h"
 369       width: 700
 370       height: 1000
 371
 372     plot-throughput:
 373       xaxis:
 374         autorange: True
 375         autotick: False
 376         fixedrange: False
 377         gridcolor: "rgb(238, 238, 238)"
 378         linecolor: "rgb(238, 238, 238)"
 379         linewidth: 1
 380         showgrid: True
 381         showline: True
 382         showticklabels: True
 383         tickcolor: "rgb(238, 238, 238)"
 384         tickmode: "linear"
 385         title: "Indexed Test Cases"
 386         zeroline: False
 387       yaxis:
 388         gridcolor: "rgb(238, 238, 238)'"
 389         hoverformat: ".4s"
 390         linecolor: "rgb(238, 238, 238)"
 391         linewidth: 1
 392         range: []
 393         showgrid: True
 394         showline: True
 395         showticklabels: True
 396         tickcolor: "rgb(238, 238, 238)"
 397         title: "Packets Per Second [pps]"
 398         zeroline: False
 399       boxmode: "group"
 400       boxgroupgap: 0.5
 401       autosize: False
 402       margin:
 403         t: 50
 404         b: 20
 405         l: 50
 406         r: 20
 407       showlegend: True
 408       legend:
 409         orientation: "h"
 410       width: 700
 411       height: 1000
 412
 413     plot-latency:
 414       xaxis:
 415         autorange: True
 416         autotick: False
 417         fixedrange: False
 418         gridcolor: "rgb(238, 238, 238)"
 419         linecolor: "rgb(238, 238, 238)"
 420         linewidth: 1
 421         showgrid: True
 422         showline: True
 423         showticklabels: True
 424         tickcolor: "rgb(238, 238, 238)"
 425         tickmode: "linear"
 426         title: "Indexed Test Cases"
 427         zeroline: False
 428       yaxis:
 429         gridcolor: "rgb(238, 238, 238)'"
 430         hoverformat: ""
 431         linecolor: "rgb(238, 238, 238)"
 432         linewidth: 1
 433         range: []
 434         showgrid: True
 435         showline: True
 436         showticklabels: True
 437         tickcolor: "rgb(238, 238, 238)"
 438         title: "Latency min/avg/max [uSec]"
 439         zeroline: False
 440       boxmode: "group"
 441       boxgroupgap: 0.5
 442       autosize: False
 443       margin:
 444         t: 50
 445         b: 20
 446         l: 50
 447         r: 20
 448       showlegend: True
 449       legend:
 450         orientation: "h"
 451       width: 700
 452       height: 1000
 453
 454     plot-throughput-speedup-analysis:
 455       xaxis:
 456         autorange: True
 457         autotick: False
 458         fixedrange: False
 459         gridcolor: "rgb(238, 238, 238)"
 460         linecolor: "rgb(238, 238, 238)"
 461         linewidth: 1
 462         showgrid: True
 463         showline: True
 464         showticklabels: True
 465         tickcolor: "rgb(238, 238, 238)"
 466         tickmode: "linear"
 467         tickangle: 270
 468         zeroline: False
 469       yaxis:
 470         title: "Throughput speedup factor"
 471         gridcolor: "rgb(238, 238, 238)"
 472         hoverformat: ".4s"
 473         linecolor: "rgb(238, 238, 238)"
 474         linewidth: 1
 475         range: []
 476         showgrid: True
 477         showline: True
 478         showticklabels: True
 479         tickcolor: "rgb(238, 238, 238)"
 480         zeroline: False
 481       legend:
 482         orientation: "h"
 483         xanchor: "center"
 484         yanchor: "top"
 485         x: 0.5
 486         y: 1
 487         bgcolor: "rgba(255, 255, 255, 0)"
 488         bordercolor: "rgba(255, 255, 255, 0)"
 489       barmode: "group"
 490       bargap: 0.15
 491       bargroupgap: 0.1
 492       autosize: False
 493       margin:
 494           't': 50
 495           'b': 200
 496           'l': 50
 497           'r': 20
 498       showlegend: True
 499       width: 700
 500       height: 1000
 501
 502 -
 503   type: "debug"
 504   general:
 505     input-format: "xml"  # zip or xml
 506     extract: "robot-plugin/output.xml"  # Only for zip
 507   builds:
 508     # The files must be in the directory DIR[WORKING,DATA]
 509     csit-vpp-perf-1801-all:
 510     -
 511       build: 1
 512       file: "{DIR[WORKING,DATA]}/output.xml"
 513     -
 514       build: 2
 515       file: "{DIR[WORKING,DATA]}/output.xml"
 516     -
 517       build: 3
 518       file: "{DIR[WORKING,DATA]}/output.xml"
 519     -
 520       build: 4
 521       file: "{DIR[WORKING,DATA]}/output.xml"
 522
 523 -
 524   type: "static"
 525   src-path: "{DIR[RST]}"
 526   dst-path: "{DIR[WORKING,SRC]}"
 527
 528 -
 529   type: "input"  # Ignored in debug mode
 530   general:
 531     file-name: "robot-plugin.zip"
 532     file-format: ".zip"
 533     download-path: "{job}/{build}/robot/report/*zip*/{filename}"
 534     extract: "robot-plugin/output.xml"
 535   builds:
 536 #    csit-vpp-perf-1707-all:
 537 #    - 9
 538 #    - 10
 539 #    - 13
 540 #    - 14
 541 #    - 15
 542 #    - 16
 543 #    - 17
 544 #    - 18
 545 #    - 19
 546 #    - 21
 547     csit-vpp-perf-1710-all:
 548     - 11
 549     - 12
 550     - 13
 551     - 14
 552     - 15
 553     - 16
 554     - 17
 555     - 18
 556     - 19
 557     - 20
 558     csit-vpp-perf-1801-all:
 559     - 122  # full
 560     - 126  # full
 561     - 129  # full
 562     - 140  # full
 563     - 124  # sel
 564     - 127  # sel
 565     - 128  # sel
 566     - 141  # sel
 567     - 142  # sel
 568     - 143  # sel
 569     - 145  # sel
 570     - 146  # sel
 571     - 157  # wrk
 572     - 158  # wrk
 573     - 159  # wrk
 574     - 160  # wrk
 575     - 161  # wrk
 576     - 162  # sel
 577     - 163  # sel
 578     - 164  # wrk
 579     - 165  # wrk
 580     - 166  # wrk
 581     - 167  # sel
 582     - 168  # wrk
 583     - 169  # wrk
 584     - 170  # wrk
 585     - 172  # sel acl only
 586     csit-vpp-perf-1804-all:
 587     - 1   # sel
 588     - 13  # sel
 589     - 14  # sel
 590     - 16  # full
 591     - 17  # sel
 592     - 18  # full
 593     csit-vpp-perf-check-1801:
 594     - 1   # mrr
 595     - 2   # mrr
 596     - 3   # mrr
 597     - 4   # mrr
 598     - 5   # mrr
 599     - 6   # mrr
 600     - 7   # mrr
 601     - 8   # mrr
 602     - 9   # mrr
 603     - 11  # mrr
 604     - 12  # mrr
 605     - 13  # mrr
 606     csit-vpp-perf-check-1804:
 607     - 1   # mrr
 608     - 2   # mrr
 609     - 3   # mrr
 610     - 4   # mrr
 611 #    csit-ligato-perf-1710-all:
 612 #    - 5
 613 #    - 7
 614 #    - 8
 615 #    - 9
 616 #    - 10
 617 #    - 11
 618 #    - 12
 619 #    - 13
 620 #    - 16
 621 #    - 17
 622     csit-ligato-perf-1801-all:
 623     - 16  # sel
 624     - 17  # sel
 625     - 18  # sel
 626     - 19  # sel
 627     - 20  # sel
 628     - 21  # sel
 629     - 22  # sel
 630     - 23  # sel
 631     - 24  # sel
 632     - 25  # full
 633     csit-dpdk-perf-1804-all:
 634     - 4
 635     - 5
 636     - 6
 637     - 7
 638     - 8
 639     - 9
 640     - 10
 641     - 11
 642     - 12
 643     - 13
 644     - 14
 645     - 15
 646     csit-vpp-functional-1804-ubuntu1604-virl:
 647     - "lastSuccessfulBuild"
 648     csit-nsh_sfc-verify-func-1804-ubuntu1604-virl:
 649     - "lastSuccessfulBuild"
 650     csit-hc2vpp-verify-func-1801-ubuntu1604:
 651     - "lastSuccessfulBuild"
 652
 653 -
 654   type: "output"
 655   output: "report"
 656   format:
 657     html:
 658     - full
 659     pdf:
 660     - minimal
 661
 662 ################################################################################
 663 ###                               T A B L E S                                ###
 664 ################################################################################
 665
 666 #-
 667 #  type: "table"
 668 #  title: "Performance Impact of Meltdown Patches"
 669 #  algorithm: "table_performance_comparison"
 670 #  output-file-ext: ".csv"
 671 ## TODO: specify dir
 672 #  output-file: "{DIR[STATIC,VPP]}/meltdown-impact"
 673 #  reference:
 674 #    title: "No Meltdown"
 675 ## TODO: specify data sources
 676 #    data:
 677 #      csit-vpp-perf-1707-all:
 678 #      - 9
 679 #      - 10
 680 #      - 13
 681 #  compare:
 682 #    title: "Meltdown Patches Applied"
 683 ## TODO: specify data sources
 684 #    data:
 685 #      csit-vpp-perf-1710-all:
 686 #      - 11
 687 #      - 12
 688 #      - 13
 689 #  data:
 690 #    "vpp-meltdown-impact"
 691 #  filter: "all"
 692 #  parameters:
 693 #  - "name"
 694 #  - "parent"
 695 #  - "throughput"
 696 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
 697 #  # to present all tests.
 698 #  nr-of-tests-shown: 20
 699 #
 700 #-
 701 #  type: "table"
 702 #  title: "Performance Impact of Spectre Patches"
 703 #  algorithm: "table_performance_comparison"
 704 #  output-file-ext: ".csv"
 705 ## TODO: specify dir
 706 #  output-file: "{DIR[STATIC,VPP]}/meltdown-spectre-impact"
 707 #  reference:
 708 #    title: "No Spectre"
 709 ## TODO: specify data sources
 710 #    data:
 711 #      csit-vpp-perf-1707-all:
 712 #      - 9
 713 #      - 10
 714 #      - 13
 715 #  compare:
 716 #    title: "Spectre Patches Applied"
 717 ## TODO: specify data sources
 718 #    data:
 719 #      csit-vpp-perf-1710-all:
 720 #      - 11
 721 #      - 12
 722 #      - 13
 723 #  data:
 724 #    "vpp-spectre-impact"
 725 #  filter: "all"
 726 #  parameters:
 727 #  - "name"
 728 #  - "parent"
 729 #  - "throughput"
 730 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
 731 #  # to present all tests.
 732 #  nr-of-tests-shown: 20
 733
 734 -
 735   type: "table"
 736   title: "VPP Performance Changes"
 737   algorithm: "table_performance_comparison"
 738   output-file-ext: ".csv"
 739   output-file: "{DIR[STATIC,VPP]}/performance-changes"
 740 #  reference:
 741 #    title: "Release 1710"
 742 #    data:
 743 #      csit-vpp-perf-1710-all:
 744 #      - 11
 745 #      - 12
 746 #      - 13
 747 #      - 14
 748 #      - 15
 749 #      - 16
 750 #      - 17
 751 #      - 18
 752 #      - 19
 753 #      - 20
 754   reference:
 755     title: "Release 1801"
 756     data:
 757       csit-vpp-perf-1801-all:
 758       - 124  # sel
 759       - 127  # sel
 760       - 128  # sel
 761       - 141  # sel
 762       - 142  # sel
 763       - 143  # sel
 764       - 145  # sel
 765       - 146  # sel
 766       - 162  # sel
 767       - 163  # sel
 768       - 167  # sel
 769       - 172  # sel acl only
 770   compare:
 771     title: "Release 1804"
 772     data:
 773       csit-vpp-perf-1804-all:
 774       - 1
 775   data: "vpp-performance-changes"
 776   filter: "all"
 777   parameters:
 778   - "name"
 779   - "parent"
 780   - "throughput"
 781   # Number of the best and the worst tests presented in the table. Use 0 (zero)
 782   # to present all tests.
 783   nr-of-tests-shown: 20
 784   outlier-const: 1.5
 785
 786 -
 787   type: "table"
 788   title: "VPP Performance Changes - MRR"
 789   algorithm: "table_performance_comparison_mrr"
 790   output-file-ext: ".csv"
 791   output-file: "{DIR[STATIC,VPP]}/performance-changes-mrr"
 792   reference:
 793     title: "Release 1801"
 794     data:
 795       csit-vpp-perf-check-1801:
 796       - 1
 797       - 2
 798       - 3
 799       - 4
 800       - 5
 801       - 6
 802       - 7
 803       - 8
 804       - 9
 805       - 11
 806       - 12
 807       - 13
 808   compare:
 809     title: "Release 1804"
 810     data:
 811       csit-vpp-perf-check-1804:
 812       - 1
 813   data: "vpp-performance-changes-mrr"
 814   filter: "all"
 815   parameters:
 816   - "name"
 817   - "parent"
 818   - "result"
 819   # Number of the best and the worst tests presented in the table. Use 0 (zero)
 820   # to present all tests.
 821   nr-of-tests-shown: 20
 822   outlier-const: 1.5
 823
 824 #-
 825 #  type: "table"
 826 #  title: "Performance improvements"
 827 #  algorithm: "table_performance_improvements"
 828 #  template: "{DIR[DTR,PERF,VPP,IMPRV]}/tmpl_performance_improvements.csv"
 829 #  output-file-ext: ".csv"
 830 #  output-file: "{DIR[DTR,PERF,VPP,IMPRV]}/performance_improvements"
 831 #  columns:
 832 #  -
 833 #    title: "Test Name"
 834 #    data: "template 1"
 835 #  -
 836 #    title: "16.09 mean [Mpps]"
 837 #    data: "template 2"
 838 #  -
 839 #    title: "17.01 mean [Mpps]"
 840 #    data: "template 3"
 841 #  -
 842 #    title: "17.04 mean [Mpps]"
 843 #    data: "template 4"
 844 #  -
 845 #    title: "17.07 mean [Mpps]"
 846 #    data: "data csit-vpp-perf-1707-all mean"
 847 #  -
 848 #    title: "17.10 mean [Mpps]"
 849 #    data: "data csit-vpp-perf-1710-all csit-ligato-perf-1710-all mean"
 850 #  -
 851 #    title: "18.01 mean [Mpps]"
 852 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all mean"
 853 #  -
 854 #    title: "18.01 stdev [Mpps]"
 855 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all stdev"
 856 #  -
 857 #    title: "17.10 to 18.01 change [%]"
 858 #    data: "operation relative_change 5 6"
 859 #  rows: "generated"
 860 #  data:
 861 #    "performance-improvements"
 862 #  filter: "template"
 863 #  parameters:
 864 #  - "throughput"
 865
 866 -
 867   type: "table"
 868   title: "Detailed Test Results - VPP Performance Results"
 869   algorithm: "table_merged_details"
 870   output-file-ext: ".csv"
 871   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
 872   columns:
 873   -
 874     title: "Name"
 875     data: "data name"
 876   -
 877     title: "Documentation"
 878     data: "data doc"
 879   -
 880     title: "Status"
 881     data: "data msg"
 882   rows: "generated"
 883   data:
 884     "vpp-perf-results"
 885   filter: "not 'NDRCHK' and not 'PDRCHK'"
 886   parameters:
 887   - "name"
 888   - "parent"
 889   - "doc"
 890   - "msg"
 891
 892 -
 893   type: "table"
 894   title: "Test configuration - VPP Performance Test Configs"
 895   algorithm: "table_merged_details"
 896   output-file-ext: ".csv"
 897   output-file: "{DIR[DTC,PERF,VPP]}/vpp_test_configuration"
 898   columns:
 899   -
 900     title: "Name"
 901     data: "data name"
 902   -
 903     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
 904     data: "data vat-history"
 905   rows: "generated"
 906   data:
 907     "vpp-perf-results"
 908   filter: "not 'NDRCHK' and not 'PDRCHK'"
 909   parameters:
 910   - "parent"
 911   - "name"
 912   - "vat-history"
 913
 914 -
 915   type: "table"
 916   title: "Test Operational Data - VPP Performance Operational Data"
 917   algorithm: "table_merged_details"
 918   output-file-ext: ".csv"
 919   output-file: "{DIR[DTO,PERF,VPP]}/vpp_test_operational"
 920   columns:
 921   -
 922     title: "Name"
 923     data: "data name"
 924   -
 925     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
 926     data: "data show-run"
 927   rows: "generated"
 928   data:
 929     "vpp-perf-results"
 930   filter: "not 'NDRCHK' and not 'PDRCHK'"
 931   parameters:
 932   - "parent"
 933   - "name"
 934   - "show-run"
 935
 936 -
 937   type: "table"
 938   title: "Detailed Test Results - VPP Functional Results"
 939   algorithm: "table_details"
 940   output-file-ext: ".csv"
 941   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
 942   columns:
 943   -
 944     title: "Name"
 945     data: "data name"
 946   -
 947     title: "Documentation"
 948     data: "data doc"
 949   -
 950     title: "Status"
 951     data: "data status"
 952   rows: "generated"
 953   data:
 954     "vpp-func-results"
 955   filter: "all"
 956   parameters:
 957   - "name"
 958   - "parent"
 959   - "doc"
 960   - "status"
 961
 962 -
 963   type: "table"
 964   title: "Test configuration - VPP Functional Test Configs"
 965   algorithm: "table_details"
 966   output-file-ext: ".csv"
 967   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
 968   columns:
 969   -
 970     title: "Name"
 971     data: "data name"
 972   -
 973     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
 974     data: "data vat-history"
 975   rows: "generated"
 976   data:
 977     "vpp-func-results"
 978   filter: "all"
 979   parameters:
 980   - "parent"
 981   - "name"
 982   - "vat-history"
 983
 984 -
 985   type: "table"
 986   title: "Detailed Test Results - Container Orchestrated Topologies Performance Results"
 987   algorithm: "table_details"
 988   output-file-ext: ".csv"
 989   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
 990   columns:
 991   -
 992     title: "Name"
 993     data: "data name"
 994   -
 995     title: "Documentation"
 996     data: "data doc"
 997   -
 998     title: "Status"
 999     data: "data msg"
1000   rows: "generated"
1001   data:
1002     "ligato-perf-results"
1003   filter: "all"
1004   parameters:
1005   - "name"
1006   - "parent"
1007   - "doc"
1008   - "msg"
1009
1010 -
1011   type: "table"
1012   title: "Detailed Test Results - DPDK Performance Results"
1013   algorithm: "table_details"
1014   output-file-ext: ".csv"
1015   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
1016   columns:
1017   -
1018     title: "Name"
1019     data: "data name"
1020   -
1021     title: "Documentation"
1022     data: "data doc"
1023   -
1024     title: "Status"
1025     data: "data msg"
1026   rows: "generated"
1027   data:
1028     "dpdk-perf-results"
1029   filter: "all"
1030   parameters:
1031   - "name"
1032   - "parent"
1033   - "doc"
1034   - "msg"
1035
1036 -
1037   type: "table"
1038   title: "Detailed Test Results - Honeycomb Functional Results"
1039   algorithm: "table_details"
1040   output-file-ext: ".csv"
1041   output-file: "{DIR[DTR,FUNC,HC]}/hc_functional_results"
1042   columns:
1043   -
1044     title: "Name"
1045     data: "data name"
1046   -
1047     title: "Documentation"
1048     data: "data doc"
1049   -
1050     title: "Status"
1051     data: "data status"
1052   rows: "generated"
1053   data:
1054     "hc-func-results"
1055   filter: "all"
1056   parameters:
1057   - "name"
1058   - "parent"
1059   - "doc"
1060   - "status"
1061
1062 -
1063   type: "table"
1064   title: "Detailed Test Results - NSH SFC Functional Results"
1065   algorithm: "table_details"
1066   output-file-ext: ".csv"
1067   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nsh_sfc_functional_results"
1068   columns:
1069   -
1070     title: "Name"
1071     data: "data name"
1072   -
1073     title: "Documentation"
1074     data: "data doc"
1075   -
1076     title: "Status"
1077     data: "data status"
1078   rows: "generated"
1079   data:
1080     "nsh-func-results"
1081   filter: "all"
1082   parameters:
1083   - "name"
1084   - "parent"
1085   - "doc"
1086   - "status"
1087
1088 ################################################################################
1089 ###                                F I L E S                                 ###
1090 ################################################################################
1091
1092 -
1093   type: "file"
1094   title: "VPP Performance Results"
1095   algorithm: "file_merged_test_results"
1096   output-file-ext: ".rst"
1097   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
1098   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1099   dir-tables: "{DIR[DTR,PERF,VPP]}"
1100   data:
1101     "vpp-perf-results"
1102   filter: "not 'NDRCHK' and not 'PDRCHK'"
1103   parameters:
1104   - "name"
1105   - "doc"
1106   - "level"
1107   - "parent"
1108   data-start-level: 3  # 0, 1, 2, ...
1109   chapters-start-level: 2  # 0, 1, 2, ...
1110
1111 -
1112   type: "file"
1113   title: "VPP Performance Configuration"
1114   algorithm: "file_merged_test_results"
1115   output-file-ext: ".rst"
1116   output-file: "{DIR[DTC,PERF,VPP]}/vpp_performance_configuration"
1117   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1118   dir-tables: "{DIR[DTC,PERF,VPP]}"
1119   data:
1120     "vpp-perf-results"
1121   filter: "not 'NDRCHK' and not 'PDRCHK'"
1122   parameters:
1123   - "name"
1124   - "doc"
1125   - "level"
1126   - "parent"
1127   data-start-level: 3  # 0, 1, 2, ...
1128   chapters-start-level: 2  # 0, 1, 2, ...
1129
1130 -
1131   type: "file"
1132   title: "VPP Performance Operational Data"
1133   algorithm: "file_merged_test_results"
1134   output-file-ext: ".rst"
1135   output-file: "{DIR[DTO,PERF,VPP]}/vpp_performance_operational_data"
1136   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1137   dir-tables: "{DIR[DTO,PERF,VPP]}"
1138   data:
1139     "vpp-perf-results"
1140   filter: "not 'NDRCHK' and not 'PDRCHK'"
1141   parameters:
1142   - "name"
1143   - "doc"
1144   - "level"
1145   - "parent"
1146   data-start-level: 3  # 0, 1, 2, ...
1147   chapters-start-level: 2  # 0, 1, 2, ...
1148
1149 -
1150   type: "file"
1151   title: "VPP Functional Results"
1152   algorithm: "file_test_results"
1153   output-file-ext: ".rst"
1154   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
1155   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1156   dir-tables: "{DIR[DTR,FUNC,VPP]}"
1157   data:
1158     "vpp-func-results"
1159   filter: "all"
1160   parameters:
1161   - "name"
1162   - "doc"
1163   - "level"
1164   data-start-level: 3  # 0, 1, 2, ...
1165   chapters-start-level: 2  # 0, 1, 2, ...
1166
1167 -
1168   type: "file"
1169   title: "VPP Functional Configuration"
1170   algorithm: "file_test_results"
1171   output-file-ext: ".rst"
1172   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
1173   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1174   dir-tables: "{DIR[DTC,FUNC,VPP]}"
1175   data:
1176     "vpp-func-results"
1177   filter: "all"
1178   parameters:
1179   - "name"
1180   - "doc"
1181   - "level"
1182   data-start-level: 3  # 0, 1, 2, ...
1183   chapters-start-level: 2  # 0, 1, 2, ...
1184
1185 -
1186   type: "file"
1187   title: "Container Orchestrated Performance Results"
1188   algorithm: "file_test_results"
1189   output-file-ext: ".rst"
1190   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
1191   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1192   dir-tables: "{DIR[DTR,PERF,COT]}"
1193   data:
1194     "ligato-perf-results"
1195   filter: "all"
1196   parameters:
1197   - "name"
1198   - "doc"
1199   - "level"
1200   data-start-level: 2  # 0, 1, 2, ...
1201   chapters-start-level: 2  # 0, 1, 2, ...
1202
1203 -
1204   type: "file"
1205   title: "DPDK Performance Results"
1206   algorithm: "file_test_results"
1207   output-file-ext: ".rst"
1208   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
1209   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1210   dir-tables: "{DIR[DTR,PERF,DPDK]}"
1211   data:
1212     "dpdk-perf-results"
1213   filter: "all"
1214   parameters:
1215   - "name"
1216   - "doc"
1217   - "level"
1218   chapters:
1219   - "suites"
1220   data-start-level: 2  # 0, 1, 2, ...
1221   chapters-start-level: 2  # 0, 1, 2, ...
1222
1223 -
1224   type: "file"
1225   title: "Honeycomb Functional Results"
1226   algorithm: "file_test_results"
1227   output-file-ext: ".rst"
1228   output-file: "{DIR[DTR,FUNC,HC]}/honeycomb_functional_results"
1229   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1230   dir-tables: "{DIR[DTR,FUNC,HC]}"
1231   data:
1232     "hc-func-results"
1233   filter: "all"
1234   parameters:
1235   - "name"
1236   - "doc"
1237   - "level"
1238   chapters:
1239   - "suites"
1240   data-start-level: 3  # 0, 1, 2, ...
1241   chapters-start-level: 2  # 0, 1, 2, ...
1242
1243 -
1244   type: "file"
1245   title: "NSH SFC Functional Results"
1246   algorithm: "file_test_results"
1247   output-file-ext: ".rst"
1248   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nshsfc_functional_results"
1249   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1250   dir-tables: "{DIR[DTR,FUNC,NSHSFC]}"
1251   data:
1252     "nsh-func-results"
1253   filter: "all"
1254   parameters:
1255   - "name"
1256   - "doc"
1257   - "level"
1258   chapters:
1259   - "suites"
1260   data-start-level: 2  # 0, 1, 2, ...
1261   chapters-start-level: 2  # 0, 1, 2, ...
1262
1263 ################################################################################
1264 ###                                P L O T S                                 ###
1265 ################################################################################
1266
1267 # Plots VPP HTTP Server Performance
1268 -
1269   type: "plot"
1270   title: "VPP HTTP Server Performance"
1271   algorithm: "plot_http_server_performance_box"
1272   output-file-type: ".html"
1273   output-file: "{DIR[STATIC,VPP]}/http-server-performance-cps"
1274   data:
1275     "plot-vpp-http-server-performance"
1276   # Keep this formatting, the filter is enclosed with " (quotation mark) and
1277   # each tag is enclosed with ' (apostrophe).
1278   filter: "'HTTP' and 'TCP_CPS'"
1279   parameters:
1280   - "result"
1281   - "name"
1282   traces:
1283     hoverinfo: "x+y"
1284     boxpoints: "outliers"
1285     whiskerwidth: 0
1286   layout:
1287     title: "VPP HTTP Server Performance"
1288     layout:
1289       "plot-cps"
1290
1291 -
1292   type: "plot"
1293   title: "VPP HTTP Server Performance"
1294   algorithm: "plot_http_server_performance_box"
1295   output-file-type: ".html"
1296   output-file: "{DIR[STATIC,VPP]}/http-server-performance-rps"
1297   data:
1298     "plot-vpp-http-server-performance"
1299   filter: "'HTTP' and 'TCP_RPS'"
1300   parameters:
1301   - "result"
1302   - "name"
1303   traces:
1304     hoverinfo: "x+y"
1305     boxpoints: "outliers"
1306     whiskerwidth: 0
1307   layout:
1308     title: "VPP HTTP Server Performance"
1309     layout:
1310       "plot-rps"
1311
1312 # Plot Throughput Speedup Analysis
1313
1314 # L2 - 10ge2p1x520 - NDR
1315 -
1316   type: "plot"
1317   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1318   algorithm: "plot_throughput_speedup_analysis"
1319   output-file-type: ".html"
1320   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-ndrdisc"
1321   data:
1322     "plot-throughput-speedup-analysis"
1323   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1324   parameters:
1325   - "throughput"
1326   - "parent"
1327   - "tags"
1328   layout:
1329     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1330     layout:
1331       "plot-throughput-speedup-analysis"
1332
1333 # L2 - 40ge2p1xl710 - NDR
1334 -
1335   type: "plot"
1336   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1337   algorithm: "plot_throughput_speedup_analysis"
1338   output-file-type: ".html"
1339   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-l2-tsa-ndrdisc"
1340   data:
1341     "plot-throughput-speedup-analysis"
1342   filter: "'NIC_Intel-XL710' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1343   parameters:
1344   - "throughput"
1345   - "parent"
1346   - "tags"
1347   layout:
1348     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1349     layout:
1350       "plot-throughput-speedup-analysis"
1351
1352 # L2 - 10ge2p1x520 - PDR
1353 -
1354   type: "plot"
1355   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1356   algorithm: "plot_throughput_speedup_analysis"
1357   output-file-type: ".html"
1358   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-pdrdisc"
1359   data:
1360     "plot-throughput-speedup-analysis"
1361   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1362   parameters:
1363   - "throughput"
1364   - "parent"
1365   - "tags"
1366   layout:
1367     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1368     layout:
1369       "plot-throughput-speedup-analysis"
1370
1371 # IPv4 - 10ge2p1x520 - NDR
1372 -
1373   type: "plot"
1374   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1375   algorithm: "plot_throughput_speedup_analysis"
1376   output-file-type: ".html"
1377   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-ndrdisc"
1378   data:
1379     "plot-throughput-speedup-analysis"
1380   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1381   parameters:
1382   - "throughput"
1383   - "parent"
1384   - "tags"
1385   layout:
1386     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1387     layout:
1388       "plot-throughput-speedup-analysis"
1389
1390 # IPv4 - 40ge2p1xl710 - NDR
1391 -
1392   type: "plot"
1393   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1394   algorithm: "plot_throughput_speedup_analysis"
1395   output-file-type: ".html"
1396   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-ip4-tsa-ndrdisc"
1397   data:
1398     "plot-throughput-speedup-analysis"
1399   filter: "'NIC_Intel-XL710' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1400   parameters:
1401   - "throughput"
1402   - "parent"
1403   - "tags"
1404   layout:
1405     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1406     layout:
1407       "plot-throughput-speedup-analysis"
1408
1409 # IPv4 - 10ge2p1x520 - PDR
1410 -
1411   type: "plot"
1412   title: "TSA: 64B-*-ethip4-ip4(base|scale)*pdrdisc"
1413   algorithm: "plot_throughput_speedup_analysis"
1414   output-file-type: ".html"
1415   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-pdrdisc"
1416   data:
1417     "plot-throughput-speedup-analysis"
1418   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1419   parameters:
1420   - "throughput"
1421   - "parent"
1422   - "tags"
1423   layout:
1424     title: "64B-*-ethip4-ip4(base|scale)*pdrdisc"
1425     layout:
1426       "plot-throughput-speedup-analysis"
1427
1428 # IPv6 - 10ge2p1x520 - NDR
1429 -
1430   type: "plot"
1431   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1432   algorithm: "plot_throughput_speedup_analysis"
1433   output-file-type: ".html"
1434   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-ndrdisc"
1435   data:
1436     "plot-throughput-speedup-analysis"
1437   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1438   parameters:
1439   - "throughput"
1440   - "parent"
1441   - "tags"
1442   layout:
1443     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1444     layout:
1445       "plot-throughput-speedup-analysis"
1446
1447 # IPv6 - 40ge2p1xl710 - NDR
1448 -
1449   type: "plot"
1450   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1451   algorithm: "plot_throughput_speedup_analysis"
1452   output-file-type: ".html"
1453   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-78B-ip6-tsa-ndrdisc"
1454   data:
1455     "plot-throughput-speedup-analysis"
1456   filter: "'NIC_Intel-XL710' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1457   parameters:
1458   - "throughput"
1459   - "parent"
1460   - "tags"
1461   layout:
1462     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1463     layout:
1464       "plot-throughput-speedup-analysis"
1465
1466 # IPv6 - 10ge2p1x520 - PDR
1467 -
1468   type: "plot"
1469   title: "TSA: 78B-*-ethip6-ip6(base|scale)*pdrdisc"
1470   algorithm: "plot_throughput_speedup_analysis"
1471   output-file-type: ".html"
1472   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-pdrdisc"
1473   data:
1474     "plot-throughput-speedup-analysis"
1475   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST'"
1476   parameters:
1477   - "throughput"
1478   - "parent"
1479   - "tags"
1480   layout:
1481     title: "78B-*-ethip6-ip6(base|scale)*pdrdisc"
1482     layout:
1483       "plot-throughput-speedup-analysis"
1484
1485 # Plot packets per second
1486
1487 # VPP L2 sel1
1488 -
1489   type: "plot"
1490   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1491   algorithm: "plot_performance_box"
1492   output-file-type: ".html"
1493   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc"
1494   data:
1495     "plot-vpp-throughput-latency"
1496   # Keep this formatting, the filter is enclosed with " (quotation mark) and
1497   # each tag is enclosed with ' (apostrophe).
1498   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1499   parameters:
1500   - "throughput"
1501   - "parent"
1502   traces:
1503     hoverinfo: "x+y"
1504     boxpoints: "outliers"
1505     whiskerwidth: 0
1506   layout:
1507     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1508     layout:
1509       "plot-throughput"
1510
1511 -
1512   type: "plot"
1513   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1514   algorithm: "plot_performance_box"
1515   output-file-type: ".html"
1516   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc"
1517   data:
1518     "plot-vpp-throughput-latency"
1519   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1520   parameters:
1521   - "throughput"
1522   - "parent"
1523   traces:
1524     hoverinfo: "x+y"
1525     boxpoints: "outliers"
1526     whiskerwidth: 0
1527   layout:
1528     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1529     layout:
1530       "plot-throughput"
1531
1532 -
1533   type: "plot"
1534   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1535   algorithm: "plot_performance_box"
1536   output-file-type: ".html"
1537   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-pdrdisc"
1538   data:
1539     "plot-vpp-throughput-latency"
1540   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1541   parameters:
1542   - "throughput"
1543   - "parent"
1544   traces:
1545     hoverinfo: "x+y"
1546     boxpoints: "outliers"
1547     whiskerwidth: 0
1548   layout:
1549     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1550     layout:
1551       "plot-throughput"
1552
1553 -
1554   type: "plot"
1555   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1556   algorithm: "plot_performance_box"
1557   output-file-type: ".html"
1558   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-pdrdisc"
1559   data:
1560     "plot-vpp-throughput-latency"
1561   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1562   parameters:
1563   - "throughput"
1564   - "parent"
1565   traces:
1566     hoverinfo: "x+y"
1567     boxpoints: "outliers"
1568     whiskerwidth: 0
1569   layout:
1570     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1571     layout:
1572       "plot-throughput"
1573
1574 # VPP L2 sel2
1575 -
1576   type: "plot"
1577   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1578   algorithm: "plot_performance_box"
1579   output-file-type: ".html"
1580   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc"
1581   data:
1582     "plot-vpp-throughput-latency"
1583   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1584   parameters:
1585   - "throughput"
1586   - "parent"
1587   traces:
1588     hoverinfo: "x+y"
1589     boxpoints: "outliers"
1590     whiskerwidth: 0
1591   layout:
1592     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1593     layout:
1594       "plot-throughput"
1595
1596 -
1597   type: "plot"
1598   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1599   algorithm: "plot_performance_box"
1600   output-file-type: ".html"
1601   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc"
1602   data:
1603     "plot-vpp-throughput-latency"
1604   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1605   parameters:
1606   - "throughput"
1607   - "parent"
1608   traces:
1609     hoverinfo: "x+y"
1610     boxpoints: "outliers"
1611     whiskerwidth: 0
1612   layout:
1613     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1614     layout:
1615       "plot-throughput"
1616
1617 -
1618   type: "plot"
1619   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1620   algorithm: "plot_performance_box"
1621   output-file-type: ".html"
1622   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-pdrdisc"
1623   data:
1624     "plot-vpp-throughput-latency"
1625   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1626   parameters:
1627   - "throughput"
1628   - "parent"
1629   traces:
1630     hoverinfo: "x+y"
1631     boxpoints: "outliers"
1632     whiskerwidth: 0
1633   layout:
1634     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1635     layout:
1636       "plot-throughput"
1637
1638 -
1639   type: "plot"
1640   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1641   algorithm: "plot_performance_box"
1642   output-file-type: ".html"
1643   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-pdrdisc"
1644   data:
1645     "plot-vpp-throughput-latency"
1646   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1647   parameters:
1648   - "throughput"
1649   - "parent"
1650   traces:
1651     hoverinfo: "x+y"
1652     boxpoints: "outliers"
1653     whiskerwidth: 0
1654   layout:
1655     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1656     layout:
1657       "plot-throughput"
1658
1659 # VPP IP4
1660 -
1661   type: "plot"
1662   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1663   algorithm: "plot_performance_box"
1664   output-file-type: ".html"
1665   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc"
1666   data:
1667     "plot-vpp-throughput-latency"
1668   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
1669   parameters:
1670   - "throughput"
1671   - "parent"
1672   traces:
1673     hoverinfo: "x+y"
1674     boxpoints: "outliers"
1675     whiskerwidth: 0
1676   layout:
1677     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1678     layout:
1679       "plot-throughput"
1680
1681 -
1682   type: "plot"
1683   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1684   algorithm: "plot_performance_box"
1685   output-file-type: ".html"
1686   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc"
1687   data:
1688     "plot-vpp-throughput-latency"
1689   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
1690   parameters:
1691   - "throughput"
1692   - "parent"
1693   traces:
1694     hoverinfo: "x+y"
1695     boxpoints: "outliers"
1696     whiskerwidth: 0
1697   layout:
1698     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1699     layout:
1700       "plot-throughput"
1701
1702 -
1703   type: "plot"
1704   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1705   algorithm: "plot_performance_box"
1706   output-file-type: ".html"
1707   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-pdrdisc"
1708   data:
1709     "plot-vpp-throughput-latency"
1710   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
1711   parameters:
1712   - "throughput"
1713   - "parent"
1714   traces:
1715     hoverinfo: "x+y"
1716     boxpoints: "outliers"
1717     whiskerwidth: 0
1718   layout:
1719     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1720     layout:
1721       "plot-throughput"
1722
1723 -
1724   type: "plot"
1725   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1726   algorithm: "plot_performance_box"
1727   output-file-type: ".html"
1728   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-pdrdisc"
1729   data:
1730     "plot-vpp-throughput-latency"
1731   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
1732   parameters:
1733   - "throughput"
1734   - "parent"
1735   traces:
1736     hoverinfo: "x+y"
1737     boxpoints: "outliers"
1738     whiskerwidth: 0
1739   layout:
1740     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1741     layout:
1742       "plot-throughput"
1743
1744 # VPP IP6
1745 -
1746   type: "plot"
1747   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1748   algorithm: "plot_performance_box"
1749   output-file-type: ".html"
1750   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc"
1751   data:
1752     "plot-vpp-throughput-latency"
1753   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1754   parameters:
1755   - "throughput"
1756   - "parent"
1757   traces:
1758     hoverinfo: "x+y"
1759     boxpoints: "outliers"
1760     whiskerwidth: 0
1761   layout:
1762     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1763     layout:
1764       "plot-throughput"
1765
1766 -
1767   type: "plot"
1768   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1769   algorithm: "plot_performance_box"
1770   output-file-type: ".html"
1771   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc"
1772   data:
1773     "plot-vpp-throughput-latency"
1774   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1775   parameters:
1776   - "throughput"
1777   - "parent"
1778   traces:
1779     hoverinfo: "x+y"
1780     boxpoints: "outliers"
1781     whiskerwidth: 0
1782   layout:
1783     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1784     layout:
1785       "plot-throughput"
1786
1787 -
1788   type: "plot"
1789   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1790   algorithm: "plot_performance_box"
1791   output-file-type: ".html"
1792   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-pdrdisc"
1793   data:
1794     "plot-vpp-throughput-latency"
1795   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1796   parameters:
1797   - "throughput"
1798   - "parent"
1799   traces:
1800     hoverinfo: "x+y"
1801     boxpoints: "outliers"
1802     whiskerwidth: 0
1803   layout:
1804     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1805     layout:
1806       "plot-throughput"
1807
1808 -
1809   type: "plot"
1810   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1811   algorithm: "plot_performance_box"
1812   output-file-type: ".html"
1813   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-pdrdisc"
1814   data:
1815     "plot-vpp-throughput-latency"
1816   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1817   parameters:
1818   - "throughput"
1819   - "parent"
1820   traces:
1821     hoverinfo: "x+y"
1822     boxpoints: "outliers"
1823     whiskerwidth: 0
1824   layout:
1825     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1826     layout:
1827       "plot-throughput"
1828
1829 # VPP IP4_overlay
1830 -
1831   type: "plot"
1832   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1833   algorithm: "plot_performance_box"
1834   output-file-type: ".html"
1835   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc"
1836   data:
1837     "plot-vpp-throughput-latency"
1838   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1839   parameters:
1840   - "throughput"
1841   - "parent"
1842   traces:
1843     hoverinfo: "x+y"
1844     boxpoints: "outliers"
1845     whiskerwidth: 0
1846   layout:
1847     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1848     layout:
1849       "plot-throughput"
1850
1851 -
1852   type: "plot"
1853   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1854   algorithm: "plot_performance_box"
1855   output-file-type: ".html"
1856   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc"
1857   data:
1858     "plot-vpp-throughput-latency"
1859   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1860   parameters:
1861   - "throughput"
1862   - "parent"
1863   traces:
1864     hoverinfo: "x+y"
1865     boxpoints: "outliers"
1866     whiskerwidth: 0
1867   layout:
1868     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1869     layout:
1870       "plot-throughput"
1871
1872 -
1873   type: "plot"
1874   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1875   algorithm: "plot_performance_box"
1876   output-file-type: ".html"
1877   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-pdrdisc"
1878   data:
1879     "plot-vpp-throughput-latency"
1880   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1881   parameters:
1882   - "throughput"
1883   - "parent"
1884   traces:
1885     hoverinfo: "x+y"
1886     boxpoints: "outliers"
1887     whiskerwidth: 0
1888   layout:
1889     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1890     layout:
1891       "plot-throughput"
1892
1893 -
1894   type: "plot"
1895   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1896   algorithm: "plot_performance_box"
1897   output-file-type: ".html"
1898   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-pdrdisc"
1899   data:
1900     "plot-vpp-throughput-latency"
1901   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1902   parameters:
1903   - "throughput"
1904   - "parent"
1905   traces:
1906     hoverinfo: "x+y"
1907     boxpoints: "outliers"
1908     whiskerwidth: 0
1909   layout:
1910     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1911     layout:
1912       "plot-throughput"
1913
1914 # VPP IP6_overlay
1915 -
1916   type: "plot"
1917   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1918   algorithm: "plot_performance_box"
1919   output-file-type: ".html"
1920   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc"
1921   data:
1922     "plot-vpp-throughput-latency"
1923   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1924   parameters:
1925   - "throughput"
1926   - "parent"
1927   traces:
1928     hoverinfo: "x+y"
1929     boxpoints: "outliers"
1930     whiskerwidth: 0
1931   layout:
1932     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1933     xaxis:
1934       autorange: True
1935       autotick: False
1936       fixedrange: False
1937       gridcolor: "rgb(238, 238, 238)"
1938       linecolor: "rgb(238, 238, 238)"
1939       linewidth: 1
1940       showgrid: True
1941       showline: True
1942       showticklabels: True
1943       tickcolor: "rgb(238, 238, 238)"
1944       tickmode: "linear"
1945       title: "Indexed Test Cases"
1946       zeroline: False
1947     yaxis:
1948       gridcolor: "rgb(238, 238, 238)'"
1949       hoverformat: ".4s"
1950       linecolor: "rgb(238, 238, 238)"
1951       linewidth: 1
1952       range: [2000000, 6000000]
1953       showgrid: True
1954       showline: True
1955       showticklabels: True
1956       tickcolor: "rgb(238, 238, 238)"
1957       title: "Packets Per Second [pps]"
1958       zeroline: False
1959     boxmode: "group"
1960     boxgroupgap: 0.5
1961     autosize: False
1962     margin:
1963       t: 50
1964       b: 20
1965       l: 50
1966       r: 20
1967     showlegend: True
1968     legend:
1969       orientation: "h"
1970     width: 700
1971     height: 1000
1972
1973 -
1974   type: "plot"
1975   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1976   algorithm: "plot_performance_box"
1977   output-file-type: ".html"
1978   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc"
1979   data:
1980     "plot-vpp-throughput-latency"
1981   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1982   parameters:
1983   - "throughput"
1984   - "parent"
1985   traces:
1986     hoverinfo: "x+y"
1987     boxpoints: "outliers"
1988     whiskerwidth: 0
1989   layout:
1990     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1991     layout:
1992       "plot-throughput"
1993
1994 -
1995   type: "plot"
1996   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1997   algorithm: "plot_performance_box"
1998   output-file-type: ".html"
1999   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-pdrdisc"
2000   data:
2001     "plot-vpp-throughput-latency"
2002   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2003   parameters:
2004   - "throughput"
2005   - "parent"
2006   traces:
2007     hoverinfo: "x+y"
2008     boxpoints: "outliers"
2009     whiskerwidth: 0
2010   layout:
2011     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2012     layout:
2013       "plot-throughput"
2014
2015 -
2016   type: "plot"
2017   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2018   algorithm: "plot_performance_box"
2019   output-file-type: ".html"
2020   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-pdrdisc"
2021   data:
2022     "plot-vpp-throughput-latency"
2023   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2024   parameters:
2025   - "throughput"
2026   - "parent"
2027   traces:
2028     hoverinfo: "x+y"
2029     boxpoints: "outliers"
2030     whiskerwidth: 0
2031   layout:
2032     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2033     xaxis:
2034       autorange: True
2035       autotick: False
2036       fixedrange: False
2037       gridcolor: "rgb(238, 238, 238)"
2038       linecolor: "rgb(238, 238, 238)"
2039       linewidth: 1
2040       showgrid: True
2041       showline: True
2042       showticklabels: True
2043       tickcolor: "rgb(238, 238, 238)"
2044       tickmode: "linear"
2045       title: "Indexed Test Cases"
2046       zeroline: False
2047     yaxis:
2048       gridcolor: "rgb(238, 238, 238)'"
2049       hoverformat: ".4s"
2050       linecolor: "rgb(238, 238, 238)"
2051       linewidth: 1
2052       range: [4000000, 12000000]
2053       showgrid: True
2054       showline: True
2055       showticklabels: True
2056       tickcolor: "rgb(238, 238, 238)"
2057       title: "Packets Per Second [pps]"
2058       zeroline: False
2059     boxmode: "group"
2060     boxgroupgap: 0.5
2061     autosize: False
2062     margin:
2063       t: 50
2064       b: 20
2065       l: 50
2066       r: 20
2067     showlegend: True
2068     legend:
2069       orientation: "h"
2070     width: 700
2071     height: 1000
2072
2073 # VPP VM VHOST
2074 -
2075   type: "plot"
2076   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2077   algorithm: "plot_performance_box"
2078   output-file-type: ".html"
2079   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc"
2080   data:
2081     "plot-vpp-throughput-latency"
2082   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2083   parameters:
2084   - "throughput"
2085   - "parent"
2086   traces:
2087     hoverinfo: "x+y"
2088     boxpoints: "outliers"
2089     whiskerwidth: 0
2090   layout:
2091     title: "64B-1t1c-.*vhost.*-ndrdisc"
2092     xaxis:
2093       autorange: True
2094       autotick: False
2095       fixedrange: False
2096       gridcolor: "rgb(238, 238, 238)"
2097       linecolor: "rgb(238, 238, 238)"
2098       linewidth: 1
2099       showgrid: True
2100       showline: True
2101       showticklabels: True
2102       tickcolor: "rgb(238, 238, 238)"
2103       tickmode: "linear"
2104       title: "Indexed Test Cases"
2105       zeroline: False
2106     yaxis:
2107       gridcolor: "rgb(238, 238, 238)'"
2108       hoverformat: ".4s"
2109       linecolor: "rgb(238, 238, 238)"
2110       linewidth: 1
2111       range: [0, 3500000]
2112       showgrid: True
2113       showline: True
2114       showticklabels: True
2115       tickcolor: "rgb(238, 238, 238)"
2116       title: "Packets Per Second [pps]"
2117       zeroline: False
2118     boxmode: "group"
2119     boxgroupgap: 0.5
2120     autosize: False
2121     margin:
2122       t: 50
2123       b: 20
2124       l: 50
2125       r: 20
2126     showlegend: True
2127     legend:
2128       orientation: "h"
2129     width: 700
2130     height: 1000
2131
2132 -
2133   type: "plot"
2134   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2135   algorithm: "plot_performance_box"
2136   output-file-type: ".html"
2137   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc"
2138   data:
2139     "plot-vpp-throughput-latency"
2140   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2141   parameters:
2142   - "throughput"
2143   - "parent"
2144   traces:
2145     hoverinfo: "x+y"
2146     boxpoints: "outliers"
2147     whiskerwidth: 0
2148   layout:
2149     title: "64B-2t2c-.*vhost.*-ndrdisc"
2150     layout:
2151       "plot-throughput"
2152
2153 -
2154   type: "plot"
2155   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2156   algorithm: "plot_performance_box"
2157   output-file-type: ".html"
2158   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-pdrdisc"
2159   data:
2160     "plot-vpp-throughput-latency"
2161   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2162   parameters:
2163   - "throughput"
2164   - "parent"
2165   traces:
2166     hoverinfo: "x+y"
2167     boxpoints: "outliers"
2168     whiskerwidth: 0
2169   layout:
2170     title: "64B-1t1c-.*vhost.*-pdrdisc"
2171     layout:
2172       "plot-throughput"
2173
2174 -
2175   type: "plot"
2176   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2177   algorithm: "plot_performance_box"
2178   output-file-type: ".html"
2179   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-pdrdisc"
2180   data:
2181     "plot-vpp-throughput-latency"
2182   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2183   parameters:
2184   - "throughput"
2185   - "parent"
2186   traces:
2187     hoverinfo: "x+y"
2188     boxpoints: "outliers"
2189     whiskerwidth: 0
2190   layout:
2191     title: "64B-2t2c-.*vhost.*-pdrdisc"
2192     layout:
2193       "plot-throughput"
2194
2195 # VPP VM VHOST SELECTION
2196 -
2197   type: "plot"
2198   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2199   algorithm: "plot_performance_box"
2200   output-file-type: ".html"
2201   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc"
2202   data:
2203     "plot-vpp-throughput-latency"
2204   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2205   parameters:
2206   - "throughput"
2207   - "parent"
2208   traces:
2209     hoverinfo: "x+y"
2210     boxpoints: "outliers"
2211     whiskerwidth: 0
2212   layout:
2213     title: "64B-1t1c-.*vhost.*-ndrdisc"
2214     layout:
2215       "plot-throughput"
2216
2217 -
2218   type: "plot"
2219   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2220   algorithm: "plot_performance_box"
2221   output-file-type: ".html"
2222   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc"
2223   data:
2224     "plot-vpp-throughput-latency"
2225   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2226   parameters:
2227   - "throughput"
2228   - "parent"
2229   traces:
2230     hoverinfo: "x+y"
2231     boxpoints: "outliers"
2232     whiskerwidth: 0
2233   layout:
2234     title: "64B-2t2c-.*vhost.*-ndrdisc"
2235     layout:
2236       "plot-throughput"
2237
2238 -
2239   type: "plot"
2240   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2241   algorithm: "plot_performance_box"
2242   output-file-type: ".html"
2243   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-pdrdisc"
2244   data:
2245     "plot-vpp-throughput-latency"
2246   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2247   parameters:
2248   - "throughput"
2249   - "parent"
2250   traces:
2251     hoverinfo: "x+y"
2252     boxpoints: "outliers"
2253     whiskerwidth: 0
2254   layout:
2255     title: "64B-1t1c-.*vhost.*-pdrdisc"
2256     layout:
2257       "plot-throughput"
2258
2259 -
2260   type: "plot"
2261   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2262   algorithm: "plot_performance_box"
2263   output-file-type: ".html"
2264   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-pdrdisc"
2265   data:
2266     "plot-vpp-throughput-latency"
2267   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2268   parameters:
2269   - "throughput"
2270   - "parent"
2271   traces:
2272     hoverinfo: "x+y"
2273     boxpoints: "outliers"
2274     whiskerwidth: 0
2275   layout:
2276     title: "64B-2t2c-.*vhost.*-pdrdisc"
2277     layout:
2278       "plot-throughput"
2279
2280 # VPP CRYPTO
2281 -
2282   type: "plot"
2283   title: "VPP Performance 64B-1t1c-.*ipsec.*-ndrdisc"
2284   algorithm: "plot_performance_box"
2285   output-file-type: ".html"
2286   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc"
2287   data:
2288     "plot-vpp-throughput-latency"
2289   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2290   parameters:
2291   - "throughput"
2292   - "parent"
2293   traces:
2294     hoverinfo: "x+y"
2295     boxpoints: "outliers"
2296     whiskerwidth: 0
2297   layout:
2298     title: "64B-1t1c-.*ipsec.*-ndrdisc"
2299     layout:
2300       "plot-throughput"
2301
2302 -
2303   type: "plot"
2304   title: "VPP Performance 64B-2t2c-.*ipsec.*-ndrdisc"
2305   algorithm: "plot_performance_box"
2306   output-file-type: ".html"
2307   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc"
2308   data:
2309     "plot-vpp-throughput-latency"
2310   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2311   parameters:
2312   - "throughput"
2313   - "parent"
2314   traces:
2315     hoverinfo: "x+y"
2316     boxpoints: "outliers"
2317     whiskerwidth: 0
2318   layout:
2319     title: "64B-2t2c-.*ipsec.*-ndrdisc"
2320     layout:
2321       "plot-throughput"
2322
2323 -
2324   type: "plot"
2325   title: "VPP Performance 64B-1t1c-.*ipsec.*-pdrdisc"
2326   algorithm: "plot_performance_box"
2327   output-file-type: ".html"
2328   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-pdrdisc"
2329   data:
2330     "plot-vpp-throughput-latency"
2331   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2332   parameters:
2333   - "throughput"
2334   - "parent"
2335   traces:
2336     hoverinfo: "x+y"
2337     boxpoints: "outliers"
2338     whiskerwidth: 0
2339   layout:
2340     title: "64B-1t1c-.*ipsec.*-pdrdisc"
2341     layout:
2342       "plot-throughput"
2343
2344 -
2345   type: "plot"
2346   title: "VPP Performance 64B-2t2c-.*ipsec.*-pdrdisc"
2347   algorithm: "plot_performance_box"
2348   output-file-type: ".html"
2349   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-pdrdisc"
2350   data:
2351     "plot-vpp-throughput-latency"
2352   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2353   parameters:
2354   - "throughput"
2355   - "parent"
2356   traces:
2357     hoverinfo: "x+y"
2358     boxpoints: "outliers"
2359     whiskerwidth: 0
2360   layout:
2361     title: "64B-2t2c-.*ipsec.*-pdrdisc"
2362     layout:
2363       "plot-throughput"
2364
2365 # DPDK
2366 -
2367   type: "plot"
2368   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2369   algorithm: "plot_performance_box"
2370   output-file-type: ".html"
2371   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc"
2372   data:
2373     "plot-dpdk-throughput-latency"
2374   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2375   parameters:
2376   - "throughput"
2377   - "parent"
2378   traces:
2379     hoverinfo: "x+y"
2380     boxpoints: "outliers"
2381     whiskerwidth: 0
2382   layout:
2383     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2384     layout:
2385       "plot-throughput"
2386
2387 -
2388   type: "plot"
2389   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2390   algorithm: "plot_performance_box"
2391   output-file-type: ".html"
2392   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc"
2393   data:
2394     "plot-dpdk-throughput-latency"
2395   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2396   parameters:
2397   - "throughput"
2398   - "parent"
2399   traces:
2400     hoverinfo: "x+y"
2401     boxpoints: "outliers"
2402     whiskerwidth: 0
2403   layout:
2404     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2405     layout:
2406       "plot-throughput"
2407
2408 -
2409   type: "plot"
2410   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2411   algorithm: "plot_performance_box"
2412   output-file-type: ".html"
2413   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc"
2414   data:
2415     "plot-dpdk-throughput-latency"
2416   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
2417   parameters:
2418   - "throughput"
2419   - "parent"
2420   traces:
2421     hoverinfo: "x+y"
2422     boxpoints: "outliers"
2423     whiskerwidth: 0
2424   layout:
2425     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2426     xaxis:
2427       autorange: True
2428       autotick: False
2429       fixedrange: False
2430       gridcolor: "rgb(238, 238, 238)"
2431       linecolor: "rgb(238, 238, 238)"
2432       linewidth: 1
2433       showgrid: True
2434       showline: True
2435       showticklabels: True
2436       tickcolor: "rgb(238, 238, 238)"
2437       tickmode: "linear"
2438       title: "Indexed Test Cases"
2439       zeroline: False
2440     yaxis:
2441       gridcolor: "rgb(238, 238, 238)'"
2442       hoverformat: ".4s"
2443       linecolor: "rgb(238, 238, 238)"
2444       linewidth: 1
2445       range: [2000000, 12000000]
2446       showgrid: True
2447       showline: True
2448       showticklabels: True
2449       tickcolor: "rgb(238, 238, 238)"
2450       title: "Packets Per Second [pps]"
2451       zeroline: False
2452     boxmode: "group"
2453     boxgroupgap: 0.5
2454     autosize: False
2455     margin:
2456       t: 50
2457       b: 20
2458       l: 50
2459       r: 20
2460     showlegend: True
2461     legend:
2462       orientation: "h"
2463     width: 700
2464     height: 1000
2465
2466 -
2467   type: "plot"
2468   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2469   algorithm: "plot_performance_box"
2470   output-file-type: ".html"
2471   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc"
2472   data:
2473     "plot-dpdk-throughput-latency"
2474   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
2475   parameters:
2476   - "throughput"
2477   - "parent"
2478   traces:
2479     hoverinfo: "x+y"
2480     boxpoints: "outliers"
2481     whiskerwidth: 0
2482   layout:
2483     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2484     xaxis:
2485       autorange: True
2486       autotick: False
2487       fixedrange: False
2488       gridcolor: "rgb(238, 238, 238)"
2489       linecolor: "rgb(238, 238, 238)"
2490       linewidth: 1
2491       showgrid: True
2492       showline: True
2493       showticklabels: True
2494       tickcolor: "rgb(238, 238, 238)"
2495       tickmode: "linear"
2496       title: "Indexed Test Cases"
2497       zeroline: False
2498     yaxis:
2499       gridcolor: "rgb(238, 238, 238)'"
2500       hoverformat: ".4s"
2501       linecolor: "rgb(238, 238, 238)"
2502       linewidth: 1
2503       range: [2000000, 12000000]
2504       showgrid: True
2505       showline: True
2506       showticklabels: True
2507       tickcolor: "rgb(238, 238, 238)"
2508       title: "Packets Per Second [pps]"
2509       zeroline: False
2510     boxmode: "group"
2511     boxgroupgap: 0.5
2512     autosize: False
2513     margin:
2514       t: 50
2515       b: 20
2516       l: 50
2517       r: 20
2518     showlegend: True
2519     legend:
2520       orientation: "h"
2521     width: 700
2522     height: 1000
2523
2524 -
2525   type: "plot"
2526   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2527   algorithm: "plot_performance_box"
2528   output-file-type: ".html"
2529   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-pdrdisc"
2530   data:
2531     "plot-dpdk-throughput-latency"
2532   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2533   parameters:
2534   - "throughput"
2535   - "parent"
2536   traces:
2537     hoverinfo: "x+y"
2538     boxpoints: "outliers"
2539     whiskerwidth: 0
2540   layout:
2541     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2542     layout:
2543       "plot-throughput"
2544
2545 -
2546   type: "plot"
2547   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2548   algorithm: "plot_performance_box"
2549   output-file-type: ".html"
2550   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-pdrdisc"
2551   data:
2552     "plot-dpdk-throughput-latency"
2553   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2554   parameters:
2555   - "throughput"
2556   - "parent"
2557   traces:
2558     hoverinfo: "x+y"
2559     boxpoints: "outliers"
2560     whiskerwidth: 0
2561   layout:
2562     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2563     layout:
2564       "plot-throughput"
2565
2566 -
2567   type: "plot"
2568   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
2569   algorithm: "plot_performance_box"
2570   output-file-type: ".html"
2571   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-pdrdisc"
2572   data:
2573     "plot-dpdk-throughput-latency"
2574   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD'"
2575   parameters:
2576   - "throughput"
2577   - "parent"
2578   traces:
2579     hoverinfo: "x+y"
2580     boxpoints: "outliers"
2581     whiskerwidth: 0
2582   layout:
2583     title: "64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
2584     xaxis:
2585       autorange: True
2586       autotick: False
2587       fixedrange: False
2588       gridcolor: "rgb(238, 238, 238)"
2589       linecolor: "rgb(238, 238, 238)"
2590       linewidth: 1
2591       showgrid: True
2592       showline: True
2593       showticklabels: True
2594       tickcolor: "rgb(238, 238, 238)"
2595       tickmode: "linear"
2596       title: "Indexed Test Cases"
2597       zeroline: False
2598     yaxis:
2599       gridcolor: "rgb(238, 238, 238)'"
2600       hoverformat: ".4s"
2601       linecolor: "rgb(238, 238, 238)"
2602       linewidth: 1
2603       range: [20000000, 30000000]
2604       showgrid: True
2605       showline: True
2606       showticklabels: True
2607       tickcolor: "rgb(238, 238, 238)"
2608       title: "Packets Per Second [pps]"
2609       zeroline: False
2610     boxmode: "group"
2611     boxgroupgap: 0.5
2612     autosize: False
2613     margin:
2614       t: 50
2615       b: 20
2616       l: 50
2617       r: 20
2618     showlegend: True
2619     legend:
2620       orientation: "h"
2621     width: 700
2622     height: 1000
2623
2624 -
2625   type: "plot"
2626   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
2627   algorithm: "plot_performance_box"
2628   output-file-type: ".html"
2629   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-pdrdisc"
2630   data:
2631     "plot-dpdk-throughput-latency"
2632   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD'"
2633   parameters:
2634   - "throughput"
2635   - "parent"
2636   traces:
2637     hoverinfo: "x+y"
2638     boxpoints: "outliers"
2639     whiskerwidth: 0
2640   layout:
2641     title: "64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
2642     xaxis:
2643       autorange: True
2644       autotick: False
2645       fixedrange: False
2646       gridcolor: "rgb(238, 238, 238)"
2647       linecolor: "rgb(238, 238, 238)"
2648       linewidth: 1
2649       showgrid: True
2650       showline: True
2651       showticklabels: True
2652       tickcolor: "rgb(238, 238, 238)"
2653       tickmode: "linear"
2654       title: "Indexed Test Cases"
2655       zeroline: False
2656     yaxis:
2657       gridcolor: "rgb(238, 238, 238)'"
2658       hoverformat: ".4s"
2659       linecolor: "rgb(238, 238, 238)"
2660       linewidth: 1
2661       range: [20000000, 30000000]
2662       showgrid: True
2663       showline: True
2664       showticklabels: True
2665       tickcolor: "rgb(238, 238, 238)"
2666       title: "Packets Per Second [pps]"
2667       zeroline: False
2668     boxmode: "group"
2669     boxgroupgap: 0.5
2670     autosize: False
2671     margin:
2672       t: 50
2673       b: 20
2674       l: 50
2675       r: 20
2676     showlegend: True
2677     legend:
2678       orientation: "h"
2679     width: 700
2680     height: 1000
2681
2682 # Plot latency
2683
2684 # VPP L2 sel1
2685 -
2686   type: "plot"
2687   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2688   algorithm: "plot_latency_box"
2689   output-file-type: ".html"
2690   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc-lat50"
2691   data:
2692     "plot-vpp-throughput-latency"
2693   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2694   parameters:
2695   - "latency"
2696   - "parent"
2697   traces:
2698     boxmean: False
2699   layout:
2700     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2701     layout:
2702       "plot-latency"
2703
2704 -
2705   type: "plot"
2706   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2707   algorithm: "plot_latency_box"
2708   output-file-type: ".html"
2709   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc-lat50"
2710   data:
2711     "plot-vpp-throughput-latency"
2712   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2713   parameters:
2714   - "latency"
2715   - "parent"
2716   traces:
2717     boxmean: False
2718   layout:
2719     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2720     layout:
2721       "plot-latency"
2722
2723 # VPP L2 sel2
2724 -
2725   type: "plot"
2726   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2727   algorithm: "plot_latency_box"
2728   output-file-type: ".html"
2729   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc-lat50"
2730   data:
2731     "plot-vpp-throughput-latency"
2732   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2733   parameters:
2734   - "latency"
2735   - "parent"
2736   traces:
2737     boxmean: False
2738   layout:
2739     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2740     layout:
2741       "plot-latency"
2742
2743 -
2744   type: "plot"
2745   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2746   algorithm: "plot_latency_box"
2747   output-file-type: ".html"
2748   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc-lat50"
2749   data:
2750     "plot-vpp-throughput-latency"
2751   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2752   parameters:
2753   - "latency"
2754   - "parent"
2755   traces:
2756     boxmean: False
2757   layout:
2758     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2759     layout:
2760       "plot-latency"
2761
2762 # VPP IP4
2763 -
2764   type: "plot"
2765   title: "VPP Latency 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2766   algorithm: "plot_latency_box"
2767   output-file-type: ".html"
2768   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc-lat50"
2769   data:
2770     "plot-vpp-throughput-latency"
2771   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
2772   parameters:
2773   - "latency"
2774   - "parent"
2775   traces:
2776     boxmean: False
2777   layout:
2778     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2779     layout:
2780       "plot-latency"
2781
2782 -
2783   type: "plot"
2784   title: "VPP Latency 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2785   algorithm: "plot_latency_box"
2786   output-file-type: ".html"
2787   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc-lat50"
2788   data:
2789     "plot-vpp-throughput-latency"
2790   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
2791   parameters:
2792   - "latency"
2793   - "parent"
2794   traces:
2795     boxmean: False
2796   layout:
2797     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2798     layout:
2799       "plot-latency"
2800
2801 # VPP IP6
2802 -
2803   type: "plot"
2804   title: "VPP Latency 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2805   algorithm: "plot_latency_box"
2806   output-file-type: ".html"
2807   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc-lat50"
2808   data:
2809     "plot-vpp-throughput-latency"
2810   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2811   parameters:
2812   - "latency"
2813   - "parent"
2814   traces:
2815     boxmean: False
2816   layout:
2817     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2818     layout:
2819       "plot-latency"
2820
2821 -
2822   type: "plot"
2823   title: "VPP Latency 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2824   algorithm: "plot_latency_box"
2825   output-file-type: ".html"
2826   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc-lat50"
2827   data:
2828     "plot-vpp-throughput-latency"
2829   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2830   parameters:
2831   - "latency"
2832   - "parent"
2833   traces:
2834     boxmean: False
2835   layout:
2836     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2837     layout:
2838       "plot-latency"
2839
2840 # VPP IP4_overlay
2841 -
2842   type: "plot"
2843   title: "VPP Latency 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2844   algorithm: "plot_latency_box"
2845   output-file-type: ".html"
2846   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc-lat50"
2847   data:
2848     "plot-vpp-throughput-latency"
2849   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2850   parameters:
2851   - "latency"
2852   - "parent"
2853   traces:
2854     boxmean: False
2855   layout:
2856     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2857     layout:
2858       "plot-latency"
2859
2860 -
2861   type: "plot"
2862   title: "VPP Latency 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2863   algorithm: "plot_latency_box"
2864   output-file-type: ".html"
2865   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc-lat50"
2866   data:
2867     "plot-vpp-throughput-latency"
2868   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2869   parameters:
2870   - "latency"
2871   - "parent"
2872   traces:
2873     boxmean: False
2874   layout:
2875     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2876     layout:
2877       "plot-latency"
2878
2879 # VPP IP6_overlay
2880 -
2881   type: "plot"
2882   title: "VPP Latency 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2883   algorithm: "plot_latency_box"
2884   output-file-type: ".html"
2885   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc-lat50"
2886   data:
2887     "plot-vpp-throughput-latency"
2888   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2889   parameters:
2890   - "latency"
2891   - "parent"
2892   traces:
2893     boxmean: False
2894   layout:
2895     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2896     layout:
2897       "plot-latency"
2898
2899 -
2900   type: "plot"
2901   title: "VPP Latency 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2902   algorithm: "plot_latency_box"
2903   output-file-type: ".html"
2904   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc-lat50"
2905   data:
2906     "plot-vpp-throughput-latency"
2907   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2908   parameters:
2909   - "latency"
2910   - "parent"
2911   traces:
2912     boxmean: False
2913   layout:
2914     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2915     layout:
2916       "plot-latency"
2917
2918 # VPP VM VHOST
2919 -
2920   type: "plot"
2921   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
2922   algorithm: "plot_latency_box"
2923   output-file-type: ".html"
2924   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc-lat50"
2925   data:
2926     "plot-vpp-throughput-latency"
2927   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2928   parameters:
2929   - "latency"
2930   - "parent"
2931   traces:
2932     boxmean: False
2933   layout:
2934     title: "64B-1t1c-.*vhost.*-ndrdisc"
2935     layout:
2936       "plot-latency"
2937
2938 -
2939   type: "plot"
2940   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
2941   algorithm: "plot_latency_box"
2942   output-file-type: ".html"
2943   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc-lat50"
2944   data:
2945     "plot-vpp-throughput-latency"
2946   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2947   parameters:
2948   - "latency"
2949   - "parent"
2950   traces:
2951     boxmean: False
2952   layout:
2953     title: "64B-2t2c-.*vhost.*-ndrdisc"
2954     layout:
2955       "plot-latency"
2956
2957 # VPP VM VHOST selection
2958 -
2959   type: "plot"
2960   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
2961   algorithm: "plot_latency_box"
2962   output-file-type: ".html"
2963   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc-lat50"
2964   data:
2965     "plot-vpp-throughput-latency"
2966   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2967   parameters:
2968   - "latency"
2969   - "parent"
2970   traces:
2971     boxmean: False
2972   layout:
2973     title: "64B-1t1c-.*vhost.*-ndrdisc"
2974     layout:
2975       "plot-latency"
2976
2977 -
2978   type: "plot"
2979   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
2980   algorithm: "plot_latency_box"
2981   output-file-type: ".html"
2982   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc-lat50"
2983   data:
2984     "plot-vpp-throughput-latency"
2985   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2986   parameters:
2987   - "latency"
2988   - "parent"
2989   traces:
2990     boxmean: False
2991   layout:
2992     title: "64B-2t2c-.*vhost.*-ndrdisc"
2993     layout:
2994       "plot-latency"
2995
2996 # VPP CRYPTO
2997 -
2998   type: "plot"
2999   title: "VPP Latency 64B-1t1c-.*ipsec.*-ndrdisc"
3000   algorithm: "plot_latency_box"
3001   output-file-type: ".html"
3002   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc-lat50"
3003   data:
3004     "plot-vpp-throughput-latency"
3005   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
3006   parameters:
3007   - "latency"
3008   - "parent"
3009   traces:
3010     boxmean: False
3011   layout:
3012     title: "64B-1t1c-.*ipsec.*-ndrdisc"
3013     layout:
3014       "plot-latency"
3015
3016 -
3017   type: "plot"
3018   title: "VPP Latency 64B-2t2c-.*ipsec.*-ndrdisc"
3019   algorithm: "plot_latency_box"
3020   output-file-type: ".html"
3021   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc-lat50"
3022   data:
3023     "plot-vpp-throughput-latency"
3024   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
3025   parameters:
3026   - "latency"
3027   - "parent"
3028   traces:
3029     boxmean: False
3030   layout:
3031     title: "64B-2t2c-.*ipsec.*-ndrdisc"
3032     layout:
3033       "plot-latency"
3034
3035 # DPDK
3036 -
3037   type: "plot"
3038   title: "DPDK Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3039   algorithm: "plot_latency_box"
3040   output-file-type: ".html"
3041   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc-lat50"
3042   data:
3043     "plot-dpdk-throughput-latency"
3044   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3045   parameters:
3046   - "latency"
3047   - "parent"
3048   traces:
3049     boxmean: False
3050   layout:
3051     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3052     layout:
3053       "plot-latency"
3054
3055 -
3056   type: "plot"
3057   title: "DPDK Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3058   algorithm: "plot_latency_box"
3059   output-file-type: ".html"
3060   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc-lat50"
3061   data:
3062     "plot-dpdk-throughput-latency"
3063   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3064   parameters:
3065   - "latency"
3066   - "parent"
3067   traces:
3068     boxmean: False
3069   layout:
3070     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3071     layout:
3072       "plot-latency"
3073
3074 -
3075   type: "plot"
3076   title: "DPDK Latency 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3077   algorithm: "plot_latency_box"
3078   output-file-type: ".html"
3079   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc-lat50"
3080   data:
3081     "plot-dpdk-throughput-latency"
3082   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
3083   parameters:
3084   - "latency"
3085   - "parent"
3086   traces:
3087     boxmean: False
3088   layout:
3089     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3090     layout:
3091       "plot-latency"
3092
3093 -
3094   type: "plot"
3095   title: "DPDK Latency 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3096   algorithm: "plot_latency_box"
3097   output-file-type: ".html"
3098   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc-lat50"
3099   data:
3100     "plot-dpdk-throughput-latency"
3101   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
3102   parameters:
3103   - "latency"
3104   - "parent"
3105   traces:
3106     boxmean: False
3107   layout:
3108     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3109     layout:
3110       "plot-latency"
3111
3112 # Ligato - Throughput
3113
3114 # Container memif
3115 -
3116   type: "plot"
3117   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3118   algorithm: "plot_performance_box"
3119   output-file-type: ".html"
3120   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc"
3121   data:
3122     "plot-vpp-throughput-latency"
3123   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3124   parameters:
3125   - "throughput"
3126   - "parent"
3127   traces:
3128     hoverinfo: "x+y"
3129     boxpoints: "outliers"
3130     whiskerwidth: 0
3131   layout:
3132     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3133     xaxis:
3134       autorange: True
3135       autotick: False
3136       fixedrange: False
3137       gridcolor: "rgb(238, 238, 238)"
3138       linecolor: "rgb(238, 238, 238)"
3139       linewidth: 1
3140       showgrid: True
3141       showline: True
3142       showticklabels: True
3143       tickcolor: "rgb(238, 238, 238)"
3144       tickmode: "linear"
3145       title: "Indexed Test Cases"
3146       zeroline: False
3147     yaxis:
3148       gridcolor: "rgb(238, 238, 238)'"
3149       hoverformat: ".4s"
3150       linecolor: "rgb(238, 238, 238)"
3151       linewidth: 1
3152       range: [0, 4500000]
3153       showgrid: True
3154       showline: True
3155       showticklabels: True
3156       tickcolor: "rgb(238, 238, 238)"
3157       title: "Packets Per Second [pps]"
3158       zeroline: False
3159     boxmode: "group"
3160     boxgroupgap: 0.5
3161     autosize: False
3162     margin:
3163       t: 50
3164       b: 20
3165       l: 50
3166       r: 20
3167     showlegend: True
3168     legend:
3169       orientation: "h"
3170     width: 700
3171     height: 1000
3172
3173 -
3174   type: "plot"
3175   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3176   algorithm: "plot_performance_box"
3177   output-file-type: ".html"
3178   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc"
3179   data:
3180     "plot-vpp-throughput-latency"
3181   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3182   parameters:
3183   - "throughput"
3184   - "parent"
3185   traces:
3186     hoverinfo: "x+y"
3187     boxpoints: "outliers"
3188     whiskerwidth: 0
3189   layout:
3190     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3191     xaxis:
3192       autorange: True
3193       autotick: False
3194       fixedrange: False
3195       gridcolor: "rgb(238, 238, 238)"
3196       linecolor: "rgb(238, 238, 238)"
3197       linewidth: 1
3198       showgrid: True
3199       showline: True
3200       showticklabels: True
3201       tickcolor: "rgb(238, 238, 238)"
3202       tickmode: "linear"
3203       title: "Indexed Test Cases"
3204       zeroline: False
3205     yaxis:
3206       gridcolor: "rgb(238, 238, 238)'"
3207       hoverformat: ".4s"
3208       linecolor: "rgb(238, 238, 238)"
3209       linewidth: 1
3210       range: [0, 8000000]
3211       showgrid: True
3212       showline: True
3213       showticklabels: True
3214       tickcolor: "rgb(238, 238, 238)"
3215       title: "Packets Per Second [pps]"
3216       zeroline: False
3217     boxmode: "group"
3218     boxgroupgap: 0.5
3219     autosize: False
3220     margin:
3221       t: 50
3222       b: 20
3223       l: 50
3224       r: 20
3225     showlegend: True
3226     legend:
3227       orientation: "h"
3228     width: 700
3229     height: 1000
3230
3231 -
3232   type: "plot"
3233   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3234   algorithm: "plot_performance_box"
3235   output-file-type: ".html"
3236   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-pdrdisc"
3237   data:
3238     "plot-vpp-throughput-latency"
3239   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3240   parameters:
3241   - "throughput"
3242   - "parent"
3243   traces:
3244     hoverinfo: "x+y"
3245     boxpoints: "outliers"
3246     whiskerwidth: 0
3247   layout:
3248     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3249     xaxis:
3250       autorange: True
3251       autotick: False
3252       fixedrange: False
3253       gridcolor: "rgb(238, 238, 238)"
3254       linecolor: "rgb(238, 238, 238)"
3255       linewidth: 1
3256       showgrid: True
3257       showline: True
3258       showticklabels: True
3259       tickcolor: "rgb(238, 238, 238)"
3260       tickmode: "linear"
3261       title: "Indexed Test Cases"
3262       zeroline: False
3263     yaxis:
3264       gridcolor: "rgb(238, 238, 238)'"
3265       hoverformat: ".4s"
3266       linecolor: "rgb(238, 238, 238)"
3267       linewidth: 1
3268       range: [0, 4500000]
3269       showgrid: True
3270       showline: True
3271       showticklabels: True
3272       tickcolor: "rgb(238, 238, 238)"
3273       title: "Packets Per Second [pps]"
3274       zeroline: False
3275     boxmode: "group"
3276     boxgroupgap: 0.5
3277     autosize: False
3278     margin:
3279       t: 50
3280       b: 20
3281       l: 50
3282       r: 20
3283     showlegend: True
3284     legend:
3285       orientation: "h"
3286     width: 700
3287     height: 1000
3288
3289 -
3290   type: "plot"
3291   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3292   algorithm: "plot_performance_box"
3293   output-file-type: ".html"
3294   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-pdrdisc"
3295   data:
3296     "plot-vpp-throughput-latency"
3297   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3298   parameters:
3299   - "throughput"
3300   - "parent"
3301   traces:
3302     hoverinfo: "x+y"
3303     boxpoints: "outliers"
3304     whiskerwidth: 0
3305   layout:
3306     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3307     xaxis:
3308       autorange: True
3309       autotick: False
3310       fixedrange: False
3311       gridcolor: "rgb(238, 238, 238)"
3312       linecolor: "rgb(238, 238, 238)"
3313       linewidth: 1
3314       showgrid: True
3315       showline: True
3316       showticklabels: True
3317       tickcolor: "rgb(238, 238, 238)"
3318       tickmode: "linear"
3319       title: "Indexed Test Cases"
3320       zeroline: False
3321     yaxis:
3322       gridcolor: "rgb(238, 238, 238)'"
3323       hoverformat: ".4s"
3324       linecolor: "rgb(238, 238, 238)"
3325       linewidth: 1
3326       range: [0, 8000000]
3327       showgrid: True
3328       showline: True
3329       showticklabels: True
3330       tickcolor: "rgb(238, 238, 238)"
3331       title: "Packets Per Second [pps]"
3332       zeroline: False
3333     boxmode: "group"
3334     boxgroupgap: 0.5
3335     autosize: False
3336     margin:
3337       t: 50
3338       b: 20
3339       l: 50
3340       r: 20
3341     showlegend: True
3342     legend:
3343       orientation: "h"
3344     width: 700
3345     height: 1000
3346
3347 # Container orchestrated
3348 -
3349   type: "plot"
3350   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3351   algorithm: "plot_performance_box"
3352   output-file-type: ".html"
3353   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc"
3354   data:
3355     "plot-ligato-throughput-latency"
3356   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3357   parameters:
3358   - "throughput"
3359   - "parent"
3360   traces:
3361     hoverinfo: "x+y"
3362     boxpoints: "outliers"
3363     whiskerwidth: 0
3364   layout:
3365     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3366     layout:
3367       "plot-throughput"
3368
3369 -
3370   type: "plot"
3371   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3372   algorithm: "plot_performance_box"
3373   output-file-type: ".html"
3374   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc"
3375   data:
3376     "plot-ligato-throughput-latency"
3377   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3378   parameters:
3379   - "throughput"
3380   - "parent"
3381   traces:
3382     hoverinfo: "x+y"
3383     boxpoints: "outliers"
3384     whiskerwidth: 0
3385   layout:
3386     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3387     layout:
3388       "plot-throughput"
3389
3390 -
3391   type: "plot"
3392   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3393   algorithm: "plot_performance_box"
3394   output-file-type: ".html"
3395   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-pdrdisc"
3396   data:
3397     "plot-ligato-throughput-latency"
3398   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3399   parameters:
3400   - "throughput"
3401   - "parent"
3402   traces:
3403     hoverinfo: "x+y"
3404     boxpoints: "outliers"
3405     whiskerwidth: 0
3406   layout:
3407     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3408     layout:
3409       "plot-throughput"
3410
3411 -
3412   type: "plot"
3413   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3414   algorithm: "plot_performance_box"
3415   output-file-type: ".html"
3416   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-pdrdisc"
3417   data:
3418     "plot-ligato-throughput-latency"
3419   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3420   parameters:
3421   - "throughput"
3422   - "parent"
3423   traces:
3424     hoverinfo: "x+y"
3425     boxpoints: "outliers"
3426     whiskerwidth: 0
3427   layout:
3428     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3429     layout:
3430       "plot-throughput"
3431
3432 # Ligato - Latency
3433
3434 # Container memif
3435 -
3436   type: "plot"
3437   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3438   algorithm: "plot_latency_box"
3439   output-file-type: ".html"
3440   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc-lat50"
3441   data:
3442     "plot-vpp-throughput-latency"
3443   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3444   parameters:
3445   - "latency"
3446   - "parent"
3447   traces:
3448     boxmean: False
3449   layout:
3450     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3451     layout:
3452       "plot-latency"
3453
3454 -
3455   type: "plot"
3456   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3457   algorithm: "plot_latency_box"
3458   output-file-type: ".html"
3459   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc-lat50"
3460   data:
3461     "plot-vpp-throughput-latency"
3462   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3463   parameters:
3464   - "latency"
3465   - "parent"
3466   traces:
3467     boxmean: False
3468   layout:
3469     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3470     layout:
3471       "plot-latency"
3472
3473 # Container orchestrated
3474 -
3475   type: "plot"
3476   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3477   algorithm: "plot_latency_box"
3478   output-file-type: ".html"
3479   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc-lat50"
3480   data:
3481     "plot-ligato-throughput-latency"
3482   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3483   parameters:
3484   - "latency"
3485   - "parent"
3486   traces:
3487     boxmean: False
3488   layout:
3489     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3490     layout:
3491       "plot-latency"
3492
3493 -
3494   type: "plot"
3495   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3496   algorithm: "plot_latency_box"
3497   output-file-type: ".html"
3498   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc-lat50"
3499   data:
3500     "plot-ligato-throughput-latency"
3501   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3502   parameters:
3503   - "latency"
3504   - "parent"
3505   traces:
3506     boxmean: False
3507   layout:
3508     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3509     layout:
3510       "plot-latency"