resources/tools/presentation/specification.yaml

   1 -
   2   type: "environment"
   3   configuration:
   4     # Debug mode:
   5     # - Skip:
   6     #   - Download of input data files
   7     # - Do:
   8     #   - Read data from given zip / xml files
   9     #   - Set the configuration as it is done in normal mode
  10     # If the section "type: debug" is missing, CFG[DEBUG] is set to 0.
  11     CFG[DEBUG]: 0
  12
  13   paths:
  14     # Top level directories:
  15     ## Working directory
  16     DIR[WORKING]: "_tmp"
  17     ## Build directories
  18     DIR[BUILD,HTML]: "_build"
  19     DIR[BUILD,LATEX]: "_build_latex"
  20
  21     # Static .rst files
  22     DIR[RST]: "../../../docs/report"
  23
  24     # Working directories
  25     ## Input data files (.zip, .xml)
  26     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
  27     ## Static source files from git
  28     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
  29     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
  30
  31     # Static html content
  32     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
  33     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
  34     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
  35     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
  36
  37     # Detailed test results
  38     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
  39     DIR[DTR,PERF,DPDK]: "{DIR[DTR]}/dpdk_performance_results"
  40     DIR[DTR,PERF,VPP]: "{DIR[DTR]}/vpp_performance_results"
  41     DIR[DTR,PERF,COT]: "{DIR[DTR]}/cot_performance_results"
  42     DIR[DTR,PERF,HC]: "{DIR[DTR]}/honeycomb_performance_results"
  43     DIR[DTR,FUNC,VPP]: "{DIR[DTR]}/vpp_functional_results"
  44     DIR[DTR,FUNC,HC]: "{DIR[DTR]}/honeycomb_functional_results"
  45     DIR[DTR,FUNC,NSHSFC]: "{DIR[DTR]}/nshsfc_functional_results"
  46     DIR[DTR,PERF,VPP,IMPRV]: "{DIR[WORKING,SRC]}/vpp_performance_tests/performance_improvements"
  47
  48     # Detailed test configurations
  49     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
  50     DIR[DTC,PERF,VPP]: "{DIR[DTC]}/vpp_performance_configuration"
  51     DIR[DTC,FUNC,VPP]: "{DIR[DTC]}/vpp_functional_configuration"
  52
  53     # Detailed tests operational data
  54     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
  55     DIR[DTO,PERF,VPP]: "{DIR[DTO]}/vpp_performance_operational_data"
  56
  57     # .css patch file to fix tables generated by Sphinx
  58     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
  59     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
  60
  61   urls:
  62     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
  63     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
  64     URL[NEXUS]: "https://docs.fd.io/csit"
  65     DIR[NEXUS]: "report/_static/archive"
  66
  67   make-dirs:
  68   # List the directories which are created while preparing the environment.
  69   # All directories MUST be defined in "paths" section.
  70   - "DIR[WORKING,DATA]"
  71   - "DIR[STATIC,VPP]"
  72   - "DIR[STATIC,DPDK]"
  73   - "DIR[STATIC,ARCH]"
  74   - "DIR[BUILD,LATEX]"
  75   - "DIR[WORKING,SRC]"
  76   - "DIR[WORKING,SRC,STATIC]"
  77
  78   remove-dirs:
  79   # List the directories which are deleted while cleaning the environment.
  80   # All directories MUST be defined in "paths" section.
  81   #- "DIR[BUILD,HTML]"
  82
  83   build-dirs:
  84   # List the directories where the results (build) is stored.
  85   # All directories MUST be defined in "paths" section.
  86   - "DIR[BUILD,HTML]"
  87   - "DIR[BUILD,LATEX]"
  88
  89 -
  90   type: "configuration"
  91   data-sets:
  92     plot-vpp-http-server-performance:
  93       csit-vpp-perf-1801-all:
  94       - 157
  95       - 158
  96       - 159
  97       - 160
  98       - 161
  99       - 164
 100       - 165
 101       - 166
 102       - 168
 103       - 169
 104       - 170
 105 # TODO: Add the data sources
 106 #    vpp-meltdown-impact:
 107 #      csit-vpp-perf-1707-all:
 108 #      - 9
 109 #      - 10
 110 #      - 13
 111 #      csit-vpp-perf-1710-all:
 112 #      - 11l
 113 #      - 12
 114 #      - 13
 115 # TODO: Add the data sources
 116 #    vpp-spectre-impact:
 117 #      csit-vpp-perf-1707-all:
 118 #      - 9
 119 #      - 10
 120 #      - 13
 121 #      csit-vpp-perf-1710-all:
 122 #      - 11
 123 #      - 12
 124 #      - 13
 125     vpp-performance-changes:
 126       csit-vpp-perf-1710-all:
 127       - 11
 128       - 12
 129       - 13
 130       - 14
 131       - 15
 132       - 16
 133       - 17
 134       - 18
 135       - 19
 136       - 20
 137       csit-vpp-perf-1801-all:
 138       - 124  # sel
 139       - 127  # sel
 140       - 128  # sel
 141       - 141  # sel
 142       - 142  # sel
 143       - 143  # sel
 144       - 145  # sel
 145       - 146  # sel
 146       - 162  # sel
 147       - 163  # sel
 148       - 167  # sel
 149       - 172  # sel acl only
 150     plot-throughput-speedup-analysis:
 151       csit-vpp-perf-1801-all:
 152       - 122  # full
 153       - 126  # full
 154       - 129  # full
 155       - 140  # full
 156       - 124  # sel
 157       - 127  # sel
 158       - 128  # sel
 159       - 141  # sel
 160       - 142  # sel
 161       - 143  # sel
 162       - 145  # sel
 163       - 146  # sel
 164       - 162  # sel
 165       - 163  # sel
 166       - 167  # sel
 167       - 172  # sel acl only
 168 #    performance-improvements:
 169 #      csit-vpp-perf-1707-all:
 170 #      - 9
 171 #      - 10
 172 #      - 13
 173 #      - 14
 174 #      - 15
 175 #      - 16
 176 #      - 17
 177 #      - 18
 178 #      - 19
 179 #      - 21
 180 #      csit-vpp-perf-1710-all:
 181 #      - 11
 182 #      - 12
 183 #      - 13
 184 #      - 14
 185 #      - 15
 186 #      - 16
 187 #      - 17
 188 #      - 18
 189 #      - 19
 190 #      - 20
 191 #      csit-vpp-perf-1801-all:
 192 #      - 124
 193 #      - 127
 194 #      - 128
 195 #      csit-ligato-perf-1710-all:
 196 #      - 5
 197 #      - 7
 198 #      - 8
 199 #      - 9
 200 #      - 10
 201 #      - 11
 202 #      - 12
 203 #      - 13
 204 #      - 16
 205 #      - 17
 206 #      csit-ligato-perf-1801-all:
 207 #      - 16  # sel
 208 #      - 17  # sel
 209 #      - 18  # sel
 210 #      - 19  # sel
 211 #      - 20  # sel
 212 #      - 21  # sel
 213 #      - 22  # sel
 214 #      - 23  # sel
 215 #      - 24  # sel
 216     vpp-perf-results:
 217       csit-vpp-perf-1801-all:
 218       - 122
 219       - 126
 220       - 129
 221       - 140
 222     vpp-func-results:
 223       csit-vpp-functional-1801-ubuntu1604-virl:
 224       - "lastSuccessfulBuild"
 225     ligato-perf-results:
 226       csit-ligato-perf-1801-all:
 227       - 25  # full
 228     dpdk-perf-results:
 229       csit-dpdk-perf-1801-all:
 230       - 12
 231     hc-func-results:
 232       csit-hc2vpp-verify-func-1801-ubuntu1604:
 233       - "lastSuccessfulBuild"
 234     nsh-func-results:
 235       csit-nsh_sfc-verify-func-1801-ubuntu1604-virl:
 236       - 1
 237     plot-vpp-throughput-latency:
 238       csit-vpp-perf-1801-all:
 239       - 122  # full
 240       - 126  # full
 241       - 129  # full
 242       - 140  # full
 243       - 124  # sel
 244       - 127  # sel
 245       - 128  # sel
 246       - 141  # sel
 247       - 142  # sel
 248       - 143  # sel
 249       - 145  # sel
 250       - 146  # sel
 251       - 162  # sel
 252       - 163  # sel
 253       - 167  # sel
 254       - 172  # sel acl only
 255     plot-dpdk-throughput-latency:
 256       csit-dpdk-perf-1801-all:
 257       - 1
 258       - 3
 259       - 4
 260       - 5
 261       - 6
 262       - 7
 263       - 8
 264       - 10
 265       - 12
 266     plot-ligato-throughput-latency:
 267       csit-ligato-perf-1801-all:
 268       - 16  # sel
 269       - 17  # sel
 270       - 18  # sel
 271       - 19  # sel
 272       - 20  # sel
 273       - 21  # sel
 274       - 22  # sel
 275       - 23  # sel
 276       - 24  # sel
 277
 278   plot-layouts:
 279
 280     plot-cps:
 281       xaxis:
 282         autorange: True
 283         autotick: False
 284         fixedrange: False
 285         gridcolor: "rgb(238, 238, 238)"
 286         linecolor: "rgb(238, 238, 238)"
 287         linewidth: 1
 288         showgrid: True
 289         showline: True
 290         showticklabels: True
 291         tickcolor: "rgb(238, 238, 238)"
 292         tickmode: "linear"
 293         title: "Indexed Test Cases"
 294         zeroline: False
 295       yaxis:
 296         gridcolor: "rgb(238, 238, 238)'"
 297         hoverformat: ".4s"
 298         linecolor: "rgb(238, 238, 238)"
 299         linewidth: 1
 300         range: []
 301         rangemode: "tozero"
 302         showgrid: True
 303         showline: True
 304         showticklabels: True
 305         tickcolor: "rgb(238, 238, 238)"
 306         title: "Connections Per Second [cps]"
 307         zeroline: False
 308       boxmode: "group"
 309       boxgroupgap: 0.5
 310       autosize: False
 311       margin:
 312         t: 50
 313         b: 20
 314         l: 50
 315         r: 20
 316       showlegend: True
 317       legend:
 318         orientation: "h"
 319       width: 700
 320       height: 1000
 321
 322     plot-rps:
 323       xaxis:
 324         autorange: True
 325         autotick: False
 326         fixedrange: False
 327         gridcolor: "rgb(238, 238, 238)"
 328         linecolor: "rgb(238, 238, 238)"
 329         linewidth: 1
 330         showgrid: True
 331         showline: True
 332         showticklabels: True
 333         tickcolor: "rgb(238, 238, 238)"
 334         tickmode: "linear"
 335         title: "Indexed Test Cases"
 336         zeroline: False
 337       yaxis:
 338         gridcolor: "rgb(238, 238, 238)'"
 339         hoverformat: ".4s"
 340         linecolor: "rgb(238, 238, 238)"
 341         linewidth: 1
 342         range: []
 343         rangemode: "tozero"
 344         showgrid: True
 345         showline: True
 346         showticklabels: True
 347         tickcolor: "rgb(238, 238, 238)"
 348         title: "Requests Per Second [rps]"
 349         zeroline: False
 350       boxmode: "group"
 351       boxgroupgap: 0.5
 352       autosize: False
 353       margin:
 354         t: 50
 355         b: 20
 356         l: 50
 357         r: 20
 358       showlegend: True
 359       legend:
 360         orientation: "h"
 361       width: 700
 362       height: 1000
 363
 364     plot-throughput:
 365       xaxis:
 366         autorange: True
 367         autotick: False
 368         fixedrange: False
 369         gridcolor: "rgb(238, 238, 238)"
 370         linecolor: "rgb(238, 238, 238)"
 371         linewidth: 1
 372         showgrid: True
 373         showline: True
 374         showticklabels: True
 375         tickcolor: "rgb(238, 238, 238)"
 376         tickmode: "linear"
 377         title: "Indexed Test Cases"
 378         zeroline: False
 379       yaxis:
 380         gridcolor: "rgb(238, 238, 238)'"
 381         hoverformat: ".4s"
 382         linecolor: "rgb(238, 238, 238)"
 383         linewidth: 1
 384         range: []
 385         showgrid: True
 386         showline: True
 387         showticklabels: True
 388         tickcolor: "rgb(238, 238, 238)"
 389         title: "Packets Per Second [pps]"
 390         zeroline: False
 391       boxmode: "group"
 392       boxgroupgap: 0.5
 393       autosize: False
 394       margin:
 395         t: 50
 396         b: 20
 397         l: 50
 398         r: 20
 399       showlegend: True
 400       legend:
 401         orientation: "h"
 402       width: 700
 403       height: 1000
 404
 405     plot-latency:
 406       xaxis:
 407         autorange: True
 408         autotick: False
 409         fixedrange: False
 410         gridcolor: "rgb(238, 238, 238)"
 411         linecolor: "rgb(238, 238, 238)"
 412         linewidth: 1
 413         showgrid: True
 414         showline: True
 415         showticklabels: True
 416         tickcolor: "rgb(238, 238, 238)"
 417         tickmode: "linear"
 418         title: "Indexed Test Cases"
 419         zeroline: False
 420       yaxis:
 421         gridcolor: "rgb(238, 238, 238)'"
 422         hoverformat: ""
 423         linecolor: "rgb(238, 238, 238)"
 424         linewidth: 1
 425         range: []
 426         showgrid: True
 427         showline: True
 428         showticklabels: True
 429         tickcolor: "rgb(238, 238, 238)"
 430         title: "Latency min/avg/max [uSec]"
 431         zeroline: False
 432       boxmode: "group"
 433       boxgroupgap: 0.5
 434       autosize: False
 435       margin:
 436         t: 50
 437         b: 20
 438         l: 50
 439         r: 20
 440       showlegend: True
 441       legend:
 442         orientation: "h"
 443       width: 700
 444       height: 1000
 445
 446     plot-throughput-speedup-analysis:
 447       xaxis:
 448         autorange: True
 449         autotick: False
 450         fixedrange: False
 451         gridcolor: "rgb(238, 238, 238)"
 452         linecolor: "rgb(238, 238, 238)"
 453         linewidth: 1
 454         showgrid: True
 455         showline: True
 456         showticklabels: True
 457         tickcolor: "rgb(238, 238, 238)"
 458         tickmode: "linear"
 459         tickangle: 270
 460         zeroline: False
 461       yaxis:
 462         title: "Throughput speedup factor"
 463         gridcolor: "rgb(238, 238, 238)"
 464         hoverformat: ".4s"
 465         linecolor: "rgb(238, 238, 238)"
 466         linewidth: 1
 467         range: []
 468         showgrid: True
 469         showline: True
 470         showticklabels: True
 471         tickcolor: "rgb(238, 238, 238)"
 472         zeroline: False
 473       legend:
 474         orientation: "h"
 475         xanchor: "center"
 476         yanchor: "top"
 477         x: 0.5
 478         y: 1
 479         bgcolor: "rgba(255, 255, 255, 0)"
 480         bordercolor: "rgba(255, 255, 255, 0)"
 481       barmode: "group"
 482       bargap: 0.15
 483       bargroupgap: 0.1
 484       autosize: False
 485       margin:
 486           't': 50
 487           'b': 200
 488           'l': 50
 489           'r': 20
 490       showlegend: True
 491       width: 700
 492       height: 1000
 493
 494 -
 495   type: "debug"
 496   general:
 497     input-format: "xml"  # zip or xml
 498     extract: "robot-plugin/output.xml"  # Only for zip
 499   builds:
 500     # The files must be in the directory DIR[WORKING,DATA]
 501     csit-vpp-perf-1801-all:
 502     -
 503       build: 1
 504       file: "{DIR[WORKING,DATA]}/output.xml"
 505     -
 506       build: 2
 507       file: "{DIR[WORKING,DATA]}/output.xml"
 508     -
 509       build: 3
 510       file: "{DIR[WORKING,DATA]}/output.xml"
 511     -
 512       build: 4
 513       file: "{DIR[WORKING,DATA]}/output.xml"
 514
 515 -
 516   type: "static"
 517   src-path: "{DIR[RST]}"
 518   dst-path: "{DIR[WORKING,SRC]}"
 519
 520 -
 521   type: "input"  # Ignored in debug mode
 522   general:
 523     file-name: "robot-plugin.zip"
 524     file-format: ".zip"
 525     download-path: "{job}/{build}/robot/report/*zip*/{filename}"
 526     extract: "robot-plugin/output.xml"
 527   builds:
 528 #    csit-vpp-perf-1707-all:
 529 #    - 9
 530 #    - 10
 531 #    - 13
 532 #    - 14
 533 #    - 15
 534 #    - 16
 535 #    - 17
 536 #    - 18
 537 #    - 19
 538 #    - 21
 539     csit-vpp-perf-1710-all:
 540     - 11
 541     - 12
 542     - 13
 543     - 14
 544     - 15
 545     - 16
 546     - 17
 547     - 18
 548     - 19
 549     - 20
 550     csit-vpp-perf-1801-all:
 551     - 122  # full
 552     - 126  # full
 553     - 129  # full
 554     - 140  # full
 555     - 124  # sel
 556     - 127  # sel
 557     - 128  # sel
 558     - 141  # sel
 559     - 142  # sel
 560     - 143  # sel
 561     - 145  # sel
 562     - 146  # sel
 563     - 157  # wrk
 564     - 158  # wrk
 565     - 159  # wrk
 566     - 160  # wrk
 567     - 161  # wrk
 568     - 162  # sel
 569     - 163  # sel
 570     - 164  # wrk
 571     - 165  # wrk
 572     - 166  # wrk
 573     - 167  # sel
 574     - 168  # wrk
 575     - 169  # wrk
 576     - 170  # wrk
 577     - 172  # sel acl only
 578     csit-ligato-perf-1710-all:
 579     - 5
 580     - 7
 581     - 8
 582     - 9
 583     - 10
 584     - 11
 585     - 12
 586     - 13
 587     - 16
 588     - 17
 589     csit-dpdk-perf-1801-all:
 590     - 1
 591     - 4
 592     - 5
 593     - 7
 594     - 8
 595     - 10
 596     - 12
 597     - 16
 598     - 17
 599     csit-ligato-perf-1801-all:
 600     - 16  # sel
 601     - 17  # sel
 602     - 18  # sel
 603     - 19  # sel
 604     - 20  # sel
 605     - 21  # sel
 606     - 22  # sel
 607     - 23  # sel
 608     - 24  # sel
 609     - 25  # full
 610     csit-dpdk-perf-1801-all:
 611     - 1
 612     - 3
 613     - 4
 614     - 5
 615     - 6
 616     - 7
 617     - 8
 618     - 9
 619     - 10
 620     - 12
 621     csit-vpp-functional-1801-ubuntu1604-virl:
 622     - lastSuccessfulBuild
 623     csit-nsh_sfc-verify-func-1801-ubuntu1604-virl:
 624     - 1
 625     csit-hc2vpp-verify-func-1801-ubuntu1604:
 626     - lastSuccessfulBuild
 627
 628 -
 629   type: "output"
 630   output: "report"
 631   format:
 632     html:
 633     - full
 634     pdf:
 635     - minimal
 636
 637 ################################################################################
 638 ###                               T A B L E S                                ###
 639 ################################################################################
 640
 641 #-
 642 #  type: "table"
 643 #  title: "Performance Impact of Meltdown Patches"
 644 #  algorithm: "table_performance_comparison"
 645 #  output-file-ext: ".csv"
 646 ## TODO: specify dir
 647 #  output-file: "{DIR[STATIC,VPP]}/meltdown-impact"
 648 #  reference:
 649 #    title: "No Meltdown"
 650 ## TODO: specify data sources
 651 #    data:
 652 #      csit-vpp-perf-1707-all:
 653 #      - 9
 654 #      - 10
 655 #      - 13
 656 #  compare:
 657 #    title: "Meltdown Patches Applied"
 658 ## TODO: specify data sources
 659 #    data:
 660 #      csit-vpp-perf-1710-all:
 661 #      - 11
 662 #      - 12
 663 #      - 13
 664 #  data:
 665 #    "vpp-meltdown-impact"
 666 #  filter: "all"
 667 #  parameters:
 668 #  - "name"
 669 #  - "parent"
 670 #  - "throughput"
 671 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
 672 #  # to present all tests.
 673 #  nr-of-tests-shown: 20
 674 #
 675 #-
 676 #  type: "table"
 677 #  title: "Performance Impact of Spectre Patches"
 678 #  algorithm: "table_performance_comparison"
 679 #  output-file-ext: ".csv"
 680 ## TODO: specify dir
 681 #  output-file: "{DIR[STATIC,VPP]}/meltdown-spectre-impact"
 682 #  reference:
 683 #    title: "No Spectre"
 684 ## TODO: specify data sources
 685 #    data:
 686 #      csit-vpp-perf-1707-all:
 687 #      - 9
 688 #      - 10
 689 #      - 13
 690 #  compare:
 691 #    title: "Spectre Patches Applied"
 692 ## TODO: specify data sources
 693 #    data:
 694 #      csit-vpp-perf-1710-all:
 695 #      - 11
 696 #      - 12
 697 #      - 13
 698 #  data:
 699 #    "vpp-spectre-impact"
 700 #  filter: "all"
 701 #  parameters:
 702 #  - "name"
 703 #  - "parent"
 704 #  - "throughput"
 705 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
 706 #  # to present all tests.
 707 #  nr-of-tests-shown: 20
 708
 709 -
 710   type: "table"
 711   title: "VPP Performance Changes"
 712   algorithm: "table_performance_comparison"
 713   output-file-ext: ".csv"
 714   output-file: "{DIR[STATIC,VPP]}/performance-changes"
 715   reference:
 716     title: "Release 1710"
 717     data:
 718       csit-vpp-perf-1710-all:
 719       - 11
 720       - 12
 721       - 13
 722       - 14
 723       - 15
 724       - 16
 725       - 17
 726       - 18
 727       - 19
 728       - 20
 729   compare:
 730     title: "Release 1801"
 731 # TODO: specify data sources
 732     data:
 733       csit-vpp-perf-1801-all:
 734       - 124  # sel
 735       - 127  # sel
 736       - 128  # sel
 737       - 141  # sel
 738       - 142  # sel
 739       - 143  # sel
 740       - 145  # sel
 741       - 146  # sel
 742       - 162  # sel
 743       - 163  # sel
 744       - 167  # sel
 745       - 172  # sel acl only
 746   data: "vpp-performance-changes"
 747   filter: "all"
 748   parameters:
 749   - "name"
 750   - "parent"
 751   - "throughput"
 752   # Number of the best and the worst tests presented in the table. Use 0 (zero)
 753   # to present all tests.
 754   nr-of-tests-shown: 20
 755   outlier-const: 1.5
 756
 757 #-
 758 #  type: "table"
 759 #  title: "Performance improvements"
 760 #  algorithm: "table_performance_improvements"
 761 #  template: "{DIR[DTR,PERF,VPP,IMPRV]}/tmpl_performance_improvements.csv"
 762 #  output-file-ext: ".csv"
 763 #  output-file: "{DIR[DTR,PERF,VPP,IMPRV]}/performance_improvements"
 764 #  columns:
 765 #  -
 766 #    title: "Test Name"
 767 #    data: "template 1"
 768 #  -
 769 #    title: "16.09 mean [Mpps]"
 770 #    data: "template 2"
 771 #  -
 772 #    title: "17.01 mean [Mpps]"
 773 #    data: "template 3"
 774 #  -
 775 #    title: "17.04 mean [Mpps]"
 776 #    data: "template 4"
 777 #  -
 778 #    title: "17.07 mean [Mpps]"
 779 #    data: "data csit-vpp-perf-1707-all mean"
 780 #  -
 781 #    title: "17.10 mean [Mpps]"
 782 #    data: "data csit-vpp-perf-1710-all csit-ligato-perf-1710-all mean"
 783 #  -
 784 #    title: "18.01 mean [Mpps]"
 785 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all mean"
 786 #  -
 787 #    title: "18.01 stdev [Mpps]"
 788 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all stdev"
 789 #  -
 790 #    title: "17.10 to 18.01 change [%]"
 791 #    data: "operation relative_change 5 6"
 792 #  rows: "generated"
 793 #  data:
 794 #    "performance-improvements"
 795 #  filter: "template"
 796 #  parameters:
 797 #  - "throughput"
 798
 799 -
 800   type: "table"
 801   title: "Detailed Test Results - VPP Performance Results"
 802   algorithm: "table_merged_details"
 803   output-file-ext: ".csv"
 804   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
 805   columns:
 806   -
 807     title: "Name"
 808     data: "data name"
 809   -
 810     title: "Documentation"
 811     data: "data doc"
 812   -
 813     title: "Status"
 814     data: "data msg"
 815   rows: "generated"
 816   data:
 817     "vpp-perf-results"
 818   filter: "not 'NDRCHK' and not 'PDRCHK'"
 819   parameters:
 820   - "name"
 821   - "parent"
 822   - "doc"
 823   - "msg"
 824
 825 -
 826   type: "table"
 827   title: "Test configuration - VPP Performance Test Configs"
 828   algorithm: "table_merged_details"
 829   output-file-ext: ".csv"
 830   output-file: "{DIR[DTC,PERF,VPP]}/vpp_test_configuration"
 831   columns:
 832   -
 833     title: "Name"
 834     data: "data name"
 835   -
 836     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
 837     data: "data vat-history"
 838   rows: "generated"
 839   data:
 840     "vpp-perf-results"
 841   filter: "not 'NDRCHK' and not 'PDRCHK'"
 842   parameters:
 843   - "parent"
 844   - "name"
 845   - "vat-history"
 846
 847 -
 848   type: "table"
 849   title: "Test Operational Data - VPP Performance Operational Data"
 850   algorithm: "table_merged_details"
 851   output-file-ext: ".csv"
 852   output-file: "{DIR[DTO,PERF,VPP]}/vpp_test_operational"
 853   columns:
 854   -
 855     title: "Name"
 856     data: "data name"
 857   -
 858     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
 859     data: "data show-run"
 860   rows: "generated"
 861   data:
 862     "vpp-perf-results"
 863   filter: "not 'NDRCHK' and not 'PDRCHK'"
 864   parameters:
 865   - "parent"
 866   - "name"
 867   - "show-run"
 868
 869 -
 870   type: "table"
 871   title: "Detailed Test Results - VPP Functional Results"
 872   algorithm: "table_details"
 873   output-file-ext: ".csv"
 874   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
 875   columns:
 876   -
 877     title: "Name"
 878     data: "data name"
 879   -
 880     title: "Documentation"
 881     data: "data doc"
 882   -
 883     title: "Status"
 884     data: "data status"
 885   rows: "generated"
 886   data:
 887     "vpp-func-results"
 888   filter: "all"
 889   parameters:
 890   - "name"
 891   - "parent"
 892   - "doc"
 893   - "status"
 894
 895 -
 896   type: "table"
 897   title: "Test configuration - VPP Functional Test Configs"
 898   algorithm: "table_details"
 899   output-file-ext: ".csv"
 900   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
 901   columns:
 902   -
 903     title: "Name"
 904     data: "data name"
 905   -
 906     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
 907     data: "data vat-history"
 908   rows: "generated"
 909   data:
 910     "vpp-func-results"
 911   filter: "all"
 912   parameters:
 913   - "parent"
 914   - "name"
 915   - "vat-history"
 916
 917 -
 918   type: "table"
 919   title: "Detailed Test Results - Container Orchestrated Topologies Performance Results"
 920   algorithm: "table_details"
 921   output-file-ext: ".csv"
 922   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
 923   columns:
 924   -
 925     title: "Name"
 926     data: "data name"
 927   -
 928     title: "Documentation"
 929     data: "data doc"
 930   -
 931     title: "Status"
 932     data: "data msg"
 933   rows: "generated"
 934   data:
 935     "ligato-perf-results"
 936   filter: "all"
 937   parameters:
 938   - "name"
 939   - "parent"
 940   - "doc"
 941   - "msg"
 942
 943 -
 944   type: "table"
 945   title: "Detailed Test Results - DPDK Performance Results"
 946   algorithm: "table_details"
 947   output-file-ext: ".csv"
 948   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
 949   columns:
 950   -
 951     title: "Name"
 952     data: "data name"
 953   -
 954     title: "Documentation"
 955     data: "data doc"
 956   -
 957     title: "Status"
 958     data: "data msg"
 959   rows: "generated"
 960   data:
 961     "dpdk-perf-results"
 962   filter: "all"
 963   parameters:
 964   - "name"
 965   - "parent"
 966   - "doc"
 967   - "msg"
 968
 969 -
 970   type: "table"
 971   title: "Detailed Test Results - Honeycomb Functional Results"
 972   algorithm: "table_details"
 973   output-file-ext: ".csv"
 974   output-file: "{DIR[DTR,FUNC,HC]}/hc_functional_results"
 975   columns:
 976   -
 977     title: "Name"
 978     data: "data name"
 979   -
 980     title: "Documentation"
 981     data: "data doc"
 982   -
 983     title: "Status"
 984     data: "data status"
 985   rows: "generated"
 986   data:
 987     "hc-func-results"
 988   filter: "all"
 989   parameters:
 990   - "name"
 991   - "parent"
 992   - "doc"
 993   - "status"
 994
 995 -
 996   type: "table"
 997   title: "Detailed Test Results - NSH SFC Functional Results"
 998   algorithm: "table_details"
 999   output-file-ext: ".csv"
1000   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nsh_sfc_functional_results"
1001   columns:
1002   -
1003     title: "Name"
1004     data: "data name"
1005   -
1006     title: "Documentation"
1007     data: "data doc"
1008   -
1009     title: "Status"
1010     data: "data status"
1011   rows: "generated"
1012   data:
1013     "nsh-func-results"
1014   filter: "all"
1015   parameters:
1016   - "name"
1017   - "parent"
1018   - "doc"
1019   - "status"
1020
1021 ################################################################################
1022 ###                                F I L E S                                 ###
1023 ################################################################################
1024
1025 -
1026   type: "file"
1027   title: "VPP Performance Results"
1028   algorithm: "file_merged_test_results"
1029   output-file-ext: ".rst"
1030   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
1031   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1032   dir-tables: "{DIR[DTR,PERF,VPP]}"
1033   data:
1034     "vpp-perf-results"
1035   filter: "not 'NDRCHK' and not 'PDRCHK'"
1036   parameters:
1037   - "name"
1038   - "doc"
1039   - "level"
1040   - "parent"
1041   data-start-level: 3  # 0, 1, 2, ...
1042   chapters-start-level: 2  # 0, 1, 2, ...
1043
1044 -
1045   type: "file"
1046   title: "VPP Performance Configuration"
1047   algorithm: "file_merged_test_results"
1048   output-file-ext: ".rst"
1049   output-file: "{DIR[DTC,PERF,VPP]}/vpp_performance_configuration"
1050   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1051   dir-tables: "{DIR[DTC,PERF,VPP]}"
1052   data:
1053     "vpp-perf-results"
1054   filter: "not 'NDRCHK' and not 'PDRCHK'"
1055   parameters:
1056   - "name"
1057   - "doc"
1058   - "level"
1059   - "parent"
1060   data-start-level: 3  # 0, 1, 2, ...
1061   chapters-start-level: 2  # 0, 1, 2, ...
1062
1063 -
1064   type: "file"
1065   title: "VPP Performance Operational Data"
1066   algorithm: "file_merged_test_results"
1067   output-file-ext: ".rst"
1068   output-file: "{DIR[DTO,PERF,VPP]}/vpp_performance_operational_data"
1069   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1070   dir-tables: "{DIR[DTO,PERF,VPP]}"
1071   data:
1072     "vpp-perf-results"
1073   filter: "not 'NDRCHK' and not 'PDRCHK'"
1074   parameters:
1075   - "name"
1076   - "doc"
1077   - "level"
1078   - "parent"
1079   data-start-level: 3  # 0, 1, 2, ...
1080   chapters-start-level: 2  # 0, 1, 2, ...
1081
1082 -
1083   type: "file"
1084   title: "VPP Functional Results"
1085   algorithm: "file_test_results"
1086   output-file-ext: ".rst"
1087   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
1088   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1089   dir-tables: "{DIR[DTR,FUNC,VPP]}"
1090   data:
1091     "vpp-func-results"
1092   filter: "all"
1093   parameters:
1094   - "name"
1095   - "doc"
1096   - "level"
1097   data-start-level: 3  # 0, 1, 2, ...
1098   chapters-start-level: 2  # 0, 1, 2, ...
1099
1100 -
1101   type: "file"
1102   title: "VPP Functional Configuration"
1103   algorithm: "file_test_results"
1104   output-file-ext: ".rst"
1105   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
1106   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1107   dir-tables: "{DIR[DTC,FUNC,VPP]}"
1108   data:
1109     "vpp-func-results"
1110   filter: "all"
1111   parameters:
1112   - "name"
1113   - "doc"
1114   - "level"
1115   data-start-level: 3  # 0, 1, 2, ...
1116   chapters-start-level: 2  # 0, 1, 2, ...
1117
1118 -
1119   type: "file"
1120   title: "Container Orchestrated Performance Results"
1121   algorithm: "file_test_results"
1122   output-file-ext: ".rst"
1123   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
1124   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1125   dir-tables: "{DIR[DTR,PERF,COT]}"
1126   data:
1127     "ligato-perf-results"
1128   filter: "all"
1129   parameters:
1130   - "name"
1131   - "doc"
1132   - "level"
1133   data-start-level: 2  # 0, 1, 2, ...
1134   chapters-start-level: 2  # 0, 1, 2, ...
1135
1136 -
1137   type: "file"
1138   title: "DPDK Performance Results"
1139   algorithm: "file_test_results"
1140   output-file-ext: ".rst"
1141   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
1142   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1143   dir-tables: "{DIR[DTR,PERF,DPDK]}"
1144   data:
1145     "dpdk-perf-results"
1146   filter: "all"
1147   parameters:
1148   - "name"
1149   - "doc"
1150   - "level"
1151   chapters:
1152   - "suites"
1153   data-start-level: 2  # 0, 1, 2, ...
1154   chapters-start-level: 2  # 0, 1, 2, ...
1155
1156 -
1157   type: "file"
1158   title: "Honeycomb Functional Results"
1159   algorithm: "file_test_results"
1160   output-file-ext: ".rst"
1161   output-file: "{DIR[DTR,FUNC,HC]}/honeycomb_functional_results"
1162   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1163   dir-tables: "{DIR[DTR,FUNC,HC]}"
1164   data:
1165     "hc-func-results"
1166   filter: "all"
1167   parameters:
1168   - "name"
1169   - "doc"
1170   - "level"
1171   chapters:
1172   - "suites"
1173   data-start-level: 3  # 0, 1, 2, ...
1174   chapters-start-level: 2  # 0, 1, 2, ...
1175
1176 -
1177   type: "file"
1178   title: "NSH SFC Functional Results"
1179   algorithm: "file_test_results"
1180   output-file-ext: ".rst"
1181   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nshsfc_functional_results"
1182   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1183   dir-tables: "{DIR[DTR,FUNC,NSHSFC]}"
1184   data:
1185     "nsh-func-results"
1186   filter: "all"
1187   parameters:
1188   - "name"
1189   - "doc"
1190   - "level"
1191   chapters:
1192   - "suites"
1193   data-start-level: 2  # 0, 1, 2, ...
1194   chapters-start-level: 2  # 0, 1, 2, ...
1195
1196 ################################################################################
1197 ###                                P L O T S                                 ###
1198 ################################################################################
1199
1200 # Plots VPP HTTP Server Performance
1201 -
1202   type: "plot"
1203   title: "VPP HTTP Server Performance"
1204   algorithm: "plot_http_server_performance_box"
1205   output-file-type: ".html"
1206   output-file: "{DIR[STATIC,VPP]}/http-server-performance-cps"
1207   data:
1208     "plot-vpp-http-server-performance"
1209   # Keep this formatting, the filter is enclosed with " (quotation mark) and
1210   # each tag is enclosed with ' (apostrophe).
1211   filter: "'HTTP' and 'TCP_CPS'"
1212   parameters:
1213   - "result"
1214   - "name"
1215   traces:
1216     hoverinfo: "x+y"
1217     boxpoints: "outliers"
1218     whiskerwidth: 0
1219   layout:
1220     title: "VPP HTTP Server Performance"
1221     layout:
1222       "plot-cps"
1223
1224 -
1225   type: "plot"
1226   title: "VPP HTTP Server Performance"
1227   algorithm: "plot_http_server_performance_box"
1228   output-file-type: ".html"
1229   output-file: "{DIR[STATIC,VPP]}/http-server-performance-rps"
1230   data:
1231     "plot-vpp-http-server-performance"
1232   filter: "'HTTP' and 'TCP_RPS'"
1233   parameters:
1234   - "result"
1235   - "name"
1236   traces:
1237     hoverinfo: "x+y"
1238     boxpoints: "outliers"
1239     whiskerwidth: 0
1240   layout:
1241     title: "VPP HTTP Server Performance"
1242     layout:
1243       "plot-rps"
1244
1245 # Plot Throughput Speedup Analysis
1246
1247 # L2 - 10ge2p1x520 - NDR
1248 -
1249   type: "plot"
1250   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1251   algorithm: "plot_throughput_speedup_analysis"
1252   output-file-type: ".html"
1253   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-ndrdisc"
1254   data:
1255     "plot-throughput-speedup-analysis"
1256   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1257   parameters:
1258   - "throughput"
1259   - "parent"
1260   - "tags"
1261   layout:
1262     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1263     layout:
1264       "plot-throughput-speedup-analysis"
1265
1266 # L2 - 40ge2p1xl710 - NDR
1267 -
1268   type: "plot"
1269   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1270   algorithm: "plot_throughput_speedup_analysis"
1271   output-file-type: ".html"
1272   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-l2-tsa-ndrdisc"
1273   data:
1274     "plot-throughput-speedup-analysis"
1275   filter: "'NIC_Intel-XL710' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1276   parameters:
1277   - "throughput"
1278   - "parent"
1279   - "tags"
1280   layout:
1281     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1282     layout:
1283       "plot-throughput-speedup-analysis"
1284
1285 # L2 - 10ge2p1x520 - PDR
1286 -
1287   type: "plot"
1288   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1289   algorithm: "plot_throughput_speedup_analysis"
1290   output-file-type: ".html"
1291   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-pdrdisc"
1292   data:
1293     "plot-throughput-speedup-analysis"
1294   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1295   parameters:
1296   - "throughput"
1297   - "parent"
1298   - "tags"
1299   layout:
1300     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1301     layout:
1302       "plot-throughput-speedup-analysis"
1303
1304 # IPv4 - 10ge2p1x520 - NDR
1305 -
1306   type: "plot"
1307   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1308   algorithm: "plot_throughput_speedup_analysis"
1309   output-file-type: ".html"
1310   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-ndrdisc"
1311   data:
1312     "plot-throughput-speedup-analysis"
1313   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1314   parameters:
1315   - "throughput"
1316   - "parent"
1317   - "tags"
1318   layout:
1319     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1320     layout:
1321       "plot-throughput-speedup-analysis"
1322
1323 # IPv4 - 40ge2p1xl710 - NDR
1324 -
1325   type: "plot"
1326   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1327   algorithm: "plot_throughput_speedup_analysis"
1328   output-file-type: ".html"
1329   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-ip4-tsa-ndrdisc"
1330   data:
1331     "plot-throughput-speedup-analysis"
1332   filter: "'NIC_Intel-XL710' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1333   parameters:
1334   - "throughput"
1335   - "parent"
1336   - "tags"
1337   layout:
1338     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1339     layout:
1340       "plot-throughput-speedup-analysis"
1341
1342 # IPv4 - 10ge2p1x520 - PDR
1343 -
1344   type: "plot"
1345   title: "TSA: 64B-*-ethip4-ip4(base|scale)*pdrdisc"
1346   algorithm: "plot_throughput_speedup_analysis"
1347   output-file-type: ".html"
1348   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-pdrdisc"
1349   data:
1350     "plot-throughput-speedup-analysis"
1351   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1352   parameters:
1353   - "throughput"
1354   - "parent"
1355   - "tags"
1356   layout:
1357     title: "64B-*-ethip4-ip4(base|scale)*pdrdisc"
1358     layout:
1359       "plot-throughput-speedup-analysis"
1360
1361 # IPv6 - 10ge2p1x520 - NDR
1362 -
1363   type: "plot"
1364   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1365   algorithm: "plot_throughput_speedup_analysis"
1366   output-file-type: ".html"
1367   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-ndrdisc"
1368   data:
1369     "plot-throughput-speedup-analysis"
1370   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1371   parameters:
1372   - "throughput"
1373   - "parent"
1374   - "tags"
1375   layout:
1376     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1377     layout:
1378       "plot-throughput-speedup-analysis"
1379
1380 # IPv6 - 40ge2p1xl710 - NDR
1381 -
1382   type: "plot"
1383   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1384   algorithm: "plot_throughput_speedup_analysis"
1385   output-file-type: ".html"
1386   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-78B-ip6-tsa-ndrdisc"
1387   data:
1388     "plot-throughput-speedup-analysis"
1389   filter: "'NIC_Intel-XL710' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1390   parameters:
1391   - "throughput"
1392   - "parent"
1393   - "tags"
1394   layout:
1395     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1396     layout:
1397       "plot-throughput-speedup-analysis"
1398
1399 # IPv6 - 10ge2p1x520 - PDR
1400 -
1401   type: "plot"
1402   title: "TSA: 78B-*-ethip6-ip6(base|scale)*pdrdisc"
1403   algorithm: "plot_throughput_speedup_analysis"
1404   output-file-type: ".html"
1405   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-pdrdisc"
1406   data:
1407     "plot-throughput-speedup-analysis"
1408   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST'"
1409   parameters:
1410   - "throughput"
1411   - "parent"
1412   - "tags"
1413   layout:
1414     title: "78B-*-ethip6-ip6(base|scale)*pdrdisc"
1415     layout:
1416       "plot-throughput-speedup-analysis"
1417
1418 # Plot packets per second
1419
1420 # VPP L2 sel1
1421 -
1422   type: "plot"
1423   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1424   algorithm: "plot_performance_box"
1425   output-file-type: ".html"
1426   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc"
1427   data:
1428     "plot-vpp-throughput-latency"
1429   # Keep this formatting, the filter is enclosed with " (quotation mark) and
1430   # each tag is enclosed with ' (apostrophe).
1431   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1432   parameters:
1433   - "throughput"
1434   - "parent"
1435   traces:
1436     hoverinfo: "x+y"
1437     boxpoints: "outliers"
1438     whiskerwidth: 0
1439   layout:
1440     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1441     layout:
1442       "plot-throughput"
1443
1444 -
1445   type: "plot"
1446   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1447   algorithm: "plot_performance_box"
1448   output-file-type: ".html"
1449   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc"
1450   data:
1451     "plot-vpp-throughput-latency"
1452   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1453   parameters:
1454   - "throughput"
1455   - "parent"
1456   traces:
1457     hoverinfo: "x+y"
1458     boxpoints: "outliers"
1459     whiskerwidth: 0
1460   layout:
1461     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1462     layout:
1463       "plot-throughput"
1464
1465 -
1466   type: "plot"
1467   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1468   algorithm: "plot_performance_box"
1469   output-file-type: ".html"
1470   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-pdrdisc"
1471   data:
1472     "plot-vpp-throughput-latency"
1473   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1474   parameters:
1475   - "throughput"
1476   - "parent"
1477   traces:
1478     hoverinfo: "x+y"
1479     boxpoints: "outliers"
1480     whiskerwidth: 0
1481   layout:
1482     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1483     layout:
1484       "plot-throughput"
1485
1486 -
1487   type: "plot"
1488   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1489   algorithm: "plot_performance_box"
1490   output-file-type: ".html"
1491   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-pdrdisc"
1492   data:
1493     "plot-vpp-throughput-latency"
1494   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1495   parameters:
1496   - "throughput"
1497   - "parent"
1498   traces:
1499     hoverinfo: "x+y"
1500     boxpoints: "outliers"
1501     whiskerwidth: 0
1502   layout:
1503     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1504     layout:
1505       "plot-throughput"
1506
1507 # VPP L2 sel2
1508 -
1509   type: "plot"
1510   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1511   algorithm: "plot_performance_box"
1512   output-file-type: ".html"
1513   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc"
1514   data:
1515     "plot-vpp-throughput-latency"
1516   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1517   parameters:
1518   - "throughput"
1519   - "parent"
1520   traces:
1521     hoverinfo: "x+y"
1522     boxpoints: "outliers"
1523     whiskerwidth: 0
1524   layout:
1525     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1526     layout:
1527       "plot-throughput"
1528
1529 -
1530   type: "plot"
1531   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1532   algorithm: "plot_performance_box"
1533   output-file-type: ".html"
1534   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc"
1535   data:
1536     "plot-vpp-throughput-latency"
1537   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1538   parameters:
1539   - "throughput"
1540   - "parent"
1541   traces:
1542     hoverinfo: "x+y"
1543     boxpoints: "outliers"
1544     whiskerwidth: 0
1545   layout:
1546     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1547     layout:
1548       "plot-throughput"
1549
1550 -
1551   type: "plot"
1552   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1553   algorithm: "plot_performance_box"
1554   output-file-type: ".html"
1555   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-pdrdisc"
1556   data:
1557     "plot-vpp-throughput-latency"
1558   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1559   parameters:
1560   - "throughput"
1561   - "parent"
1562   traces:
1563     hoverinfo: "x+y"
1564     boxpoints: "outliers"
1565     whiskerwidth: 0
1566   layout:
1567     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1568     layout:
1569       "plot-throughput"
1570
1571 -
1572   type: "plot"
1573   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1574   algorithm: "plot_performance_box"
1575   output-file-type: ".html"
1576   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-pdrdisc"
1577   data:
1578     "plot-vpp-throughput-latency"
1579   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1580   parameters:
1581   - "throughput"
1582   - "parent"
1583   traces:
1584     hoverinfo: "x+y"
1585     boxpoints: "outliers"
1586     whiskerwidth: 0
1587   layout:
1588     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1589     layout:
1590       "plot-throughput"
1591
1592 # VPP IP4
1593 -
1594   type: "plot"
1595   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1596   algorithm: "plot_performance_box"
1597   output-file-type: ".html"
1598   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc"
1599   data:
1600     "plot-vpp-throughput-latency"
1601   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
1602   parameters:
1603   - "throughput"
1604   - "parent"
1605   traces:
1606     hoverinfo: "x+y"
1607     boxpoints: "outliers"
1608     whiskerwidth: 0
1609   layout:
1610     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1611     layout:
1612       "plot-throughput"
1613
1614 -
1615   type: "plot"
1616   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1617   algorithm: "plot_performance_box"
1618   output-file-type: ".html"
1619   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc"
1620   data:
1621     "plot-vpp-throughput-latency"
1622   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
1623   parameters:
1624   - "throughput"
1625   - "parent"
1626   traces:
1627     hoverinfo: "x+y"
1628     boxpoints: "outliers"
1629     whiskerwidth: 0
1630   layout:
1631     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1632     layout:
1633       "plot-throughput"
1634
1635 -
1636   type: "plot"
1637   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1638   algorithm: "plot_performance_box"
1639   output-file-type: ".html"
1640   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-pdrdisc"
1641   data:
1642     "plot-vpp-throughput-latency"
1643   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
1644   parameters:
1645   - "throughput"
1646   - "parent"
1647   traces:
1648     hoverinfo: "x+y"
1649     boxpoints: "outliers"
1650     whiskerwidth: 0
1651   layout:
1652     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1653     layout:
1654       "plot-throughput"
1655
1656 -
1657   type: "plot"
1658   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1659   algorithm: "plot_performance_box"
1660   output-file-type: ".html"
1661   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-pdrdisc"
1662   data:
1663     "plot-vpp-throughput-latency"
1664   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
1665   parameters:
1666   - "throughput"
1667   - "parent"
1668   traces:
1669     hoverinfo: "x+y"
1670     boxpoints: "outliers"
1671     whiskerwidth: 0
1672   layout:
1673     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1674     layout:
1675       "plot-throughput"
1676
1677 # VPP IP6
1678 -
1679   type: "plot"
1680   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1681   algorithm: "plot_performance_box"
1682   output-file-type: ".html"
1683   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc"
1684   data:
1685     "plot-vpp-throughput-latency"
1686   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1687   parameters:
1688   - "throughput"
1689   - "parent"
1690   traces:
1691     hoverinfo: "x+y"
1692     boxpoints: "outliers"
1693     whiskerwidth: 0
1694   layout:
1695     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1696     layout:
1697       "plot-throughput"
1698
1699 -
1700   type: "plot"
1701   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1702   algorithm: "plot_performance_box"
1703   output-file-type: ".html"
1704   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc"
1705   data:
1706     "plot-vpp-throughput-latency"
1707   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1708   parameters:
1709   - "throughput"
1710   - "parent"
1711   traces:
1712     hoverinfo: "x+y"
1713     boxpoints: "outliers"
1714     whiskerwidth: 0
1715   layout:
1716     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1717     layout:
1718       "plot-throughput"
1719
1720 -
1721   type: "plot"
1722   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1723   algorithm: "plot_performance_box"
1724   output-file-type: ".html"
1725   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-pdrdisc"
1726   data:
1727     "plot-vpp-throughput-latency"
1728   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1729   parameters:
1730   - "throughput"
1731   - "parent"
1732   traces:
1733     hoverinfo: "x+y"
1734     boxpoints: "outliers"
1735     whiskerwidth: 0
1736   layout:
1737     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1738     layout:
1739       "plot-throughput"
1740
1741 -
1742   type: "plot"
1743   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1744   algorithm: "plot_performance_box"
1745   output-file-type: ".html"
1746   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-pdrdisc"
1747   data:
1748     "plot-vpp-throughput-latency"
1749   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1750   parameters:
1751   - "throughput"
1752   - "parent"
1753   traces:
1754     hoverinfo: "x+y"
1755     boxpoints: "outliers"
1756     whiskerwidth: 0
1757   layout:
1758     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1759     layout:
1760       "plot-throughput"
1761
1762 # VPP IP4_overlay
1763 -
1764   type: "plot"
1765   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1766   algorithm: "plot_performance_box"
1767   output-file-type: ".html"
1768   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc"
1769   data:
1770     "plot-vpp-throughput-latency"
1771   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1772   parameters:
1773   - "throughput"
1774   - "parent"
1775   traces:
1776     hoverinfo: "x+y"
1777     boxpoints: "outliers"
1778     whiskerwidth: 0
1779   layout:
1780     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1781     layout:
1782       "plot-throughput"
1783
1784 -
1785   type: "plot"
1786   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1787   algorithm: "plot_performance_box"
1788   output-file-type: ".html"
1789   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc"
1790   data:
1791     "plot-vpp-throughput-latency"
1792   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1793   parameters:
1794   - "throughput"
1795   - "parent"
1796   traces:
1797     hoverinfo: "x+y"
1798     boxpoints: "outliers"
1799     whiskerwidth: 0
1800   layout:
1801     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1802     layout:
1803       "plot-throughput"
1804
1805 -
1806   type: "plot"
1807   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1808   algorithm: "plot_performance_box"
1809   output-file-type: ".html"
1810   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-pdrdisc"
1811   data:
1812     "plot-vpp-throughput-latency"
1813   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1814   parameters:
1815   - "throughput"
1816   - "parent"
1817   traces:
1818     hoverinfo: "x+y"
1819     boxpoints: "outliers"
1820     whiskerwidth: 0
1821   layout:
1822     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1823     layout:
1824       "plot-throughput"
1825
1826 -
1827   type: "plot"
1828   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1829   algorithm: "plot_performance_box"
1830   output-file-type: ".html"
1831   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-pdrdisc"
1832   data:
1833     "plot-vpp-throughput-latency"
1834   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1835   parameters:
1836   - "throughput"
1837   - "parent"
1838   traces:
1839     hoverinfo: "x+y"
1840     boxpoints: "outliers"
1841     whiskerwidth: 0
1842   layout:
1843     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1844     layout:
1845       "plot-throughput"
1846
1847 # VPP IP6_overlay
1848 -
1849   type: "plot"
1850   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1851   algorithm: "plot_performance_box"
1852   output-file-type: ".html"
1853   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc"
1854   data:
1855     "plot-vpp-throughput-latency"
1856   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1857   parameters:
1858   - "throughput"
1859   - "parent"
1860   traces:
1861     hoverinfo: "x+y"
1862     boxpoints: "outliers"
1863     whiskerwidth: 0
1864   layout:
1865     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1866     xaxis:
1867       autorange: True
1868       autotick: False
1869       fixedrange: False
1870       gridcolor: "rgb(238, 238, 238)"
1871       linecolor: "rgb(238, 238, 238)"
1872       linewidth: 1
1873       showgrid: True
1874       showline: True
1875       showticklabels: True
1876       tickcolor: "rgb(238, 238, 238)"
1877       tickmode: "linear"
1878       title: "Indexed Test Cases"
1879       zeroline: False
1880     yaxis:
1881       gridcolor: "rgb(238, 238, 238)'"
1882       hoverformat: ".4s"
1883       linecolor: "rgb(238, 238, 238)"
1884       linewidth: 1
1885       range: [2000000, 6000000]
1886       showgrid: True
1887       showline: True
1888       showticklabels: True
1889       tickcolor: "rgb(238, 238, 238)"
1890       title: "Packets Per Second [pps]"
1891       zeroline: False
1892     boxmode: "group"
1893     boxgroupgap: 0.5
1894     autosize: False
1895     margin:
1896       t: 50
1897       b: 20
1898       l: 50
1899       r: 20
1900     showlegend: True
1901     legend:
1902       orientation: "h"
1903     width: 700
1904     height: 1000
1905
1906 -
1907   type: "plot"
1908   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1909   algorithm: "plot_performance_box"
1910   output-file-type: ".html"
1911   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc"
1912   data:
1913     "plot-vpp-throughput-latency"
1914   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1915   parameters:
1916   - "throughput"
1917   - "parent"
1918   traces:
1919     hoverinfo: "x+y"
1920     boxpoints: "outliers"
1921     whiskerwidth: 0
1922   layout:
1923     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1924     layout:
1925       "plot-throughput"
1926
1927 -
1928   type: "plot"
1929   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1930   algorithm: "plot_performance_box"
1931   output-file-type: ".html"
1932   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-pdrdisc"
1933   data:
1934     "plot-vpp-throughput-latency"
1935   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1936   parameters:
1937   - "throughput"
1938   - "parent"
1939   traces:
1940     hoverinfo: "x+y"
1941     boxpoints: "outliers"
1942     whiskerwidth: 0
1943   layout:
1944     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1945     layout:
1946       "plot-throughput"
1947
1948 -
1949   type: "plot"
1950   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1951   algorithm: "plot_performance_box"
1952   output-file-type: ".html"
1953   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-pdrdisc"
1954   data:
1955     "plot-vpp-throughput-latency"
1956   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1957   parameters:
1958   - "throughput"
1959   - "parent"
1960   traces:
1961     hoverinfo: "x+y"
1962     boxpoints: "outliers"
1963     whiskerwidth: 0
1964   layout:
1965     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1966     xaxis:
1967       autorange: True
1968       autotick: False
1969       fixedrange: False
1970       gridcolor: "rgb(238, 238, 238)"
1971       linecolor: "rgb(238, 238, 238)"
1972       linewidth: 1
1973       showgrid: True
1974       showline: True
1975       showticklabels: True
1976       tickcolor: "rgb(238, 238, 238)"
1977       tickmode: "linear"
1978       title: "Indexed Test Cases"
1979       zeroline: False
1980     yaxis:
1981       gridcolor: "rgb(238, 238, 238)'"
1982       hoverformat: ".4s"
1983       linecolor: "rgb(238, 238, 238)"
1984       linewidth: 1
1985       range: [4000000, 12000000]
1986       showgrid: True
1987       showline: True
1988       showticklabels: True
1989       tickcolor: "rgb(238, 238, 238)"
1990       title: "Packets Per Second [pps]"
1991       zeroline: False
1992     boxmode: "group"
1993     boxgroupgap: 0.5
1994     autosize: False
1995     margin:
1996       t: 50
1997       b: 20
1998       l: 50
1999       r: 20
2000     showlegend: True
2001     legend:
2002       orientation: "h"
2003     width: 700
2004     height: 1000
2005
2006 # VPP VM VHOST
2007 -
2008   type: "plot"
2009   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2010   algorithm: "plot_performance_box"
2011   output-file-type: ".html"
2012   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc"
2013   data:
2014     "plot-vpp-throughput-latency"
2015   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2016   parameters:
2017   - "throughput"
2018   - "parent"
2019   traces:
2020     hoverinfo: "x+y"
2021     boxpoints: "outliers"
2022     whiskerwidth: 0
2023   layout:
2024     title: "64B-1t1c-.*vhost.*-ndrdisc"
2025     xaxis:
2026       autorange: True
2027       autotick: False
2028       fixedrange: False
2029       gridcolor: "rgb(238, 238, 238)"
2030       linecolor: "rgb(238, 238, 238)"
2031       linewidth: 1
2032       showgrid: True
2033       showline: True
2034       showticklabels: True
2035       tickcolor: "rgb(238, 238, 238)"
2036       tickmode: "linear"
2037       title: "Indexed Test Cases"
2038       zeroline: False
2039     yaxis:
2040       gridcolor: "rgb(238, 238, 238)'"
2041       hoverformat: ".4s"
2042       linecolor: "rgb(238, 238, 238)"
2043       linewidth: 1
2044       range: [0, 3500000]
2045       showgrid: True
2046       showline: True
2047       showticklabels: True
2048       tickcolor: "rgb(238, 238, 238)"
2049       title: "Packets Per Second [pps]"
2050       zeroline: False
2051     boxmode: "group"
2052     boxgroupgap: 0.5
2053     autosize: False
2054     margin:
2055       t: 50
2056       b: 20
2057       l: 50
2058       r: 20
2059     showlegend: True
2060     legend:
2061       orientation: "h"
2062     width: 700
2063     height: 1000
2064
2065 -
2066   type: "plot"
2067   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2068   algorithm: "plot_performance_box"
2069   output-file-type: ".html"
2070   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc"
2071   data:
2072     "plot-vpp-throughput-latency"
2073   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2074   parameters:
2075   - "throughput"
2076   - "parent"
2077   traces:
2078     hoverinfo: "x+y"
2079     boxpoints: "outliers"
2080     whiskerwidth: 0
2081   layout:
2082     title: "64B-2t2c-.*vhost.*-ndrdisc"
2083     layout:
2084       "plot-throughput"
2085
2086 -
2087   type: "plot"
2088   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2089   algorithm: "plot_performance_box"
2090   output-file-type: ".html"
2091   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-pdrdisc"
2092   data:
2093     "plot-vpp-throughput-latency"
2094   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2095   parameters:
2096   - "throughput"
2097   - "parent"
2098   traces:
2099     hoverinfo: "x+y"
2100     boxpoints: "outliers"
2101     whiskerwidth: 0
2102   layout:
2103     title: "64B-1t1c-.*vhost.*-pdrdisc"
2104     layout:
2105       "plot-throughput"
2106
2107 -
2108   type: "plot"
2109   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2110   algorithm: "plot_performance_box"
2111   output-file-type: ".html"
2112   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-pdrdisc"
2113   data:
2114     "plot-vpp-throughput-latency"
2115   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2116   parameters:
2117   - "throughput"
2118   - "parent"
2119   traces:
2120     hoverinfo: "x+y"
2121     boxpoints: "outliers"
2122     whiskerwidth: 0
2123   layout:
2124     title: "64B-2t2c-.*vhost.*-pdrdisc"
2125     layout:
2126       "plot-throughput"
2127
2128 # VPP VM VHOST SELECTION
2129 -
2130   type: "plot"
2131   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2132   algorithm: "plot_performance_box"
2133   output-file-type: ".html"
2134   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc"
2135   data:
2136     "plot-vpp-throughput-latency"
2137   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2138   parameters:
2139   - "throughput"
2140   - "parent"
2141   traces:
2142     hoverinfo: "x+y"
2143     boxpoints: "outliers"
2144     whiskerwidth: 0
2145   layout:
2146     title: "64B-1t1c-.*vhost.*-ndrdisc"
2147     layout:
2148       "plot-throughput"
2149
2150 -
2151   type: "plot"
2152   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2153   algorithm: "plot_performance_box"
2154   output-file-type: ".html"
2155   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc"
2156   data:
2157     "plot-vpp-throughput-latency"
2158   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2159   parameters:
2160   - "throughput"
2161   - "parent"
2162   traces:
2163     hoverinfo: "x+y"
2164     boxpoints: "outliers"
2165     whiskerwidth: 0
2166   layout:
2167     title: "64B-2t2c-.*vhost.*-ndrdisc"
2168     layout:
2169       "plot-throughput"
2170
2171 -
2172   type: "plot"
2173   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2174   algorithm: "plot_performance_box"
2175   output-file-type: ".html"
2176   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-pdrdisc"
2177   data:
2178     "plot-vpp-throughput-latency"
2179   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2180   parameters:
2181   - "throughput"
2182   - "parent"
2183   traces:
2184     hoverinfo: "x+y"
2185     boxpoints: "outliers"
2186     whiskerwidth: 0
2187   layout:
2188     title: "64B-1t1c-.*vhost.*-pdrdisc"
2189     layout:
2190       "plot-throughput"
2191
2192 -
2193   type: "plot"
2194   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2195   algorithm: "plot_performance_box"
2196   output-file-type: ".html"
2197   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-pdrdisc"
2198   data:
2199     "plot-vpp-throughput-latency"
2200   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2201   parameters:
2202   - "throughput"
2203   - "parent"
2204   traces:
2205     hoverinfo: "x+y"
2206     boxpoints: "outliers"
2207     whiskerwidth: 0
2208   layout:
2209     title: "64B-2t2c-.*vhost.*-pdrdisc"
2210     layout:
2211       "plot-throughput"
2212
2213 # VPP CRYPTO
2214 -
2215   type: "plot"
2216   title: "VPP Performance 64B-1t1c-.*ipsec.*-ndrdisc"
2217   algorithm: "plot_performance_box"
2218   output-file-type: ".html"
2219   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc"
2220   data:
2221     "plot-vpp-throughput-latency"
2222   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2223   parameters:
2224   - "throughput"
2225   - "parent"
2226   traces:
2227     hoverinfo: "x+y"
2228     boxpoints: "outliers"
2229     whiskerwidth: 0
2230   layout:
2231     title: "64B-1t1c-.*ipsec.*-ndrdisc"
2232     layout:
2233       "plot-throughput"
2234
2235 -
2236   type: "plot"
2237   title: "VPP Performance 64B-2t2c-.*ipsec.*-ndrdisc"
2238   algorithm: "plot_performance_box"
2239   output-file-type: ".html"
2240   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc"
2241   data:
2242     "plot-vpp-throughput-latency"
2243   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2244   parameters:
2245   - "throughput"
2246   - "parent"
2247   traces:
2248     hoverinfo: "x+y"
2249     boxpoints: "outliers"
2250     whiskerwidth: 0
2251   layout:
2252     title: "64B-2t2c-.*ipsec.*-ndrdisc"
2253     layout:
2254       "plot-throughput"
2255
2256 -
2257   type: "plot"
2258   title: "VPP Performance 64B-1t1c-.*ipsec.*-pdrdisc"
2259   algorithm: "plot_performance_box"
2260   output-file-type: ".html"
2261   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-pdrdisc"
2262   data:
2263     "plot-vpp-throughput-latency"
2264   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2265   parameters:
2266   - "throughput"
2267   - "parent"
2268   traces:
2269     hoverinfo: "x+y"
2270     boxpoints: "outliers"
2271     whiskerwidth: 0
2272   layout:
2273     title: "64B-1t1c-.*ipsec.*-pdrdisc"
2274     layout:
2275       "plot-throughput"
2276
2277 -
2278   type: "plot"
2279   title: "VPP Performance 64B-2t2c-.*ipsec.*-pdrdisc"
2280   algorithm: "plot_performance_box"
2281   output-file-type: ".html"
2282   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-pdrdisc"
2283   data:
2284     "plot-vpp-throughput-latency"
2285   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2286   parameters:
2287   - "throughput"
2288   - "parent"
2289   traces:
2290     hoverinfo: "x+y"
2291     boxpoints: "outliers"
2292     whiskerwidth: 0
2293   layout:
2294     title: "64B-2t2c-.*ipsec.*-pdrdisc"
2295     layout:
2296       "plot-throughput"
2297
2298 # DPDK
2299 -
2300   type: "plot"
2301   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2302   algorithm: "plot_performance_box"
2303   output-file-type: ".html"
2304   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc"
2305   data:
2306     "plot-dpdk-throughput-latency"
2307   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2308   parameters:
2309   - "throughput"
2310   - "parent"
2311   traces:
2312     hoverinfo: "x+y"
2313     boxpoints: "outliers"
2314     whiskerwidth: 0
2315   layout:
2316     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2317     layout:
2318       "plot-throughput"
2319
2320 -
2321   type: "plot"
2322   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2323   algorithm: "plot_performance_box"
2324   output-file-type: ".html"
2325   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc"
2326   data:
2327     "plot-dpdk-throughput-latency"
2328   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2329   parameters:
2330   - "throughput"
2331   - "parent"
2332   traces:
2333     hoverinfo: "x+y"
2334     boxpoints: "outliers"
2335     whiskerwidth: 0
2336   layout:
2337     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2338     layout:
2339       "plot-throughput"
2340
2341 -
2342   type: "plot"
2343   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2344   algorithm: "plot_performance_box"
2345   output-file-type: ".html"
2346   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc"
2347   data:
2348     "plot-dpdk-throughput-latency"
2349   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
2350   parameters:
2351   - "throughput"
2352   - "parent"
2353   traces:
2354     hoverinfo: "x+y"
2355     boxpoints: "outliers"
2356     whiskerwidth: 0
2357   layout:
2358     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2359     xaxis:
2360       autorange: True
2361       autotick: False
2362       fixedrange: False
2363       gridcolor: "rgb(238, 238, 238)"
2364       linecolor: "rgb(238, 238, 238)"
2365       linewidth: 1
2366       showgrid: True
2367       showline: True
2368       showticklabels: True
2369       tickcolor: "rgb(238, 238, 238)"
2370       tickmode: "linear"
2371       title: "Indexed Test Cases"
2372       zeroline: False
2373     yaxis:
2374       gridcolor: "rgb(238, 238, 238)'"
2375       hoverformat: ".4s"
2376       linecolor: "rgb(238, 238, 238)"
2377       linewidth: 1
2378       range: [2000000, 12000000]
2379       showgrid: True
2380       showline: True
2381       showticklabels: True
2382       tickcolor: "rgb(238, 238, 238)"
2383       title: "Packets Per Second [pps]"
2384       zeroline: False
2385     boxmode: "group"
2386     boxgroupgap: 0.5
2387     autosize: False
2388     margin:
2389       t: 50
2390       b: 20
2391       l: 50
2392       r: 20
2393     showlegend: True
2394     legend:
2395       orientation: "h"
2396     width: 700
2397     height: 1000
2398
2399 -
2400   type: "plot"
2401   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2402   algorithm: "plot_performance_box"
2403   output-file-type: ".html"
2404   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc"
2405   data:
2406     "plot-dpdk-throughput-latency"
2407   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
2408   parameters:
2409   - "throughput"
2410   - "parent"
2411   traces:
2412     hoverinfo: "x+y"
2413     boxpoints: "outliers"
2414     whiskerwidth: 0
2415   layout:
2416     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2417     xaxis:
2418       autorange: True
2419       autotick: False
2420       fixedrange: False
2421       gridcolor: "rgb(238, 238, 238)"
2422       linecolor: "rgb(238, 238, 238)"
2423       linewidth: 1
2424       showgrid: True
2425       showline: True
2426       showticklabels: True
2427       tickcolor: "rgb(238, 238, 238)"
2428       tickmode: "linear"
2429       title: "Indexed Test Cases"
2430       zeroline: False
2431     yaxis:
2432       gridcolor: "rgb(238, 238, 238)'"
2433       hoverformat: ".4s"
2434       linecolor: "rgb(238, 238, 238)"
2435       linewidth: 1
2436       range: [2000000, 12000000]
2437       showgrid: True
2438       showline: True
2439       showticklabels: True
2440       tickcolor: "rgb(238, 238, 238)"
2441       title: "Packets Per Second [pps]"
2442       zeroline: False
2443     boxmode: "group"
2444     boxgroupgap: 0.5
2445     autosize: False
2446     margin:
2447       t: 50
2448       b: 20
2449       l: 50
2450       r: 20
2451     showlegend: True
2452     legend:
2453       orientation: "h"
2454     width: 700
2455     height: 1000
2456
2457 -
2458   type: "plot"
2459   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2460   algorithm: "plot_performance_box"
2461   output-file-type: ".html"
2462   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-pdrdisc"
2463   data:
2464     "plot-dpdk-throughput-latency"
2465   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2466   parameters:
2467   - "throughput"
2468   - "parent"
2469   traces:
2470     hoverinfo: "x+y"
2471     boxpoints: "outliers"
2472     whiskerwidth: 0
2473   layout:
2474     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2475     layout:
2476       "plot-throughput"
2477
2478 -
2479   type: "plot"
2480   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2481   algorithm: "plot_performance_box"
2482   output-file-type: ".html"
2483   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-pdrdisc"
2484   data:
2485     "plot-dpdk-throughput-latency"
2486   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2487   parameters:
2488   - "throughput"
2489   - "parent"
2490   traces:
2491     hoverinfo: "x+y"
2492     boxpoints: "outliers"
2493     whiskerwidth: 0
2494   layout:
2495     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2496     layout:
2497       "plot-throughput"
2498
2499 -
2500   type: "plot"
2501   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
2502   algorithm: "plot_performance_box"
2503   output-file-type: ".html"
2504   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-pdrdisc"
2505   data:
2506     "plot-dpdk-throughput-latency"
2507   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD'"
2508   parameters:
2509   - "throughput"
2510   - "parent"
2511   traces:
2512     hoverinfo: "x+y"
2513     boxpoints: "outliers"
2514     whiskerwidth: 0
2515   layout:
2516     title: "64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
2517     xaxis:
2518       autorange: True
2519       autotick: False
2520       fixedrange: False
2521       gridcolor: "rgb(238, 238, 238)"
2522       linecolor: "rgb(238, 238, 238)"
2523       linewidth: 1
2524       showgrid: True
2525       showline: True
2526       showticklabels: True
2527       tickcolor: "rgb(238, 238, 238)"
2528       tickmode: "linear"
2529       title: "Indexed Test Cases"
2530       zeroline: False
2531     yaxis:
2532       gridcolor: "rgb(238, 238, 238)'"
2533       hoverformat: ".4s"
2534       linecolor: "rgb(238, 238, 238)"
2535       linewidth: 1
2536       range: [20000000, 30000000]
2537       showgrid: True
2538       showline: True
2539       showticklabels: True
2540       tickcolor: "rgb(238, 238, 238)"
2541       title: "Packets Per Second [pps]"
2542       zeroline: False
2543     boxmode: "group"
2544     boxgroupgap: 0.5
2545     autosize: False
2546     margin:
2547       t: 50
2548       b: 20
2549       l: 50
2550       r: 20
2551     showlegend: True
2552     legend:
2553       orientation: "h"
2554     width: 700
2555     height: 1000
2556
2557 -
2558   type: "plot"
2559   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
2560   algorithm: "plot_performance_box"
2561   output-file-type: ".html"
2562   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-pdrdisc"
2563   data:
2564     "plot-dpdk-throughput-latency"
2565   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD'"
2566   parameters:
2567   - "throughput"
2568   - "parent"
2569   traces:
2570     hoverinfo: "x+y"
2571     boxpoints: "outliers"
2572     whiskerwidth: 0
2573   layout:
2574     title: "64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
2575     xaxis:
2576       autorange: True
2577       autotick: False
2578       fixedrange: False
2579       gridcolor: "rgb(238, 238, 238)"
2580       linecolor: "rgb(238, 238, 238)"
2581       linewidth: 1
2582       showgrid: True
2583       showline: True
2584       showticklabels: True
2585       tickcolor: "rgb(238, 238, 238)"
2586       tickmode: "linear"
2587       title: "Indexed Test Cases"
2588       zeroline: False
2589     yaxis:
2590       gridcolor: "rgb(238, 238, 238)'"
2591       hoverformat: ".4s"
2592       linecolor: "rgb(238, 238, 238)"
2593       linewidth: 1
2594       range: [20000000, 30000000]
2595       showgrid: True
2596       showline: True
2597       showticklabels: True
2598       tickcolor: "rgb(238, 238, 238)"
2599       title: "Packets Per Second [pps]"
2600       zeroline: False
2601     boxmode: "group"
2602     boxgroupgap: 0.5
2603     autosize: False
2604     margin:
2605       t: 50
2606       b: 20
2607       l: 50
2608       r: 20
2609     showlegend: True
2610     legend:
2611       orientation: "h"
2612     width: 700
2613     height: 1000
2614
2615 # Plot latency
2616
2617 # VPP L2 sel1
2618 -
2619   type: "plot"
2620   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2621   algorithm: "plot_latency_box"
2622   output-file-type: ".html"
2623   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc-lat50"
2624   data:
2625     "plot-vpp-throughput-latency"
2626   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2627   parameters:
2628   - "latency"
2629   - "parent"
2630   traces:
2631     boxmean: False
2632   layout:
2633     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2634     layout:
2635       "plot-latency"
2636
2637 -
2638   type: "plot"
2639   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2640   algorithm: "plot_latency_box"
2641   output-file-type: ".html"
2642   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc-lat50"
2643   data:
2644     "plot-vpp-throughput-latency"
2645   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2646   parameters:
2647   - "latency"
2648   - "parent"
2649   traces:
2650     boxmean: False
2651   layout:
2652     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2653     layout:
2654       "plot-latency"
2655
2656 # VPP L2 sel2
2657 -
2658   type: "plot"
2659   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2660   algorithm: "plot_latency_box"
2661   output-file-type: ".html"
2662   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc-lat50"
2663   data:
2664     "plot-vpp-throughput-latency"
2665   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2666   parameters:
2667   - "latency"
2668   - "parent"
2669   traces:
2670     boxmean: False
2671   layout:
2672     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2673     layout:
2674       "plot-latency"
2675
2676 -
2677   type: "plot"
2678   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2679   algorithm: "plot_latency_box"
2680   output-file-type: ".html"
2681   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc-lat50"
2682   data:
2683     "plot-vpp-throughput-latency"
2684   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2685   parameters:
2686   - "latency"
2687   - "parent"
2688   traces:
2689     boxmean: False
2690   layout:
2691     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2692     layout:
2693       "plot-latency"
2694
2695 # VPP IP4
2696 -
2697   type: "plot"
2698   title: "VPP Latency 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2699   algorithm: "plot_latency_box"
2700   output-file-type: ".html"
2701   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc-lat50"
2702   data:
2703     "plot-vpp-throughput-latency"
2704   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
2705   parameters:
2706   - "latency"
2707   - "parent"
2708   traces:
2709     boxmean: False
2710   layout:
2711     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2712     layout:
2713       "plot-latency"
2714
2715 -
2716   type: "plot"
2717   title: "VPP Latency 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2718   algorithm: "plot_latency_box"
2719   output-file-type: ".html"
2720   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc-lat50"
2721   data:
2722     "plot-vpp-throughput-latency"
2723   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
2724   parameters:
2725   - "latency"
2726   - "parent"
2727   traces:
2728     boxmean: False
2729   layout:
2730     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2731     layout:
2732       "plot-latency"
2733
2734 # VPP IP6
2735 -
2736   type: "plot"
2737   title: "VPP Latency 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2738   algorithm: "plot_latency_box"
2739   output-file-type: ".html"
2740   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc-lat50"
2741   data:
2742     "plot-vpp-throughput-latency"
2743   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2744   parameters:
2745   - "latency"
2746   - "parent"
2747   traces:
2748     boxmean: False
2749   layout:
2750     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2751     layout:
2752       "plot-latency"
2753
2754 -
2755   type: "plot"
2756   title: "VPP Latency 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2757   algorithm: "plot_latency_box"
2758   output-file-type: ".html"
2759   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc-lat50"
2760   data:
2761     "plot-vpp-throughput-latency"
2762   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2763   parameters:
2764   - "latency"
2765   - "parent"
2766   traces:
2767     boxmean: False
2768   layout:
2769     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2770     layout:
2771       "plot-latency"
2772
2773 # VPP IP4_overlay
2774 -
2775   type: "plot"
2776   title: "VPP Latency 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2777   algorithm: "plot_latency_box"
2778   output-file-type: ".html"
2779   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc-lat50"
2780   data:
2781     "plot-vpp-throughput-latency"
2782   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2783   parameters:
2784   - "latency"
2785   - "parent"
2786   traces:
2787     boxmean: False
2788   layout:
2789     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2790     layout:
2791       "plot-latency"
2792
2793 -
2794   type: "plot"
2795   title: "VPP Latency 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2796   algorithm: "plot_latency_box"
2797   output-file-type: ".html"
2798   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc-lat50"
2799   data:
2800     "plot-vpp-throughput-latency"
2801   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2802   parameters:
2803   - "latency"
2804   - "parent"
2805   traces:
2806     boxmean: False
2807   layout:
2808     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2809     layout:
2810       "plot-latency"
2811
2812 # VPP IP6_overlay
2813 -
2814   type: "plot"
2815   title: "VPP Latency 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2816   algorithm: "plot_latency_box"
2817   output-file-type: ".html"
2818   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc-lat50"
2819   data:
2820     "plot-vpp-throughput-latency"
2821   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2822   parameters:
2823   - "latency"
2824   - "parent"
2825   traces:
2826     boxmean: False
2827   layout:
2828     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2829     layout:
2830       "plot-latency"
2831
2832 -
2833   type: "plot"
2834   title: "VPP Latency 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2835   algorithm: "plot_latency_box"
2836   output-file-type: ".html"
2837   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc-lat50"
2838   data:
2839     "plot-vpp-throughput-latency"
2840   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2841   parameters:
2842   - "latency"
2843   - "parent"
2844   traces:
2845     boxmean: False
2846   layout:
2847     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2848     layout:
2849       "plot-latency"
2850
2851 # VPP VM VHOST
2852 -
2853   type: "plot"
2854   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
2855   algorithm: "plot_latency_box"
2856   output-file-type: ".html"
2857   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc-lat50"
2858   data:
2859     "plot-vpp-throughput-latency"
2860   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2861   parameters:
2862   - "latency"
2863   - "parent"
2864   traces:
2865     boxmean: False
2866   layout:
2867     title: "64B-1t1c-.*vhost.*-ndrdisc"
2868     layout:
2869       "plot-latency"
2870
2871 -
2872   type: "plot"
2873   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
2874   algorithm: "plot_latency_box"
2875   output-file-type: ".html"
2876   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc-lat50"
2877   data:
2878     "plot-vpp-throughput-latency"
2879   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2880   parameters:
2881   - "latency"
2882   - "parent"
2883   traces:
2884     boxmean: False
2885   layout:
2886     title: "64B-2t2c-.*vhost.*-ndrdisc"
2887     layout:
2888       "plot-latency"
2889
2890 # VPP VM VHOST selection
2891 -
2892   type: "plot"
2893   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
2894   algorithm: "plot_latency_box"
2895   output-file-type: ".html"
2896   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc-lat50"
2897   data:
2898     "plot-vpp-throughput-latency"
2899   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2900   parameters:
2901   - "latency"
2902   - "parent"
2903   traces:
2904     boxmean: False
2905   layout:
2906     title: "64B-1t1c-.*vhost.*-ndrdisc"
2907     layout:
2908       "plot-latency"
2909
2910 -
2911   type: "plot"
2912   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
2913   algorithm: "plot_latency_box"
2914   output-file-type: ".html"
2915   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc-lat50"
2916   data:
2917     "plot-vpp-throughput-latency"
2918   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2919   parameters:
2920   - "latency"
2921   - "parent"
2922   traces:
2923     boxmean: False
2924   layout:
2925     title: "64B-2t2c-.*vhost.*-ndrdisc"
2926     layout:
2927       "plot-latency"
2928
2929 # VPP CRYPTO
2930 -
2931   type: "plot"
2932   title: "VPP Latency 64B-1t1c-.*ipsec.*-ndrdisc"
2933   algorithm: "plot_latency_box"
2934   output-file-type: ".html"
2935   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc-lat50"
2936   data:
2937     "plot-vpp-throughput-latency"
2938   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2939   parameters:
2940   - "latency"
2941   - "parent"
2942   traces:
2943     boxmean: False
2944   layout:
2945     title: "64B-1t1c-.*ipsec.*-ndrdisc"
2946     layout:
2947       "plot-latency"
2948
2949 -
2950   type: "plot"
2951   title: "VPP Latency 64B-2t2c-.*ipsec.*-ndrdisc"
2952   algorithm: "plot_latency_box"
2953   output-file-type: ".html"
2954   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc-lat50"
2955   data:
2956     "plot-vpp-throughput-latency"
2957   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2958   parameters:
2959   - "latency"
2960   - "parent"
2961   traces:
2962     boxmean: False
2963   layout:
2964     title: "64B-2t2c-.*ipsec.*-ndrdisc"
2965     layout:
2966       "plot-latency"
2967
2968 # DPDK
2969 -
2970   type: "plot"
2971   title: "DPDK Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2972   algorithm: "plot_latency_box"
2973   output-file-type: ".html"
2974   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc-lat50"
2975   data:
2976     "plot-dpdk-throughput-latency"
2977   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2978   parameters:
2979   - "latency"
2980   - "parent"
2981   traces:
2982     boxmean: False
2983   layout:
2984     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2985     layout:
2986       "plot-latency"
2987
2988 -
2989   type: "plot"
2990   title: "DPDK Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2991   algorithm: "plot_latency_box"
2992   output-file-type: ".html"
2993   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc-lat50"
2994   data:
2995     "plot-dpdk-throughput-latency"
2996   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2997   parameters:
2998   - "latency"
2999   - "parent"
3000   traces:
3001     boxmean: False
3002   layout:
3003     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3004     layout:
3005       "plot-latency"
3006
3007 -
3008   type: "plot"
3009   title: "DPDK Latency 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3010   algorithm: "plot_latency_box"
3011   output-file-type: ".html"
3012   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc-lat50"
3013   data:
3014     "plot-dpdk-throughput-latency"
3015   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
3016   parameters:
3017   - "latency"
3018   - "parent"
3019   traces:
3020     boxmean: False
3021   layout:
3022     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3023     layout:
3024       "plot-latency"
3025
3026 -
3027   type: "plot"
3028   title: "DPDK Latency 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3029   algorithm: "plot_latency_box"
3030   output-file-type: ".html"
3031   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc-lat50"
3032   data:
3033     "plot-dpdk-throughput-latency"
3034   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
3035   parameters:
3036   - "latency"
3037   - "parent"
3038   traces:
3039     boxmean: False
3040   layout:
3041     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3042     layout:
3043       "plot-latency"
3044
3045 # Ligato - Throughput
3046
3047 # Container memif
3048 -
3049   type: "plot"
3050   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3051   algorithm: "plot_performance_box"
3052   output-file-type: ".html"
3053   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc"
3054   data:
3055     "plot-vpp-throughput-latency"
3056   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3057   parameters:
3058   - "throughput"
3059   - "parent"
3060   traces:
3061     hoverinfo: "x+y"
3062     boxpoints: "outliers"
3063     whiskerwidth: 0
3064   layout:
3065     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3066     xaxis:
3067       autorange: True
3068       autotick: False
3069       fixedrange: False
3070       gridcolor: "rgb(238, 238, 238)"
3071       linecolor: "rgb(238, 238, 238)"
3072       linewidth: 1
3073       showgrid: True
3074       showline: True
3075       showticklabels: True
3076       tickcolor: "rgb(238, 238, 238)"
3077       tickmode: "linear"
3078       title: "Indexed Test Cases"
3079       zeroline: False
3080     yaxis:
3081       gridcolor: "rgb(238, 238, 238)'"
3082       hoverformat: ".4s"
3083       linecolor: "rgb(238, 238, 238)"
3084       linewidth: 1
3085       range: [0, 4500000]
3086       showgrid: True
3087       showline: True
3088       showticklabels: True
3089       tickcolor: "rgb(238, 238, 238)"
3090       title: "Packets Per Second [pps]"
3091       zeroline: False
3092     boxmode: "group"
3093     boxgroupgap: 0.5
3094     autosize: False
3095     margin:
3096       t: 50
3097       b: 20
3098       l: 50
3099       r: 20
3100     showlegend: True
3101     legend:
3102       orientation: "h"
3103     width: 700
3104     height: 1000
3105
3106 -
3107   type: "plot"
3108   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3109   algorithm: "plot_performance_box"
3110   output-file-type: ".html"
3111   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc"
3112   data:
3113     "plot-vpp-throughput-latency"
3114   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3115   parameters:
3116   - "throughput"
3117   - "parent"
3118   traces:
3119     hoverinfo: "x+y"
3120     boxpoints: "outliers"
3121     whiskerwidth: 0
3122   layout:
3123     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3124     xaxis:
3125       autorange: True
3126       autotick: False
3127       fixedrange: False
3128       gridcolor: "rgb(238, 238, 238)"
3129       linecolor: "rgb(238, 238, 238)"
3130       linewidth: 1
3131       showgrid: True
3132       showline: True
3133       showticklabels: True
3134       tickcolor: "rgb(238, 238, 238)"
3135       tickmode: "linear"
3136       title: "Indexed Test Cases"
3137       zeroline: False
3138     yaxis:
3139       gridcolor: "rgb(238, 238, 238)'"
3140       hoverformat: ".4s"
3141       linecolor: "rgb(238, 238, 238)"
3142       linewidth: 1
3143       range: [0, 8000000]
3144       showgrid: True
3145       showline: True
3146       showticklabels: True
3147       tickcolor: "rgb(238, 238, 238)"
3148       title: "Packets Per Second [pps]"
3149       zeroline: False
3150     boxmode: "group"
3151     boxgroupgap: 0.5
3152     autosize: False
3153     margin:
3154       t: 50
3155       b: 20
3156       l: 50
3157       r: 20
3158     showlegend: True
3159     legend:
3160       orientation: "h"
3161     width: 700
3162     height: 1000
3163
3164 -
3165   type: "plot"
3166   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3167   algorithm: "plot_performance_box"
3168   output-file-type: ".html"
3169   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-pdrdisc"
3170   data:
3171     "plot-vpp-throughput-latency"
3172   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3173   parameters:
3174   - "throughput"
3175   - "parent"
3176   traces:
3177     hoverinfo: "x+y"
3178     boxpoints: "outliers"
3179     whiskerwidth: 0
3180   layout:
3181     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3182     xaxis:
3183       autorange: True
3184       autotick: False
3185       fixedrange: False
3186       gridcolor: "rgb(238, 238, 238)"
3187       linecolor: "rgb(238, 238, 238)"
3188       linewidth: 1
3189       showgrid: True
3190       showline: True
3191       showticklabels: True
3192       tickcolor: "rgb(238, 238, 238)"
3193       tickmode: "linear"
3194       title: "Indexed Test Cases"
3195       zeroline: False
3196     yaxis:
3197       gridcolor: "rgb(238, 238, 238)'"
3198       hoverformat: ".4s"
3199       linecolor: "rgb(238, 238, 238)"
3200       linewidth: 1
3201       range: [0, 4500000]
3202       showgrid: True
3203       showline: True
3204       showticklabels: True
3205       tickcolor: "rgb(238, 238, 238)"
3206       title: "Packets Per Second [pps]"
3207       zeroline: False
3208     boxmode: "group"
3209     boxgroupgap: 0.5
3210     autosize: False
3211     margin:
3212       t: 50
3213       b: 20
3214       l: 50
3215       r: 20
3216     showlegend: True
3217     legend:
3218       orientation: "h"
3219     width: 700
3220     height: 1000
3221
3222 -
3223   type: "plot"
3224   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3225   algorithm: "plot_performance_box"
3226   output-file-type: ".html"
3227   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-pdrdisc"
3228   data:
3229     "plot-vpp-throughput-latency"
3230   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3231   parameters:
3232   - "throughput"
3233   - "parent"
3234   traces:
3235     hoverinfo: "x+y"
3236     boxpoints: "outliers"
3237     whiskerwidth: 0
3238   layout:
3239     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3240     xaxis:
3241       autorange: True
3242       autotick: False
3243       fixedrange: False
3244       gridcolor: "rgb(238, 238, 238)"
3245       linecolor: "rgb(238, 238, 238)"
3246       linewidth: 1
3247       showgrid: True
3248       showline: True
3249       showticklabels: True
3250       tickcolor: "rgb(238, 238, 238)"
3251       tickmode: "linear"
3252       title: "Indexed Test Cases"
3253       zeroline: False
3254     yaxis:
3255       gridcolor: "rgb(238, 238, 238)'"
3256       hoverformat: ".4s"
3257       linecolor: "rgb(238, 238, 238)"
3258       linewidth: 1
3259       range: [0, 8000000]
3260       showgrid: True
3261       showline: True
3262       showticklabels: True
3263       tickcolor: "rgb(238, 238, 238)"
3264       title: "Packets Per Second [pps]"
3265       zeroline: False
3266     boxmode: "group"
3267     boxgroupgap: 0.5
3268     autosize: False
3269     margin:
3270       t: 50
3271       b: 20
3272       l: 50
3273       r: 20
3274     showlegend: True
3275     legend:
3276       orientation: "h"
3277     width: 700
3278     height: 1000
3279
3280 # Container orchestrated
3281 -
3282   type: "plot"
3283   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3284   algorithm: "plot_performance_box"
3285   output-file-type: ".html"
3286   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc"
3287   data:
3288     "plot-ligato-throughput-latency"
3289   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3290   parameters:
3291   - "throughput"
3292   - "parent"
3293   traces:
3294     hoverinfo: "x+y"
3295     boxpoints: "outliers"
3296     whiskerwidth: 0
3297   layout:
3298     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3299     layout:
3300       "plot-throughput"
3301
3302 -
3303   type: "plot"
3304   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3305   algorithm: "plot_performance_box"
3306   output-file-type: ".html"
3307   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc"
3308   data:
3309     "plot-ligato-throughput-latency"
3310   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3311   parameters:
3312   - "throughput"
3313   - "parent"
3314   traces:
3315     hoverinfo: "x+y"
3316     boxpoints: "outliers"
3317     whiskerwidth: 0
3318   layout:
3319     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3320     layout:
3321       "plot-throughput"
3322
3323 -
3324   type: "plot"
3325   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3326   algorithm: "plot_performance_box"
3327   output-file-type: ".html"
3328   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-pdrdisc"
3329   data:
3330     "plot-ligato-throughput-latency"
3331   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3332   parameters:
3333   - "throughput"
3334   - "parent"
3335   traces:
3336     hoverinfo: "x+y"
3337     boxpoints: "outliers"
3338     whiskerwidth: 0
3339   layout:
3340     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3341     layout:
3342       "plot-throughput"
3343
3344 -
3345   type: "plot"
3346   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3347   algorithm: "plot_performance_box"
3348   output-file-type: ".html"
3349   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-pdrdisc"
3350   data:
3351     "plot-ligato-throughput-latency"
3352   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3353   parameters:
3354   - "throughput"
3355   - "parent"
3356   traces:
3357     hoverinfo: "x+y"
3358     boxpoints: "outliers"
3359     whiskerwidth: 0
3360   layout:
3361     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3362     layout:
3363       "plot-throughput"
3364
3365 # Ligato - Latency
3366
3367 # Container memif
3368 -
3369   type: "plot"
3370   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3371   algorithm: "plot_latency_box"
3372   output-file-type: ".html"
3373   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc-lat50"
3374   data:
3375     "plot-vpp-throughput-latency"
3376   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3377   parameters:
3378   - "latency"
3379   - "parent"
3380   traces:
3381     boxmean: False
3382   layout:
3383     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3384     layout:
3385       "plot-latency"
3386
3387 -
3388   type: "plot"
3389   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3390   algorithm: "plot_latency_box"
3391   output-file-type: ".html"
3392   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc-lat50"
3393   data:
3394     "plot-vpp-throughput-latency"
3395   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3396   parameters:
3397   - "latency"
3398   - "parent"
3399   traces:
3400     boxmean: False
3401   layout:
3402     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3403     layout:
3404       "plot-latency"
3405
3406 # Container orchestrated
3407 -
3408   type: "plot"
3409   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3410   algorithm: "plot_latency_box"
3411   output-file-type: ".html"
3412   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc-lat50"
3413   data:
3414     "plot-ligato-throughput-latency"
3415   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3416   parameters:
3417   - "latency"
3418   - "parent"
3419   traces:
3420     boxmean: False
3421   layout:
3422     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3423     layout:
3424       "plot-latency"
3425
3426 -
3427   type: "plot"
3428   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3429   algorithm: "plot_latency_box"
3430   output-file-type: ".html"
3431   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc-lat50"
3432   data:
3433     "plot-ligato-throughput-latency"
3434   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3435   parameters:
3436   - "latency"
3437   - "parent"
3438   traces:
3439     boxmean: False
3440   layout:
3441     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3442     layout:
3443       "plot-latency"