resources/tools/presentation/specification.yaml

   1 -
   2   type: "environment"
   3   configuration:
   4     # Debug mode:
   5     # - Skip:
   6     #   - Download of input data files
   7     # - Do:
   8     #   - Read data from given zip / xml files
   9     #   - Set the configuration as it is done in normal mode
  10     # If the section "type: debug" is missing, CFG[DEBUG] is set to 0.
  11     CFG[DEBUG]: 0
  12
  13   paths:
  14     # Top level directories:
  15     ## Working directory
  16     DIR[WORKING]: "_tmp"
  17     ## Build directories
  18     DIR[BUILD,HTML]: "_build"
  19     DIR[BUILD,LATEX]: "_build_latex"
  20
  21     # Static .rst files
  22     DIR[RST]: "../../../docs/report"
  23
  24     # Working directories
  25     ## Input data files (.zip, .xml)
  26     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
  27     ## Static source files from git
  28     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
  29     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
  30
  31     # Static html content
  32     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
  33     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
  34     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
  35     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
  36
  37     # Detailed test results
  38     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
  39     DIR[DTR,PERF,DPDK]: "{DIR[DTR]}/dpdk_performance_results"
  40     DIR[DTR,PERF,VPP]: "{DIR[DTR]}/vpp_performance_results"
  41     DIR[DTR,PERF,COT]: "{DIR[DTR]}/cot_performance_results"
  42     DIR[DTR,PERF,HC]: "{DIR[DTR]}/honeycomb_performance_results"
  43     DIR[DTR,FUNC,VPP]: "{DIR[DTR]}/vpp_functional_results"
  44     DIR[DTR,FUNC,HC]: "{DIR[DTR]}/honeycomb_functional_results"
  45     DIR[DTR,FUNC,NSHSFC]: "{DIR[DTR]}/nshsfc_functional_results"
  46     DIR[DTR,PERF,VPP,IMPRV]: "{DIR[WORKING,SRC]}/vpp_performance_tests/performance_improvements"
  47
  48     # Detailed test configurations
  49     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
  50     DIR[DTC,PERF,VPP]: "{DIR[DTC]}/vpp_performance_configuration"
  51     DIR[DTC,FUNC,VPP]: "{DIR[DTC]}/vpp_functional_configuration"
  52
  53     # Detailed tests operational data
  54     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
  55     DIR[DTO,PERF,VPP]: "{DIR[DTO]}/vpp_performance_operational_data"
  56
  57     # .css patch file to fix tables generated by Sphinx
  58     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
  59     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
  60
  61   urls:
  62     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
  63     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
  64     URL[NEXUS]: "https://docs.fd.io/csit"
  65     DIR[NEXUS]: "report/_static/archive"
  66
  67   make-dirs:
  68   # List the directories which are created while preparing the environment.
  69   # All directories MUST be defined in "paths" section.
  70   - "DIR[WORKING,DATA]"
  71   - "DIR[STATIC,VPP]"
  72   - "DIR[STATIC,DPDK]"
  73   - "DIR[STATIC,ARCH]"
  74   - "DIR[BUILD,LATEX]"
  75   - "DIR[WORKING,SRC]"
  76   - "DIR[WORKING,SRC,STATIC]"
  77
  78   remove-dirs:
  79   # List the directories which are deleted while cleaning the environment.
  80   # All directories MUST be defined in "paths" section.
  81   #- "DIR[BUILD,HTML]"
  82
  83   build-dirs:
  84   # List the directories where the results (build) is stored.
  85   # All directories MUST be defined in "paths" section.
  86   - "DIR[BUILD,HTML]"
  87   - "DIR[BUILD,LATEX]"
  88
  89 -
  90   type: "configuration"
  91   data-sets:
  92 # TODO: Add the data sources
  93     plot-vpp-http-server-performance:
  94       csit-vpp-perf-1801-all:
  95       - 157
  96       - 158
  97       - 159
  98       - 160
  99       - 161
 100       - 164
 101       - 165
 102       - 166
 103       - 167
 104       - 168
 105 # TODO: Add the data sources
 106 #    vpp-meltdown-impact:
 107 #      csit-vpp-perf-1707-all:
 108 #      - 9
 109 #      - 10
 110 #      - 13
 111 #      csit-vpp-perf-1710-all:
 112 #      - 11l
 113 #      - 12
 114 #      - 13
 115 # TODO: Add the data sources
 116 #    vpp-spectre-impact:
 117 #      csit-vpp-perf-1707-all:
 118 #      - 9
 119 #      - 10
 120 #      - 13
 121 #      csit-vpp-perf-1710-all:
 122 #      - 11
 123 #      - 12
 124 #      - 13
 125     vpp-performance-changes:
 126       csit-vpp-perf-1710-all:
 127       - 11
 128       - 12
 129       - 13
 130       - 14
 131       - 15
 132       - 16
 133       - 17
 134       - 18
 135       - 19
 136       - 20
 137 # TODO: Add the data sources
 138       csit-vpp-perf-1801-all:
 139       - 124  # sel
 140       - 127  # sel
 141       - 128  # sel
 142       - 141  # sel
 143       - 142  # sel
 144       - 143  # sel
 145       - 145  # sel
 146       - 146  # sel
 147 # TODO: Add the data sources
 148     plot-throughput-speedup-analysis:
 149       csit-vpp-perf-1801-all:
 150       - 124  # sel
 151       - 127  # sel
 152       - 128  # sel
 153       - 141  # sel
 154       - 142  # sel
 155       - 143  # sel
 156       - 145  # sel
 157       - 146  # sel
 158 #    performance-improvements:
 159 #      csit-vpp-perf-1707-all:
 160 #      - 9
 161 #      - 10
 162 #      - 13
 163 #      - 14
 164 #      - 15
 165 #      - 16
 166 #      - 17
 167 #      - 18
 168 #      - 19
 169 #      - 21
 170 #      csit-vpp-perf-1710-all:
 171 #      - 11
 172 #      - 12
 173 #      - 13
 174 #      - 14
 175 #      - 15
 176 #      - 16
 177 #      - 17
 178 #      - 18
 179 #      - 19
 180 #      - 20
 181 #      csit-vpp-perf-1801-all:
 182 #      - 124
 183 #      - 127
 184 #      - 128
 185 #      csit-ligato-perf-1710-all:
 186 #      - 5
 187 #      - 7
 188 #      - 8
 189 #      - 9
 190 #      - 10
 191 #      - 11
 192 #      - 12
 193 #      - 13
 194 #      - 16
 195 #      - 17
 196 #      csit-ligato-perf-1801-all:
 197 #      - 16  # sel
 198 #      - 17  # sel
 199 #      - 18  # sel
 200 #      - 19  # sel
 201 #      - 20  # sel
 202 #      - 21  # sel
 203 #      - 22  # sel
 204 #      - 23  # sel
 205 #      - 24  # sel
 206 # TODO: Add the data sources
 207     vpp-perf-results:
 208       csit-vpp-perf-1801-all:
 209       - 122
 210       - 126
 211       - 129
 212       - 140
 213     vpp-func-results:
 214       csit-vpp-functional-1801-ubuntu1604-virl:
 215       - "lastSuccessfulBuild"
 216 # TODO: Add the data sources
 217     ligato-perf-results:
 218       csit-ligato-perf-1801-all:
 219       - 25  # full
 220     dpdk-perf-results:
 221       csit-dpdk-perf-1801-all:
 222       - 12
 223     hc-func-results:
 224       csit-hc2vpp-verify-func-1801-ubuntu1604:
 225       - "lastSuccessfulBuild"
 226     nsh-func-results:
 227       csit-nsh_sfc-verify-func-1801-ubuntu1604-virl:
 228       - 1
 229 # TODO: Add the data sources
 230     plot-vpp-throughput-latency:
 231       csit-vpp-perf-1801-all:
 232       - 124  # sel
 233       - 127  # sel
 234       - 128  # sel
 235       - 141  # sel
 236       - 142  # sel
 237       - 143  # sel
 238       - 145  # sel
 239       - 146  # sel
 240     plot-dpdk-throughput-latency:
 241       csit-dpdk-perf-1801-all:
 242       - 1
 243       - 3
 244       - 4
 245       - 5
 246       - 6
 247       - 7
 248       - 8
 249       - 10
 250       - 12
 251 # TODO: Add the data sources
 252     plot-ligato-throughput-latency:
 253       csit-ligato-perf-1801-all:
 254       - 16  # sel
 255       - 17  # sel
 256       - 18  # sel
 257       - 19  # sel
 258       - 20  # sel
 259       - 21  # sel
 260       - 22  # sel
 261       - 23  # sel
 262       - 24  # sel
 263
 264   plot-layouts:
 265
 266     plot-cps:
 267       xaxis:
 268         autorange: True
 269         autotick: False
 270         fixedrange: False
 271         gridcolor: "rgb(238, 238, 238)"
 272         linecolor: "rgb(238, 238, 238)"
 273         linewidth: 1
 274         showgrid: True
 275         showline: True
 276         showticklabels: True
 277         tickcolor: "rgb(238, 238, 238)"
 278         tickmode: "linear"
 279         title: "Indexed Test Cases"
 280         zeroline: False
 281       yaxis:
 282         gridcolor: "rgb(238, 238, 238)'"
 283         hoverformat: ".4s"
 284         linecolor: "rgb(238, 238, 238)"
 285         linewidth: 1
 286         range: []
 287         rangemode: "tozero"
 288         showgrid: True
 289         showline: True
 290         showticklabels: True
 291         tickcolor: "rgb(238, 238, 238)"
 292         title: "Connections Per Second [cps]"
 293         zeroline: False
 294       boxmode: "group"
 295       boxgroupgap: 0.5
 296       autosize: False
 297       margin:
 298         t: 50
 299         b: 20
 300         l: 50
 301         r: 20
 302       showlegend: True
 303       legend:
 304         orientation: "h"
 305       width: 700
 306       height: 1000
 307
 308     plot-rps:
 309       xaxis:
 310         autorange: True
 311         autotick: False
 312         fixedrange: False
 313         gridcolor: "rgb(238, 238, 238)"
 314         linecolor: "rgb(238, 238, 238)"
 315         linewidth: 1
 316         showgrid: True
 317         showline: True
 318         showticklabels: True
 319         tickcolor: "rgb(238, 238, 238)"
 320         tickmode: "linear"
 321         title: "Indexed Test Cases"
 322         zeroline: False
 323       yaxis:
 324         gridcolor: "rgb(238, 238, 238)'"
 325         hoverformat: ".4s"
 326         linecolor: "rgb(238, 238, 238)"
 327         linewidth: 1
 328         range: []
 329         rangemode: "tozero"
 330         showgrid: True
 331         showline: True
 332         showticklabels: True
 333         tickcolor: "rgb(238, 238, 238)"
 334         title: "Requests Per Second [rps]"
 335         zeroline: False
 336       boxmode: "group"
 337       boxgroupgap: 0.5
 338       autosize: False
 339       margin:
 340         t: 50
 341         b: 20
 342         l: 50
 343         r: 20
 344       showlegend: True
 345       legend:
 346         orientation: "h"
 347       width: 700
 348       height: 1000
 349
 350     plot-throughput:
 351       xaxis:
 352         autorange: True
 353         autotick: False
 354         fixedrange: False
 355         gridcolor: "rgb(238, 238, 238)"
 356         linecolor: "rgb(238, 238, 238)"
 357         linewidth: 1
 358         showgrid: True
 359         showline: True
 360         showticklabels: True
 361         tickcolor: "rgb(238, 238, 238)"
 362         tickmode: "linear"
 363         title: "Indexed Test Cases"
 364         zeroline: False
 365       yaxis:
 366         gridcolor: "rgb(238, 238, 238)'"
 367         hoverformat: ".4s"
 368         linecolor: "rgb(238, 238, 238)"
 369         linewidth: 1
 370         range: []
 371         showgrid: True
 372         showline: True
 373         showticklabels: True
 374         tickcolor: "rgb(238, 238, 238)"
 375         title: "Packets Per Second [pps]"
 376         zeroline: False
 377       boxmode: "group"
 378       boxgroupgap: 0.5
 379       autosize: False
 380       margin:
 381         t: 50
 382         b: 20
 383         l: 50
 384         r: 20
 385       showlegend: True
 386       legend:
 387         orientation: "h"
 388       width: 700
 389       height: 1000
 390
 391     plot-latency:
 392       xaxis:
 393         autorange: True
 394         autotick: False
 395         fixedrange: False
 396         gridcolor: "rgb(238, 238, 238)"
 397         linecolor: "rgb(238, 238, 238)"
 398         linewidth: 1
 399         showgrid: True
 400         showline: True
 401         showticklabels: True
 402         tickcolor: "rgb(238, 238, 238)"
 403         tickmode: "linear"
 404         title: "Indexed Test Cases"
 405         zeroline: False
 406       yaxis:
 407         gridcolor: "rgb(238, 238, 238)'"
 408         hoverformat: ""
 409         linecolor: "rgb(238, 238, 238)"
 410         linewidth: 1
 411         range: []
 412         showgrid: True
 413         showline: True
 414         showticklabels: True
 415         tickcolor: "rgb(238, 238, 238)"
 416         title: "Latency min/avg/max [uSec]"
 417         zeroline: False
 418       boxmode: "group"
 419       boxgroupgap: 0.5
 420       autosize: False
 421       margin:
 422         t: 50
 423         b: 20
 424         l: 50
 425         r: 20
 426       showlegend: True
 427       legend:
 428         orientation: "h"
 429       width: 700
 430       height: 1000
 431
 432     plot-throughput-speedup-analysis:
 433       xaxis:
 434         autorange: True
 435         autotick: False
 436         fixedrange: False
 437         gridcolor: "rgb(238, 238, 238)"
 438         linecolor: "rgb(238, 238, 238)"
 439         linewidth: 1
 440         showgrid: True
 441         showline: True
 442         showticklabels: True
 443         tickcolor: "rgb(238, 238, 238)"
 444         tickmode: "linear"
 445         tickangle: 270
 446         zeroline: False
 447       yaxis:
 448         title: "Throughput speedup factor"
 449         gridcolor: "rgb(238, 238, 238)"
 450         hoverformat: ".4s"
 451         linecolor: "rgb(238, 238, 238)"
 452         linewidth: 1
 453         range: []
 454         showgrid: True
 455         showline: True
 456         showticklabels: True
 457         tickcolor: "rgb(238, 238, 238)"
 458         zeroline: False
 459       legend:
 460         orientation: "h"
 461         xanchor: "center"
 462         yanchor: "top"
 463         x: 0.5
 464         y: 1
 465         bgcolor: "rgba(255, 255, 255, 0)"
 466         bordercolor: "rgba(255, 255, 255, 0)"
 467       barmode: "group"
 468       bargap: 0.15
 469       bargroupgap: 0.1
 470       autosize: False
 471       margin:
 472           't': 50
 473           'b': 200
 474           'l': 50
 475           'r': 20
 476       showlegend: True
 477       width: 700
 478       height: 1000
 479
 480 -
 481   type: "debug"
 482   general:
 483     input-format: "xml"  # zip or xml
 484     extract: "robot-plugin/output.xml"  # Only for zip
 485   builds:
 486     # The files must be in the directory DIR[WORKING,DATA]
 487     csit-vpp-perf-1801-all:
 488     -
 489       build: 1
 490       file: "{DIR[WORKING,DATA]}/output.xml"
 491     -
 492       build: 2
 493       file: "{DIR[WORKING,DATA]}/output.xml"
 494     -
 495       build: 3
 496       file: "{DIR[WORKING,DATA]}/output.xml"
 497     -
 498       build: 4
 499       file: "{DIR[WORKING,DATA]}/output.xml"
 500
 501 -
 502   type: "static"
 503   src-path: "{DIR[RST]}"
 504   dst-path: "{DIR[WORKING,SRC]}"
 505
 506 -
 507   type: "input"  # Ignored in debug mode
 508   general:
 509     file-name: "robot-plugin.zip"
 510     file-format: ".zip"
 511     download-path: "{job}/{build}/robot/report/*zip*/{filename}"
 512     extract: "robot-plugin/output.xml"
 513   builds:
 514 #    csit-vpp-perf-1707-all:
 515 #    - 9
 516 #    - 10
 517 #    - 13
 518 #    - 14
 519 #    - 15
 520 #    - 16
 521 #    - 17
 522 #    - 18
 523 #    - 19
 524 #    - 21
 525     csit-vpp-perf-1710-all:
 526     - 11
 527     - 12
 528     - 13
 529     - 14
 530     - 15
 531     - 16
 532     - 17
 533     - 18
 534     - 19
 535     - 20
 536 # TODO:
 537     csit-vpp-perf-1801-all:
 538     - 122  # full
 539     - 126  # full
 540     - 129  # full
 541     - 140  # full
 542     - 124  # sel
 543     - 127  # sel
 544     - 128  # sel
 545     - 141  # sel
 546     - 142  # sel
 547     - 143  # sel
 548     - 145  # sel
 549     - 146  # sel
 550     - 157  # wrk
 551     - 158  # wrk
 552     - 159  # wrk
 553     - 160  # wrk
 554     - 161  # wrk
 555     - 164  # wrk
 556     - 165  # wrk
 557     - 166  # wrk
 558     - 167  # wrk
 559     - 168  # wrk
 560     csit-ligato-perf-1710-all:
 561     - 5
 562     - 7
 563     - 8
 564     - 9
 565     - 10
 566     - 11
 567     - 12
 568     - 13
 569     - 16
 570     - 17
 571     csit-dpdk-perf-1801-all:
 572     - 1
 573     - 4
 574     - 5
 575     - 7
 576     - 8
 577     - 10
 578     - 12
 579     - 16
 580     - 17
 581 # TODO:
 582     csit-ligato-perf-1801-all:
 583     - 16  # sel
 584     - 17  # sel
 585     - 18  # sel
 586     - 19  # sel
 587     - 20  # sel
 588     - 21  # sel
 589     - 22  # sel
 590     - 23  # sel
 591     - 24  # sel
 592     - 25  # full
 593     csit-dpdk-perf-1801-all:
 594     - 1
 595     - 3
 596     - 4
 597     - 5
 598     - 6
 599     - 7
 600     - 8
 601     - 9
 602     - 10
 603     - 12
 604     csit-vpp-functional-1801-ubuntu1604-virl:
 605     - lastSuccessfulBuild
 606     csit-nsh_sfc-verify-func-1801-ubuntu1604-virl:
 607     - 1
 608     csit-hc2vpp-verify-func-1801-ubuntu1604:
 609     - lastSuccessfulBuild
 610
 611 -
 612   type: "output"
 613   format:
 614     html:
 615     - full
 616     pdf:
 617     - minimal
 618
 619 ################################################################################
 620 ###                               T A B L E S                                ###
 621 ################################################################################
 622
 623 #-
 624 #  type: "table"
 625 #  title: "Performance Impact of Meltdown Patches"
 626 #  algorithm: "table_performance_comparison"
 627 #  output-file-ext: ".csv"
 628 ## TODO: specify dir
 629 #  output-file: "{DIR[STATIC,VPP]}/meltdown-impact"
 630 #  reference:
 631 #    title: "No Meltdown"
 632 ## TODO: specify data sources
 633 #    data:
 634 #      csit-vpp-perf-1707-all:
 635 #      - 9
 636 #      - 10
 637 #      - 13
 638 #  compare:
 639 #    title: "Meltdown Patches Applied"
 640 ## TODO: specify data sources
 641 #    data:
 642 #      csit-vpp-perf-1710-all:
 643 #      - 11
 644 #      - 12
 645 #      - 13
 646 #  data:
 647 #    "vpp-meltdown-impact"
 648 #  filter: "all"
 649 #  parameters:
 650 #  - "name"
 651 #  - "parent"
 652 #  - "throughput"
 653 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
 654 #  # to present all tests.
 655 #  nr-of-tests-shown: 20
 656 #
 657 #-
 658 #  type: "table"
 659 #  title: "Performance Impact of Spectre Patches"
 660 #  algorithm: "table_performance_comparison"
 661 #  output-file-ext: ".csv"
 662 ## TODO: specify dir
 663 #  output-file: "{DIR[STATIC,VPP]}/meltdown-spectre-impact"
 664 #  reference:
 665 #    title: "No Spectre"
 666 ## TODO: specify data sources
 667 #    data:
 668 #      csit-vpp-perf-1707-all:
 669 #      - 9
 670 #      - 10
 671 #      - 13
 672 #  compare:
 673 #    title: "Spectre Patches Applied"
 674 ## TODO: specify data sources
 675 #    data:
 676 #      csit-vpp-perf-1710-all:
 677 #      - 11
 678 #      - 12
 679 #      - 13
 680 #  data:
 681 #    "vpp-spectre-impact"
 682 #  filter: "all"
 683 #  parameters:
 684 #  - "name"
 685 #  - "parent"
 686 #  - "throughput"
 687 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
 688 #  # to present all tests.
 689 #  nr-of-tests-shown: 20
 690
 691 -
 692   type: "table"
 693   title: "VPP Performance Changes"
 694   algorithm: "table_performance_comparison"
 695   output-file-ext: ".csv"
 696 # TODO: specify dir
 697   output-file: "{DIR[STATIC,VPP]}/performance-changes"
 698   reference:
 699     title: "Release 1710"
 700 # TODO: specify data sources
 701     data:
 702       csit-vpp-perf-1710-all:
 703       - 11
 704       - 12
 705       - 13
 706       - 14
 707       - 15
 708       - 16
 709       - 17
 710       - 18
 711       - 19
 712       - 20
 713   compare:
 714     title: "Release 1801"
 715 # TODO: specify data sources
 716     data:
 717       csit-vpp-perf-1801-all:
 718       - 124  # sel
 719       - 127  # sel
 720       - 128  # sel
 721       - 141  # sel
 722       - 142  # sel
 723       - 143  # sel
 724       - 145  # sel
 725       - 146  # sel
 726   data: "vpp-performance-changes"
 727   filter: "all"
 728   parameters:
 729   - "name"
 730   - "parent"
 731   - "throughput"
 732   # Number of the best and the worst tests presented in the table. Use 0 (zero)
 733   # to present all tests.
 734   nr-of-tests-shown: 20
 735   outlier-const: 1.5
 736
 737 #-
 738 #  type: "table"
 739 #  title: "Performance improvements"
 740 #  algorithm: "table_performance_improvements"
 741 #  template: "{DIR[DTR,PERF,VPP,IMPRV]}/tmpl_performance_improvements.csv"
 742 #  output-file-ext: ".csv"
 743 #  output-file: "{DIR[DTR,PERF,VPP,IMPRV]}/performance_improvements"
 744 #  columns:
 745 #  -
 746 #    title: "Test Name"
 747 #    data: "template 1"
 748 #  -
 749 #    title: "16.09 mean [Mpps]"
 750 #    data: "template 2"
 751 #  -
 752 #    title: "17.01 mean [Mpps]"
 753 #    data: "template 3"
 754 #  -
 755 #    title: "17.04 mean [Mpps]"
 756 #    data: "template 4"
 757 #  -
 758 #    title: "17.07 mean [Mpps]"
 759 #    data: "data csit-vpp-perf-1707-all mean"
 760 #  -
 761 #    title: "17.10 mean [Mpps]"
 762 #    data: "data csit-vpp-perf-1710-all csit-ligato-perf-1710-all mean"
 763 #  -
 764 #    title: "18.01 mean [Mpps]"
 765 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all mean"
 766 #  -
 767 #    title: "18.01 stdev [Mpps]"
 768 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all stdev"
 769 #  -
 770 #    title: "17.10 to 18.01 change [%]"
 771 #    data: "operation relative_change 5 6"
 772 #  rows: "generated"
 773 #  data:
 774 #    "performance-improvements"
 775 #  filter: "template"
 776 #  parameters:
 777 #  - "throughput"
 778
 779 -
 780   type: "table"
 781   title: "Detailed Test Results - VPP Performance Results"
 782   algorithm: "table_merged_details"
 783   output-file-ext: ".csv"
 784   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
 785   columns:
 786   -
 787     title: "Name"
 788     data: "data name"
 789   -
 790     title: "Documentation"
 791     data: "data doc"
 792   -
 793     title: "Status"
 794     data: "data msg"
 795   rows: "generated"
 796   data:
 797     "vpp-perf-results"
 798   filter: "not 'NDRCHK' and not 'PDRCHK'"
 799   parameters:
 800   - "name"
 801   - "parent"
 802   - "doc"
 803   - "msg"
 804
 805 -
 806   type: "table"
 807   title: "Test configuration - VPP Performance Test Configs"
 808   algorithm: "table_merged_details"
 809   output-file-ext: ".csv"
 810   output-file: "{DIR[DTC,PERF,VPP]}/vpp_test_configuration"
 811   columns:
 812   -
 813     title: "Name"
 814     data: "data name"
 815   -
 816     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
 817     data: "data vat-history"
 818   rows: "generated"
 819   data:
 820     "vpp-perf-results"
 821   filter: "not 'NDRCHK' and not 'PDRCHK'"
 822   parameters:
 823   - "parent"
 824   - "name"
 825   - "vat-history"
 826
 827 -
 828   type: "table"
 829   title: "Test Operational Data - VPP Performance Operational Data"
 830   algorithm: "table_merged_details"
 831   output-file-ext: ".csv"
 832   output-file: "{DIR[DTO,PERF,VPP]}/vpp_test_operational"
 833   columns:
 834   -
 835     title: "Name"
 836     data: "data name"
 837   -
 838     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
 839     data: "data show-run"
 840   rows: "generated"
 841   data:
 842     "vpp-perf-results"
 843   filter: "not 'NDRCHK' and not 'PDRCHK'"
 844   parameters:
 845   - "parent"
 846   - "name"
 847   - "show-run"
 848
 849 -
 850   type: "table"
 851   title: "Detailed Test Results - VPP Functional Results"
 852   algorithm: "table_details"
 853   output-file-ext: ".csv"
 854   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
 855   columns:
 856   -
 857     title: "Name"
 858     data: "data name"
 859   -
 860     title: "Documentation"
 861     data: "data doc"
 862   -
 863     title: "Status"
 864     data: "data status"
 865   rows: "generated"
 866   data:
 867     "vpp-func-results"
 868   filter: "all"
 869   parameters:
 870   - "name"
 871   - "parent"
 872   - "doc"
 873   - "status"
 874
 875 -
 876   type: "table"
 877   title: "Test configuration - VPP Functional Test Configs"
 878   algorithm: "table_details"
 879   output-file-ext: ".csv"
 880   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
 881   columns:
 882   -
 883     title: "Name"
 884     data: "data name"
 885   -
 886     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
 887     data: "data vat-history"
 888   rows: "generated"
 889   data:
 890     "vpp-func-results"
 891   filter: "all"
 892   parameters:
 893   - "parent"
 894   - "name"
 895   - "vat-history"
 896
 897 -
 898   type: "table"
 899   title: "Detailed Test Results - Container Orchestrated Topologies Performance Results"
 900   algorithm: "table_details"
 901   output-file-ext: ".csv"
 902   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
 903   columns:
 904   -
 905     title: "Name"
 906     data: "data name"
 907   -
 908     title: "Documentation"
 909     data: "data doc"
 910   -
 911     title: "Status"
 912     data: "data msg"
 913   rows: "generated"
 914   data:
 915     "ligato-perf-results"
 916   filter: "all"
 917   parameters:
 918   - "name"
 919   - "parent"
 920   - "doc"
 921   - "msg"
 922
 923 -
 924   type: "table"
 925   title: "Detailed Test Results - DPDK Performance Results"
 926   algorithm: "table_details"
 927   output-file-ext: ".csv"
 928   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
 929   columns:
 930   -
 931     title: "Name"
 932     data: "data name"
 933   -
 934     title: "Documentation"
 935     data: "data doc"
 936   -
 937     title: "Status"
 938     data: "data msg"
 939   rows: "generated"
 940   data:
 941     "dpdk-perf-results"
 942   filter: "all"
 943   parameters:
 944   - "name"
 945   - "parent"
 946   - "doc"
 947   - "msg"
 948
 949 -
 950   type: "table"
 951   title: "Detailed Test Results - Honeycomb Functional Results"
 952   algorithm: "table_details"
 953   output-file-ext: ".csv"
 954   output-file: "{DIR[DTR,FUNC,HC]}/hc_functional_results"
 955   columns:
 956   -
 957     title: "Name"
 958     data: "data name"
 959   -
 960     title: "Documentation"
 961     data: "data doc"
 962   -
 963     title: "Status"
 964     data: "data status"
 965   rows: "generated"
 966   data:
 967     "hc-func-results"
 968   filter: "all"
 969   parameters:
 970   - "name"
 971   - "parent"
 972   - "doc"
 973   - "status"
 974
 975 -
 976   type: "table"
 977   title: "Detailed Test Results - NSH SFC Functional Results"
 978   algorithm: "table_details"
 979   output-file-ext: ".csv"
 980   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nsh_sfc_functional_results"
 981   columns:
 982   -
 983     title: "Name"
 984     data: "data name"
 985   -
 986     title: "Documentation"
 987     data: "data doc"
 988   -
 989     title: "Status"
 990     data: "data status"
 991   rows: "generated"
 992   data:
 993     "nsh-func-results"
 994   filter: "all"
 995   parameters:
 996   - "name"
 997   - "parent"
 998   - "doc"
 999   - "status"
1000
1001 ################################################################################
1002 ###                                F I L E S                                 ###
1003 ################################################################################
1004
1005 -
1006   type: "file"
1007   title: "VPP Performance Results"
1008   algorithm: "file_merged_test_results"
1009   output-file-ext: ".rst"
1010   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
1011   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1012   dir-tables: "{DIR[DTR,PERF,VPP]}"
1013   data:
1014     "vpp-perf-results"
1015   filter: "not 'NDRCHK' and not 'PDRCHK'"
1016   parameters:
1017   - "name"
1018   - "doc"
1019   - "level"
1020   - "parent"
1021   data-start-level: 3  # 0, 1, 2, ...
1022   chapters-start-level: 2  # 0, 1, 2, ...
1023
1024 -
1025   type: "file"
1026   title: "VPP Performance Configuration"
1027   algorithm: "file_merged_test_results"
1028   output-file-ext: ".rst"
1029   output-file: "{DIR[DTC,PERF,VPP]}/vpp_performance_configuration"
1030   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1031   dir-tables: "{DIR[DTC,PERF,VPP]}"
1032   data:
1033     "vpp-perf-results"
1034   filter: "not 'NDRCHK' and not 'PDRCHK'"
1035   parameters:
1036   - "name"
1037   - "doc"
1038   - "level"
1039   - "parent"
1040   data-start-level: 3  # 0, 1, 2, ...
1041   chapters-start-level: 2  # 0, 1, 2, ...
1042
1043 -
1044   type: "file"
1045   title: "VPP Performance Operational Data"
1046   algorithm: "file_merged_test_results"
1047   output-file-ext: ".rst"
1048   output-file: "{DIR[DTO,PERF,VPP]}/vpp_performance_operational_data"
1049   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1050   dir-tables: "{DIR[DTO,PERF,VPP]}"
1051   data:
1052     "vpp-perf-results"
1053   filter: "not 'NDRCHK' and not 'PDRCHK'"
1054   parameters:
1055   - "name"
1056   - "doc"
1057   - "level"
1058   - "parent"
1059   data-start-level: 3  # 0, 1, 2, ...
1060   chapters-start-level: 2  # 0, 1, 2, ...
1061
1062 -
1063   type: "file"
1064   title: "VPP Functional Results"
1065   algorithm: "file_test_results"
1066   output-file-ext: ".rst"
1067   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
1068   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1069   dir-tables: "{DIR[DTR,FUNC,VPP]}"
1070   data:
1071     "vpp-func-results"
1072   filter: "all"
1073   parameters:
1074   - "name"
1075   - "doc"
1076   - "level"
1077   data-start-level: 3  # 0, 1, 2, ...
1078   chapters-start-level: 2  # 0, 1, 2, ...
1079
1080 -
1081   type: "file"
1082   title: "VPP Functional Configuration"
1083   algorithm: "file_test_results"
1084   output-file-ext: ".rst"
1085   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
1086   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1087   dir-tables: "{DIR[DTC,FUNC,VPP]}"
1088   data:
1089     "vpp-func-results"
1090   filter: "all"
1091   parameters:
1092   - "name"
1093   - "doc"
1094   - "level"
1095   data-start-level: 3  # 0, 1, 2, ...
1096   chapters-start-level: 2  # 0, 1, 2, ...
1097
1098 -
1099   type: "file"
1100   title: "Container Orchestrated Performance Results"
1101   algorithm: "file_test_results"
1102   output-file-ext: ".rst"
1103   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
1104   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1105   dir-tables: "{DIR[DTR,PERF,COT]}"
1106   data:
1107     "ligato-perf-results"
1108   filter: "all"
1109   parameters:
1110   - "name"
1111   - "doc"
1112   - "level"
1113   data-start-level: 2  # 0, 1, 2, ...
1114   chapters-start-level: 2  # 0, 1, 2, ...
1115
1116 -
1117   type: "file"
1118   title: "DPDK Performance Results"
1119   algorithm: "file_test_results"
1120   output-file-ext: ".rst"
1121   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
1122   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1123   dir-tables: "{DIR[DTR,PERF,DPDK]}"
1124   data:
1125     "dpdk-perf-results"
1126   filter: "all"
1127   parameters:
1128   - "name"
1129   - "doc"
1130   - "level"
1131   chapters:
1132   - "suites"
1133   data-start-level: 2  # 0, 1, 2, ...
1134   chapters-start-level: 2  # 0, 1, 2, ...
1135
1136 -
1137   type: "file"
1138   title: "Honeycomb Functional Results"
1139   algorithm: "file_test_results"
1140   output-file-ext: ".rst"
1141   output-file: "{DIR[DTR,FUNC,HC]}/honeycomb_functional_results"
1142   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1143   dir-tables: "{DIR[DTR,FUNC,HC]}"
1144   data:
1145     "hc-func-results"
1146   filter: "all"
1147   parameters:
1148   - "name"
1149   - "doc"
1150   - "level"
1151   chapters:
1152   - "suites"
1153   data-start-level: 3  # 0, 1, 2, ...
1154   chapters-start-level: 2  # 0, 1, 2, ...
1155
1156 -
1157   type: "file"
1158   title: "NSH SFC Functional Results"
1159   algorithm: "file_test_results"
1160   output-file-ext: ".rst"
1161   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nshsfc_functional_results"
1162   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1163   dir-tables: "{DIR[DTR,FUNC,NSHSFC]}"
1164   data:
1165     "nsh-func-results"
1166   filter: "all"
1167   parameters:
1168   - "name"
1169   - "doc"
1170   - "level"
1171   chapters:
1172   - "suites"
1173   data-start-level: 2  # 0, 1, 2, ...
1174   chapters-start-level: 2  # 0, 1, 2, ...
1175
1176 ################################################################################
1177 ###                                P L O T S                                 ###
1178 ################################################################################
1179
1180 # Plots VPP HTTP Server Performance
1181 -
1182   type: "plot"
1183   title: "VPP HTTP Server Performance"
1184   algorithm: "plot_http_server_performance_box"
1185   output-file-type: ".html"
1186   output-file: "{DIR[STATIC,VPP]}/http-server-performance-cps"
1187   data:
1188     "plot-vpp-http-server-performance"
1189   # Keep this formatting, the filter is enclosed with " (quotation mark) and
1190   # each tag is enclosed with ' (apostrophe).
1191   filter: "'HTTP' and 'TCP_CPS'"
1192   parameters:
1193   - "result"
1194   - "name"
1195   traces:
1196     hoverinfo: "x+y"
1197     boxpoints: "outliers"
1198     whiskerwidth: 0
1199   layout:
1200     title: "VPP HTTP Server Performance"
1201     layout:
1202       "plot-cps"
1203
1204 -
1205   type: "plot"
1206   title: "VPP HTTP Server Performance"
1207   algorithm: "plot_http_server_performance_box"
1208   output-file-type: ".html"
1209   output-file: "{DIR[STATIC,VPP]}/http-server-performance-rps"
1210   data:
1211     "plot-vpp-http-server-performance"
1212   filter: "'HTTP' and 'TCP_RPS'"
1213   parameters:
1214   - "result"
1215   - "name"
1216   traces:
1217     hoverinfo: "x+y"
1218     boxpoints: "outliers"
1219     whiskerwidth: 0
1220   layout:
1221     title: "VPP HTTP Server Performance"
1222     layout:
1223       "plot-rps"
1224
1225 # Plot Throughput Speedup Analysis
1226
1227 # L2 - 10ge2p1x520 - NDR
1228 -
1229   type: "plot"
1230   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1231   algorithm: "plot_throughput_speedup_analysis"
1232   output-file-type: ".html"
1233   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-ndrdisc"
1234   data:
1235     "plot-throughput-speedup-analysis"
1236   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1237   parameters:
1238   - "throughput"
1239   - "parent"
1240   - "tags"
1241   layout:
1242     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1243     layout:
1244       "plot-throughput-speedup-analysis"
1245
1246 # L2 - 40ge2p1xl710 - NDR
1247 -
1248   type: "plot"
1249   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1250   algorithm: "plot_throughput_speedup_analysis"
1251   output-file-type: ".html"
1252   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-l2-tsa-ndrdisc"
1253   data:
1254     "plot-throughput-speedup-analysis"
1255   filter: "'NIC_Intel-XL710' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1256   parameters:
1257   - "throughput"
1258   - "parent"
1259   - "tags"
1260   layout:
1261     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1262     layout:
1263       "plot-throughput-speedup-analysis"
1264
1265 # L2 - 10ge2p1x520 - PDR
1266 -
1267   type: "plot"
1268   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1269   algorithm: "plot_throughput_speedup_analysis"
1270   output-file-type: ".html"
1271   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-pdrdisc"
1272   data:
1273     "plot-throughput-speedup-analysis"
1274   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1275   parameters:
1276   - "throughput"
1277   - "parent"
1278   - "tags"
1279   layout:
1280     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1281     layout:
1282       "plot-throughput-speedup-analysis"
1283
1284 # IPv4 - 10ge2p1x520 - NDR
1285 -
1286   type: "plot"
1287   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1288   algorithm: "plot_throughput_speedup_analysis"
1289   output-file-type: ".html"
1290   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-ndrdisc"
1291   data:
1292     "plot-throughput-speedup-analysis"
1293   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1294   parameters:
1295   - "throughput"
1296   - "parent"
1297   - "tags"
1298   layout:
1299     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1300     layout:
1301       "plot-throughput-speedup-analysis"
1302
1303 # IPv4 - 40ge2p1xl710 - NDR
1304 -
1305   type: "plot"
1306   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1307   algorithm: "plot_throughput_speedup_analysis"
1308   output-file-type: ".html"
1309   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-ip4-tsa-ndrdisc"
1310   data:
1311     "plot-throughput-speedup-analysis"
1312   filter: "'NIC_Intel-XL710' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1313   parameters:
1314   - "throughput"
1315   - "parent"
1316   - "tags"
1317   layout:
1318     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1319     layout:
1320       "plot-throughput-speedup-analysis"
1321
1322 # IPv4 - 10ge2p1x520 - PDR
1323 -
1324   type: "plot"
1325   title: "TSA: 64B-*-ethip4-ip4(base|scale)*pdrdisc"
1326   algorithm: "plot_throughput_speedup_analysis"
1327   output-file-type: ".html"
1328   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-pdrdisc"
1329   data:
1330     "plot-throughput-speedup-analysis"
1331   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1332   parameters:
1333   - "throughput"
1334   - "parent"
1335   - "tags"
1336   layout:
1337     title: "64B-*-ethip4-ip4(base|scale)*pdrdisc"
1338     layout:
1339       "plot-throughput-speedup-analysis"
1340
1341 # IPv6 - 10ge2p1x520 - NDR
1342 -
1343   type: "plot"
1344   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1345   algorithm: "plot_throughput_speedup_analysis"
1346   output-file-type: ".html"
1347   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-ndrdisc"
1348   data:
1349     "plot-throughput-speedup-analysis"
1350   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1351   parameters:
1352   - "throughput"
1353   - "parent"
1354   - "tags"
1355   layout:
1356     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1357     layout:
1358       "plot-throughput-speedup-analysis"
1359
1360 # IPv6 - 40ge2p1xl710 - NDR
1361 -
1362   type: "plot"
1363   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1364   algorithm: "plot_throughput_speedup_analysis"
1365   output-file-type: ".html"
1366   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-78B-ip6-tsa-ndrdisc"
1367   data:
1368     "plot-throughput-speedup-analysis"
1369   filter: "'NIC_Intel-XL710' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1370   parameters:
1371   - "throughput"
1372   - "parent"
1373   - "tags"
1374   layout:
1375     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1376     layout:
1377       "plot-throughput-speedup-analysis"
1378
1379 # IPv6 - 10ge2p1x520 - PDR
1380 -
1381   type: "plot"
1382   title: "TSA: 78B-*-ethip6-ip6(base|scale)*pdrdisc"
1383   algorithm: "plot_throughput_speedup_analysis"
1384   output-file-type: ".html"
1385   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-pdrdisc"
1386   data:
1387     "plot-throughput-speedup-analysis"
1388   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST'"
1389   parameters:
1390   - "throughput"
1391   - "parent"
1392   - "tags"
1393   layout:
1394     title: "78B-*-ethip6-ip6(base|scale)*pdrdisc"
1395     layout:
1396       "plot-throughput-speedup-analysis"
1397
1398 # Plot packets per second
1399
1400 # VPP L2 sel1
1401 -
1402   type: "plot"
1403   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1404   algorithm: "plot_performance_box"
1405   output-file-type: ".html"
1406   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc"
1407   data:
1408     "plot-vpp-throughput-latency"
1409   # Keep this formatting, the filter is enclosed with " (quotation mark) and
1410   # each tag is enclosed with ' (apostrophe).
1411   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1412   parameters:
1413   - "throughput"
1414   - "parent"
1415   traces:
1416     hoverinfo: "x+y"
1417     boxpoints: "outliers"
1418     whiskerwidth: 0
1419   layout:
1420     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1421     layout:
1422       "plot-throughput"
1423
1424 -
1425   type: "plot"
1426   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1427   algorithm: "plot_performance_box"
1428   output-file-type: ".html"
1429   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc"
1430   data:
1431     "plot-vpp-throughput-latency"
1432   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1433   parameters:
1434   - "throughput"
1435   - "parent"
1436   traces:
1437     hoverinfo: "x+y"
1438     boxpoints: "outliers"
1439     whiskerwidth: 0
1440   layout:
1441     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1442     layout:
1443       "plot-throughput"
1444
1445 -
1446   type: "plot"
1447   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1448   algorithm: "plot_performance_box"
1449   output-file-type: ".html"
1450   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-pdrdisc"
1451   data:
1452     "plot-vpp-throughput-latency"
1453   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1454   parameters:
1455   - "throughput"
1456   - "parent"
1457   traces:
1458     hoverinfo: "x+y"
1459     boxpoints: "outliers"
1460     whiskerwidth: 0
1461   layout:
1462     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1463     layout:
1464       "plot-throughput"
1465
1466 -
1467   type: "plot"
1468   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1469   algorithm: "plot_performance_box"
1470   output-file-type: ".html"
1471   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-pdrdisc"
1472   data:
1473     "plot-vpp-throughput-latency"
1474   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1475   parameters:
1476   - "throughput"
1477   - "parent"
1478   traces:
1479     hoverinfo: "x+y"
1480     boxpoints: "outliers"
1481     whiskerwidth: 0
1482   layout:
1483     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1484     layout:
1485       "plot-throughput"
1486
1487 # VPP L2 sel2
1488 -
1489   type: "plot"
1490   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1491   algorithm: "plot_performance_box"
1492   output-file-type: ".html"
1493   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc"
1494   data:
1495     "plot-vpp-throughput-latency"
1496   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1497   parameters:
1498   - "throughput"
1499   - "parent"
1500   traces:
1501     hoverinfo: "x+y"
1502     boxpoints: "outliers"
1503     whiskerwidth: 0
1504   layout:
1505     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1506     layout:
1507       "plot-throughput"
1508
1509 -
1510   type: "plot"
1511   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1512   algorithm: "plot_performance_box"
1513   output-file-type: ".html"
1514   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc"
1515   data:
1516     "plot-vpp-throughput-latency"
1517   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1518   parameters:
1519   - "throughput"
1520   - "parent"
1521   traces:
1522     hoverinfo: "x+y"
1523     boxpoints: "outliers"
1524     whiskerwidth: 0
1525   layout:
1526     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1527     layout:
1528       "plot-throughput"
1529
1530 -
1531   type: "plot"
1532   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1533   algorithm: "plot_performance_box"
1534   output-file-type: ".html"
1535   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-pdrdisc"
1536   data:
1537     "plot-vpp-throughput-latency"
1538   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1539   parameters:
1540   - "throughput"
1541   - "parent"
1542   traces:
1543     hoverinfo: "x+y"
1544     boxpoints: "outliers"
1545     whiskerwidth: 0
1546   layout:
1547     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1548     layout:
1549       "plot-throughput"
1550
1551 -
1552   type: "plot"
1553   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1554   algorithm: "plot_performance_box"
1555   output-file-type: ".html"
1556   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-pdrdisc"
1557   data:
1558     "plot-vpp-throughput-latency"
1559   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1560   parameters:
1561   - "throughput"
1562   - "parent"
1563   traces:
1564     hoverinfo: "x+y"
1565     boxpoints: "outliers"
1566     whiskerwidth: 0
1567   layout:
1568     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1569     layout:
1570       "plot-throughput"
1571
1572 # VPP IP4
1573 -
1574   type: "plot"
1575   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1576   algorithm: "plot_performance_box"
1577   output-file-type: ".html"
1578   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc"
1579   data:
1580     "plot-vpp-throughput-latency"
1581   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1582   parameters:
1583   - "throughput"
1584   - "parent"
1585   traces:
1586     hoverinfo: "x+y"
1587     boxpoints: "outliers"
1588     whiskerwidth: 0
1589   layout:
1590     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1591     layout:
1592       "plot-throughput"
1593
1594 -
1595   type: "plot"
1596   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1597   algorithm: "plot_performance_box"
1598   output-file-type: ".html"
1599   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc"
1600   data:
1601     "plot-vpp-throughput-latency"
1602   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1603   parameters:
1604   - "throughput"
1605   - "parent"
1606   traces:
1607     hoverinfo: "x+y"
1608     boxpoints: "outliers"
1609     whiskerwidth: 0
1610   layout:
1611     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1612     layout:
1613       "plot-throughput"
1614
1615 -
1616   type: "plot"
1617   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1618   algorithm: "plot_performance_box"
1619   output-file-type: ".html"
1620   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-pdrdisc"
1621   data:
1622     "plot-vpp-throughput-latency"
1623   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1624   parameters:
1625   - "throughput"
1626   - "parent"
1627   traces:
1628     hoverinfo: "x+y"
1629     boxpoints: "outliers"
1630     whiskerwidth: 0
1631   layout:
1632     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1633     layout:
1634       "plot-throughput"
1635
1636 -
1637   type: "plot"
1638   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1639   algorithm: "plot_performance_box"
1640   output-file-type: ".html"
1641   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-pdrdisc"
1642   data:
1643     "plot-vpp-throughput-latency"
1644   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1645   parameters:
1646   - "throughput"
1647   - "parent"
1648   traces:
1649     hoverinfo: "x+y"
1650     boxpoints: "outliers"
1651     whiskerwidth: 0
1652   layout:
1653     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1654     layout:
1655       "plot-throughput"
1656
1657 # VPP IP6
1658 -
1659   type: "plot"
1660   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1661   algorithm: "plot_performance_box"
1662   output-file-type: ".html"
1663   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc"
1664   data:
1665     "plot-vpp-throughput-latency"
1666   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1667   parameters:
1668   - "throughput"
1669   - "parent"
1670   traces:
1671     hoverinfo: "x+y"
1672     boxpoints: "outliers"
1673     whiskerwidth: 0
1674   layout:
1675     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1676     layout:
1677       "plot-throughput"
1678
1679 -
1680   type: "plot"
1681   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1682   algorithm: "plot_performance_box"
1683   output-file-type: ".html"
1684   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc"
1685   data:
1686     "plot-vpp-throughput-latency"
1687   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1688   parameters:
1689   - "throughput"
1690   - "parent"
1691   traces:
1692     hoverinfo: "x+y"
1693     boxpoints: "outliers"
1694     whiskerwidth: 0
1695   layout:
1696     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1697     layout:
1698       "plot-throughput"
1699
1700 -
1701   type: "plot"
1702   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1703   algorithm: "plot_performance_box"
1704   output-file-type: ".html"
1705   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-pdrdisc"
1706   data:
1707     "plot-vpp-throughput-latency"
1708   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1709   parameters:
1710   - "throughput"
1711   - "parent"
1712   traces:
1713     hoverinfo: "x+y"
1714     boxpoints: "outliers"
1715     whiskerwidth: 0
1716   layout:
1717     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1718     layout:
1719       "plot-throughput"
1720
1721 -
1722   type: "plot"
1723   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1724   algorithm: "plot_performance_box"
1725   output-file-type: ".html"
1726   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-pdrdisc"
1727   data:
1728     "plot-vpp-throughput-latency"
1729   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1730   parameters:
1731   - "throughput"
1732   - "parent"
1733   traces:
1734     hoverinfo: "x+y"
1735     boxpoints: "outliers"
1736     whiskerwidth: 0
1737   layout:
1738     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1739     layout:
1740       "plot-throughput"
1741
1742 # VPP IP4_overlay
1743 -
1744   type: "plot"
1745   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1746   algorithm: "plot_performance_box"
1747   output-file-type: ".html"
1748   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc"
1749   data:
1750     "plot-vpp-throughput-latency"
1751   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1752   parameters:
1753   - "throughput"
1754   - "parent"
1755   traces:
1756     hoverinfo: "x+y"
1757     boxpoints: "outliers"
1758     whiskerwidth: 0
1759   layout:
1760     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1761     layout:
1762       "plot-throughput"
1763
1764 -
1765   type: "plot"
1766   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1767   algorithm: "plot_performance_box"
1768   output-file-type: ".html"
1769   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc"
1770   data:
1771     "plot-vpp-throughput-latency"
1772   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1773   parameters:
1774   - "throughput"
1775   - "parent"
1776   traces:
1777     hoverinfo: "x+y"
1778     boxpoints: "outliers"
1779     whiskerwidth: 0
1780   layout:
1781     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1782     layout:
1783       "plot-throughput"
1784
1785 -
1786   type: "plot"
1787   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1788   algorithm: "plot_performance_box"
1789   output-file-type: ".html"
1790   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-pdrdisc"
1791   data:
1792     "plot-vpp-throughput-latency"
1793   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1794   parameters:
1795   - "throughput"
1796   - "parent"
1797   traces:
1798     hoverinfo: "x+y"
1799     boxpoints: "outliers"
1800     whiskerwidth: 0
1801   layout:
1802     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1803     layout:
1804       "plot-throughput"
1805
1806 -
1807   type: "plot"
1808   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1809   algorithm: "plot_performance_box"
1810   output-file-type: ".html"
1811   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-pdrdisc"
1812   data:
1813     "plot-vpp-throughput-latency"
1814   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1815   parameters:
1816   - "throughput"
1817   - "parent"
1818   traces:
1819     hoverinfo: "x+y"
1820     boxpoints: "outliers"
1821     whiskerwidth: 0
1822   layout:
1823     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1824     layout:
1825       "plot-throughput"
1826
1827 # VPP IP6_overlay
1828 -
1829   type: "plot"
1830   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1831   algorithm: "plot_performance_box"
1832   output-file-type: ".html"
1833   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc"
1834   data:
1835     "plot-vpp-throughput-latency"
1836   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1837   parameters:
1838   - "throughput"
1839   - "parent"
1840   traces:
1841     hoverinfo: "x+y"
1842     boxpoints: "outliers"
1843     whiskerwidth: 0
1844   layout:
1845     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1846     xaxis:
1847       autorange: True
1848       autotick: False
1849       fixedrange: False
1850       gridcolor: "rgb(238, 238, 238)"
1851       linecolor: "rgb(238, 238, 238)"
1852       linewidth: 1
1853       showgrid: True
1854       showline: True
1855       showticklabels: True
1856       tickcolor: "rgb(238, 238, 238)"
1857       tickmode: "linear"
1858       title: "Indexed Test Cases"
1859       zeroline: False
1860     yaxis:
1861       gridcolor: "rgb(238, 238, 238)'"
1862       hoverformat: ".4s"
1863       linecolor: "rgb(238, 238, 238)"
1864       linewidth: 1
1865       range: [2000000, 6000000]
1866       showgrid: True
1867       showline: True
1868       showticklabels: True
1869       tickcolor: "rgb(238, 238, 238)"
1870       title: "Packets Per Second [pps]"
1871       zeroline: False
1872     boxmode: "group"
1873     boxgroupgap: 0.5
1874     autosize: False
1875     margin:
1876       t: 50
1877       b: 20
1878       l: 50
1879       r: 20
1880     showlegend: True
1881     legend:
1882       orientation: "h"
1883     width: 700
1884     height: 1000
1885
1886 -
1887   type: "plot"
1888   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1889   algorithm: "plot_performance_box"
1890   output-file-type: ".html"
1891   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc"
1892   data:
1893     "plot-vpp-throughput-latency"
1894   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1895   parameters:
1896   - "throughput"
1897   - "parent"
1898   traces:
1899     hoverinfo: "x+y"
1900     boxpoints: "outliers"
1901     whiskerwidth: 0
1902   layout:
1903     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1904     layout:
1905       "plot-throughput"
1906
1907 -
1908   type: "plot"
1909   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1910   algorithm: "plot_performance_box"
1911   output-file-type: ".html"
1912   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-pdrdisc"
1913   data:
1914     "plot-vpp-throughput-latency"
1915   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1916   parameters:
1917   - "throughput"
1918   - "parent"
1919   traces:
1920     hoverinfo: "x+y"
1921     boxpoints: "outliers"
1922     whiskerwidth: 0
1923   layout:
1924     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1925     layout:
1926       "plot-throughput"
1927
1928 -
1929   type: "plot"
1930   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1931   algorithm: "plot_performance_box"
1932   output-file-type: ".html"
1933   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-pdrdisc"
1934   data:
1935     "plot-vpp-throughput-latency"
1936   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1937   parameters:
1938   - "throughput"
1939   - "parent"
1940   traces:
1941     hoverinfo: "x+y"
1942     boxpoints: "outliers"
1943     whiskerwidth: 0
1944   layout:
1945     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1946     xaxis:
1947       autorange: True
1948       autotick: False
1949       fixedrange: False
1950       gridcolor: "rgb(238, 238, 238)"
1951       linecolor: "rgb(238, 238, 238)"
1952       linewidth: 1
1953       showgrid: True
1954       showline: True
1955       showticklabels: True
1956       tickcolor: "rgb(238, 238, 238)"
1957       tickmode: "linear"
1958       title: "Indexed Test Cases"
1959       zeroline: False
1960     yaxis:
1961       gridcolor: "rgb(238, 238, 238)'"
1962       hoverformat: ".4s"
1963       linecolor: "rgb(238, 238, 238)"
1964       linewidth: 1
1965       range: [4000000, 12000000]
1966       showgrid: True
1967       showline: True
1968       showticklabels: True
1969       tickcolor: "rgb(238, 238, 238)"
1970       title: "Packets Per Second [pps]"
1971       zeroline: False
1972     boxmode: "group"
1973     boxgroupgap: 0.5
1974     autosize: False
1975     margin:
1976       t: 50
1977       b: 20
1978       l: 50
1979       r: 20
1980     showlegend: True
1981     legend:
1982       orientation: "h"
1983     width: 700
1984     height: 1000
1985
1986 # VPP VM VHOST
1987 -
1988   type: "plot"
1989   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
1990   algorithm: "plot_performance_box"
1991   output-file-type: ".html"
1992   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc"
1993   data:
1994     "plot-vpp-throughput-latency"
1995   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
1996   parameters:
1997   - "throughput"
1998   - "parent"
1999   traces:
2000     hoverinfo: "x+y"
2001     boxpoints: "outliers"
2002     whiskerwidth: 0
2003   layout:
2004     title: "64B-1t1c-.*vhost.*-ndrdisc"
2005     xaxis:
2006       autorange: True
2007       autotick: False
2008       fixedrange: False
2009       gridcolor: "rgb(238, 238, 238)"
2010       linecolor: "rgb(238, 238, 238)"
2011       linewidth: 1
2012       showgrid: True
2013       showline: True
2014       showticklabels: True
2015       tickcolor: "rgb(238, 238, 238)"
2016       tickmode: "linear"
2017       title: "Indexed Test Cases"
2018       zeroline: False
2019     yaxis:
2020       gridcolor: "rgb(238, 238, 238)'"
2021       hoverformat: ".4s"
2022       linecolor: "rgb(238, 238, 238)"
2023       linewidth: 1
2024       range: [0, 3500000]
2025       showgrid: True
2026       showline: True
2027       showticklabels: True
2028       tickcolor: "rgb(238, 238, 238)"
2029       title: "Packets Per Second [pps]"
2030       zeroline: False
2031     boxmode: "group"
2032     boxgroupgap: 0.5
2033     autosize: False
2034     margin:
2035       t: 50
2036       b: 20
2037       l: 50
2038       r: 20
2039     showlegend: True
2040     legend:
2041       orientation: "h"
2042     width: 700
2043     height: 1000
2044
2045 -
2046   type: "plot"
2047   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2048   algorithm: "plot_performance_box"
2049   output-file-type: ".html"
2050   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc"
2051   data:
2052     "plot-vpp-throughput-latency"
2053   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2054   parameters:
2055   - "throughput"
2056   - "parent"
2057   traces:
2058     hoverinfo: "x+y"
2059     boxpoints: "outliers"
2060     whiskerwidth: 0
2061   layout:
2062     title: "64B-2t2c-.*vhost.*-ndrdisc"
2063     layout:
2064       "plot-throughput"
2065
2066 -
2067   type: "plot"
2068   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2069   algorithm: "plot_performance_box"
2070   output-file-type: ".html"
2071   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-pdrdisc"
2072   data:
2073     "plot-vpp-throughput-latency"
2074   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2075   parameters:
2076   - "throughput"
2077   - "parent"
2078   traces:
2079     hoverinfo: "x+y"
2080     boxpoints: "outliers"
2081     whiskerwidth: 0
2082   layout:
2083     title: "64B-1t1c-.*vhost.*-pdrdisc"
2084     layout:
2085       "plot-throughput"
2086
2087 -
2088   type: "plot"
2089   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2090   algorithm: "plot_performance_box"
2091   output-file-type: ".html"
2092   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-pdrdisc"
2093   data:
2094     "plot-vpp-throughput-latency"
2095   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2096   parameters:
2097   - "throughput"
2098   - "parent"
2099   traces:
2100     hoverinfo: "x+y"
2101     boxpoints: "outliers"
2102     whiskerwidth: 0
2103   layout:
2104     title: "64B-2t2c-.*vhost.*-pdrdisc"
2105     layout:
2106       "plot-throughput"
2107
2108 # VPP VM VHOST SELECTION
2109 -
2110   type: "plot"
2111   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2112   algorithm: "plot_performance_box"
2113   output-file-type: ".html"
2114   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc"
2115   data:
2116     "plot-vpp-throughput-latency"
2117   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2118   parameters:
2119   - "throughput"
2120   - "parent"
2121   traces:
2122     hoverinfo: "x+y"
2123     boxpoints: "outliers"
2124     whiskerwidth: 0
2125   layout:
2126     title: "64B-1t1c-.*vhost.*-ndrdisc"
2127     layout:
2128       "plot-throughput"
2129
2130 -
2131   type: "plot"
2132   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2133   algorithm: "plot_performance_box"
2134   output-file-type: ".html"
2135   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc"
2136   data:
2137     "plot-vpp-throughput-latency"
2138   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2139   parameters:
2140   - "throughput"
2141   - "parent"
2142   traces:
2143     hoverinfo: "x+y"
2144     boxpoints: "outliers"
2145     whiskerwidth: 0
2146   layout:
2147     title: "64B-2t2c-.*vhost.*-ndrdisc"
2148     layout:
2149       "plot-throughput"
2150
2151 -
2152   type: "plot"
2153   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2154   algorithm: "plot_performance_box"
2155   output-file-type: ".html"
2156   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-pdrdisc"
2157   data:
2158     "plot-vpp-throughput-latency"
2159   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2160   parameters:
2161   - "throughput"
2162   - "parent"
2163   traces:
2164     hoverinfo: "x+y"
2165     boxpoints: "outliers"
2166     whiskerwidth: 0
2167   layout:
2168     title: "64B-1t1c-.*vhost.*-pdrdisc"
2169     layout:
2170       "plot-throughput"
2171
2172 -
2173   type: "plot"
2174   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2175   algorithm: "plot_performance_box"
2176   output-file-type: ".html"
2177   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-pdrdisc"
2178   data:
2179     "plot-vpp-throughput-latency"
2180   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2181   parameters:
2182   - "throughput"
2183   - "parent"
2184   traces:
2185     hoverinfo: "x+y"
2186     boxpoints: "outliers"
2187     whiskerwidth: 0
2188   layout:
2189     title: "64B-2t2c-.*vhost.*-pdrdisc"
2190     layout:
2191       "plot-throughput"
2192
2193 # VPP CRYPTO
2194 -
2195   type: "plot"
2196   title: "VPP Performance 64B-1t1c-.*ipsec.*-ndrdisc"
2197   algorithm: "plot_performance_box"
2198   output-file-type: ".html"
2199   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc"
2200   data:
2201     "plot-vpp-throughput-latency"
2202   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2203   parameters:
2204   - "throughput"
2205   - "parent"
2206   traces:
2207     hoverinfo: "x+y"
2208     boxpoints: "outliers"
2209     whiskerwidth: 0
2210   layout:
2211     title: "64B-1t1c-.*ipsec.*-ndrdisc"
2212     layout:
2213       "plot-throughput"
2214
2215 -
2216   type: "plot"
2217   title: "VPP Performance 64B-2t2c-.*ipsec.*-ndrdisc"
2218   algorithm: "plot_performance_box"
2219   output-file-type: ".html"
2220   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc"
2221   data:
2222     "plot-vpp-throughput-latency"
2223   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2224   parameters:
2225   - "throughput"
2226   - "parent"
2227   traces:
2228     hoverinfo: "x+y"
2229     boxpoints: "outliers"
2230     whiskerwidth: 0
2231   layout:
2232     title: "64B-2t2c-.*ipsec.*-ndrdisc"
2233     layout:
2234       "plot-throughput"
2235
2236 -
2237   type: "plot"
2238   title: "VPP Performance 64B-1t1c-.*ipsec.*-pdrdisc"
2239   algorithm: "plot_performance_box"
2240   output-file-type: ".html"
2241   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-pdrdisc"
2242   data:
2243     "plot-vpp-throughput-latency"
2244   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2245   parameters:
2246   - "throughput"
2247   - "parent"
2248   traces:
2249     hoverinfo: "x+y"
2250     boxpoints: "outliers"
2251     whiskerwidth: 0
2252   layout:
2253     title: "64B-1t1c-.*ipsec.*-pdrdisc"
2254     layout:
2255       "plot-throughput"
2256
2257 -
2258   type: "plot"
2259   title: "VPP Performance 64B-2t2c-.*ipsec.*-pdrdisc"
2260   algorithm: "plot_performance_box"
2261   output-file-type: ".html"
2262   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-pdrdisc"
2263   data:
2264     "plot-vpp-throughput-latency"
2265   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2266   parameters:
2267   - "throughput"
2268   - "parent"
2269   traces:
2270     hoverinfo: "x+y"
2271     boxpoints: "outliers"
2272     whiskerwidth: 0
2273   layout:
2274     title: "64B-2t2c-.*ipsec.*-pdrdisc"
2275     layout:
2276       "plot-throughput"
2277
2278 # DPDK
2279 -
2280   type: "plot"
2281   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2282   algorithm: "plot_performance_box"
2283   output-file-type: ".html"
2284   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc"
2285   data:
2286     "plot-dpdk-throughput-latency"
2287   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2288   parameters:
2289   - "throughput"
2290   - "parent"
2291   traces:
2292     hoverinfo: "x+y"
2293     boxpoints: "outliers"
2294     whiskerwidth: 0
2295   layout:
2296     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2297     layout:
2298       "plot-throughput"
2299
2300 -
2301   type: "plot"
2302   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2303   algorithm: "plot_performance_box"
2304   output-file-type: ".html"
2305   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc"
2306   data:
2307     "plot-dpdk-throughput-latency"
2308   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2309   parameters:
2310   - "throughput"
2311   - "parent"
2312   traces:
2313     hoverinfo: "x+y"
2314     boxpoints: "outliers"
2315     whiskerwidth: 0
2316   layout:
2317     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2318     layout:
2319       "plot-throughput"
2320
2321 -
2322   type: "plot"
2323   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2324   algorithm: "plot_performance_box"
2325   output-file-type: ".html"
2326   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc"
2327   data:
2328     "plot-dpdk-throughput-latency"
2329   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
2330   parameters:
2331   - "throughput"
2332   - "parent"
2333   traces:
2334     hoverinfo: "x+y"
2335     boxpoints: "outliers"
2336     whiskerwidth: 0
2337   layout:
2338     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2339     xaxis:
2340       autorange: True
2341       autotick: False
2342       fixedrange: False
2343       gridcolor: "rgb(238, 238, 238)"
2344       linecolor: "rgb(238, 238, 238)"
2345       linewidth: 1
2346       showgrid: True
2347       showline: True
2348       showticklabels: True
2349       tickcolor: "rgb(238, 238, 238)"
2350       tickmode: "linear"
2351       title: "Indexed Test Cases"
2352       zeroline: False
2353     yaxis:
2354       gridcolor: "rgb(238, 238, 238)'"
2355       hoverformat: ".4s"
2356       linecolor: "rgb(238, 238, 238)"
2357       linewidth: 1
2358       range: [2000000, 12000000]
2359       showgrid: True
2360       showline: True
2361       showticklabels: True
2362       tickcolor: "rgb(238, 238, 238)"
2363       title: "Packets Per Second [pps]"
2364       zeroline: False
2365     boxmode: "group"
2366     boxgroupgap: 0.5
2367     autosize: False
2368     margin:
2369       t: 50
2370       b: 20
2371       l: 50
2372       r: 20
2373     showlegend: True
2374     legend:
2375       orientation: "h"
2376     width: 700
2377     height: 1000
2378
2379 -
2380   type: "plot"
2381   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2382   algorithm: "plot_performance_box"
2383   output-file-type: ".html"
2384   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc"
2385   data:
2386     "plot-dpdk-throughput-latency"
2387   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
2388   parameters:
2389   - "throughput"
2390   - "parent"
2391   traces:
2392     hoverinfo: "x+y"
2393     boxpoints: "outliers"
2394     whiskerwidth: 0
2395   layout:
2396     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2397     xaxis:
2398       autorange: True
2399       autotick: False
2400       fixedrange: False
2401       gridcolor: "rgb(238, 238, 238)"
2402       linecolor: "rgb(238, 238, 238)"
2403       linewidth: 1
2404       showgrid: True
2405       showline: True
2406       showticklabels: True
2407       tickcolor: "rgb(238, 238, 238)"
2408       tickmode: "linear"
2409       title: "Indexed Test Cases"
2410       zeroline: False
2411     yaxis:
2412       gridcolor: "rgb(238, 238, 238)'"
2413       hoverformat: ".4s"
2414       linecolor: "rgb(238, 238, 238)"
2415       linewidth: 1
2416       range: [2000000, 12000000]
2417       showgrid: True
2418       showline: True
2419       showticklabels: True
2420       tickcolor: "rgb(238, 238, 238)"
2421       title: "Packets Per Second [pps]"
2422       zeroline: False
2423     boxmode: "group"
2424     boxgroupgap: 0.5
2425     autosize: False
2426     margin:
2427       t: 50
2428       b: 20
2429       l: 50
2430       r: 20
2431     showlegend: True
2432     legend:
2433       orientation: "h"
2434     width: 700
2435     height: 1000
2436
2437 -
2438   type: "plot"
2439   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2440   algorithm: "plot_performance_box"
2441   output-file-type: ".html"
2442   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-pdrdisc"
2443   data:
2444     "plot-dpdk-throughput-latency"
2445   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2446   parameters:
2447   - "throughput"
2448   - "parent"
2449   traces:
2450     hoverinfo: "x+y"
2451     boxpoints: "outliers"
2452     whiskerwidth: 0
2453   layout:
2454     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2455     layout:
2456       "plot-throughput"
2457
2458 -
2459   type: "plot"
2460   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2461   algorithm: "plot_performance_box"
2462   output-file-type: ".html"
2463   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-pdrdisc"
2464   data:
2465     "plot-dpdk-throughput-latency"
2466   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2467   parameters:
2468   - "throughput"
2469   - "parent"
2470   traces:
2471     hoverinfo: "x+y"
2472     boxpoints: "outliers"
2473     whiskerwidth: 0
2474   layout:
2475     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2476     layout:
2477       "plot-throughput"
2478
2479 -
2480   type: "plot"
2481   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
2482   algorithm: "plot_performance_box"
2483   output-file-type: ".html"
2484   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-pdrdisc"
2485   data:
2486     "plot-dpdk-throughput-latency"
2487   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD'"
2488   parameters:
2489   - "throughput"
2490   - "parent"
2491   traces:
2492     hoverinfo: "x+y"
2493     boxpoints: "outliers"
2494     whiskerwidth: 0
2495   layout:
2496     title: "64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
2497     xaxis:
2498       autorange: True
2499       autotick: False
2500       fixedrange: False
2501       gridcolor: "rgb(238, 238, 238)"
2502       linecolor: "rgb(238, 238, 238)"
2503       linewidth: 1
2504       showgrid: True
2505       showline: True
2506       showticklabels: True
2507       tickcolor: "rgb(238, 238, 238)"
2508       tickmode: "linear"
2509       title: "Indexed Test Cases"
2510       zeroline: False
2511     yaxis:
2512       gridcolor: "rgb(238, 238, 238)'"
2513       hoverformat: ".4s"
2514       linecolor: "rgb(238, 238, 238)"
2515       linewidth: 1
2516       range: [20000000, 30000000]
2517       showgrid: True
2518       showline: True
2519       showticklabels: True
2520       tickcolor: "rgb(238, 238, 238)"
2521       title: "Packets Per Second [pps]"
2522       zeroline: False
2523     boxmode: "group"
2524     boxgroupgap: 0.5
2525     autosize: False
2526     margin:
2527       t: 50
2528       b: 20
2529       l: 50
2530       r: 20
2531     showlegend: True
2532     legend:
2533       orientation: "h"
2534     width: 700
2535     height: 1000
2536
2537 -
2538   type: "plot"
2539   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
2540   algorithm: "plot_performance_box"
2541   output-file-type: ".html"
2542   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-pdrdisc"
2543   data:
2544     "plot-dpdk-throughput-latency"
2545   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD'"
2546   parameters:
2547   - "throughput"
2548   - "parent"
2549   traces:
2550     hoverinfo: "x+y"
2551     boxpoints: "outliers"
2552     whiskerwidth: 0
2553   layout:
2554     title: "64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
2555     xaxis:
2556       autorange: True
2557       autotick: False
2558       fixedrange: False
2559       gridcolor: "rgb(238, 238, 238)"
2560       linecolor: "rgb(238, 238, 238)"
2561       linewidth: 1
2562       showgrid: True
2563       showline: True
2564       showticklabels: True
2565       tickcolor: "rgb(238, 238, 238)"
2566       tickmode: "linear"
2567       title: "Indexed Test Cases"
2568       zeroline: False
2569     yaxis:
2570       gridcolor: "rgb(238, 238, 238)'"
2571       hoverformat: ".4s"
2572       linecolor: "rgb(238, 238, 238)"
2573       linewidth: 1
2574       range: [20000000, 30000000]
2575       showgrid: True
2576       showline: True
2577       showticklabels: True
2578       tickcolor: "rgb(238, 238, 238)"
2579       title: "Packets Per Second [pps]"
2580       zeroline: False
2581     boxmode: "group"
2582     boxgroupgap: 0.5
2583     autosize: False
2584     margin:
2585       t: 50
2586       b: 20
2587       l: 50
2588       r: 20
2589     showlegend: True
2590     legend:
2591       orientation: "h"
2592     width: 700
2593     height: 1000
2594
2595 # Plot latency
2596
2597 # VPP L2 sel1
2598 -
2599   type: "plot"
2600   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2601   algorithm: "plot_latency_box"
2602   output-file-type: ".html"
2603   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc-lat50"
2604   data:
2605     "plot-vpp-throughput-latency"
2606   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2607   parameters:
2608   - "latency"
2609   - "parent"
2610   traces:
2611     boxmean: False
2612   layout:
2613     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2614     layout:
2615       "plot-latency"
2616
2617 -
2618   type: "plot"
2619   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2620   algorithm: "plot_latency_box"
2621   output-file-type: ".html"
2622   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc-lat50"
2623   data:
2624     "plot-vpp-throughput-latency"
2625   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2626   parameters:
2627   - "latency"
2628   - "parent"
2629   traces:
2630     boxmean: False
2631   layout:
2632     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2633     layout:
2634       "plot-latency"
2635
2636 # VPP L2 sel2
2637 -
2638   type: "plot"
2639   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2640   algorithm: "plot_latency_box"
2641   output-file-type: ".html"
2642   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc-lat50"
2643   data:
2644     "plot-vpp-throughput-latency"
2645   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2646   parameters:
2647   - "latency"
2648   - "parent"
2649   traces:
2650     boxmean: False
2651   layout:
2652     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2653     layout:
2654       "plot-latency"
2655
2656 -
2657   type: "plot"
2658   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2659   algorithm: "plot_latency_box"
2660   output-file-type: ".html"
2661   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc-lat50"
2662   data:
2663     "plot-vpp-throughput-latency"
2664   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2665   parameters:
2666   - "latency"
2667   - "parent"
2668   traces:
2669     boxmean: False
2670   layout:
2671     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2672     layout:
2673       "plot-latency"
2674
2675 # VPP IP4
2676 -
2677   type: "plot"
2678   title: "VPP Latency 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2679   algorithm: "plot_latency_box"
2680   output-file-type: ".html"
2681   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc-lat50"
2682   data:
2683     "plot-vpp-throughput-latency"
2684   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
2685   parameters:
2686   - "latency"
2687   - "parent"
2688   traces:
2689     boxmean: False
2690   layout:
2691     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2692     layout:
2693       "plot-latency"
2694
2695 -
2696   type: "plot"
2697   title: "VPP Latency 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2698   algorithm: "plot_latency_box"
2699   output-file-type: ".html"
2700   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc-lat50"
2701   data:
2702     "plot-vpp-throughput-latency"
2703   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
2704   parameters:
2705   - "latency"
2706   - "parent"
2707   traces:
2708     boxmean: False
2709   layout:
2710     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2711     layout:
2712       "plot-latency"
2713
2714 # VPP IP6
2715 -
2716   type: "plot"
2717   title: "VPP Latency 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2718   algorithm: "plot_latency_box"
2719   output-file-type: ".html"
2720   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc-lat50"
2721   data:
2722     "plot-vpp-throughput-latency"
2723   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2724   parameters:
2725   - "latency"
2726   - "parent"
2727   traces:
2728     boxmean: False
2729   layout:
2730     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2731     layout:
2732       "plot-latency"
2733
2734 -
2735   type: "plot"
2736   title: "VPP Latency 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2737   algorithm: "plot_latency_box"
2738   output-file-type: ".html"
2739   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc-lat50"
2740   data:
2741     "plot-vpp-throughput-latency"
2742   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2743   parameters:
2744   - "latency"
2745   - "parent"
2746   traces:
2747     boxmean: False
2748   layout:
2749     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2750     layout:
2751       "plot-latency"
2752
2753 # VPP IP4_overlay
2754 -
2755   type: "plot"
2756   title: "VPP Latency 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2757   algorithm: "plot_latency_box"
2758   output-file-type: ".html"
2759   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc-lat50"
2760   data:
2761     "plot-vpp-throughput-latency"
2762   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2763   parameters:
2764   - "latency"
2765   - "parent"
2766   traces:
2767     boxmean: False
2768   layout:
2769     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2770     layout:
2771       "plot-latency"
2772
2773 -
2774   type: "plot"
2775   title: "VPP Latency 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2776   algorithm: "plot_latency_box"
2777   output-file-type: ".html"
2778   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc-lat50"
2779   data:
2780     "plot-vpp-throughput-latency"
2781   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2782   parameters:
2783   - "latency"
2784   - "parent"
2785   traces:
2786     boxmean: False
2787   layout:
2788     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2789     layout:
2790       "plot-latency"
2791
2792 # VPP IP6_overlay
2793 -
2794   type: "plot"
2795   title: "VPP Latency 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2796   algorithm: "plot_latency_box"
2797   output-file-type: ".html"
2798   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc-lat50"
2799   data:
2800     "plot-vpp-throughput-latency"
2801   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2802   parameters:
2803   - "latency"
2804   - "parent"
2805   traces:
2806     boxmean: False
2807   layout:
2808     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2809     layout:
2810       "plot-latency"
2811
2812 -
2813   type: "plot"
2814   title: "VPP Latency 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2815   algorithm: "plot_latency_box"
2816   output-file-type: ".html"
2817   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc-lat50"
2818   data:
2819     "plot-vpp-throughput-latency"
2820   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2821   parameters:
2822   - "latency"
2823   - "parent"
2824   traces:
2825     boxmean: False
2826   layout:
2827     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2828     layout:
2829       "plot-latency"
2830
2831 # VPP VM VHOST
2832 -
2833   type: "plot"
2834   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
2835   algorithm: "plot_latency_box"
2836   output-file-type: ".html"
2837   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc-lat50"
2838   data:
2839     "plot-vpp-throughput-latency"
2840   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2841   parameters:
2842   - "latency"
2843   - "parent"
2844   traces:
2845     boxmean: False
2846   layout:
2847     title: "64B-1t1c-.*vhost.*-ndrdisc"
2848     layout:
2849       "plot-latency"
2850
2851 -
2852   type: "plot"
2853   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
2854   algorithm: "plot_latency_box"
2855   output-file-type: ".html"
2856   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc-lat50"
2857   data:
2858     "plot-vpp-throughput-latency"
2859   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2860   parameters:
2861   - "latency"
2862   - "parent"
2863   traces:
2864     boxmean: False
2865   layout:
2866     title: "64B-2t2c-.*vhost.*-ndrdisc"
2867     layout:
2868       "plot-latency"
2869
2870 # VPP VM VHOST selection
2871 -
2872   type: "plot"
2873   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
2874   algorithm: "plot_latency_box"
2875   output-file-type: ".html"
2876   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc-lat50"
2877   data:
2878     "plot-vpp-throughput-latency"
2879   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2880   parameters:
2881   - "latency"
2882   - "parent"
2883   traces:
2884     boxmean: False
2885   layout:
2886     title: "64B-1t1c-.*vhost.*-ndrdisc"
2887     layout:
2888       "plot-latency"
2889
2890 -
2891   type: "plot"
2892   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
2893   algorithm: "plot_latency_box"
2894   output-file-type: ".html"
2895   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc-lat50"
2896   data:
2897     "plot-vpp-throughput-latency"
2898   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2899   parameters:
2900   - "latency"
2901   - "parent"
2902   traces:
2903     boxmean: False
2904   layout:
2905     title: "64B-2t2c-.*vhost.*-ndrdisc"
2906     layout:
2907       "plot-latency"
2908
2909 # VPP CRYPTO
2910 -
2911   type: "plot"
2912   title: "VPP Latency 64B-1t1c-.*ipsec.*-ndrdisc"
2913   algorithm: "plot_latency_box"
2914   output-file-type: ".html"
2915   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc-lat50"
2916   data:
2917     "plot-vpp-throughput-latency"
2918   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2919   parameters:
2920   - "latency"
2921   - "parent"
2922   traces:
2923     boxmean: False
2924   layout:
2925     title: "64B-1t1c-.*ipsec.*-ndrdisc"
2926     layout:
2927       "plot-latency"
2928
2929 -
2930   type: "plot"
2931   title: "VPP Latency 64B-2t2c-.*ipsec.*-ndrdisc"
2932   algorithm: "plot_latency_box"
2933   output-file-type: ".html"
2934   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc-lat50"
2935   data:
2936     "plot-vpp-throughput-latency"
2937   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2938   parameters:
2939   - "latency"
2940   - "parent"
2941   traces:
2942     boxmean: False
2943   layout:
2944     title: "64B-2t2c-.*ipsec.*-ndrdisc"
2945     layout:
2946       "plot-latency"
2947
2948 # DPDK
2949 -
2950   type: "plot"
2951   title: "DPDK Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2952   algorithm: "plot_latency_box"
2953   output-file-type: ".html"
2954   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc-lat50"
2955   data:
2956     "plot-dpdk-throughput-latency"
2957   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2958   parameters:
2959   - "latency"
2960   - "parent"
2961   traces:
2962     boxmean: False
2963   layout:
2964     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2965     layout:
2966       "plot-latency"
2967
2968 -
2969   type: "plot"
2970   title: "DPDK Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2971   algorithm: "plot_latency_box"
2972   output-file-type: ".html"
2973   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc-lat50"
2974   data:
2975     "plot-dpdk-throughput-latency"
2976   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2977   parameters:
2978   - "latency"
2979   - "parent"
2980   traces:
2981     boxmean: False
2982   layout:
2983     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2984     layout:
2985       "plot-latency"
2986
2987 -
2988   type: "plot"
2989   title: "DPDK Latency 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2990   algorithm: "plot_latency_box"
2991   output-file-type: ".html"
2992   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc-lat50"
2993   data:
2994     "plot-dpdk-throughput-latency"
2995   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
2996   parameters:
2997   - "latency"
2998   - "parent"
2999   traces:
3000     boxmean: False
3001   layout:
3002     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3003     layout:
3004       "plot-latency"
3005
3006 -
3007   type: "plot"
3008   title: "DPDK Latency 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3009   algorithm: "plot_latency_box"
3010   output-file-type: ".html"
3011   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc-lat50"
3012   data:
3013     "plot-dpdk-throughput-latency"
3014   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
3015   parameters:
3016   - "latency"
3017   - "parent"
3018   traces:
3019     boxmean: False
3020   layout:
3021     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3022     layout:
3023       "plot-latency"
3024
3025 # Ligato - Throughput
3026
3027 # Container memif
3028 -
3029   type: "plot"
3030   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3031   algorithm: "plot_performance_box"
3032   output-file-type: ".html"
3033   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc"
3034   data:
3035     "plot-vpp-throughput-latency"
3036   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3037   parameters:
3038   - "throughput"
3039   - "parent"
3040   traces:
3041     hoverinfo: "x+y"
3042     boxpoints: "outliers"
3043     whiskerwidth: 0
3044   layout:
3045     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3046     xaxis:
3047       autorange: True
3048       autotick: False
3049       fixedrange: False
3050       gridcolor: "rgb(238, 238, 238)"
3051       linecolor: "rgb(238, 238, 238)"
3052       linewidth: 1
3053       showgrid: True
3054       showline: True
3055       showticklabels: True
3056       tickcolor: "rgb(238, 238, 238)"
3057       tickmode: "linear"
3058       title: "Indexed Test Cases"
3059       zeroline: False
3060     yaxis:
3061       gridcolor: "rgb(238, 238, 238)'"
3062       hoverformat: ".4s"
3063       linecolor: "rgb(238, 238, 238)"
3064       linewidth: 1
3065       range: [0, 4500000]
3066       showgrid: True
3067       showline: True
3068       showticklabels: True
3069       tickcolor: "rgb(238, 238, 238)"
3070       title: "Packets Per Second [pps]"
3071       zeroline: False
3072     boxmode: "group"
3073     boxgroupgap: 0.5
3074     autosize: False
3075     margin:
3076       t: 50
3077       b: 20
3078       l: 50
3079       r: 20
3080     showlegend: True
3081     legend:
3082       orientation: "h"
3083     width: 700
3084     height: 1000
3085
3086 -
3087   type: "plot"
3088   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3089   algorithm: "plot_performance_box"
3090   output-file-type: ".html"
3091   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc"
3092   data:
3093     "plot-vpp-throughput-latency"
3094   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3095   parameters:
3096   - "throughput"
3097   - "parent"
3098   traces:
3099     hoverinfo: "x+y"
3100     boxpoints: "outliers"
3101     whiskerwidth: 0
3102   layout:
3103     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3104     xaxis:
3105       autorange: True
3106       autotick: False
3107       fixedrange: False
3108       gridcolor: "rgb(238, 238, 238)"
3109       linecolor: "rgb(238, 238, 238)"
3110       linewidth: 1
3111       showgrid: True
3112       showline: True
3113       showticklabels: True
3114       tickcolor: "rgb(238, 238, 238)"
3115       tickmode: "linear"
3116       title: "Indexed Test Cases"
3117       zeroline: False
3118     yaxis:
3119       gridcolor: "rgb(238, 238, 238)'"
3120       hoverformat: ".4s"
3121       linecolor: "rgb(238, 238, 238)"
3122       linewidth: 1
3123       range: [0, 8000000]
3124       showgrid: True
3125       showline: True
3126       showticklabels: True
3127       tickcolor: "rgb(238, 238, 238)"
3128       title: "Packets Per Second [pps]"
3129       zeroline: False
3130     boxmode: "group"
3131     boxgroupgap: 0.5
3132     autosize: False
3133     margin:
3134       t: 50
3135       b: 20
3136       l: 50
3137       r: 20
3138     showlegend: True
3139     legend:
3140       orientation: "h"
3141     width: 700
3142     height: 1000
3143
3144 -
3145   type: "plot"
3146   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3147   algorithm: "plot_performance_box"
3148   output-file-type: ".html"
3149   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-pdrdisc"
3150   data:
3151     "plot-vpp-throughput-latency"
3152   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3153   parameters:
3154   - "throughput"
3155   - "parent"
3156   traces:
3157     hoverinfo: "x+y"
3158     boxpoints: "outliers"
3159     whiskerwidth: 0
3160   layout:
3161     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3162     xaxis:
3163       autorange: True
3164       autotick: False
3165       fixedrange: False
3166       gridcolor: "rgb(238, 238, 238)"
3167       linecolor: "rgb(238, 238, 238)"
3168       linewidth: 1
3169       showgrid: True
3170       showline: True
3171       showticklabels: True
3172       tickcolor: "rgb(238, 238, 238)"
3173       tickmode: "linear"
3174       title: "Indexed Test Cases"
3175       zeroline: False
3176     yaxis:
3177       gridcolor: "rgb(238, 238, 238)'"
3178       hoverformat: ".4s"
3179       linecolor: "rgb(238, 238, 238)"
3180       linewidth: 1
3181       range: [0, 4500000]
3182       showgrid: True
3183       showline: True
3184       showticklabels: True
3185       tickcolor: "rgb(238, 238, 238)"
3186       title: "Packets Per Second [pps]"
3187       zeroline: False
3188     boxmode: "group"
3189     boxgroupgap: 0.5
3190     autosize: False
3191     margin:
3192       t: 50
3193       b: 20
3194       l: 50
3195       r: 20
3196     showlegend: True
3197     legend:
3198       orientation: "h"
3199     width: 700
3200     height: 1000
3201
3202 -
3203   type: "plot"
3204   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3205   algorithm: "plot_performance_box"
3206   output-file-type: ".html"
3207   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-pdrdisc"
3208   data:
3209     "plot-vpp-throughput-latency"
3210   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3211   parameters:
3212   - "throughput"
3213   - "parent"
3214   traces:
3215     hoverinfo: "x+y"
3216     boxpoints: "outliers"
3217     whiskerwidth: 0
3218   layout:
3219     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3220     xaxis:
3221       autorange: True
3222       autotick: False
3223       fixedrange: False
3224       gridcolor: "rgb(238, 238, 238)"
3225       linecolor: "rgb(238, 238, 238)"
3226       linewidth: 1
3227       showgrid: True
3228       showline: True
3229       showticklabels: True
3230       tickcolor: "rgb(238, 238, 238)"
3231       tickmode: "linear"
3232       title: "Indexed Test Cases"
3233       zeroline: False
3234     yaxis:
3235       gridcolor: "rgb(238, 238, 238)'"
3236       hoverformat: ".4s"
3237       linecolor: "rgb(238, 238, 238)"
3238       linewidth: 1
3239       range: [0, 8000000]
3240       showgrid: True
3241       showline: True
3242       showticklabels: True
3243       tickcolor: "rgb(238, 238, 238)"
3244       title: "Packets Per Second [pps]"
3245       zeroline: False
3246     boxmode: "group"
3247     boxgroupgap: 0.5
3248     autosize: False
3249     margin:
3250       t: 50
3251       b: 20
3252       l: 50
3253       r: 20
3254     showlegend: True
3255     legend:
3256       orientation: "h"
3257     width: 700
3258     height: 1000
3259
3260 # Container orchestrated
3261 -
3262   type: "plot"
3263   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3264   algorithm: "plot_performance_box"
3265   output-file-type: ".html"
3266   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc"
3267   data:
3268     "plot-ligato-throughput-latency"
3269   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3270   parameters:
3271   - "throughput"
3272   - "parent"
3273   traces:
3274     hoverinfo: "x+y"
3275     boxpoints: "outliers"
3276     whiskerwidth: 0
3277   layout:
3278     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3279     layout:
3280       "plot-throughput"
3281
3282 -
3283   type: "plot"
3284   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3285   algorithm: "plot_performance_box"
3286   output-file-type: ".html"
3287   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc"
3288   data:
3289     "plot-ligato-throughput-latency"
3290   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3291   parameters:
3292   - "throughput"
3293   - "parent"
3294   traces:
3295     hoverinfo: "x+y"
3296     boxpoints: "outliers"
3297     whiskerwidth: 0
3298   layout:
3299     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3300     layout:
3301       "plot-throughput"
3302
3303 -
3304   type: "plot"
3305   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3306   algorithm: "plot_performance_box"
3307   output-file-type: ".html"
3308   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-pdrdisc"
3309   data:
3310     "plot-ligato-throughput-latency"
3311   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3312   parameters:
3313   - "throughput"
3314   - "parent"
3315   traces:
3316     hoverinfo: "x+y"
3317     boxpoints: "outliers"
3318     whiskerwidth: 0
3319   layout:
3320     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3321     layout:
3322       "plot-throughput"
3323
3324 -
3325   type: "plot"
3326   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3327   algorithm: "plot_performance_box"
3328   output-file-type: ".html"
3329   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-pdrdisc"
3330   data:
3331     "plot-ligato-throughput-latency"
3332   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3333   parameters:
3334   - "throughput"
3335   - "parent"
3336   traces:
3337     hoverinfo: "x+y"
3338     boxpoints: "outliers"
3339     whiskerwidth: 0
3340   layout:
3341     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3342     layout:
3343       "plot-throughput"
3344
3345 # Ligato - Latency
3346
3347 # Container memif
3348 -
3349   type: "plot"
3350   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3351   algorithm: "plot_latency_box"
3352   output-file-type: ".html"
3353   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc-lat50"
3354   data:
3355     "plot-vpp-throughput-latency"
3356   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3357   parameters:
3358   - "latency"
3359   - "parent"
3360   traces:
3361     boxmean: False
3362   layout:
3363     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3364     layout:
3365       "plot-latency"
3366
3367 -
3368   type: "plot"
3369   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3370   algorithm: "plot_latency_box"
3371   output-file-type: ".html"
3372   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc-lat50"
3373   data:
3374     "plot-vpp-throughput-latency"
3375   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3376   parameters:
3377   - "latency"
3378   - "parent"
3379   traces:
3380     boxmean: False
3381   layout:
3382     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3383     layout:
3384       "plot-latency"
3385
3386 # Container orchestrated
3387 -
3388   type: "plot"
3389   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3390   algorithm: "plot_latency_box"
3391   output-file-type: ".html"
3392   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc-lat50"
3393   data:
3394     "plot-ligato-throughput-latency"
3395   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3396   parameters:
3397   - "latency"
3398   - "parent"
3399   traces:
3400     boxmean: False
3401   layout:
3402     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3403     layout:
3404       "plot-latency"
3405
3406 -
3407   type: "plot"
3408   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3409   algorithm: "plot_latency_box"
3410   output-file-type: ".html"
3411   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc-lat50"
3412   data:
3413     "plot-ligato-throughput-latency"
3414   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3415   parameters:
3416   - "latency"
3417   - "parent"
3418   traces:
3419     boxmean: False
3420   layout:
3421     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3422     layout:
3423       "plot-latency"