resources/tools/presentation/specification.yaml

   1 -
   2   type: "environment"
   3   configuration:
   4     # Debug mode:
   5     # - Skip:
   6     #   - Download of input data files
   7     # - Do:
   8     #   - Read data from given zip / xml files
   9     #   - Set the configuration as it is done in normal mode
  10     # If the section "type: debug" is missing, CFG[DEBUG] is set to 0.
  11     CFG[DEBUG]: 0
  12
  13   paths:
  14     # Top level directories:
  15     ## Working directory
  16     DIR[WORKING]: "_tmp"
  17     ## Build directories
  18     DIR[BUILD,HTML]: "_build"
  19     DIR[BUILD,LATEX]: "_build_latex"
  20
  21     # Static .rst files
  22     DIR[RST]: "../../../docs/report"
  23
  24     # Working directories
  25     ## Input data files (.zip, .xml)
  26     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
  27     ## Static source files from git
  28     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
  29     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
  30
  31     # Static html content
  32     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
  33     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
  34     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
  35     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
  36
  37     # Detailed test results
  38     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
  39     DIR[DTR,PERF,DPDK]: "{DIR[DTR]}/dpdk_performance_results"
  40     DIR[DTR,PERF,VPP]: "{DIR[DTR]}/vpp_performance_results"
  41     DIR[DTR,PERF,COT]: "{DIR[DTR]}/cot_performance_results"
  42     DIR[DTR,PERF,HC]: "{DIR[DTR]}/honeycomb_performance_results"
  43     DIR[DTR,FUNC,VPP]: "{DIR[DTR]}/vpp_functional_results"
  44     DIR[DTR,FUNC,HC]: "{DIR[DTR]}/honeycomb_functional_results"
  45     DIR[DTR,FUNC,NSHSFC]: "{DIR[DTR]}/nshsfc_functional_results"
  46     DIR[DTR,PERF,VPP,IMPRV]: "{DIR[WORKING,SRC]}/vpp_performance_tests/performance_improvements"
  47
  48     # Detailed test configurations
  49     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
  50     DIR[DTC,PERF,VPP]: "{DIR[DTC]}/vpp_performance_configuration"
  51     DIR[DTC,FUNC,VPP]: "{DIR[DTC]}/vpp_functional_configuration"
  52
  53     # Detailed tests operational data
  54     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
  55     DIR[DTO,PERF,VPP]: "{DIR[DTO]}/vpp_performance_operational_data"
  56
  57     # .css patch file to fix tables generated by Sphinx
  58     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
  59     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
  60
  61   urls:
  62     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
  63     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
  64     URL[NEXUS]: "https://docs.fd.io/csit"
  65     DIR[NEXUS]: "report/_static/archive"
  66
  67   make-dirs:
  68   # List the directories which are created while preparing the environment.
  69   # All directories MUST be defined in "paths" section.
  70   - "DIR[WORKING,DATA]"
  71   - "DIR[STATIC,VPP]"
  72   - "DIR[STATIC,DPDK]"
  73   - "DIR[STATIC,ARCH]"
  74   - "DIR[BUILD,LATEX]"
  75   - "DIR[WORKING,SRC]"
  76   - "DIR[WORKING,SRC,STATIC]"
  77
  78   remove-dirs:
  79   # List the directories which are deleted while cleaning the environment.
  80   # All directories MUST be defined in "paths" section.
  81   #- "DIR[BUILD,HTML]"
  82
  83   build-dirs:
  84   # List the directories where the results (build) is stored.
  85   # All directories MUST be defined in "paths" section.
  86   - "DIR[BUILD,HTML]"
  87   - "DIR[BUILD,LATEX]"
  88
  89 -
  90   type: "configuration"
  91   data-sets:
  92 # TODO: Add the data sources
  93     plot-vpp-http-server-performance:
  94       csit-vpp-perf-1801-all:
  95       - 157
  96       - 158
  97 # TODO: Add the data sources
  98 #    vpp-meltdown-impact:
  99 #      csit-vpp-perf-1707-all:
 100 #      - 9
 101 #      - 10
 102 #      - 13
 103 #      csit-vpp-perf-1710-all:
 104 #      - 11l
 105 #      - 12
 106 #      - 13
 107 # TODO: Add the data sources
 108 #    vpp-spectre-impact:
 109 #      csit-vpp-perf-1707-all:
 110 #      - 9
 111 #      - 10
 112 #      - 13
 113 #      csit-vpp-perf-1710-all:
 114 #      - 11
 115 #      - 12
 116 #      - 13
 117     vpp-performance-changes:
 118       csit-vpp-perf-1710-all:
 119       - 11
 120       - 12
 121       - 13
 122       - 14
 123       - 15
 124       - 16
 125       - 17
 126       - 18
 127       - 19
 128       - 20
 129 # TODO: Add the data sources
 130       csit-vpp-perf-1801-all:
 131       - 124  # sel
 132       - 127  # sel
 133       - 128  # sel
 134       - 141  # sel
 135       - 142  # sel
 136       - 143  # sel
 137       - 145  # sel
 138       - 146  # sel
 139 # TODO: Add the data sources
 140     plot-throughput-speedup-analysis:
 141       csit-vpp-perf-1801-all:
 142       - 124  # sel
 143       - 127  # sel
 144       - 128  # sel
 145       - 141  # sel
 146       - 142  # sel
 147       - 143  # sel
 148       - 145  # sel
 149       - 146  # sel
 150 #    performance-improvements:
 151 #      csit-vpp-perf-1707-all:
 152 #      - 9
 153 #      - 10
 154 #      - 13
 155 #      - 14
 156 #      - 15
 157 #      - 16
 158 #      - 17
 159 #      - 18
 160 #      - 19
 161 #      - 21
 162 #      csit-vpp-perf-1710-all:
 163 #      - 11
 164 #      - 12
 165 #      - 13
 166 #      - 14
 167 #      - 15
 168 #      - 16
 169 #      - 17
 170 #      - 18
 171 #      - 19
 172 #      - 20
 173 #      csit-vpp-perf-1801-all:
 174 #      - 124
 175 #      - 127
 176 #      - 128
 177 #      csit-ligato-perf-1710-all:
 178 #      - 5
 179 #      - 7
 180 #      - 8
 181 #      - 9
 182 #      - 10
 183 #      - 11
 184 #      - 12
 185 #      - 13
 186 #      - 16
 187 #      - 17
 188 #      csit-ligato-perf-1801-all:
 189 #      - 16  # sel
 190 #      - 17  # sel
 191 #      - 18  # sel
 192 # TODO: Add the data sources
 193     vpp-perf-results:
 194       csit-vpp-perf-1801-all:
 195       - 122
 196       - 126
 197       - 129
 198       - 140
 199     vpp-func-results:
 200       csit-vpp-functional-1801-ubuntu1604-virl:
 201       - "lastSuccessfulBuild"
 202 # TODO: Add the data sources
 203     ligato-perf-results:
 204       csit-ligato-perf-1801-all:
 205       - 17
 206     dpdk-perf-results:
 207       csit-dpdk-perf-1801-all:
 208       - 12
 209     hc-func-results:
 210       csit-hc2vpp-verify-func-1801-ubuntu1604:
 211       - "lastSuccessfulBuild"
 212     nsh-func-results:
 213       csit-nsh_sfc-verify-func-1801-ubuntu1604-virl:
 214       - 1
 215 # TODO: Add the data sources
 216     plot-vpp-throughput-latency:
 217       csit-vpp-perf-1801-all:
 218       - 124  # sel
 219       - 127  # sel
 220       - 128  # sel
 221       - 141  # sel
 222       - 142  # sel
 223       - 143  # sel
 224       - 145  # sel
 225       - 146  # sel
 226     plot-dpdk-throughput-latency:
 227       csit-dpdk-perf-1801-all:
 228       - 1
 229       - 3
 230       - 4
 231       - 5
 232       - 6
 233       - 7
 234       - 8
 235       - 10
 236       - 12
 237 # TODO: Add the data sources
 238     plot-ligato-throughput-latency:
 239       csit-ligato-perf-1801-all:
 240       - 16  # sel
 241       - 17  # sel
 242       - 18  # sel
 243
 244   plot-layouts:
 245
 246     plot-cps:
 247       xaxis:
 248         autorange: True
 249         autotick: False
 250         fixedrange: False
 251         gridcolor: "rgb(238, 238, 238)"
 252         linecolor: "rgb(238, 238, 238)"
 253         linewidth: 1
 254         showgrid: True
 255         showline: True
 256         showticklabels: True
 257         tickcolor: "rgb(238, 238, 238)"
 258         tickmode: "linear"
 259         title: "Indexed Test Cases"
 260         zeroline: False
 261       yaxis:
 262         gridcolor: "rgb(238, 238, 238)'"
 263         hoverformat: ".4s"
 264         linecolor: "rgb(238, 238, 238)"
 265         linewidth: 1
 266         range: []
 267         rangemode: "tozero"
 268         showgrid: True
 269         showline: True
 270         showticklabels: True
 271         tickcolor: "rgb(238, 238, 238)"
 272         title: "Connections Per Second [cps]"
 273         zeroline: False
 274       boxmode: "group"
 275       boxgroupgap: 0.5
 276       autosize: False
 277       margin:
 278         t: 50
 279         b: 20
 280         l: 50
 281         r: 20
 282       showlegend: True
 283       legend:
 284         orientation: "h"
 285       width: 700
 286       height: 1000
 287
 288     plot-rps:
 289       xaxis:
 290         autorange: True
 291         autotick: False
 292         fixedrange: False
 293         gridcolor: "rgb(238, 238, 238)"
 294         linecolor: "rgb(238, 238, 238)"
 295         linewidth: 1
 296         showgrid: True
 297         showline: True
 298         showticklabels: True
 299         tickcolor: "rgb(238, 238, 238)"
 300         tickmode: "linear"
 301         title: "Indexed Test Cases"
 302         zeroline: False
 303       yaxis:
 304         gridcolor: "rgb(238, 238, 238)'"
 305         hoverformat: ".4s"
 306         linecolor: "rgb(238, 238, 238)"
 307         linewidth: 1
 308         range: []
 309         rangemode: "tozero"
 310         showgrid: True
 311         showline: True
 312         showticklabels: True
 313         tickcolor: "rgb(238, 238, 238)"
 314         title: "Requests Per Second [rps]"
 315         zeroline: False
 316       boxmode: "group"
 317       boxgroupgap: 0.5
 318       autosize: False
 319       margin:
 320         t: 50
 321         b: 20
 322         l: 50
 323         r: 20
 324       showlegend: True
 325       legend:
 326         orientation: "h"
 327       width: 700
 328       height: 1000
 329
 330     plot-throughput:
 331       xaxis:
 332         autorange: True
 333         autotick: False
 334         fixedrange: False
 335         gridcolor: "rgb(238, 238, 238)"
 336         linecolor: "rgb(238, 238, 238)"
 337         linewidth: 1
 338         showgrid: True
 339         showline: True
 340         showticklabels: True
 341         tickcolor: "rgb(238, 238, 238)"
 342         tickmode: "linear"
 343         title: "Indexed Test Cases"
 344         zeroline: False
 345       yaxis:
 346         gridcolor: "rgb(238, 238, 238)'"
 347         hoverformat: ".4s"
 348         linecolor: "rgb(238, 238, 238)"
 349         linewidth: 1
 350         range: []
 351         showgrid: True
 352         showline: True
 353         showticklabels: True
 354         tickcolor: "rgb(238, 238, 238)"
 355         title: "Packets Per Second [pps]"
 356         zeroline: False
 357       boxmode: "group"
 358       boxgroupgap: 0.5
 359       autosize: False
 360       margin:
 361         t: 50
 362         b: 20
 363         l: 50
 364         r: 20
 365       showlegend: True
 366       legend:
 367         orientation: "h"
 368       width: 700
 369       height: 1000
 370
 371     plot-latency:
 372       xaxis:
 373         autorange: True
 374         autotick: False
 375         fixedrange: False
 376         gridcolor: "rgb(238, 238, 238)"
 377         linecolor: "rgb(238, 238, 238)"
 378         linewidth: 1
 379         showgrid: True
 380         showline: True
 381         showticklabels: True
 382         tickcolor: "rgb(238, 238, 238)"
 383         tickmode: "linear"
 384         title: "Indexed Test Cases"
 385         zeroline: False
 386       yaxis:
 387         gridcolor: "rgb(238, 238, 238)'"
 388         hoverformat: ""
 389         linecolor: "rgb(238, 238, 238)"
 390         linewidth: 1
 391         range: []
 392         showgrid: True
 393         showline: True
 394         showticklabels: True
 395         tickcolor: "rgb(238, 238, 238)"
 396         title: "Latency min/avg/max [uSec]"
 397         zeroline: False
 398       boxmode: "group"
 399       boxgroupgap: 0.5
 400       autosize: False
 401       margin:
 402         t: 50
 403         b: 20
 404         l: 50
 405         r: 20
 406       showlegend: True
 407       legend:
 408         orientation: "h"
 409       width: 700
 410       height: 1000
 411
 412     plot-throughput-speedup-analysis:
 413       xaxis:
 414         autorange: True
 415         autotick: False
 416         fixedrange: False
 417         gridcolor: "rgb(238, 238, 238)"
 418         linecolor: "rgb(238, 238, 238)"
 419         linewidth: 1
 420         showgrid: True
 421         showline: True
 422         showticklabels: True
 423         tickcolor: "rgb(238, 238, 238)"
 424         tickmode: "linear"
 425         tickangle: 270
 426         zeroline: False
 427       yaxis:
 428         title: "Throughput speedup factor"
 429         gridcolor: "rgb(238, 238, 238)"
 430         hoverformat: ".4s"
 431         linecolor: "rgb(238, 238, 238)"
 432         linewidth: 1
 433         range: []
 434         showgrid: True
 435         showline: True
 436         showticklabels: True
 437         tickcolor: "rgb(238, 238, 238)"
 438         zeroline: False
 439       legend:
 440         orientation: "h"
 441         xanchor: "center"
 442         yanchor: "top"
 443         x: 0.5
 444         y: 1
 445         bgcolor: "rgba(255, 255, 255, 0)"
 446         bordercolor: "rgba(255, 255, 255, 0)"
 447       barmode: "group"
 448       bargap: 0.15
 449       bargroupgap: 0.1
 450       autosize: False
 451       margin:
 452           't': 50
 453           'b': 200
 454           'l': 50
 455           'r': 20
 456       showlegend: True
 457       width: 700
 458       height: 1000
 459
 460 -
 461   type: "debug"
 462   general:
 463     input-format: "xml"  # zip or xml
 464     extract: "robot-plugin/output.xml"  # Only for zip
 465   builds:
 466     # The files must be in the directory DIR[WORKING,DATA]
 467     csit-vpp-perf-1801-all:
 468     -
 469       build: 1
 470       file: "{DIR[WORKING,DATA]}/output.xml"
 471     -
 472       build: 2
 473       file: "{DIR[WORKING,DATA]}/output.xml"
 474     -
 475       build: 3
 476       file: "{DIR[WORKING,DATA]}/output.xml"
 477     -
 478       build: 4
 479       file: "{DIR[WORKING,DATA]}/output.xml"
 480
 481 -
 482   type: "static"
 483   src-path: "{DIR[RST]}"
 484   dst-path: "{DIR[WORKING,SRC]}"
 485
 486 -
 487   type: "input"  # Ignored in debug mode
 488   general:
 489     file-name: "robot-plugin.zip"
 490     file-format: ".zip"
 491     download-path: "{job}/{build}/robot/report/*zip*/{filename}"
 492     extract: "robot-plugin/output.xml"
 493   builds:
 494 #    csit-vpp-perf-1707-all:
 495 #    - 9
 496 #    - 10
 497 #    - 13
 498 #    - 14
 499 #    - 15
 500 #    - 16
 501 #    - 17
 502 #    - 18
 503 #    - 19
 504 #    - 21
 505     csit-vpp-perf-1710-all:
 506     - 11
 507     - 12
 508     - 13
 509     - 14
 510     - 15
 511     - 16
 512     - 17
 513     - 18
 514     - 19
 515     - 20
 516 # TODO:
 517     csit-vpp-perf-1801-all:
 518     - 122  # full
 519     - 126  # full
 520     - 129  # full
 521     - 140  # full
 522     - 124  # sel
 523     - 127  # sel
 524     - 128  # sel
 525     - 141  # sel
 526     - 142  # sel
 527     - 143  # sel
 528     - 145  # sel
 529     - 146  # sel
 530     - 157  # wrk
 531     - 158  # wrk
 532     csit-ligato-perf-1710-all:
 533     - 5
 534     - 7
 535     - 8
 536     - 9
 537     - 10
 538     - 11
 539     - 12
 540     - 13
 541     - 16
 542     - 17
 543     csit-dpdk-perf-1801-all:
 544     - 1
 545     - 4
 546     - 5
 547     - 7
 548     - 8
 549     - 10
 550     - 12
 551     - 16
 552     - 17
 553 # TODO:
 554     csit-ligato-perf-1801-all:
 555     - 16  # sel
 556     - 17  # sel
 557     - 18  # sel
 558     csit-dpdk-perf-1801-all:
 559     - 1
 560     - 3
 561     - 4
 562     - 5
 563     - 6
 564     - 7
 565     - 8
 566     - 9
 567     - 10
 568     - 12
 569     csit-vpp-functional-1801-ubuntu1604-virl:
 570     - lastSuccessfulBuild
 571     csit-nsh_sfc-verify-func-1801-ubuntu1604-virl:
 572     - 1
 573     csit-hc2vpp-verify-func-1801-ubuntu1604:
 574     - lastSuccessfulBuild
 575
 576 -
 577   type: "output"
 578   format:
 579     html:
 580     - full
 581     pdf:
 582     - minimal
 583
 584 ################################################################################
 585 ###                               T A B L E S                                ###
 586 ################################################################################
 587
 588 #-
 589 #  type: "table"
 590 #  title: "Performance Impact of Meltdown Patches"
 591 #  algorithm: "table_performance_comparison"
 592 #  output-file-ext: ".csv"
 593 ## TODO: specify dir
 594 #  output-file: "{DIR[STATIC,VPP]}/meltdown-impact"
 595 #  reference:
 596 #    title: "No Meltdown"
 597 ## TODO: specify data sources
 598 #    data:
 599 #      csit-vpp-perf-1707-all:
 600 #      - 9
 601 #      - 10
 602 #      - 13
 603 #  compare:
 604 #    title: "Meltdown Patches Applied"
 605 ## TODO: specify data sources
 606 #    data:
 607 #      csit-vpp-perf-1710-all:
 608 #      - 11
 609 #      - 12
 610 #      - 13
 611 #  data:
 612 #    "vpp-meltdown-impact"
 613 #  filter: "all"
 614 #  parameters:
 615 #  - "name"
 616 #  - "parent"
 617 #  - "throughput"
 618 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
 619 #  # to present all tests.
 620 #  nr-of-tests-shown: 20
 621 #
 622 #-
 623 #  type: "table"
 624 #  title: "Performance Impact of Spectre Patches"
 625 #  algorithm: "table_performance_comparison"
 626 #  output-file-ext: ".csv"
 627 ## TODO: specify dir
 628 #  output-file: "{DIR[STATIC,VPP]}/meltdown-spectre-impact"
 629 #  reference:
 630 #    title: "No Spectre"
 631 ## TODO: specify data sources
 632 #    data:
 633 #      csit-vpp-perf-1707-all:
 634 #      - 9
 635 #      - 10
 636 #      - 13
 637 #  compare:
 638 #    title: "Spectre Patches Applied"
 639 ## TODO: specify data sources
 640 #    data:
 641 #      csit-vpp-perf-1710-all:
 642 #      - 11
 643 #      - 12
 644 #      - 13
 645 #  data:
 646 #    "vpp-spectre-impact"
 647 #  filter: "all"
 648 #  parameters:
 649 #  - "name"
 650 #  - "parent"
 651 #  - "throughput"
 652 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
 653 #  # to present all tests.
 654 #  nr-of-tests-shown: 20
 655
 656 -
 657   type: "table"
 658   title: "VPP Performance Changes"
 659   algorithm: "table_performance_comparison"
 660   output-file-ext: ".csv"
 661 # TODO: specify dir
 662   output-file: "{DIR[STATIC,VPP]}/performance-changes"
 663   reference:
 664     title: "Release 1710"
 665 # TODO: specify data sources
 666     data:
 667       csit-vpp-perf-1710-all:
 668       - 11
 669       - 12
 670       - 13
 671       - 14
 672       - 15
 673       - 16
 674       - 17
 675       - 18
 676       - 19
 677       - 20
 678   compare:
 679     title: "Release 1801"
 680 # TODO: specify data sources
 681     data:
 682       csit-vpp-perf-1801-all:
 683       - 124  # sel
 684       - 127  # sel
 685       - 128  # sel
 686       - 141  # sel
 687       - 142  # sel
 688       - 143  # sel
 689       - 145  # sel
 690       - 146  # sel
 691   data: "vpp-performance-changes"
 692   filter: "all"
 693   parameters:
 694   - "name"
 695   - "parent"
 696   - "throughput"
 697   # Number of the best and the worst tests presented in the table. Use 0 (zero)
 698   # to present all tests.
 699   nr-of-tests-shown: 20
 700   outlier-const: 1.5
 701
 702 #-
 703 #  type: "table"
 704 #  title: "Performance improvements"
 705 #  algorithm: "table_performance_improvements"
 706 #  template: "{DIR[DTR,PERF,VPP,IMPRV]}/tmpl_performance_improvements.csv"
 707 #  output-file-ext: ".csv"
 708 #  output-file: "{DIR[DTR,PERF,VPP,IMPRV]}/performance_improvements"
 709 #  columns:
 710 #  -
 711 #    title: "Test Name"
 712 #    data: "template 1"
 713 #  -
 714 #    title: "16.09 mean [Mpps]"
 715 #    data: "template 2"
 716 #  -
 717 #    title: "17.01 mean [Mpps]"
 718 #    data: "template 3"
 719 #  -
 720 #    title: "17.04 mean [Mpps]"
 721 #    data: "template 4"
 722 #  -
 723 #    title: "17.07 mean [Mpps]"
 724 #    data: "data csit-vpp-perf-1707-all mean"
 725 #  -
 726 #    title: "17.10 mean [Mpps]"
 727 #    data: "data csit-vpp-perf-1710-all csit-ligato-perf-1710-all mean"
 728 #  -
 729 #    title: "18.01 mean [Mpps]"
 730 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all mean"
 731 #  -
 732 #    title: "18.01 stdev [Mpps]"
 733 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all stdev"
 734 #  -
 735 #    title: "17.10 to 18.01 change [%]"
 736 #    data: "operation relative_change 5 6"
 737 #  rows: "generated"
 738 #  data:
 739 #    "performance-improvements"
 740 #  filter: "template"
 741 #  parameters:
 742 #  - "throughput"
 743
 744 -
 745   type: "table"
 746   title: "Detailed Test Results - VPP Performance Results"
 747   algorithm: "table_merged_details"
 748   output-file-ext: ".csv"
 749   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
 750   columns:
 751   -
 752     title: "Name"
 753     data: "data name"
 754   -
 755     title: "Documentation"
 756     data: "data doc"
 757   -
 758     title: "Status"
 759     data: "data msg"
 760   rows: "generated"
 761   data:
 762     "vpp-perf-results"
 763   filter: "not 'NDRCHK' and not 'PDRCHK'"
 764   parameters:
 765   - "name"
 766   - "parent"
 767   - "doc"
 768   - "msg"
 769
 770 -
 771   type: "table"
 772   title: "Test configuration - VPP Performance Test Configs"
 773   algorithm: "table_merged_details"
 774   output-file-ext: ".csv"
 775   output-file: "{DIR[DTC,PERF,VPP]}/vpp_test_configuration"
 776   columns:
 777   -
 778     title: "Name"
 779     data: "data name"
 780   -
 781     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
 782     data: "data vat-history"
 783   rows: "generated"
 784   data:
 785     "vpp-perf-results"
 786   filter: "not 'NDRCHK' and not 'PDRCHK'"
 787   parameters:
 788   - "parent"
 789   - "name"
 790   - "vat-history"
 791
 792 -
 793   type: "table"
 794   title: "Test Operational Data - VPP Performance Operational Data"
 795   algorithm: "table_merged_details"
 796   output-file-ext: ".csv"
 797   output-file: "{DIR[DTO,PERF,VPP]}/vpp_test_operational"
 798   columns:
 799   -
 800     title: "Name"
 801     data: "data name"
 802   -
 803     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
 804     data: "data show-run"
 805   rows: "generated"
 806   data:
 807     "vpp-perf-results"
 808   filter: "not 'NDRCHK' and not 'PDRCHK'"
 809   parameters:
 810   - "parent"
 811   - "name"
 812   - "show-run"
 813
 814 -
 815   type: "table"
 816   title: "Detailed Test Results - VPP Functional Results"
 817   algorithm: "table_details"
 818   output-file-ext: ".csv"
 819   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
 820   columns:
 821   -
 822     title: "Name"
 823     data: "data name"
 824   -
 825     title: "Documentation"
 826     data: "data doc"
 827   -
 828     title: "Status"
 829     data: "data status"
 830   rows: "generated"
 831   data:
 832     "vpp-func-results"
 833   filter: "all"
 834   parameters:
 835   - "name"
 836   - "parent"
 837   - "doc"
 838   - "status"
 839
 840 -
 841   type: "table"
 842   title: "Test configuration - VPP Functional Test Configs"
 843   algorithm: "table_details"
 844   output-file-ext: ".csv"
 845   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
 846   columns:
 847   -
 848     title: "Name"
 849     data: "data name"
 850   -
 851     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
 852     data: "data vat-history"
 853   rows: "generated"
 854   data:
 855     "vpp-func-results"
 856   filter: "all"
 857   parameters:
 858   - "parent"
 859   - "name"
 860   - "vat-history"
 861
 862 -
 863   type: "table"
 864   title: "Detailed Test Results - Container Orchestrated Topologies Performance Results"
 865   algorithm: "table_details"
 866   output-file-ext: ".csv"
 867   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
 868   columns:
 869   -
 870     title: "Name"
 871     data: "data name"
 872   -
 873     title: "Documentation"
 874     data: "data doc"
 875   -
 876     title: "Status"
 877     data: "data msg"
 878   rows: "generated"
 879   data:
 880     "ligato-perf-results"
 881   filter: "all"
 882   parameters:
 883   - "name"
 884   - "parent"
 885   - "doc"
 886   - "msg"
 887
 888 -
 889   type: "table"
 890   title: "Detailed Test Results - DPDK Performance Results"
 891   algorithm: "table_details"
 892   output-file-ext: ".csv"
 893   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
 894   columns:
 895   -
 896     title: "Name"
 897     data: "data name"
 898   -
 899     title: "Documentation"
 900     data: "data doc"
 901   -
 902     title: "Status"
 903     data: "data msg"
 904   rows: "generated"
 905   data:
 906     "dpdk-perf-results"
 907   filter: "all"
 908   parameters:
 909   - "name"
 910   - "parent"
 911   - "doc"
 912   - "msg"
 913
 914 -
 915   type: "table"
 916   title: "Detailed Test Results - Honeycomb Functional Results"
 917   algorithm: "table_details"
 918   output-file-ext: ".csv"
 919   output-file: "{DIR[DTR,FUNC,HC]}/hc_functional_results"
 920   columns:
 921   -
 922     title: "Name"
 923     data: "data name"
 924   -
 925     title: "Documentation"
 926     data: "data doc"
 927   -
 928     title: "Status"
 929     data: "data status"
 930   rows: "generated"
 931   data:
 932     "hc-func-results"
 933   filter: "all"
 934   parameters:
 935   - "name"
 936   - "parent"
 937   - "doc"
 938   - "status"
 939
 940 -
 941   type: "table"
 942   title: "Detailed Test Results - NSH SFC Functional Results"
 943   algorithm: "table_details"
 944   output-file-ext: ".csv"
 945   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nsh_sfc_functional_results"
 946   columns:
 947   -
 948     title: "Name"
 949     data: "data name"
 950   -
 951     title: "Documentation"
 952     data: "data doc"
 953   -
 954     title: "Status"
 955     data: "data status"
 956   rows: "generated"
 957   data:
 958     "nsh-func-results"
 959   filter: "all"
 960   parameters:
 961   - "name"
 962   - "parent"
 963   - "doc"
 964   - "status"
 965
 966 ################################################################################
 967 ###                                F I L E S                                 ###
 968 ################################################################################
 969
 970 -
 971   type: "file"
 972   title: "VPP Performance Results"
 973   algorithm: "file_merged_test_results"
 974   output-file-ext: ".rst"
 975   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
 976   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
 977   dir-tables: "{DIR[DTR,PERF,VPP]}"
 978   data:
 979     "vpp-perf-results"
 980   filter: "not 'NDRCHK' and not 'PDRCHK'"
 981   parameters:
 982   - "name"
 983   - "doc"
 984   - "level"
 985   - "parent"
 986   data-start-level: 3  # 0, 1, 2, ...
 987   chapters-start-level: 2  # 0, 1, 2, ...
 988
 989 -
 990   type: "file"
 991   title: "VPP Performance Configuration"
 992   algorithm: "file_merged_test_results"
 993   output-file-ext: ".rst"
 994   output-file: "{DIR[DTC,PERF,VPP]}/vpp_performance_configuration"
 995   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
 996   dir-tables: "{DIR[DTC,PERF,VPP]}"
 997   data:
 998     "vpp-perf-results"
 999   filter: "not 'NDRCHK' and not 'PDRCHK'"
1000   parameters:
1001   - "name"
1002   - "doc"
1003   - "level"
1004   - "parent"
1005   data-start-level: 3  # 0, 1, 2, ...
1006   chapters-start-level: 2  # 0, 1, 2, ...
1007
1008 -
1009   type: "file"
1010   title: "VPP Performance Operational Data"
1011   algorithm: "file_merged_test_results"
1012   output-file-ext: ".rst"
1013   output-file: "{DIR[DTO,PERF,VPP]}/vpp_performance_operational_data"
1014   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1015   dir-tables: "{DIR[DTO,PERF,VPP]}"
1016   data:
1017     "vpp-perf-results"
1018   filter: "not 'NDRCHK' and not 'PDRCHK'"
1019   parameters:
1020   - "name"
1021   - "doc"
1022   - "level"
1023   - "parent"
1024   data-start-level: 3  # 0, 1, 2, ...
1025   chapters-start-level: 2  # 0, 1, 2, ...
1026
1027 -
1028   type: "file"
1029   title: "VPP Functional Results"
1030   algorithm: "file_test_results"
1031   output-file-ext: ".rst"
1032   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
1033   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1034   dir-tables: "{DIR[DTR,FUNC,VPP]}"
1035   data:
1036     "vpp-func-results"
1037   filter: "all"
1038   parameters:
1039   - "name"
1040   - "doc"
1041   - "level"
1042   data-start-level: 3  # 0, 1, 2, ...
1043   chapters-start-level: 2  # 0, 1, 2, ...
1044
1045 -
1046   type: "file"
1047   title: "VPP Functional Configuration"
1048   algorithm: "file_test_results"
1049   output-file-ext: ".rst"
1050   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
1051   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1052   dir-tables: "{DIR[DTC,FUNC,VPP]}"
1053   data:
1054     "vpp-func-results"
1055   filter: "all"
1056   parameters:
1057   - "name"
1058   - "doc"
1059   - "level"
1060   data-start-level: 3  # 0, 1, 2, ...
1061   chapters-start-level: 2  # 0, 1, 2, ...
1062
1063 -
1064   type: "file"
1065   title: "Container Orchestrated Performance Results"
1066   algorithm: "file_test_results"
1067   output-file-ext: ".rst"
1068   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
1069   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1070   dir-tables: "{DIR[DTR,PERF,COT]}"
1071   data:
1072     "ligato-perf-results"
1073   filter: "all"
1074   parameters:
1075   - "name"
1076   - "doc"
1077   - "level"
1078   data-start-level: 2  # 0, 1, 2, ...
1079   chapters-start-level: 2  # 0, 1, 2, ...
1080
1081 -
1082   type: "file"
1083   title: "DPDK Performance Results"
1084   algorithm: "file_test_results"
1085   output-file-ext: ".rst"
1086   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
1087   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1088   dir-tables: "{DIR[DTR,PERF,DPDK]}"
1089   data:
1090     "dpdk-perf-results"
1091   filter: "all"
1092   parameters:
1093   - "name"
1094   - "doc"
1095   - "level"
1096   chapters:
1097   - "suites"
1098   data-start-level: 2  # 0, 1, 2, ...
1099   chapters-start-level: 2  # 0, 1, 2, ...
1100
1101 -
1102   type: "file"
1103   title: "Honeycomb Functional Results"
1104   algorithm: "file_test_results"
1105   output-file-ext: ".rst"
1106   output-file: "{DIR[DTR,FUNC,HC]}/honeycomb_functional_results"
1107   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1108   dir-tables: "{DIR[DTR,FUNC,HC]}"
1109   data:
1110     "hc-func-results"
1111   filter: "all"
1112   parameters:
1113   - "name"
1114   - "doc"
1115   - "level"
1116   chapters:
1117   - "suites"
1118   data-start-level: 3  # 0, 1, 2, ...
1119   chapters-start-level: 2  # 0, 1, 2, ...
1120
1121 -
1122   type: "file"
1123   title: "NSH SFC Functional Results"
1124   algorithm: "file_test_results"
1125   output-file-ext: ".rst"
1126   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nshsfc_functional_results"
1127   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1128   dir-tables: "{DIR[DTR,FUNC,NSHSFC]}"
1129   data:
1130     "nsh-func-results"
1131   filter: "all"
1132   parameters:
1133   - "name"
1134   - "doc"
1135   - "level"
1136   chapters:
1137   - "suites"
1138   data-start-level: 2  # 0, 1, 2, ...
1139   chapters-start-level: 2  # 0, 1, 2, ...
1140
1141 ################################################################################
1142 ###                                P L O T S                                 ###
1143 ################################################################################
1144
1145 # Plots VPP HTTP Server Performance
1146 -
1147   type: "plot"
1148   title: "VPP HTTP Server Performance"
1149   algorithm: "plot_http_server_performance_box"
1150   output-file-type: ".html"
1151   output-file: "{DIR[STATIC,VPP]}/http-server-performance-cps"
1152   data:
1153     "plot-vpp-http-server-performance"
1154   # Keep this formatting, the filter is enclosed with " (quotation mark) and
1155   # each tag is enclosed with ' (apostrophe).
1156   filter: "'HTTP' and 'TCP_CPS'"
1157   parameters:
1158   - "result"
1159   - "name"
1160   traces:
1161     hoverinfo: "x+y"
1162     boxpoints: "outliers"
1163     whiskerwidth: 0
1164   layout:
1165     title: "VPP HTTP Server Performance"
1166     layout:
1167       "plot-cps"
1168
1169 -
1170   type: "plot"
1171   title: "VPP HTTP Server Performance"
1172   algorithm: "plot_http_server_performance_box"
1173   output-file-type: ".html"
1174   output-file: "{DIR[STATIC,VPP]}/http-server-performance-rps"
1175   data:
1176     "plot-vpp-http-server-performance"
1177   filter: "'HTTP' and 'TCP_RPS'"
1178   parameters:
1179   - "result"
1180   - "name"
1181   traces:
1182     hoverinfo: "x+y"
1183     boxpoints: "outliers"
1184     whiskerwidth: 0
1185   layout:
1186     title: "VPP HTTP Server Performance"
1187     layout:
1188       "plot-rps"
1189
1190 # Plot Throughput Speedup Analysis
1191
1192 # L2 - 10ge2p1x520 - NDR
1193 -
1194   type: "plot"
1195   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1196   algorithm: "plot_throughput_speedup_analysis"
1197   output-file-type: ".html"
1198   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-ndrdisc"
1199   data:
1200     "plot-throughput-speedup-analysis"
1201   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1202   parameters:
1203   - "throughput"
1204   - "parent"
1205   - "tags"
1206   layout:
1207     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1208     layout:
1209       "plot-throughput-speedup-analysis"
1210
1211 # L2 - 40ge2p1xl710 - NDR
1212 -
1213   type: "plot"
1214   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1215   algorithm: "plot_throughput_speedup_analysis"
1216   output-file-type: ".html"
1217   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-l2-tsa-ndrdisc"
1218   data:
1219     "plot-throughput-speedup-analysis"
1220   filter: "'NIC_Intel-XL710' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1221   parameters:
1222   - "throughput"
1223   - "parent"
1224   - "tags"
1225   layout:
1226     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1227     layout:
1228       "plot-throughput-speedup-analysis"
1229
1230 # L2 - 10ge2p1x520 - PDR
1231 -
1232   type: "plot"
1233   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1234   algorithm: "plot_throughput_speedup_analysis"
1235   output-file-type: ".html"
1236   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-pdrdisc"
1237   data:
1238     "plot-throughput-speedup-analysis"
1239   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1240   parameters:
1241   - "throughput"
1242   - "parent"
1243   - "tags"
1244   layout:
1245     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1246     layout:
1247       "plot-throughput-speedup-analysis"
1248
1249 # IPv4 - 10ge2p1x520 - NDR
1250 -
1251   type: "plot"
1252   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1253   algorithm: "plot_throughput_speedup_analysis"
1254   output-file-type: ".html"
1255   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-ndrdisc"
1256   data:
1257     "plot-throughput-speedup-analysis"
1258   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1259   parameters:
1260   - "throughput"
1261   - "parent"
1262   - "tags"
1263   layout:
1264     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1265     layout:
1266       "plot-throughput-speedup-analysis"
1267
1268 # IPv4 - 40ge2p1xl710 - NDR
1269 -
1270   type: "plot"
1271   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1272   algorithm: "plot_throughput_speedup_analysis"
1273   output-file-type: ".html"
1274   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-ip4-tsa-ndrdisc"
1275   data:
1276     "plot-throughput-speedup-analysis"
1277   filter: "'NIC_Intel-XL710' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1278   parameters:
1279   - "throughput"
1280   - "parent"
1281   - "tags"
1282   layout:
1283     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1284     layout:
1285       "plot-throughput-speedup-analysis"
1286
1287 # IPv4 - 10ge2p1x520 - PDR
1288 -
1289   type: "plot"
1290   title: "TSA: 64B-*-ethip4-ip4(base|scale)*pdrdisc"
1291   algorithm: "plot_throughput_speedup_analysis"
1292   output-file-type: ".html"
1293   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-pdrdisc"
1294   data:
1295     "plot-throughput-speedup-analysis"
1296   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1297   parameters:
1298   - "throughput"
1299   - "parent"
1300   - "tags"
1301   layout:
1302     title: "64B-*-ethip4-ip4(base|scale)*pdrdisc"
1303     layout:
1304       "plot-throughput-speedup-analysis"
1305
1306 # IPv6 - 10ge2p1x520 - NDR
1307 -
1308   type: "plot"
1309   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1310   algorithm: "plot_throughput_speedup_analysis"
1311   output-file-type: ".html"
1312   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-ndrdisc"
1313   data:
1314     "plot-throughput-speedup-analysis"
1315   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1316   parameters:
1317   - "throughput"
1318   - "parent"
1319   - "tags"
1320   layout:
1321     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1322     layout:
1323       "plot-throughput-speedup-analysis"
1324
1325 # IPv6 - 40ge2p1xl710 - NDR
1326 -
1327   type: "plot"
1328   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1329   algorithm: "plot_throughput_speedup_analysis"
1330   output-file-type: ".html"
1331   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-78B-ip6-tsa-ndrdisc"
1332   data:
1333     "plot-throughput-speedup-analysis"
1334   filter: "'NIC_Intel-XL710' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1335   parameters:
1336   - "throughput"
1337   - "parent"
1338   - "tags"
1339   layout:
1340     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1341     layout:
1342       "plot-throughput-speedup-analysis"
1343
1344 # IPv6 - 10ge2p1x520 - PDR
1345 -
1346   type: "plot"
1347   title: "TSA: 78B-*-ethip6-ip6(base|scale)*pdrdisc"
1348   algorithm: "plot_throughput_speedup_analysis"
1349   output-file-type: ".html"
1350   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-pdrdisc"
1351   data:
1352     "plot-throughput-speedup-analysis"
1353   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST'"
1354   parameters:
1355   - "throughput"
1356   - "parent"
1357   - "tags"
1358   layout:
1359     title: "78B-*-ethip6-ip6(base|scale)*pdrdisc"
1360     layout:
1361       "plot-throughput-speedup-analysis"
1362
1363 # Plot packets per second
1364
1365 # VPP L2 sel1
1366 -
1367   type: "plot"
1368   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1369   algorithm: "plot_performance_box"
1370   output-file-type: ".html"
1371   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc"
1372   data:
1373     "plot-vpp-throughput-latency"
1374   # Keep this formatting, the filter is enclosed with " (quotation mark) and
1375   # each tag is enclosed with ' (apostrophe).
1376   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1377   parameters:
1378   - "throughput"
1379   - "parent"
1380   traces:
1381     hoverinfo: "x+y"
1382     boxpoints: "outliers"
1383     whiskerwidth: 0
1384   layout:
1385     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1386     layout:
1387       "plot-throughput"
1388
1389 -
1390   type: "plot"
1391   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1392   algorithm: "plot_performance_box"
1393   output-file-type: ".html"
1394   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc"
1395   data:
1396     "plot-vpp-throughput-latency"
1397   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1398   parameters:
1399   - "throughput"
1400   - "parent"
1401   traces:
1402     hoverinfo: "x+y"
1403     boxpoints: "outliers"
1404     whiskerwidth: 0
1405   layout:
1406     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1407     layout:
1408       "plot-throughput"
1409
1410 -
1411   type: "plot"
1412   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1413   algorithm: "plot_performance_box"
1414   output-file-type: ".html"
1415   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-pdrdisc"
1416   data:
1417     "plot-vpp-throughput-latency"
1418   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1419   parameters:
1420   - "throughput"
1421   - "parent"
1422   traces:
1423     hoverinfo: "x+y"
1424     boxpoints: "outliers"
1425     whiskerwidth: 0
1426   layout:
1427     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1428     layout:
1429       "plot-throughput"
1430
1431 -
1432   type: "plot"
1433   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1434   algorithm: "plot_performance_box"
1435   output-file-type: ".html"
1436   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-pdrdisc"
1437   data:
1438     "plot-vpp-throughput-latency"
1439   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1440   parameters:
1441   - "throughput"
1442   - "parent"
1443   traces:
1444     hoverinfo: "x+y"
1445     boxpoints: "outliers"
1446     whiskerwidth: 0
1447   layout:
1448     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1449     layout:
1450       "plot-throughput"
1451
1452 # VPP L2 sel2
1453 -
1454   type: "plot"
1455   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1456   algorithm: "plot_performance_box"
1457   output-file-type: ".html"
1458   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc"
1459   data:
1460     "plot-vpp-throughput-latency"
1461   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1462   parameters:
1463   - "throughput"
1464   - "parent"
1465   traces:
1466     hoverinfo: "x+y"
1467     boxpoints: "outliers"
1468     whiskerwidth: 0
1469   layout:
1470     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1471     layout:
1472       "plot-throughput"
1473
1474 -
1475   type: "plot"
1476   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1477   algorithm: "plot_performance_box"
1478   output-file-type: ".html"
1479   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc"
1480   data:
1481     "plot-vpp-throughput-latency"
1482   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1483   parameters:
1484   - "throughput"
1485   - "parent"
1486   traces:
1487     hoverinfo: "x+y"
1488     boxpoints: "outliers"
1489     whiskerwidth: 0
1490   layout:
1491     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1492     layout:
1493       "plot-throughput"
1494
1495 -
1496   type: "plot"
1497   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1498   algorithm: "plot_performance_box"
1499   output-file-type: ".html"
1500   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-pdrdisc"
1501   data:
1502     "plot-vpp-throughput-latency"
1503   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1504   parameters:
1505   - "throughput"
1506   - "parent"
1507   traces:
1508     hoverinfo: "x+y"
1509     boxpoints: "outliers"
1510     whiskerwidth: 0
1511   layout:
1512     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1513     layout:
1514       "plot-throughput"
1515
1516 -
1517   type: "plot"
1518   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1519   algorithm: "plot_performance_box"
1520   output-file-type: ".html"
1521   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-pdrdisc"
1522   data:
1523     "plot-vpp-throughput-latency"
1524   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1525   parameters:
1526   - "throughput"
1527   - "parent"
1528   traces:
1529     hoverinfo: "x+y"
1530     boxpoints: "outliers"
1531     whiskerwidth: 0
1532   layout:
1533     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1534     layout:
1535       "plot-throughput"
1536
1537 # VPP IP4
1538 -
1539   type: "plot"
1540   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1541   algorithm: "plot_performance_box"
1542   output-file-type: ".html"
1543   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc"
1544   data:
1545     "plot-vpp-throughput-latency"
1546   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1547   parameters:
1548   - "throughput"
1549   - "parent"
1550   traces:
1551     hoverinfo: "x+y"
1552     boxpoints: "outliers"
1553     whiskerwidth: 0
1554   layout:
1555     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1556     layout:
1557       "plot-throughput"
1558
1559 -
1560   type: "plot"
1561   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1562   algorithm: "plot_performance_box"
1563   output-file-type: ".html"
1564   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc"
1565   data:
1566     "plot-vpp-throughput-latency"
1567   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1568   parameters:
1569   - "throughput"
1570   - "parent"
1571   traces:
1572     hoverinfo: "x+y"
1573     boxpoints: "outliers"
1574     whiskerwidth: 0
1575   layout:
1576     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1577     layout:
1578       "plot-throughput"
1579
1580 -
1581   type: "plot"
1582   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1583   algorithm: "plot_performance_box"
1584   output-file-type: ".html"
1585   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-pdrdisc"
1586   data:
1587     "plot-vpp-throughput-latency"
1588   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1589   parameters:
1590   - "throughput"
1591   - "parent"
1592   traces:
1593     hoverinfo: "x+y"
1594     boxpoints: "outliers"
1595     whiskerwidth: 0
1596   layout:
1597     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1598     layout:
1599       "plot-throughput"
1600
1601 -
1602   type: "plot"
1603   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1604   algorithm: "plot_performance_box"
1605   output-file-type: ".html"
1606   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-pdrdisc"
1607   data:
1608     "plot-vpp-throughput-latency"
1609   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1610   parameters:
1611   - "throughput"
1612   - "parent"
1613   traces:
1614     hoverinfo: "x+y"
1615     boxpoints: "outliers"
1616     whiskerwidth: 0
1617   layout:
1618     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1619     layout:
1620       "plot-throughput"
1621
1622 # VPP IP6
1623 -
1624   type: "plot"
1625   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1626   algorithm: "plot_performance_box"
1627   output-file-type: ".html"
1628   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc"
1629   data:
1630     "plot-vpp-throughput-latency"
1631   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1632   parameters:
1633   - "throughput"
1634   - "parent"
1635   traces:
1636     hoverinfo: "x+y"
1637     boxpoints: "outliers"
1638     whiskerwidth: 0
1639   layout:
1640     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1641     layout:
1642       "plot-throughput"
1643
1644 -
1645   type: "plot"
1646   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1647   algorithm: "plot_performance_box"
1648   output-file-type: ".html"
1649   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc"
1650   data:
1651     "plot-vpp-throughput-latency"
1652   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1653   parameters:
1654   - "throughput"
1655   - "parent"
1656   traces:
1657     hoverinfo: "x+y"
1658     boxpoints: "outliers"
1659     whiskerwidth: 0
1660   layout:
1661     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1662     layout:
1663       "plot-throughput"
1664
1665 -
1666   type: "plot"
1667   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1668   algorithm: "plot_performance_box"
1669   output-file-type: ".html"
1670   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-pdrdisc"
1671   data:
1672     "plot-vpp-throughput-latency"
1673   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1674   parameters:
1675   - "throughput"
1676   - "parent"
1677   traces:
1678     hoverinfo: "x+y"
1679     boxpoints: "outliers"
1680     whiskerwidth: 0
1681   layout:
1682     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1683     layout:
1684       "plot-throughput"
1685
1686 -
1687   type: "plot"
1688   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1689   algorithm: "plot_performance_box"
1690   output-file-type: ".html"
1691   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-pdrdisc"
1692   data:
1693     "plot-vpp-throughput-latency"
1694   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1695   parameters:
1696   - "throughput"
1697   - "parent"
1698   traces:
1699     hoverinfo: "x+y"
1700     boxpoints: "outliers"
1701     whiskerwidth: 0
1702   layout:
1703     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1704     layout:
1705       "plot-throughput"
1706
1707 # VPP IP4_overlay
1708 -
1709   type: "plot"
1710   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1711   algorithm: "plot_performance_box"
1712   output-file-type: ".html"
1713   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc"
1714   data:
1715     "plot-vpp-throughput-latency"
1716   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1717   parameters:
1718   - "throughput"
1719   - "parent"
1720   traces:
1721     hoverinfo: "x+y"
1722     boxpoints: "outliers"
1723     whiskerwidth: 0
1724   layout:
1725     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1726     layout:
1727       "plot-throughput"
1728
1729 -
1730   type: "plot"
1731   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1732   algorithm: "plot_performance_box"
1733   output-file-type: ".html"
1734   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc"
1735   data:
1736     "plot-vpp-throughput-latency"
1737   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1738   parameters:
1739   - "throughput"
1740   - "parent"
1741   traces:
1742     hoverinfo: "x+y"
1743     boxpoints: "outliers"
1744     whiskerwidth: 0
1745   layout:
1746     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1747     layout:
1748       "plot-throughput"
1749
1750 -
1751   type: "plot"
1752   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1753   algorithm: "plot_performance_box"
1754   output-file-type: ".html"
1755   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-pdrdisc"
1756   data:
1757     "plot-vpp-throughput-latency"
1758   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1759   parameters:
1760   - "throughput"
1761   - "parent"
1762   traces:
1763     hoverinfo: "x+y"
1764     boxpoints: "outliers"
1765     whiskerwidth: 0
1766   layout:
1767     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1768     layout:
1769       "plot-throughput"
1770
1771 -
1772   type: "plot"
1773   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1774   algorithm: "plot_performance_box"
1775   output-file-type: ".html"
1776   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-pdrdisc"
1777   data:
1778     "plot-vpp-throughput-latency"
1779   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1780   parameters:
1781   - "throughput"
1782   - "parent"
1783   traces:
1784     hoverinfo: "x+y"
1785     boxpoints: "outliers"
1786     whiskerwidth: 0
1787   layout:
1788     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1789     layout:
1790       "plot-throughput"
1791
1792 # VPP IP6_overlay
1793 -
1794   type: "plot"
1795   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1796   algorithm: "plot_performance_box"
1797   output-file-type: ".html"
1798   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc"
1799   data:
1800     "plot-vpp-throughput-latency"
1801   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1802   parameters:
1803   - "throughput"
1804   - "parent"
1805   traces:
1806     hoverinfo: "x+y"
1807     boxpoints: "outliers"
1808     whiskerwidth: 0
1809   layout:
1810     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1811     xaxis:
1812       autorange: True
1813       autotick: False
1814       fixedrange: False
1815       gridcolor: "rgb(238, 238, 238)"
1816       linecolor: "rgb(238, 238, 238)"
1817       linewidth: 1
1818       showgrid: True
1819       showline: True
1820       showticklabels: True
1821       tickcolor: "rgb(238, 238, 238)"
1822       tickmode: "linear"
1823       title: "Indexed Test Cases"
1824       zeroline: False
1825     yaxis:
1826       gridcolor: "rgb(238, 238, 238)'"
1827       hoverformat: ".4s"
1828       linecolor: "rgb(238, 238, 238)"
1829       linewidth: 1
1830       range: [2000000, 6000000]
1831       showgrid: True
1832       showline: True
1833       showticklabels: True
1834       tickcolor: "rgb(238, 238, 238)"
1835       title: "Packets Per Second [pps]"
1836       zeroline: False
1837     boxmode: "group"
1838     boxgroupgap: 0.5
1839     autosize: False
1840     margin:
1841       t: 50
1842       b: 20
1843       l: 50
1844       r: 20
1845     showlegend: True
1846     legend:
1847       orientation: "h"
1848     width: 700
1849     height: 1000
1850
1851 -
1852   type: "plot"
1853   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1854   algorithm: "plot_performance_box"
1855   output-file-type: ".html"
1856   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc"
1857   data:
1858     "plot-vpp-throughput-latency"
1859   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1860   parameters:
1861   - "throughput"
1862   - "parent"
1863   traces:
1864     hoverinfo: "x+y"
1865     boxpoints: "outliers"
1866     whiskerwidth: 0
1867   layout:
1868     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1869     layout:
1870       "plot-throughput"
1871
1872 -
1873   type: "plot"
1874   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1875   algorithm: "plot_performance_box"
1876   output-file-type: ".html"
1877   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-pdrdisc"
1878   data:
1879     "plot-vpp-throughput-latency"
1880   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1881   parameters:
1882   - "throughput"
1883   - "parent"
1884   traces:
1885     hoverinfo: "x+y"
1886     boxpoints: "outliers"
1887     whiskerwidth: 0
1888   layout:
1889     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1890     layout:
1891       "plot-throughput"
1892
1893 -
1894   type: "plot"
1895   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1896   algorithm: "plot_performance_box"
1897   output-file-type: ".html"
1898   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-pdrdisc"
1899   data:
1900     "plot-vpp-throughput-latency"
1901   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1902   parameters:
1903   - "throughput"
1904   - "parent"
1905   traces:
1906     hoverinfo: "x+y"
1907     boxpoints: "outliers"
1908     whiskerwidth: 0
1909   layout:
1910     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1911     xaxis:
1912       autorange: True
1913       autotick: False
1914       fixedrange: False
1915       gridcolor: "rgb(238, 238, 238)"
1916       linecolor: "rgb(238, 238, 238)"
1917       linewidth: 1
1918       showgrid: True
1919       showline: True
1920       showticklabels: True
1921       tickcolor: "rgb(238, 238, 238)"
1922       tickmode: "linear"
1923       title: "Indexed Test Cases"
1924       zeroline: False
1925     yaxis:
1926       gridcolor: "rgb(238, 238, 238)'"
1927       hoverformat: ".4s"
1928       linecolor: "rgb(238, 238, 238)"
1929       linewidth: 1
1930       range: [4000000, 12000000]
1931       showgrid: True
1932       showline: True
1933       showticklabels: True
1934       tickcolor: "rgb(238, 238, 238)"
1935       title: "Packets Per Second [pps]"
1936       zeroline: False
1937     boxmode: "group"
1938     boxgroupgap: 0.5
1939     autosize: False
1940     margin:
1941       t: 50
1942       b: 20
1943       l: 50
1944       r: 20
1945     showlegend: True
1946     legend:
1947       orientation: "h"
1948     width: 700
1949     height: 1000
1950
1951 # VPP VM VHOST
1952 -
1953   type: "plot"
1954   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
1955   algorithm: "plot_performance_box"
1956   output-file-type: ".html"
1957   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc"
1958   data:
1959     "plot-vpp-throughput-latency"
1960   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
1961   parameters:
1962   - "throughput"
1963   - "parent"
1964   traces:
1965     hoverinfo: "x+y"
1966     boxpoints: "outliers"
1967     whiskerwidth: 0
1968   layout:
1969     title: "64B-1t1c-.*vhost.*-ndrdisc"
1970     xaxis:
1971       autorange: True
1972       autotick: False
1973       fixedrange: False
1974       gridcolor: "rgb(238, 238, 238)"
1975       linecolor: "rgb(238, 238, 238)"
1976       linewidth: 1
1977       showgrid: True
1978       showline: True
1979       showticklabels: True
1980       tickcolor: "rgb(238, 238, 238)"
1981       tickmode: "linear"
1982       title: "Indexed Test Cases"
1983       zeroline: False
1984     yaxis:
1985       gridcolor: "rgb(238, 238, 238)'"
1986       hoverformat: ".4s"
1987       linecolor: "rgb(238, 238, 238)"
1988       linewidth: 1
1989       range: [0, 3500000]
1990       showgrid: True
1991       showline: True
1992       showticklabels: True
1993       tickcolor: "rgb(238, 238, 238)"
1994       title: "Packets Per Second [pps]"
1995       zeroline: False
1996     boxmode: "group"
1997     boxgroupgap: 0.5
1998     autosize: False
1999     margin:
2000       t: 50
2001       b: 20
2002       l: 50
2003       r: 20
2004     showlegend: True
2005     legend:
2006       orientation: "h"
2007     width: 700
2008     height: 1000
2009
2010 -
2011   type: "plot"
2012   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2013   algorithm: "plot_performance_box"
2014   output-file-type: ".html"
2015   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc"
2016   data:
2017     "plot-vpp-throughput-latency"
2018   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2019   parameters:
2020   - "throughput"
2021   - "parent"
2022   traces:
2023     hoverinfo: "x+y"
2024     boxpoints: "outliers"
2025     whiskerwidth: 0
2026   layout:
2027     title: "64B-2t2c-.*vhost.*-ndrdisc"
2028     layout:
2029       "plot-throughput"
2030
2031 -
2032   type: "plot"
2033   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2034   algorithm: "plot_performance_box"
2035   output-file-type: ".html"
2036   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-pdrdisc"
2037   data:
2038     "plot-vpp-throughput-latency"
2039   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2040   parameters:
2041   - "throughput"
2042   - "parent"
2043   traces:
2044     hoverinfo: "x+y"
2045     boxpoints: "outliers"
2046     whiskerwidth: 0
2047   layout:
2048     title: "64B-1t1c-.*vhost.*-pdrdisc"
2049     layout:
2050       "plot-throughput"
2051
2052 -
2053   type: "plot"
2054   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2055   algorithm: "plot_performance_box"
2056   output-file-type: ".html"
2057   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-pdrdisc"
2058   data:
2059     "plot-vpp-throughput-latency"
2060   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2061   parameters:
2062   - "throughput"
2063   - "parent"
2064   traces:
2065     hoverinfo: "x+y"
2066     boxpoints: "outliers"
2067     whiskerwidth: 0
2068   layout:
2069     title: "64B-2t2c-.*vhost.*-pdrdisc"
2070     layout:
2071       "plot-throughput"
2072
2073 # VPP VM VHOST SELECTION
2074 -
2075   type: "plot"
2076   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2077   algorithm: "plot_performance_box"
2078   output-file-type: ".html"
2079   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc"
2080   data:
2081     "plot-vpp-throughput-latency"
2082   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2083   parameters:
2084   - "throughput"
2085   - "parent"
2086   traces:
2087     hoverinfo: "x+y"
2088     boxpoints: "outliers"
2089     whiskerwidth: 0
2090   layout:
2091     title: "64B-1t1c-.*vhost.*-ndrdisc"
2092     layout:
2093       "plot-throughput"
2094
2095 -
2096   type: "plot"
2097   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2098   algorithm: "plot_performance_box"
2099   output-file-type: ".html"
2100   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc"
2101   data:
2102     "plot-vpp-throughput-latency"
2103   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2104   parameters:
2105   - "throughput"
2106   - "parent"
2107   traces:
2108     hoverinfo: "x+y"
2109     boxpoints: "outliers"
2110     whiskerwidth: 0
2111   layout:
2112     title: "64B-2t2c-.*vhost.*-ndrdisc"
2113     layout:
2114       "plot-throughput"
2115
2116 -
2117   type: "plot"
2118   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2119   algorithm: "plot_performance_box"
2120   output-file-type: ".html"
2121   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-pdrdisc"
2122   data:
2123     "plot-vpp-throughput-latency"
2124   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2125   parameters:
2126   - "throughput"
2127   - "parent"
2128   traces:
2129     hoverinfo: "x+y"
2130     boxpoints: "outliers"
2131     whiskerwidth: 0
2132   layout:
2133     title: "64B-1t1c-.*vhost.*-pdrdisc"
2134     layout:
2135       "plot-throughput"
2136
2137 -
2138   type: "plot"
2139   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2140   algorithm: "plot_performance_box"
2141   output-file-type: ".html"
2142   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-pdrdisc"
2143   data:
2144     "plot-vpp-throughput-latency"
2145   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2146   parameters:
2147   - "throughput"
2148   - "parent"
2149   traces:
2150     hoverinfo: "x+y"
2151     boxpoints: "outliers"
2152     whiskerwidth: 0
2153   layout:
2154     title: "64B-2t2c-.*vhost.*-pdrdisc"
2155     layout:
2156       "plot-throughput"
2157
2158 # VPP CRYPTO
2159 -
2160   type: "plot"
2161   title: "VPP Performance 64B-1t1c-.*ipsec.*-ndrdisc"
2162   algorithm: "plot_performance_box"
2163   output-file-type: ".html"
2164   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc"
2165   data:
2166     "plot-vpp-throughput-latency"
2167   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2168   parameters:
2169   - "throughput"
2170   - "parent"
2171   traces:
2172     hoverinfo: "x+y"
2173     boxpoints: "outliers"
2174     whiskerwidth: 0
2175   layout:
2176     title: "64B-1t1c-.*ipsec.*-ndrdisc"
2177     layout:
2178       "plot-throughput"
2179
2180 -
2181   type: "plot"
2182   title: "VPP Performance 64B-2t2c-.*ipsec.*-ndrdisc"
2183   algorithm: "plot_performance_box"
2184   output-file-type: ".html"
2185   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc"
2186   data:
2187     "plot-vpp-throughput-latency"
2188   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2189   parameters:
2190   - "throughput"
2191   - "parent"
2192   traces:
2193     hoverinfo: "x+y"
2194     boxpoints: "outliers"
2195     whiskerwidth: 0
2196   layout:
2197     title: "64B-2t2c-.*ipsec.*-ndrdisc"
2198     layout:
2199       "plot-throughput"
2200
2201 -
2202   type: "plot"
2203   title: "VPP Performance 64B-1t1c-.*ipsec.*-pdrdisc"
2204   algorithm: "plot_performance_box"
2205   output-file-type: ".html"
2206   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-pdrdisc"
2207   data:
2208     "plot-vpp-throughput-latency"
2209   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2210   parameters:
2211   - "throughput"
2212   - "parent"
2213   traces:
2214     hoverinfo: "x+y"
2215     boxpoints: "outliers"
2216     whiskerwidth: 0
2217   layout:
2218     title: "64B-1t1c-.*ipsec.*-pdrdisc"
2219     layout:
2220       "plot-throughput"
2221
2222 -
2223   type: "plot"
2224   title: "VPP Performance 64B-2t2c-.*ipsec.*-pdrdisc"
2225   algorithm: "plot_performance_box"
2226   output-file-type: ".html"
2227   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-pdrdisc"
2228   data:
2229     "plot-vpp-throughput-latency"
2230   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2231   parameters:
2232   - "throughput"
2233   - "parent"
2234   traces:
2235     hoverinfo: "x+y"
2236     boxpoints: "outliers"
2237     whiskerwidth: 0
2238   layout:
2239     title: "64B-2t2c-.*ipsec.*-pdrdisc"
2240     layout:
2241       "plot-throughput"
2242
2243 # DPDK
2244 -
2245   type: "plot"
2246   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2247   algorithm: "plot_performance_box"
2248   output-file-type: ".html"
2249   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc"
2250   data:
2251     "plot-dpdk-throughput-latency"
2252   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2253   parameters:
2254   - "throughput"
2255   - "parent"
2256   traces:
2257     hoverinfo: "x+y"
2258     boxpoints: "outliers"
2259     whiskerwidth: 0
2260   layout:
2261     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2262     layout:
2263       "plot-throughput"
2264
2265 -
2266   type: "plot"
2267   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2268   algorithm: "plot_performance_box"
2269   output-file-type: ".html"
2270   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc"
2271   data:
2272     "plot-dpdk-throughput-latency"
2273   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2274   parameters:
2275   - "throughput"
2276   - "parent"
2277   traces:
2278     hoverinfo: "x+y"
2279     boxpoints: "outliers"
2280     whiskerwidth: 0
2281   layout:
2282     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2283     layout:
2284       "plot-throughput"
2285
2286 -
2287   type: "plot"
2288   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2289   algorithm: "plot_performance_box"
2290   output-file-type: ".html"
2291   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc"
2292   data:
2293     "plot-dpdk-throughput-latency"
2294   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
2295   parameters:
2296   - "throughput"
2297   - "parent"
2298   traces:
2299     hoverinfo: "x+y"
2300     boxpoints: "outliers"
2301     whiskerwidth: 0
2302   layout:
2303     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2304     xaxis:
2305       autorange: True
2306       autotick: False
2307       fixedrange: False
2308       gridcolor: "rgb(238, 238, 238)"
2309       linecolor: "rgb(238, 238, 238)"
2310       linewidth: 1
2311       showgrid: True
2312       showline: True
2313       showticklabels: True
2314       tickcolor: "rgb(238, 238, 238)"
2315       tickmode: "linear"
2316       title: "Indexed Test Cases"
2317       zeroline: False
2318     yaxis:
2319       gridcolor: "rgb(238, 238, 238)'"
2320       hoverformat: ".4s"
2321       linecolor: "rgb(238, 238, 238)"
2322       linewidth: 1
2323       range: [2000000, 12000000]
2324       showgrid: True
2325       showline: True
2326       showticklabels: True
2327       tickcolor: "rgb(238, 238, 238)"
2328       title: "Packets Per Second [pps]"
2329       zeroline: False
2330     boxmode: "group"
2331     boxgroupgap: 0.5
2332     autosize: False
2333     margin:
2334       t: 50
2335       b: 20
2336       l: 50
2337       r: 20
2338     showlegend: True
2339     legend:
2340       orientation: "h"
2341     width: 700
2342     height: 1000
2343
2344 -
2345   type: "plot"
2346   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2347   algorithm: "plot_performance_box"
2348   output-file-type: ".html"
2349   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc"
2350   data:
2351     "plot-dpdk-throughput-latency"
2352   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
2353   parameters:
2354   - "throughput"
2355   - "parent"
2356   traces:
2357     hoverinfo: "x+y"
2358     boxpoints: "outliers"
2359     whiskerwidth: 0
2360   layout:
2361     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2362     xaxis:
2363       autorange: True
2364       autotick: False
2365       fixedrange: False
2366       gridcolor: "rgb(238, 238, 238)"
2367       linecolor: "rgb(238, 238, 238)"
2368       linewidth: 1
2369       showgrid: True
2370       showline: True
2371       showticklabels: True
2372       tickcolor: "rgb(238, 238, 238)"
2373       tickmode: "linear"
2374       title: "Indexed Test Cases"
2375       zeroline: False
2376     yaxis:
2377       gridcolor: "rgb(238, 238, 238)'"
2378       hoverformat: ".4s"
2379       linecolor: "rgb(238, 238, 238)"
2380       linewidth: 1
2381       range: [2000000, 12000000]
2382       showgrid: True
2383       showline: True
2384       showticklabels: True
2385       tickcolor: "rgb(238, 238, 238)"
2386       title: "Packets Per Second [pps]"
2387       zeroline: False
2388     boxmode: "group"
2389     boxgroupgap: 0.5
2390     autosize: False
2391     margin:
2392       t: 50
2393       b: 20
2394       l: 50
2395       r: 20
2396     showlegend: True
2397     legend:
2398       orientation: "h"
2399     width: 700
2400     height: 1000
2401
2402 -
2403   type: "plot"
2404   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2405   algorithm: "plot_performance_box"
2406   output-file-type: ".html"
2407   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-pdrdisc"
2408   data:
2409     "plot-dpdk-throughput-latency"
2410   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2411   parameters:
2412   - "throughput"
2413   - "parent"
2414   traces:
2415     hoverinfo: "x+y"
2416     boxpoints: "outliers"
2417     whiskerwidth: 0
2418   layout:
2419     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2420     layout:
2421       "plot-throughput"
2422
2423 -
2424   type: "plot"
2425   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2426   algorithm: "plot_performance_box"
2427   output-file-type: ".html"
2428   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-pdrdisc"
2429   data:
2430     "plot-dpdk-throughput-latency"
2431   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2432   parameters:
2433   - "throughput"
2434   - "parent"
2435   traces:
2436     hoverinfo: "x+y"
2437     boxpoints: "outliers"
2438     whiskerwidth: 0
2439   layout:
2440     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2441     layout:
2442       "plot-throughput"
2443
2444 -
2445   type: "plot"
2446   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
2447   algorithm: "plot_performance_box"
2448   output-file-type: ".html"
2449   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-pdrdisc"
2450   data:
2451     "plot-dpdk-throughput-latency"
2452   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD'"
2453   parameters:
2454   - "throughput"
2455   - "parent"
2456   traces:
2457     hoverinfo: "x+y"
2458     boxpoints: "outliers"
2459     whiskerwidth: 0
2460   layout:
2461     title: "64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
2462     xaxis:
2463       autorange: True
2464       autotick: False
2465       fixedrange: False
2466       gridcolor: "rgb(238, 238, 238)"
2467       linecolor: "rgb(238, 238, 238)"
2468       linewidth: 1
2469       showgrid: True
2470       showline: True
2471       showticklabels: True
2472       tickcolor: "rgb(238, 238, 238)"
2473       tickmode: "linear"
2474       title: "Indexed Test Cases"
2475       zeroline: False
2476     yaxis:
2477       gridcolor: "rgb(238, 238, 238)'"
2478       hoverformat: ".4s"
2479       linecolor: "rgb(238, 238, 238)"
2480       linewidth: 1
2481       range: [20000000, 30000000]
2482       showgrid: True
2483       showline: True
2484       showticklabels: True
2485       tickcolor: "rgb(238, 238, 238)"
2486       title: "Packets Per Second [pps]"
2487       zeroline: False
2488     boxmode: "group"
2489     boxgroupgap: 0.5
2490     autosize: False
2491     margin:
2492       t: 50
2493       b: 20
2494       l: 50
2495       r: 20
2496     showlegend: True
2497     legend:
2498       orientation: "h"
2499     width: 700
2500     height: 1000
2501
2502 -
2503   type: "plot"
2504   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
2505   algorithm: "plot_performance_box"
2506   output-file-type: ".html"
2507   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-pdrdisc"
2508   data:
2509     "plot-dpdk-throughput-latency"
2510   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD'"
2511   parameters:
2512   - "throughput"
2513   - "parent"
2514   traces:
2515     hoverinfo: "x+y"
2516     boxpoints: "outliers"
2517     whiskerwidth: 0
2518   layout:
2519     title: "64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
2520     xaxis:
2521       autorange: True
2522       autotick: False
2523       fixedrange: False
2524       gridcolor: "rgb(238, 238, 238)"
2525       linecolor: "rgb(238, 238, 238)"
2526       linewidth: 1
2527       showgrid: True
2528       showline: True
2529       showticklabels: True
2530       tickcolor: "rgb(238, 238, 238)"
2531       tickmode: "linear"
2532       title: "Indexed Test Cases"
2533       zeroline: False
2534     yaxis:
2535       gridcolor: "rgb(238, 238, 238)'"
2536       hoverformat: ".4s"
2537       linecolor: "rgb(238, 238, 238)"
2538       linewidth: 1
2539       range: [20000000, 30000000]
2540       showgrid: True
2541       showline: True
2542       showticklabels: True
2543       tickcolor: "rgb(238, 238, 238)"
2544       title: "Packets Per Second [pps]"
2545       zeroline: False
2546     boxmode: "group"
2547     boxgroupgap: 0.5
2548     autosize: False
2549     margin:
2550       t: 50
2551       b: 20
2552       l: 50
2553       r: 20
2554     showlegend: True
2555     legend:
2556       orientation: "h"
2557     width: 700
2558     height: 1000
2559
2560 # Plot latency
2561
2562 # VPP L2 sel1
2563 -
2564   type: "plot"
2565   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2566   algorithm: "plot_latency_box"
2567   output-file-type: ".html"
2568   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc-lat50"
2569   data:
2570     "plot-vpp-throughput-latency"
2571   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2572   parameters:
2573   - "latency"
2574   - "parent"
2575   traces:
2576     boxmean: False
2577   layout:
2578     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2579     layout:
2580       "plot-latency"
2581
2582 -
2583   type: "plot"
2584   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2585   algorithm: "plot_latency_box"
2586   output-file-type: ".html"
2587   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc-lat50"
2588   data:
2589     "plot-vpp-throughput-latency"
2590   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2591   parameters:
2592   - "latency"
2593   - "parent"
2594   traces:
2595     boxmean: False
2596   layout:
2597     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2598     layout:
2599       "plot-latency"
2600
2601 # VPP L2 sel2
2602 -
2603   type: "plot"
2604   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2605   algorithm: "plot_latency_box"
2606   output-file-type: ".html"
2607   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc-lat50"
2608   data:
2609     "plot-vpp-throughput-latency"
2610   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2611   parameters:
2612   - "latency"
2613   - "parent"
2614   traces:
2615     boxmean: False
2616   layout:
2617     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2618     layout:
2619       "plot-latency"
2620
2621 -
2622   type: "plot"
2623   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2624   algorithm: "plot_latency_box"
2625   output-file-type: ".html"
2626   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc-lat50"
2627   data:
2628     "plot-vpp-throughput-latency"
2629   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2630   parameters:
2631   - "latency"
2632   - "parent"
2633   traces:
2634     boxmean: False
2635   layout:
2636     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2637     layout:
2638       "plot-latency"
2639
2640 # VPP IP4
2641 -
2642   type: "plot"
2643   title: "VPP Latency 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2644   algorithm: "plot_latency_box"
2645   output-file-type: ".html"
2646   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc-lat50"
2647   data:
2648     "plot-vpp-throughput-latency"
2649   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
2650   parameters:
2651   - "latency"
2652   - "parent"
2653   traces:
2654     boxmean: False
2655   layout:
2656     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2657     layout:
2658       "plot-latency"
2659
2660 -
2661   type: "plot"
2662   title: "VPP Latency 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2663   algorithm: "plot_latency_box"
2664   output-file-type: ".html"
2665   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc-lat50"
2666   data:
2667     "plot-vpp-throughput-latency"
2668   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
2669   parameters:
2670   - "latency"
2671   - "parent"
2672   traces:
2673     boxmean: False
2674   layout:
2675     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2676     layout:
2677       "plot-latency"
2678
2679 # VPP IP6
2680 -
2681   type: "plot"
2682   title: "VPP Latency 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2683   algorithm: "plot_latency_box"
2684   output-file-type: ".html"
2685   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc-lat50"
2686   data:
2687     "plot-vpp-throughput-latency"
2688   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2689   parameters:
2690   - "latency"
2691   - "parent"
2692   traces:
2693     boxmean: False
2694   layout:
2695     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2696     layout:
2697       "plot-latency"
2698
2699 -
2700   type: "plot"
2701   title: "VPP Latency 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2702   algorithm: "plot_latency_box"
2703   output-file-type: ".html"
2704   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc-lat50"
2705   data:
2706     "plot-vpp-throughput-latency"
2707   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2708   parameters:
2709   - "latency"
2710   - "parent"
2711   traces:
2712     boxmean: False
2713   layout:
2714     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2715     layout:
2716       "plot-latency"
2717
2718 # VPP IP4_overlay
2719 -
2720   type: "plot"
2721   title: "VPP Latency 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2722   algorithm: "plot_latency_box"
2723   output-file-type: ".html"
2724   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc-lat50"
2725   data:
2726     "plot-vpp-throughput-latency"
2727   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2728   parameters:
2729   - "latency"
2730   - "parent"
2731   traces:
2732     boxmean: False
2733   layout:
2734     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2735     layout:
2736       "plot-latency"
2737
2738 -
2739   type: "plot"
2740   title: "VPP Latency 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2741   algorithm: "plot_latency_box"
2742   output-file-type: ".html"
2743   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc-lat50"
2744   data:
2745     "plot-vpp-throughput-latency"
2746   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2747   parameters:
2748   - "latency"
2749   - "parent"
2750   traces:
2751     boxmean: False
2752   layout:
2753     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2754     layout:
2755       "plot-latency"
2756
2757 # VPP IP6_overlay
2758 -
2759   type: "plot"
2760   title: "VPP Latency 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2761   algorithm: "plot_latency_box"
2762   output-file-type: ".html"
2763   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc-lat50"
2764   data:
2765     "plot-vpp-throughput-latency"
2766   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2767   parameters:
2768   - "latency"
2769   - "parent"
2770   traces:
2771     boxmean: False
2772   layout:
2773     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2774     layout:
2775       "plot-latency"
2776
2777 -
2778   type: "plot"
2779   title: "VPP Latency 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2780   algorithm: "plot_latency_box"
2781   output-file-type: ".html"
2782   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc-lat50"
2783   data:
2784     "plot-vpp-throughput-latency"
2785   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2786   parameters:
2787   - "latency"
2788   - "parent"
2789   traces:
2790     boxmean: False
2791   layout:
2792     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2793     layout:
2794       "plot-latency"
2795
2796 # VPP VM VHOST
2797 -
2798   type: "plot"
2799   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
2800   algorithm: "plot_latency_box"
2801   output-file-type: ".html"
2802   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc-lat50"
2803   data:
2804     "plot-vpp-throughput-latency"
2805   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2806   parameters:
2807   - "latency"
2808   - "parent"
2809   traces:
2810     boxmean: False
2811   layout:
2812     title: "64B-1t1c-.*vhost.*-ndrdisc"
2813     layout:
2814       "plot-latency"
2815
2816 -
2817   type: "plot"
2818   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
2819   algorithm: "plot_latency_box"
2820   output-file-type: ".html"
2821   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc-lat50"
2822   data:
2823     "plot-vpp-throughput-latency"
2824   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2825   parameters:
2826   - "latency"
2827   - "parent"
2828   traces:
2829     boxmean: False
2830   layout:
2831     title: "64B-2t2c-.*vhost.*-ndrdisc"
2832     layout:
2833       "plot-latency"
2834
2835 # VPP VM VHOST selection
2836 -
2837   type: "plot"
2838   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
2839   algorithm: "plot_latency_box"
2840   output-file-type: ".html"
2841   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc-lat50"
2842   data:
2843     "plot-vpp-throughput-latency"
2844   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2845   parameters:
2846   - "latency"
2847   - "parent"
2848   traces:
2849     boxmean: False
2850   layout:
2851     title: "64B-1t1c-.*vhost.*-ndrdisc"
2852     layout:
2853       "plot-latency"
2854
2855 -
2856   type: "plot"
2857   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
2858   algorithm: "plot_latency_box"
2859   output-file-type: ".html"
2860   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc-lat50"
2861   data:
2862     "plot-vpp-throughput-latency"
2863   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2864   parameters:
2865   - "latency"
2866   - "parent"
2867   traces:
2868     boxmean: False
2869   layout:
2870     title: "64B-2t2c-.*vhost.*-ndrdisc"
2871     layout:
2872       "plot-latency"
2873
2874 # VPP CRYPTO
2875 -
2876   type: "plot"
2877   title: "VPP Latency 64B-1t1c-.*ipsec.*-ndrdisc"
2878   algorithm: "plot_latency_box"
2879   output-file-type: ".html"
2880   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc-lat50"
2881   data:
2882     "plot-vpp-throughput-latency"
2883   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2884   parameters:
2885   - "latency"
2886   - "parent"
2887   traces:
2888     boxmean: False
2889   layout:
2890     title: "64B-1t1c-.*ipsec.*-ndrdisc"
2891     layout:
2892       "plot-latency"
2893
2894 -
2895   type: "plot"
2896   title: "VPP Latency 64B-2t2c-.*ipsec.*-ndrdisc"
2897   algorithm: "plot_latency_box"
2898   output-file-type: ".html"
2899   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc-lat50"
2900   data:
2901     "plot-vpp-throughput-latency"
2902   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2903   parameters:
2904   - "latency"
2905   - "parent"
2906   traces:
2907     boxmean: False
2908   layout:
2909     title: "64B-2t2c-.*ipsec.*-ndrdisc"
2910     layout:
2911       "plot-latency"
2912
2913 # DPDK
2914 -
2915   type: "plot"
2916   title: "DPDK Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2917   algorithm: "plot_latency_box"
2918   output-file-type: ".html"
2919   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc-lat50"
2920   data:
2921     "plot-dpdk-throughput-latency"
2922   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2923   parameters:
2924   - "latency"
2925   - "parent"
2926   traces:
2927     boxmean: False
2928   layout:
2929     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2930     layout:
2931       "plot-latency"
2932
2933 -
2934   type: "plot"
2935   title: "DPDK Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2936   algorithm: "plot_latency_box"
2937   output-file-type: ".html"
2938   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc-lat50"
2939   data:
2940     "plot-dpdk-throughput-latency"
2941   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2942   parameters:
2943   - "latency"
2944   - "parent"
2945   traces:
2946     boxmean: False
2947   layout:
2948     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2949     layout:
2950       "plot-latency"
2951
2952 -
2953   type: "plot"
2954   title: "DPDK Latency 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2955   algorithm: "plot_latency_box"
2956   output-file-type: ".html"
2957   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc-lat50"
2958   data:
2959     "plot-dpdk-throughput-latency"
2960   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
2961   parameters:
2962   - "latency"
2963   - "parent"
2964   traces:
2965     boxmean: False
2966   layout:
2967     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2968     layout:
2969       "plot-latency"
2970
2971 -
2972   type: "plot"
2973   title: "DPDK Latency 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2974   algorithm: "plot_latency_box"
2975   output-file-type: ".html"
2976   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc-lat50"
2977   data:
2978     "plot-dpdk-throughput-latency"
2979   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
2980   parameters:
2981   - "latency"
2982   - "parent"
2983   traces:
2984     boxmean: False
2985   layout:
2986     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2987     layout:
2988       "plot-latency"
2989
2990 # Ligato - Throughput
2991
2992 # Container memif
2993 -
2994   type: "plot"
2995   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2996   algorithm: "plot_performance_box"
2997   output-file-type: ".html"
2998   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc"
2999   data:
3000     "plot-vpp-throughput-latency"
3001   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3002   parameters:
3003   - "throughput"
3004   - "parent"
3005   traces:
3006     hoverinfo: "x+y"
3007     boxpoints: "outliers"
3008     whiskerwidth: 0
3009   layout:
3010     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3011     xaxis:
3012       autorange: True
3013       autotick: False
3014       fixedrange: False
3015       gridcolor: "rgb(238, 238, 238)"
3016       linecolor: "rgb(238, 238, 238)"
3017       linewidth: 1
3018       showgrid: True
3019       showline: True
3020       showticklabels: True
3021       tickcolor: "rgb(238, 238, 238)"
3022       tickmode: "linear"
3023       title: "Indexed Test Cases"
3024       zeroline: False
3025     yaxis:
3026       gridcolor: "rgb(238, 238, 238)'"
3027       hoverformat: ".4s"
3028       linecolor: "rgb(238, 238, 238)"
3029       linewidth: 1
3030       range: [0, 4500000]
3031       showgrid: True
3032       showline: True
3033       showticklabels: True
3034       tickcolor: "rgb(238, 238, 238)"
3035       title: "Packets Per Second [pps]"
3036       zeroline: False
3037     boxmode: "group"
3038     boxgroupgap: 0.5
3039     autosize: False
3040     margin:
3041       t: 50
3042       b: 20
3043       l: 50
3044       r: 20
3045     showlegend: True
3046     legend:
3047       orientation: "h"
3048     width: 700
3049     height: 1000
3050
3051 -
3052   type: "plot"
3053   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3054   algorithm: "plot_performance_box"
3055   output-file-type: ".html"
3056   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc"
3057   data:
3058     "plot-vpp-throughput-latency"
3059   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3060   parameters:
3061   - "throughput"
3062   - "parent"
3063   traces:
3064     hoverinfo: "x+y"
3065     boxpoints: "outliers"
3066     whiskerwidth: 0
3067   layout:
3068     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3069     xaxis:
3070       autorange: True
3071       autotick: False
3072       fixedrange: False
3073       gridcolor: "rgb(238, 238, 238)"
3074       linecolor: "rgb(238, 238, 238)"
3075       linewidth: 1
3076       showgrid: True
3077       showline: True
3078       showticklabels: True
3079       tickcolor: "rgb(238, 238, 238)"
3080       tickmode: "linear"
3081       title: "Indexed Test Cases"
3082       zeroline: False
3083     yaxis:
3084       gridcolor: "rgb(238, 238, 238)'"
3085       hoverformat: ".4s"
3086       linecolor: "rgb(238, 238, 238)"
3087       linewidth: 1
3088       range: [0, 8000000]
3089       showgrid: True
3090       showline: True
3091       showticklabels: True
3092       tickcolor: "rgb(238, 238, 238)"
3093       title: "Packets Per Second [pps]"
3094       zeroline: False
3095     boxmode: "group"
3096     boxgroupgap: 0.5
3097     autosize: False
3098     margin:
3099       t: 50
3100       b: 20
3101       l: 50
3102       r: 20
3103     showlegend: True
3104     legend:
3105       orientation: "h"
3106     width: 700
3107     height: 1000
3108
3109 -
3110   type: "plot"
3111   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3112   algorithm: "plot_performance_box"
3113   output-file-type: ".html"
3114   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-pdrdisc"
3115   data:
3116     "plot-vpp-throughput-latency"
3117   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3118   parameters:
3119   - "throughput"
3120   - "parent"
3121   traces:
3122     hoverinfo: "x+y"
3123     boxpoints: "outliers"
3124     whiskerwidth: 0
3125   layout:
3126     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3127     xaxis:
3128       autorange: True
3129       autotick: False
3130       fixedrange: False
3131       gridcolor: "rgb(238, 238, 238)"
3132       linecolor: "rgb(238, 238, 238)"
3133       linewidth: 1
3134       showgrid: True
3135       showline: True
3136       showticklabels: True
3137       tickcolor: "rgb(238, 238, 238)"
3138       tickmode: "linear"
3139       title: "Indexed Test Cases"
3140       zeroline: False
3141     yaxis:
3142       gridcolor: "rgb(238, 238, 238)'"
3143       hoverformat: ".4s"
3144       linecolor: "rgb(238, 238, 238)"
3145       linewidth: 1
3146       range: [0, 4500000]
3147       showgrid: True
3148       showline: True
3149       showticklabels: True
3150       tickcolor: "rgb(238, 238, 238)"
3151       title: "Packets Per Second [pps]"
3152       zeroline: False
3153     boxmode: "group"
3154     boxgroupgap: 0.5
3155     autosize: False
3156     margin:
3157       t: 50
3158       b: 20
3159       l: 50
3160       r: 20
3161     showlegend: True
3162     legend:
3163       orientation: "h"
3164     width: 700
3165     height: 1000
3166
3167 -
3168   type: "plot"
3169   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3170   algorithm: "plot_performance_box"
3171   output-file-type: ".html"
3172   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-pdrdisc"
3173   data:
3174     "plot-vpp-throughput-latency"
3175   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3176   parameters:
3177   - "throughput"
3178   - "parent"
3179   traces:
3180     hoverinfo: "x+y"
3181     boxpoints: "outliers"
3182     whiskerwidth: 0
3183   layout:
3184     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3185     xaxis:
3186       autorange: True
3187       autotick: False
3188       fixedrange: False
3189       gridcolor: "rgb(238, 238, 238)"
3190       linecolor: "rgb(238, 238, 238)"
3191       linewidth: 1
3192       showgrid: True
3193       showline: True
3194       showticklabels: True
3195       tickcolor: "rgb(238, 238, 238)"
3196       tickmode: "linear"
3197       title: "Indexed Test Cases"
3198       zeroline: False
3199     yaxis:
3200       gridcolor: "rgb(238, 238, 238)'"
3201       hoverformat: ".4s"
3202       linecolor: "rgb(238, 238, 238)"
3203       linewidth: 1
3204       range: [0, 8000000]
3205       showgrid: True
3206       showline: True
3207       showticklabels: True
3208       tickcolor: "rgb(238, 238, 238)"
3209       title: "Packets Per Second [pps]"
3210       zeroline: False
3211     boxmode: "group"
3212     boxgroupgap: 0.5
3213     autosize: False
3214     margin:
3215       t: 50
3216       b: 20
3217       l: 50
3218       r: 20
3219     showlegend: True
3220     legend:
3221       orientation: "h"
3222     width: 700
3223     height: 1000
3224
3225 # Container orchestrated
3226 -
3227   type: "plot"
3228   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3229   algorithm: "plot_performance_box"
3230   output-file-type: ".html"
3231   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc"
3232   data:
3233     "plot-ligato-throughput-latency"
3234   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3235   parameters:
3236   - "throughput"
3237   - "parent"
3238   traces:
3239     hoverinfo: "x+y"
3240     boxpoints: "outliers"
3241     whiskerwidth: 0
3242   layout:
3243     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3244     layout:
3245       "plot-throughput"
3246
3247 -
3248   type: "plot"
3249   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3250   algorithm: "plot_performance_box"
3251   output-file-type: ".html"
3252   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc"
3253   data:
3254     "plot-ligato-throughput-latency"
3255   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3256   parameters:
3257   - "throughput"
3258   - "parent"
3259   traces:
3260     hoverinfo: "x+y"
3261     boxpoints: "outliers"
3262     whiskerwidth: 0
3263   layout:
3264     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3265     layout:
3266       "plot-throughput"
3267
3268 -
3269   type: "plot"
3270   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3271   algorithm: "plot_performance_box"
3272   output-file-type: ".html"
3273   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-pdrdisc"
3274   data:
3275     "plot-ligato-throughput-latency"
3276   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3277   parameters:
3278   - "throughput"
3279   - "parent"
3280   traces:
3281     hoverinfo: "x+y"
3282     boxpoints: "outliers"
3283     whiskerwidth: 0
3284   layout:
3285     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3286     layout:
3287       "plot-throughput"
3288
3289 -
3290   type: "plot"
3291   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3292   algorithm: "plot_performance_box"
3293   output-file-type: ".html"
3294   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-pdrdisc"
3295   data:
3296     "plot-ligato-throughput-latency"
3297   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3298   parameters:
3299   - "throughput"
3300   - "parent"
3301   traces:
3302     hoverinfo: "x+y"
3303     boxpoints: "outliers"
3304     whiskerwidth: 0
3305   layout:
3306     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3307     layout:
3308       "plot-throughput"
3309
3310 # Ligato - Latency
3311
3312 # Container memif
3313 -
3314   type: "plot"
3315   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3316   algorithm: "plot_latency_box"
3317   output-file-type: ".html"
3318   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc-lat50"
3319   data:
3320     "plot-vpp-throughput-latency"
3321   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3322   parameters:
3323   - "latency"
3324   - "parent"
3325   traces:
3326     boxmean: False
3327   layout:
3328     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3329     layout:
3330       "plot-latency"
3331
3332 -
3333   type: "plot"
3334   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3335   algorithm: "plot_latency_box"
3336   output-file-type: ".html"
3337   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc-lat50"
3338   data:
3339     "plot-vpp-throughput-latency"
3340   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3341   parameters:
3342   - "latency"
3343   - "parent"
3344   traces:
3345     boxmean: False
3346   layout:
3347     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3348     layout:
3349       "plot-latency"
3350
3351 # Container orchestrated
3352 -
3353   type: "plot"
3354   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3355   algorithm: "plot_latency_box"
3356   output-file-type: ".html"
3357   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc-lat50"
3358   data:
3359     "plot-ligato-throughput-latency"
3360   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3361   parameters:
3362   - "latency"
3363   - "parent"
3364   traces:
3365     boxmean: False
3366   layout:
3367     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3368     layout:
3369       "plot-latency"
3370
3371 -
3372   type: "plot"
3373   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3374   algorithm: "plot_latency_box"
3375   output-file-type: ".html"
3376   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc-lat50"
3377   data:
3378     "plot-ligato-throughput-latency"
3379   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3380   parameters:
3381   - "latency"
3382   - "parent"
3383   traces:
3384     boxmean: False
3385   layout:
3386     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3387     layout:
3388       "plot-latency"