resources/tools/presentation/specification.yaml

   1 -
   2   type: "environment"
   3   configuration:
   4     # Debug mode:
   5     # - Skip:
   6     #   - Download of input data files
   7     # - Do:
   8     #   - Read data from given zip / xml files
   9     #   - Set the configuration as it is done in normal mode
  10     # If the section "type: debug" is missing, CFG[DEBUG] is set to 0.
  11     CFG[DEBUG]: 0
  12
  13   paths:
  14     # Top level directories:
  15     ## Working directory
  16     DIR[WORKING]: "_tmp"
  17     ## Build directories
  18     DIR[BUILD,HTML]: "_build"
  19     DIR[BUILD,LATEX]: "_build_latex"
  20
  21     # Static .rst files
  22     DIR[RST]: "../../../docs/report"
  23
  24     # Working directories
  25     ## Input data files (.zip, .xml)
  26     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
  27     ## Static source files from git
  28     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
  29     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
  30
  31     # Static html content
  32     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
  33     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
  34     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
  35     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
  36
  37     # Detailed test results
  38     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
  39     DIR[DTR,PERF,DPDK]: "{DIR[DTR]}/dpdk_performance_results"
  40     DIR[DTR,PERF,VPP]: "{DIR[DTR]}/vpp_performance_results"
  41     DIR[DTR,PERF,COT]: "{DIR[DTR]}/cot_performance_results"
  42     DIR[DTR,PERF,HC]: "{DIR[DTR]}/honeycomb_performance_results"
  43     DIR[DTR,FUNC,VPP]: "{DIR[DTR]}/vpp_functional_results"
  44     DIR[DTR,FUNC,HC]: "{DIR[DTR]}/honeycomb_functional_results"
  45     DIR[DTR,FUNC,NSHSFC]: "{DIR[DTR]}/nshsfc_functional_results"
  46     DIR[DTR,PERF,VPP,IMPRV]: "{DIR[WORKING,SRC]}/vpp_performance_tests/performance_improvements"
  47
  48     # Detailed test configurations
  49     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
  50     DIR[DTC,PERF,VPP]: "{DIR[DTC]}/vpp_performance_configuration"
  51     DIR[DTC,FUNC,VPP]: "{DIR[DTC]}/vpp_functional_configuration"
  52
  53     # Detailed tests operational data
  54     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
  55     DIR[DTO,PERF,VPP]: "{DIR[DTO]}/vpp_performance_operational_data"
  56
  57     # .css patch file to fix tables generated by Sphinx
  58     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
  59     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
  60
  61   urls:
  62     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
  63     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
  64     URL[NEXUS]: "https://docs.fd.io/csit"
  65     DIR[NEXUS]: "report/_static/archive"
  66
  67   make-dirs:
  68   # List the directories which are created while preparing the environment.
  69   # All directories MUST be defined in "paths" section.
  70   - "DIR[WORKING,DATA]"
  71   - "DIR[STATIC,VPP]"
  72   - "DIR[STATIC,DPDK]"
  73   - "DIR[STATIC,ARCH]"
  74   - "DIR[BUILD,LATEX]"
  75   - "DIR[WORKING,SRC]"
  76   - "DIR[WORKING,SRC,STATIC]"
  77
  78   remove-dirs:
  79   # List the directories which are deleted while cleaning the environment.
  80   # All directories MUST be defined in "paths" section.
  81   #- "DIR[BUILD,HTML]"
  82
  83   build-dirs:
  84   # List the directories where the results (build) is stored.
  85   # All directories MUST be defined in "paths" section.
  86   - "DIR[BUILD,HTML]"
  87   - "DIR[BUILD,LATEX]"
  88
  89 -
  90   type: "configuration"
  91   data-sets:
  92 # TODO: Add the data sources
  93     plot-vpp-http-server-performance:
  94       csit-vpp-perf-1801-all:
  95       - 157
  96 # TODO: Add the data sources
  97 #    vpp-meltdown-impact:
  98 #      csit-vpp-perf-1707-all:
  99 #      - 9
 100 #      - 10
 101 #      - 13
 102 #      csit-vpp-perf-1710-all:
 103 #      - 11l
 104 #      - 12
 105 #      - 13
 106 # TODO: Add the data sources
 107 #    vpp-spectre-impact:
 108 #      csit-vpp-perf-1707-all:
 109 #      - 9
 110 #      - 10
 111 #      - 13
 112 #      csit-vpp-perf-1710-all:
 113 #      - 11
 114 #      - 12
 115 #      - 13
 116     vpp-performance-changes:
 117       csit-vpp-perf-1710-all:
 118       - 11
 119       - 12
 120       - 13
 121       - 14
 122       - 15
 123       - 16
 124       - 17
 125       - 18
 126       - 19
 127       - 20
 128 # TODO: Add the data sources
 129       csit-vpp-perf-1801-all:
 130       - 124  # sel
 131       - 127  # sel
 132       - 128  # sel
 133       - 141  # sel
 134       - 142  # sel
 135       - 143  # sel
 136       - 145  # sel
 137       - 146  # sel
 138 # TODO: Add the data sources
 139     plot-throughput-speedup-analysis:
 140       csit-vpp-perf-1801-all:
 141       - 124  # sel
 142       - 127  # sel
 143       - 128  # sel
 144       - 141  # sel
 145       - 142  # sel
 146       - 143  # sel
 147       - 145  # sel
 148       - 146  # sel
 149 #    performance-improvements:
 150 #      csit-vpp-perf-1707-all:
 151 #      - 9
 152 #      - 10
 153 #      - 13
 154 #      - 14
 155 #      - 15
 156 #      - 16
 157 #      - 17
 158 #      - 18
 159 #      - 19
 160 #      - 21
 161 #      csit-vpp-perf-1710-all:
 162 #      - 11
 163 #      - 12
 164 #      - 13
 165 #      - 14
 166 #      - 15
 167 #      - 16
 168 #      - 17
 169 #      - 18
 170 #      - 19
 171 #      - 20
 172 #      csit-vpp-perf-1801-all:
 173 #      - 124
 174 #      - 127
 175 #      - 128
 176 #      csit-ligato-perf-1710-all:
 177 #      - 5
 178 #      - 7
 179 #      - 8
 180 #      - 9
 181 #      - 10
 182 #      - 11
 183 #      - 12
 184 #      - 13
 185 #      - 16
 186 #      - 17
 187 #      csit-ligato-perf-1801-all:
 188 #      - 16  # sel
 189 #      - 17  # sel
 190 #      - 18  # sel
 191 # TODO: Add the data sources
 192     vpp-perf-results:
 193       csit-vpp-perf-1801-all:
 194       - 122
 195       - 126
 196       - 129
 197       - 140
 198     vpp-func-results:
 199       csit-vpp-functional-1801-ubuntu1604-virl:
 200       - "lastSuccessfulBuild"
 201 # TODO: Add the data sources
 202     ligato-perf-results:
 203       csit-ligato-perf-1801-all:
 204       - 17
 205     dpdk-perf-results:
 206       csit-dpdk-perf-1801-all:
 207       - 12
 208     hc-func-results:
 209       csit-hc2vpp-verify-func-1801-ubuntu1604:
 210       - "lastSuccessfulBuild"
 211     nsh-func-results:
 212       csit-nsh_sfc-verify-func-1801-ubuntu1604-virl:
 213       - 1
 214 # TODO: Add the data sources
 215     plot-vpp-throughput-latency:
 216       csit-vpp-perf-1801-all:
 217       - 124  # sel
 218       - 127  # sel
 219       - 128  # sel
 220       - 141  # sel
 221       - 142  # sel
 222       - 143  # sel
 223       - 145  # sel
 224       - 146  # sel
 225     plot-dpdk-throughput-latency:
 226       csit-dpdk-perf-1801-all:
 227       - 1
 228       - 3
 229       - 4
 230       - 5
 231       - 6
 232       - 7
 233       - 8
 234       - 10
 235       - 12
 236 # TODO: Add the data sources
 237     plot-ligato-throughput-latency:
 238       csit-ligato-perf-1801-all:
 239       - 16  # sel
 240       - 17  # sel
 241       - 18  # sel
 242
 243   plot-layouts:
 244
 245     plot-cps:
 246       xaxis:
 247         autorange: True
 248         autotick: False
 249         fixedrange: False
 250         gridcolor: "rgb(238, 238, 238)"
 251         linecolor: "rgb(238, 238, 238)"
 252         linewidth: 1
 253         showgrid: True
 254         showline: True
 255         showticklabels: True
 256         tickcolor: "rgb(238, 238, 238)"
 257         tickmode: "linear"
 258         title: "Indexed Test Cases"
 259         zeroline: False
 260       yaxis:
 261         gridcolor: "rgb(238, 238, 238)'"
 262         hoverformat: ".4s"
 263         linecolor: "rgb(238, 238, 238)"
 264         linewidth: 1
 265         range: []
 266         rangemode: "tozero"
 267         showgrid: True
 268         showline: True
 269         showticklabels: True
 270         tickcolor: "rgb(238, 238, 238)"
 271         title: "Connections Per Second [cps]"
 272         zeroline: False
 273       boxmode: "group"
 274       boxgroupgap: 0.5
 275       autosize: False
 276       margin:
 277         t: 50
 278         b: 20
 279         l: 50
 280         r: 20
 281       showlegend: True
 282       legend:
 283         orientation: "h"
 284       width: 700
 285       height: 1000
 286
 287     plot-rps:
 288       xaxis:
 289         autorange: True
 290         autotick: False
 291         fixedrange: False
 292         gridcolor: "rgb(238, 238, 238)"
 293         linecolor: "rgb(238, 238, 238)"
 294         linewidth: 1
 295         showgrid: True
 296         showline: True
 297         showticklabels: True
 298         tickcolor: "rgb(238, 238, 238)"
 299         tickmode: "linear"
 300         title: "Indexed Test Cases"
 301         zeroline: False
 302       yaxis:
 303         gridcolor: "rgb(238, 238, 238)'"
 304         hoverformat: ".4s"
 305         linecolor: "rgb(238, 238, 238)"
 306         linewidth: 1
 307         range: []
 308         rangemode: "tozero"
 309         showgrid: True
 310         showline: True
 311         showticklabels: True
 312         tickcolor: "rgb(238, 238, 238)"
 313         title: "Requests Per Second [rps]"
 314         zeroline: False
 315       boxmode: "group"
 316       boxgroupgap: 0.5
 317       autosize: False
 318       margin:
 319         t: 50
 320         b: 20
 321         l: 50
 322         r: 20
 323       showlegend: True
 324       legend:
 325         orientation: "h"
 326       width: 700
 327       height: 1000
 328
 329     plot-throughput:
 330       xaxis:
 331         autorange: True
 332         autotick: False
 333         fixedrange: False
 334         gridcolor: "rgb(238, 238, 238)"
 335         linecolor: "rgb(238, 238, 238)"
 336         linewidth: 1
 337         showgrid: True
 338         showline: True
 339         showticklabels: True
 340         tickcolor: "rgb(238, 238, 238)"
 341         tickmode: "linear"
 342         title: "Indexed Test Cases"
 343         zeroline: False
 344       yaxis:
 345         gridcolor: "rgb(238, 238, 238)'"
 346         hoverformat: ".4s"
 347         linecolor: "rgb(238, 238, 238)"
 348         linewidth: 1
 349         range: []
 350         showgrid: True
 351         showline: True
 352         showticklabels: True
 353         tickcolor: "rgb(238, 238, 238)"
 354         title: "Packets Per Second [pps]"
 355         zeroline: False
 356       boxmode: "group"
 357       boxgroupgap: 0.5
 358       autosize: False
 359       margin:
 360         t: 50
 361         b: 20
 362         l: 50
 363         r: 20
 364       showlegend: True
 365       legend:
 366         orientation: "h"
 367       width: 700
 368       height: 1000
 369
 370     plot-latency:
 371       xaxis:
 372         autorange: True
 373         autotick: False
 374         fixedrange: False
 375         gridcolor: "rgb(238, 238, 238)"
 376         linecolor: "rgb(238, 238, 238)"
 377         linewidth: 1
 378         showgrid: True
 379         showline: True
 380         showticklabels: True
 381         tickcolor: "rgb(238, 238, 238)"
 382         tickmode: "linear"
 383         title: "Indexed Test Cases"
 384         zeroline: False
 385       yaxis:
 386         gridcolor: "rgb(238, 238, 238)'"
 387         hoverformat: ""
 388         linecolor: "rgb(238, 238, 238)"
 389         linewidth: 1
 390         range: []
 391         showgrid: True
 392         showline: True
 393         showticklabels: True
 394         tickcolor: "rgb(238, 238, 238)"
 395         title: "Latency min/avg/max [uSec]"
 396         zeroline: False
 397       boxmode: "group"
 398       boxgroupgap: 0.5
 399       autosize: False
 400       margin:
 401         t: 50
 402         b: 20
 403         l: 50
 404         r: 20
 405       showlegend: True
 406       legend:
 407         orientation: "h"
 408       width: 700
 409       height: 1000
 410
 411     plot-throughput-speedup-analysis:
 412       xaxis:
 413         autorange: True
 414         autotick: False
 415         fixedrange: False
 416         gridcolor: "rgb(238, 238, 238)"
 417         linecolor: "rgb(238, 238, 238)"
 418         linewidth: 1
 419         showgrid: True
 420         showline: True
 421         showticklabels: True
 422         tickcolor: "rgb(238, 238, 238)"
 423         tickmode: "linear"
 424         tickangle: 270
 425         zeroline: False
 426       yaxis:
 427         title: "Throughput speedup factor"
 428         gridcolor: "rgb(238, 238, 238)"
 429         hoverformat: ".4s"
 430         linecolor: "rgb(238, 238, 238)"
 431         linewidth: 1
 432         range: []
 433         showgrid: True
 434         showline: True
 435         showticklabels: True
 436         tickcolor: "rgb(238, 238, 238)"
 437         zeroline: False
 438       legend:
 439         orientation: "h"
 440         xanchor: "center"
 441         yanchor: "top"
 442         x: 0.5
 443         y: 1
 444         bgcolor: "rgba(255, 255, 255, 0)"
 445         bordercolor: "rgba(255, 255, 255, 0)"
 446       barmode: "group"
 447       bargap: 0.15
 448       bargroupgap: 0.1
 449       autosize: False
 450       margin:
 451           't': 50
 452           'b': 200
 453           'l': 50
 454           'r': 20
 455       showlegend: True
 456       width: 700
 457       height: 1000
 458
 459 -
 460   type: "debug"
 461   general:
 462     input-format: "xml"  # zip or xml
 463     extract: "robot-plugin/output.xml"  # Only for zip
 464   builds:
 465     # The files must be in the directory DIR[WORKING,DATA]
 466     csit-vpp-perf-1801-all:
 467     -
 468       build: 1
 469       file: "{DIR[WORKING,DATA]}/output.xml"
 470     -
 471       build: 2
 472       file: "{DIR[WORKING,DATA]}/output.xml"
 473     -
 474       build: 3
 475       file: "{DIR[WORKING,DATA]}/output.xml"
 476     -
 477       build: 4
 478       file: "{DIR[WORKING,DATA]}/output.xml"
 479
 480 -
 481   type: "static"
 482   src-path: "{DIR[RST]}"
 483   dst-path: "{DIR[WORKING,SRC]}"
 484
 485 -
 486   type: "input"  # Ignored in debug mode
 487   general:
 488     file-name: "robot-plugin.zip"
 489     file-format: ".zip"
 490     download-path: "{job}/{build}/robot/report/*zip*/{filename}"
 491     extract: "robot-plugin/output.xml"
 492   builds:
 493 #    csit-vpp-perf-1707-all:
 494 #    - 9
 495 #    - 10
 496 #    - 13
 497 #    - 14
 498 #    - 15
 499 #    - 16
 500 #    - 17
 501 #    - 18
 502 #    - 19
 503 #    - 21
 504     csit-vpp-perf-1710-all:
 505     - 11
 506     - 12
 507     - 13
 508     - 14
 509     - 15
 510     - 16
 511     - 17
 512     - 18
 513     - 19
 514     - 20
 515 # TODO:
 516     csit-vpp-perf-1801-all:
 517     - 122  # full
 518     - 126  # full
 519     - 129  # full
 520     - 140  # full
 521     - 124  # sel
 522     - 127  # sel
 523     - 128  # sel
 524     - 141  # sel
 525     - 142  # sel
 526     - 143  # sel
 527     - 145  # sel
 528     - 146  # sel
 529     - 157  # wrk
 530     csit-ligato-perf-1710-all:
 531     - 5
 532     - 7
 533     - 8
 534     - 9
 535     - 10
 536     - 11
 537     - 12
 538     - 13
 539     - 16
 540     - 17
 541     csit-dpdk-perf-1801-all:
 542     - 1
 543     - 4
 544     - 5
 545     - 7
 546     - 8
 547     - 10
 548     - 12
 549     - 16
 550     - 17
 551 # TODO:
 552     csit-ligato-perf-1801-all:
 553     - 16  # sel
 554     - 17  # sel
 555     - 18  # sel
 556     csit-dpdk-perf-1801-all:
 557     - 1
 558     - 3
 559     - 4
 560     - 5
 561     - 6
 562     - 7
 563     - 8
 564     - 9
 565     - 10
 566     - 12
 567     csit-vpp-functional-1801-ubuntu1604-virl:
 568     - lastSuccessfulBuild
 569     csit-nsh_sfc-verify-func-1801-ubuntu1604-virl:
 570     - 1
 571     csit-hc2vpp-verify-func-1801-ubuntu1604:
 572     - lastSuccessfulBuild
 573
 574 -
 575   type: "output"
 576   format:
 577     html:
 578     - full
 579     pdf:
 580     - minimal
 581
 582 ################################################################################
 583 ###                               T A B L E S                                ###
 584 ################################################################################
 585
 586 #-
 587 #  type: "table"
 588 #  title: "Performance Impact of Meltdown Patches"
 589 #  algorithm: "table_performance_comparison"
 590 #  output-file-ext: ".csv"
 591 ## TODO: specify dir
 592 #  output-file: "{DIR[STATIC,VPP]}/meltdown-impact"
 593 #  reference:
 594 #    title: "No Meltdown"
 595 ## TODO: specify data sources
 596 #    data:
 597 #      csit-vpp-perf-1707-all:
 598 #      - 9
 599 #      - 10
 600 #      - 13
 601 #  compare:
 602 #    title: "Meltdown Patches Applied"
 603 ## TODO: specify data sources
 604 #    data:
 605 #      csit-vpp-perf-1710-all:
 606 #      - 11
 607 #      - 12
 608 #      - 13
 609 #  data:
 610 #    "vpp-meltdown-impact"
 611 #  filter: "all"
 612 #  parameters:
 613 #  - "name"
 614 #  - "parent"
 615 #  - "throughput"
 616 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
 617 #  # to present all tests.
 618 #  nr-of-tests-shown: 20
 619 #
 620 #-
 621 #  type: "table"
 622 #  title: "Performance Impact of Spectre Patches"
 623 #  algorithm: "table_performance_comparison"
 624 #  output-file-ext: ".csv"
 625 ## TODO: specify dir
 626 #  output-file: "{DIR[STATIC,VPP]}/meltdown-spectre-impact"
 627 #  reference:
 628 #    title: "No Spectre"
 629 ## TODO: specify data sources
 630 #    data:
 631 #      csit-vpp-perf-1707-all:
 632 #      - 9
 633 #      - 10
 634 #      - 13
 635 #  compare:
 636 #    title: "Spectre Patches Applied"
 637 ## TODO: specify data sources
 638 #    data:
 639 #      csit-vpp-perf-1710-all:
 640 #      - 11
 641 #      - 12
 642 #      - 13
 643 #  data:
 644 #    "vpp-spectre-impact"
 645 #  filter: "all"
 646 #  parameters:
 647 #  - "name"
 648 #  - "parent"
 649 #  - "throughput"
 650 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
 651 #  # to present all tests.
 652 #  nr-of-tests-shown: 20
 653
 654 -
 655   type: "table"
 656   title: "VPP Performance Changes"
 657   algorithm: "table_performance_comparison"
 658   output-file-ext: ".csv"
 659 # TODO: specify dir
 660   output-file: "{DIR[STATIC,VPP]}/performance-changes"
 661   reference:
 662     title: "Release 1710"
 663 # TODO: specify data sources
 664     data:
 665       csit-vpp-perf-1710-all:
 666       - 11
 667       - 12
 668       - 13
 669       - 14
 670       - 15
 671       - 16
 672       - 17
 673       - 18
 674       - 19
 675       - 20
 676   compare:
 677     title: "Release 1801"
 678 # TODO: specify data sources
 679     data:
 680       csit-vpp-perf-1801-all:
 681       - 124  # sel
 682       - 127  # sel
 683       - 128  # sel
 684       - 141  # sel
 685       - 142  # sel
 686       - 143  # sel
 687       - 145  # sel
 688       - 146  # sel
 689   data: "vpp-performance-changes"
 690   filter: "all"
 691   parameters:
 692   - "name"
 693   - "parent"
 694   - "throughput"
 695   # Number of the best and the worst tests presented in the table. Use 0 (zero)
 696   # to present all tests.
 697   nr-of-tests-shown: 20
 698   outlier-const: 1.5
 699
 700 #-
 701 #  type: "table"
 702 #  title: "Performance improvements"
 703 #  algorithm: "table_performance_improvements"
 704 #  template: "{DIR[DTR,PERF,VPP,IMPRV]}/tmpl_performance_improvements.csv"
 705 #  output-file-ext: ".csv"
 706 #  output-file: "{DIR[DTR,PERF,VPP,IMPRV]}/performance_improvements"
 707 #  columns:
 708 #  -
 709 #    title: "Test Name"
 710 #    data: "template 1"
 711 #  -
 712 #    title: "16.09 mean [Mpps]"
 713 #    data: "template 2"
 714 #  -
 715 #    title: "17.01 mean [Mpps]"
 716 #    data: "template 3"
 717 #  -
 718 #    title: "17.04 mean [Mpps]"
 719 #    data: "template 4"
 720 #  -
 721 #    title: "17.07 mean [Mpps]"
 722 #    data: "data csit-vpp-perf-1707-all mean"
 723 #  -
 724 #    title: "17.10 mean [Mpps]"
 725 #    data: "data csit-vpp-perf-1710-all csit-ligato-perf-1710-all mean"
 726 #  -
 727 #    title: "18.01 mean [Mpps]"
 728 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all mean"
 729 #  -
 730 #    title: "18.01 stdev [Mpps]"
 731 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all stdev"
 732 #  -
 733 #    title: "17.10 to 18.01 change [%]"
 734 #    data: "operation relative_change 5 6"
 735 #  rows: "generated"
 736 #  data:
 737 #    "performance-improvements"
 738 #  filter: "template"
 739 #  parameters:
 740 #  - "throughput"
 741
 742 -
 743   type: "table"
 744   title: "Detailed Test Results - VPP Performance Results"
 745   algorithm: "table_merged_details"
 746   output-file-ext: ".csv"
 747   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
 748   columns:
 749   -
 750     title: "Name"
 751     data: "data name"
 752   -
 753     title: "Documentation"
 754     data: "data doc"
 755   -
 756     title: "Status"
 757     data: "data msg"
 758   rows: "generated"
 759   data:
 760     "vpp-perf-results"
 761   filter: "not 'NDRCHK' and not 'PDRCHK'"
 762   parameters:
 763   - "name"
 764   - "parent"
 765   - "doc"
 766   - "msg"
 767
 768 -
 769   type: "table"
 770   title: "Test configuration - VPP Performance Test Configs"
 771   algorithm: "table_merged_details"
 772   output-file-ext: ".csv"
 773   output-file: "{DIR[DTC,PERF,VPP]}/vpp_test_configuration"
 774   columns:
 775   -
 776     title: "Name"
 777     data: "data name"
 778   -
 779     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
 780     data: "data vat-history"
 781   rows: "generated"
 782   data:
 783     "vpp-perf-results"
 784   filter: "not 'NDRCHK' and not 'PDRCHK'"
 785   parameters:
 786   - "parent"
 787   - "name"
 788   - "vat-history"
 789
 790 -
 791   type: "table"
 792   title: "Test Operational Data - VPP Performance Operational Data"
 793   algorithm: "table_merged_details"
 794   output-file-ext: ".csv"
 795   output-file: "{DIR[DTO,PERF,VPP]}/vpp_test_operational"
 796   columns:
 797   -
 798     title: "Name"
 799     data: "data name"
 800   -
 801     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
 802     data: "data show-run"
 803   rows: "generated"
 804   data:
 805     "vpp-perf-results"
 806   filter: "not 'NDRCHK' and not 'PDRCHK'"
 807   parameters:
 808   - "parent"
 809   - "name"
 810   - "show-run"
 811
 812 -
 813   type: "table"
 814   title: "Detailed Test Results - VPP Functional Results"
 815   algorithm: "table_details"
 816   output-file-ext: ".csv"
 817   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
 818   columns:
 819   -
 820     title: "Name"
 821     data: "data name"
 822   -
 823     title: "Documentation"
 824     data: "data doc"
 825   -
 826     title: "Status"
 827     data: "data status"
 828   rows: "generated"
 829   data:
 830     "vpp-func-results"
 831   filter: "all"
 832   parameters:
 833   - "name"
 834   - "parent"
 835   - "doc"
 836   - "status"
 837
 838 -
 839   type: "table"
 840   title: "Test configuration - VPP Functional Test Configs"
 841   algorithm: "table_details"
 842   output-file-ext: ".csv"
 843   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
 844   columns:
 845   -
 846     title: "Name"
 847     data: "data name"
 848   -
 849     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
 850     data: "data vat-history"
 851   rows: "generated"
 852   data:
 853     "vpp-func-results"
 854   filter: "all"
 855   parameters:
 856   - "parent"
 857   - "name"
 858   - "vat-history"
 859
 860 -
 861   type: "table"
 862   title: "Detailed Test Results - Container Orchestrated Topologies Performance Results"
 863   algorithm: "table_details"
 864   output-file-ext: ".csv"
 865   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
 866   columns:
 867   -
 868     title: "Name"
 869     data: "data name"
 870   -
 871     title: "Documentation"
 872     data: "data doc"
 873   -
 874     title: "Status"
 875     data: "data msg"
 876   rows: "generated"
 877   data:
 878     "ligato-perf-results"
 879   filter: "all"
 880   parameters:
 881   - "name"
 882   - "parent"
 883   - "doc"
 884   - "msg"
 885
 886 -
 887   type: "table"
 888   title: "Detailed Test Results - DPDK Performance Results"
 889   algorithm: "table_details"
 890   output-file-ext: ".csv"
 891   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
 892   columns:
 893   -
 894     title: "Name"
 895     data: "data name"
 896   -
 897     title: "Documentation"
 898     data: "data doc"
 899   -
 900     title: "Status"
 901     data: "data msg"
 902   rows: "generated"
 903   data:
 904     "dpdk-perf-results"
 905   filter: "all"
 906   parameters:
 907   - "name"
 908   - "parent"
 909   - "doc"
 910   - "msg"
 911
 912 -
 913   type: "table"
 914   title: "Detailed Test Results - Honeycomb Functional Results"
 915   algorithm: "table_details"
 916   output-file-ext: ".csv"
 917   output-file: "{DIR[DTR,FUNC,HC]}/hc_functional_results"
 918   columns:
 919   -
 920     title: "Name"
 921     data: "data name"
 922   -
 923     title: "Documentation"
 924     data: "data doc"
 925   -
 926     title: "Status"
 927     data: "data status"
 928   rows: "generated"
 929   data:
 930     "hc-func-results"
 931   filter: "all"
 932   parameters:
 933   - "name"
 934   - "parent"
 935   - "doc"
 936   - "status"
 937
 938 -
 939   type: "table"
 940   title: "Detailed Test Results - NSH SFC Functional Results"
 941   algorithm: "table_details"
 942   output-file-ext: ".csv"
 943   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nsh_sfc_functional_results"
 944   columns:
 945   -
 946     title: "Name"
 947     data: "data name"
 948   -
 949     title: "Documentation"
 950     data: "data doc"
 951   -
 952     title: "Status"
 953     data: "data status"
 954   rows: "generated"
 955   data:
 956     "nsh-func-results"
 957   filter: "all"
 958   parameters:
 959   - "name"
 960   - "parent"
 961   - "doc"
 962   - "status"
 963
 964 ################################################################################
 965 ###                                F I L E S                                 ###
 966 ################################################################################
 967
 968 -
 969   type: "file"
 970   title: "VPP Performance Results"
 971   algorithm: "file_merged_test_results"
 972   output-file-ext: ".rst"
 973   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
 974   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
 975   dir-tables: "{DIR[DTR,PERF,VPP]}"
 976   data:
 977     "vpp-perf-results"
 978   filter: "not 'NDRCHK' and not 'PDRCHK'"
 979   parameters:
 980   - "name"
 981   - "doc"
 982   - "level"
 983   - "parent"
 984   data-start-level: 3  # 0, 1, 2, ...
 985   chapters-start-level: 2  # 0, 1, 2, ...
 986
 987 -
 988   type: "file"
 989   title: "VPP Performance Configuration"
 990   algorithm: "file_merged_test_results"
 991   output-file-ext: ".rst"
 992   output-file: "{DIR[DTC,PERF,VPP]}/vpp_performance_configuration"
 993   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
 994   dir-tables: "{DIR[DTC,PERF,VPP]}"
 995   data:
 996     "vpp-perf-results"
 997   filter: "not 'NDRCHK' and not 'PDRCHK'"
 998   parameters:
 999   - "name"
1000   - "doc"
1001   - "level"
1002   - "parent"
1003   data-start-level: 3  # 0, 1, 2, ...
1004   chapters-start-level: 2  # 0, 1, 2, ...
1005
1006 -
1007   type: "file"
1008   title: "VPP Performance Operational Data"
1009   algorithm: "file_merged_test_results"
1010   output-file-ext: ".rst"
1011   output-file: "{DIR[DTO,PERF,VPP]}/vpp_performance_operational_data"
1012   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1013   dir-tables: "{DIR[DTO,PERF,VPP]}"
1014   data:
1015     "vpp-perf-results"
1016   filter: "not 'NDRCHK' and not 'PDRCHK'"
1017   parameters:
1018   - "name"
1019   - "doc"
1020   - "level"
1021   - "parent"
1022   data-start-level: 3  # 0, 1, 2, ...
1023   chapters-start-level: 2  # 0, 1, 2, ...
1024
1025 -
1026   type: "file"
1027   title: "VPP Functional Results"
1028   algorithm: "file_test_results"
1029   output-file-ext: ".rst"
1030   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
1031   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1032   dir-tables: "{DIR[DTR,FUNC,VPP]}"
1033   data:
1034     "vpp-func-results"
1035   filter: "all"
1036   parameters:
1037   - "name"
1038   - "doc"
1039   - "level"
1040   data-start-level: 3  # 0, 1, 2, ...
1041   chapters-start-level: 2  # 0, 1, 2, ...
1042
1043 -
1044   type: "file"
1045   title: "VPP Functional Configuration"
1046   algorithm: "file_test_results"
1047   output-file-ext: ".rst"
1048   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
1049   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1050   dir-tables: "{DIR[DTC,FUNC,VPP]}"
1051   data:
1052     "vpp-func-results"
1053   filter: "all"
1054   parameters:
1055   - "name"
1056   - "doc"
1057   - "level"
1058   data-start-level: 3  # 0, 1, 2, ...
1059   chapters-start-level: 2  # 0, 1, 2, ...
1060
1061 -
1062   type: "file"
1063   title: "Container Orchestrated Performance Results"
1064   algorithm: "file_test_results"
1065   output-file-ext: ".rst"
1066   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
1067   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1068   dir-tables: "{DIR[DTR,PERF,COT]}"
1069   data:
1070     "ligato-perf-results"
1071   filter: "all"
1072   parameters:
1073   - "name"
1074   - "doc"
1075   - "level"
1076   data-start-level: 2  # 0, 1, 2, ...
1077   chapters-start-level: 2  # 0, 1, 2, ...
1078
1079 -
1080   type: "file"
1081   title: "DPDK Performance Results"
1082   algorithm: "file_test_results"
1083   output-file-ext: ".rst"
1084   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
1085   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1086   dir-tables: "{DIR[DTR,PERF,DPDK]}"
1087   data:
1088     "dpdk-perf-results"
1089   filter: "all"
1090   parameters:
1091   - "name"
1092   - "doc"
1093   - "level"
1094   chapters:
1095   - "suites"
1096   data-start-level: 2  # 0, 1, 2, ...
1097   chapters-start-level: 2  # 0, 1, 2, ...
1098
1099 -
1100   type: "file"
1101   title: "Honeycomb Functional Results"
1102   algorithm: "file_test_results"
1103   output-file-ext: ".rst"
1104   output-file: "{DIR[DTR,FUNC,HC]}/honeycomb_functional_results"
1105   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1106   dir-tables: "{DIR[DTR,FUNC,HC]}"
1107   data:
1108     "hc-func-results"
1109   filter: "all"
1110   parameters:
1111   - "name"
1112   - "doc"
1113   - "level"
1114   chapters:
1115   - "suites"
1116   data-start-level: 3  # 0, 1, 2, ...
1117   chapters-start-level: 2  # 0, 1, 2, ...
1118
1119 -
1120   type: "file"
1121   title: "NSH SFC Functional Results"
1122   algorithm: "file_test_results"
1123   output-file-ext: ".rst"
1124   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nshsfc_functional_results"
1125   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1126   dir-tables: "{DIR[DTR,FUNC,NSHSFC]}"
1127   data:
1128     "nsh-func-results"
1129   filter: "all"
1130   parameters:
1131   - "name"
1132   - "doc"
1133   - "level"
1134   chapters:
1135   - "suites"
1136   data-start-level: 2  # 0, 1, 2, ...
1137   chapters-start-level: 2  # 0, 1, 2, ...
1138
1139 ################################################################################
1140 ###                                P L O T S                                 ###
1141 ################################################################################
1142
1143 # Plots VPP HTTP Server Performance
1144 #-
1145 #  type: "plot"
1146 #  title: "VPP HTTP Server Performance"
1147 #  algorithm: "plot_http_server_performance_box"
1148 #  output-file-type: ".html"
1149 #  output-file: "{DIR[STATIC,VPP]}/http-server-performance-cps"
1150 #  data:
1151 #    "plot-vpp-http-server-performance"
1152 #  # Keep this formatting, the filter is enclosed with " (quotation mark) and
1153 #  # each tag is enclosed with ' (apostrophe).
1154 #  filter: "'HTTP' and 'TCP_CPS'"
1155 #  parameters:
1156 #  - "result"
1157 #  - "name"
1158 #  traces:
1159 #    hoverinfo: "x+y"
1160 #    boxpoints: "outliers"
1161 #    whiskerwidth: 0
1162 #  layout:
1163 #    title: "VPP HTTP Server Performance"
1164 #    layout:
1165 #      "plot-cps"
1166 #
1167 #-
1168 #  type: "plot"
1169 #  title: "VPP HTTP Server Performance"
1170 #  algorithm: "plot_http_server_performance_box"
1171 #  output-file-type: ".html"
1172 #  output-file: "{DIR[STATIC,VPP]}/http-server-performance-rps"
1173 #  data:
1174 #    "plot-vpp-http-server-performance"
1175 #  filter: "'HTTP' and 'TCP_RPS'"
1176 #  parameters:
1177 #  - "result"
1178 #  - "name"
1179 #  traces:
1180 #    hoverinfo: "x+y"
1181 #    boxpoints: "outliers"
1182 #    whiskerwidth: 0
1183 #  layout:
1184 #    title: "VPP HTTP Server Performance"
1185 #    layout:
1186 #      "plot-rps"
1187
1188 # Plot Throughput Speedup Analysis
1189
1190 # L2 - 10ge2p1x520 - NDR
1191 -
1192   type: "plot"
1193   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1194   algorithm: "plot_throughput_speedup_analysis"
1195   output-file-type: ".html"
1196   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-ndrdisc"
1197   data:
1198     "plot-throughput-speedup-analysis"
1199   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1200   parameters:
1201   - "throughput"
1202   - "parent"
1203   - "tags"
1204   layout:
1205     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1206     layout:
1207       "plot-throughput-speedup-analysis"
1208
1209 # L2 - 40ge2p1xl710 - NDR
1210 -
1211   type: "plot"
1212   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1213   algorithm: "plot_throughput_speedup_analysis"
1214   output-file-type: ".html"
1215   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-l2-tsa-ndrdisc"
1216   data:
1217     "plot-throughput-speedup-analysis"
1218   filter: "'NIC_Intel-XL710' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1219   parameters:
1220   - "throughput"
1221   - "parent"
1222   - "tags"
1223   layout:
1224     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1225     layout:
1226       "plot-throughput-speedup-analysis"
1227
1228 # L2 - 10ge2p1x520 - PDR
1229 -
1230   type: "plot"
1231   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1232   algorithm: "plot_throughput_speedup_analysis"
1233   output-file-type: ".html"
1234   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-pdrdisc"
1235   data:
1236     "plot-throughput-speedup-analysis"
1237   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1238   parameters:
1239   - "throughput"
1240   - "parent"
1241   - "tags"
1242   layout:
1243     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1244     layout:
1245       "plot-throughput-speedup-analysis"
1246
1247 # IPv4 - 10ge2p1x520 - NDR
1248 -
1249   type: "plot"
1250   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1251   algorithm: "plot_throughput_speedup_analysis"
1252   output-file-type: ".html"
1253   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-ndrdisc"
1254   data:
1255     "plot-throughput-speedup-analysis"
1256   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1257   parameters:
1258   - "throughput"
1259   - "parent"
1260   - "tags"
1261   layout:
1262     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1263     layout:
1264       "plot-throughput-speedup-analysis"
1265
1266 # IPv4 - 40ge2p1xl710 - NDR
1267 -
1268   type: "plot"
1269   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1270   algorithm: "plot_throughput_speedup_analysis"
1271   output-file-type: ".html"
1272   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-ip4-tsa-ndrdisc"
1273   data:
1274     "plot-throughput-speedup-analysis"
1275   filter: "'NIC_Intel-XL710' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1276   parameters:
1277   - "throughput"
1278   - "parent"
1279   - "tags"
1280   layout:
1281     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1282     layout:
1283       "plot-throughput-speedup-analysis"
1284
1285 # IPv4 - 10ge2p1x520 - PDR
1286 -
1287   type: "plot"
1288   title: "TSA: 64B-*-ethip4-ip4(base|scale)*pdrdisc"
1289   algorithm: "plot_throughput_speedup_analysis"
1290   output-file-type: ".html"
1291   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-pdrdisc"
1292   data:
1293     "plot-throughput-speedup-analysis"
1294   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1295   parameters:
1296   - "throughput"
1297   - "parent"
1298   - "tags"
1299   layout:
1300     title: "64B-*-ethip4-ip4(base|scale)*pdrdisc"
1301     layout:
1302       "plot-throughput-speedup-analysis"
1303
1304 # IPv6 - 10ge2p1x520 - NDR
1305 -
1306   type: "plot"
1307   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1308   algorithm: "plot_throughput_speedup_analysis"
1309   output-file-type: ".html"
1310   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-ndrdisc"
1311   data:
1312     "plot-throughput-speedup-analysis"
1313   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1314   parameters:
1315   - "throughput"
1316   - "parent"
1317   - "tags"
1318   layout:
1319     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1320     layout:
1321       "plot-throughput-speedup-analysis"
1322
1323 # IPv6 - 40ge2p1xl710 - NDR
1324 -
1325   type: "plot"
1326   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1327   algorithm: "plot_throughput_speedup_analysis"
1328   output-file-type: ".html"
1329   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-78B-ip6-tsa-ndrdisc"
1330   data:
1331     "plot-throughput-speedup-analysis"
1332   filter: "'NIC_Intel-XL710' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1333   parameters:
1334   - "throughput"
1335   - "parent"
1336   - "tags"
1337   layout:
1338     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1339     layout:
1340       "plot-throughput-speedup-analysis"
1341
1342 # IPv6 - 10ge2p1x520 - PDR
1343 -
1344   type: "plot"
1345   title: "TSA: 78B-*-ethip6-ip6(base|scale)*pdrdisc"
1346   algorithm: "plot_throughput_speedup_analysis"
1347   output-file-type: ".html"
1348   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-pdrdisc"
1349   data:
1350     "plot-throughput-speedup-analysis"
1351   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST'"
1352   parameters:
1353   - "throughput"
1354   - "parent"
1355   - "tags"
1356   layout:
1357     title: "78B-*-ethip6-ip6(base|scale)*pdrdisc"
1358     layout:
1359       "plot-throughput-speedup-analysis"
1360
1361 # Plot packets per second
1362
1363 # VPP L2 sel1
1364 -
1365   type: "plot"
1366   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1367   algorithm: "plot_performance_box"
1368   output-file-type: ".html"
1369   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc"
1370   data:
1371     "plot-vpp-throughput-latency"
1372   # Keep this formatting, the filter is enclosed with " (quotation mark) and
1373   # each tag is enclosed with ' (apostrophe).
1374   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1375   parameters:
1376   - "throughput"
1377   - "parent"
1378   traces:
1379     hoverinfo: "x+y"
1380     boxpoints: "outliers"
1381     whiskerwidth: 0
1382   layout:
1383     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1384     layout:
1385       "plot-throughput"
1386
1387 -
1388   type: "plot"
1389   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1390   algorithm: "plot_performance_box"
1391   output-file-type: ".html"
1392   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc"
1393   data:
1394     "plot-vpp-throughput-latency"
1395   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1396   parameters:
1397   - "throughput"
1398   - "parent"
1399   traces:
1400     hoverinfo: "x+y"
1401     boxpoints: "outliers"
1402     whiskerwidth: 0
1403   layout:
1404     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1405     layout:
1406       "plot-throughput"
1407
1408 -
1409   type: "plot"
1410   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1411   algorithm: "plot_performance_box"
1412   output-file-type: ".html"
1413   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-pdrdisc"
1414   data:
1415     "plot-vpp-throughput-latency"
1416   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1417   parameters:
1418   - "throughput"
1419   - "parent"
1420   traces:
1421     hoverinfo: "x+y"
1422     boxpoints: "outliers"
1423     whiskerwidth: 0
1424   layout:
1425     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1426     layout:
1427       "plot-throughput"
1428
1429 -
1430   type: "plot"
1431   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1432   algorithm: "plot_performance_box"
1433   output-file-type: ".html"
1434   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-pdrdisc"
1435   data:
1436     "plot-vpp-throughput-latency"
1437   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1438   parameters:
1439   - "throughput"
1440   - "parent"
1441   traces:
1442     hoverinfo: "x+y"
1443     boxpoints: "outliers"
1444     whiskerwidth: 0
1445   layout:
1446     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1447     layout:
1448       "plot-throughput"
1449
1450 # VPP L2 sel2
1451 -
1452   type: "plot"
1453   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1454   algorithm: "plot_performance_box"
1455   output-file-type: ".html"
1456   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc"
1457   data:
1458     "plot-vpp-throughput-latency"
1459   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1460   parameters:
1461   - "throughput"
1462   - "parent"
1463   traces:
1464     hoverinfo: "x+y"
1465     boxpoints: "outliers"
1466     whiskerwidth: 0
1467   layout:
1468     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1469     layout:
1470       "plot-throughput"
1471
1472 -
1473   type: "plot"
1474   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1475   algorithm: "plot_performance_box"
1476   output-file-type: ".html"
1477   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc"
1478   data:
1479     "plot-vpp-throughput-latency"
1480   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1481   parameters:
1482   - "throughput"
1483   - "parent"
1484   traces:
1485     hoverinfo: "x+y"
1486     boxpoints: "outliers"
1487     whiskerwidth: 0
1488   layout:
1489     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1490     layout:
1491       "plot-throughput"
1492
1493 -
1494   type: "plot"
1495   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1496   algorithm: "plot_performance_box"
1497   output-file-type: ".html"
1498   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-pdrdisc"
1499   data:
1500     "plot-vpp-throughput-latency"
1501   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1502   parameters:
1503   - "throughput"
1504   - "parent"
1505   traces:
1506     hoverinfo: "x+y"
1507     boxpoints: "outliers"
1508     whiskerwidth: 0
1509   layout:
1510     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1511     layout:
1512       "plot-throughput"
1513
1514 -
1515   type: "plot"
1516   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1517   algorithm: "plot_performance_box"
1518   output-file-type: ".html"
1519   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-pdrdisc"
1520   data:
1521     "plot-vpp-throughput-latency"
1522   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1523   parameters:
1524   - "throughput"
1525   - "parent"
1526   traces:
1527     hoverinfo: "x+y"
1528     boxpoints: "outliers"
1529     whiskerwidth: 0
1530   layout:
1531     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1532     layout:
1533       "plot-throughput"
1534
1535 # VPP IP4
1536 -
1537   type: "plot"
1538   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1539   algorithm: "plot_performance_box"
1540   output-file-type: ".html"
1541   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc"
1542   data:
1543     "plot-vpp-throughput-latency"
1544   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1545   parameters:
1546   - "throughput"
1547   - "parent"
1548   traces:
1549     hoverinfo: "x+y"
1550     boxpoints: "outliers"
1551     whiskerwidth: 0
1552   layout:
1553     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1554     layout:
1555       "plot-throughput"
1556
1557 -
1558   type: "plot"
1559   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1560   algorithm: "plot_performance_box"
1561   output-file-type: ".html"
1562   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc"
1563   data:
1564     "plot-vpp-throughput-latency"
1565   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1566   parameters:
1567   - "throughput"
1568   - "parent"
1569   traces:
1570     hoverinfo: "x+y"
1571     boxpoints: "outliers"
1572     whiskerwidth: 0
1573   layout:
1574     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1575     layout:
1576       "plot-throughput"
1577
1578 -
1579   type: "plot"
1580   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1581   algorithm: "plot_performance_box"
1582   output-file-type: ".html"
1583   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-pdrdisc"
1584   data:
1585     "plot-vpp-throughput-latency"
1586   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1587   parameters:
1588   - "throughput"
1589   - "parent"
1590   traces:
1591     hoverinfo: "x+y"
1592     boxpoints: "outliers"
1593     whiskerwidth: 0
1594   layout:
1595     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1596     layout:
1597       "plot-throughput"
1598
1599 -
1600   type: "plot"
1601   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1602   algorithm: "plot_performance_box"
1603   output-file-type: ".html"
1604   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-pdrdisc"
1605   data:
1606     "plot-vpp-throughput-latency"
1607   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1608   parameters:
1609   - "throughput"
1610   - "parent"
1611   traces:
1612     hoverinfo: "x+y"
1613     boxpoints: "outliers"
1614     whiskerwidth: 0
1615   layout:
1616     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1617     layout:
1618       "plot-throughput"
1619
1620 # VPP IP6
1621 -
1622   type: "plot"
1623   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1624   algorithm: "plot_performance_box"
1625   output-file-type: ".html"
1626   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc"
1627   data:
1628     "plot-vpp-throughput-latency"
1629   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1630   parameters:
1631   - "throughput"
1632   - "parent"
1633   traces:
1634     hoverinfo: "x+y"
1635     boxpoints: "outliers"
1636     whiskerwidth: 0
1637   layout:
1638     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1639     layout:
1640       "plot-throughput"
1641
1642 -
1643   type: "plot"
1644   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1645   algorithm: "plot_performance_box"
1646   output-file-type: ".html"
1647   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc"
1648   data:
1649     "plot-vpp-throughput-latency"
1650   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1651   parameters:
1652   - "throughput"
1653   - "parent"
1654   traces:
1655     hoverinfo: "x+y"
1656     boxpoints: "outliers"
1657     whiskerwidth: 0
1658   layout:
1659     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1660     layout:
1661       "plot-throughput"
1662
1663 -
1664   type: "plot"
1665   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1666   algorithm: "plot_performance_box"
1667   output-file-type: ".html"
1668   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-pdrdisc"
1669   data:
1670     "plot-vpp-throughput-latency"
1671   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1672   parameters:
1673   - "throughput"
1674   - "parent"
1675   traces:
1676     hoverinfo: "x+y"
1677     boxpoints: "outliers"
1678     whiskerwidth: 0
1679   layout:
1680     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1681     layout:
1682       "plot-throughput"
1683
1684 -
1685   type: "plot"
1686   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1687   algorithm: "plot_performance_box"
1688   output-file-type: ".html"
1689   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-pdrdisc"
1690   data:
1691     "plot-vpp-throughput-latency"
1692   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1693   parameters:
1694   - "throughput"
1695   - "parent"
1696   traces:
1697     hoverinfo: "x+y"
1698     boxpoints: "outliers"
1699     whiskerwidth: 0
1700   layout:
1701     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1702     layout:
1703       "plot-throughput"
1704
1705 # VPP IP4_overlay
1706 -
1707   type: "plot"
1708   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1709   algorithm: "plot_performance_box"
1710   output-file-type: ".html"
1711   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc"
1712   data:
1713     "plot-vpp-throughput-latency"
1714   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1715   parameters:
1716   - "throughput"
1717   - "parent"
1718   traces:
1719     hoverinfo: "x+y"
1720     boxpoints: "outliers"
1721     whiskerwidth: 0
1722   layout:
1723     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1724     layout:
1725       "plot-throughput"
1726
1727 -
1728   type: "plot"
1729   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1730   algorithm: "plot_performance_box"
1731   output-file-type: ".html"
1732   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc"
1733   data:
1734     "plot-vpp-throughput-latency"
1735   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1736   parameters:
1737   - "throughput"
1738   - "parent"
1739   traces:
1740     hoverinfo: "x+y"
1741     boxpoints: "outliers"
1742     whiskerwidth: 0
1743   layout:
1744     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1745     layout:
1746       "plot-throughput"
1747
1748 -
1749   type: "plot"
1750   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1751   algorithm: "plot_performance_box"
1752   output-file-type: ".html"
1753   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-pdrdisc"
1754   data:
1755     "plot-vpp-throughput-latency"
1756   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1757   parameters:
1758   - "throughput"
1759   - "parent"
1760   traces:
1761     hoverinfo: "x+y"
1762     boxpoints: "outliers"
1763     whiskerwidth: 0
1764   layout:
1765     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1766     layout:
1767       "plot-throughput"
1768
1769 -
1770   type: "plot"
1771   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1772   algorithm: "plot_performance_box"
1773   output-file-type: ".html"
1774   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-pdrdisc"
1775   data:
1776     "plot-vpp-throughput-latency"
1777   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1778   parameters:
1779   - "throughput"
1780   - "parent"
1781   traces:
1782     hoverinfo: "x+y"
1783     boxpoints: "outliers"
1784     whiskerwidth: 0
1785   layout:
1786     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1787     layout:
1788       "plot-throughput"
1789
1790 # VPP IP6_overlay
1791 -
1792   type: "plot"
1793   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1794   algorithm: "plot_performance_box"
1795   output-file-type: ".html"
1796   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc"
1797   data:
1798     "plot-vpp-throughput-latency"
1799   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1800   parameters:
1801   - "throughput"
1802   - "parent"
1803   traces:
1804     hoverinfo: "x+y"
1805     boxpoints: "outliers"
1806     whiskerwidth: 0
1807   layout:
1808     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1809     xaxis:
1810       autorange: True
1811       autotick: False
1812       fixedrange: False
1813       gridcolor: "rgb(238, 238, 238)"
1814       linecolor: "rgb(238, 238, 238)"
1815       linewidth: 1
1816       showgrid: True
1817       showline: True
1818       showticklabels: True
1819       tickcolor: "rgb(238, 238, 238)"
1820       tickmode: "linear"
1821       title: "Indexed Test Cases"
1822       zeroline: False
1823     yaxis:
1824       gridcolor: "rgb(238, 238, 238)'"
1825       hoverformat: ".4s"
1826       linecolor: "rgb(238, 238, 238)"
1827       linewidth: 1
1828       range: [2000000, 6000000]
1829       showgrid: True
1830       showline: True
1831       showticklabels: True
1832       tickcolor: "rgb(238, 238, 238)"
1833       title: "Packets Per Second [pps]"
1834       zeroline: False
1835     boxmode: "group"
1836     boxgroupgap: 0.5
1837     autosize: False
1838     margin:
1839       t: 50
1840       b: 20
1841       l: 50
1842       r: 20
1843     showlegend: True
1844     legend:
1845       orientation: "h"
1846     width: 700
1847     height: 1000
1848
1849 -
1850   type: "plot"
1851   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1852   algorithm: "plot_performance_box"
1853   output-file-type: ".html"
1854   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc"
1855   data:
1856     "plot-vpp-throughput-latency"
1857   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1858   parameters:
1859   - "throughput"
1860   - "parent"
1861   traces:
1862     hoverinfo: "x+y"
1863     boxpoints: "outliers"
1864     whiskerwidth: 0
1865   layout:
1866     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1867     layout:
1868       "plot-throughput"
1869
1870 -
1871   type: "plot"
1872   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1873   algorithm: "plot_performance_box"
1874   output-file-type: ".html"
1875   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-pdrdisc"
1876   data:
1877     "plot-vpp-throughput-latency"
1878   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1879   parameters:
1880   - "throughput"
1881   - "parent"
1882   traces:
1883     hoverinfo: "x+y"
1884     boxpoints: "outliers"
1885     whiskerwidth: 0
1886   layout:
1887     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1888     layout:
1889       "plot-throughput"
1890
1891 -
1892   type: "plot"
1893   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1894   algorithm: "plot_performance_box"
1895   output-file-type: ".html"
1896   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-pdrdisc"
1897   data:
1898     "plot-vpp-throughput-latency"
1899   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1900   parameters:
1901   - "throughput"
1902   - "parent"
1903   traces:
1904     hoverinfo: "x+y"
1905     boxpoints: "outliers"
1906     whiskerwidth: 0
1907   layout:
1908     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1909     xaxis:
1910       autorange: True
1911       autotick: False
1912       fixedrange: False
1913       gridcolor: "rgb(238, 238, 238)"
1914       linecolor: "rgb(238, 238, 238)"
1915       linewidth: 1
1916       showgrid: True
1917       showline: True
1918       showticklabels: True
1919       tickcolor: "rgb(238, 238, 238)"
1920       tickmode: "linear"
1921       title: "Indexed Test Cases"
1922       zeroline: False
1923     yaxis:
1924       gridcolor: "rgb(238, 238, 238)'"
1925       hoverformat: ".4s"
1926       linecolor: "rgb(238, 238, 238)"
1927       linewidth: 1
1928       range: [4000000, 12000000]
1929       showgrid: True
1930       showline: True
1931       showticklabels: True
1932       tickcolor: "rgb(238, 238, 238)"
1933       title: "Packets Per Second [pps]"
1934       zeroline: False
1935     boxmode: "group"
1936     boxgroupgap: 0.5
1937     autosize: False
1938     margin:
1939       t: 50
1940       b: 20
1941       l: 50
1942       r: 20
1943     showlegend: True
1944     legend:
1945       orientation: "h"
1946     width: 700
1947     height: 1000
1948
1949 # VPP VM VHOST
1950 -
1951   type: "plot"
1952   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
1953   algorithm: "plot_performance_box"
1954   output-file-type: ".html"
1955   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc"
1956   data:
1957     "plot-vpp-throughput-latency"
1958   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
1959   parameters:
1960   - "throughput"
1961   - "parent"
1962   traces:
1963     hoverinfo: "x+y"
1964     boxpoints: "outliers"
1965     whiskerwidth: 0
1966   layout:
1967     title: "64B-1t1c-.*vhost.*-ndrdisc"
1968     xaxis:
1969       autorange: True
1970       autotick: False
1971       fixedrange: False
1972       gridcolor: "rgb(238, 238, 238)"
1973       linecolor: "rgb(238, 238, 238)"
1974       linewidth: 1
1975       showgrid: True
1976       showline: True
1977       showticklabels: True
1978       tickcolor: "rgb(238, 238, 238)"
1979       tickmode: "linear"
1980       title: "Indexed Test Cases"
1981       zeroline: False
1982     yaxis:
1983       gridcolor: "rgb(238, 238, 238)'"
1984       hoverformat: ".4s"
1985       linecolor: "rgb(238, 238, 238)"
1986       linewidth: 1
1987       range: [0, 3500000]
1988       showgrid: True
1989       showline: True
1990       showticklabels: True
1991       tickcolor: "rgb(238, 238, 238)"
1992       title: "Packets Per Second [pps]"
1993       zeroline: False
1994     boxmode: "group"
1995     boxgroupgap: 0.5
1996     autosize: False
1997     margin:
1998       t: 50
1999       b: 20
2000       l: 50
2001       r: 20
2002     showlegend: True
2003     legend:
2004       orientation: "h"
2005     width: 700
2006     height: 1000
2007
2008 -
2009   type: "plot"
2010   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2011   algorithm: "plot_performance_box"
2012   output-file-type: ".html"
2013   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc"
2014   data:
2015     "plot-vpp-throughput-latency"
2016   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2017   parameters:
2018   - "throughput"
2019   - "parent"
2020   traces:
2021     hoverinfo: "x+y"
2022     boxpoints: "outliers"
2023     whiskerwidth: 0
2024   layout:
2025     title: "64B-2t2c-.*vhost.*-ndrdisc"
2026     layout:
2027       "plot-throughput"
2028
2029 -
2030   type: "plot"
2031   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2032   algorithm: "plot_performance_box"
2033   output-file-type: ".html"
2034   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-pdrdisc"
2035   data:
2036     "plot-vpp-throughput-latency"
2037   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2038   parameters:
2039   - "throughput"
2040   - "parent"
2041   traces:
2042     hoverinfo: "x+y"
2043     boxpoints: "outliers"
2044     whiskerwidth: 0
2045   layout:
2046     title: "64B-1t1c-.*vhost.*-pdrdisc"
2047     layout:
2048       "plot-throughput"
2049
2050 -
2051   type: "plot"
2052   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2053   algorithm: "plot_performance_box"
2054   output-file-type: ".html"
2055   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-pdrdisc"
2056   data:
2057     "plot-vpp-throughput-latency"
2058   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2059   parameters:
2060   - "throughput"
2061   - "parent"
2062   traces:
2063     hoverinfo: "x+y"
2064     boxpoints: "outliers"
2065     whiskerwidth: 0
2066   layout:
2067     title: "64B-2t2c-.*vhost.*-pdrdisc"
2068     layout:
2069       "plot-throughput"
2070
2071 # VPP VM VHOST SELECTION
2072 -
2073   type: "plot"
2074   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2075   algorithm: "plot_performance_box"
2076   output-file-type: ".html"
2077   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc"
2078   data:
2079     "plot-vpp-throughput-latency"
2080   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2081   parameters:
2082   - "throughput"
2083   - "parent"
2084   traces:
2085     hoverinfo: "x+y"
2086     boxpoints: "outliers"
2087     whiskerwidth: 0
2088   layout:
2089     title: "64B-1t1c-.*vhost.*-ndrdisc"
2090     layout:
2091       "plot-throughput"
2092
2093 -
2094   type: "plot"
2095   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2096   algorithm: "plot_performance_box"
2097   output-file-type: ".html"
2098   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc"
2099   data:
2100     "plot-vpp-throughput-latency"
2101   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2102   parameters:
2103   - "throughput"
2104   - "parent"
2105   traces:
2106     hoverinfo: "x+y"
2107     boxpoints: "outliers"
2108     whiskerwidth: 0
2109   layout:
2110     title: "64B-2t2c-.*vhost.*-ndrdisc"
2111     layout:
2112       "plot-throughput"
2113
2114 -
2115   type: "plot"
2116   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2117   algorithm: "plot_performance_box"
2118   output-file-type: ".html"
2119   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-pdrdisc"
2120   data:
2121     "plot-vpp-throughput-latency"
2122   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2123   parameters:
2124   - "throughput"
2125   - "parent"
2126   traces:
2127     hoverinfo: "x+y"
2128     boxpoints: "outliers"
2129     whiskerwidth: 0
2130   layout:
2131     title: "64B-1t1c-.*vhost.*-pdrdisc"
2132     layout:
2133       "plot-throughput"
2134
2135 -
2136   type: "plot"
2137   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2138   algorithm: "plot_performance_box"
2139   output-file-type: ".html"
2140   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-pdrdisc"
2141   data:
2142     "plot-vpp-throughput-latency"
2143   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2144   parameters:
2145   - "throughput"
2146   - "parent"
2147   traces:
2148     hoverinfo: "x+y"
2149     boxpoints: "outliers"
2150     whiskerwidth: 0
2151   layout:
2152     title: "64B-2t2c-.*vhost.*-pdrdisc"
2153     layout:
2154       "plot-throughput"
2155
2156 # VPP CRYPTO
2157 -
2158   type: "plot"
2159   title: "VPP Performance 64B-1t1c-.*ipsec.*-ndrdisc"
2160   algorithm: "plot_performance_box"
2161   output-file-type: ".html"
2162   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc"
2163   data:
2164     "plot-vpp-throughput-latency"
2165   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2166   parameters:
2167   - "throughput"
2168   - "parent"
2169   traces:
2170     hoverinfo: "x+y"
2171     boxpoints: "outliers"
2172     whiskerwidth: 0
2173   layout:
2174     title: "64B-1t1c-.*ipsec.*-ndrdisc"
2175     layout:
2176       "plot-throughput"
2177
2178 -
2179   type: "plot"
2180   title: "VPP Performance 64B-2t2c-.*ipsec.*-ndrdisc"
2181   algorithm: "plot_performance_box"
2182   output-file-type: ".html"
2183   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc"
2184   data:
2185     "plot-vpp-throughput-latency"
2186   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2187   parameters:
2188   - "throughput"
2189   - "parent"
2190   traces:
2191     hoverinfo: "x+y"
2192     boxpoints: "outliers"
2193     whiskerwidth: 0
2194   layout:
2195     title: "64B-2t2c-.*ipsec.*-ndrdisc"
2196     layout:
2197       "plot-throughput"
2198
2199 -
2200   type: "plot"
2201   title: "VPP Performance 64B-1t1c-.*ipsec.*-pdrdisc"
2202   algorithm: "plot_performance_box"
2203   output-file-type: ".html"
2204   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-pdrdisc"
2205   data:
2206     "plot-vpp-throughput-latency"
2207   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2208   parameters:
2209   - "throughput"
2210   - "parent"
2211   traces:
2212     hoverinfo: "x+y"
2213     boxpoints: "outliers"
2214     whiskerwidth: 0
2215   layout:
2216     title: "64B-1t1c-.*ipsec.*-pdrdisc"
2217     layout:
2218       "plot-throughput"
2219
2220 -
2221   type: "plot"
2222   title: "VPP Performance 64B-2t2c-.*ipsec.*-pdrdisc"
2223   algorithm: "plot_performance_box"
2224   output-file-type: ".html"
2225   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-pdrdisc"
2226   data:
2227     "plot-vpp-throughput-latency"
2228   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2229   parameters:
2230   - "throughput"
2231   - "parent"
2232   traces:
2233     hoverinfo: "x+y"
2234     boxpoints: "outliers"
2235     whiskerwidth: 0
2236   layout:
2237     title: "64B-2t2c-.*ipsec.*-pdrdisc"
2238     layout:
2239       "plot-throughput"
2240
2241 # DPDK
2242 -
2243   type: "plot"
2244   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2245   algorithm: "plot_performance_box"
2246   output-file-type: ".html"
2247   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc"
2248   data:
2249     "plot-dpdk-throughput-latency"
2250   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2251   parameters:
2252   - "throughput"
2253   - "parent"
2254   traces:
2255     hoverinfo: "x+y"
2256     boxpoints: "outliers"
2257     whiskerwidth: 0
2258   layout:
2259     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2260     layout:
2261       "plot-throughput"
2262
2263 -
2264   type: "plot"
2265   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2266   algorithm: "plot_performance_box"
2267   output-file-type: ".html"
2268   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc"
2269   data:
2270     "plot-dpdk-throughput-latency"
2271   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2272   parameters:
2273   - "throughput"
2274   - "parent"
2275   traces:
2276     hoverinfo: "x+y"
2277     boxpoints: "outliers"
2278     whiskerwidth: 0
2279   layout:
2280     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2281     layout:
2282       "plot-throughput"
2283
2284 -
2285   type: "plot"
2286   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2287   algorithm: "plot_performance_box"
2288   output-file-type: ".html"
2289   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc"
2290   data:
2291     "plot-dpdk-throughput-latency"
2292   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
2293   parameters:
2294   - "throughput"
2295   - "parent"
2296   traces:
2297     hoverinfo: "x+y"
2298     boxpoints: "outliers"
2299     whiskerwidth: 0
2300   layout:
2301     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2302     xaxis:
2303       autorange: True
2304       autotick: False
2305       fixedrange: False
2306       gridcolor: "rgb(238, 238, 238)"
2307       linecolor: "rgb(238, 238, 238)"
2308       linewidth: 1
2309       showgrid: True
2310       showline: True
2311       showticklabels: True
2312       tickcolor: "rgb(238, 238, 238)"
2313       tickmode: "linear"
2314       title: "Indexed Test Cases"
2315       zeroline: False
2316     yaxis:
2317       gridcolor: "rgb(238, 238, 238)'"
2318       hoverformat: ".4s"
2319       linecolor: "rgb(238, 238, 238)"
2320       linewidth: 1
2321       range: [2000000, 12000000]
2322       showgrid: True
2323       showline: True
2324       showticklabels: True
2325       tickcolor: "rgb(238, 238, 238)"
2326       title: "Packets Per Second [pps]"
2327       zeroline: False
2328     boxmode: "group"
2329     boxgroupgap: 0.5
2330     autosize: False
2331     margin:
2332       t: 50
2333       b: 20
2334       l: 50
2335       r: 20
2336     showlegend: True
2337     legend:
2338       orientation: "h"
2339     width: 700
2340     height: 1000
2341
2342 -
2343   type: "plot"
2344   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2345   algorithm: "plot_performance_box"
2346   output-file-type: ".html"
2347   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc"
2348   data:
2349     "plot-dpdk-throughput-latency"
2350   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
2351   parameters:
2352   - "throughput"
2353   - "parent"
2354   traces:
2355     hoverinfo: "x+y"
2356     boxpoints: "outliers"
2357     whiskerwidth: 0
2358   layout:
2359     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2360     xaxis:
2361       autorange: True
2362       autotick: False
2363       fixedrange: False
2364       gridcolor: "rgb(238, 238, 238)"
2365       linecolor: "rgb(238, 238, 238)"
2366       linewidth: 1
2367       showgrid: True
2368       showline: True
2369       showticklabels: True
2370       tickcolor: "rgb(238, 238, 238)"
2371       tickmode: "linear"
2372       title: "Indexed Test Cases"
2373       zeroline: False
2374     yaxis:
2375       gridcolor: "rgb(238, 238, 238)'"
2376       hoverformat: ".4s"
2377       linecolor: "rgb(238, 238, 238)"
2378       linewidth: 1
2379       range: [2000000, 12000000]
2380       showgrid: True
2381       showline: True
2382       showticklabels: True
2383       tickcolor: "rgb(238, 238, 238)"
2384       title: "Packets Per Second [pps]"
2385       zeroline: False
2386     boxmode: "group"
2387     boxgroupgap: 0.5
2388     autosize: False
2389     margin:
2390       t: 50
2391       b: 20
2392       l: 50
2393       r: 20
2394     showlegend: True
2395     legend:
2396       orientation: "h"
2397     width: 700
2398     height: 1000
2399
2400 -
2401   type: "plot"
2402   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2403   algorithm: "plot_performance_box"
2404   output-file-type: ".html"
2405   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-pdrdisc"
2406   data:
2407     "plot-dpdk-throughput-latency"
2408   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2409   parameters:
2410   - "throughput"
2411   - "parent"
2412   traces:
2413     hoverinfo: "x+y"
2414     boxpoints: "outliers"
2415     whiskerwidth: 0
2416   layout:
2417     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2418     layout:
2419       "plot-throughput"
2420
2421 -
2422   type: "plot"
2423   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2424   algorithm: "plot_performance_box"
2425   output-file-type: ".html"
2426   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-pdrdisc"
2427   data:
2428     "plot-dpdk-throughput-latency"
2429   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2430   parameters:
2431   - "throughput"
2432   - "parent"
2433   traces:
2434     hoverinfo: "x+y"
2435     boxpoints: "outliers"
2436     whiskerwidth: 0
2437   layout:
2438     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2439     layout:
2440       "plot-throughput"
2441
2442 -
2443   type: "plot"
2444   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
2445   algorithm: "plot_performance_box"
2446   output-file-type: ".html"
2447   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-pdrdisc"
2448   data:
2449     "plot-dpdk-throughput-latency"
2450   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD'"
2451   parameters:
2452   - "throughput"
2453   - "parent"
2454   traces:
2455     hoverinfo: "x+y"
2456     boxpoints: "outliers"
2457     whiskerwidth: 0
2458   layout:
2459     title: "64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
2460     xaxis:
2461       autorange: True
2462       autotick: False
2463       fixedrange: False
2464       gridcolor: "rgb(238, 238, 238)"
2465       linecolor: "rgb(238, 238, 238)"
2466       linewidth: 1
2467       showgrid: True
2468       showline: True
2469       showticklabels: True
2470       tickcolor: "rgb(238, 238, 238)"
2471       tickmode: "linear"
2472       title: "Indexed Test Cases"
2473       zeroline: False
2474     yaxis:
2475       gridcolor: "rgb(238, 238, 238)'"
2476       hoverformat: ".4s"
2477       linecolor: "rgb(238, 238, 238)"
2478       linewidth: 1
2479       range: [20000000, 30000000]
2480       showgrid: True
2481       showline: True
2482       showticklabels: True
2483       tickcolor: "rgb(238, 238, 238)"
2484       title: "Packets Per Second [pps]"
2485       zeroline: False
2486     boxmode: "group"
2487     boxgroupgap: 0.5
2488     autosize: False
2489     margin:
2490       t: 50
2491       b: 20
2492       l: 50
2493       r: 20
2494     showlegend: True
2495     legend:
2496       orientation: "h"
2497     width: 700
2498     height: 1000
2499
2500 -
2501   type: "plot"
2502   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
2503   algorithm: "plot_performance_box"
2504   output-file-type: ".html"
2505   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-pdrdisc"
2506   data:
2507     "plot-dpdk-throughput-latency"
2508   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD'"
2509   parameters:
2510   - "throughput"
2511   - "parent"
2512   traces:
2513     hoverinfo: "x+y"
2514     boxpoints: "outliers"
2515     whiskerwidth: 0
2516   layout:
2517     title: "64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
2518     xaxis:
2519       autorange: True
2520       autotick: False
2521       fixedrange: False
2522       gridcolor: "rgb(238, 238, 238)"
2523       linecolor: "rgb(238, 238, 238)"
2524       linewidth: 1
2525       showgrid: True
2526       showline: True
2527       showticklabels: True
2528       tickcolor: "rgb(238, 238, 238)"
2529       tickmode: "linear"
2530       title: "Indexed Test Cases"
2531       zeroline: False
2532     yaxis:
2533       gridcolor: "rgb(238, 238, 238)'"
2534       hoverformat: ".4s"
2535       linecolor: "rgb(238, 238, 238)"
2536       linewidth: 1
2537       range: [20000000, 30000000]
2538       showgrid: True
2539       showline: True
2540       showticklabels: True
2541       tickcolor: "rgb(238, 238, 238)"
2542       title: "Packets Per Second [pps]"
2543       zeroline: False
2544     boxmode: "group"
2545     boxgroupgap: 0.5
2546     autosize: False
2547     margin:
2548       t: 50
2549       b: 20
2550       l: 50
2551       r: 20
2552     showlegend: True
2553     legend:
2554       orientation: "h"
2555     width: 700
2556     height: 1000
2557
2558 # Plot latency
2559
2560 # VPP L2 sel1
2561 -
2562   type: "plot"
2563   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2564   algorithm: "plot_latency_box"
2565   output-file-type: ".html"
2566   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc-lat50"
2567   data:
2568     "plot-vpp-throughput-latency"
2569   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2570   parameters:
2571   - "latency"
2572   - "parent"
2573   traces:
2574     boxmean: False
2575   layout:
2576     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2577     layout:
2578       "plot-latency"
2579
2580 -
2581   type: "plot"
2582   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2583   algorithm: "plot_latency_box"
2584   output-file-type: ".html"
2585   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc-lat50"
2586   data:
2587     "plot-vpp-throughput-latency"
2588   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2589   parameters:
2590   - "latency"
2591   - "parent"
2592   traces:
2593     boxmean: False
2594   layout:
2595     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2596     layout:
2597       "plot-latency"
2598
2599 # VPP L2 sel2
2600 -
2601   type: "plot"
2602   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2603   algorithm: "plot_latency_box"
2604   output-file-type: ".html"
2605   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc-lat50"
2606   data:
2607     "plot-vpp-throughput-latency"
2608   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2609   parameters:
2610   - "latency"
2611   - "parent"
2612   traces:
2613     boxmean: False
2614   layout:
2615     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2616     layout:
2617       "plot-latency"
2618
2619 -
2620   type: "plot"
2621   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2622   algorithm: "plot_latency_box"
2623   output-file-type: ".html"
2624   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc-lat50"
2625   data:
2626     "plot-vpp-throughput-latency"
2627   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2628   parameters:
2629   - "latency"
2630   - "parent"
2631   traces:
2632     boxmean: False
2633   layout:
2634     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2635     layout:
2636       "plot-latency"
2637
2638 # VPP IP4
2639 -
2640   type: "plot"
2641   title: "VPP Latency 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2642   algorithm: "plot_latency_box"
2643   output-file-type: ".html"
2644   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc-lat50"
2645   data:
2646     "plot-vpp-throughput-latency"
2647   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
2648   parameters:
2649   - "latency"
2650   - "parent"
2651   traces:
2652     boxmean: False
2653   layout:
2654     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2655     layout:
2656       "plot-latency"
2657
2658 -
2659   type: "plot"
2660   title: "VPP Latency 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2661   algorithm: "plot_latency_box"
2662   output-file-type: ".html"
2663   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc-lat50"
2664   data:
2665     "plot-vpp-throughput-latency"
2666   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
2667   parameters:
2668   - "latency"
2669   - "parent"
2670   traces:
2671     boxmean: False
2672   layout:
2673     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2674     layout:
2675       "plot-latency"
2676
2677 # VPP IP6
2678 -
2679   type: "plot"
2680   title: "VPP Latency 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2681   algorithm: "plot_latency_box"
2682   output-file-type: ".html"
2683   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc-lat50"
2684   data:
2685     "plot-vpp-throughput-latency"
2686   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2687   parameters:
2688   - "latency"
2689   - "parent"
2690   traces:
2691     boxmean: False
2692   layout:
2693     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2694     layout:
2695       "plot-latency"
2696
2697 -
2698   type: "plot"
2699   title: "VPP Latency 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2700   algorithm: "plot_latency_box"
2701   output-file-type: ".html"
2702   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc-lat50"
2703   data:
2704     "plot-vpp-throughput-latency"
2705   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2706   parameters:
2707   - "latency"
2708   - "parent"
2709   traces:
2710     boxmean: False
2711   layout:
2712     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2713     layout:
2714       "plot-latency"
2715
2716 # VPP IP4_overlay
2717 -
2718   type: "plot"
2719   title: "VPP Latency 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2720   algorithm: "plot_latency_box"
2721   output-file-type: ".html"
2722   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc-lat50"
2723   data:
2724     "plot-vpp-throughput-latency"
2725   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2726   parameters:
2727   - "latency"
2728   - "parent"
2729   traces:
2730     boxmean: False
2731   layout:
2732     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2733     layout:
2734       "plot-latency"
2735
2736 -
2737   type: "plot"
2738   title: "VPP Latency 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2739   algorithm: "plot_latency_box"
2740   output-file-type: ".html"
2741   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc-lat50"
2742   data:
2743     "plot-vpp-throughput-latency"
2744   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2745   parameters:
2746   - "latency"
2747   - "parent"
2748   traces:
2749     boxmean: False
2750   layout:
2751     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2752     layout:
2753       "plot-latency"
2754
2755 # VPP IP6_overlay
2756 -
2757   type: "plot"
2758   title: "VPP Latency 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2759   algorithm: "plot_latency_box"
2760   output-file-type: ".html"
2761   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc-lat50"
2762   data:
2763     "plot-vpp-throughput-latency"
2764   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2765   parameters:
2766   - "latency"
2767   - "parent"
2768   traces:
2769     boxmean: False
2770   layout:
2771     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2772     layout:
2773       "plot-latency"
2774
2775 -
2776   type: "plot"
2777   title: "VPP Latency 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2778   algorithm: "plot_latency_box"
2779   output-file-type: ".html"
2780   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc-lat50"
2781   data:
2782     "plot-vpp-throughput-latency"
2783   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2784   parameters:
2785   - "latency"
2786   - "parent"
2787   traces:
2788     boxmean: False
2789   layout:
2790     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2791     layout:
2792       "plot-latency"
2793
2794 # VPP VM VHOST
2795 -
2796   type: "plot"
2797   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
2798   algorithm: "plot_latency_box"
2799   output-file-type: ".html"
2800   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc-lat50"
2801   data:
2802     "plot-vpp-throughput-latency"
2803   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2804   parameters:
2805   - "latency"
2806   - "parent"
2807   traces:
2808     boxmean: False
2809   layout:
2810     title: "64B-1t1c-.*vhost.*-ndrdisc"
2811     layout:
2812       "plot-latency"
2813
2814 -
2815   type: "plot"
2816   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
2817   algorithm: "plot_latency_box"
2818   output-file-type: ".html"
2819   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc-lat50"
2820   data:
2821     "plot-vpp-throughput-latency"
2822   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2823   parameters:
2824   - "latency"
2825   - "parent"
2826   traces:
2827     boxmean: False
2828   layout:
2829     title: "64B-2t2c-.*vhost.*-ndrdisc"
2830     layout:
2831       "plot-latency"
2832
2833 # VPP VM VHOST selection
2834 -
2835   type: "plot"
2836   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
2837   algorithm: "plot_latency_box"
2838   output-file-type: ".html"
2839   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc-lat50"
2840   data:
2841     "plot-vpp-throughput-latency"
2842   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2843   parameters:
2844   - "latency"
2845   - "parent"
2846   traces:
2847     boxmean: False
2848   layout:
2849     title: "64B-1t1c-.*vhost.*-ndrdisc"
2850     layout:
2851       "plot-latency"
2852
2853 -
2854   type: "plot"
2855   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
2856   algorithm: "plot_latency_box"
2857   output-file-type: ".html"
2858   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc-lat50"
2859   data:
2860     "plot-vpp-throughput-latency"
2861   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2862   parameters:
2863   - "latency"
2864   - "parent"
2865   traces:
2866     boxmean: False
2867   layout:
2868     title: "64B-2t2c-.*vhost.*-ndrdisc"
2869     layout:
2870       "plot-latency"
2871
2872 # VPP CRYPTO
2873 -
2874   type: "plot"
2875   title: "VPP Latency 64B-1t1c-.*ipsec.*-ndrdisc"
2876   algorithm: "plot_latency_box"
2877   output-file-type: ".html"
2878   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc-lat50"
2879   data:
2880     "plot-vpp-throughput-latency"
2881   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2882   parameters:
2883   - "latency"
2884   - "parent"
2885   traces:
2886     boxmean: False
2887   layout:
2888     title: "64B-1t1c-.*ipsec.*-ndrdisc"
2889     layout:
2890       "plot-latency"
2891
2892 -
2893   type: "plot"
2894   title: "VPP Latency 64B-2t2c-.*ipsec.*-ndrdisc"
2895   algorithm: "plot_latency_box"
2896   output-file-type: ".html"
2897   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc-lat50"
2898   data:
2899     "plot-vpp-throughput-latency"
2900   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2901   parameters:
2902   - "latency"
2903   - "parent"
2904   traces:
2905     boxmean: False
2906   layout:
2907     title: "64B-2t2c-.*ipsec.*-ndrdisc"
2908     layout:
2909       "plot-latency"
2910
2911 # DPDK
2912 -
2913   type: "plot"
2914   title: "DPDK Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2915   algorithm: "plot_latency_box"
2916   output-file-type: ".html"
2917   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc-lat50"
2918   data:
2919     "plot-dpdk-throughput-latency"
2920   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2921   parameters:
2922   - "latency"
2923   - "parent"
2924   traces:
2925     boxmean: False
2926   layout:
2927     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2928     layout:
2929       "plot-latency"
2930
2931 -
2932   type: "plot"
2933   title: "DPDK Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2934   algorithm: "plot_latency_box"
2935   output-file-type: ".html"
2936   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc-lat50"
2937   data:
2938     "plot-dpdk-throughput-latency"
2939   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2940   parameters:
2941   - "latency"
2942   - "parent"
2943   traces:
2944     boxmean: False
2945   layout:
2946     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2947     layout:
2948       "plot-latency"
2949
2950 -
2951   type: "plot"
2952   title: "DPDK Latency 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2953   algorithm: "plot_latency_box"
2954   output-file-type: ".html"
2955   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc-lat50"
2956   data:
2957     "plot-dpdk-throughput-latency"
2958   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
2959   parameters:
2960   - "latency"
2961   - "parent"
2962   traces:
2963     boxmean: False
2964   layout:
2965     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2966     layout:
2967       "plot-latency"
2968
2969 -
2970   type: "plot"
2971   title: "DPDK Latency 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2972   algorithm: "plot_latency_box"
2973   output-file-type: ".html"
2974   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc-lat50"
2975   data:
2976     "plot-dpdk-throughput-latency"
2977   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
2978   parameters:
2979   - "latency"
2980   - "parent"
2981   traces:
2982     boxmean: False
2983   layout:
2984     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2985     layout:
2986       "plot-latency"
2987
2988 # Ligato - Throughput
2989
2990 # Container memif
2991 -
2992   type: "plot"
2993   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2994   algorithm: "plot_performance_box"
2995   output-file-type: ".html"
2996   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc"
2997   data:
2998     "plot-vpp-throughput-latency"
2999   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3000   parameters:
3001   - "throughput"
3002   - "parent"
3003   traces:
3004     hoverinfo: "x+y"
3005     boxpoints: "outliers"
3006     whiskerwidth: 0
3007   layout:
3008     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3009     xaxis:
3010       autorange: True
3011       autotick: False
3012       fixedrange: False
3013       gridcolor: "rgb(238, 238, 238)"
3014       linecolor: "rgb(238, 238, 238)"
3015       linewidth: 1
3016       showgrid: True
3017       showline: True
3018       showticklabels: True
3019       tickcolor: "rgb(238, 238, 238)"
3020       tickmode: "linear"
3021       title: "Indexed Test Cases"
3022       zeroline: False
3023     yaxis:
3024       gridcolor: "rgb(238, 238, 238)'"
3025       hoverformat: ".4s"
3026       linecolor: "rgb(238, 238, 238)"
3027       linewidth: 1
3028       range: [0, 4500000]
3029       showgrid: True
3030       showline: True
3031       showticklabels: True
3032       tickcolor: "rgb(238, 238, 238)"
3033       title: "Packets Per Second [pps]"
3034       zeroline: False
3035     boxmode: "group"
3036     boxgroupgap: 0.5
3037     autosize: False
3038     margin:
3039       t: 50
3040       b: 20
3041       l: 50
3042       r: 20
3043     showlegend: True
3044     legend:
3045       orientation: "h"
3046     width: 700
3047     height: 1000
3048
3049 -
3050   type: "plot"
3051   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3052   algorithm: "plot_performance_box"
3053   output-file-type: ".html"
3054   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc"
3055   data:
3056     "plot-vpp-throughput-latency"
3057   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3058   parameters:
3059   - "throughput"
3060   - "parent"
3061   traces:
3062     hoverinfo: "x+y"
3063     boxpoints: "outliers"
3064     whiskerwidth: 0
3065   layout:
3066     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3067     xaxis:
3068       autorange: True
3069       autotick: False
3070       fixedrange: False
3071       gridcolor: "rgb(238, 238, 238)"
3072       linecolor: "rgb(238, 238, 238)"
3073       linewidth: 1
3074       showgrid: True
3075       showline: True
3076       showticklabels: True
3077       tickcolor: "rgb(238, 238, 238)"
3078       tickmode: "linear"
3079       title: "Indexed Test Cases"
3080       zeroline: False
3081     yaxis:
3082       gridcolor: "rgb(238, 238, 238)'"
3083       hoverformat: ".4s"
3084       linecolor: "rgb(238, 238, 238)"
3085       linewidth: 1
3086       range: [0, 8000000]
3087       showgrid: True
3088       showline: True
3089       showticklabels: True
3090       tickcolor: "rgb(238, 238, 238)"
3091       title: "Packets Per Second [pps]"
3092       zeroline: False
3093     boxmode: "group"
3094     boxgroupgap: 0.5
3095     autosize: False
3096     margin:
3097       t: 50
3098       b: 20
3099       l: 50
3100       r: 20
3101     showlegend: True
3102     legend:
3103       orientation: "h"
3104     width: 700
3105     height: 1000
3106
3107 -
3108   type: "plot"
3109   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3110   algorithm: "plot_performance_box"
3111   output-file-type: ".html"
3112   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-pdrdisc"
3113   data:
3114     "plot-vpp-throughput-latency"
3115   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3116   parameters:
3117   - "throughput"
3118   - "parent"
3119   traces:
3120     hoverinfo: "x+y"
3121     boxpoints: "outliers"
3122     whiskerwidth: 0
3123   layout:
3124     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3125     xaxis:
3126       autorange: True
3127       autotick: False
3128       fixedrange: False
3129       gridcolor: "rgb(238, 238, 238)"
3130       linecolor: "rgb(238, 238, 238)"
3131       linewidth: 1
3132       showgrid: True
3133       showline: True
3134       showticklabels: True
3135       tickcolor: "rgb(238, 238, 238)"
3136       tickmode: "linear"
3137       title: "Indexed Test Cases"
3138       zeroline: False
3139     yaxis:
3140       gridcolor: "rgb(238, 238, 238)'"
3141       hoverformat: ".4s"
3142       linecolor: "rgb(238, 238, 238)"
3143       linewidth: 1
3144       range: [0, 4500000]
3145       showgrid: True
3146       showline: True
3147       showticklabels: True
3148       tickcolor: "rgb(238, 238, 238)"
3149       title: "Packets Per Second [pps]"
3150       zeroline: False
3151     boxmode: "group"
3152     boxgroupgap: 0.5
3153     autosize: False
3154     margin:
3155       t: 50
3156       b: 20
3157       l: 50
3158       r: 20
3159     showlegend: True
3160     legend:
3161       orientation: "h"
3162     width: 700
3163     height: 1000
3164
3165 -
3166   type: "plot"
3167   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3168   algorithm: "plot_performance_box"
3169   output-file-type: ".html"
3170   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-pdrdisc"
3171   data:
3172     "plot-vpp-throughput-latency"
3173   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3174   parameters:
3175   - "throughput"
3176   - "parent"
3177   traces:
3178     hoverinfo: "x+y"
3179     boxpoints: "outliers"
3180     whiskerwidth: 0
3181   layout:
3182     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3183     xaxis:
3184       autorange: True
3185       autotick: False
3186       fixedrange: False
3187       gridcolor: "rgb(238, 238, 238)"
3188       linecolor: "rgb(238, 238, 238)"
3189       linewidth: 1
3190       showgrid: True
3191       showline: True
3192       showticklabels: True
3193       tickcolor: "rgb(238, 238, 238)"
3194       tickmode: "linear"
3195       title: "Indexed Test Cases"
3196       zeroline: False
3197     yaxis:
3198       gridcolor: "rgb(238, 238, 238)'"
3199       hoverformat: ".4s"
3200       linecolor: "rgb(238, 238, 238)"
3201       linewidth: 1
3202       range: [0, 8000000]
3203       showgrid: True
3204       showline: True
3205       showticklabels: True
3206       tickcolor: "rgb(238, 238, 238)"
3207       title: "Packets Per Second [pps]"
3208       zeroline: False
3209     boxmode: "group"
3210     boxgroupgap: 0.5
3211     autosize: False
3212     margin:
3213       t: 50
3214       b: 20
3215       l: 50
3216       r: 20
3217     showlegend: True
3218     legend:
3219       orientation: "h"
3220     width: 700
3221     height: 1000
3222
3223 # Container orchestrated
3224 -
3225   type: "plot"
3226   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3227   algorithm: "plot_performance_box"
3228   output-file-type: ".html"
3229   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc"
3230   data:
3231     "plot-ligato-throughput-latency"
3232   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3233   parameters:
3234   - "throughput"
3235   - "parent"
3236   traces:
3237     hoverinfo: "x+y"
3238     boxpoints: "outliers"
3239     whiskerwidth: 0
3240   layout:
3241     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3242     layout:
3243       "plot-throughput"
3244
3245 -
3246   type: "plot"
3247   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3248   algorithm: "plot_performance_box"
3249   output-file-type: ".html"
3250   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc"
3251   data:
3252     "plot-ligato-throughput-latency"
3253   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3254   parameters:
3255   - "throughput"
3256   - "parent"
3257   traces:
3258     hoverinfo: "x+y"
3259     boxpoints: "outliers"
3260     whiskerwidth: 0
3261   layout:
3262     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3263     layout:
3264       "plot-throughput"
3265
3266 -
3267   type: "plot"
3268   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3269   algorithm: "plot_performance_box"
3270   output-file-type: ".html"
3271   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-pdrdisc"
3272   data:
3273     "plot-ligato-throughput-latency"
3274   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3275   parameters:
3276   - "throughput"
3277   - "parent"
3278   traces:
3279     hoverinfo: "x+y"
3280     boxpoints: "outliers"
3281     whiskerwidth: 0
3282   layout:
3283     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3284     layout:
3285       "plot-throughput"
3286
3287 -
3288   type: "plot"
3289   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3290   algorithm: "plot_performance_box"
3291   output-file-type: ".html"
3292   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-pdrdisc"
3293   data:
3294     "plot-ligato-throughput-latency"
3295   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3296   parameters:
3297   - "throughput"
3298   - "parent"
3299   traces:
3300     hoverinfo: "x+y"
3301     boxpoints: "outliers"
3302     whiskerwidth: 0
3303   layout:
3304     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3305     layout:
3306       "plot-throughput"
3307
3308 # Ligato - Latency
3309
3310 # Container memif
3311 -
3312   type: "plot"
3313   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3314   algorithm: "plot_latency_box"
3315   output-file-type: ".html"
3316   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc-lat50"
3317   data:
3318     "plot-vpp-throughput-latency"
3319   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3320   parameters:
3321   - "latency"
3322   - "parent"
3323   traces:
3324     boxmean: False
3325   layout:
3326     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3327     layout:
3328       "plot-latency"
3329
3330 -
3331   type: "plot"
3332   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3333   algorithm: "plot_latency_box"
3334   output-file-type: ".html"
3335   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc-lat50"
3336   data:
3337     "plot-vpp-throughput-latency"
3338   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3339   parameters:
3340   - "latency"
3341   - "parent"
3342   traces:
3343     boxmean: False
3344   layout:
3345     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3346     layout:
3347       "plot-latency"
3348
3349 # Container orchestrated
3350 -
3351   type: "plot"
3352   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3353   algorithm: "plot_latency_box"
3354   output-file-type: ".html"
3355   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc-lat50"
3356   data:
3357     "plot-ligato-throughput-latency"
3358   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3359   parameters:
3360   - "latency"
3361   - "parent"
3362   traces:
3363     boxmean: False
3364   layout:
3365     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3366     layout:
3367       "plot-latency"
3368
3369 -
3370   type: "plot"
3371   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3372   algorithm: "plot_latency_box"
3373   output-file-type: ".html"
3374   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc-lat50"
3375   data:
3376     "plot-ligato-throughput-latency"
3377   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3378   parameters:
3379   - "latency"
3380   - "parent"
3381   traces:
3382     boxmean: False
3383   layout:
3384     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3385     layout:
3386       "plot-latency"