resources/tools/presentation/specification.yaml

   1 -
   2   type: "environment"
   3   configuration:
   4     # Debug mode:
   5     # - Skip:
   6     #   - Download of input data files
   7     # - Do:
   8     #   - Read data from given zip / xml files
   9     #   - Set the configuration as it is done in normal mode
  10     # If the section "type: debug" is missing, CFG[DEBUG] is set to 0.
  11     CFG[DEBUG]: 0
  12
  13   paths:
  14     # Top level directories:
  15     ## Working directory
  16     DIR[WORKING]: "_tmp"
  17     ## Build directories
  18     DIR[BUILD,HTML]: "_build"
  19     DIR[BUILD,LATEX]: "_build_latex"
  20
  21     # Static .rst files
  22     DIR[RST]: "../../../docs/report"
  23
  24     # Working directories
  25     ## Input data files (.zip, .xml)
  26     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
  27     ## Static source files from git
  28     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
  29     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
  30
  31     # Static html content
  32     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
  33     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
  34     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
  35     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
  36
  37     # Detailed test results
  38     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
  39     DIR[DTR,PERF,DPDK]: "{DIR[DTR]}/dpdk_performance_results"
  40     DIR[DTR,PERF,VPP]: "{DIR[DTR]}/vpp_performance_results"
  41     DIR[DTR,PERF,COT]: "{DIR[DTR]}/cot_performance_results"
  42     DIR[DTR,PERF,HC]: "{DIR[DTR]}/honeycomb_performance_results"
  43     DIR[DTR,FUNC,VPP]: "{DIR[DTR]}/vpp_functional_results"
  44     DIR[DTR,FUNC,HC]: "{DIR[DTR]}/honeycomb_functional_results"
  45     DIR[DTR,FUNC,NSHSFC]: "{DIR[DTR]}/nshsfc_functional_results"
  46     DIR[DTR,PERF,VPP,IMPRV]: "{DIR[WORKING,SRC]}/vpp_performance_tests/performance_improvements"
  47
  48     # Detailed test configurations
  49     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
  50     DIR[DTC,PERF,VPP]: "{DIR[DTC]}/vpp_performance_configuration"
  51     DIR[DTC,FUNC,VPP]: "{DIR[DTC]}/vpp_functional_configuration"
  52
  53     # Detailed tests operational data
  54     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
  55     DIR[DTO,PERF,VPP]: "{DIR[DTO]}/vpp_performance_operational_data"
  56
  57     # .css patch file to fix tables generated by Sphinx
  58     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
  59     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
  60
  61   urls:
  62     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
  63     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
  64     URL[NEXUS]: "https://docs.fd.io/csit"
  65     DIR[NEXUS]: "report/_static/archive"
  66
  67   make-dirs:
  68   # List the directories which are created while preparing the environment.
  69   # All directories MUST be defined in "paths" section.
  70   - "DIR[WORKING,DATA]"
  71   - "DIR[STATIC,VPP]"
  72   - "DIR[STATIC,DPDK]"
  73   - "DIR[STATIC,ARCH]"
  74   - "DIR[BUILD,LATEX]"
  75   - "DIR[WORKING,SRC]"
  76   - "DIR[WORKING,SRC,STATIC]"
  77
  78   remove-dirs:
  79   # List the directories which are deleted while cleaning the environment.
  80   # All directories MUST be defined in "paths" section.
  81   #- "DIR[BUILD,HTML]"
  82
  83   build-dirs:
  84   # List the directories where the results (build) is stored.
  85   # All directories MUST be defined in "paths" section.
  86   - "DIR[BUILD,HTML]"
  87   - "DIR[BUILD,LATEX]"
  88
  89 -
  90   type: "configuration"
  91   data-sets:
  92 # TODO: Add the data sources
  93     plot-vpp-http-server-performance:
  94       csit-vpp-perf-1801-all:
  95       - 157
  96       - 158
  97       - 159
  98 # TODO: Add the data sources
  99 #    vpp-meltdown-impact:
 100 #      csit-vpp-perf-1707-all:
 101 #      - 9
 102 #      - 10
 103 #      - 13
 104 #      csit-vpp-perf-1710-all:
 105 #      - 11l
 106 #      - 12
 107 #      - 13
 108 # TODO: Add the data sources
 109 #    vpp-spectre-impact:
 110 #      csit-vpp-perf-1707-all:
 111 #      - 9
 112 #      - 10
 113 #      - 13
 114 #      csit-vpp-perf-1710-all:
 115 #      - 11
 116 #      - 12
 117 #      - 13
 118     vpp-performance-changes:
 119       csit-vpp-perf-1710-all:
 120       - 11
 121       - 12
 122       - 13
 123       - 14
 124       - 15
 125       - 16
 126       - 17
 127       - 18
 128       - 19
 129       - 20
 130 # TODO: Add the data sources
 131       csit-vpp-perf-1801-all:
 132       - 124  # sel
 133       - 127  # sel
 134       - 128  # sel
 135       - 141  # sel
 136       - 142  # sel
 137       - 143  # sel
 138       - 145  # sel
 139       - 146  # sel
 140 # TODO: Add the data sources
 141     plot-throughput-speedup-analysis:
 142       csit-vpp-perf-1801-all:
 143       - 124  # sel
 144       - 127  # sel
 145       - 128  # sel
 146       - 141  # sel
 147       - 142  # sel
 148       - 143  # sel
 149       - 145  # sel
 150       - 146  # sel
 151 #    performance-improvements:
 152 #      csit-vpp-perf-1707-all:
 153 #      - 9
 154 #      - 10
 155 #      - 13
 156 #      - 14
 157 #      - 15
 158 #      - 16
 159 #      - 17
 160 #      - 18
 161 #      - 19
 162 #      - 21
 163 #      csit-vpp-perf-1710-all:
 164 #      - 11
 165 #      - 12
 166 #      - 13
 167 #      - 14
 168 #      - 15
 169 #      - 16
 170 #      - 17
 171 #      - 18
 172 #      - 19
 173 #      - 20
 174 #      csit-vpp-perf-1801-all:
 175 #      - 124
 176 #      - 127
 177 #      - 128
 178 #      csit-ligato-perf-1710-all:
 179 #      - 5
 180 #      - 7
 181 #      - 8
 182 #      - 9
 183 #      - 10
 184 #      - 11
 185 #      - 12
 186 #      - 13
 187 #      - 16
 188 #      - 17
 189 #      csit-ligato-perf-1801-all:
 190 #      - 16  # sel
 191 #      - 17  # sel
 192 #      - 18  # sel
 193 #      - 19  # sel
 194 #      - 20  # sel
 195 #      - 21  # sel
 196 # TODO: Add the data sources
 197     vpp-perf-results:
 198       csit-vpp-perf-1801-all:
 199       - 122
 200       - 126
 201       - 129
 202       - 140
 203     vpp-func-results:
 204       csit-vpp-functional-1801-ubuntu1604-virl:
 205       - "lastSuccessfulBuild"
 206 # TODO: Add the data sources
 207     ligato-perf-results:
 208       csit-ligato-perf-1801-all:
 209       - 19
 210     dpdk-perf-results:
 211       csit-dpdk-perf-1801-all:
 212       - 12
 213     hc-func-results:
 214       csit-hc2vpp-verify-func-1801-ubuntu1604:
 215       - "lastSuccessfulBuild"
 216     nsh-func-results:
 217       csit-nsh_sfc-verify-func-1801-ubuntu1604-virl:
 218       - 1
 219 # TODO: Add the data sources
 220     plot-vpp-throughput-latency:
 221       csit-vpp-perf-1801-all:
 222       - 124  # sel
 223       - 127  # sel
 224       - 128  # sel
 225       - 141  # sel
 226       - 142  # sel
 227       - 143  # sel
 228       - 145  # sel
 229       - 146  # sel
 230     plot-dpdk-throughput-latency:
 231       csit-dpdk-perf-1801-all:
 232       - 1
 233       - 3
 234       - 4
 235       - 5
 236       - 6
 237       - 7
 238       - 8
 239       - 10
 240       - 12
 241 # TODO: Add the data sources
 242     plot-ligato-throughput-latency:
 243       csit-ligato-perf-1801-all:
 244       - 16  # sel
 245       - 17  # sel
 246       - 18  # sel
 247       - 19  # sel
 248       - 20  # sel
 249       - 21  # sel
 250
 251   plot-layouts:
 252
 253     plot-cps:
 254       xaxis:
 255         autorange: True
 256         autotick: False
 257         fixedrange: False
 258         gridcolor: "rgb(238, 238, 238)"
 259         linecolor: "rgb(238, 238, 238)"
 260         linewidth: 1
 261         showgrid: True
 262         showline: True
 263         showticklabels: True
 264         tickcolor: "rgb(238, 238, 238)"
 265         tickmode: "linear"
 266         title: "Indexed Test Cases"
 267         zeroline: False
 268       yaxis:
 269         gridcolor: "rgb(238, 238, 238)'"
 270         hoverformat: ".4s"
 271         linecolor: "rgb(238, 238, 238)"
 272         linewidth: 1
 273         range: []
 274         rangemode: "tozero"
 275         showgrid: True
 276         showline: True
 277         showticklabels: True
 278         tickcolor: "rgb(238, 238, 238)"
 279         title: "Connections Per Second [cps]"
 280         zeroline: False
 281       boxmode: "group"
 282       boxgroupgap: 0.5
 283       autosize: False
 284       margin:
 285         t: 50
 286         b: 20
 287         l: 50
 288         r: 20
 289       showlegend: True
 290       legend:
 291         orientation: "h"
 292       width: 700
 293       height: 1000
 294
 295     plot-rps:
 296       xaxis:
 297         autorange: True
 298         autotick: False
 299         fixedrange: False
 300         gridcolor: "rgb(238, 238, 238)"
 301         linecolor: "rgb(238, 238, 238)"
 302         linewidth: 1
 303         showgrid: True
 304         showline: True
 305         showticklabels: True
 306         tickcolor: "rgb(238, 238, 238)"
 307         tickmode: "linear"
 308         title: "Indexed Test Cases"
 309         zeroline: False
 310       yaxis:
 311         gridcolor: "rgb(238, 238, 238)'"
 312         hoverformat: ".4s"
 313         linecolor: "rgb(238, 238, 238)"
 314         linewidth: 1
 315         range: []
 316         rangemode: "tozero"
 317         showgrid: True
 318         showline: True
 319         showticklabels: True
 320         tickcolor: "rgb(238, 238, 238)"
 321         title: "Requests Per Second [rps]"
 322         zeroline: False
 323       boxmode: "group"
 324       boxgroupgap: 0.5
 325       autosize: False
 326       margin:
 327         t: 50
 328         b: 20
 329         l: 50
 330         r: 20
 331       showlegend: True
 332       legend:
 333         orientation: "h"
 334       width: 700
 335       height: 1000
 336
 337     plot-throughput:
 338       xaxis:
 339         autorange: True
 340         autotick: False
 341         fixedrange: False
 342         gridcolor: "rgb(238, 238, 238)"
 343         linecolor: "rgb(238, 238, 238)"
 344         linewidth: 1
 345         showgrid: True
 346         showline: True
 347         showticklabels: True
 348         tickcolor: "rgb(238, 238, 238)"
 349         tickmode: "linear"
 350         title: "Indexed Test Cases"
 351         zeroline: False
 352       yaxis:
 353         gridcolor: "rgb(238, 238, 238)'"
 354         hoverformat: ".4s"
 355         linecolor: "rgb(238, 238, 238)"
 356         linewidth: 1
 357         range: []
 358         showgrid: True
 359         showline: True
 360         showticklabels: True
 361         tickcolor: "rgb(238, 238, 238)"
 362         title: "Packets Per Second [pps]"
 363         zeroline: False
 364       boxmode: "group"
 365       boxgroupgap: 0.5
 366       autosize: False
 367       margin:
 368         t: 50
 369         b: 20
 370         l: 50
 371         r: 20
 372       showlegend: True
 373       legend:
 374         orientation: "h"
 375       width: 700
 376       height: 1000
 377
 378     plot-latency:
 379       xaxis:
 380         autorange: True
 381         autotick: False
 382         fixedrange: False
 383         gridcolor: "rgb(238, 238, 238)"
 384         linecolor: "rgb(238, 238, 238)"
 385         linewidth: 1
 386         showgrid: True
 387         showline: True
 388         showticklabels: True
 389         tickcolor: "rgb(238, 238, 238)"
 390         tickmode: "linear"
 391         title: "Indexed Test Cases"
 392         zeroline: False
 393       yaxis:
 394         gridcolor: "rgb(238, 238, 238)'"
 395         hoverformat: ""
 396         linecolor: "rgb(238, 238, 238)"
 397         linewidth: 1
 398         range: []
 399         showgrid: True
 400         showline: True
 401         showticklabels: True
 402         tickcolor: "rgb(238, 238, 238)"
 403         title: "Latency min/avg/max [uSec]"
 404         zeroline: False
 405       boxmode: "group"
 406       boxgroupgap: 0.5
 407       autosize: False
 408       margin:
 409         t: 50
 410         b: 20
 411         l: 50
 412         r: 20
 413       showlegend: True
 414       legend:
 415         orientation: "h"
 416       width: 700
 417       height: 1000
 418
 419     plot-throughput-speedup-analysis:
 420       xaxis:
 421         autorange: True
 422         autotick: False
 423         fixedrange: False
 424         gridcolor: "rgb(238, 238, 238)"
 425         linecolor: "rgb(238, 238, 238)"
 426         linewidth: 1
 427         showgrid: True
 428         showline: True
 429         showticklabels: True
 430         tickcolor: "rgb(238, 238, 238)"
 431         tickmode: "linear"
 432         tickangle: 270
 433         zeroline: False
 434       yaxis:
 435         title: "Throughput speedup factor"
 436         gridcolor: "rgb(238, 238, 238)"
 437         hoverformat: ".4s"
 438         linecolor: "rgb(238, 238, 238)"
 439         linewidth: 1
 440         range: []
 441         showgrid: True
 442         showline: True
 443         showticklabels: True
 444         tickcolor: "rgb(238, 238, 238)"
 445         zeroline: False
 446       legend:
 447         orientation: "h"
 448         xanchor: "center"
 449         yanchor: "top"
 450         x: 0.5
 451         y: 1
 452         bgcolor: "rgba(255, 255, 255, 0)"
 453         bordercolor: "rgba(255, 255, 255, 0)"
 454       barmode: "group"
 455       bargap: 0.15
 456       bargroupgap: 0.1
 457       autosize: False
 458       margin:
 459           't': 50
 460           'b': 200
 461           'l': 50
 462           'r': 20
 463       showlegend: True
 464       width: 700
 465       height: 1000
 466
 467 -
 468   type: "debug"
 469   general:
 470     input-format: "xml"  # zip or xml
 471     extract: "robot-plugin/output.xml"  # Only for zip
 472   builds:
 473     # The files must be in the directory DIR[WORKING,DATA]
 474     csit-vpp-perf-1801-all:
 475     -
 476       build: 1
 477       file: "{DIR[WORKING,DATA]}/output.xml"
 478     -
 479       build: 2
 480       file: "{DIR[WORKING,DATA]}/output.xml"
 481     -
 482       build: 3
 483       file: "{DIR[WORKING,DATA]}/output.xml"
 484     -
 485       build: 4
 486       file: "{DIR[WORKING,DATA]}/output.xml"
 487
 488 -
 489   type: "static"
 490   src-path: "{DIR[RST]}"
 491   dst-path: "{DIR[WORKING,SRC]}"
 492
 493 -
 494   type: "input"  # Ignored in debug mode
 495   general:
 496     file-name: "robot-plugin.zip"
 497     file-format: ".zip"
 498     download-path: "{job}/{build}/robot/report/*zip*/{filename}"
 499     extract: "robot-plugin/output.xml"
 500   builds:
 501 #    csit-vpp-perf-1707-all:
 502 #    - 9
 503 #    - 10
 504 #    - 13
 505 #    - 14
 506 #    - 15
 507 #    - 16
 508 #    - 17
 509 #    - 18
 510 #    - 19
 511 #    - 21
 512     csit-vpp-perf-1710-all:
 513     - 11
 514     - 12
 515     - 13
 516     - 14
 517     - 15
 518     - 16
 519     - 17
 520     - 18
 521     - 19
 522     - 20
 523 # TODO:
 524     csit-vpp-perf-1801-all:
 525     - 122  # full
 526     - 126  # full
 527     - 129  # full
 528     - 140  # full
 529     - 124  # sel
 530     - 127  # sel
 531     - 128  # sel
 532     - 141  # sel
 533     - 142  # sel
 534     - 143  # sel
 535     - 145  # sel
 536     - 146  # sel
 537     - 157  # wrk
 538     - 158  # wrk
 539     - 159  # wrk
 540     csit-ligato-perf-1710-all:
 541     - 5
 542     - 7
 543     - 8
 544     - 9
 545     - 10
 546     - 11
 547     - 12
 548     - 13
 549     - 16
 550     - 17
 551     csit-dpdk-perf-1801-all:
 552     - 1
 553     - 4
 554     - 5
 555     - 7
 556     - 8
 557     - 10
 558     - 12
 559     - 16
 560     - 17
 561 # TODO:
 562     csit-ligato-perf-1801-all:
 563     - 16  # sel
 564     - 17  # sel
 565     - 18  # sel
 566     - 19  # sel
 567     - 20  # sel
 568     - 21  # sel
 569     csit-dpdk-perf-1801-all:
 570     - 1
 571     - 3
 572     - 4
 573     - 5
 574     - 6
 575     - 7
 576     - 8
 577     - 9
 578     - 10
 579     - 12
 580     csit-vpp-functional-1801-ubuntu1604-virl:
 581     - lastSuccessfulBuild
 582     csit-nsh_sfc-verify-func-1801-ubuntu1604-virl:
 583     - 1
 584     csit-hc2vpp-verify-func-1801-ubuntu1604:
 585     - lastSuccessfulBuild
 586
 587 -
 588   type: "output"
 589   format:
 590     html:
 591     - full
 592     pdf:
 593     - minimal
 594
 595 ################################################################################
 596 ###                               T A B L E S                                ###
 597 ################################################################################
 598
 599 #-
 600 #  type: "table"
 601 #  title: "Performance Impact of Meltdown Patches"
 602 #  algorithm: "table_performance_comparison"
 603 #  output-file-ext: ".csv"
 604 ## TODO: specify dir
 605 #  output-file: "{DIR[STATIC,VPP]}/meltdown-impact"
 606 #  reference:
 607 #    title: "No Meltdown"
 608 ## TODO: specify data sources
 609 #    data:
 610 #      csit-vpp-perf-1707-all:
 611 #      - 9
 612 #      - 10
 613 #      - 13
 614 #  compare:
 615 #    title: "Meltdown Patches Applied"
 616 ## TODO: specify data sources
 617 #    data:
 618 #      csit-vpp-perf-1710-all:
 619 #      - 11
 620 #      - 12
 621 #      - 13
 622 #  data:
 623 #    "vpp-meltdown-impact"
 624 #  filter: "all"
 625 #  parameters:
 626 #  - "name"
 627 #  - "parent"
 628 #  - "throughput"
 629 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
 630 #  # to present all tests.
 631 #  nr-of-tests-shown: 20
 632 #
 633 #-
 634 #  type: "table"
 635 #  title: "Performance Impact of Spectre Patches"
 636 #  algorithm: "table_performance_comparison"
 637 #  output-file-ext: ".csv"
 638 ## TODO: specify dir
 639 #  output-file: "{DIR[STATIC,VPP]}/meltdown-spectre-impact"
 640 #  reference:
 641 #    title: "No Spectre"
 642 ## TODO: specify data sources
 643 #    data:
 644 #      csit-vpp-perf-1707-all:
 645 #      - 9
 646 #      - 10
 647 #      - 13
 648 #  compare:
 649 #    title: "Spectre Patches Applied"
 650 ## TODO: specify data sources
 651 #    data:
 652 #      csit-vpp-perf-1710-all:
 653 #      - 11
 654 #      - 12
 655 #      - 13
 656 #  data:
 657 #    "vpp-spectre-impact"
 658 #  filter: "all"
 659 #  parameters:
 660 #  - "name"
 661 #  - "parent"
 662 #  - "throughput"
 663 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
 664 #  # to present all tests.
 665 #  nr-of-tests-shown: 20
 666
 667 -
 668   type: "table"
 669   title: "VPP Performance Changes"
 670   algorithm: "table_performance_comparison"
 671   output-file-ext: ".csv"
 672 # TODO: specify dir
 673   output-file: "{DIR[STATIC,VPP]}/performance-changes"
 674   reference:
 675     title: "Release 1710"
 676 # TODO: specify data sources
 677     data:
 678       csit-vpp-perf-1710-all:
 679       - 11
 680       - 12
 681       - 13
 682       - 14
 683       - 15
 684       - 16
 685       - 17
 686       - 18
 687       - 19
 688       - 20
 689   compare:
 690     title: "Release 1801"
 691 # TODO: specify data sources
 692     data:
 693       csit-vpp-perf-1801-all:
 694       - 124  # sel
 695       - 127  # sel
 696       - 128  # sel
 697       - 141  # sel
 698       - 142  # sel
 699       - 143  # sel
 700       - 145  # sel
 701       - 146  # sel
 702   data: "vpp-performance-changes"
 703   filter: "all"
 704   parameters:
 705   - "name"
 706   - "parent"
 707   - "throughput"
 708   # Number of the best and the worst tests presented in the table. Use 0 (zero)
 709   # to present all tests.
 710   nr-of-tests-shown: 20
 711   outlier-const: 1.5
 712
 713 #-
 714 #  type: "table"
 715 #  title: "Performance improvements"
 716 #  algorithm: "table_performance_improvements"
 717 #  template: "{DIR[DTR,PERF,VPP,IMPRV]}/tmpl_performance_improvements.csv"
 718 #  output-file-ext: ".csv"
 719 #  output-file: "{DIR[DTR,PERF,VPP,IMPRV]}/performance_improvements"
 720 #  columns:
 721 #  -
 722 #    title: "Test Name"
 723 #    data: "template 1"
 724 #  -
 725 #    title: "16.09 mean [Mpps]"
 726 #    data: "template 2"
 727 #  -
 728 #    title: "17.01 mean [Mpps]"
 729 #    data: "template 3"
 730 #  -
 731 #    title: "17.04 mean [Mpps]"
 732 #    data: "template 4"
 733 #  -
 734 #    title: "17.07 mean [Mpps]"
 735 #    data: "data csit-vpp-perf-1707-all mean"
 736 #  -
 737 #    title: "17.10 mean [Mpps]"
 738 #    data: "data csit-vpp-perf-1710-all csit-ligato-perf-1710-all mean"
 739 #  -
 740 #    title: "18.01 mean [Mpps]"
 741 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all mean"
 742 #  -
 743 #    title: "18.01 stdev [Mpps]"
 744 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all stdev"
 745 #  -
 746 #    title: "17.10 to 18.01 change [%]"
 747 #    data: "operation relative_change 5 6"
 748 #  rows: "generated"
 749 #  data:
 750 #    "performance-improvements"
 751 #  filter: "template"
 752 #  parameters:
 753 #  - "throughput"
 754
 755 -
 756   type: "table"
 757   title: "Detailed Test Results - VPP Performance Results"
 758   algorithm: "table_merged_details"
 759   output-file-ext: ".csv"
 760   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
 761   columns:
 762   -
 763     title: "Name"
 764     data: "data name"
 765   -
 766     title: "Documentation"
 767     data: "data doc"
 768   -
 769     title: "Status"
 770     data: "data msg"
 771   rows: "generated"
 772   data:
 773     "vpp-perf-results"
 774   filter: "not 'NDRCHK' and not 'PDRCHK'"
 775   parameters:
 776   - "name"
 777   - "parent"
 778   - "doc"
 779   - "msg"
 780
 781 -
 782   type: "table"
 783   title: "Test configuration - VPP Performance Test Configs"
 784   algorithm: "table_merged_details"
 785   output-file-ext: ".csv"
 786   output-file: "{DIR[DTC,PERF,VPP]}/vpp_test_configuration"
 787   columns:
 788   -
 789     title: "Name"
 790     data: "data name"
 791   -
 792     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
 793     data: "data vat-history"
 794   rows: "generated"
 795   data:
 796     "vpp-perf-results"
 797   filter: "not 'NDRCHK' and not 'PDRCHK'"
 798   parameters:
 799   - "parent"
 800   - "name"
 801   - "vat-history"
 802
 803 -
 804   type: "table"
 805   title: "Test Operational Data - VPP Performance Operational Data"
 806   algorithm: "table_merged_details"
 807   output-file-ext: ".csv"
 808   output-file: "{DIR[DTO,PERF,VPP]}/vpp_test_operational"
 809   columns:
 810   -
 811     title: "Name"
 812     data: "data name"
 813   -
 814     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
 815     data: "data show-run"
 816   rows: "generated"
 817   data:
 818     "vpp-perf-results"
 819   filter: "not 'NDRCHK' and not 'PDRCHK'"
 820   parameters:
 821   - "parent"
 822   - "name"
 823   - "show-run"
 824
 825 -
 826   type: "table"
 827   title: "Detailed Test Results - VPP Functional Results"
 828   algorithm: "table_details"
 829   output-file-ext: ".csv"
 830   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
 831   columns:
 832   -
 833     title: "Name"
 834     data: "data name"
 835   -
 836     title: "Documentation"
 837     data: "data doc"
 838   -
 839     title: "Status"
 840     data: "data status"
 841   rows: "generated"
 842   data:
 843     "vpp-func-results"
 844   filter: "all"
 845   parameters:
 846   - "name"
 847   - "parent"
 848   - "doc"
 849   - "status"
 850
 851 -
 852   type: "table"
 853   title: "Test configuration - VPP Functional Test Configs"
 854   algorithm: "table_details"
 855   output-file-ext: ".csv"
 856   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
 857   columns:
 858   -
 859     title: "Name"
 860     data: "data name"
 861   -
 862     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
 863     data: "data vat-history"
 864   rows: "generated"
 865   data:
 866     "vpp-func-results"
 867   filter: "all"
 868   parameters:
 869   - "parent"
 870   - "name"
 871   - "vat-history"
 872
 873 -
 874   type: "table"
 875   title: "Detailed Test Results - Container Orchestrated Topologies Performance Results"
 876   algorithm: "table_details"
 877   output-file-ext: ".csv"
 878   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
 879   columns:
 880   -
 881     title: "Name"
 882     data: "data name"
 883   -
 884     title: "Documentation"
 885     data: "data doc"
 886   -
 887     title: "Status"
 888     data: "data msg"
 889   rows: "generated"
 890   data:
 891     "ligato-perf-results"
 892   filter: "all"
 893   parameters:
 894   - "name"
 895   - "parent"
 896   - "doc"
 897   - "msg"
 898
 899 -
 900   type: "table"
 901   title: "Detailed Test Results - DPDK Performance Results"
 902   algorithm: "table_details"
 903   output-file-ext: ".csv"
 904   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
 905   columns:
 906   -
 907     title: "Name"
 908     data: "data name"
 909   -
 910     title: "Documentation"
 911     data: "data doc"
 912   -
 913     title: "Status"
 914     data: "data msg"
 915   rows: "generated"
 916   data:
 917     "dpdk-perf-results"
 918   filter: "all"
 919   parameters:
 920   - "name"
 921   - "parent"
 922   - "doc"
 923   - "msg"
 924
 925 -
 926   type: "table"
 927   title: "Detailed Test Results - Honeycomb Functional Results"
 928   algorithm: "table_details"
 929   output-file-ext: ".csv"
 930   output-file: "{DIR[DTR,FUNC,HC]}/hc_functional_results"
 931   columns:
 932   -
 933     title: "Name"
 934     data: "data name"
 935   -
 936     title: "Documentation"
 937     data: "data doc"
 938   -
 939     title: "Status"
 940     data: "data status"
 941   rows: "generated"
 942   data:
 943     "hc-func-results"
 944   filter: "all"
 945   parameters:
 946   - "name"
 947   - "parent"
 948   - "doc"
 949   - "status"
 950
 951 -
 952   type: "table"
 953   title: "Detailed Test Results - NSH SFC Functional Results"
 954   algorithm: "table_details"
 955   output-file-ext: ".csv"
 956   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nsh_sfc_functional_results"
 957   columns:
 958   -
 959     title: "Name"
 960     data: "data name"
 961   -
 962     title: "Documentation"
 963     data: "data doc"
 964   -
 965     title: "Status"
 966     data: "data status"
 967   rows: "generated"
 968   data:
 969     "nsh-func-results"
 970   filter: "all"
 971   parameters:
 972   - "name"
 973   - "parent"
 974   - "doc"
 975   - "status"
 976
 977 ################################################################################
 978 ###                                F I L E S                                 ###
 979 ################################################################################
 980
 981 -
 982   type: "file"
 983   title: "VPP Performance Results"
 984   algorithm: "file_merged_test_results"
 985   output-file-ext: ".rst"
 986   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
 987   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
 988   dir-tables: "{DIR[DTR,PERF,VPP]}"
 989   data:
 990     "vpp-perf-results"
 991   filter: "not 'NDRCHK' and not 'PDRCHK'"
 992   parameters:
 993   - "name"
 994   - "doc"
 995   - "level"
 996   - "parent"
 997   data-start-level: 3  # 0, 1, 2, ...
 998   chapters-start-level: 2  # 0, 1, 2, ...
 999
1000 -
1001   type: "file"
1002   title: "VPP Performance Configuration"
1003   algorithm: "file_merged_test_results"
1004   output-file-ext: ".rst"
1005   output-file: "{DIR[DTC,PERF,VPP]}/vpp_performance_configuration"
1006   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1007   dir-tables: "{DIR[DTC,PERF,VPP]}"
1008   data:
1009     "vpp-perf-results"
1010   filter: "not 'NDRCHK' and not 'PDRCHK'"
1011   parameters:
1012   - "name"
1013   - "doc"
1014   - "level"
1015   - "parent"
1016   data-start-level: 3  # 0, 1, 2, ...
1017   chapters-start-level: 2  # 0, 1, 2, ...
1018
1019 -
1020   type: "file"
1021   title: "VPP Performance Operational Data"
1022   algorithm: "file_merged_test_results"
1023   output-file-ext: ".rst"
1024   output-file: "{DIR[DTO,PERF,VPP]}/vpp_performance_operational_data"
1025   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1026   dir-tables: "{DIR[DTO,PERF,VPP]}"
1027   data:
1028     "vpp-perf-results"
1029   filter: "not 'NDRCHK' and not 'PDRCHK'"
1030   parameters:
1031   - "name"
1032   - "doc"
1033   - "level"
1034   - "parent"
1035   data-start-level: 3  # 0, 1, 2, ...
1036   chapters-start-level: 2  # 0, 1, 2, ...
1037
1038 -
1039   type: "file"
1040   title: "VPP Functional Results"
1041   algorithm: "file_test_results"
1042   output-file-ext: ".rst"
1043   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
1044   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1045   dir-tables: "{DIR[DTR,FUNC,VPP]}"
1046   data:
1047     "vpp-func-results"
1048   filter: "all"
1049   parameters:
1050   - "name"
1051   - "doc"
1052   - "level"
1053   data-start-level: 3  # 0, 1, 2, ...
1054   chapters-start-level: 2  # 0, 1, 2, ...
1055
1056 -
1057   type: "file"
1058   title: "VPP Functional Configuration"
1059   algorithm: "file_test_results"
1060   output-file-ext: ".rst"
1061   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
1062   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1063   dir-tables: "{DIR[DTC,FUNC,VPP]}"
1064   data:
1065     "vpp-func-results"
1066   filter: "all"
1067   parameters:
1068   - "name"
1069   - "doc"
1070   - "level"
1071   data-start-level: 3  # 0, 1, 2, ...
1072   chapters-start-level: 2  # 0, 1, 2, ...
1073
1074 -
1075   type: "file"
1076   title: "Container Orchestrated Performance Results"
1077   algorithm: "file_test_results"
1078   output-file-ext: ".rst"
1079   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
1080   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1081   dir-tables: "{DIR[DTR,PERF,COT]}"
1082   data:
1083     "ligato-perf-results"
1084   filter: "all"
1085   parameters:
1086   - "name"
1087   - "doc"
1088   - "level"
1089   data-start-level: 2  # 0, 1, 2, ...
1090   chapters-start-level: 2  # 0, 1, 2, ...
1091
1092 -
1093   type: "file"
1094   title: "DPDK Performance Results"
1095   algorithm: "file_test_results"
1096   output-file-ext: ".rst"
1097   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
1098   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1099   dir-tables: "{DIR[DTR,PERF,DPDK]}"
1100   data:
1101     "dpdk-perf-results"
1102   filter: "all"
1103   parameters:
1104   - "name"
1105   - "doc"
1106   - "level"
1107   chapters:
1108   - "suites"
1109   data-start-level: 2  # 0, 1, 2, ...
1110   chapters-start-level: 2  # 0, 1, 2, ...
1111
1112 -
1113   type: "file"
1114   title: "Honeycomb Functional Results"
1115   algorithm: "file_test_results"
1116   output-file-ext: ".rst"
1117   output-file: "{DIR[DTR,FUNC,HC]}/honeycomb_functional_results"
1118   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1119   dir-tables: "{DIR[DTR,FUNC,HC]}"
1120   data:
1121     "hc-func-results"
1122   filter: "all"
1123   parameters:
1124   - "name"
1125   - "doc"
1126   - "level"
1127   chapters:
1128   - "suites"
1129   data-start-level: 3  # 0, 1, 2, ...
1130   chapters-start-level: 2  # 0, 1, 2, ...
1131
1132 -
1133   type: "file"
1134   title: "NSH SFC Functional Results"
1135   algorithm: "file_test_results"
1136   output-file-ext: ".rst"
1137   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nshsfc_functional_results"
1138   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1139   dir-tables: "{DIR[DTR,FUNC,NSHSFC]}"
1140   data:
1141     "nsh-func-results"
1142   filter: "all"
1143   parameters:
1144   - "name"
1145   - "doc"
1146   - "level"
1147   chapters:
1148   - "suites"
1149   data-start-level: 2  # 0, 1, 2, ...
1150   chapters-start-level: 2  # 0, 1, 2, ...
1151
1152 ################################################################################
1153 ###                                P L O T S                                 ###
1154 ################################################################################
1155
1156 # Plots VPP HTTP Server Performance
1157 -
1158   type: "plot"
1159   title: "VPP HTTP Server Performance"
1160   algorithm: "plot_http_server_performance_box"
1161   output-file-type: ".html"
1162   output-file: "{DIR[STATIC,VPP]}/http-server-performance-cps"
1163   data:
1164     "plot-vpp-http-server-performance"
1165   # Keep this formatting, the filter is enclosed with " (quotation mark) and
1166   # each tag is enclosed with ' (apostrophe).
1167   filter: "'HTTP' and 'TCP_CPS'"
1168   parameters:
1169   - "result"
1170   - "name"
1171   traces:
1172     hoverinfo: "x+y"
1173     boxpoints: "outliers"
1174     whiskerwidth: 0
1175   layout:
1176     title: "VPP HTTP Server Performance"
1177     layout:
1178       "plot-cps"
1179
1180 -
1181   type: "plot"
1182   title: "VPP HTTP Server Performance"
1183   algorithm: "plot_http_server_performance_box"
1184   output-file-type: ".html"
1185   output-file: "{DIR[STATIC,VPP]}/http-server-performance-rps"
1186   data:
1187     "plot-vpp-http-server-performance"
1188   filter: "'HTTP' and 'TCP_RPS'"
1189   parameters:
1190   - "result"
1191   - "name"
1192   traces:
1193     hoverinfo: "x+y"
1194     boxpoints: "outliers"
1195     whiskerwidth: 0
1196   layout:
1197     title: "VPP HTTP Server Performance"
1198     layout:
1199       "plot-rps"
1200
1201 # Plot Throughput Speedup Analysis
1202
1203 # L2 - 10ge2p1x520 - NDR
1204 -
1205   type: "plot"
1206   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1207   algorithm: "plot_throughput_speedup_analysis"
1208   output-file-type: ".html"
1209   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-ndrdisc"
1210   data:
1211     "plot-throughput-speedup-analysis"
1212   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1213   parameters:
1214   - "throughput"
1215   - "parent"
1216   - "tags"
1217   layout:
1218     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1219     layout:
1220       "plot-throughput-speedup-analysis"
1221
1222 # L2 - 40ge2p1xl710 - NDR
1223 -
1224   type: "plot"
1225   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1226   algorithm: "plot_throughput_speedup_analysis"
1227   output-file-type: ".html"
1228   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-l2-tsa-ndrdisc"
1229   data:
1230     "plot-throughput-speedup-analysis"
1231   filter: "'NIC_Intel-XL710' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1232   parameters:
1233   - "throughput"
1234   - "parent"
1235   - "tags"
1236   layout:
1237     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1238     layout:
1239       "plot-throughput-speedup-analysis"
1240
1241 # L2 - 10ge2p1x520 - PDR
1242 -
1243   type: "plot"
1244   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1245   algorithm: "plot_throughput_speedup_analysis"
1246   output-file-type: ".html"
1247   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-pdrdisc"
1248   data:
1249     "plot-throughput-speedup-analysis"
1250   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1251   parameters:
1252   - "throughput"
1253   - "parent"
1254   - "tags"
1255   layout:
1256     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1257     layout:
1258       "plot-throughput-speedup-analysis"
1259
1260 # IPv4 - 10ge2p1x520 - NDR
1261 -
1262   type: "plot"
1263   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1264   algorithm: "plot_throughput_speedup_analysis"
1265   output-file-type: ".html"
1266   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-ndrdisc"
1267   data:
1268     "plot-throughput-speedup-analysis"
1269   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1270   parameters:
1271   - "throughput"
1272   - "parent"
1273   - "tags"
1274   layout:
1275     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1276     layout:
1277       "plot-throughput-speedup-analysis"
1278
1279 # IPv4 - 40ge2p1xl710 - NDR
1280 -
1281   type: "plot"
1282   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1283   algorithm: "plot_throughput_speedup_analysis"
1284   output-file-type: ".html"
1285   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-ip4-tsa-ndrdisc"
1286   data:
1287     "plot-throughput-speedup-analysis"
1288   filter: "'NIC_Intel-XL710' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1289   parameters:
1290   - "throughput"
1291   - "parent"
1292   - "tags"
1293   layout:
1294     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1295     layout:
1296       "plot-throughput-speedup-analysis"
1297
1298 # IPv4 - 10ge2p1x520 - PDR
1299 -
1300   type: "plot"
1301   title: "TSA: 64B-*-ethip4-ip4(base|scale)*pdrdisc"
1302   algorithm: "plot_throughput_speedup_analysis"
1303   output-file-type: ".html"
1304   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-pdrdisc"
1305   data:
1306     "plot-throughput-speedup-analysis"
1307   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1308   parameters:
1309   - "throughput"
1310   - "parent"
1311   - "tags"
1312   layout:
1313     title: "64B-*-ethip4-ip4(base|scale)*pdrdisc"
1314     layout:
1315       "plot-throughput-speedup-analysis"
1316
1317 # IPv6 - 10ge2p1x520 - NDR
1318 -
1319   type: "plot"
1320   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1321   algorithm: "plot_throughput_speedup_analysis"
1322   output-file-type: ".html"
1323   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-ndrdisc"
1324   data:
1325     "plot-throughput-speedup-analysis"
1326   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1327   parameters:
1328   - "throughput"
1329   - "parent"
1330   - "tags"
1331   layout:
1332     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1333     layout:
1334       "plot-throughput-speedup-analysis"
1335
1336 # IPv6 - 40ge2p1xl710 - NDR
1337 -
1338   type: "plot"
1339   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1340   algorithm: "plot_throughput_speedup_analysis"
1341   output-file-type: ".html"
1342   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-78B-ip6-tsa-ndrdisc"
1343   data:
1344     "plot-throughput-speedup-analysis"
1345   filter: "'NIC_Intel-XL710' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1346   parameters:
1347   - "throughput"
1348   - "parent"
1349   - "tags"
1350   layout:
1351     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1352     layout:
1353       "plot-throughput-speedup-analysis"
1354
1355 # IPv6 - 10ge2p1x520 - PDR
1356 -
1357   type: "plot"
1358   title: "TSA: 78B-*-ethip6-ip6(base|scale)*pdrdisc"
1359   algorithm: "plot_throughput_speedup_analysis"
1360   output-file-type: ".html"
1361   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-pdrdisc"
1362   data:
1363     "plot-throughput-speedup-analysis"
1364   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST'"
1365   parameters:
1366   - "throughput"
1367   - "parent"
1368   - "tags"
1369   layout:
1370     title: "78B-*-ethip6-ip6(base|scale)*pdrdisc"
1371     layout:
1372       "plot-throughput-speedup-analysis"
1373
1374 # Plot packets per second
1375
1376 # VPP L2 sel1
1377 -
1378   type: "plot"
1379   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1380   algorithm: "plot_performance_box"
1381   output-file-type: ".html"
1382   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc"
1383   data:
1384     "plot-vpp-throughput-latency"
1385   # Keep this formatting, the filter is enclosed with " (quotation mark) and
1386   # each tag is enclosed with ' (apostrophe).
1387   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1388   parameters:
1389   - "throughput"
1390   - "parent"
1391   traces:
1392     hoverinfo: "x+y"
1393     boxpoints: "outliers"
1394     whiskerwidth: 0
1395   layout:
1396     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1397     layout:
1398       "plot-throughput"
1399
1400 -
1401   type: "plot"
1402   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1403   algorithm: "plot_performance_box"
1404   output-file-type: ".html"
1405   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc"
1406   data:
1407     "plot-vpp-throughput-latency"
1408   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1409   parameters:
1410   - "throughput"
1411   - "parent"
1412   traces:
1413     hoverinfo: "x+y"
1414     boxpoints: "outliers"
1415     whiskerwidth: 0
1416   layout:
1417     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1418     layout:
1419       "plot-throughput"
1420
1421 -
1422   type: "plot"
1423   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1424   algorithm: "plot_performance_box"
1425   output-file-type: ".html"
1426   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-pdrdisc"
1427   data:
1428     "plot-vpp-throughput-latency"
1429   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1430   parameters:
1431   - "throughput"
1432   - "parent"
1433   traces:
1434     hoverinfo: "x+y"
1435     boxpoints: "outliers"
1436     whiskerwidth: 0
1437   layout:
1438     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1439     layout:
1440       "plot-throughput"
1441
1442 -
1443   type: "plot"
1444   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1445   algorithm: "plot_performance_box"
1446   output-file-type: ".html"
1447   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-pdrdisc"
1448   data:
1449     "plot-vpp-throughput-latency"
1450   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1451   parameters:
1452   - "throughput"
1453   - "parent"
1454   traces:
1455     hoverinfo: "x+y"
1456     boxpoints: "outliers"
1457     whiskerwidth: 0
1458   layout:
1459     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1460     layout:
1461       "plot-throughput"
1462
1463 # VPP L2 sel2
1464 -
1465   type: "plot"
1466   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1467   algorithm: "plot_performance_box"
1468   output-file-type: ".html"
1469   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc"
1470   data:
1471     "plot-vpp-throughput-latency"
1472   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1473   parameters:
1474   - "throughput"
1475   - "parent"
1476   traces:
1477     hoverinfo: "x+y"
1478     boxpoints: "outliers"
1479     whiskerwidth: 0
1480   layout:
1481     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1482     layout:
1483       "plot-throughput"
1484
1485 -
1486   type: "plot"
1487   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1488   algorithm: "plot_performance_box"
1489   output-file-type: ".html"
1490   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc"
1491   data:
1492     "plot-vpp-throughput-latency"
1493   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1494   parameters:
1495   - "throughput"
1496   - "parent"
1497   traces:
1498     hoverinfo: "x+y"
1499     boxpoints: "outliers"
1500     whiskerwidth: 0
1501   layout:
1502     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1503     layout:
1504       "plot-throughput"
1505
1506 -
1507   type: "plot"
1508   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1509   algorithm: "plot_performance_box"
1510   output-file-type: ".html"
1511   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-pdrdisc"
1512   data:
1513     "plot-vpp-throughput-latency"
1514   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1515   parameters:
1516   - "throughput"
1517   - "parent"
1518   traces:
1519     hoverinfo: "x+y"
1520     boxpoints: "outliers"
1521     whiskerwidth: 0
1522   layout:
1523     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1524     layout:
1525       "plot-throughput"
1526
1527 -
1528   type: "plot"
1529   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1530   algorithm: "plot_performance_box"
1531   output-file-type: ".html"
1532   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-pdrdisc"
1533   data:
1534     "plot-vpp-throughput-latency"
1535   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1536   parameters:
1537   - "throughput"
1538   - "parent"
1539   traces:
1540     hoverinfo: "x+y"
1541     boxpoints: "outliers"
1542     whiskerwidth: 0
1543   layout:
1544     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1545     layout:
1546       "plot-throughput"
1547
1548 # VPP IP4
1549 -
1550   type: "plot"
1551   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1552   algorithm: "plot_performance_box"
1553   output-file-type: ".html"
1554   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc"
1555   data:
1556     "plot-vpp-throughput-latency"
1557   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1558   parameters:
1559   - "throughput"
1560   - "parent"
1561   traces:
1562     hoverinfo: "x+y"
1563     boxpoints: "outliers"
1564     whiskerwidth: 0
1565   layout:
1566     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1567     layout:
1568       "plot-throughput"
1569
1570 -
1571   type: "plot"
1572   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1573   algorithm: "plot_performance_box"
1574   output-file-type: ".html"
1575   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc"
1576   data:
1577     "plot-vpp-throughput-latency"
1578   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1579   parameters:
1580   - "throughput"
1581   - "parent"
1582   traces:
1583     hoverinfo: "x+y"
1584     boxpoints: "outliers"
1585     whiskerwidth: 0
1586   layout:
1587     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1588     layout:
1589       "plot-throughput"
1590
1591 -
1592   type: "plot"
1593   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1594   algorithm: "plot_performance_box"
1595   output-file-type: ".html"
1596   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-pdrdisc"
1597   data:
1598     "plot-vpp-throughput-latency"
1599   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1600   parameters:
1601   - "throughput"
1602   - "parent"
1603   traces:
1604     hoverinfo: "x+y"
1605     boxpoints: "outliers"
1606     whiskerwidth: 0
1607   layout:
1608     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1609     layout:
1610       "plot-throughput"
1611
1612 -
1613   type: "plot"
1614   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1615   algorithm: "plot_performance_box"
1616   output-file-type: ".html"
1617   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-pdrdisc"
1618   data:
1619     "plot-vpp-throughput-latency"
1620   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1621   parameters:
1622   - "throughput"
1623   - "parent"
1624   traces:
1625     hoverinfo: "x+y"
1626     boxpoints: "outliers"
1627     whiskerwidth: 0
1628   layout:
1629     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1630     layout:
1631       "plot-throughput"
1632
1633 # VPP IP6
1634 -
1635   type: "plot"
1636   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1637   algorithm: "plot_performance_box"
1638   output-file-type: ".html"
1639   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc"
1640   data:
1641     "plot-vpp-throughput-latency"
1642   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1643   parameters:
1644   - "throughput"
1645   - "parent"
1646   traces:
1647     hoverinfo: "x+y"
1648     boxpoints: "outliers"
1649     whiskerwidth: 0
1650   layout:
1651     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1652     layout:
1653       "plot-throughput"
1654
1655 -
1656   type: "plot"
1657   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1658   algorithm: "plot_performance_box"
1659   output-file-type: ".html"
1660   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc"
1661   data:
1662     "plot-vpp-throughput-latency"
1663   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1664   parameters:
1665   - "throughput"
1666   - "parent"
1667   traces:
1668     hoverinfo: "x+y"
1669     boxpoints: "outliers"
1670     whiskerwidth: 0
1671   layout:
1672     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1673     layout:
1674       "plot-throughput"
1675
1676 -
1677   type: "plot"
1678   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1679   algorithm: "plot_performance_box"
1680   output-file-type: ".html"
1681   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-pdrdisc"
1682   data:
1683     "plot-vpp-throughput-latency"
1684   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1685   parameters:
1686   - "throughput"
1687   - "parent"
1688   traces:
1689     hoverinfo: "x+y"
1690     boxpoints: "outliers"
1691     whiskerwidth: 0
1692   layout:
1693     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1694     layout:
1695       "plot-throughput"
1696
1697 -
1698   type: "plot"
1699   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1700   algorithm: "plot_performance_box"
1701   output-file-type: ".html"
1702   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-pdrdisc"
1703   data:
1704     "plot-vpp-throughput-latency"
1705   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1706   parameters:
1707   - "throughput"
1708   - "parent"
1709   traces:
1710     hoverinfo: "x+y"
1711     boxpoints: "outliers"
1712     whiskerwidth: 0
1713   layout:
1714     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1715     layout:
1716       "plot-throughput"
1717
1718 # VPP IP4_overlay
1719 -
1720   type: "plot"
1721   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1722   algorithm: "plot_performance_box"
1723   output-file-type: ".html"
1724   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc"
1725   data:
1726     "plot-vpp-throughput-latency"
1727   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1728   parameters:
1729   - "throughput"
1730   - "parent"
1731   traces:
1732     hoverinfo: "x+y"
1733     boxpoints: "outliers"
1734     whiskerwidth: 0
1735   layout:
1736     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1737     layout:
1738       "plot-throughput"
1739
1740 -
1741   type: "plot"
1742   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1743   algorithm: "plot_performance_box"
1744   output-file-type: ".html"
1745   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc"
1746   data:
1747     "plot-vpp-throughput-latency"
1748   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1749   parameters:
1750   - "throughput"
1751   - "parent"
1752   traces:
1753     hoverinfo: "x+y"
1754     boxpoints: "outliers"
1755     whiskerwidth: 0
1756   layout:
1757     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1758     layout:
1759       "plot-throughput"
1760
1761 -
1762   type: "plot"
1763   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1764   algorithm: "plot_performance_box"
1765   output-file-type: ".html"
1766   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-pdrdisc"
1767   data:
1768     "plot-vpp-throughput-latency"
1769   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1770   parameters:
1771   - "throughput"
1772   - "parent"
1773   traces:
1774     hoverinfo: "x+y"
1775     boxpoints: "outliers"
1776     whiskerwidth: 0
1777   layout:
1778     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1779     layout:
1780       "plot-throughput"
1781
1782 -
1783   type: "plot"
1784   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1785   algorithm: "plot_performance_box"
1786   output-file-type: ".html"
1787   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-pdrdisc"
1788   data:
1789     "plot-vpp-throughput-latency"
1790   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1791   parameters:
1792   - "throughput"
1793   - "parent"
1794   traces:
1795     hoverinfo: "x+y"
1796     boxpoints: "outliers"
1797     whiskerwidth: 0
1798   layout:
1799     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1800     layout:
1801       "plot-throughput"
1802
1803 # VPP IP6_overlay
1804 -
1805   type: "plot"
1806   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1807   algorithm: "plot_performance_box"
1808   output-file-type: ".html"
1809   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc"
1810   data:
1811     "plot-vpp-throughput-latency"
1812   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1813   parameters:
1814   - "throughput"
1815   - "parent"
1816   traces:
1817     hoverinfo: "x+y"
1818     boxpoints: "outliers"
1819     whiskerwidth: 0
1820   layout:
1821     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1822     xaxis:
1823       autorange: True
1824       autotick: False
1825       fixedrange: False
1826       gridcolor: "rgb(238, 238, 238)"
1827       linecolor: "rgb(238, 238, 238)"
1828       linewidth: 1
1829       showgrid: True
1830       showline: True
1831       showticklabels: True
1832       tickcolor: "rgb(238, 238, 238)"
1833       tickmode: "linear"
1834       title: "Indexed Test Cases"
1835       zeroline: False
1836     yaxis:
1837       gridcolor: "rgb(238, 238, 238)'"
1838       hoverformat: ".4s"
1839       linecolor: "rgb(238, 238, 238)"
1840       linewidth: 1
1841       range: [2000000, 6000000]
1842       showgrid: True
1843       showline: True
1844       showticklabels: True
1845       tickcolor: "rgb(238, 238, 238)"
1846       title: "Packets Per Second [pps]"
1847       zeroline: False
1848     boxmode: "group"
1849     boxgroupgap: 0.5
1850     autosize: False
1851     margin:
1852       t: 50
1853       b: 20
1854       l: 50
1855       r: 20
1856     showlegend: True
1857     legend:
1858       orientation: "h"
1859     width: 700
1860     height: 1000
1861
1862 -
1863   type: "plot"
1864   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1865   algorithm: "plot_performance_box"
1866   output-file-type: ".html"
1867   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc"
1868   data:
1869     "plot-vpp-throughput-latency"
1870   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1871   parameters:
1872   - "throughput"
1873   - "parent"
1874   traces:
1875     hoverinfo: "x+y"
1876     boxpoints: "outliers"
1877     whiskerwidth: 0
1878   layout:
1879     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1880     layout:
1881       "plot-throughput"
1882
1883 -
1884   type: "plot"
1885   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1886   algorithm: "plot_performance_box"
1887   output-file-type: ".html"
1888   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-pdrdisc"
1889   data:
1890     "plot-vpp-throughput-latency"
1891   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1892   parameters:
1893   - "throughput"
1894   - "parent"
1895   traces:
1896     hoverinfo: "x+y"
1897     boxpoints: "outliers"
1898     whiskerwidth: 0
1899   layout:
1900     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1901     layout:
1902       "plot-throughput"
1903
1904 -
1905   type: "plot"
1906   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1907   algorithm: "plot_performance_box"
1908   output-file-type: ".html"
1909   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-pdrdisc"
1910   data:
1911     "plot-vpp-throughput-latency"
1912   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1913   parameters:
1914   - "throughput"
1915   - "parent"
1916   traces:
1917     hoverinfo: "x+y"
1918     boxpoints: "outliers"
1919     whiskerwidth: 0
1920   layout:
1921     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1922     xaxis:
1923       autorange: True
1924       autotick: False
1925       fixedrange: False
1926       gridcolor: "rgb(238, 238, 238)"
1927       linecolor: "rgb(238, 238, 238)"
1928       linewidth: 1
1929       showgrid: True
1930       showline: True
1931       showticklabels: True
1932       tickcolor: "rgb(238, 238, 238)"
1933       tickmode: "linear"
1934       title: "Indexed Test Cases"
1935       zeroline: False
1936     yaxis:
1937       gridcolor: "rgb(238, 238, 238)'"
1938       hoverformat: ".4s"
1939       linecolor: "rgb(238, 238, 238)"
1940       linewidth: 1
1941       range: [4000000, 12000000]
1942       showgrid: True
1943       showline: True
1944       showticklabels: True
1945       tickcolor: "rgb(238, 238, 238)"
1946       title: "Packets Per Second [pps]"
1947       zeroline: False
1948     boxmode: "group"
1949     boxgroupgap: 0.5
1950     autosize: False
1951     margin:
1952       t: 50
1953       b: 20
1954       l: 50
1955       r: 20
1956     showlegend: True
1957     legend:
1958       orientation: "h"
1959     width: 700
1960     height: 1000
1961
1962 # VPP VM VHOST
1963 -
1964   type: "plot"
1965   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
1966   algorithm: "plot_performance_box"
1967   output-file-type: ".html"
1968   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc"
1969   data:
1970     "plot-vpp-throughput-latency"
1971   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
1972   parameters:
1973   - "throughput"
1974   - "parent"
1975   traces:
1976     hoverinfo: "x+y"
1977     boxpoints: "outliers"
1978     whiskerwidth: 0
1979   layout:
1980     title: "64B-1t1c-.*vhost.*-ndrdisc"
1981     xaxis:
1982       autorange: True
1983       autotick: False
1984       fixedrange: False
1985       gridcolor: "rgb(238, 238, 238)"
1986       linecolor: "rgb(238, 238, 238)"
1987       linewidth: 1
1988       showgrid: True
1989       showline: True
1990       showticklabels: True
1991       tickcolor: "rgb(238, 238, 238)"
1992       tickmode: "linear"
1993       title: "Indexed Test Cases"
1994       zeroline: False
1995     yaxis:
1996       gridcolor: "rgb(238, 238, 238)'"
1997       hoverformat: ".4s"
1998       linecolor: "rgb(238, 238, 238)"
1999       linewidth: 1
2000       range: [0, 3500000]
2001       showgrid: True
2002       showline: True
2003       showticklabels: True
2004       tickcolor: "rgb(238, 238, 238)"
2005       title: "Packets Per Second [pps]"
2006       zeroline: False
2007     boxmode: "group"
2008     boxgroupgap: 0.5
2009     autosize: False
2010     margin:
2011       t: 50
2012       b: 20
2013       l: 50
2014       r: 20
2015     showlegend: True
2016     legend:
2017       orientation: "h"
2018     width: 700
2019     height: 1000
2020
2021 -
2022   type: "plot"
2023   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2024   algorithm: "plot_performance_box"
2025   output-file-type: ".html"
2026   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc"
2027   data:
2028     "plot-vpp-throughput-latency"
2029   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2030   parameters:
2031   - "throughput"
2032   - "parent"
2033   traces:
2034     hoverinfo: "x+y"
2035     boxpoints: "outliers"
2036     whiskerwidth: 0
2037   layout:
2038     title: "64B-2t2c-.*vhost.*-ndrdisc"
2039     layout:
2040       "plot-throughput"
2041
2042 -
2043   type: "plot"
2044   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2045   algorithm: "plot_performance_box"
2046   output-file-type: ".html"
2047   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-pdrdisc"
2048   data:
2049     "plot-vpp-throughput-latency"
2050   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2051   parameters:
2052   - "throughput"
2053   - "parent"
2054   traces:
2055     hoverinfo: "x+y"
2056     boxpoints: "outliers"
2057     whiskerwidth: 0
2058   layout:
2059     title: "64B-1t1c-.*vhost.*-pdrdisc"
2060     layout:
2061       "plot-throughput"
2062
2063 -
2064   type: "plot"
2065   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2066   algorithm: "plot_performance_box"
2067   output-file-type: ".html"
2068   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-pdrdisc"
2069   data:
2070     "plot-vpp-throughput-latency"
2071   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2072   parameters:
2073   - "throughput"
2074   - "parent"
2075   traces:
2076     hoverinfo: "x+y"
2077     boxpoints: "outliers"
2078     whiskerwidth: 0
2079   layout:
2080     title: "64B-2t2c-.*vhost.*-pdrdisc"
2081     layout:
2082       "plot-throughput"
2083
2084 # VPP VM VHOST SELECTION
2085 -
2086   type: "plot"
2087   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2088   algorithm: "plot_performance_box"
2089   output-file-type: ".html"
2090   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc"
2091   data:
2092     "plot-vpp-throughput-latency"
2093   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2094   parameters:
2095   - "throughput"
2096   - "parent"
2097   traces:
2098     hoverinfo: "x+y"
2099     boxpoints: "outliers"
2100     whiskerwidth: 0
2101   layout:
2102     title: "64B-1t1c-.*vhost.*-ndrdisc"
2103     layout:
2104       "plot-throughput"
2105
2106 -
2107   type: "plot"
2108   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2109   algorithm: "plot_performance_box"
2110   output-file-type: ".html"
2111   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc"
2112   data:
2113     "plot-vpp-throughput-latency"
2114   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2115   parameters:
2116   - "throughput"
2117   - "parent"
2118   traces:
2119     hoverinfo: "x+y"
2120     boxpoints: "outliers"
2121     whiskerwidth: 0
2122   layout:
2123     title: "64B-2t2c-.*vhost.*-ndrdisc"
2124     layout:
2125       "plot-throughput"
2126
2127 -
2128   type: "plot"
2129   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2130   algorithm: "plot_performance_box"
2131   output-file-type: ".html"
2132   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-pdrdisc"
2133   data:
2134     "plot-vpp-throughput-latency"
2135   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2136   parameters:
2137   - "throughput"
2138   - "parent"
2139   traces:
2140     hoverinfo: "x+y"
2141     boxpoints: "outliers"
2142     whiskerwidth: 0
2143   layout:
2144     title: "64B-1t1c-.*vhost.*-pdrdisc"
2145     layout:
2146       "plot-throughput"
2147
2148 -
2149   type: "plot"
2150   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2151   algorithm: "plot_performance_box"
2152   output-file-type: ".html"
2153   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-pdrdisc"
2154   data:
2155     "plot-vpp-throughput-latency"
2156   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2157   parameters:
2158   - "throughput"
2159   - "parent"
2160   traces:
2161     hoverinfo: "x+y"
2162     boxpoints: "outliers"
2163     whiskerwidth: 0
2164   layout:
2165     title: "64B-2t2c-.*vhost.*-pdrdisc"
2166     layout:
2167       "plot-throughput"
2168
2169 # VPP CRYPTO
2170 -
2171   type: "plot"
2172   title: "VPP Performance 64B-1t1c-.*ipsec.*-ndrdisc"
2173   algorithm: "plot_performance_box"
2174   output-file-type: ".html"
2175   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc"
2176   data:
2177     "plot-vpp-throughput-latency"
2178   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2179   parameters:
2180   - "throughput"
2181   - "parent"
2182   traces:
2183     hoverinfo: "x+y"
2184     boxpoints: "outliers"
2185     whiskerwidth: 0
2186   layout:
2187     title: "64B-1t1c-.*ipsec.*-ndrdisc"
2188     layout:
2189       "plot-throughput"
2190
2191 -
2192   type: "plot"
2193   title: "VPP Performance 64B-2t2c-.*ipsec.*-ndrdisc"
2194   algorithm: "plot_performance_box"
2195   output-file-type: ".html"
2196   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc"
2197   data:
2198     "plot-vpp-throughput-latency"
2199   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2200   parameters:
2201   - "throughput"
2202   - "parent"
2203   traces:
2204     hoverinfo: "x+y"
2205     boxpoints: "outliers"
2206     whiskerwidth: 0
2207   layout:
2208     title: "64B-2t2c-.*ipsec.*-ndrdisc"
2209     layout:
2210       "plot-throughput"
2211
2212 -
2213   type: "plot"
2214   title: "VPP Performance 64B-1t1c-.*ipsec.*-pdrdisc"
2215   algorithm: "plot_performance_box"
2216   output-file-type: ".html"
2217   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-pdrdisc"
2218   data:
2219     "plot-vpp-throughput-latency"
2220   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2221   parameters:
2222   - "throughput"
2223   - "parent"
2224   traces:
2225     hoverinfo: "x+y"
2226     boxpoints: "outliers"
2227     whiskerwidth: 0
2228   layout:
2229     title: "64B-1t1c-.*ipsec.*-pdrdisc"
2230     layout:
2231       "plot-throughput"
2232
2233 -
2234   type: "plot"
2235   title: "VPP Performance 64B-2t2c-.*ipsec.*-pdrdisc"
2236   algorithm: "plot_performance_box"
2237   output-file-type: ".html"
2238   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-pdrdisc"
2239   data:
2240     "plot-vpp-throughput-latency"
2241   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2242   parameters:
2243   - "throughput"
2244   - "parent"
2245   traces:
2246     hoverinfo: "x+y"
2247     boxpoints: "outliers"
2248     whiskerwidth: 0
2249   layout:
2250     title: "64B-2t2c-.*ipsec.*-pdrdisc"
2251     layout:
2252       "plot-throughput"
2253
2254 # DPDK
2255 -
2256   type: "plot"
2257   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2258   algorithm: "plot_performance_box"
2259   output-file-type: ".html"
2260   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc"
2261   data:
2262     "plot-dpdk-throughput-latency"
2263   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2264   parameters:
2265   - "throughput"
2266   - "parent"
2267   traces:
2268     hoverinfo: "x+y"
2269     boxpoints: "outliers"
2270     whiskerwidth: 0
2271   layout:
2272     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2273     layout:
2274       "plot-throughput"
2275
2276 -
2277   type: "plot"
2278   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2279   algorithm: "plot_performance_box"
2280   output-file-type: ".html"
2281   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc"
2282   data:
2283     "plot-dpdk-throughput-latency"
2284   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2285   parameters:
2286   - "throughput"
2287   - "parent"
2288   traces:
2289     hoverinfo: "x+y"
2290     boxpoints: "outliers"
2291     whiskerwidth: 0
2292   layout:
2293     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2294     layout:
2295       "plot-throughput"
2296
2297 -
2298   type: "plot"
2299   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2300   algorithm: "plot_performance_box"
2301   output-file-type: ".html"
2302   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc"
2303   data:
2304     "plot-dpdk-throughput-latency"
2305   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
2306   parameters:
2307   - "throughput"
2308   - "parent"
2309   traces:
2310     hoverinfo: "x+y"
2311     boxpoints: "outliers"
2312     whiskerwidth: 0
2313   layout:
2314     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2315     xaxis:
2316       autorange: True
2317       autotick: False
2318       fixedrange: False
2319       gridcolor: "rgb(238, 238, 238)"
2320       linecolor: "rgb(238, 238, 238)"
2321       linewidth: 1
2322       showgrid: True
2323       showline: True
2324       showticklabels: True
2325       tickcolor: "rgb(238, 238, 238)"
2326       tickmode: "linear"
2327       title: "Indexed Test Cases"
2328       zeroline: False
2329     yaxis:
2330       gridcolor: "rgb(238, 238, 238)'"
2331       hoverformat: ".4s"
2332       linecolor: "rgb(238, 238, 238)"
2333       linewidth: 1
2334       range: [2000000, 12000000]
2335       showgrid: True
2336       showline: True
2337       showticklabels: True
2338       tickcolor: "rgb(238, 238, 238)"
2339       title: "Packets Per Second [pps]"
2340       zeroline: False
2341     boxmode: "group"
2342     boxgroupgap: 0.5
2343     autosize: False
2344     margin:
2345       t: 50
2346       b: 20
2347       l: 50
2348       r: 20
2349     showlegend: True
2350     legend:
2351       orientation: "h"
2352     width: 700
2353     height: 1000
2354
2355 -
2356   type: "plot"
2357   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2358   algorithm: "plot_performance_box"
2359   output-file-type: ".html"
2360   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc"
2361   data:
2362     "plot-dpdk-throughput-latency"
2363   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
2364   parameters:
2365   - "throughput"
2366   - "parent"
2367   traces:
2368     hoverinfo: "x+y"
2369     boxpoints: "outliers"
2370     whiskerwidth: 0
2371   layout:
2372     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2373     xaxis:
2374       autorange: True
2375       autotick: False
2376       fixedrange: False
2377       gridcolor: "rgb(238, 238, 238)"
2378       linecolor: "rgb(238, 238, 238)"
2379       linewidth: 1
2380       showgrid: True
2381       showline: True
2382       showticklabels: True
2383       tickcolor: "rgb(238, 238, 238)"
2384       tickmode: "linear"
2385       title: "Indexed Test Cases"
2386       zeroline: False
2387     yaxis:
2388       gridcolor: "rgb(238, 238, 238)'"
2389       hoverformat: ".4s"
2390       linecolor: "rgb(238, 238, 238)"
2391       linewidth: 1
2392       range: [2000000, 12000000]
2393       showgrid: True
2394       showline: True
2395       showticklabels: True
2396       tickcolor: "rgb(238, 238, 238)"
2397       title: "Packets Per Second [pps]"
2398       zeroline: False
2399     boxmode: "group"
2400     boxgroupgap: 0.5
2401     autosize: False
2402     margin:
2403       t: 50
2404       b: 20
2405       l: 50
2406       r: 20
2407     showlegend: True
2408     legend:
2409       orientation: "h"
2410     width: 700
2411     height: 1000
2412
2413 -
2414   type: "plot"
2415   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2416   algorithm: "plot_performance_box"
2417   output-file-type: ".html"
2418   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-pdrdisc"
2419   data:
2420     "plot-dpdk-throughput-latency"
2421   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2422   parameters:
2423   - "throughput"
2424   - "parent"
2425   traces:
2426     hoverinfo: "x+y"
2427     boxpoints: "outliers"
2428     whiskerwidth: 0
2429   layout:
2430     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2431     layout:
2432       "plot-throughput"
2433
2434 -
2435   type: "plot"
2436   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2437   algorithm: "plot_performance_box"
2438   output-file-type: ".html"
2439   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-pdrdisc"
2440   data:
2441     "plot-dpdk-throughput-latency"
2442   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2443   parameters:
2444   - "throughput"
2445   - "parent"
2446   traces:
2447     hoverinfo: "x+y"
2448     boxpoints: "outliers"
2449     whiskerwidth: 0
2450   layout:
2451     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2452     layout:
2453       "plot-throughput"
2454
2455 -
2456   type: "plot"
2457   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
2458   algorithm: "plot_performance_box"
2459   output-file-type: ".html"
2460   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-pdrdisc"
2461   data:
2462     "plot-dpdk-throughput-latency"
2463   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD'"
2464   parameters:
2465   - "throughput"
2466   - "parent"
2467   traces:
2468     hoverinfo: "x+y"
2469     boxpoints: "outliers"
2470     whiskerwidth: 0
2471   layout:
2472     title: "64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
2473     xaxis:
2474       autorange: True
2475       autotick: False
2476       fixedrange: False
2477       gridcolor: "rgb(238, 238, 238)"
2478       linecolor: "rgb(238, 238, 238)"
2479       linewidth: 1
2480       showgrid: True
2481       showline: True
2482       showticklabels: True
2483       tickcolor: "rgb(238, 238, 238)"
2484       tickmode: "linear"
2485       title: "Indexed Test Cases"
2486       zeroline: False
2487     yaxis:
2488       gridcolor: "rgb(238, 238, 238)'"
2489       hoverformat: ".4s"
2490       linecolor: "rgb(238, 238, 238)"
2491       linewidth: 1
2492       range: [20000000, 30000000]
2493       showgrid: True
2494       showline: True
2495       showticklabels: True
2496       tickcolor: "rgb(238, 238, 238)"
2497       title: "Packets Per Second [pps]"
2498       zeroline: False
2499     boxmode: "group"
2500     boxgroupgap: 0.5
2501     autosize: False
2502     margin:
2503       t: 50
2504       b: 20
2505       l: 50
2506       r: 20
2507     showlegend: True
2508     legend:
2509       orientation: "h"
2510     width: 700
2511     height: 1000
2512
2513 -
2514   type: "plot"
2515   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
2516   algorithm: "plot_performance_box"
2517   output-file-type: ".html"
2518   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-pdrdisc"
2519   data:
2520     "plot-dpdk-throughput-latency"
2521   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD'"
2522   parameters:
2523   - "throughput"
2524   - "parent"
2525   traces:
2526     hoverinfo: "x+y"
2527     boxpoints: "outliers"
2528     whiskerwidth: 0
2529   layout:
2530     title: "64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
2531     xaxis:
2532       autorange: True
2533       autotick: False
2534       fixedrange: False
2535       gridcolor: "rgb(238, 238, 238)"
2536       linecolor: "rgb(238, 238, 238)"
2537       linewidth: 1
2538       showgrid: True
2539       showline: True
2540       showticklabels: True
2541       tickcolor: "rgb(238, 238, 238)"
2542       tickmode: "linear"
2543       title: "Indexed Test Cases"
2544       zeroline: False
2545     yaxis:
2546       gridcolor: "rgb(238, 238, 238)'"
2547       hoverformat: ".4s"
2548       linecolor: "rgb(238, 238, 238)"
2549       linewidth: 1
2550       range: [20000000, 30000000]
2551       showgrid: True
2552       showline: True
2553       showticklabels: True
2554       tickcolor: "rgb(238, 238, 238)"
2555       title: "Packets Per Second [pps]"
2556       zeroline: False
2557     boxmode: "group"
2558     boxgroupgap: 0.5
2559     autosize: False
2560     margin:
2561       t: 50
2562       b: 20
2563       l: 50
2564       r: 20
2565     showlegend: True
2566     legend:
2567       orientation: "h"
2568     width: 700
2569     height: 1000
2570
2571 # Plot latency
2572
2573 # VPP L2 sel1
2574 -
2575   type: "plot"
2576   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2577   algorithm: "plot_latency_box"
2578   output-file-type: ".html"
2579   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc-lat50"
2580   data:
2581     "plot-vpp-throughput-latency"
2582   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2583   parameters:
2584   - "latency"
2585   - "parent"
2586   traces:
2587     boxmean: False
2588   layout:
2589     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2590     layout:
2591       "plot-latency"
2592
2593 -
2594   type: "plot"
2595   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2596   algorithm: "plot_latency_box"
2597   output-file-type: ".html"
2598   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc-lat50"
2599   data:
2600     "plot-vpp-throughput-latency"
2601   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2602   parameters:
2603   - "latency"
2604   - "parent"
2605   traces:
2606     boxmean: False
2607   layout:
2608     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2609     layout:
2610       "plot-latency"
2611
2612 # VPP L2 sel2
2613 -
2614   type: "plot"
2615   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2616   algorithm: "plot_latency_box"
2617   output-file-type: ".html"
2618   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc-lat50"
2619   data:
2620     "plot-vpp-throughput-latency"
2621   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2622   parameters:
2623   - "latency"
2624   - "parent"
2625   traces:
2626     boxmean: False
2627   layout:
2628     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2629     layout:
2630       "plot-latency"
2631
2632 -
2633   type: "plot"
2634   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2635   algorithm: "plot_latency_box"
2636   output-file-type: ".html"
2637   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc-lat50"
2638   data:
2639     "plot-vpp-throughput-latency"
2640   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2641   parameters:
2642   - "latency"
2643   - "parent"
2644   traces:
2645     boxmean: False
2646   layout:
2647     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2648     layout:
2649       "plot-latency"
2650
2651 # VPP IP4
2652 -
2653   type: "plot"
2654   title: "VPP Latency 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2655   algorithm: "plot_latency_box"
2656   output-file-type: ".html"
2657   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc-lat50"
2658   data:
2659     "plot-vpp-throughput-latency"
2660   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
2661   parameters:
2662   - "latency"
2663   - "parent"
2664   traces:
2665     boxmean: False
2666   layout:
2667     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2668     layout:
2669       "plot-latency"
2670
2671 -
2672   type: "plot"
2673   title: "VPP Latency 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2674   algorithm: "plot_latency_box"
2675   output-file-type: ".html"
2676   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc-lat50"
2677   data:
2678     "plot-vpp-throughput-latency"
2679   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
2680   parameters:
2681   - "latency"
2682   - "parent"
2683   traces:
2684     boxmean: False
2685   layout:
2686     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2687     layout:
2688       "plot-latency"
2689
2690 # VPP IP6
2691 -
2692   type: "plot"
2693   title: "VPP Latency 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2694   algorithm: "plot_latency_box"
2695   output-file-type: ".html"
2696   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc-lat50"
2697   data:
2698     "plot-vpp-throughput-latency"
2699   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2700   parameters:
2701   - "latency"
2702   - "parent"
2703   traces:
2704     boxmean: False
2705   layout:
2706     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2707     layout:
2708       "plot-latency"
2709
2710 -
2711   type: "plot"
2712   title: "VPP Latency 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2713   algorithm: "plot_latency_box"
2714   output-file-type: ".html"
2715   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc-lat50"
2716   data:
2717     "plot-vpp-throughput-latency"
2718   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2719   parameters:
2720   - "latency"
2721   - "parent"
2722   traces:
2723     boxmean: False
2724   layout:
2725     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2726     layout:
2727       "plot-latency"
2728
2729 # VPP IP4_overlay
2730 -
2731   type: "plot"
2732   title: "VPP Latency 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2733   algorithm: "plot_latency_box"
2734   output-file-type: ".html"
2735   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc-lat50"
2736   data:
2737     "plot-vpp-throughput-latency"
2738   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2739   parameters:
2740   - "latency"
2741   - "parent"
2742   traces:
2743     boxmean: False
2744   layout:
2745     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2746     layout:
2747       "plot-latency"
2748
2749 -
2750   type: "plot"
2751   title: "VPP Latency 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2752   algorithm: "plot_latency_box"
2753   output-file-type: ".html"
2754   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc-lat50"
2755   data:
2756     "plot-vpp-throughput-latency"
2757   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2758   parameters:
2759   - "latency"
2760   - "parent"
2761   traces:
2762     boxmean: False
2763   layout:
2764     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2765     layout:
2766       "plot-latency"
2767
2768 # VPP IP6_overlay
2769 -
2770   type: "plot"
2771   title: "VPP Latency 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2772   algorithm: "plot_latency_box"
2773   output-file-type: ".html"
2774   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc-lat50"
2775   data:
2776     "plot-vpp-throughput-latency"
2777   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2778   parameters:
2779   - "latency"
2780   - "parent"
2781   traces:
2782     boxmean: False
2783   layout:
2784     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2785     layout:
2786       "plot-latency"
2787
2788 -
2789   type: "plot"
2790   title: "VPP Latency 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2791   algorithm: "plot_latency_box"
2792   output-file-type: ".html"
2793   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc-lat50"
2794   data:
2795     "plot-vpp-throughput-latency"
2796   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2797   parameters:
2798   - "latency"
2799   - "parent"
2800   traces:
2801     boxmean: False
2802   layout:
2803     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2804     layout:
2805       "plot-latency"
2806
2807 # VPP VM VHOST
2808 -
2809   type: "plot"
2810   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
2811   algorithm: "plot_latency_box"
2812   output-file-type: ".html"
2813   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc-lat50"
2814   data:
2815     "plot-vpp-throughput-latency"
2816   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2817   parameters:
2818   - "latency"
2819   - "parent"
2820   traces:
2821     boxmean: False
2822   layout:
2823     title: "64B-1t1c-.*vhost.*-ndrdisc"
2824     layout:
2825       "plot-latency"
2826
2827 -
2828   type: "plot"
2829   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
2830   algorithm: "plot_latency_box"
2831   output-file-type: ".html"
2832   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc-lat50"
2833   data:
2834     "plot-vpp-throughput-latency"
2835   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2836   parameters:
2837   - "latency"
2838   - "parent"
2839   traces:
2840     boxmean: False
2841   layout:
2842     title: "64B-2t2c-.*vhost.*-ndrdisc"
2843     layout:
2844       "plot-latency"
2845
2846 # VPP VM VHOST selection
2847 -
2848   type: "plot"
2849   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
2850   algorithm: "plot_latency_box"
2851   output-file-type: ".html"
2852   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc-lat50"
2853   data:
2854     "plot-vpp-throughput-latency"
2855   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2856   parameters:
2857   - "latency"
2858   - "parent"
2859   traces:
2860     boxmean: False
2861   layout:
2862     title: "64B-1t1c-.*vhost.*-ndrdisc"
2863     layout:
2864       "plot-latency"
2865
2866 -
2867   type: "plot"
2868   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
2869   algorithm: "plot_latency_box"
2870   output-file-type: ".html"
2871   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc-lat50"
2872   data:
2873     "plot-vpp-throughput-latency"
2874   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2875   parameters:
2876   - "latency"
2877   - "parent"
2878   traces:
2879     boxmean: False
2880   layout:
2881     title: "64B-2t2c-.*vhost.*-ndrdisc"
2882     layout:
2883       "plot-latency"
2884
2885 # VPP CRYPTO
2886 -
2887   type: "plot"
2888   title: "VPP Latency 64B-1t1c-.*ipsec.*-ndrdisc"
2889   algorithm: "plot_latency_box"
2890   output-file-type: ".html"
2891   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc-lat50"
2892   data:
2893     "plot-vpp-throughput-latency"
2894   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2895   parameters:
2896   - "latency"
2897   - "parent"
2898   traces:
2899     boxmean: False
2900   layout:
2901     title: "64B-1t1c-.*ipsec.*-ndrdisc"
2902     layout:
2903       "plot-latency"
2904
2905 -
2906   type: "plot"
2907   title: "VPP Latency 64B-2t2c-.*ipsec.*-ndrdisc"
2908   algorithm: "plot_latency_box"
2909   output-file-type: ".html"
2910   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc-lat50"
2911   data:
2912     "plot-vpp-throughput-latency"
2913   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2914   parameters:
2915   - "latency"
2916   - "parent"
2917   traces:
2918     boxmean: False
2919   layout:
2920     title: "64B-2t2c-.*ipsec.*-ndrdisc"
2921     layout:
2922       "plot-latency"
2923
2924 # DPDK
2925 -
2926   type: "plot"
2927   title: "DPDK Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2928   algorithm: "plot_latency_box"
2929   output-file-type: ".html"
2930   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc-lat50"
2931   data:
2932     "plot-dpdk-throughput-latency"
2933   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2934   parameters:
2935   - "latency"
2936   - "parent"
2937   traces:
2938     boxmean: False
2939   layout:
2940     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2941     layout:
2942       "plot-latency"
2943
2944 -
2945   type: "plot"
2946   title: "DPDK Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2947   algorithm: "plot_latency_box"
2948   output-file-type: ".html"
2949   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc-lat50"
2950   data:
2951     "plot-dpdk-throughput-latency"
2952   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2953   parameters:
2954   - "latency"
2955   - "parent"
2956   traces:
2957     boxmean: False
2958   layout:
2959     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2960     layout:
2961       "plot-latency"
2962
2963 -
2964   type: "plot"
2965   title: "DPDK Latency 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2966   algorithm: "plot_latency_box"
2967   output-file-type: ".html"
2968   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc-lat50"
2969   data:
2970     "plot-dpdk-throughput-latency"
2971   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
2972   parameters:
2973   - "latency"
2974   - "parent"
2975   traces:
2976     boxmean: False
2977   layout:
2978     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2979     layout:
2980       "plot-latency"
2981
2982 -
2983   type: "plot"
2984   title: "DPDK Latency 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2985   algorithm: "plot_latency_box"
2986   output-file-type: ".html"
2987   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc-lat50"
2988   data:
2989     "plot-dpdk-throughput-latency"
2990   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
2991   parameters:
2992   - "latency"
2993   - "parent"
2994   traces:
2995     boxmean: False
2996   layout:
2997     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2998     layout:
2999       "plot-latency"
3000
3001 # Ligato - Throughput
3002
3003 # Container memif
3004 -
3005   type: "plot"
3006   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3007   algorithm: "plot_performance_box"
3008   output-file-type: ".html"
3009   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc"
3010   data:
3011     "plot-vpp-throughput-latency"
3012   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3013   parameters:
3014   - "throughput"
3015   - "parent"
3016   traces:
3017     hoverinfo: "x+y"
3018     boxpoints: "outliers"
3019     whiskerwidth: 0
3020   layout:
3021     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3022     xaxis:
3023       autorange: True
3024       autotick: False
3025       fixedrange: False
3026       gridcolor: "rgb(238, 238, 238)"
3027       linecolor: "rgb(238, 238, 238)"
3028       linewidth: 1
3029       showgrid: True
3030       showline: True
3031       showticklabels: True
3032       tickcolor: "rgb(238, 238, 238)"
3033       tickmode: "linear"
3034       title: "Indexed Test Cases"
3035       zeroline: False
3036     yaxis:
3037       gridcolor: "rgb(238, 238, 238)'"
3038       hoverformat: ".4s"
3039       linecolor: "rgb(238, 238, 238)"
3040       linewidth: 1
3041       range: [0, 4500000]
3042       showgrid: True
3043       showline: True
3044       showticklabels: True
3045       tickcolor: "rgb(238, 238, 238)"
3046       title: "Packets Per Second [pps]"
3047       zeroline: False
3048     boxmode: "group"
3049     boxgroupgap: 0.5
3050     autosize: False
3051     margin:
3052       t: 50
3053       b: 20
3054       l: 50
3055       r: 20
3056     showlegend: True
3057     legend:
3058       orientation: "h"
3059     width: 700
3060     height: 1000
3061
3062 -
3063   type: "plot"
3064   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3065   algorithm: "plot_performance_box"
3066   output-file-type: ".html"
3067   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc"
3068   data:
3069     "plot-vpp-throughput-latency"
3070   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3071   parameters:
3072   - "throughput"
3073   - "parent"
3074   traces:
3075     hoverinfo: "x+y"
3076     boxpoints: "outliers"
3077     whiskerwidth: 0
3078   layout:
3079     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3080     xaxis:
3081       autorange: True
3082       autotick: False
3083       fixedrange: False
3084       gridcolor: "rgb(238, 238, 238)"
3085       linecolor: "rgb(238, 238, 238)"
3086       linewidth: 1
3087       showgrid: True
3088       showline: True
3089       showticklabels: True
3090       tickcolor: "rgb(238, 238, 238)"
3091       tickmode: "linear"
3092       title: "Indexed Test Cases"
3093       zeroline: False
3094     yaxis:
3095       gridcolor: "rgb(238, 238, 238)'"
3096       hoverformat: ".4s"
3097       linecolor: "rgb(238, 238, 238)"
3098       linewidth: 1
3099       range: [0, 8000000]
3100       showgrid: True
3101       showline: True
3102       showticklabels: True
3103       tickcolor: "rgb(238, 238, 238)"
3104       title: "Packets Per Second [pps]"
3105       zeroline: False
3106     boxmode: "group"
3107     boxgroupgap: 0.5
3108     autosize: False
3109     margin:
3110       t: 50
3111       b: 20
3112       l: 50
3113       r: 20
3114     showlegend: True
3115     legend:
3116       orientation: "h"
3117     width: 700
3118     height: 1000
3119
3120 -
3121   type: "plot"
3122   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3123   algorithm: "plot_performance_box"
3124   output-file-type: ".html"
3125   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-pdrdisc"
3126   data:
3127     "plot-vpp-throughput-latency"
3128   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3129   parameters:
3130   - "throughput"
3131   - "parent"
3132   traces:
3133     hoverinfo: "x+y"
3134     boxpoints: "outliers"
3135     whiskerwidth: 0
3136   layout:
3137     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3138     xaxis:
3139       autorange: True
3140       autotick: False
3141       fixedrange: False
3142       gridcolor: "rgb(238, 238, 238)"
3143       linecolor: "rgb(238, 238, 238)"
3144       linewidth: 1
3145       showgrid: True
3146       showline: True
3147       showticklabels: True
3148       tickcolor: "rgb(238, 238, 238)"
3149       tickmode: "linear"
3150       title: "Indexed Test Cases"
3151       zeroline: False
3152     yaxis:
3153       gridcolor: "rgb(238, 238, 238)'"
3154       hoverformat: ".4s"
3155       linecolor: "rgb(238, 238, 238)"
3156       linewidth: 1
3157       range: [0, 4500000]
3158       showgrid: True
3159       showline: True
3160       showticklabels: True
3161       tickcolor: "rgb(238, 238, 238)"
3162       title: "Packets Per Second [pps]"
3163       zeroline: False
3164     boxmode: "group"
3165     boxgroupgap: 0.5
3166     autosize: False
3167     margin:
3168       t: 50
3169       b: 20
3170       l: 50
3171       r: 20
3172     showlegend: True
3173     legend:
3174       orientation: "h"
3175     width: 700
3176     height: 1000
3177
3178 -
3179   type: "plot"
3180   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3181   algorithm: "plot_performance_box"
3182   output-file-type: ".html"
3183   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-pdrdisc"
3184   data:
3185     "plot-vpp-throughput-latency"
3186   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3187   parameters:
3188   - "throughput"
3189   - "parent"
3190   traces:
3191     hoverinfo: "x+y"
3192     boxpoints: "outliers"
3193     whiskerwidth: 0
3194   layout:
3195     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3196     xaxis:
3197       autorange: True
3198       autotick: False
3199       fixedrange: False
3200       gridcolor: "rgb(238, 238, 238)"
3201       linecolor: "rgb(238, 238, 238)"
3202       linewidth: 1
3203       showgrid: True
3204       showline: True
3205       showticklabels: True
3206       tickcolor: "rgb(238, 238, 238)"
3207       tickmode: "linear"
3208       title: "Indexed Test Cases"
3209       zeroline: False
3210     yaxis:
3211       gridcolor: "rgb(238, 238, 238)'"
3212       hoverformat: ".4s"
3213       linecolor: "rgb(238, 238, 238)"
3214       linewidth: 1
3215       range: [0, 8000000]
3216       showgrid: True
3217       showline: True
3218       showticklabels: True
3219       tickcolor: "rgb(238, 238, 238)"
3220       title: "Packets Per Second [pps]"
3221       zeroline: False
3222     boxmode: "group"
3223     boxgroupgap: 0.5
3224     autosize: False
3225     margin:
3226       t: 50
3227       b: 20
3228       l: 50
3229       r: 20
3230     showlegend: True
3231     legend:
3232       orientation: "h"
3233     width: 700
3234     height: 1000
3235
3236 # Container orchestrated
3237 -
3238   type: "plot"
3239   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3240   algorithm: "plot_performance_box"
3241   output-file-type: ".html"
3242   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc"
3243   data:
3244     "plot-ligato-throughput-latency"
3245   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3246   parameters:
3247   - "throughput"
3248   - "parent"
3249   traces:
3250     hoverinfo: "x+y"
3251     boxpoints: "outliers"
3252     whiskerwidth: 0
3253   layout:
3254     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3255     layout:
3256       "plot-throughput"
3257
3258 -
3259   type: "plot"
3260   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3261   algorithm: "plot_performance_box"
3262   output-file-type: ".html"
3263   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc"
3264   data:
3265     "plot-ligato-throughput-latency"
3266   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3267   parameters:
3268   - "throughput"
3269   - "parent"
3270   traces:
3271     hoverinfo: "x+y"
3272     boxpoints: "outliers"
3273     whiskerwidth: 0
3274   layout:
3275     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3276     layout:
3277       "plot-throughput"
3278
3279 -
3280   type: "plot"
3281   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3282   algorithm: "plot_performance_box"
3283   output-file-type: ".html"
3284   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-pdrdisc"
3285   data:
3286     "plot-ligato-throughput-latency"
3287   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3288   parameters:
3289   - "throughput"
3290   - "parent"
3291   traces:
3292     hoverinfo: "x+y"
3293     boxpoints: "outliers"
3294     whiskerwidth: 0
3295   layout:
3296     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3297     layout:
3298       "plot-throughput"
3299
3300 -
3301   type: "plot"
3302   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3303   algorithm: "plot_performance_box"
3304   output-file-type: ".html"
3305   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-pdrdisc"
3306   data:
3307     "plot-ligato-throughput-latency"
3308   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3309   parameters:
3310   - "throughput"
3311   - "parent"
3312   traces:
3313     hoverinfo: "x+y"
3314     boxpoints: "outliers"
3315     whiskerwidth: 0
3316   layout:
3317     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3318     layout:
3319       "plot-throughput"
3320
3321 # Ligato - Latency
3322
3323 # Container memif
3324 -
3325   type: "plot"
3326   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3327   algorithm: "plot_latency_box"
3328   output-file-type: ".html"
3329   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc-lat50"
3330   data:
3331     "plot-vpp-throughput-latency"
3332   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3333   parameters:
3334   - "latency"
3335   - "parent"
3336   traces:
3337     boxmean: False
3338   layout:
3339     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3340     layout:
3341       "plot-latency"
3342
3343 -
3344   type: "plot"
3345   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3346   algorithm: "plot_latency_box"
3347   output-file-type: ".html"
3348   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc-lat50"
3349   data:
3350     "plot-vpp-throughput-latency"
3351   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3352   parameters:
3353   - "latency"
3354   - "parent"
3355   traces:
3356     boxmean: False
3357   layout:
3358     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3359     layout:
3360       "plot-latency"
3361
3362 # Container orchestrated
3363 -
3364   type: "plot"
3365   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3366   algorithm: "plot_latency_box"
3367   output-file-type: ".html"
3368   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc-lat50"
3369   data:
3370     "plot-ligato-throughput-latency"
3371   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3372   parameters:
3373   - "latency"
3374   - "parent"
3375   traces:
3376     boxmean: False
3377   layout:
3378     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3379     layout:
3380       "plot-latency"
3381
3382 -
3383   type: "plot"
3384   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3385   algorithm: "plot_latency_box"
3386   output-file-type: ".html"
3387   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc-lat50"
3388   data:
3389     "plot-ligato-throughput-latency"
3390   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3391   parameters:
3392   - "latency"
3393   - "parent"
3394   traces:
3395     boxmean: False
3396   layout:
3397     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3398     layout:
3399       "plot-latency"