resources/tools/presentation/specification.yaml

   1 -
   2   type: "environment"
   3   configuration:
   4     # Debug mode:
   5     # - Skip:
   6     #   - Download of input data files
   7     # - Do:
   8     #   - Read data from given zip / xml files
   9     #   - Set the configuration as it is done in normal mode
  10     # If the section "type: debug" is missing, CFG[DEBUG] is set to 0.
  11     CFG[DEBUG]: 0
  12
  13   paths:
  14     # Top level directories:
  15     ## Working directory
  16     DIR[WORKING]: "_tmp"
  17     ## Build directories
  18     DIR[BUILD,HTML]: "_build"
  19     DIR[BUILD,LATEX]: "_build_latex"
  20
  21     # Static .rst files
  22     DIR[RST]: "../../../docs/report"
  23
  24     # Working directories
  25     ## Input data files (.zip, .xml)
  26     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
  27     ## Static source files from git
  28     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
  29     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
  30
  31     # Static html content
  32     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
  33     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
  34     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
  35     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
  36
  37     # Detailed test results
  38     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
  39     DIR[DTR,PERF,DPDK]: "{DIR[DTR]}/dpdk_performance_results"
  40     DIR[DTR,PERF,VPP]: "{DIR[DTR]}/vpp_performance_results"
  41     DIR[DTR,PERF,COT]: "{DIR[DTR]}/cot_performance_results"
  42     DIR[DTR,PERF,HC]: "{DIR[DTR]}/honeycomb_performance_results"
  43     DIR[DTR,FUNC,VPP]: "{DIR[DTR]}/vpp_functional_results"
  44     DIR[DTR,FUNC,HC]: "{DIR[DTR]}/honeycomb_functional_results"
  45     DIR[DTR,FUNC,NSHSFC]: "{DIR[DTR]}/nshsfc_functional_results"
  46     DIR[DTR,PERF,VPP,IMPRV]: "{DIR[WORKING,SRC]}/vpp_performance_tests/performance_improvements"
  47
  48     # Detailed test configurations
  49     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
  50     DIR[DTC,PERF,VPP]: "{DIR[DTC]}/vpp_performance_configuration"
  51     DIR[DTC,FUNC,VPP]: "{DIR[DTC]}/vpp_functional_configuration"
  52
  53     # Detailed tests operational data
  54     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
  55     DIR[DTO,PERF,VPP]: "{DIR[DTO]}/vpp_performance_operational_data"
  56
  57     # .css patch file to fix tables generated by Sphinx
  58     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
  59     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
  60
  61   urls:
  62     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
  63     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
  64     URL[NEXUS]: "https://docs.fd.io/csit"
  65     DIR[NEXUS]: "report/_static/archive"
  66
  67   make-dirs:
  68   # List the directories which are created while preparing the environment.
  69   # All directories MUST be defined in "paths" section.
  70   - "DIR[WORKING,DATA]"
  71   - "DIR[STATIC,VPP]"
  72   - "DIR[STATIC,DPDK]"
  73   - "DIR[STATIC,ARCH]"
  74   - "DIR[BUILD,LATEX]"
  75   - "DIR[WORKING,SRC]"
  76   - "DIR[WORKING,SRC,STATIC]"
  77
  78   remove-dirs:
  79   # List the directories which are deleted while cleaning the environment.
  80   # All directories MUST be defined in "paths" section.
  81   #- "DIR[BUILD,HTML]"
  82
  83   build-dirs:
  84   # List the directories where the results (build) is stored.
  85   # All directories MUST be defined in "paths" section.
  86   - "DIR[BUILD,HTML]"
  87   - "DIR[BUILD,LATEX]"
  88
  89 -
  90   type: "configuration"
  91   data-sets:
  92 # TODO: Add the data sources
  93     plot-vpp-http-server-performance:
  94       csit-vpp-perf-1801-all:
  95       - 157
  96       - 158
  97       - 159
  98       - 160
  99       - 161
 100 # TODO: Add the data sources
 101 #    vpp-meltdown-impact:
 102 #      csit-vpp-perf-1707-all:
 103 #      - 9
 104 #      - 10
 105 #      - 13
 106 #      csit-vpp-perf-1710-all:
 107 #      - 11l
 108 #      - 12
 109 #      - 13
 110 # TODO: Add the data sources
 111 #    vpp-spectre-impact:
 112 #      csit-vpp-perf-1707-all:
 113 #      - 9
 114 #      - 10
 115 #      - 13
 116 #      csit-vpp-perf-1710-all:
 117 #      - 11
 118 #      - 12
 119 #      - 13
 120     vpp-performance-changes:
 121       csit-vpp-perf-1710-all:
 122       - 11
 123       - 12
 124       - 13
 125       - 14
 126       - 15
 127       - 16
 128       - 17
 129       - 18
 130       - 19
 131       - 20
 132 # TODO: Add the data sources
 133       csit-vpp-perf-1801-all:
 134       - 124  # sel
 135       - 127  # sel
 136       - 128  # sel
 137       - 141  # sel
 138       - 142  # sel
 139       - 143  # sel
 140       - 145  # sel
 141       - 146  # sel
 142 # TODO: Add the data sources
 143     plot-throughput-speedup-analysis:
 144       csit-vpp-perf-1801-all:
 145       - 124  # sel
 146       - 127  # sel
 147       - 128  # sel
 148       - 141  # sel
 149       - 142  # sel
 150       - 143  # sel
 151       - 145  # sel
 152       - 146  # sel
 153 #    performance-improvements:
 154 #      csit-vpp-perf-1707-all:
 155 #      - 9
 156 #      - 10
 157 #      - 13
 158 #      - 14
 159 #      - 15
 160 #      - 16
 161 #      - 17
 162 #      - 18
 163 #      - 19
 164 #      - 21
 165 #      csit-vpp-perf-1710-all:
 166 #      - 11
 167 #      - 12
 168 #      - 13
 169 #      - 14
 170 #      - 15
 171 #      - 16
 172 #      - 17
 173 #      - 18
 174 #      - 19
 175 #      - 20
 176 #      csit-vpp-perf-1801-all:
 177 #      - 124
 178 #      - 127
 179 #      - 128
 180 #      csit-ligato-perf-1710-all:
 181 #      - 5
 182 #      - 7
 183 #      - 8
 184 #      - 9
 185 #      - 10
 186 #      - 11
 187 #      - 12
 188 #      - 13
 189 #      - 16
 190 #      - 17
 191 #      csit-ligato-perf-1801-all:
 192 #      - 16  # sel
 193 #      - 17  # sel
 194 #      - 18  # sel
 195 #      - 19  # sel
 196 #      - 20  # sel
 197 #      - 21  # sel
 198 #      - 22  # sel
 199 #      - 23  # sel
 200 #      - 24  # sel
 201 # TODO: Add the data sources
 202     vpp-perf-results:
 203       csit-vpp-perf-1801-all:
 204       - 122
 205       - 126
 206       - 129
 207       - 140
 208     vpp-func-results:
 209       csit-vpp-functional-1801-ubuntu1604-virl:
 210       - "lastSuccessfulBuild"
 211 # TODO: Add the data sources
 212     ligato-perf-results:
 213       csit-ligato-perf-1801-all:
 214       - 25  # full
 215     dpdk-perf-results:
 216       csit-dpdk-perf-1801-all:
 217       - 12
 218     hc-func-results:
 219       csit-hc2vpp-verify-func-1801-ubuntu1604:
 220       - "lastSuccessfulBuild"
 221     nsh-func-results:
 222       csit-nsh_sfc-verify-func-1801-ubuntu1604-virl:
 223       - 1
 224 # TODO: Add the data sources
 225     plot-vpp-throughput-latency:
 226       csit-vpp-perf-1801-all:
 227       - 124  # sel
 228       - 127  # sel
 229       - 128  # sel
 230       - 141  # sel
 231       - 142  # sel
 232       - 143  # sel
 233       - 145  # sel
 234       - 146  # sel
 235     plot-dpdk-throughput-latency:
 236       csit-dpdk-perf-1801-all:
 237       - 1
 238       - 3
 239       - 4
 240       - 5
 241       - 6
 242       - 7
 243       - 8
 244       - 10
 245       - 12
 246 # TODO: Add the data sources
 247     plot-ligato-throughput-latency:
 248       csit-ligato-perf-1801-all:
 249       - 16  # sel
 250       - 17  # sel
 251       - 18  # sel
 252       - 19  # sel
 253       - 20  # sel
 254       - 21  # sel
 255       - 22  # sel
 256       - 23  # sel
 257       - 24  # sel
 258
 259   plot-layouts:
 260
 261     plot-cps:
 262       xaxis:
 263         autorange: True
 264         autotick: False
 265         fixedrange: False
 266         gridcolor: "rgb(238, 238, 238)"
 267         linecolor: "rgb(238, 238, 238)"
 268         linewidth: 1
 269         showgrid: True
 270         showline: True
 271         showticklabels: True
 272         tickcolor: "rgb(238, 238, 238)"
 273         tickmode: "linear"
 274         title: "Indexed Test Cases"
 275         zeroline: False
 276       yaxis:
 277         gridcolor: "rgb(238, 238, 238)'"
 278         hoverformat: ".4s"
 279         linecolor: "rgb(238, 238, 238)"
 280         linewidth: 1
 281         range: []
 282         rangemode: "tozero"
 283         showgrid: True
 284         showline: True
 285         showticklabels: True
 286         tickcolor: "rgb(238, 238, 238)"
 287         title: "Connections Per Second [cps]"
 288         zeroline: False
 289       boxmode: "group"
 290       boxgroupgap: 0.5
 291       autosize: False
 292       margin:
 293         t: 50
 294         b: 20
 295         l: 50
 296         r: 20
 297       showlegend: True
 298       legend:
 299         orientation: "h"
 300       width: 700
 301       height: 1000
 302
 303     plot-rps:
 304       xaxis:
 305         autorange: True
 306         autotick: False
 307         fixedrange: False
 308         gridcolor: "rgb(238, 238, 238)"
 309         linecolor: "rgb(238, 238, 238)"
 310         linewidth: 1
 311         showgrid: True
 312         showline: True
 313         showticklabels: True
 314         tickcolor: "rgb(238, 238, 238)"
 315         tickmode: "linear"
 316         title: "Indexed Test Cases"
 317         zeroline: False
 318       yaxis:
 319         gridcolor: "rgb(238, 238, 238)'"
 320         hoverformat: ".4s"
 321         linecolor: "rgb(238, 238, 238)"
 322         linewidth: 1
 323         range: []
 324         rangemode: "tozero"
 325         showgrid: True
 326         showline: True
 327         showticklabels: True
 328         tickcolor: "rgb(238, 238, 238)"
 329         title: "Requests Per Second [rps]"
 330         zeroline: False
 331       boxmode: "group"
 332       boxgroupgap: 0.5
 333       autosize: False
 334       margin:
 335         t: 50
 336         b: 20
 337         l: 50
 338         r: 20
 339       showlegend: True
 340       legend:
 341         orientation: "h"
 342       width: 700
 343       height: 1000
 344
 345     plot-throughput:
 346       xaxis:
 347         autorange: True
 348         autotick: False
 349         fixedrange: False
 350         gridcolor: "rgb(238, 238, 238)"
 351         linecolor: "rgb(238, 238, 238)"
 352         linewidth: 1
 353         showgrid: True
 354         showline: True
 355         showticklabels: True
 356         tickcolor: "rgb(238, 238, 238)"
 357         tickmode: "linear"
 358         title: "Indexed Test Cases"
 359         zeroline: False
 360       yaxis:
 361         gridcolor: "rgb(238, 238, 238)'"
 362         hoverformat: ".4s"
 363         linecolor: "rgb(238, 238, 238)"
 364         linewidth: 1
 365         range: []
 366         showgrid: True
 367         showline: True
 368         showticklabels: True
 369         tickcolor: "rgb(238, 238, 238)"
 370         title: "Packets Per Second [pps]"
 371         zeroline: False
 372       boxmode: "group"
 373       boxgroupgap: 0.5
 374       autosize: False
 375       margin:
 376         t: 50
 377         b: 20
 378         l: 50
 379         r: 20
 380       showlegend: True
 381       legend:
 382         orientation: "h"
 383       width: 700
 384       height: 1000
 385
 386     plot-latency:
 387       xaxis:
 388         autorange: True
 389         autotick: False
 390         fixedrange: False
 391         gridcolor: "rgb(238, 238, 238)"
 392         linecolor: "rgb(238, 238, 238)"
 393         linewidth: 1
 394         showgrid: True
 395         showline: True
 396         showticklabels: True
 397         tickcolor: "rgb(238, 238, 238)"
 398         tickmode: "linear"
 399         title: "Indexed Test Cases"
 400         zeroline: False
 401       yaxis:
 402         gridcolor: "rgb(238, 238, 238)'"
 403         hoverformat: ""
 404         linecolor: "rgb(238, 238, 238)"
 405         linewidth: 1
 406         range: []
 407         showgrid: True
 408         showline: True
 409         showticklabels: True
 410         tickcolor: "rgb(238, 238, 238)"
 411         title: "Latency min/avg/max [uSec]"
 412         zeroline: False
 413       boxmode: "group"
 414       boxgroupgap: 0.5
 415       autosize: False
 416       margin:
 417         t: 50
 418         b: 20
 419         l: 50
 420         r: 20
 421       showlegend: True
 422       legend:
 423         orientation: "h"
 424       width: 700
 425       height: 1000
 426
 427     plot-throughput-speedup-analysis:
 428       xaxis:
 429         autorange: True
 430         autotick: False
 431         fixedrange: False
 432         gridcolor: "rgb(238, 238, 238)"
 433         linecolor: "rgb(238, 238, 238)"
 434         linewidth: 1
 435         showgrid: True
 436         showline: True
 437         showticklabels: True
 438         tickcolor: "rgb(238, 238, 238)"
 439         tickmode: "linear"
 440         tickangle: 270
 441         zeroline: False
 442       yaxis:
 443         title: "Throughput speedup factor"
 444         gridcolor: "rgb(238, 238, 238)"
 445         hoverformat: ".4s"
 446         linecolor: "rgb(238, 238, 238)"
 447         linewidth: 1
 448         range: []
 449         showgrid: True
 450         showline: True
 451         showticklabels: True
 452         tickcolor: "rgb(238, 238, 238)"
 453         zeroline: False
 454       legend:
 455         orientation: "h"
 456         xanchor: "center"
 457         yanchor: "top"
 458         x: 0.5
 459         y: 1
 460         bgcolor: "rgba(255, 255, 255, 0)"
 461         bordercolor: "rgba(255, 255, 255, 0)"
 462       barmode: "group"
 463       bargap: 0.15
 464       bargroupgap: 0.1
 465       autosize: False
 466       margin:
 467           't': 50
 468           'b': 200
 469           'l': 50
 470           'r': 20
 471       showlegend: True
 472       width: 700
 473       height: 1000
 474
 475 -
 476   type: "debug"
 477   general:
 478     input-format: "xml"  # zip or xml
 479     extract: "robot-plugin/output.xml"  # Only for zip
 480   builds:
 481     # The files must be in the directory DIR[WORKING,DATA]
 482     csit-vpp-perf-1801-all:
 483     -
 484       build: 1
 485       file: "{DIR[WORKING,DATA]}/output.xml"
 486     -
 487       build: 2
 488       file: "{DIR[WORKING,DATA]}/output.xml"
 489     -
 490       build: 3
 491       file: "{DIR[WORKING,DATA]}/output.xml"
 492     -
 493       build: 4
 494       file: "{DIR[WORKING,DATA]}/output.xml"
 495
 496 -
 497   type: "static"
 498   src-path: "{DIR[RST]}"
 499   dst-path: "{DIR[WORKING,SRC]}"
 500
 501 -
 502   type: "input"  # Ignored in debug mode
 503   general:
 504     file-name: "robot-plugin.zip"
 505     file-format: ".zip"
 506     download-path: "{job}/{build}/robot/report/*zip*/{filename}"
 507     extract: "robot-plugin/output.xml"
 508   builds:
 509 #    csit-vpp-perf-1707-all:
 510 #    - 9
 511 #    - 10
 512 #    - 13
 513 #    - 14
 514 #    - 15
 515 #    - 16
 516 #    - 17
 517 #    - 18
 518 #    - 19
 519 #    - 21
 520     csit-vpp-perf-1710-all:
 521     - 11
 522     - 12
 523     - 13
 524     - 14
 525     - 15
 526     - 16
 527     - 17
 528     - 18
 529     - 19
 530     - 20
 531 # TODO:
 532     csit-vpp-perf-1801-all:
 533     - 122  # full
 534     - 126  # full
 535     - 129  # full
 536     - 140  # full
 537     - 124  # sel
 538     - 127  # sel
 539     - 128  # sel
 540     - 141  # sel
 541     - 142  # sel
 542     - 143  # sel
 543     - 145  # sel
 544     - 146  # sel
 545     - 157  # wrk
 546     - 158  # wrk
 547     - 159  # wrk
 548     - 160  # wrk
 549     - 161  # wrk
 550     csit-ligato-perf-1710-all:
 551     - 5
 552     - 7
 553     - 8
 554     - 9
 555     - 10
 556     - 11
 557     - 12
 558     - 13
 559     - 16
 560     - 17
 561     csit-dpdk-perf-1801-all:
 562     - 1
 563     - 4
 564     - 5
 565     - 7
 566     - 8
 567     - 10
 568     - 12
 569     - 16
 570     - 17
 571 # TODO:
 572     csit-ligato-perf-1801-all:
 573     - 16  # sel
 574     - 17  # sel
 575     - 18  # sel
 576     - 19  # sel
 577     - 20  # sel
 578     - 21  # sel
 579     - 22  # sel
 580     - 23  # sel
 581     - 24  # sel
 582     - 25  # full
 583     csit-dpdk-perf-1801-all:
 584     - 1
 585     - 3
 586     - 4
 587     - 5
 588     - 6
 589     - 7
 590     - 8
 591     - 9
 592     - 10
 593     - 12
 594     csit-vpp-functional-1801-ubuntu1604-virl:
 595     - lastSuccessfulBuild
 596     csit-nsh_sfc-verify-func-1801-ubuntu1604-virl:
 597     - 1
 598     csit-hc2vpp-verify-func-1801-ubuntu1604:
 599     - lastSuccessfulBuild
 600
 601 -
 602   type: "output"
 603   format:
 604     html:
 605     - full
 606     pdf:
 607     - minimal
 608
 609 ################################################################################
 610 ###                               T A B L E S                                ###
 611 ################################################################################
 612
 613 #-
 614 #  type: "table"
 615 #  title: "Performance Impact of Meltdown Patches"
 616 #  algorithm: "table_performance_comparison"
 617 #  output-file-ext: ".csv"
 618 ## TODO: specify dir
 619 #  output-file: "{DIR[STATIC,VPP]}/meltdown-impact"
 620 #  reference:
 621 #    title: "No Meltdown"
 622 ## TODO: specify data sources
 623 #    data:
 624 #      csit-vpp-perf-1707-all:
 625 #      - 9
 626 #      - 10
 627 #      - 13
 628 #  compare:
 629 #    title: "Meltdown Patches Applied"
 630 ## TODO: specify data sources
 631 #    data:
 632 #      csit-vpp-perf-1710-all:
 633 #      - 11
 634 #      - 12
 635 #      - 13
 636 #  data:
 637 #    "vpp-meltdown-impact"
 638 #  filter: "all"
 639 #  parameters:
 640 #  - "name"
 641 #  - "parent"
 642 #  - "throughput"
 643 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
 644 #  # to present all tests.
 645 #  nr-of-tests-shown: 20
 646 #
 647 #-
 648 #  type: "table"
 649 #  title: "Performance Impact of Spectre Patches"
 650 #  algorithm: "table_performance_comparison"
 651 #  output-file-ext: ".csv"
 652 ## TODO: specify dir
 653 #  output-file: "{DIR[STATIC,VPP]}/meltdown-spectre-impact"
 654 #  reference:
 655 #    title: "No Spectre"
 656 ## TODO: specify data sources
 657 #    data:
 658 #      csit-vpp-perf-1707-all:
 659 #      - 9
 660 #      - 10
 661 #      - 13
 662 #  compare:
 663 #    title: "Spectre Patches Applied"
 664 ## TODO: specify data sources
 665 #    data:
 666 #      csit-vpp-perf-1710-all:
 667 #      - 11
 668 #      - 12
 669 #      - 13
 670 #  data:
 671 #    "vpp-spectre-impact"
 672 #  filter: "all"
 673 #  parameters:
 674 #  - "name"
 675 #  - "parent"
 676 #  - "throughput"
 677 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
 678 #  # to present all tests.
 679 #  nr-of-tests-shown: 20
 680
 681 -
 682   type: "table"
 683   title: "VPP Performance Changes"
 684   algorithm: "table_performance_comparison"
 685   output-file-ext: ".csv"
 686 # TODO: specify dir
 687   output-file: "{DIR[STATIC,VPP]}/performance-changes"
 688   reference:
 689     title: "Release 1710"
 690 # TODO: specify data sources
 691     data:
 692       csit-vpp-perf-1710-all:
 693       - 11
 694       - 12
 695       - 13
 696       - 14
 697       - 15
 698       - 16
 699       - 17
 700       - 18
 701       - 19
 702       - 20
 703   compare:
 704     title: "Release 1801"
 705 # TODO: specify data sources
 706     data:
 707       csit-vpp-perf-1801-all:
 708       - 124  # sel
 709       - 127  # sel
 710       - 128  # sel
 711       - 141  # sel
 712       - 142  # sel
 713       - 143  # sel
 714       - 145  # sel
 715       - 146  # sel
 716   data: "vpp-performance-changes"
 717   filter: "all"
 718   parameters:
 719   - "name"
 720   - "parent"
 721   - "throughput"
 722   # Number of the best and the worst tests presented in the table. Use 0 (zero)
 723   # to present all tests.
 724   nr-of-tests-shown: 20
 725   outlier-const: 1.5
 726
 727 #-
 728 #  type: "table"
 729 #  title: "Performance improvements"
 730 #  algorithm: "table_performance_improvements"
 731 #  template: "{DIR[DTR,PERF,VPP,IMPRV]}/tmpl_performance_improvements.csv"
 732 #  output-file-ext: ".csv"
 733 #  output-file: "{DIR[DTR,PERF,VPP,IMPRV]}/performance_improvements"
 734 #  columns:
 735 #  -
 736 #    title: "Test Name"
 737 #    data: "template 1"
 738 #  -
 739 #    title: "16.09 mean [Mpps]"
 740 #    data: "template 2"
 741 #  -
 742 #    title: "17.01 mean [Mpps]"
 743 #    data: "template 3"
 744 #  -
 745 #    title: "17.04 mean [Mpps]"
 746 #    data: "template 4"
 747 #  -
 748 #    title: "17.07 mean [Mpps]"
 749 #    data: "data csit-vpp-perf-1707-all mean"
 750 #  -
 751 #    title: "17.10 mean [Mpps]"
 752 #    data: "data csit-vpp-perf-1710-all csit-ligato-perf-1710-all mean"
 753 #  -
 754 #    title: "18.01 mean [Mpps]"
 755 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all mean"
 756 #  -
 757 #    title: "18.01 stdev [Mpps]"
 758 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all stdev"
 759 #  -
 760 #    title: "17.10 to 18.01 change [%]"
 761 #    data: "operation relative_change 5 6"
 762 #  rows: "generated"
 763 #  data:
 764 #    "performance-improvements"
 765 #  filter: "template"
 766 #  parameters:
 767 #  - "throughput"
 768
 769 -
 770   type: "table"
 771   title: "Detailed Test Results - VPP Performance Results"
 772   algorithm: "table_merged_details"
 773   output-file-ext: ".csv"
 774   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
 775   columns:
 776   -
 777     title: "Name"
 778     data: "data name"
 779   -
 780     title: "Documentation"
 781     data: "data doc"
 782   -
 783     title: "Status"
 784     data: "data msg"
 785   rows: "generated"
 786   data:
 787     "vpp-perf-results"
 788   filter: "not 'NDRCHK' and not 'PDRCHK'"
 789   parameters:
 790   - "name"
 791   - "parent"
 792   - "doc"
 793   - "msg"
 794
 795 -
 796   type: "table"
 797   title: "Test configuration - VPP Performance Test Configs"
 798   algorithm: "table_merged_details"
 799   output-file-ext: ".csv"
 800   output-file: "{DIR[DTC,PERF,VPP]}/vpp_test_configuration"
 801   columns:
 802   -
 803     title: "Name"
 804     data: "data name"
 805   -
 806     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
 807     data: "data vat-history"
 808   rows: "generated"
 809   data:
 810     "vpp-perf-results"
 811   filter: "not 'NDRCHK' and not 'PDRCHK'"
 812   parameters:
 813   - "parent"
 814   - "name"
 815   - "vat-history"
 816
 817 -
 818   type: "table"
 819   title: "Test Operational Data - VPP Performance Operational Data"
 820   algorithm: "table_merged_details"
 821   output-file-ext: ".csv"
 822   output-file: "{DIR[DTO,PERF,VPP]}/vpp_test_operational"
 823   columns:
 824   -
 825     title: "Name"
 826     data: "data name"
 827   -
 828     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
 829     data: "data show-run"
 830   rows: "generated"
 831   data:
 832     "vpp-perf-results"
 833   filter: "not 'NDRCHK' and not 'PDRCHK'"
 834   parameters:
 835   - "parent"
 836   - "name"
 837   - "show-run"
 838
 839 -
 840   type: "table"
 841   title: "Detailed Test Results - VPP Functional Results"
 842   algorithm: "table_details"
 843   output-file-ext: ".csv"
 844   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
 845   columns:
 846   -
 847     title: "Name"
 848     data: "data name"
 849   -
 850     title: "Documentation"
 851     data: "data doc"
 852   -
 853     title: "Status"
 854     data: "data status"
 855   rows: "generated"
 856   data:
 857     "vpp-func-results"
 858   filter: "all"
 859   parameters:
 860   - "name"
 861   - "parent"
 862   - "doc"
 863   - "status"
 864
 865 -
 866   type: "table"
 867   title: "Test configuration - VPP Functional Test Configs"
 868   algorithm: "table_details"
 869   output-file-ext: ".csv"
 870   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
 871   columns:
 872   -
 873     title: "Name"
 874     data: "data name"
 875   -
 876     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
 877     data: "data vat-history"
 878   rows: "generated"
 879   data:
 880     "vpp-func-results"
 881   filter: "all"
 882   parameters:
 883   - "parent"
 884   - "name"
 885   - "vat-history"
 886
 887 -
 888   type: "table"
 889   title: "Detailed Test Results - Container Orchestrated Topologies Performance Results"
 890   algorithm: "table_details"
 891   output-file-ext: ".csv"
 892   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
 893   columns:
 894   -
 895     title: "Name"
 896     data: "data name"
 897   -
 898     title: "Documentation"
 899     data: "data doc"
 900   -
 901     title: "Status"
 902     data: "data msg"
 903   rows: "generated"
 904   data:
 905     "ligato-perf-results"
 906   filter: "all"
 907   parameters:
 908   - "name"
 909   - "parent"
 910   - "doc"
 911   - "msg"
 912
 913 -
 914   type: "table"
 915   title: "Detailed Test Results - DPDK Performance Results"
 916   algorithm: "table_details"
 917   output-file-ext: ".csv"
 918   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
 919   columns:
 920   -
 921     title: "Name"
 922     data: "data name"
 923   -
 924     title: "Documentation"
 925     data: "data doc"
 926   -
 927     title: "Status"
 928     data: "data msg"
 929   rows: "generated"
 930   data:
 931     "dpdk-perf-results"
 932   filter: "all"
 933   parameters:
 934   - "name"
 935   - "parent"
 936   - "doc"
 937   - "msg"
 938
 939 -
 940   type: "table"
 941   title: "Detailed Test Results - Honeycomb Functional Results"
 942   algorithm: "table_details"
 943   output-file-ext: ".csv"
 944   output-file: "{DIR[DTR,FUNC,HC]}/hc_functional_results"
 945   columns:
 946   -
 947     title: "Name"
 948     data: "data name"
 949   -
 950     title: "Documentation"
 951     data: "data doc"
 952   -
 953     title: "Status"
 954     data: "data status"
 955   rows: "generated"
 956   data:
 957     "hc-func-results"
 958   filter: "all"
 959   parameters:
 960   - "name"
 961   - "parent"
 962   - "doc"
 963   - "status"
 964
 965 -
 966   type: "table"
 967   title: "Detailed Test Results - NSH SFC Functional Results"
 968   algorithm: "table_details"
 969   output-file-ext: ".csv"
 970   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nsh_sfc_functional_results"
 971   columns:
 972   -
 973     title: "Name"
 974     data: "data name"
 975   -
 976     title: "Documentation"
 977     data: "data doc"
 978   -
 979     title: "Status"
 980     data: "data status"
 981   rows: "generated"
 982   data:
 983     "nsh-func-results"
 984   filter: "all"
 985   parameters:
 986   - "name"
 987   - "parent"
 988   - "doc"
 989   - "status"
 990
 991 ################################################################################
 992 ###                                F I L E S                                 ###
 993 ################################################################################
 994
 995 -
 996   type: "file"
 997   title: "VPP Performance Results"
 998   algorithm: "file_merged_test_results"
 999   output-file-ext: ".rst"
1000   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
1001   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1002   dir-tables: "{DIR[DTR,PERF,VPP]}"
1003   data:
1004     "vpp-perf-results"
1005   filter: "not 'NDRCHK' and not 'PDRCHK'"
1006   parameters:
1007   - "name"
1008   - "doc"
1009   - "level"
1010   - "parent"
1011   data-start-level: 3  # 0, 1, 2, ...
1012   chapters-start-level: 2  # 0, 1, 2, ...
1013
1014 -
1015   type: "file"
1016   title: "VPP Performance Configuration"
1017   algorithm: "file_merged_test_results"
1018   output-file-ext: ".rst"
1019   output-file: "{DIR[DTC,PERF,VPP]}/vpp_performance_configuration"
1020   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1021   dir-tables: "{DIR[DTC,PERF,VPP]}"
1022   data:
1023     "vpp-perf-results"
1024   filter: "not 'NDRCHK' and not 'PDRCHK'"
1025   parameters:
1026   - "name"
1027   - "doc"
1028   - "level"
1029   - "parent"
1030   data-start-level: 3  # 0, 1, 2, ...
1031   chapters-start-level: 2  # 0, 1, 2, ...
1032
1033 -
1034   type: "file"
1035   title: "VPP Performance Operational Data"
1036   algorithm: "file_merged_test_results"
1037   output-file-ext: ".rst"
1038   output-file: "{DIR[DTO,PERF,VPP]}/vpp_performance_operational_data"
1039   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1040   dir-tables: "{DIR[DTO,PERF,VPP]}"
1041   data:
1042     "vpp-perf-results"
1043   filter: "not 'NDRCHK' and not 'PDRCHK'"
1044   parameters:
1045   - "name"
1046   - "doc"
1047   - "level"
1048   - "parent"
1049   data-start-level: 3  # 0, 1, 2, ...
1050   chapters-start-level: 2  # 0, 1, 2, ...
1051
1052 -
1053   type: "file"
1054   title: "VPP Functional Results"
1055   algorithm: "file_test_results"
1056   output-file-ext: ".rst"
1057   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
1058   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1059   dir-tables: "{DIR[DTR,FUNC,VPP]}"
1060   data:
1061     "vpp-func-results"
1062   filter: "all"
1063   parameters:
1064   - "name"
1065   - "doc"
1066   - "level"
1067   data-start-level: 3  # 0, 1, 2, ...
1068   chapters-start-level: 2  # 0, 1, 2, ...
1069
1070 -
1071   type: "file"
1072   title: "VPP Functional Configuration"
1073   algorithm: "file_test_results"
1074   output-file-ext: ".rst"
1075   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
1076   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1077   dir-tables: "{DIR[DTC,FUNC,VPP]}"
1078   data:
1079     "vpp-func-results"
1080   filter: "all"
1081   parameters:
1082   - "name"
1083   - "doc"
1084   - "level"
1085   data-start-level: 3  # 0, 1, 2, ...
1086   chapters-start-level: 2  # 0, 1, 2, ...
1087
1088 -
1089   type: "file"
1090   title: "Container Orchestrated Performance Results"
1091   algorithm: "file_test_results"
1092   output-file-ext: ".rst"
1093   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
1094   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1095   dir-tables: "{DIR[DTR,PERF,COT]}"
1096   data:
1097     "ligato-perf-results"
1098   filter: "all"
1099   parameters:
1100   - "name"
1101   - "doc"
1102   - "level"
1103   data-start-level: 2  # 0, 1, 2, ...
1104   chapters-start-level: 2  # 0, 1, 2, ...
1105
1106 -
1107   type: "file"
1108   title: "DPDK Performance Results"
1109   algorithm: "file_test_results"
1110   output-file-ext: ".rst"
1111   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
1112   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1113   dir-tables: "{DIR[DTR,PERF,DPDK]}"
1114   data:
1115     "dpdk-perf-results"
1116   filter: "all"
1117   parameters:
1118   - "name"
1119   - "doc"
1120   - "level"
1121   chapters:
1122   - "suites"
1123   data-start-level: 2  # 0, 1, 2, ...
1124   chapters-start-level: 2  # 0, 1, 2, ...
1125
1126 -
1127   type: "file"
1128   title: "Honeycomb Functional Results"
1129   algorithm: "file_test_results"
1130   output-file-ext: ".rst"
1131   output-file: "{DIR[DTR,FUNC,HC]}/honeycomb_functional_results"
1132   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1133   dir-tables: "{DIR[DTR,FUNC,HC]}"
1134   data:
1135     "hc-func-results"
1136   filter: "all"
1137   parameters:
1138   - "name"
1139   - "doc"
1140   - "level"
1141   chapters:
1142   - "suites"
1143   data-start-level: 3  # 0, 1, 2, ...
1144   chapters-start-level: 2  # 0, 1, 2, ...
1145
1146 -
1147   type: "file"
1148   title: "NSH SFC Functional Results"
1149   algorithm: "file_test_results"
1150   output-file-ext: ".rst"
1151   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nshsfc_functional_results"
1152   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1153   dir-tables: "{DIR[DTR,FUNC,NSHSFC]}"
1154   data:
1155     "nsh-func-results"
1156   filter: "all"
1157   parameters:
1158   - "name"
1159   - "doc"
1160   - "level"
1161   chapters:
1162   - "suites"
1163   data-start-level: 2  # 0, 1, 2, ...
1164   chapters-start-level: 2  # 0, 1, 2, ...
1165
1166 ################################################################################
1167 ###                                P L O T S                                 ###
1168 ################################################################################
1169
1170 # Plots VPP HTTP Server Performance
1171 -
1172   type: "plot"
1173   title: "VPP HTTP Server Performance"
1174   algorithm: "plot_http_server_performance_box"
1175   output-file-type: ".html"
1176   output-file: "{DIR[STATIC,VPP]}/http-server-performance-cps"
1177   data:
1178     "plot-vpp-http-server-performance"
1179   # Keep this formatting, the filter is enclosed with " (quotation mark) and
1180   # each tag is enclosed with ' (apostrophe).
1181   filter: "'HTTP' and 'TCP_CPS'"
1182   parameters:
1183   - "result"
1184   - "name"
1185   traces:
1186     hoverinfo: "x+y"
1187     boxpoints: "outliers"
1188     whiskerwidth: 0
1189   layout:
1190     title: "VPP HTTP Server Performance"
1191     layout:
1192       "plot-cps"
1193
1194 -
1195   type: "plot"
1196   title: "VPP HTTP Server Performance"
1197   algorithm: "plot_http_server_performance_box"
1198   output-file-type: ".html"
1199   output-file: "{DIR[STATIC,VPP]}/http-server-performance-rps"
1200   data:
1201     "plot-vpp-http-server-performance"
1202   filter: "'HTTP' and 'TCP_RPS'"
1203   parameters:
1204   - "result"
1205   - "name"
1206   traces:
1207     hoverinfo: "x+y"
1208     boxpoints: "outliers"
1209     whiskerwidth: 0
1210   layout:
1211     title: "VPP HTTP Server Performance"
1212     layout:
1213       "plot-rps"
1214
1215 # Plot Throughput Speedup Analysis
1216
1217 # L2 - 10ge2p1x520 - NDR
1218 -
1219   type: "plot"
1220   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1221   algorithm: "plot_throughput_speedup_analysis"
1222   output-file-type: ".html"
1223   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-ndrdisc"
1224   data:
1225     "plot-throughput-speedup-analysis"
1226   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1227   parameters:
1228   - "throughput"
1229   - "parent"
1230   - "tags"
1231   layout:
1232     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1233     layout:
1234       "plot-throughput-speedup-analysis"
1235
1236 # L2 - 40ge2p1xl710 - NDR
1237 -
1238   type: "plot"
1239   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1240   algorithm: "plot_throughput_speedup_analysis"
1241   output-file-type: ".html"
1242   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-l2-tsa-ndrdisc"
1243   data:
1244     "plot-throughput-speedup-analysis"
1245   filter: "'NIC_Intel-XL710' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1246   parameters:
1247   - "throughput"
1248   - "parent"
1249   - "tags"
1250   layout:
1251     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1252     layout:
1253       "plot-throughput-speedup-analysis"
1254
1255 # L2 - 10ge2p1x520 - PDR
1256 -
1257   type: "plot"
1258   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1259   algorithm: "plot_throughput_speedup_analysis"
1260   output-file-type: ".html"
1261   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-pdrdisc"
1262   data:
1263     "plot-throughput-speedup-analysis"
1264   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1265   parameters:
1266   - "throughput"
1267   - "parent"
1268   - "tags"
1269   layout:
1270     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1271     layout:
1272       "plot-throughput-speedup-analysis"
1273
1274 # IPv4 - 10ge2p1x520 - NDR
1275 -
1276   type: "plot"
1277   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1278   algorithm: "plot_throughput_speedup_analysis"
1279   output-file-type: ".html"
1280   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-ndrdisc"
1281   data:
1282     "plot-throughput-speedup-analysis"
1283   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1284   parameters:
1285   - "throughput"
1286   - "parent"
1287   - "tags"
1288   layout:
1289     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1290     layout:
1291       "plot-throughput-speedup-analysis"
1292
1293 # IPv4 - 40ge2p1xl710 - NDR
1294 -
1295   type: "plot"
1296   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1297   algorithm: "plot_throughput_speedup_analysis"
1298   output-file-type: ".html"
1299   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-ip4-tsa-ndrdisc"
1300   data:
1301     "plot-throughput-speedup-analysis"
1302   filter: "'NIC_Intel-XL710' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1303   parameters:
1304   - "throughput"
1305   - "parent"
1306   - "tags"
1307   layout:
1308     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1309     layout:
1310       "plot-throughput-speedup-analysis"
1311
1312 # IPv4 - 10ge2p1x520 - PDR
1313 -
1314   type: "plot"
1315   title: "TSA: 64B-*-ethip4-ip4(base|scale)*pdrdisc"
1316   algorithm: "plot_throughput_speedup_analysis"
1317   output-file-type: ".html"
1318   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-pdrdisc"
1319   data:
1320     "plot-throughput-speedup-analysis"
1321   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1322   parameters:
1323   - "throughput"
1324   - "parent"
1325   - "tags"
1326   layout:
1327     title: "64B-*-ethip4-ip4(base|scale)*pdrdisc"
1328     layout:
1329       "plot-throughput-speedup-analysis"
1330
1331 # IPv6 - 10ge2p1x520 - NDR
1332 -
1333   type: "plot"
1334   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1335   algorithm: "plot_throughput_speedup_analysis"
1336   output-file-type: ".html"
1337   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-ndrdisc"
1338   data:
1339     "plot-throughput-speedup-analysis"
1340   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1341   parameters:
1342   - "throughput"
1343   - "parent"
1344   - "tags"
1345   layout:
1346     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1347     layout:
1348       "plot-throughput-speedup-analysis"
1349
1350 # IPv6 - 40ge2p1xl710 - NDR
1351 -
1352   type: "plot"
1353   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1354   algorithm: "plot_throughput_speedup_analysis"
1355   output-file-type: ".html"
1356   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-78B-ip6-tsa-ndrdisc"
1357   data:
1358     "plot-throughput-speedup-analysis"
1359   filter: "'NIC_Intel-XL710' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1360   parameters:
1361   - "throughput"
1362   - "parent"
1363   - "tags"
1364   layout:
1365     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1366     layout:
1367       "plot-throughput-speedup-analysis"
1368
1369 # IPv6 - 10ge2p1x520 - PDR
1370 -
1371   type: "plot"
1372   title: "TSA: 78B-*-ethip6-ip6(base|scale)*pdrdisc"
1373   algorithm: "plot_throughput_speedup_analysis"
1374   output-file-type: ".html"
1375   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-pdrdisc"
1376   data:
1377     "plot-throughput-speedup-analysis"
1378   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST'"
1379   parameters:
1380   - "throughput"
1381   - "parent"
1382   - "tags"
1383   layout:
1384     title: "78B-*-ethip6-ip6(base|scale)*pdrdisc"
1385     layout:
1386       "plot-throughput-speedup-analysis"
1387
1388 # Plot packets per second
1389
1390 # VPP L2 sel1
1391 -
1392   type: "plot"
1393   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1394   algorithm: "plot_performance_box"
1395   output-file-type: ".html"
1396   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc"
1397   data:
1398     "plot-vpp-throughput-latency"
1399   # Keep this formatting, the filter is enclosed with " (quotation mark) and
1400   # each tag is enclosed with ' (apostrophe).
1401   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1402   parameters:
1403   - "throughput"
1404   - "parent"
1405   traces:
1406     hoverinfo: "x+y"
1407     boxpoints: "outliers"
1408     whiskerwidth: 0
1409   layout:
1410     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1411     layout:
1412       "plot-throughput"
1413
1414 -
1415   type: "plot"
1416   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1417   algorithm: "plot_performance_box"
1418   output-file-type: ".html"
1419   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc"
1420   data:
1421     "plot-vpp-throughput-latency"
1422   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1423   parameters:
1424   - "throughput"
1425   - "parent"
1426   traces:
1427     hoverinfo: "x+y"
1428     boxpoints: "outliers"
1429     whiskerwidth: 0
1430   layout:
1431     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1432     layout:
1433       "plot-throughput"
1434
1435 -
1436   type: "plot"
1437   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1438   algorithm: "plot_performance_box"
1439   output-file-type: ".html"
1440   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-pdrdisc"
1441   data:
1442     "plot-vpp-throughput-latency"
1443   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1444   parameters:
1445   - "throughput"
1446   - "parent"
1447   traces:
1448     hoverinfo: "x+y"
1449     boxpoints: "outliers"
1450     whiskerwidth: 0
1451   layout:
1452     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1453     layout:
1454       "plot-throughput"
1455
1456 -
1457   type: "plot"
1458   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1459   algorithm: "plot_performance_box"
1460   output-file-type: ".html"
1461   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-pdrdisc"
1462   data:
1463     "plot-vpp-throughput-latency"
1464   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1465   parameters:
1466   - "throughput"
1467   - "parent"
1468   traces:
1469     hoverinfo: "x+y"
1470     boxpoints: "outliers"
1471     whiskerwidth: 0
1472   layout:
1473     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1474     layout:
1475       "plot-throughput"
1476
1477 # VPP L2 sel2
1478 -
1479   type: "plot"
1480   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1481   algorithm: "plot_performance_box"
1482   output-file-type: ".html"
1483   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc"
1484   data:
1485     "plot-vpp-throughput-latency"
1486   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1487   parameters:
1488   - "throughput"
1489   - "parent"
1490   traces:
1491     hoverinfo: "x+y"
1492     boxpoints: "outliers"
1493     whiskerwidth: 0
1494   layout:
1495     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1496     layout:
1497       "plot-throughput"
1498
1499 -
1500   type: "plot"
1501   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1502   algorithm: "plot_performance_box"
1503   output-file-type: ".html"
1504   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc"
1505   data:
1506     "plot-vpp-throughput-latency"
1507   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1508   parameters:
1509   - "throughput"
1510   - "parent"
1511   traces:
1512     hoverinfo: "x+y"
1513     boxpoints: "outliers"
1514     whiskerwidth: 0
1515   layout:
1516     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1517     layout:
1518       "plot-throughput"
1519
1520 -
1521   type: "plot"
1522   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1523   algorithm: "plot_performance_box"
1524   output-file-type: ".html"
1525   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-pdrdisc"
1526   data:
1527     "plot-vpp-throughput-latency"
1528   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1529   parameters:
1530   - "throughput"
1531   - "parent"
1532   traces:
1533     hoverinfo: "x+y"
1534     boxpoints: "outliers"
1535     whiskerwidth: 0
1536   layout:
1537     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1538     layout:
1539       "plot-throughput"
1540
1541 -
1542   type: "plot"
1543   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1544   algorithm: "plot_performance_box"
1545   output-file-type: ".html"
1546   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-pdrdisc"
1547   data:
1548     "plot-vpp-throughput-latency"
1549   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1550   parameters:
1551   - "throughput"
1552   - "parent"
1553   traces:
1554     hoverinfo: "x+y"
1555     boxpoints: "outliers"
1556     whiskerwidth: 0
1557   layout:
1558     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1559     layout:
1560       "plot-throughput"
1561
1562 # VPP IP4
1563 -
1564   type: "plot"
1565   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1566   algorithm: "plot_performance_box"
1567   output-file-type: ".html"
1568   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc"
1569   data:
1570     "plot-vpp-throughput-latency"
1571   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1572   parameters:
1573   - "throughput"
1574   - "parent"
1575   traces:
1576     hoverinfo: "x+y"
1577     boxpoints: "outliers"
1578     whiskerwidth: 0
1579   layout:
1580     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1581     layout:
1582       "plot-throughput"
1583
1584 -
1585   type: "plot"
1586   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1587   algorithm: "plot_performance_box"
1588   output-file-type: ".html"
1589   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc"
1590   data:
1591     "plot-vpp-throughput-latency"
1592   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1593   parameters:
1594   - "throughput"
1595   - "parent"
1596   traces:
1597     hoverinfo: "x+y"
1598     boxpoints: "outliers"
1599     whiskerwidth: 0
1600   layout:
1601     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1602     layout:
1603       "plot-throughput"
1604
1605 -
1606   type: "plot"
1607   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1608   algorithm: "plot_performance_box"
1609   output-file-type: ".html"
1610   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-pdrdisc"
1611   data:
1612     "plot-vpp-throughput-latency"
1613   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1614   parameters:
1615   - "throughput"
1616   - "parent"
1617   traces:
1618     hoverinfo: "x+y"
1619     boxpoints: "outliers"
1620     whiskerwidth: 0
1621   layout:
1622     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1623     layout:
1624       "plot-throughput"
1625
1626 -
1627   type: "plot"
1628   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1629   algorithm: "plot_performance_box"
1630   output-file-type: ".html"
1631   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-pdrdisc"
1632   data:
1633     "plot-vpp-throughput-latency"
1634   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1635   parameters:
1636   - "throughput"
1637   - "parent"
1638   traces:
1639     hoverinfo: "x+y"
1640     boxpoints: "outliers"
1641     whiskerwidth: 0
1642   layout:
1643     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1644     layout:
1645       "plot-throughput"
1646
1647 # VPP IP6
1648 -
1649   type: "plot"
1650   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1651   algorithm: "plot_performance_box"
1652   output-file-type: ".html"
1653   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc"
1654   data:
1655     "plot-vpp-throughput-latency"
1656   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1657   parameters:
1658   - "throughput"
1659   - "parent"
1660   traces:
1661     hoverinfo: "x+y"
1662     boxpoints: "outliers"
1663     whiskerwidth: 0
1664   layout:
1665     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1666     layout:
1667       "plot-throughput"
1668
1669 -
1670   type: "plot"
1671   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1672   algorithm: "plot_performance_box"
1673   output-file-type: ".html"
1674   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc"
1675   data:
1676     "plot-vpp-throughput-latency"
1677   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1678   parameters:
1679   - "throughput"
1680   - "parent"
1681   traces:
1682     hoverinfo: "x+y"
1683     boxpoints: "outliers"
1684     whiskerwidth: 0
1685   layout:
1686     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1687     layout:
1688       "plot-throughput"
1689
1690 -
1691   type: "plot"
1692   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1693   algorithm: "plot_performance_box"
1694   output-file-type: ".html"
1695   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-pdrdisc"
1696   data:
1697     "plot-vpp-throughput-latency"
1698   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1699   parameters:
1700   - "throughput"
1701   - "parent"
1702   traces:
1703     hoverinfo: "x+y"
1704     boxpoints: "outliers"
1705     whiskerwidth: 0
1706   layout:
1707     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1708     layout:
1709       "plot-throughput"
1710
1711 -
1712   type: "plot"
1713   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1714   algorithm: "plot_performance_box"
1715   output-file-type: ".html"
1716   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-pdrdisc"
1717   data:
1718     "plot-vpp-throughput-latency"
1719   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1720   parameters:
1721   - "throughput"
1722   - "parent"
1723   traces:
1724     hoverinfo: "x+y"
1725     boxpoints: "outliers"
1726     whiskerwidth: 0
1727   layout:
1728     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1729     layout:
1730       "plot-throughput"
1731
1732 # VPP IP4_overlay
1733 -
1734   type: "plot"
1735   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1736   algorithm: "plot_performance_box"
1737   output-file-type: ".html"
1738   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc"
1739   data:
1740     "plot-vpp-throughput-latency"
1741   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1742   parameters:
1743   - "throughput"
1744   - "parent"
1745   traces:
1746     hoverinfo: "x+y"
1747     boxpoints: "outliers"
1748     whiskerwidth: 0
1749   layout:
1750     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1751     layout:
1752       "plot-throughput"
1753
1754 -
1755   type: "plot"
1756   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1757   algorithm: "plot_performance_box"
1758   output-file-type: ".html"
1759   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc"
1760   data:
1761     "plot-vpp-throughput-latency"
1762   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1763   parameters:
1764   - "throughput"
1765   - "parent"
1766   traces:
1767     hoverinfo: "x+y"
1768     boxpoints: "outliers"
1769     whiskerwidth: 0
1770   layout:
1771     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1772     layout:
1773       "plot-throughput"
1774
1775 -
1776   type: "plot"
1777   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1778   algorithm: "plot_performance_box"
1779   output-file-type: ".html"
1780   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-pdrdisc"
1781   data:
1782     "plot-vpp-throughput-latency"
1783   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1784   parameters:
1785   - "throughput"
1786   - "parent"
1787   traces:
1788     hoverinfo: "x+y"
1789     boxpoints: "outliers"
1790     whiskerwidth: 0
1791   layout:
1792     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1793     layout:
1794       "plot-throughput"
1795
1796 -
1797   type: "plot"
1798   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1799   algorithm: "plot_performance_box"
1800   output-file-type: ".html"
1801   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-pdrdisc"
1802   data:
1803     "plot-vpp-throughput-latency"
1804   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1805   parameters:
1806   - "throughput"
1807   - "parent"
1808   traces:
1809     hoverinfo: "x+y"
1810     boxpoints: "outliers"
1811     whiskerwidth: 0
1812   layout:
1813     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1814     layout:
1815       "plot-throughput"
1816
1817 # VPP IP6_overlay
1818 -
1819   type: "plot"
1820   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1821   algorithm: "plot_performance_box"
1822   output-file-type: ".html"
1823   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc"
1824   data:
1825     "plot-vpp-throughput-latency"
1826   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1827   parameters:
1828   - "throughput"
1829   - "parent"
1830   traces:
1831     hoverinfo: "x+y"
1832     boxpoints: "outliers"
1833     whiskerwidth: 0
1834   layout:
1835     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1836     xaxis:
1837       autorange: True
1838       autotick: False
1839       fixedrange: False
1840       gridcolor: "rgb(238, 238, 238)"
1841       linecolor: "rgb(238, 238, 238)"
1842       linewidth: 1
1843       showgrid: True
1844       showline: True
1845       showticklabels: True
1846       tickcolor: "rgb(238, 238, 238)"
1847       tickmode: "linear"
1848       title: "Indexed Test Cases"
1849       zeroline: False
1850     yaxis:
1851       gridcolor: "rgb(238, 238, 238)'"
1852       hoverformat: ".4s"
1853       linecolor: "rgb(238, 238, 238)"
1854       linewidth: 1
1855       range: [2000000, 6000000]
1856       showgrid: True
1857       showline: True
1858       showticklabels: True
1859       tickcolor: "rgb(238, 238, 238)"
1860       title: "Packets Per Second [pps]"
1861       zeroline: False
1862     boxmode: "group"
1863     boxgroupgap: 0.5
1864     autosize: False
1865     margin:
1866       t: 50
1867       b: 20
1868       l: 50
1869       r: 20
1870     showlegend: True
1871     legend:
1872       orientation: "h"
1873     width: 700
1874     height: 1000
1875
1876 -
1877   type: "plot"
1878   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1879   algorithm: "plot_performance_box"
1880   output-file-type: ".html"
1881   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc"
1882   data:
1883     "plot-vpp-throughput-latency"
1884   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1885   parameters:
1886   - "throughput"
1887   - "parent"
1888   traces:
1889     hoverinfo: "x+y"
1890     boxpoints: "outliers"
1891     whiskerwidth: 0
1892   layout:
1893     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1894     layout:
1895       "plot-throughput"
1896
1897 -
1898   type: "plot"
1899   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1900   algorithm: "plot_performance_box"
1901   output-file-type: ".html"
1902   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-pdrdisc"
1903   data:
1904     "plot-vpp-throughput-latency"
1905   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1906   parameters:
1907   - "throughput"
1908   - "parent"
1909   traces:
1910     hoverinfo: "x+y"
1911     boxpoints: "outliers"
1912     whiskerwidth: 0
1913   layout:
1914     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1915     layout:
1916       "plot-throughput"
1917
1918 -
1919   type: "plot"
1920   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1921   algorithm: "plot_performance_box"
1922   output-file-type: ".html"
1923   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-pdrdisc"
1924   data:
1925     "plot-vpp-throughput-latency"
1926   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1927   parameters:
1928   - "throughput"
1929   - "parent"
1930   traces:
1931     hoverinfo: "x+y"
1932     boxpoints: "outliers"
1933     whiskerwidth: 0
1934   layout:
1935     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1936     xaxis:
1937       autorange: True
1938       autotick: False
1939       fixedrange: False
1940       gridcolor: "rgb(238, 238, 238)"
1941       linecolor: "rgb(238, 238, 238)"
1942       linewidth: 1
1943       showgrid: True
1944       showline: True
1945       showticklabels: True
1946       tickcolor: "rgb(238, 238, 238)"
1947       tickmode: "linear"
1948       title: "Indexed Test Cases"
1949       zeroline: False
1950     yaxis:
1951       gridcolor: "rgb(238, 238, 238)'"
1952       hoverformat: ".4s"
1953       linecolor: "rgb(238, 238, 238)"
1954       linewidth: 1
1955       range: [4000000, 12000000]
1956       showgrid: True
1957       showline: True
1958       showticklabels: True
1959       tickcolor: "rgb(238, 238, 238)"
1960       title: "Packets Per Second [pps]"
1961       zeroline: False
1962     boxmode: "group"
1963     boxgroupgap: 0.5
1964     autosize: False
1965     margin:
1966       t: 50
1967       b: 20
1968       l: 50
1969       r: 20
1970     showlegend: True
1971     legend:
1972       orientation: "h"
1973     width: 700
1974     height: 1000
1975
1976 # VPP VM VHOST
1977 -
1978   type: "plot"
1979   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
1980   algorithm: "plot_performance_box"
1981   output-file-type: ".html"
1982   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc"
1983   data:
1984     "plot-vpp-throughput-latency"
1985   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
1986   parameters:
1987   - "throughput"
1988   - "parent"
1989   traces:
1990     hoverinfo: "x+y"
1991     boxpoints: "outliers"
1992     whiskerwidth: 0
1993   layout:
1994     title: "64B-1t1c-.*vhost.*-ndrdisc"
1995     xaxis:
1996       autorange: True
1997       autotick: False
1998       fixedrange: False
1999       gridcolor: "rgb(238, 238, 238)"
2000       linecolor: "rgb(238, 238, 238)"
2001       linewidth: 1
2002       showgrid: True
2003       showline: True
2004       showticklabels: True
2005       tickcolor: "rgb(238, 238, 238)"
2006       tickmode: "linear"
2007       title: "Indexed Test Cases"
2008       zeroline: False
2009     yaxis:
2010       gridcolor: "rgb(238, 238, 238)'"
2011       hoverformat: ".4s"
2012       linecolor: "rgb(238, 238, 238)"
2013       linewidth: 1
2014       range: [0, 3500000]
2015       showgrid: True
2016       showline: True
2017       showticklabels: True
2018       tickcolor: "rgb(238, 238, 238)"
2019       title: "Packets Per Second [pps]"
2020       zeroline: False
2021     boxmode: "group"
2022     boxgroupgap: 0.5
2023     autosize: False
2024     margin:
2025       t: 50
2026       b: 20
2027       l: 50
2028       r: 20
2029     showlegend: True
2030     legend:
2031       orientation: "h"
2032     width: 700
2033     height: 1000
2034
2035 -
2036   type: "plot"
2037   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2038   algorithm: "plot_performance_box"
2039   output-file-type: ".html"
2040   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc"
2041   data:
2042     "plot-vpp-throughput-latency"
2043   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2044   parameters:
2045   - "throughput"
2046   - "parent"
2047   traces:
2048     hoverinfo: "x+y"
2049     boxpoints: "outliers"
2050     whiskerwidth: 0
2051   layout:
2052     title: "64B-2t2c-.*vhost.*-ndrdisc"
2053     layout:
2054       "plot-throughput"
2055
2056 -
2057   type: "plot"
2058   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2059   algorithm: "plot_performance_box"
2060   output-file-type: ".html"
2061   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-pdrdisc"
2062   data:
2063     "plot-vpp-throughput-latency"
2064   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2065   parameters:
2066   - "throughput"
2067   - "parent"
2068   traces:
2069     hoverinfo: "x+y"
2070     boxpoints: "outliers"
2071     whiskerwidth: 0
2072   layout:
2073     title: "64B-1t1c-.*vhost.*-pdrdisc"
2074     layout:
2075       "plot-throughput"
2076
2077 -
2078   type: "plot"
2079   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2080   algorithm: "plot_performance_box"
2081   output-file-type: ".html"
2082   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-pdrdisc"
2083   data:
2084     "plot-vpp-throughput-latency"
2085   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2086   parameters:
2087   - "throughput"
2088   - "parent"
2089   traces:
2090     hoverinfo: "x+y"
2091     boxpoints: "outliers"
2092     whiskerwidth: 0
2093   layout:
2094     title: "64B-2t2c-.*vhost.*-pdrdisc"
2095     layout:
2096       "plot-throughput"
2097
2098 # VPP VM VHOST SELECTION
2099 -
2100   type: "plot"
2101   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2102   algorithm: "plot_performance_box"
2103   output-file-type: ".html"
2104   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc"
2105   data:
2106     "plot-vpp-throughput-latency"
2107   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2108   parameters:
2109   - "throughput"
2110   - "parent"
2111   traces:
2112     hoverinfo: "x+y"
2113     boxpoints: "outliers"
2114     whiskerwidth: 0
2115   layout:
2116     title: "64B-1t1c-.*vhost.*-ndrdisc"
2117     layout:
2118       "plot-throughput"
2119
2120 -
2121   type: "plot"
2122   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2123   algorithm: "plot_performance_box"
2124   output-file-type: ".html"
2125   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc"
2126   data:
2127     "plot-vpp-throughput-latency"
2128   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2129   parameters:
2130   - "throughput"
2131   - "parent"
2132   traces:
2133     hoverinfo: "x+y"
2134     boxpoints: "outliers"
2135     whiskerwidth: 0
2136   layout:
2137     title: "64B-2t2c-.*vhost.*-ndrdisc"
2138     layout:
2139       "plot-throughput"
2140
2141 -
2142   type: "plot"
2143   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2144   algorithm: "plot_performance_box"
2145   output-file-type: ".html"
2146   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-pdrdisc"
2147   data:
2148     "plot-vpp-throughput-latency"
2149   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2150   parameters:
2151   - "throughput"
2152   - "parent"
2153   traces:
2154     hoverinfo: "x+y"
2155     boxpoints: "outliers"
2156     whiskerwidth: 0
2157   layout:
2158     title: "64B-1t1c-.*vhost.*-pdrdisc"
2159     layout:
2160       "plot-throughput"
2161
2162 -
2163   type: "plot"
2164   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2165   algorithm: "plot_performance_box"
2166   output-file-type: ".html"
2167   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-pdrdisc"
2168   data:
2169     "plot-vpp-throughput-latency"
2170   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2171   parameters:
2172   - "throughput"
2173   - "parent"
2174   traces:
2175     hoverinfo: "x+y"
2176     boxpoints: "outliers"
2177     whiskerwidth: 0
2178   layout:
2179     title: "64B-2t2c-.*vhost.*-pdrdisc"
2180     layout:
2181       "plot-throughput"
2182
2183 # VPP CRYPTO
2184 -
2185   type: "plot"
2186   title: "VPP Performance 64B-1t1c-.*ipsec.*-ndrdisc"
2187   algorithm: "plot_performance_box"
2188   output-file-type: ".html"
2189   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc"
2190   data:
2191     "plot-vpp-throughput-latency"
2192   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2193   parameters:
2194   - "throughput"
2195   - "parent"
2196   traces:
2197     hoverinfo: "x+y"
2198     boxpoints: "outliers"
2199     whiskerwidth: 0
2200   layout:
2201     title: "64B-1t1c-.*ipsec.*-ndrdisc"
2202     layout:
2203       "plot-throughput"
2204
2205 -
2206   type: "plot"
2207   title: "VPP Performance 64B-2t2c-.*ipsec.*-ndrdisc"
2208   algorithm: "plot_performance_box"
2209   output-file-type: ".html"
2210   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc"
2211   data:
2212     "plot-vpp-throughput-latency"
2213   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2214   parameters:
2215   - "throughput"
2216   - "parent"
2217   traces:
2218     hoverinfo: "x+y"
2219     boxpoints: "outliers"
2220     whiskerwidth: 0
2221   layout:
2222     title: "64B-2t2c-.*ipsec.*-ndrdisc"
2223     layout:
2224       "plot-throughput"
2225
2226 -
2227   type: "plot"
2228   title: "VPP Performance 64B-1t1c-.*ipsec.*-pdrdisc"
2229   algorithm: "plot_performance_box"
2230   output-file-type: ".html"
2231   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-pdrdisc"
2232   data:
2233     "plot-vpp-throughput-latency"
2234   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2235   parameters:
2236   - "throughput"
2237   - "parent"
2238   traces:
2239     hoverinfo: "x+y"
2240     boxpoints: "outliers"
2241     whiskerwidth: 0
2242   layout:
2243     title: "64B-1t1c-.*ipsec.*-pdrdisc"
2244     layout:
2245       "plot-throughput"
2246
2247 -
2248   type: "plot"
2249   title: "VPP Performance 64B-2t2c-.*ipsec.*-pdrdisc"
2250   algorithm: "plot_performance_box"
2251   output-file-type: ".html"
2252   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-pdrdisc"
2253   data:
2254     "plot-vpp-throughput-latency"
2255   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2256   parameters:
2257   - "throughput"
2258   - "parent"
2259   traces:
2260     hoverinfo: "x+y"
2261     boxpoints: "outliers"
2262     whiskerwidth: 0
2263   layout:
2264     title: "64B-2t2c-.*ipsec.*-pdrdisc"
2265     layout:
2266       "plot-throughput"
2267
2268 # DPDK
2269 -
2270   type: "plot"
2271   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2272   algorithm: "plot_performance_box"
2273   output-file-type: ".html"
2274   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc"
2275   data:
2276     "plot-dpdk-throughput-latency"
2277   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2278   parameters:
2279   - "throughput"
2280   - "parent"
2281   traces:
2282     hoverinfo: "x+y"
2283     boxpoints: "outliers"
2284     whiskerwidth: 0
2285   layout:
2286     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2287     layout:
2288       "plot-throughput"
2289
2290 -
2291   type: "plot"
2292   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2293   algorithm: "plot_performance_box"
2294   output-file-type: ".html"
2295   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc"
2296   data:
2297     "plot-dpdk-throughput-latency"
2298   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2299   parameters:
2300   - "throughput"
2301   - "parent"
2302   traces:
2303     hoverinfo: "x+y"
2304     boxpoints: "outliers"
2305     whiskerwidth: 0
2306   layout:
2307     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2308     layout:
2309       "plot-throughput"
2310
2311 -
2312   type: "plot"
2313   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2314   algorithm: "plot_performance_box"
2315   output-file-type: ".html"
2316   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc"
2317   data:
2318     "plot-dpdk-throughput-latency"
2319   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
2320   parameters:
2321   - "throughput"
2322   - "parent"
2323   traces:
2324     hoverinfo: "x+y"
2325     boxpoints: "outliers"
2326     whiskerwidth: 0
2327   layout:
2328     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2329     xaxis:
2330       autorange: True
2331       autotick: False
2332       fixedrange: False
2333       gridcolor: "rgb(238, 238, 238)"
2334       linecolor: "rgb(238, 238, 238)"
2335       linewidth: 1
2336       showgrid: True
2337       showline: True
2338       showticklabels: True
2339       tickcolor: "rgb(238, 238, 238)"
2340       tickmode: "linear"
2341       title: "Indexed Test Cases"
2342       zeroline: False
2343     yaxis:
2344       gridcolor: "rgb(238, 238, 238)'"
2345       hoverformat: ".4s"
2346       linecolor: "rgb(238, 238, 238)"
2347       linewidth: 1
2348       range: [2000000, 12000000]
2349       showgrid: True
2350       showline: True
2351       showticklabels: True
2352       tickcolor: "rgb(238, 238, 238)"
2353       title: "Packets Per Second [pps]"
2354       zeroline: False
2355     boxmode: "group"
2356     boxgroupgap: 0.5
2357     autosize: False
2358     margin:
2359       t: 50
2360       b: 20
2361       l: 50
2362       r: 20
2363     showlegend: True
2364     legend:
2365       orientation: "h"
2366     width: 700
2367     height: 1000
2368
2369 -
2370   type: "plot"
2371   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2372   algorithm: "plot_performance_box"
2373   output-file-type: ".html"
2374   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc"
2375   data:
2376     "plot-dpdk-throughput-latency"
2377   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
2378   parameters:
2379   - "throughput"
2380   - "parent"
2381   traces:
2382     hoverinfo: "x+y"
2383     boxpoints: "outliers"
2384     whiskerwidth: 0
2385   layout:
2386     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2387     xaxis:
2388       autorange: True
2389       autotick: False
2390       fixedrange: False
2391       gridcolor: "rgb(238, 238, 238)"
2392       linecolor: "rgb(238, 238, 238)"
2393       linewidth: 1
2394       showgrid: True
2395       showline: True
2396       showticklabels: True
2397       tickcolor: "rgb(238, 238, 238)"
2398       tickmode: "linear"
2399       title: "Indexed Test Cases"
2400       zeroline: False
2401     yaxis:
2402       gridcolor: "rgb(238, 238, 238)'"
2403       hoverformat: ".4s"
2404       linecolor: "rgb(238, 238, 238)"
2405       linewidth: 1
2406       range: [2000000, 12000000]
2407       showgrid: True
2408       showline: True
2409       showticklabels: True
2410       tickcolor: "rgb(238, 238, 238)"
2411       title: "Packets Per Second [pps]"
2412       zeroline: False
2413     boxmode: "group"
2414     boxgroupgap: 0.5
2415     autosize: False
2416     margin:
2417       t: 50
2418       b: 20
2419       l: 50
2420       r: 20
2421     showlegend: True
2422     legend:
2423       orientation: "h"
2424     width: 700
2425     height: 1000
2426
2427 -
2428   type: "plot"
2429   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2430   algorithm: "plot_performance_box"
2431   output-file-type: ".html"
2432   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-pdrdisc"
2433   data:
2434     "plot-dpdk-throughput-latency"
2435   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2436   parameters:
2437   - "throughput"
2438   - "parent"
2439   traces:
2440     hoverinfo: "x+y"
2441     boxpoints: "outliers"
2442     whiskerwidth: 0
2443   layout:
2444     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2445     layout:
2446       "plot-throughput"
2447
2448 -
2449   type: "plot"
2450   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2451   algorithm: "plot_performance_box"
2452   output-file-type: ".html"
2453   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-pdrdisc"
2454   data:
2455     "plot-dpdk-throughput-latency"
2456   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2457   parameters:
2458   - "throughput"
2459   - "parent"
2460   traces:
2461     hoverinfo: "x+y"
2462     boxpoints: "outliers"
2463     whiskerwidth: 0
2464   layout:
2465     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2466     layout:
2467       "plot-throughput"
2468
2469 -
2470   type: "plot"
2471   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
2472   algorithm: "plot_performance_box"
2473   output-file-type: ".html"
2474   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-pdrdisc"
2475   data:
2476     "plot-dpdk-throughput-latency"
2477   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD'"
2478   parameters:
2479   - "throughput"
2480   - "parent"
2481   traces:
2482     hoverinfo: "x+y"
2483     boxpoints: "outliers"
2484     whiskerwidth: 0
2485   layout:
2486     title: "64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
2487     xaxis:
2488       autorange: True
2489       autotick: False
2490       fixedrange: False
2491       gridcolor: "rgb(238, 238, 238)"
2492       linecolor: "rgb(238, 238, 238)"
2493       linewidth: 1
2494       showgrid: True
2495       showline: True
2496       showticklabels: True
2497       tickcolor: "rgb(238, 238, 238)"
2498       tickmode: "linear"
2499       title: "Indexed Test Cases"
2500       zeroline: False
2501     yaxis:
2502       gridcolor: "rgb(238, 238, 238)'"
2503       hoverformat: ".4s"
2504       linecolor: "rgb(238, 238, 238)"
2505       linewidth: 1
2506       range: [20000000, 30000000]
2507       showgrid: True
2508       showline: True
2509       showticklabels: True
2510       tickcolor: "rgb(238, 238, 238)"
2511       title: "Packets Per Second [pps]"
2512       zeroline: False
2513     boxmode: "group"
2514     boxgroupgap: 0.5
2515     autosize: False
2516     margin:
2517       t: 50
2518       b: 20
2519       l: 50
2520       r: 20
2521     showlegend: True
2522     legend:
2523       orientation: "h"
2524     width: 700
2525     height: 1000
2526
2527 -
2528   type: "plot"
2529   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
2530   algorithm: "plot_performance_box"
2531   output-file-type: ".html"
2532   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-pdrdisc"
2533   data:
2534     "plot-dpdk-throughput-latency"
2535   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD'"
2536   parameters:
2537   - "throughput"
2538   - "parent"
2539   traces:
2540     hoverinfo: "x+y"
2541     boxpoints: "outliers"
2542     whiskerwidth: 0
2543   layout:
2544     title: "64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
2545     xaxis:
2546       autorange: True
2547       autotick: False
2548       fixedrange: False
2549       gridcolor: "rgb(238, 238, 238)"
2550       linecolor: "rgb(238, 238, 238)"
2551       linewidth: 1
2552       showgrid: True
2553       showline: True
2554       showticklabels: True
2555       tickcolor: "rgb(238, 238, 238)"
2556       tickmode: "linear"
2557       title: "Indexed Test Cases"
2558       zeroline: False
2559     yaxis:
2560       gridcolor: "rgb(238, 238, 238)'"
2561       hoverformat: ".4s"
2562       linecolor: "rgb(238, 238, 238)"
2563       linewidth: 1
2564       range: [20000000, 30000000]
2565       showgrid: True
2566       showline: True
2567       showticklabels: True
2568       tickcolor: "rgb(238, 238, 238)"
2569       title: "Packets Per Second [pps]"
2570       zeroline: False
2571     boxmode: "group"
2572     boxgroupgap: 0.5
2573     autosize: False
2574     margin:
2575       t: 50
2576       b: 20
2577       l: 50
2578       r: 20
2579     showlegend: True
2580     legend:
2581       orientation: "h"
2582     width: 700
2583     height: 1000
2584
2585 # Plot latency
2586
2587 # VPP L2 sel1
2588 -
2589   type: "plot"
2590   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2591   algorithm: "plot_latency_box"
2592   output-file-type: ".html"
2593   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc-lat50"
2594   data:
2595     "plot-vpp-throughput-latency"
2596   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2597   parameters:
2598   - "latency"
2599   - "parent"
2600   traces:
2601     boxmean: False
2602   layout:
2603     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2604     layout:
2605       "plot-latency"
2606
2607 -
2608   type: "plot"
2609   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2610   algorithm: "plot_latency_box"
2611   output-file-type: ".html"
2612   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc-lat50"
2613   data:
2614     "plot-vpp-throughput-latency"
2615   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2616   parameters:
2617   - "latency"
2618   - "parent"
2619   traces:
2620     boxmean: False
2621   layout:
2622     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2623     layout:
2624       "plot-latency"
2625
2626 # VPP L2 sel2
2627 -
2628   type: "plot"
2629   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2630   algorithm: "plot_latency_box"
2631   output-file-type: ".html"
2632   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc-lat50"
2633   data:
2634     "plot-vpp-throughput-latency"
2635   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2636   parameters:
2637   - "latency"
2638   - "parent"
2639   traces:
2640     boxmean: False
2641   layout:
2642     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2643     layout:
2644       "plot-latency"
2645
2646 -
2647   type: "plot"
2648   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2649   algorithm: "plot_latency_box"
2650   output-file-type: ".html"
2651   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc-lat50"
2652   data:
2653     "plot-vpp-throughput-latency"
2654   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2655   parameters:
2656   - "latency"
2657   - "parent"
2658   traces:
2659     boxmean: False
2660   layout:
2661     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2662     layout:
2663       "plot-latency"
2664
2665 # VPP IP4
2666 -
2667   type: "plot"
2668   title: "VPP Latency 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2669   algorithm: "plot_latency_box"
2670   output-file-type: ".html"
2671   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc-lat50"
2672   data:
2673     "plot-vpp-throughput-latency"
2674   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
2675   parameters:
2676   - "latency"
2677   - "parent"
2678   traces:
2679     boxmean: False
2680   layout:
2681     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2682     layout:
2683       "plot-latency"
2684
2685 -
2686   type: "plot"
2687   title: "VPP Latency 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2688   algorithm: "plot_latency_box"
2689   output-file-type: ".html"
2690   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc-lat50"
2691   data:
2692     "plot-vpp-throughput-latency"
2693   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
2694   parameters:
2695   - "latency"
2696   - "parent"
2697   traces:
2698     boxmean: False
2699   layout:
2700     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2701     layout:
2702       "plot-latency"
2703
2704 # VPP IP6
2705 -
2706   type: "plot"
2707   title: "VPP Latency 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2708   algorithm: "plot_latency_box"
2709   output-file-type: ".html"
2710   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc-lat50"
2711   data:
2712     "plot-vpp-throughput-latency"
2713   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2714   parameters:
2715   - "latency"
2716   - "parent"
2717   traces:
2718     boxmean: False
2719   layout:
2720     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2721     layout:
2722       "plot-latency"
2723
2724 -
2725   type: "plot"
2726   title: "VPP Latency 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2727   algorithm: "plot_latency_box"
2728   output-file-type: ".html"
2729   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc-lat50"
2730   data:
2731     "plot-vpp-throughput-latency"
2732   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2733   parameters:
2734   - "latency"
2735   - "parent"
2736   traces:
2737     boxmean: False
2738   layout:
2739     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2740     layout:
2741       "plot-latency"
2742
2743 # VPP IP4_overlay
2744 -
2745   type: "plot"
2746   title: "VPP Latency 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2747   algorithm: "plot_latency_box"
2748   output-file-type: ".html"
2749   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc-lat50"
2750   data:
2751     "plot-vpp-throughput-latency"
2752   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2753   parameters:
2754   - "latency"
2755   - "parent"
2756   traces:
2757     boxmean: False
2758   layout:
2759     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2760     layout:
2761       "plot-latency"
2762
2763 -
2764   type: "plot"
2765   title: "VPP Latency 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2766   algorithm: "plot_latency_box"
2767   output-file-type: ".html"
2768   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc-lat50"
2769   data:
2770     "plot-vpp-throughput-latency"
2771   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2772   parameters:
2773   - "latency"
2774   - "parent"
2775   traces:
2776     boxmean: False
2777   layout:
2778     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2779     layout:
2780       "plot-latency"
2781
2782 # VPP IP6_overlay
2783 -
2784   type: "plot"
2785   title: "VPP Latency 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2786   algorithm: "plot_latency_box"
2787   output-file-type: ".html"
2788   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc-lat50"
2789   data:
2790     "plot-vpp-throughput-latency"
2791   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2792   parameters:
2793   - "latency"
2794   - "parent"
2795   traces:
2796     boxmean: False
2797   layout:
2798     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2799     layout:
2800       "plot-latency"
2801
2802 -
2803   type: "plot"
2804   title: "VPP Latency 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2805   algorithm: "plot_latency_box"
2806   output-file-type: ".html"
2807   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc-lat50"
2808   data:
2809     "plot-vpp-throughput-latency"
2810   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2811   parameters:
2812   - "latency"
2813   - "parent"
2814   traces:
2815     boxmean: False
2816   layout:
2817     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2818     layout:
2819       "plot-latency"
2820
2821 # VPP VM VHOST
2822 -
2823   type: "plot"
2824   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
2825   algorithm: "plot_latency_box"
2826   output-file-type: ".html"
2827   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc-lat50"
2828   data:
2829     "plot-vpp-throughput-latency"
2830   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2831   parameters:
2832   - "latency"
2833   - "parent"
2834   traces:
2835     boxmean: False
2836   layout:
2837     title: "64B-1t1c-.*vhost.*-ndrdisc"
2838     layout:
2839       "plot-latency"
2840
2841 -
2842   type: "plot"
2843   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
2844   algorithm: "plot_latency_box"
2845   output-file-type: ".html"
2846   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc-lat50"
2847   data:
2848     "plot-vpp-throughput-latency"
2849   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2850   parameters:
2851   - "latency"
2852   - "parent"
2853   traces:
2854     boxmean: False
2855   layout:
2856     title: "64B-2t2c-.*vhost.*-ndrdisc"
2857     layout:
2858       "plot-latency"
2859
2860 # VPP VM VHOST selection
2861 -
2862   type: "plot"
2863   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
2864   algorithm: "plot_latency_box"
2865   output-file-type: ".html"
2866   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc-lat50"
2867   data:
2868     "plot-vpp-throughput-latency"
2869   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2870   parameters:
2871   - "latency"
2872   - "parent"
2873   traces:
2874     boxmean: False
2875   layout:
2876     title: "64B-1t1c-.*vhost.*-ndrdisc"
2877     layout:
2878       "plot-latency"
2879
2880 -
2881   type: "plot"
2882   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
2883   algorithm: "plot_latency_box"
2884   output-file-type: ".html"
2885   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc-lat50"
2886   data:
2887     "plot-vpp-throughput-latency"
2888   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2889   parameters:
2890   - "latency"
2891   - "parent"
2892   traces:
2893     boxmean: False
2894   layout:
2895     title: "64B-2t2c-.*vhost.*-ndrdisc"
2896     layout:
2897       "plot-latency"
2898
2899 # VPP CRYPTO
2900 -
2901   type: "plot"
2902   title: "VPP Latency 64B-1t1c-.*ipsec.*-ndrdisc"
2903   algorithm: "plot_latency_box"
2904   output-file-type: ".html"
2905   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc-lat50"
2906   data:
2907     "plot-vpp-throughput-latency"
2908   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2909   parameters:
2910   - "latency"
2911   - "parent"
2912   traces:
2913     boxmean: False
2914   layout:
2915     title: "64B-1t1c-.*ipsec.*-ndrdisc"
2916     layout:
2917       "plot-latency"
2918
2919 -
2920   type: "plot"
2921   title: "VPP Latency 64B-2t2c-.*ipsec.*-ndrdisc"
2922   algorithm: "plot_latency_box"
2923   output-file-type: ".html"
2924   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc-lat50"
2925   data:
2926     "plot-vpp-throughput-latency"
2927   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2928   parameters:
2929   - "latency"
2930   - "parent"
2931   traces:
2932     boxmean: False
2933   layout:
2934     title: "64B-2t2c-.*ipsec.*-ndrdisc"
2935     layout:
2936       "plot-latency"
2937
2938 # DPDK
2939 -
2940   type: "plot"
2941   title: "DPDK Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2942   algorithm: "plot_latency_box"
2943   output-file-type: ".html"
2944   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc-lat50"
2945   data:
2946     "plot-dpdk-throughput-latency"
2947   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2948   parameters:
2949   - "latency"
2950   - "parent"
2951   traces:
2952     boxmean: False
2953   layout:
2954     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2955     layout:
2956       "plot-latency"
2957
2958 -
2959   type: "plot"
2960   title: "DPDK Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2961   algorithm: "plot_latency_box"
2962   output-file-type: ".html"
2963   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc-lat50"
2964   data:
2965     "plot-dpdk-throughput-latency"
2966   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2967   parameters:
2968   - "latency"
2969   - "parent"
2970   traces:
2971     boxmean: False
2972   layout:
2973     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2974     layout:
2975       "plot-latency"
2976
2977 -
2978   type: "plot"
2979   title: "DPDK Latency 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2980   algorithm: "plot_latency_box"
2981   output-file-type: ".html"
2982   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc-lat50"
2983   data:
2984     "plot-dpdk-throughput-latency"
2985   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
2986   parameters:
2987   - "latency"
2988   - "parent"
2989   traces:
2990     boxmean: False
2991   layout:
2992     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2993     layout:
2994       "plot-latency"
2995
2996 -
2997   type: "plot"
2998   title: "DPDK Latency 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2999   algorithm: "plot_latency_box"
3000   output-file-type: ".html"
3001   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc-lat50"
3002   data:
3003     "plot-dpdk-throughput-latency"
3004   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
3005   parameters:
3006   - "latency"
3007   - "parent"
3008   traces:
3009     boxmean: False
3010   layout:
3011     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3012     layout:
3013       "plot-latency"
3014
3015 # Ligato - Throughput
3016
3017 # Container memif
3018 -
3019   type: "plot"
3020   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3021   algorithm: "plot_performance_box"
3022   output-file-type: ".html"
3023   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc"
3024   data:
3025     "plot-vpp-throughput-latency"
3026   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3027   parameters:
3028   - "throughput"
3029   - "parent"
3030   traces:
3031     hoverinfo: "x+y"
3032     boxpoints: "outliers"
3033     whiskerwidth: 0
3034   layout:
3035     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3036     xaxis:
3037       autorange: True
3038       autotick: False
3039       fixedrange: False
3040       gridcolor: "rgb(238, 238, 238)"
3041       linecolor: "rgb(238, 238, 238)"
3042       linewidth: 1
3043       showgrid: True
3044       showline: True
3045       showticklabels: True
3046       tickcolor: "rgb(238, 238, 238)"
3047       tickmode: "linear"
3048       title: "Indexed Test Cases"
3049       zeroline: False
3050     yaxis:
3051       gridcolor: "rgb(238, 238, 238)'"
3052       hoverformat: ".4s"
3053       linecolor: "rgb(238, 238, 238)"
3054       linewidth: 1
3055       range: [0, 4500000]
3056       showgrid: True
3057       showline: True
3058       showticklabels: True
3059       tickcolor: "rgb(238, 238, 238)"
3060       title: "Packets Per Second [pps]"
3061       zeroline: False
3062     boxmode: "group"
3063     boxgroupgap: 0.5
3064     autosize: False
3065     margin:
3066       t: 50
3067       b: 20
3068       l: 50
3069       r: 20
3070     showlegend: True
3071     legend:
3072       orientation: "h"
3073     width: 700
3074     height: 1000
3075
3076 -
3077   type: "plot"
3078   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3079   algorithm: "plot_performance_box"
3080   output-file-type: ".html"
3081   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc"
3082   data:
3083     "plot-vpp-throughput-latency"
3084   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3085   parameters:
3086   - "throughput"
3087   - "parent"
3088   traces:
3089     hoverinfo: "x+y"
3090     boxpoints: "outliers"
3091     whiskerwidth: 0
3092   layout:
3093     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3094     xaxis:
3095       autorange: True
3096       autotick: False
3097       fixedrange: False
3098       gridcolor: "rgb(238, 238, 238)"
3099       linecolor: "rgb(238, 238, 238)"
3100       linewidth: 1
3101       showgrid: True
3102       showline: True
3103       showticklabels: True
3104       tickcolor: "rgb(238, 238, 238)"
3105       tickmode: "linear"
3106       title: "Indexed Test Cases"
3107       zeroline: False
3108     yaxis:
3109       gridcolor: "rgb(238, 238, 238)'"
3110       hoverformat: ".4s"
3111       linecolor: "rgb(238, 238, 238)"
3112       linewidth: 1
3113       range: [0, 8000000]
3114       showgrid: True
3115       showline: True
3116       showticklabels: True
3117       tickcolor: "rgb(238, 238, 238)"
3118       title: "Packets Per Second [pps]"
3119       zeroline: False
3120     boxmode: "group"
3121     boxgroupgap: 0.5
3122     autosize: False
3123     margin:
3124       t: 50
3125       b: 20
3126       l: 50
3127       r: 20
3128     showlegend: True
3129     legend:
3130       orientation: "h"
3131     width: 700
3132     height: 1000
3133
3134 -
3135   type: "plot"
3136   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3137   algorithm: "plot_performance_box"
3138   output-file-type: ".html"
3139   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-pdrdisc"
3140   data:
3141     "plot-vpp-throughput-latency"
3142   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3143   parameters:
3144   - "throughput"
3145   - "parent"
3146   traces:
3147     hoverinfo: "x+y"
3148     boxpoints: "outliers"
3149     whiskerwidth: 0
3150   layout:
3151     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3152     xaxis:
3153       autorange: True
3154       autotick: False
3155       fixedrange: False
3156       gridcolor: "rgb(238, 238, 238)"
3157       linecolor: "rgb(238, 238, 238)"
3158       linewidth: 1
3159       showgrid: True
3160       showline: True
3161       showticklabels: True
3162       tickcolor: "rgb(238, 238, 238)"
3163       tickmode: "linear"
3164       title: "Indexed Test Cases"
3165       zeroline: False
3166     yaxis:
3167       gridcolor: "rgb(238, 238, 238)'"
3168       hoverformat: ".4s"
3169       linecolor: "rgb(238, 238, 238)"
3170       linewidth: 1
3171       range: [0, 4500000]
3172       showgrid: True
3173       showline: True
3174       showticklabels: True
3175       tickcolor: "rgb(238, 238, 238)"
3176       title: "Packets Per Second [pps]"
3177       zeroline: False
3178     boxmode: "group"
3179     boxgroupgap: 0.5
3180     autosize: False
3181     margin:
3182       t: 50
3183       b: 20
3184       l: 50
3185       r: 20
3186     showlegend: True
3187     legend:
3188       orientation: "h"
3189     width: 700
3190     height: 1000
3191
3192 -
3193   type: "plot"
3194   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3195   algorithm: "plot_performance_box"
3196   output-file-type: ".html"
3197   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-pdrdisc"
3198   data:
3199     "plot-vpp-throughput-latency"
3200   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3201   parameters:
3202   - "throughput"
3203   - "parent"
3204   traces:
3205     hoverinfo: "x+y"
3206     boxpoints: "outliers"
3207     whiskerwidth: 0
3208   layout:
3209     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3210     xaxis:
3211       autorange: True
3212       autotick: False
3213       fixedrange: False
3214       gridcolor: "rgb(238, 238, 238)"
3215       linecolor: "rgb(238, 238, 238)"
3216       linewidth: 1
3217       showgrid: True
3218       showline: True
3219       showticklabels: True
3220       tickcolor: "rgb(238, 238, 238)"
3221       tickmode: "linear"
3222       title: "Indexed Test Cases"
3223       zeroline: False
3224     yaxis:
3225       gridcolor: "rgb(238, 238, 238)'"
3226       hoverformat: ".4s"
3227       linecolor: "rgb(238, 238, 238)"
3228       linewidth: 1
3229       range: [0, 8000000]
3230       showgrid: True
3231       showline: True
3232       showticklabels: True
3233       tickcolor: "rgb(238, 238, 238)"
3234       title: "Packets Per Second [pps]"
3235       zeroline: False
3236     boxmode: "group"
3237     boxgroupgap: 0.5
3238     autosize: False
3239     margin:
3240       t: 50
3241       b: 20
3242       l: 50
3243       r: 20
3244     showlegend: True
3245     legend:
3246       orientation: "h"
3247     width: 700
3248     height: 1000
3249
3250 # Container orchestrated
3251 -
3252   type: "plot"
3253   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3254   algorithm: "plot_performance_box"
3255   output-file-type: ".html"
3256   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc"
3257   data:
3258     "plot-ligato-throughput-latency"
3259   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3260   parameters:
3261   - "throughput"
3262   - "parent"
3263   traces:
3264     hoverinfo: "x+y"
3265     boxpoints: "outliers"
3266     whiskerwidth: 0
3267   layout:
3268     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3269     layout:
3270       "plot-throughput"
3271
3272 -
3273   type: "plot"
3274   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3275   algorithm: "plot_performance_box"
3276   output-file-type: ".html"
3277   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc"
3278   data:
3279     "plot-ligato-throughput-latency"
3280   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3281   parameters:
3282   - "throughput"
3283   - "parent"
3284   traces:
3285     hoverinfo: "x+y"
3286     boxpoints: "outliers"
3287     whiskerwidth: 0
3288   layout:
3289     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3290     layout:
3291       "plot-throughput"
3292
3293 -
3294   type: "plot"
3295   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3296   algorithm: "plot_performance_box"
3297   output-file-type: ".html"
3298   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-pdrdisc"
3299   data:
3300     "plot-ligato-throughput-latency"
3301   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3302   parameters:
3303   - "throughput"
3304   - "parent"
3305   traces:
3306     hoverinfo: "x+y"
3307     boxpoints: "outliers"
3308     whiskerwidth: 0
3309   layout:
3310     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3311     layout:
3312       "plot-throughput"
3313
3314 -
3315   type: "plot"
3316   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3317   algorithm: "plot_performance_box"
3318   output-file-type: ".html"
3319   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-pdrdisc"
3320   data:
3321     "plot-ligato-throughput-latency"
3322   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3323   parameters:
3324   - "throughput"
3325   - "parent"
3326   traces:
3327     hoverinfo: "x+y"
3328     boxpoints: "outliers"
3329     whiskerwidth: 0
3330   layout:
3331     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3332     layout:
3333       "plot-throughput"
3334
3335 # Ligato - Latency
3336
3337 # Container memif
3338 -
3339   type: "plot"
3340   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3341   algorithm: "plot_latency_box"
3342   output-file-type: ".html"
3343   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc-lat50"
3344   data:
3345     "plot-vpp-throughput-latency"
3346   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3347   parameters:
3348   - "latency"
3349   - "parent"
3350   traces:
3351     boxmean: False
3352   layout:
3353     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3354     layout:
3355       "plot-latency"
3356
3357 -
3358   type: "plot"
3359   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3360   algorithm: "plot_latency_box"
3361   output-file-type: ".html"
3362   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc-lat50"
3363   data:
3364     "plot-vpp-throughput-latency"
3365   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3366   parameters:
3367   - "latency"
3368   - "parent"
3369   traces:
3370     boxmean: False
3371   layout:
3372     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3373     layout:
3374       "plot-latency"
3375
3376 # Container orchestrated
3377 -
3378   type: "plot"
3379   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3380   algorithm: "plot_latency_box"
3381   output-file-type: ".html"
3382   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc-lat50"
3383   data:
3384     "plot-ligato-throughput-latency"
3385   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3386   parameters:
3387   - "latency"
3388   - "parent"
3389   traces:
3390     boxmean: False
3391   layout:
3392     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3393     layout:
3394       "plot-latency"
3395
3396 -
3397   type: "plot"
3398   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3399   algorithm: "plot_latency_box"
3400   output-file-type: ".html"
3401   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc-lat50"
3402   data:
3403     "plot-ligato-throughput-latency"
3404   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3405   parameters:
3406   - "latency"
3407   - "parent"
3408   traces:
3409     boxmean: False
3410   layout:
3411     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3412     layout:
3413       "plot-latency"