resources/tools/presentation/specification.yaml

   1 -
   2   type: "environment"
   3   configuration:
   4     # Debug mode:
   5     # - Skip:
   6     #   - Download of input data files
   7     # - Do:
   8     #   - Read data from given zip / xml files
   9     #   - Set the configuration as it is done in normal mode
  10     # If the section "type: debug" is missing, CFG[DEBUG] is set to 0.
  11     CFG[DEBUG]: 0
  12
  13   paths:
  14     # Top level directories:
  15     ## Working directory
  16     DIR[WORKING]: "_tmp"
  17     ## Build directories
  18     DIR[BUILD,HTML]: "_build"
  19     DIR[BUILD,LATEX]: "_build_latex"
  20
  21     # Static .rst files
  22     DIR[RST]: "../../../docs/report"
  23
  24     # Working directories
  25     ## Input data files (.zip, .xml)
  26     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
  27     ## Static source files from git
  28     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
  29     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
  30
  31     # Static html content
  32     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
  33     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
  34     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
  35     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
  36
  37     # Detailed test results
  38     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
  39     DIR[DTR,PERF,DPDK]: "{DIR[DTR]}/dpdk_performance_results"
  40     DIR[DTR,PERF,VPP]: "{DIR[DTR]}/vpp_performance_results"
  41     DIR[DTR,PERF,COT]: "{DIR[DTR]}/cot_performance_results"
  42     DIR[DTR,PERF,HC]: "{DIR[DTR]}/honeycomb_performance_results"
  43     DIR[DTR,FUNC,VPP]: "{DIR[DTR]}/vpp_functional_results"
  44     DIR[DTR,FUNC,HC]: "{DIR[DTR]}/honeycomb_functional_results"
  45     DIR[DTR,FUNC,NSHSFC]: "{DIR[DTR]}/nshsfc_functional_results"
  46     DIR[DTR,PERF,VPP,IMPRV]: "{DIR[WORKING,SRC]}/vpp_performance_tests/performance_improvements"
  47
  48     # Detailed test configurations
  49     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
  50     DIR[DTC,PERF,VPP]: "{DIR[DTC]}/vpp_performance_configuration"
  51     DIR[DTC,FUNC,VPP]: "{DIR[DTC]}/vpp_functional_configuration"
  52
  53     # Detailed tests operational data
  54     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
  55     DIR[DTO,PERF,VPP]: "{DIR[DTO]}/vpp_performance_operational_data"
  56
  57     # .css patch file to fix tables generated by Sphinx
  58     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
  59     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
  60
  61   urls:
  62     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
  63     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
  64     URL[NEXUS]: "https://docs.fd.io/csit"
  65     DIR[NEXUS]: "report/_static/archive"
  66
  67   make-dirs:
  68   # List the directories which are created while preparing the environment.
  69   # All directories MUST be defined in "paths" section.
  70   - "DIR[WORKING,DATA]"
  71   - "DIR[STATIC,VPP]"
  72   - "DIR[STATIC,DPDK]"
  73   - "DIR[STATIC,ARCH]"
  74   - "DIR[BUILD,LATEX]"
  75   - "DIR[WORKING,SRC]"
  76   - "DIR[WORKING,SRC,STATIC]"
  77
  78   remove-dirs:
  79   # List the directories which are deleted while cleaning the environment.
  80   # All directories MUST be defined in "paths" section.
  81   #- "DIR[BUILD,HTML]"
  82
  83   build-dirs:
  84   # List the directories where the results (build) is stored.
  85   # All directories MUST be defined in "paths" section.
  86   - "DIR[BUILD,HTML]"
  87   - "DIR[BUILD,LATEX]"
  88
  89 -
  90   type: "configuration"
  91   data-sets:
  92 # TODO: Add the data sources
  93     plot-vpp-http-server-performance:
  94       csit-vpp-perf-1801-all:
  95       - 157
  96       - 158
  97       - 159
  98       - 160
  99       - 161
 100       - 164
 101       - 165
 102       - 166
 103       - 168
 104       - 169
 105       - 170
 106 # TODO: Add the data sources
 107 #    vpp-meltdown-impact:
 108 #      csit-vpp-perf-1707-all:
 109 #      - 9
 110 #      - 10
 111 #      - 13
 112 #      csit-vpp-perf-1710-all:
 113 #      - 11l
 114 #      - 12
 115 #      - 13
 116 # TODO: Add the data sources
 117 #    vpp-spectre-impact:
 118 #      csit-vpp-perf-1707-all:
 119 #      - 9
 120 #      - 10
 121 #      - 13
 122 #      csit-vpp-perf-1710-all:
 123 #      - 11
 124 #      - 12
 125 #      - 13
 126     vpp-performance-changes:
 127       csit-vpp-perf-1710-all:
 128       - 11
 129       - 12
 130       - 13
 131       - 14
 132       - 15
 133       - 16
 134       - 17
 135       - 18
 136       - 19
 137       - 20
 138 # TODO: Add the data sources
 139       csit-vpp-perf-1801-all:
 140       - 124  # sel
 141       - 127  # sel
 142       - 128  # sel
 143       - 141  # sel
 144       - 142  # sel
 145       - 143  # sel
 146       - 145  # sel
 147       - 146  # sel
 148       - 162  # sel
 149       - 163  # sel
 150 #      - 167  # sel
 151 # TODO: Add the data sources
 152     plot-throughput-speedup-analysis:
 153       csit-vpp-perf-1801-all:
 154       - 124  # sel
 155       - 127  # sel
 156       - 128  # sel
 157       - 141  # sel
 158       - 142  # sel
 159       - 143  # sel
 160       - 145  # sel
 161       - 146  # sel
 162       - 162  # sel
 163       - 163  # sel
 164 #      - 167  # sel
 165 #    performance-improvements:
 166 #      csit-vpp-perf-1707-all:
 167 #      - 9
 168 #      - 10
 169 #      - 13
 170 #      - 14
 171 #      - 15
 172 #      - 16
 173 #      - 17
 174 #      - 18
 175 #      - 19
 176 #      - 21
 177 #      csit-vpp-perf-1710-all:
 178 #      - 11
 179 #      - 12
 180 #      - 13
 181 #      - 14
 182 #      - 15
 183 #      - 16
 184 #      - 17
 185 #      - 18
 186 #      - 19
 187 #      - 20
 188 #      csit-vpp-perf-1801-all:
 189 #      - 124
 190 #      - 127
 191 #      - 128
 192 #      csit-ligato-perf-1710-all:
 193 #      - 5
 194 #      - 7
 195 #      - 8
 196 #      - 9
 197 #      - 10
 198 #      - 11
 199 #      - 12
 200 #      - 13
 201 #      - 16
 202 #      - 17
 203 #      csit-ligato-perf-1801-all:
 204 #      - 16  # sel
 205 #      - 17  # sel
 206 #      - 18  # sel
 207 #      - 19  # sel
 208 #      - 20  # sel
 209 #      - 21  # sel
 210 #      - 22  # sel
 211 #      - 23  # sel
 212 #      - 24  # sel
 213 # TODO: Add the data sources
 214     vpp-perf-results:
 215       csit-vpp-perf-1801-all:
 216       - 122
 217       - 126
 218       - 129
 219       - 140
 220     vpp-func-results:
 221       csit-vpp-functional-1801-ubuntu1604-virl:
 222       - "lastSuccessfulBuild"
 223 # TODO: Add the data sources
 224     ligato-perf-results:
 225       csit-ligato-perf-1801-all:
 226       - 25  # full
 227     dpdk-perf-results:
 228       csit-dpdk-perf-1801-all:
 229       - 12
 230     hc-func-results:
 231       csit-hc2vpp-verify-func-1801-ubuntu1604:
 232       - "lastSuccessfulBuild"
 233     nsh-func-results:
 234       csit-nsh_sfc-verify-func-1801-ubuntu1604-virl:
 235       - 1
 236 # TODO: Add the data sources
 237     plot-vpp-throughput-latency:
 238       csit-vpp-perf-1801-all:
 239       - 124  # sel
 240       - 127  # sel
 241       - 128  # sel
 242       - 141  # sel
 243       - 142  # sel
 244       - 143  # sel
 245       - 145  # sel
 246       - 146  # sel
 247       - 162  # sel
 248       - 163  # sel
 249 #      - 167  # sel
 250     plot-dpdk-throughput-latency:
 251       csit-dpdk-perf-1801-all:
 252       - 1
 253       - 3
 254       - 4
 255       - 5
 256       - 6
 257       - 7
 258       - 8
 259       - 10
 260       - 12
 261 # TODO: Add the data sources
 262     plot-ligato-throughput-latency:
 263       csit-ligato-perf-1801-all:
 264       - 16  # sel
 265       - 17  # sel
 266       - 18  # sel
 267       - 19  # sel
 268       - 20  # sel
 269       - 21  # sel
 270       - 22  # sel
 271       - 23  # sel
 272       - 24  # sel
 273
 274   plot-layouts:
 275
 276     plot-cps:
 277       xaxis:
 278         autorange: True
 279         autotick: False
 280         fixedrange: False
 281         gridcolor: "rgb(238, 238, 238)"
 282         linecolor: "rgb(238, 238, 238)"
 283         linewidth: 1
 284         showgrid: True
 285         showline: True
 286         showticklabels: True
 287         tickcolor: "rgb(238, 238, 238)"
 288         tickmode: "linear"
 289         title: "Indexed Test Cases"
 290         zeroline: False
 291       yaxis:
 292         gridcolor: "rgb(238, 238, 238)'"
 293         hoverformat: ".4s"
 294         linecolor: "rgb(238, 238, 238)"
 295         linewidth: 1
 296         range: []
 297         rangemode: "tozero"
 298         showgrid: True
 299         showline: True
 300         showticklabels: True
 301         tickcolor: "rgb(238, 238, 238)"
 302         title: "Connections Per Second [cps]"
 303         zeroline: False
 304       boxmode: "group"
 305       boxgroupgap: 0.5
 306       autosize: False
 307       margin:
 308         t: 50
 309         b: 20
 310         l: 50
 311         r: 20
 312       showlegend: True
 313       legend:
 314         orientation: "h"
 315       width: 700
 316       height: 1000
 317
 318     plot-rps:
 319       xaxis:
 320         autorange: True
 321         autotick: False
 322         fixedrange: False
 323         gridcolor: "rgb(238, 238, 238)"
 324         linecolor: "rgb(238, 238, 238)"
 325         linewidth: 1
 326         showgrid: True
 327         showline: True
 328         showticklabels: True
 329         tickcolor: "rgb(238, 238, 238)"
 330         tickmode: "linear"
 331         title: "Indexed Test Cases"
 332         zeroline: False
 333       yaxis:
 334         gridcolor: "rgb(238, 238, 238)'"
 335         hoverformat: ".4s"
 336         linecolor: "rgb(238, 238, 238)"
 337         linewidth: 1
 338         range: []
 339         rangemode: "tozero"
 340         showgrid: True
 341         showline: True
 342         showticklabels: True
 343         tickcolor: "rgb(238, 238, 238)"
 344         title: "Requests Per Second [rps]"
 345         zeroline: False
 346       boxmode: "group"
 347       boxgroupgap: 0.5
 348       autosize: False
 349       margin:
 350         t: 50
 351         b: 20
 352         l: 50
 353         r: 20
 354       showlegend: True
 355       legend:
 356         orientation: "h"
 357       width: 700
 358       height: 1000
 359
 360     plot-throughput:
 361       xaxis:
 362         autorange: True
 363         autotick: False
 364         fixedrange: False
 365         gridcolor: "rgb(238, 238, 238)"
 366         linecolor: "rgb(238, 238, 238)"
 367         linewidth: 1
 368         showgrid: True
 369         showline: True
 370         showticklabels: True
 371         tickcolor: "rgb(238, 238, 238)"
 372         tickmode: "linear"
 373         title: "Indexed Test Cases"
 374         zeroline: False
 375       yaxis:
 376         gridcolor: "rgb(238, 238, 238)'"
 377         hoverformat: ".4s"
 378         linecolor: "rgb(238, 238, 238)"
 379         linewidth: 1
 380         range: []
 381         showgrid: True
 382         showline: True
 383         showticklabels: True
 384         tickcolor: "rgb(238, 238, 238)"
 385         title: "Packets Per Second [pps]"
 386         zeroline: False
 387       boxmode: "group"
 388       boxgroupgap: 0.5
 389       autosize: False
 390       margin:
 391         t: 50
 392         b: 20
 393         l: 50
 394         r: 20
 395       showlegend: True
 396       legend:
 397         orientation: "h"
 398       width: 700
 399       height: 1000
 400
 401     plot-latency:
 402       xaxis:
 403         autorange: True
 404         autotick: False
 405         fixedrange: False
 406         gridcolor: "rgb(238, 238, 238)"
 407         linecolor: "rgb(238, 238, 238)"
 408         linewidth: 1
 409         showgrid: True
 410         showline: True
 411         showticklabels: True
 412         tickcolor: "rgb(238, 238, 238)"
 413         tickmode: "linear"
 414         title: "Indexed Test Cases"
 415         zeroline: False
 416       yaxis:
 417         gridcolor: "rgb(238, 238, 238)'"
 418         hoverformat: ""
 419         linecolor: "rgb(238, 238, 238)"
 420         linewidth: 1
 421         range: []
 422         showgrid: True
 423         showline: True
 424         showticklabels: True
 425         tickcolor: "rgb(238, 238, 238)"
 426         title: "Latency min/avg/max [uSec]"
 427         zeroline: False
 428       boxmode: "group"
 429       boxgroupgap: 0.5
 430       autosize: False
 431       margin:
 432         t: 50
 433         b: 20
 434         l: 50
 435         r: 20
 436       showlegend: True
 437       legend:
 438         orientation: "h"
 439       width: 700
 440       height: 1000
 441
 442     plot-throughput-speedup-analysis:
 443       xaxis:
 444         autorange: True
 445         autotick: False
 446         fixedrange: False
 447         gridcolor: "rgb(238, 238, 238)"
 448         linecolor: "rgb(238, 238, 238)"
 449         linewidth: 1
 450         showgrid: True
 451         showline: True
 452         showticklabels: True
 453         tickcolor: "rgb(238, 238, 238)"
 454         tickmode: "linear"
 455         tickangle: 270
 456         zeroline: False
 457       yaxis:
 458         title: "Throughput speedup factor"
 459         gridcolor: "rgb(238, 238, 238)"
 460         hoverformat: ".4s"
 461         linecolor: "rgb(238, 238, 238)"
 462         linewidth: 1
 463         range: []
 464         showgrid: True
 465         showline: True
 466         showticklabels: True
 467         tickcolor: "rgb(238, 238, 238)"
 468         zeroline: False
 469       legend:
 470         orientation: "h"
 471         xanchor: "center"
 472         yanchor: "top"
 473         x: 0.5
 474         y: 1
 475         bgcolor: "rgba(255, 255, 255, 0)"
 476         bordercolor: "rgba(255, 255, 255, 0)"
 477       barmode: "group"
 478       bargap: 0.15
 479       bargroupgap: 0.1
 480       autosize: False
 481       margin:
 482           't': 50
 483           'b': 200
 484           'l': 50
 485           'r': 20
 486       showlegend: True
 487       width: 700
 488       height: 1000
 489
 490 -
 491   type: "debug"
 492   general:
 493     input-format: "xml"  # zip or xml
 494     extract: "robot-plugin/output.xml"  # Only for zip
 495   builds:
 496     # The files must be in the directory DIR[WORKING,DATA]
 497     csit-vpp-perf-1801-all:
 498     -
 499       build: 1
 500       file: "{DIR[WORKING,DATA]}/output.xml"
 501     -
 502       build: 2
 503       file: "{DIR[WORKING,DATA]}/output.xml"
 504     -
 505       build: 3
 506       file: "{DIR[WORKING,DATA]}/output.xml"
 507     -
 508       build: 4
 509       file: "{DIR[WORKING,DATA]}/output.xml"
 510
 511 -
 512   type: "static"
 513   src-path: "{DIR[RST]}"
 514   dst-path: "{DIR[WORKING,SRC]}"
 515
 516 -
 517   type: "input"  # Ignored in debug mode
 518   general:
 519     file-name: "robot-plugin.zip"
 520     file-format: ".zip"
 521     download-path: "{job}/{build}/robot/report/*zip*/{filename}"
 522     extract: "robot-plugin/output.xml"
 523   builds:
 524 #    csit-vpp-perf-1707-all:
 525 #    - 9
 526 #    - 10
 527 #    - 13
 528 #    - 14
 529 #    - 15
 530 #    - 16
 531 #    - 17
 532 #    - 18
 533 #    - 19
 534 #    - 21
 535     csit-vpp-perf-1710-all:
 536     - 11
 537     - 12
 538     - 13
 539     - 14
 540     - 15
 541     - 16
 542     - 17
 543     - 18
 544     - 19
 545     - 20
 546 # TODO:
 547     csit-vpp-perf-1801-all:
 548     - 122  # full
 549     - 126  # full
 550     - 129  # full
 551     - 140  # full
 552     - 124  # sel
 553     - 127  # sel
 554     - 128  # sel
 555     - 141  # sel
 556     - 142  # sel
 557     - 143  # sel
 558     - 145  # sel
 559     - 146  # sel
 560     - 157  # wrk
 561     - 158  # wrk
 562     - 159  # wrk
 563     - 160  # wrk
 564     - 161  # wrk
 565     - 162  # sel
 566     - 163  # sel
 567     - 164  # wrk
 568     - 165  # wrk
 569     - 166  # wrk
 570 #    - 167  # sel
 571     - 168  # wrk
 572     - 169  # wrk
 573     - 170  # wrk
 574     csit-ligato-perf-1710-all:
 575     - 5
 576     - 7
 577     - 8
 578     - 9
 579     - 10
 580     - 11
 581     - 12
 582     - 13
 583     - 16
 584     - 17
 585     csit-dpdk-perf-1801-all:
 586     - 1
 587     - 4
 588     - 5
 589     - 7
 590     - 8
 591     - 10
 592     - 12
 593     - 16
 594     - 17
 595 # TODO:
 596     csit-ligato-perf-1801-all:
 597     - 16  # sel
 598     - 17  # sel
 599     - 18  # sel
 600     - 19  # sel
 601     - 20  # sel
 602     - 21  # sel
 603     - 22  # sel
 604     - 23  # sel
 605     - 24  # sel
 606     - 25  # full
 607     csit-dpdk-perf-1801-all:
 608     - 1
 609     - 3
 610     - 4
 611     - 5
 612     - 6
 613     - 7
 614     - 8
 615     - 9
 616     - 10
 617     - 12
 618     csit-vpp-functional-1801-ubuntu1604-virl:
 619     - lastSuccessfulBuild
 620     csit-nsh_sfc-verify-func-1801-ubuntu1604-virl:
 621     - 1
 622     csit-hc2vpp-verify-func-1801-ubuntu1604:
 623     - lastSuccessfulBuild
 624
 625 -
 626   type: "output"
 627   format:
 628     html:
 629     - full
 630     pdf:
 631     - minimal
 632
 633 ################################################################################
 634 ###                               T A B L E S                                ###
 635 ################################################################################
 636
 637 #-
 638 #  type: "table"
 639 #  title: "Performance Impact of Meltdown Patches"
 640 #  algorithm: "table_performance_comparison"
 641 #  output-file-ext: ".csv"
 642 ## TODO: specify dir
 643 #  output-file: "{DIR[STATIC,VPP]}/meltdown-impact"
 644 #  reference:
 645 #    title: "No Meltdown"
 646 ## TODO: specify data sources
 647 #    data:
 648 #      csit-vpp-perf-1707-all:
 649 #      - 9
 650 #      - 10
 651 #      - 13
 652 #  compare:
 653 #    title: "Meltdown Patches Applied"
 654 ## TODO: specify data sources
 655 #    data:
 656 #      csit-vpp-perf-1710-all:
 657 #      - 11
 658 #      - 12
 659 #      - 13
 660 #  data:
 661 #    "vpp-meltdown-impact"
 662 #  filter: "all"
 663 #  parameters:
 664 #  - "name"
 665 #  - "parent"
 666 #  - "throughput"
 667 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
 668 #  # to present all tests.
 669 #  nr-of-tests-shown: 20
 670 #
 671 #-
 672 #  type: "table"
 673 #  title: "Performance Impact of Spectre Patches"
 674 #  algorithm: "table_performance_comparison"
 675 #  output-file-ext: ".csv"
 676 ## TODO: specify dir
 677 #  output-file: "{DIR[STATIC,VPP]}/meltdown-spectre-impact"
 678 #  reference:
 679 #    title: "No Spectre"
 680 ## TODO: specify data sources
 681 #    data:
 682 #      csit-vpp-perf-1707-all:
 683 #      - 9
 684 #      - 10
 685 #      - 13
 686 #  compare:
 687 #    title: "Spectre Patches Applied"
 688 ## TODO: specify data sources
 689 #    data:
 690 #      csit-vpp-perf-1710-all:
 691 #      - 11
 692 #      - 12
 693 #      - 13
 694 #  data:
 695 #    "vpp-spectre-impact"
 696 #  filter: "all"
 697 #  parameters:
 698 #  - "name"
 699 #  - "parent"
 700 #  - "throughput"
 701 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
 702 #  # to present all tests.
 703 #  nr-of-tests-shown: 20
 704
 705 -
 706   type: "table"
 707   title: "VPP Performance Changes"
 708   algorithm: "table_performance_comparison"
 709   output-file-ext: ".csv"
 710 # TODO: specify dir
 711   output-file: "{DIR[STATIC,VPP]}/performance-changes"
 712   reference:
 713     title: "Release 1710"
 714 # TODO: specify data sources
 715     data:
 716       csit-vpp-perf-1710-all:
 717       - 11
 718       - 12
 719       - 13
 720       - 14
 721       - 15
 722       - 16
 723       - 17
 724       - 18
 725       - 19
 726       - 20
 727   compare:
 728     title: "Release 1801"
 729 # TODO: specify data sources
 730     data:
 731       csit-vpp-perf-1801-all:
 732       - 124  # sel
 733       - 127  # sel
 734       - 128  # sel
 735       - 141  # sel
 736       - 142  # sel
 737       - 143  # sel
 738       - 145  # sel
 739       - 146  # sel
 740   data: "vpp-performance-changes"
 741   filter: "all"
 742   parameters:
 743   - "name"
 744   - "parent"
 745   - "throughput"
 746   # Number of the best and the worst tests presented in the table. Use 0 (zero)
 747   # to present all tests.
 748   nr-of-tests-shown: 20
 749   outlier-const: 1.5
 750
 751 #-
 752 #  type: "table"
 753 #  title: "Performance improvements"
 754 #  algorithm: "table_performance_improvements"
 755 #  template: "{DIR[DTR,PERF,VPP,IMPRV]}/tmpl_performance_improvements.csv"
 756 #  output-file-ext: ".csv"
 757 #  output-file: "{DIR[DTR,PERF,VPP,IMPRV]}/performance_improvements"
 758 #  columns:
 759 #  -
 760 #    title: "Test Name"
 761 #    data: "template 1"
 762 #  -
 763 #    title: "16.09 mean [Mpps]"
 764 #    data: "template 2"
 765 #  -
 766 #    title: "17.01 mean [Mpps]"
 767 #    data: "template 3"
 768 #  -
 769 #    title: "17.04 mean [Mpps]"
 770 #    data: "template 4"
 771 #  -
 772 #    title: "17.07 mean [Mpps]"
 773 #    data: "data csit-vpp-perf-1707-all mean"
 774 #  -
 775 #    title: "17.10 mean [Mpps]"
 776 #    data: "data csit-vpp-perf-1710-all csit-ligato-perf-1710-all mean"
 777 #  -
 778 #    title: "18.01 mean [Mpps]"
 779 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all mean"
 780 #  -
 781 #    title: "18.01 stdev [Mpps]"
 782 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all stdev"
 783 #  -
 784 #    title: "17.10 to 18.01 change [%]"
 785 #    data: "operation relative_change 5 6"
 786 #  rows: "generated"
 787 #  data:
 788 #    "performance-improvements"
 789 #  filter: "template"
 790 #  parameters:
 791 #  - "throughput"
 792
 793 -
 794   type: "table"
 795   title: "Detailed Test Results - VPP Performance Results"
 796   algorithm: "table_merged_details"
 797   output-file-ext: ".csv"
 798   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
 799   columns:
 800   -
 801     title: "Name"
 802     data: "data name"
 803   -
 804     title: "Documentation"
 805     data: "data doc"
 806   -
 807     title: "Status"
 808     data: "data msg"
 809   rows: "generated"
 810   data:
 811     "vpp-perf-results"
 812   filter: "not 'NDRCHK' and not 'PDRCHK'"
 813   parameters:
 814   - "name"
 815   - "parent"
 816   - "doc"
 817   - "msg"
 818
 819 -
 820   type: "table"
 821   title: "Test configuration - VPP Performance Test Configs"
 822   algorithm: "table_merged_details"
 823   output-file-ext: ".csv"
 824   output-file: "{DIR[DTC,PERF,VPP]}/vpp_test_configuration"
 825   columns:
 826   -
 827     title: "Name"
 828     data: "data name"
 829   -
 830     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
 831     data: "data vat-history"
 832   rows: "generated"
 833   data:
 834     "vpp-perf-results"
 835   filter: "not 'NDRCHK' and not 'PDRCHK'"
 836   parameters:
 837   - "parent"
 838   - "name"
 839   - "vat-history"
 840
 841 -
 842   type: "table"
 843   title: "Test Operational Data - VPP Performance Operational Data"
 844   algorithm: "table_merged_details"
 845   output-file-ext: ".csv"
 846   output-file: "{DIR[DTO,PERF,VPP]}/vpp_test_operational"
 847   columns:
 848   -
 849     title: "Name"
 850     data: "data name"
 851   -
 852     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
 853     data: "data show-run"
 854   rows: "generated"
 855   data:
 856     "vpp-perf-results"
 857   filter: "not 'NDRCHK' and not 'PDRCHK'"
 858   parameters:
 859   - "parent"
 860   - "name"
 861   - "show-run"
 862
 863 -
 864   type: "table"
 865   title: "Detailed Test Results - VPP Functional Results"
 866   algorithm: "table_details"
 867   output-file-ext: ".csv"
 868   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
 869   columns:
 870   -
 871     title: "Name"
 872     data: "data name"
 873   -
 874     title: "Documentation"
 875     data: "data doc"
 876   -
 877     title: "Status"
 878     data: "data status"
 879   rows: "generated"
 880   data:
 881     "vpp-func-results"
 882   filter: "all"
 883   parameters:
 884   - "name"
 885   - "parent"
 886   - "doc"
 887   - "status"
 888
 889 -
 890   type: "table"
 891   title: "Test configuration - VPP Functional Test Configs"
 892   algorithm: "table_details"
 893   output-file-ext: ".csv"
 894   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
 895   columns:
 896   -
 897     title: "Name"
 898     data: "data name"
 899   -
 900     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
 901     data: "data vat-history"
 902   rows: "generated"
 903   data:
 904     "vpp-func-results"
 905   filter: "all"
 906   parameters:
 907   - "parent"
 908   - "name"
 909   - "vat-history"
 910
 911 -
 912   type: "table"
 913   title: "Detailed Test Results - Container Orchestrated Topologies Performance Results"
 914   algorithm: "table_details"
 915   output-file-ext: ".csv"
 916   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
 917   columns:
 918   -
 919     title: "Name"
 920     data: "data name"
 921   -
 922     title: "Documentation"
 923     data: "data doc"
 924   -
 925     title: "Status"
 926     data: "data msg"
 927   rows: "generated"
 928   data:
 929     "ligato-perf-results"
 930   filter: "all"
 931   parameters:
 932   - "name"
 933   - "parent"
 934   - "doc"
 935   - "msg"
 936
 937 -
 938   type: "table"
 939   title: "Detailed Test Results - DPDK Performance Results"
 940   algorithm: "table_details"
 941   output-file-ext: ".csv"
 942   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
 943   columns:
 944   -
 945     title: "Name"
 946     data: "data name"
 947   -
 948     title: "Documentation"
 949     data: "data doc"
 950   -
 951     title: "Status"
 952     data: "data msg"
 953   rows: "generated"
 954   data:
 955     "dpdk-perf-results"
 956   filter: "all"
 957   parameters:
 958   - "name"
 959   - "parent"
 960   - "doc"
 961   - "msg"
 962
 963 -
 964   type: "table"
 965   title: "Detailed Test Results - Honeycomb Functional Results"
 966   algorithm: "table_details"
 967   output-file-ext: ".csv"
 968   output-file: "{DIR[DTR,FUNC,HC]}/hc_functional_results"
 969   columns:
 970   -
 971     title: "Name"
 972     data: "data name"
 973   -
 974     title: "Documentation"
 975     data: "data doc"
 976   -
 977     title: "Status"
 978     data: "data status"
 979   rows: "generated"
 980   data:
 981     "hc-func-results"
 982   filter: "all"
 983   parameters:
 984   - "name"
 985   - "parent"
 986   - "doc"
 987   - "status"
 988
 989 -
 990   type: "table"
 991   title: "Detailed Test Results - NSH SFC Functional Results"
 992   algorithm: "table_details"
 993   output-file-ext: ".csv"
 994   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nsh_sfc_functional_results"
 995   columns:
 996   -
 997     title: "Name"
 998     data: "data name"
 999   -
1000     title: "Documentation"
1001     data: "data doc"
1002   -
1003     title: "Status"
1004     data: "data status"
1005   rows: "generated"
1006   data:
1007     "nsh-func-results"
1008   filter: "all"
1009   parameters:
1010   - "name"
1011   - "parent"
1012   - "doc"
1013   - "status"
1014
1015 ################################################################################
1016 ###                                F I L E S                                 ###
1017 ################################################################################
1018
1019 -
1020   type: "file"
1021   title: "VPP Performance Results"
1022   algorithm: "file_merged_test_results"
1023   output-file-ext: ".rst"
1024   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
1025   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1026   dir-tables: "{DIR[DTR,PERF,VPP]}"
1027   data:
1028     "vpp-perf-results"
1029   filter: "not 'NDRCHK' and not 'PDRCHK'"
1030   parameters:
1031   - "name"
1032   - "doc"
1033   - "level"
1034   - "parent"
1035   data-start-level: 3  # 0, 1, 2, ...
1036   chapters-start-level: 2  # 0, 1, 2, ...
1037
1038 -
1039   type: "file"
1040   title: "VPP Performance Configuration"
1041   algorithm: "file_merged_test_results"
1042   output-file-ext: ".rst"
1043   output-file: "{DIR[DTC,PERF,VPP]}/vpp_performance_configuration"
1044   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1045   dir-tables: "{DIR[DTC,PERF,VPP]}"
1046   data:
1047     "vpp-perf-results"
1048   filter: "not 'NDRCHK' and not 'PDRCHK'"
1049   parameters:
1050   - "name"
1051   - "doc"
1052   - "level"
1053   - "parent"
1054   data-start-level: 3  # 0, 1, 2, ...
1055   chapters-start-level: 2  # 0, 1, 2, ...
1056
1057 -
1058   type: "file"
1059   title: "VPP Performance Operational Data"
1060   algorithm: "file_merged_test_results"
1061   output-file-ext: ".rst"
1062   output-file: "{DIR[DTO,PERF,VPP]}/vpp_performance_operational_data"
1063   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1064   dir-tables: "{DIR[DTO,PERF,VPP]}"
1065   data:
1066     "vpp-perf-results"
1067   filter: "not 'NDRCHK' and not 'PDRCHK'"
1068   parameters:
1069   - "name"
1070   - "doc"
1071   - "level"
1072   - "parent"
1073   data-start-level: 3  # 0, 1, 2, ...
1074   chapters-start-level: 2  # 0, 1, 2, ...
1075
1076 -
1077   type: "file"
1078   title: "VPP Functional Results"
1079   algorithm: "file_test_results"
1080   output-file-ext: ".rst"
1081   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
1082   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1083   dir-tables: "{DIR[DTR,FUNC,VPP]}"
1084   data:
1085     "vpp-func-results"
1086   filter: "all"
1087   parameters:
1088   - "name"
1089   - "doc"
1090   - "level"
1091   data-start-level: 3  # 0, 1, 2, ...
1092   chapters-start-level: 2  # 0, 1, 2, ...
1093
1094 -
1095   type: "file"
1096   title: "VPP Functional Configuration"
1097   algorithm: "file_test_results"
1098   output-file-ext: ".rst"
1099   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
1100   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1101   dir-tables: "{DIR[DTC,FUNC,VPP]}"
1102   data:
1103     "vpp-func-results"
1104   filter: "all"
1105   parameters:
1106   - "name"
1107   - "doc"
1108   - "level"
1109   data-start-level: 3  # 0, 1, 2, ...
1110   chapters-start-level: 2  # 0, 1, 2, ...
1111
1112 -
1113   type: "file"
1114   title: "Container Orchestrated Performance Results"
1115   algorithm: "file_test_results"
1116   output-file-ext: ".rst"
1117   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
1118   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1119   dir-tables: "{DIR[DTR,PERF,COT]}"
1120   data:
1121     "ligato-perf-results"
1122   filter: "all"
1123   parameters:
1124   - "name"
1125   - "doc"
1126   - "level"
1127   data-start-level: 2  # 0, 1, 2, ...
1128   chapters-start-level: 2  # 0, 1, 2, ...
1129
1130 -
1131   type: "file"
1132   title: "DPDK Performance Results"
1133   algorithm: "file_test_results"
1134   output-file-ext: ".rst"
1135   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
1136   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1137   dir-tables: "{DIR[DTR,PERF,DPDK]}"
1138   data:
1139     "dpdk-perf-results"
1140   filter: "all"
1141   parameters:
1142   - "name"
1143   - "doc"
1144   - "level"
1145   chapters:
1146   - "suites"
1147   data-start-level: 2  # 0, 1, 2, ...
1148   chapters-start-level: 2  # 0, 1, 2, ...
1149
1150 -
1151   type: "file"
1152   title: "Honeycomb Functional Results"
1153   algorithm: "file_test_results"
1154   output-file-ext: ".rst"
1155   output-file: "{DIR[DTR,FUNC,HC]}/honeycomb_functional_results"
1156   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1157   dir-tables: "{DIR[DTR,FUNC,HC]}"
1158   data:
1159     "hc-func-results"
1160   filter: "all"
1161   parameters:
1162   - "name"
1163   - "doc"
1164   - "level"
1165   chapters:
1166   - "suites"
1167   data-start-level: 3  # 0, 1, 2, ...
1168   chapters-start-level: 2  # 0, 1, 2, ...
1169
1170 -
1171   type: "file"
1172   title: "NSH SFC Functional Results"
1173   algorithm: "file_test_results"
1174   output-file-ext: ".rst"
1175   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nshsfc_functional_results"
1176   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1177   dir-tables: "{DIR[DTR,FUNC,NSHSFC]}"
1178   data:
1179     "nsh-func-results"
1180   filter: "all"
1181   parameters:
1182   - "name"
1183   - "doc"
1184   - "level"
1185   chapters:
1186   - "suites"
1187   data-start-level: 2  # 0, 1, 2, ...
1188   chapters-start-level: 2  # 0, 1, 2, ...
1189
1190 ################################################################################
1191 ###                                P L O T S                                 ###
1192 ################################################################################
1193
1194 # Plots VPP HTTP Server Performance
1195 -
1196   type: "plot"
1197   title: "VPP HTTP Server Performance"
1198   algorithm: "plot_http_server_performance_box"
1199   output-file-type: ".html"
1200   output-file: "{DIR[STATIC,VPP]}/http-server-performance-cps"
1201   data:
1202     "plot-vpp-http-server-performance"
1203   # Keep this formatting, the filter is enclosed with " (quotation mark) and
1204   # each tag is enclosed with ' (apostrophe).
1205   filter: "'HTTP' and 'TCP_CPS'"
1206   parameters:
1207   - "result"
1208   - "name"
1209   traces:
1210     hoverinfo: "x+y"
1211     boxpoints: "outliers"
1212     whiskerwidth: 0
1213   layout:
1214     title: "VPP HTTP Server Performance"
1215     layout:
1216       "plot-cps"
1217
1218 -
1219   type: "plot"
1220   title: "VPP HTTP Server Performance"
1221   algorithm: "plot_http_server_performance_box"
1222   output-file-type: ".html"
1223   output-file: "{DIR[STATIC,VPP]}/http-server-performance-rps"
1224   data:
1225     "plot-vpp-http-server-performance"
1226   filter: "'HTTP' and 'TCP_RPS'"
1227   parameters:
1228   - "result"
1229   - "name"
1230   traces:
1231     hoverinfo: "x+y"
1232     boxpoints: "outliers"
1233     whiskerwidth: 0
1234   layout:
1235     title: "VPP HTTP Server Performance"
1236     layout:
1237       "plot-rps"
1238
1239 # Plot Throughput Speedup Analysis
1240
1241 # L2 - 10ge2p1x520 - NDR
1242 -
1243   type: "plot"
1244   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1245   algorithm: "plot_throughput_speedup_analysis"
1246   output-file-type: ".html"
1247   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-ndrdisc"
1248   data:
1249     "plot-throughput-speedup-analysis"
1250   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1251   parameters:
1252   - "throughput"
1253   - "parent"
1254   - "tags"
1255   layout:
1256     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1257     layout:
1258       "plot-throughput-speedup-analysis"
1259
1260 # L2 - 40ge2p1xl710 - NDR
1261 -
1262   type: "plot"
1263   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1264   algorithm: "plot_throughput_speedup_analysis"
1265   output-file-type: ".html"
1266   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-l2-tsa-ndrdisc"
1267   data:
1268     "plot-throughput-speedup-analysis"
1269   filter: "'NIC_Intel-XL710' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1270   parameters:
1271   - "throughput"
1272   - "parent"
1273   - "tags"
1274   layout:
1275     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1276     layout:
1277       "plot-throughput-speedup-analysis"
1278
1279 # L2 - 10ge2p1x520 - PDR
1280 -
1281   type: "plot"
1282   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1283   algorithm: "plot_throughput_speedup_analysis"
1284   output-file-type: ".html"
1285   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-pdrdisc"
1286   data:
1287     "plot-throughput-speedup-analysis"
1288   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1289   parameters:
1290   - "throughput"
1291   - "parent"
1292   - "tags"
1293   layout:
1294     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1295     layout:
1296       "plot-throughput-speedup-analysis"
1297
1298 # IPv4 - 10ge2p1x520 - NDR
1299 -
1300   type: "plot"
1301   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1302   algorithm: "plot_throughput_speedup_analysis"
1303   output-file-type: ".html"
1304   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-ndrdisc"
1305   data:
1306     "plot-throughput-speedup-analysis"
1307   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1308   parameters:
1309   - "throughput"
1310   - "parent"
1311   - "tags"
1312   layout:
1313     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1314     layout:
1315       "plot-throughput-speedup-analysis"
1316
1317 # IPv4 - 40ge2p1xl710 - NDR
1318 -
1319   type: "plot"
1320   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1321   algorithm: "plot_throughput_speedup_analysis"
1322   output-file-type: ".html"
1323   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-ip4-tsa-ndrdisc"
1324   data:
1325     "plot-throughput-speedup-analysis"
1326   filter: "'NIC_Intel-XL710' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1327   parameters:
1328   - "throughput"
1329   - "parent"
1330   - "tags"
1331   layout:
1332     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1333     layout:
1334       "plot-throughput-speedup-analysis"
1335
1336 # IPv4 - 10ge2p1x520 - PDR
1337 -
1338   type: "plot"
1339   title: "TSA: 64B-*-ethip4-ip4(base|scale)*pdrdisc"
1340   algorithm: "plot_throughput_speedup_analysis"
1341   output-file-type: ".html"
1342   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-pdrdisc"
1343   data:
1344     "plot-throughput-speedup-analysis"
1345   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1346   parameters:
1347   - "throughput"
1348   - "parent"
1349   - "tags"
1350   layout:
1351     title: "64B-*-ethip4-ip4(base|scale)*pdrdisc"
1352     layout:
1353       "plot-throughput-speedup-analysis"
1354
1355 # IPv6 - 10ge2p1x520 - NDR
1356 -
1357   type: "plot"
1358   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1359   algorithm: "plot_throughput_speedup_analysis"
1360   output-file-type: ".html"
1361   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-ndrdisc"
1362   data:
1363     "plot-throughput-speedup-analysis"
1364   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1365   parameters:
1366   - "throughput"
1367   - "parent"
1368   - "tags"
1369   layout:
1370     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1371     layout:
1372       "plot-throughput-speedup-analysis"
1373
1374 # IPv6 - 40ge2p1xl710 - NDR
1375 -
1376   type: "plot"
1377   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1378   algorithm: "plot_throughput_speedup_analysis"
1379   output-file-type: ".html"
1380   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-78B-ip6-tsa-ndrdisc"
1381   data:
1382     "plot-throughput-speedup-analysis"
1383   filter: "'NIC_Intel-XL710' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1384   parameters:
1385   - "throughput"
1386   - "parent"
1387   - "tags"
1388   layout:
1389     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1390     layout:
1391       "plot-throughput-speedup-analysis"
1392
1393 # IPv6 - 10ge2p1x520 - PDR
1394 -
1395   type: "plot"
1396   title: "TSA: 78B-*-ethip6-ip6(base|scale)*pdrdisc"
1397   algorithm: "plot_throughput_speedup_analysis"
1398   output-file-type: ".html"
1399   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-pdrdisc"
1400   data:
1401     "plot-throughput-speedup-analysis"
1402   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST'"
1403   parameters:
1404   - "throughput"
1405   - "parent"
1406   - "tags"
1407   layout:
1408     title: "78B-*-ethip6-ip6(base|scale)*pdrdisc"
1409     layout:
1410       "plot-throughput-speedup-analysis"
1411
1412 # Plot packets per second
1413
1414 # VPP L2 sel1
1415 -
1416   type: "plot"
1417   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1418   algorithm: "plot_performance_box"
1419   output-file-type: ".html"
1420   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc"
1421   data:
1422     "plot-vpp-throughput-latency"
1423   # Keep this formatting, the filter is enclosed with " (quotation mark) and
1424   # each tag is enclosed with ' (apostrophe).
1425   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1426   parameters:
1427   - "throughput"
1428   - "parent"
1429   traces:
1430     hoverinfo: "x+y"
1431     boxpoints: "outliers"
1432     whiskerwidth: 0
1433   layout:
1434     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1435     layout:
1436       "plot-throughput"
1437
1438 -
1439   type: "plot"
1440   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1441   algorithm: "plot_performance_box"
1442   output-file-type: ".html"
1443   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc"
1444   data:
1445     "plot-vpp-throughput-latency"
1446   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1447   parameters:
1448   - "throughput"
1449   - "parent"
1450   traces:
1451     hoverinfo: "x+y"
1452     boxpoints: "outliers"
1453     whiskerwidth: 0
1454   layout:
1455     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1456     layout:
1457       "plot-throughput"
1458
1459 -
1460   type: "plot"
1461   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1462   algorithm: "plot_performance_box"
1463   output-file-type: ".html"
1464   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-pdrdisc"
1465   data:
1466     "plot-vpp-throughput-latency"
1467   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1468   parameters:
1469   - "throughput"
1470   - "parent"
1471   traces:
1472     hoverinfo: "x+y"
1473     boxpoints: "outliers"
1474     whiskerwidth: 0
1475   layout:
1476     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1477     layout:
1478       "plot-throughput"
1479
1480 -
1481   type: "plot"
1482   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1483   algorithm: "plot_performance_box"
1484   output-file-type: ".html"
1485   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-pdrdisc"
1486   data:
1487     "plot-vpp-throughput-latency"
1488   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1489   parameters:
1490   - "throughput"
1491   - "parent"
1492   traces:
1493     hoverinfo: "x+y"
1494     boxpoints: "outliers"
1495     whiskerwidth: 0
1496   layout:
1497     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1498     layout:
1499       "plot-throughput"
1500
1501 # VPP L2 sel2
1502 -
1503   type: "plot"
1504   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1505   algorithm: "plot_performance_box"
1506   output-file-type: ".html"
1507   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc"
1508   data:
1509     "plot-vpp-throughput-latency"
1510   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1511   parameters:
1512   - "throughput"
1513   - "parent"
1514   traces:
1515     hoverinfo: "x+y"
1516     boxpoints: "outliers"
1517     whiskerwidth: 0
1518   layout:
1519     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1520     layout:
1521       "plot-throughput"
1522
1523 -
1524   type: "plot"
1525   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1526   algorithm: "plot_performance_box"
1527   output-file-type: ".html"
1528   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc"
1529   data:
1530     "plot-vpp-throughput-latency"
1531   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1532   parameters:
1533   - "throughput"
1534   - "parent"
1535   traces:
1536     hoverinfo: "x+y"
1537     boxpoints: "outliers"
1538     whiskerwidth: 0
1539   layout:
1540     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1541     layout:
1542       "plot-throughput"
1543
1544 -
1545   type: "plot"
1546   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1547   algorithm: "plot_performance_box"
1548   output-file-type: ".html"
1549   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-pdrdisc"
1550   data:
1551     "plot-vpp-throughput-latency"
1552   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1553   parameters:
1554   - "throughput"
1555   - "parent"
1556   traces:
1557     hoverinfo: "x+y"
1558     boxpoints: "outliers"
1559     whiskerwidth: 0
1560   layout:
1561     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1562     layout:
1563       "plot-throughput"
1564
1565 -
1566   type: "plot"
1567   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1568   algorithm: "plot_performance_box"
1569   output-file-type: ".html"
1570   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-pdrdisc"
1571   data:
1572     "plot-vpp-throughput-latency"
1573   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1574   parameters:
1575   - "throughput"
1576   - "parent"
1577   traces:
1578     hoverinfo: "x+y"
1579     boxpoints: "outliers"
1580     whiskerwidth: 0
1581   layout:
1582     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1583     layout:
1584       "plot-throughput"
1585
1586 # VPP IP4
1587 -
1588   type: "plot"
1589   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1590   algorithm: "plot_performance_box"
1591   output-file-type: ".html"
1592   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc"
1593   data:
1594     "plot-vpp-throughput-latency"
1595   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1596   parameters:
1597   - "throughput"
1598   - "parent"
1599   traces:
1600     hoverinfo: "x+y"
1601     boxpoints: "outliers"
1602     whiskerwidth: 0
1603   layout:
1604     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1605     layout:
1606       "plot-throughput"
1607
1608 -
1609   type: "plot"
1610   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1611   algorithm: "plot_performance_box"
1612   output-file-type: ".html"
1613   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc"
1614   data:
1615     "plot-vpp-throughput-latency"
1616   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1617   parameters:
1618   - "throughput"
1619   - "parent"
1620   traces:
1621     hoverinfo: "x+y"
1622     boxpoints: "outliers"
1623     whiskerwidth: 0
1624   layout:
1625     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1626     layout:
1627       "plot-throughput"
1628
1629 -
1630   type: "plot"
1631   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1632   algorithm: "plot_performance_box"
1633   output-file-type: ".html"
1634   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-pdrdisc"
1635   data:
1636     "plot-vpp-throughput-latency"
1637   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1638   parameters:
1639   - "throughput"
1640   - "parent"
1641   traces:
1642     hoverinfo: "x+y"
1643     boxpoints: "outliers"
1644     whiskerwidth: 0
1645   layout:
1646     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1647     layout:
1648       "plot-throughput"
1649
1650 -
1651   type: "plot"
1652   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1653   algorithm: "plot_performance_box"
1654   output-file-type: ".html"
1655   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-pdrdisc"
1656   data:
1657     "plot-vpp-throughput-latency"
1658   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1659   parameters:
1660   - "throughput"
1661   - "parent"
1662   traces:
1663     hoverinfo: "x+y"
1664     boxpoints: "outliers"
1665     whiskerwidth: 0
1666   layout:
1667     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1668     layout:
1669       "plot-throughput"
1670
1671 # VPP IP6
1672 -
1673   type: "plot"
1674   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1675   algorithm: "plot_performance_box"
1676   output-file-type: ".html"
1677   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc"
1678   data:
1679     "plot-vpp-throughput-latency"
1680   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1681   parameters:
1682   - "throughput"
1683   - "parent"
1684   traces:
1685     hoverinfo: "x+y"
1686     boxpoints: "outliers"
1687     whiskerwidth: 0
1688   layout:
1689     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1690     layout:
1691       "plot-throughput"
1692
1693 -
1694   type: "plot"
1695   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1696   algorithm: "plot_performance_box"
1697   output-file-type: ".html"
1698   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc"
1699   data:
1700     "plot-vpp-throughput-latency"
1701   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1702   parameters:
1703   - "throughput"
1704   - "parent"
1705   traces:
1706     hoverinfo: "x+y"
1707     boxpoints: "outliers"
1708     whiskerwidth: 0
1709   layout:
1710     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1711     layout:
1712       "plot-throughput"
1713
1714 -
1715   type: "plot"
1716   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1717   algorithm: "plot_performance_box"
1718   output-file-type: ".html"
1719   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-pdrdisc"
1720   data:
1721     "plot-vpp-throughput-latency"
1722   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1723   parameters:
1724   - "throughput"
1725   - "parent"
1726   traces:
1727     hoverinfo: "x+y"
1728     boxpoints: "outliers"
1729     whiskerwidth: 0
1730   layout:
1731     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1732     layout:
1733       "plot-throughput"
1734
1735 -
1736   type: "plot"
1737   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1738   algorithm: "plot_performance_box"
1739   output-file-type: ".html"
1740   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-pdrdisc"
1741   data:
1742     "plot-vpp-throughput-latency"
1743   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1744   parameters:
1745   - "throughput"
1746   - "parent"
1747   traces:
1748     hoverinfo: "x+y"
1749     boxpoints: "outliers"
1750     whiskerwidth: 0
1751   layout:
1752     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1753     layout:
1754       "plot-throughput"
1755
1756 # VPP IP4_overlay
1757 -
1758   type: "plot"
1759   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1760   algorithm: "plot_performance_box"
1761   output-file-type: ".html"
1762   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc"
1763   data:
1764     "plot-vpp-throughput-latency"
1765   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1766   parameters:
1767   - "throughput"
1768   - "parent"
1769   traces:
1770     hoverinfo: "x+y"
1771     boxpoints: "outliers"
1772     whiskerwidth: 0
1773   layout:
1774     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1775     layout:
1776       "plot-throughput"
1777
1778 -
1779   type: "plot"
1780   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1781   algorithm: "plot_performance_box"
1782   output-file-type: ".html"
1783   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc"
1784   data:
1785     "plot-vpp-throughput-latency"
1786   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1787   parameters:
1788   - "throughput"
1789   - "parent"
1790   traces:
1791     hoverinfo: "x+y"
1792     boxpoints: "outliers"
1793     whiskerwidth: 0
1794   layout:
1795     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1796     layout:
1797       "plot-throughput"
1798
1799 -
1800   type: "plot"
1801   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1802   algorithm: "plot_performance_box"
1803   output-file-type: ".html"
1804   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-pdrdisc"
1805   data:
1806     "plot-vpp-throughput-latency"
1807   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1808   parameters:
1809   - "throughput"
1810   - "parent"
1811   traces:
1812     hoverinfo: "x+y"
1813     boxpoints: "outliers"
1814     whiskerwidth: 0
1815   layout:
1816     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1817     layout:
1818       "plot-throughput"
1819
1820 -
1821   type: "plot"
1822   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1823   algorithm: "plot_performance_box"
1824   output-file-type: ".html"
1825   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-pdrdisc"
1826   data:
1827     "plot-vpp-throughput-latency"
1828   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1829   parameters:
1830   - "throughput"
1831   - "parent"
1832   traces:
1833     hoverinfo: "x+y"
1834     boxpoints: "outliers"
1835     whiskerwidth: 0
1836   layout:
1837     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1838     layout:
1839       "plot-throughput"
1840
1841 # VPP IP6_overlay
1842 -
1843   type: "plot"
1844   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1845   algorithm: "plot_performance_box"
1846   output-file-type: ".html"
1847   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc"
1848   data:
1849     "plot-vpp-throughput-latency"
1850   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1851   parameters:
1852   - "throughput"
1853   - "parent"
1854   traces:
1855     hoverinfo: "x+y"
1856     boxpoints: "outliers"
1857     whiskerwidth: 0
1858   layout:
1859     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1860     xaxis:
1861       autorange: True
1862       autotick: False
1863       fixedrange: False
1864       gridcolor: "rgb(238, 238, 238)"
1865       linecolor: "rgb(238, 238, 238)"
1866       linewidth: 1
1867       showgrid: True
1868       showline: True
1869       showticklabels: True
1870       tickcolor: "rgb(238, 238, 238)"
1871       tickmode: "linear"
1872       title: "Indexed Test Cases"
1873       zeroline: False
1874     yaxis:
1875       gridcolor: "rgb(238, 238, 238)'"
1876       hoverformat: ".4s"
1877       linecolor: "rgb(238, 238, 238)"
1878       linewidth: 1
1879       range: [2000000, 6000000]
1880       showgrid: True
1881       showline: True
1882       showticklabels: True
1883       tickcolor: "rgb(238, 238, 238)"
1884       title: "Packets Per Second [pps]"
1885       zeroline: False
1886     boxmode: "group"
1887     boxgroupgap: 0.5
1888     autosize: False
1889     margin:
1890       t: 50
1891       b: 20
1892       l: 50
1893       r: 20
1894     showlegend: True
1895     legend:
1896       orientation: "h"
1897     width: 700
1898     height: 1000
1899
1900 -
1901   type: "plot"
1902   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1903   algorithm: "plot_performance_box"
1904   output-file-type: ".html"
1905   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc"
1906   data:
1907     "plot-vpp-throughput-latency"
1908   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1909   parameters:
1910   - "throughput"
1911   - "parent"
1912   traces:
1913     hoverinfo: "x+y"
1914     boxpoints: "outliers"
1915     whiskerwidth: 0
1916   layout:
1917     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1918     layout:
1919       "plot-throughput"
1920
1921 -
1922   type: "plot"
1923   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1924   algorithm: "plot_performance_box"
1925   output-file-type: ".html"
1926   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-pdrdisc"
1927   data:
1928     "plot-vpp-throughput-latency"
1929   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1930   parameters:
1931   - "throughput"
1932   - "parent"
1933   traces:
1934     hoverinfo: "x+y"
1935     boxpoints: "outliers"
1936     whiskerwidth: 0
1937   layout:
1938     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1939     layout:
1940       "plot-throughput"
1941
1942 -
1943   type: "plot"
1944   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1945   algorithm: "plot_performance_box"
1946   output-file-type: ".html"
1947   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-pdrdisc"
1948   data:
1949     "plot-vpp-throughput-latency"
1950   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1951   parameters:
1952   - "throughput"
1953   - "parent"
1954   traces:
1955     hoverinfo: "x+y"
1956     boxpoints: "outliers"
1957     whiskerwidth: 0
1958   layout:
1959     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1960     xaxis:
1961       autorange: True
1962       autotick: False
1963       fixedrange: False
1964       gridcolor: "rgb(238, 238, 238)"
1965       linecolor: "rgb(238, 238, 238)"
1966       linewidth: 1
1967       showgrid: True
1968       showline: True
1969       showticklabels: True
1970       tickcolor: "rgb(238, 238, 238)"
1971       tickmode: "linear"
1972       title: "Indexed Test Cases"
1973       zeroline: False
1974     yaxis:
1975       gridcolor: "rgb(238, 238, 238)'"
1976       hoverformat: ".4s"
1977       linecolor: "rgb(238, 238, 238)"
1978       linewidth: 1
1979       range: [4000000, 12000000]
1980       showgrid: True
1981       showline: True
1982       showticklabels: True
1983       tickcolor: "rgb(238, 238, 238)"
1984       title: "Packets Per Second [pps]"
1985       zeroline: False
1986     boxmode: "group"
1987     boxgroupgap: 0.5
1988     autosize: False
1989     margin:
1990       t: 50
1991       b: 20
1992       l: 50
1993       r: 20
1994     showlegend: True
1995     legend:
1996       orientation: "h"
1997     width: 700
1998     height: 1000
1999
2000 # VPP VM VHOST
2001 -
2002   type: "plot"
2003   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2004   algorithm: "plot_performance_box"
2005   output-file-type: ".html"
2006   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc"
2007   data:
2008     "plot-vpp-throughput-latency"
2009   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2010   parameters:
2011   - "throughput"
2012   - "parent"
2013   traces:
2014     hoverinfo: "x+y"
2015     boxpoints: "outliers"
2016     whiskerwidth: 0
2017   layout:
2018     title: "64B-1t1c-.*vhost.*-ndrdisc"
2019     xaxis:
2020       autorange: True
2021       autotick: False
2022       fixedrange: False
2023       gridcolor: "rgb(238, 238, 238)"
2024       linecolor: "rgb(238, 238, 238)"
2025       linewidth: 1
2026       showgrid: True
2027       showline: True
2028       showticklabels: True
2029       tickcolor: "rgb(238, 238, 238)"
2030       tickmode: "linear"
2031       title: "Indexed Test Cases"
2032       zeroline: False
2033     yaxis:
2034       gridcolor: "rgb(238, 238, 238)'"
2035       hoverformat: ".4s"
2036       linecolor: "rgb(238, 238, 238)"
2037       linewidth: 1
2038       range: [0, 3500000]
2039       showgrid: True
2040       showline: True
2041       showticklabels: True
2042       tickcolor: "rgb(238, 238, 238)"
2043       title: "Packets Per Second [pps]"
2044       zeroline: False
2045     boxmode: "group"
2046     boxgroupgap: 0.5
2047     autosize: False
2048     margin:
2049       t: 50
2050       b: 20
2051       l: 50
2052       r: 20
2053     showlegend: True
2054     legend:
2055       orientation: "h"
2056     width: 700
2057     height: 1000
2058
2059 -
2060   type: "plot"
2061   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2062   algorithm: "plot_performance_box"
2063   output-file-type: ".html"
2064   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc"
2065   data:
2066     "plot-vpp-throughput-latency"
2067   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2068   parameters:
2069   - "throughput"
2070   - "parent"
2071   traces:
2072     hoverinfo: "x+y"
2073     boxpoints: "outliers"
2074     whiskerwidth: 0
2075   layout:
2076     title: "64B-2t2c-.*vhost.*-ndrdisc"
2077     layout:
2078       "plot-throughput"
2079
2080 -
2081   type: "plot"
2082   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2083   algorithm: "plot_performance_box"
2084   output-file-type: ".html"
2085   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-pdrdisc"
2086   data:
2087     "plot-vpp-throughput-latency"
2088   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2089   parameters:
2090   - "throughput"
2091   - "parent"
2092   traces:
2093     hoverinfo: "x+y"
2094     boxpoints: "outliers"
2095     whiskerwidth: 0
2096   layout:
2097     title: "64B-1t1c-.*vhost.*-pdrdisc"
2098     layout:
2099       "plot-throughput"
2100
2101 -
2102   type: "plot"
2103   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2104   algorithm: "plot_performance_box"
2105   output-file-type: ".html"
2106   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-pdrdisc"
2107   data:
2108     "plot-vpp-throughput-latency"
2109   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2110   parameters:
2111   - "throughput"
2112   - "parent"
2113   traces:
2114     hoverinfo: "x+y"
2115     boxpoints: "outliers"
2116     whiskerwidth: 0
2117   layout:
2118     title: "64B-2t2c-.*vhost.*-pdrdisc"
2119     layout:
2120       "plot-throughput"
2121
2122 # VPP VM VHOST SELECTION
2123 -
2124   type: "plot"
2125   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2126   algorithm: "plot_performance_box"
2127   output-file-type: ".html"
2128   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc"
2129   data:
2130     "plot-vpp-throughput-latency"
2131   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2132   parameters:
2133   - "throughput"
2134   - "parent"
2135   traces:
2136     hoverinfo: "x+y"
2137     boxpoints: "outliers"
2138     whiskerwidth: 0
2139   layout:
2140     title: "64B-1t1c-.*vhost.*-ndrdisc"
2141     layout:
2142       "plot-throughput"
2143
2144 -
2145   type: "plot"
2146   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2147   algorithm: "plot_performance_box"
2148   output-file-type: ".html"
2149   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc"
2150   data:
2151     "plot-vpp-throughput-latency"
2152   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2153   parameters:
2154   - "throughput"
2155   - "parent"
2156   traces:
2157     hoverinfo: "x+y"
2158     boxpoints: "outliers"
2159     whiskerwidth: 0
2160   layout:
2161     title: "64B-2t2c-.*vhost.*-ndrdisc"
2162     layout:
2163       "plot-throughput"
2164
2165 -
2166   type: "plot"
2167   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2168   algorithm: "plot_performance_box"
2169   output-file-type: ".html"
2170   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-pdrdisc"
2171   data:
2172     "plot-vpp-throughput-latency"
2173   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2174   parameters:
2175   - "throughput"
2176   - "parent"
2177   traces:
2178     hoverinfo: "x+y"
2179     boxpoints: "outliers"
2180     whiskerwidth: 0
2181   layout:
2182     title: "64B-1t1c-.*vhost.*-pdrdisc"
2183     layout:
2184       "plot-throughput"
2185
2186 -
2187   type: "plot"
2188   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2189   algorithm: "plot_performance_box"
2190   output-file-type: ".html"
2191   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-pdrdisc"
2192   data:
2193     "plot-vpp-throughput-latency"
2194   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2195   parameters:
2196   - "throughput"
2197   - "parent"
2198   traces:
2199     hoverinfo: "x+y"
2200     boxpoints: "outliers"
2201     whiskerwidth: 0
2202   layout:
2203     title: "64B-2t2c-.*vhost.*-pdrdisc"
2204     layout:
2205       "plot-throughput"
2206
2207 # VPP CRYPTO
2208 -
2209   type: "plot"
2210   title: "VPP Performance 64B-1t1c-.*ipsec.*-ndrdisc"
2211   algorithm: "plot_performance_box"
2212   output-file-type: ".html"
2213   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc"
2214   data:
2215     "plot-vpp-throughput-latency"
2216   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2217   parameters:
2218   - "throughput"
2219   - "parent"
2220   traces:
2221     hoverinfo: "x+y"
2222     boxpoints: "outliers"
2223     whiskerwidth: 0
2224   layout:
2225     title: "64B-1t1c-.*ipsec.*-ndrdisc"
2226     layout:
2227       "plot-throughput"
2228
2229 -
2230   type: "plot"
2231   title: "VPP Performance 64B-2t2c-.*ipsec.*-ndrdisc"
2232   algorithm: "plot_performance_box"
2233   output-file-type: ".html"
2234   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc"
2235   data:
2236     "plot-vpp-throughput-latency"
2237   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2238   parameters:
2239   - "throughput"
2240   - "parent"
2241   traces:
2242     hoverinfo: "x+y"
2243     boxpoints: "outliers"
2244     whiskerwidth: 0
2245   layout:
2246     title: "64B-2t2c-.*ipsec.*-ndrdisc"
2247     layout:
2248       "plot-throughput"
2249
2250 -
2251   type: "plot"
2252   title: "VPP Performance 64B-1t1c-.*ipsec.*-pdrdisc"
2253   algorithm: "plot_performance_box"
2254   output-file-type: ".html"
2255   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-pdrdisc"
2256   data:
2257     "plot-vpp-throughput-latency"
2258   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2259   parameters:
2260   - "throughput"
2261   - "parent"
2262   traces:
2263     hoverinfo: "x+y"
2264     boxpoints: "outliers"
2265     whiskerwidth: 0
2266   layout:
2267     title: "64B-1t1c-.*ipsec.*-pdrdisc"
2268     layout:
2269       "plot-throughput"
2270
2271 -
2272   type: "plot"
2273   title: "VPP Performance 64B-2t2c-.*ipsec.*-pdrdisc"
2274   algorithm: "plot_performance_box"
2275   output-file-type: ".html"
2276   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-pdrdisc"
2277   data:
2278     "plot-vpp-throughput-latency"
2279   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2280   parameters:
2281   - "throughput"
2282   - "parent"
2283   traces:
2284     hoverinfo: "x+y"
2285     boxpoints: "outliers"
2286     whiskerwidth: 0
2287   layout:
2288     title: "64B-2t2c-.*ipsec.*-pdrdisc"
2289     layout:
2290       "plot-throughput"
2291
2292 # DPDK
2293 -
2294   type: "plot"
2295   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2296   algorithm: "plot_performance_box"
2297   output-file-type: ".html"
2298   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc"
2299   data:
2300     "plot-dpdk-throughput-latency"
2301   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2302   parameters:
2303   - "throughput"
2304   - "parent"
2305   traces:
2306     hoverinfo: "x+y"
2307     boxpoints: "outliers"
2308     whiskerwidth: 0
2309   layout:
2310     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2311     layout:
2312       "plot-throughput"
2313
2314 -
2315   type: "plot"
2316   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2317   algorithm: "plot_performance_box"
2318   output-file-type: ".html"
2319   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc"
2320   data:
2321     "plot-dpdk-throughput-latency"
2322   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2323   parameters:
2324   - "throughput"
2325   - "parent"
2326   traces:
2327     hoverinfo: "x+y"
2328     boxpoints: "outliers"
2329     whiskerwidth: 0
2330   layout:
2331     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2332     layout:
2333       "plot-throughput"
2334
2335 -
2336   type: "plot"
2337   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2338   algorithm: "plot_performance_box"
2339   output-file-type: ".html"
2340   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc"
2341   data:
2342     "plot-dpdk-throughput-latency"
2343   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
2344   parameters:
2345   - "throughput"
2346   - "parent"
2347   traces:
2348     hoverinfo: "x+y"
2349     boxpoints: "outliers"
2350     whiskerwidth: 0
2351   layout:
2352     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2353     xaxis:
2354       autorange: True
2355       autotick: False
2356       fixedrange: False
2357       gridcolor: "rgb(238, 238, 238)"
2358       linecolor: "rgb(238, 238, 238)"
2359       linewidth: 1
2360       showgrid: True
2361       showline: True
2362       showticklabels: True
2363       tickcolor: "rgb(238, 238, 238)"
2364       tickmode: "linear"
2365       title: "Indexed Test Cases"
2366       zeroline: False
2367     yaxis:
2368       gridcolor: "rgb(238, 238, 238)'"
2369       hoverformat: ".4s"
2370       linecolor: "rgb(238, 238, 238)"
2371       linewidth: 1
2372       range: [2000000, 12000000]
2373       showgrid: True
2374       showline: True
2375       showticklabels: True
2376       tickcolor: "rgb(238, 238, 238)"
2377       title: "Packets Per Second [pps]"
2378       zeroline: False
2379     boxmode: "group"
2380     boxgroupgap: 0.5
2381     autosize: False
2382     margin:
2383       t: 50
2384       b: 20
2385       l: 50
2386       r: 20
2387     showlegend: True
2388     legend:
2389       orientation: "h"
2390     width: 700
2391     height: 1000
2392
2393 -
2394   type: "plot"
2395   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2396   algorithm: "plot_performance_box"
2397   output-file-type: ".html"
2398   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc"
2399   data:
2400     "plot-dpdk-throughput-latency"
2401   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
2402   parameters:
2403   - "throughput"
2404   - "parent"
2405   traces:
2406     hoverinfo: "x+y"
2407     boxpoints: "outliers"
2408     whiskerwidth: 0
2409   layout:
2410     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2411     xaxis:
2412       autorange: True
2413       autotick: False
2414       fixedrange: False
2415       gridcolor: "rgb(238, 238, 238)"
2416       linecolor: "rgb(238, 238, 238)"
2417       linewidth: 1
2418       showgrid: True
2419       showline: True
2420       showticklabels: True
2421       tickcolor: "rgb(238, 238, 238)"
2422       tickmode: "linear"
2423       title: "Indexed Test Cases"
2424       zeroline: False
2425     yaxis:
2426       gridcolor: "rgb(238, 238, 238)'"
2427       hoverformat: ".4s"
2428       linecolor: "rgb(238, 238, 238)"
2429       linewidth: 1
2430       range: [2000000, 12000000]
2431       showgrid: True
2432       showline: True
2433       showticklabels: True
2434       tickcolor: "rgb(238, 238, 238)"
2435       title: "Packets Per Second [pps]"
2436       zeroline: False
2437     boxmode: "group"
2438     boxgroupgap: 0.5
2439     autosize: False
2440     margin:
2441       t: 50
2442       b: 20
2443       l: 50
2444       r: 20
2445     showlegend: True
2446     legend:
2447       orientation: "h"
2448     width: 700
2449     height: 1000
2450
2451 -
2452   type: "plot"
2453   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2454   algorithm: "plot_performance_box"
2455   output-file-type: ".html"
2456   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-pdrdisc"
2457   data:
2458     "plot-dpdk-throughput-latency"
2459   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2460   parameters:
2461   - "throughput"
2462   - "parent"
2463   traces:
2464     hoverinfo: "x+y"
2465     boxpoints: "outliers"
2466     whiskerwidth: 0
2467   layout:
2468     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2469     layout:
2470       "plot-throughput"
2471
2472 -
2473   type: "plot"
2474   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2475   algorithm: "plot_performance_box"
2476   output-file-type: ".html"
2477   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-pdrdisc"
2478   data:
2479     "plot-dpdk-throughput-latency"
2480   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2481   parameters:
2482   - "throughput"
2483   - "parent"
2484   traces:
2485     hoverinfo: "x+y"
2486     boxpoints: "outliers"
2487     whiskerwidth: 0
2488   layout:
2489     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2490     layout:
2491       "plot-throughput"
2492
2493 -
2494   type: "plot"
2495   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
2496   algorithm: "plot_performance_box"
2497   output-file-type: ".html"
2498   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-pdrdisc"
2499   data:
2500     "plot-dpdk-throughput-latency"
2501   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD'"
2502   parameters:
2503   - "throughput"
2504   - "parent"
2505   traces:
2506     hoverinfo: "x+y"
2507     boxpoints: "outliers"
2508     whiskerwidth: 0
2509   layout:
2510     title: "64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
2511     xaxis:
2512       autorange: True
2513       autotick: False
2514       fixedrange: False
2515       gridcolor: "rgb(238, 238, 238)"
2516       linecolor: "rgb(238, 238, 238)"
2517       linewidth: 1
2518       showgrid: True
2519       showline: True
2520       showticklabels: True
2521       tickcolor: "rgb(238, 238, 238)"
2522       tickmode: "linear"
2523       title: "Indexed Test Cases"
2524       zeroline: False
2525     yaxis:
2526       gridcolor: "rgb(238, 238, 238)'"
2527       hoverformat: ".4s"
2528       linecolor: "rgb(238, 238, 238)"
2529       linewidth: 1
2530       range: [20000000, 30000000]
2531       showgrid: True
2532       showline: True
2533       showticklabels: True
2534       tickcolor: "rgb(238, 238, 238)"
2535       title: "Packets Per Second [pps]"
2536       zeroline: False
2537     boxmode: "group"
2538     boxgroupgap: 0.5
2539     autosize: False
2540     margin:
2541       t: 50
2542       b: 20
2543       l: 50
2544       r: 20
2545     showlegend: True
2546     legend:
2547       orientation: "h"
2548     width: 700
2549     height: 1000
2550
2551 -
2552   type: "plot"
2553   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
2554   algorithm: "plot_performance_box"
2555   output-file-type: ".html"
2556   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-pdrdisc"
2557   data:
2558     "plot-dpdk-throughput-latency"
2559   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD'"
2560   parameters:
2561   - "throughput"
2562   - "parent"
2563   traces:
2564     hoverinfo: "x+y"
2565     boxpoints: "outliers"
2566     whiskerwidth: 0
2567   layout:
2568     title: "64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
2569     xaxis:
2570       autorange: True
2571       autotick: False
2572       fixedrange: False
2573       gridcolor: "rgb(238, 238, 238)"
2574       linecolor: "rgb(238, 238, 238)"
2575       linewidth: 1
2576       showgrid: True
2577       showline: True
2578       showticklabels: True
2579       tickcolor: "rgb(238, 238, 238)"
2580       tickmode: "linear"
2581       title: "Indexed Test Cases"
2582       zeroline: False
2583     yaxis:
2584       gridcolor: "rgb(238, 238, 238)'"
2585       hoverformat: ".4s"
2586       linecolor: "rgb(238, 238, 238)"
2587       linewidth: 1
2588       range: [20000000, 30000000]
2589       showgrid: True
2590       showline: True
2591       showticklabels: True
2592       tickcolor: "rgb(238, 238, 238)"
2593       title: "Packets Per Second [pps]"
2594       zeroline: False
2595     boxmode: "group"
2596     boxgroupgap: 0.5
2597     autosize: False
2598     margin:
2599       t: 50
2600       b: 20
2601       l: 50
2602       r: 20
2603     showlegend: True
2604     legend:
2605       orientation: "h"
2606     width: 700
2607     height: 1000
2608
2609 # Plot latency
2610
2611 # VPP L2 sel1
2612 -
2613   type: "plot"
2614   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2615   algorithm: "plot_latency_box"
2616   output-file-type: ".html"
2617   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc-lat50"
2618   data:
2619     "plot-vpp-throughput-latency"
2620   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2621   parameters:
2622   - "latency"
2623   - "parent"
2624   traces:
2625     boxmean: False
2626   layout:
2627     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2628     layout:
2629       "plot-latency"
2630
2631 -
2632   type: "plot"
2633   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2634   algorithm: "plot_latency_box"
2635   output-file-type: ".html"
2636   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc-lat50"
2637   data:
2638     "plot-vpp-throughput-latency"
2639   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2640   parameters:
2641   - "latency"
2642   - "parent"
2643   traces:
2644     boxmean: False
2645   layout:
2646     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2647     layout:
2648       "plot-latency"
2649
2650 # VPP L2 sel2
2651 -
2652   type: "plot"
2653   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2654   algorithm: "plot_latency_box"
2655   output-file-type: ".html"
2656   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc-lat50"
2657   data:
2658     "plot-vpp-throughput-latency"
2659   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2660   parameters:
2661   - "latency"
2662   - "parent"
2663   traces:
2664     boxmean: False
2665   layout:
2666     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2667     layout:
2668       "plot-latency"
2669
2670 -
2671   type: "plot"
2672   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2673   algorithm: "plot_latency_box"
2674   output-file-type: ".html"
2675   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc-lat50"
2676   data:
2677     "plot-vpp-throughput-latency"
2678   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2679   parameters:
2680   - "latency"
2681   - "parent"
2682   traces:
2683     boxmean: False
2684   layout:
2685     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2686     layout:
2687       "plot-latency"
2688
2689 # VPP IP4
2690 -
2691   type: "plot"
2692   title: "VPP Latency 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2693   algorithm: "plot_latency_box"
2694   output-file-type: ".html"
2695   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc-lat50"
2696   data:
2697     "plot-vpp-throughput-latency"
2698   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
2699   parameters:
2700   - "latency"
2701   - "parent"
2702   traces:
2703     boxmean: False
2704   layout:
2705     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2706     layout:
2707       "plot-latency"
2708
2709 -
2710   type: "plot"
2711   title: "VPP Latency 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2712   algorithm: "plot_latency_box"
2713   output-file-type: ".html"
2714   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc-lat50"
2715   data:
2716     "plot-vpp-throughput-latency"
2717   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
2718   parameters:
2719   - "latency"
2720   - "parent"
2721   traces:
2722     boxmean: False
2723   layout:
2724     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2725     layout:
2726       "plot-latency"
2727
2728 # VPP IP6
2729 -
2730   type: "plot"
2731   title: "VPP Latency 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2732   algorithm: "plot_latency_box"
2733   output-file-type: ".html"
2734   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc-lat50"
2735   data:
2736     "plot-vpp-throughput-latency"
2737   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2738   parameters:
2739   - "latency"
2740   - "parent"
2741   traces:
2742     boxmean: False
2743   layout:
2744     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2745     layout:
2746       "plot-latency"
2747
2748 -
2749   type: "plot"
2750   title: "VPP Latency 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2751   algorithm: "plot_latency_box"
2752   output-file-type: ".html"
2753   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc-lat50"
2754   data:
2755     "plot-vpp-throughput-latency"
2756   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2757   parameters:
2758   - "latency"
2759   - "parent"
2760   traces:
2761     boxmean: False
2762   layout:
2763     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2764     layout:
2765       "plot-latency"
2766
2767 # VPP IP4_overlay
2768 -
2769   type: "plot"
2770   title: "VPP Latency 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2771   algorithm: "plot_latency_box"
2772   output-file-type: ".html"
2773   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc-lat50"
2774   data:
2775     "plot-vpp-throughput-latency"
2776   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2777   parameters:
2778   - "latency"
2779   - "parent"
2780   traces:
2781     boxmean: False
2782   layout:
2783     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2784     layout:
2785       "plot-latency"
2786
2787 -
2788   type: "plot"
2789   title: "VPP Latency 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2790   algorithm: "plot_latency_box"
2791   output-file-type: ".html"
2792   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc-lat50"
2793   data:
2794     "plot-vpp-throughput-latency"
2795   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2796   parameters:
2797   - "latency"
2798   - "parent"
2799   traces:
2800     boxmean: False
2801   layout:
2802     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2803     layout:
2804       "plot-latency"
2805
2806 # VPP IP6_overlay
2807 -
2808   type: "plot"
2809   title: "VPP Latency 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2810   algorithm: "plot_latency_box"
2811   output-file-type: ".html"
2812   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc-lat50"
2813   data:
2814     "plot-vpp-throughput-latency"
2815   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2816   parameters:
2817   - "latency"
2818   - "parent"
2819   traces:
2820     boxmean: False
2821   layout:
2822     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2823     layout:
2824       "plot-latency"
2825
2826 -
2827   type: "plot"
2828   title: "VPP Latency 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2829   algorithm: "plot_latency_box"
2830   output-file-type: ".html"
2831   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc-lat50"
2832   data:
2833     "plot-vpp-throughput-latency"
2834   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2835   parameters:
2836   - "latency"
2837   - "parent"
2838   traces:
2839     boxmean: False
2840   layout:
2841     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2842     layout:
2843       "plot-latency"
2844
2845 # VPP VM VHOST
2846 -
2847   type: "plot"
2848   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
2849   algorithm: "plot_latency_box"
2850   output-file-type: ".html"
2851   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc-lat50"
2852   data:
2853     "plot-vpp-throughput-latency"
2854   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2855   parameters:
2856   - "latency"
2857   - "parent"
2858   traces:
2859     boxmean: False
2860   layout:
2861     title: "64B-1t1c-.*vhost.*-ndrdisc"
2862     layout:
2863       "plot-latency"
2864
2865 -
2866   type: "plot"
2867   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
2868   algorithm: "plot_latency_box"
2869   output-file-type: ".html"
2870   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc-lat50"
2871   data:
2872     "plot-vpp-throughput-latency"
2873   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2874   parameters:
2875   - "latency"
2876   - "parent"
2877   traces:
2878     boxmean: False
2879   layout:
2880     title: "64B-2t2c-.*vhost.*-ndrdisc"
2881     layout:
2882       "plot-latency"
2883
2884 # VPP VM VHOST selection
2885 -
2886   type: "plot"
2887   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
2888   algorithm: "plot_latency_box"
2889   output-file-type: ".html"
2890   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc-lat50"
2891   data:
2892     "plot-vpp-throughput-latency"
2893   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2894   parameters:
2895   - "latency"
2896   - "parent"
2897   traces:
2898     boxmean: False
2899   layout:
2900     title: "64B-1t1c-.*vhost.*-ndrdisc"
2901     layout:
2902       "plot-latency"
2903
2904 -
2905   type: "plot"
2906   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
2907   algorithm: "plot_latency_box"
2908   output-file-type: ".html"
2909   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc-lat50"
2910   data:
2911     "plot-vpp-throughput-latency"
2912   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2913   parameters:
2914   - "latency"
2915   - "parent"
2916   traces:
2917     boxmean: False
2918   layout:
2919     title: "64B-2t2c-.*vhost.*-ndrdisc"
2920     layout:
2921       "plot-latency"
2922
2923 # VPP CRYPTO
2924 -
2925   type: "plot"
2926   title: "VPP Latency 64B-1t1c-.*ipsec.*-ndrdisc"
2927   algorithm: "plot_latency_box"
2928   output-file-type: ".html"
2929   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc-lat50"
2930   data:
2931     "plot-vpp-throughput-latency"
2932   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2933   parameters:
2934   - "latency"
2935   - "parent"
2936   traces:
2937     boxmean: False
2938   layout:
2939     title: "64B-1t1c-.*ipsec.*-ndrdisc"
2940     layout:
2941       "plot-latency"
2942
2943 -
2944   type: "plot"
2945   title: "VPP Latency 64B-2t2c-.*ipsec.*-ndrdisc"
2946   algorithm: "plot_latency_box"
2947   output-file-type: ".html"
2948   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc-lat50"
2949   data:
2950     "plot-vpp-throughput-latency"
2951   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2952   parameters:
2953   - "latency"
2954   - "parent"
2955   traces:
2956     boxmean: False
2957   layout:
2958     title: "64B-2t2c-.*ipsec.*-ndrdisc"
2959     layout:
2960       "plot-latency"
2961
2962 # DPDK
2963 -
2964   type: "plot"
2965   title: "DPDK Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2966   algorithm: "plot_latency_box"
2967   output-file-type: ".html"
2968   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc-lat50"
2969   data:
2970     "plot-dpdk-throughput-latency"
2971   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2972   parameters:
2973   - "latency"
2974   - "parent"
2975   traces:
2976     boxmean: False
2977   layout:
2978     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2979     layout:
2980       "plot-latency"
2981
2982 -
2983   type: "plot"
2984   title: "DPDK Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2985   algorithm: "plot_latency_box"
2986   output-file-type: ".html"
2987   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc-lat50"
2988   data:
2989     "plot-dpdk-throughput-latency"
2990   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2991   parameters:
2992   - "latency"
2993   - "parent"
2994   traces:
2995     boxmean: False
2996   layout:
2997     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2998     layout:
2999       "plot-latency"
3000
3001 -
3002   type: "plot"
3003   title: "DPDK Latency 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3004   algorithm: "plot_latency_box"
3005   output-file-type: ".html"
3006   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc-lat50"
3007   data:
3008     "plot-dpdk-throughput-latency"
3009   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
3010   parameters:
3011   - "latency"
3012   - "parent"
3013   traces:
3014     boxmean: False
3015   layout:
3016     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3017     layout:
3018       "plot-latency"
3019
3020 -
3021   type: "plot"
3022   title: "DPDK Latency 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3023   algorithm: "plot_latency_box"
3024   output-file-type: ".html"
3025   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc-lat50"
3026   data:
3027     "plot-dpdk-throughput-latency"
3028   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
3029   parameters:
3030   - "latency"
3031   - "parent"
3032   traces:
3033     boxmean: False
3034   layout:
3035     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3036     layout:
3037       "plot-latency"
3038
3039 # Ligato - Throughput
3040
3041 # Container memif
3042 -
3043   type: "plot"
3044   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3045   algorithm: "plot_performance_box"
3046   output-file-type: ".html"
3047   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc"
3048   data:
3049     "plot-vpp-throughput-latency"
3050   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3051   parameters:
3052   - "throughput"
3053   - "parent"
3054   traces:
3055     hoverinfo: "x+y"
3056     boxpoints: "outliers"
3057     whiskerwidth: 0
3058   layout:
3059     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3060     xaxis:
3061       autorange: True
3062       autotick: False
3063       fixedrange: False
3064       gridcolor: "rgb(238, 238, 238)"
3065       linecolor: "rgb(238, 238, 238)"
3066       linewidth: 1
3067       showgrid: True
3068       showline: True
3069       showticklabels: True
3070       tickcolor: "rgb(238, 238, 238)"
3071       tickmode: "linear"
3072       title: "Indexed Test Cases"
3073       zeroline: False
3074     yaxis:
3075       gridcolor: "rgb(238, 238, 238)'"
3076       hoverformat: ".4s"
3077       linecolor: "rgb(238, 238, 238)"
3078       linewidth: 1
3079       range: [0, 4500000]
3080       showgrid: True
3081       showline: True
3082       showticklabels: True
3083       tickcolor: "rgb(238, 238, 238)"
3084       title: "Packets Per Second [pps]"
3085       zeroline: False
3086     boxmode: "group"
3087     boxgroupgap: 0.5
3088     autosize: False
3089     margin:
3090       t: 50
3091       b: 20
3092       l: 50
3093       r: 20
3094     showlegend: True
3095     legend:
3096       orientation: "h"
3097     width: 700
3098     height: 1000
3099
3100 -
3101   type: "plot"
3102   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3103   algorithm: "plot_performance_box"
3104   output-file-type: ".html"
3105   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc"
3106   data:
3107     "plot-vpp-throughput-latency"
3108   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3109   parameters:
3110   - "throughput"
3111   - "parent"
3112   traces:
3113     hoverinfo: "x+y"
3114     boxpoints: "outliers"
3115     whiskerwidth: 0
3116   layout:
3117     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3118     xaxis:
3119       autorange: True
3120       autotick: False
3121       fixedrange: False
3122       gridcolor: "rgb(238, 238, 238)"
3123       linecolor: "rgb(238, 238, 238)"
3124       linewidth: 1
3125       showgrid: True
3126       showline: True
3127       showticklabels: True
3128       tickcolor: "rgb(238, 238, 238)"
3129       tickmode: "linear"
3130       title: "Indexed Test Cases"
3131       zeroline: False
3132     yaxis:
3133       gridcolor: "rgb(238, 238, 238)'"
3134       hoverformat: ".4s"
3135       linecolor: "rgb(238, 238, 238)"
3136       linewidth: 1
3137       range: [0, 8000000]
3138       showgrid: True
3139       showline: True
3140       showticklabels: True
3141       tickcolor: "rgb(238, 238, 238)"
3142       title: "Packets Per Second [pps]"
3143       zeroline: False
3144     boxmode: "group"
3145     boxgroupgap: 0.5
3146     autosize: False
3147     margin:
3148       t: 50
3149       b: 20
3150       l: 50
3151       r: 20
3152     showlegend: True
3153     legend:
3154       orientation: "h"
3155     width: 700
3156     height: 1000
3157
3158 -
3159   type: "plot"
3160   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3161   algorithm: "plot_performance_box"
3162   output-file-type: ".html"
3163   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-pdrdisc"
3164   data:
3165     "plot-vpp-throughput-latency"
3166   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3167   parameters:
3168   - "throughput"
3169   - "parent"
3170   traces:
3171     hoverinfo: "x+y"
3172     boxpoints: "outliers"
3173     whiskerwidth: 0
3174   layout:
3175     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3176     xaxis:
3177       autorange: True
3178       autotick: False
3179       fixedrange: False
3180       gridcolor: "rgb(238, 238, 238)"
3181       linecolor: "rgb(238, 238, 238)"
3182       linewidth: 1
3183       showgrid: True
3184       showline: True
3185       showticklabels: True
3186       tickcolor: "rgb(238, 238, 238)"
3187       tickmode: "linear"
3188       title: "Indexed Test Cases"
3189       zeroline: False
3190     yaxis:
3191       gridcolor: "rgb(238, 238, 238)'"
3192       hoverformat: ".4s"
3193       linecolor: "rgb(238, 238, 238)"
3194       linewidth: 1
3195       range: [0, 4500000]
3196       showgrid: True
3197       showline: True
3198       showticklabels: True
3199       tickcolor: "rgb(238, 238, 238)"
3200       title: "Packets Per Second [pps]"
3201       zeroline: False
3202     boxmode: "group"
3203     boxgroupgap: 0.5
3204     autosize: False
3205     margin:
3206       t: 50
3207       b: 20
3208       l: 50
3209       r: 20
3210     showlegend: True
3211     legend:
3212       orientation: "h"
3213     width: 700
3214     height: 1000
3215
3216 -
3217   type: "plot"
3218   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3219   algorithm: "plot_performance_box"
3220   output-file-type: ".html"
3221   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-pdrdisc"
3222   data:
3223     "plot-vpp-throughput-latency"
3224   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3225   parameters:
3226   - "throughput"
3227   - "parent"
3228   traces:
3229     hoverinfo: "x+y"
3230     boxpoints: "outliers"
3231     whiskerwidth: 0
3232   layout:
3233     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3234     xaxis:
3235       autorange: True
3236       autotick: False
3237       fixedrange: False
3238       gridcolor: "rgb(238, 238, 238)"
3239       linecolor: "rgb(238, 238, 238)"
3240       linewidth: 1
3241       showgrid: True
3242       showline: True
3243       showticklabels: True
3244       tickcolor: "rgb(238, 238, 238)"
3245       tickmode: "linear"
3246       title: "Indexed Test Cases"
3247       zeroline: False
3248     yaxis:
3249       gridcolor: "rgb(238, 238, 238)'"
3250       hoverformat: ".4s"
3251       linecolor: "rgb(238, 238, 238)"
3252       linewidth: 1
3253       range: [0, 8000000]
3254       showgrid: True
3255       showline: True
3256       showticklabels: True
3257       tickcolor: "rgb(238, 238, 238)"
3258       title: "Packets Per Second [pps]"
3259       zeroline: False
3260     boxmode: "group"
3261     boxgroupgap: 0.5
3262     autosize: False
3263     margin:
3264       t: 50
3265       b: 20
3266       l: 50
3267       r: 20
3268     showlegend: True
3269     legend:
3270       orientation: "h"
3271     width: 700
3272     height: 1000
3273
3274 # Container orchestrated
3275 -
3276   type: "plot"
3277   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3278   algorithm: "plot_performance_box"
3279   output-file-type: ".html"
3280   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc"
3281   data:
3282     "plot-ligato-throughput-latency"
3283   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3284   parameters:
3285   - "throughput"
3286   - "parent"
3287   traces:
3288     hoverinfo: "x+y"
3289     boxpoints: "outliers"
3290     whiskerwidth: 0
3291   layout:
3292     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3293     layout:
3294       "plot-throughput"
3295
3296 -
3297   type: "plot"
3298   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3299   algorithm: "plot_performance_box"
3300   output-file-type: ".html"
3301   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc"
3302   data:
3303     "plot-ligato-throughput-latency"
3304   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3305   parameters:
3306   - "throughput"
3307   - "parent"
3308   traces:
3309     hoverinfo: "x+y"
3310     boxpoints: "outliers"
3311     whiskerwidth: 0
3312   layout:
3313     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3314     layout:
3315       "plot-throughput"
3316
3317 -
3318   type: "plot"
3319   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3320   algorithm: "plot_performance_box"
3321   output-file-type: ".html"
3322   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-pdrdisc"
3323   data:
3324     "plot-ligato-throughput-latency"
3325   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3326   parameters:
3327   - "throughput"
3328   - "parent"
3329   traces:
3330     hoverinfo: "x+y"
3331     boxpoints: "outliers"
3332     whiskerwidth: 0
3333   layout:
3334     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3335     layout:
3336       "plot-throughput"
3337
3338 -
3339   type: "plot"
3340   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3341   algorithm: "plot_performance_box"
3342   output-file-type: ".html"
3343   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-pdrdisc"
3344   data:
3345     "plot-ligato-throughput-latency"
3346   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3347   parameters:
3348   - "throughput"
3349   - "parent"
3350   traces:
3351     hoverinfo: "x+y"
3352     boxpoints: "outliers"
3353     whiskerwidth: 0
3354   layout:
3355     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3356     layout:
3357       "plot-throughput"
3358
3359 # Ligato - Latency
3360
3361 # Container memif
3362 -
3363   type: "plot"
3364   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3365   algorithm: "plot_latency_box"
3366   output-file-type: ".html"
3367   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc-lat50"
3368   data:
3369     "plot-vpp-throughput-latency"
3370   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3371   parameters:
3372   - "latency"
3373   - "parent"
3374   traces:
3375     boxmean: False
3376   layout:
3377     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3378     layout:
3379       "plot-latency"
3380
3381 -
3382   type: "plot"
3383   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3384   algorithm: "plot_latency_box"
3385   output-file-type: ".html"
3386   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc-lat50"
3387   data:
3388     "plot-vpp-throughput-latency"
3389   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3390   parameters:
3391   - "latency"
3392   - "parent"
3393   traces:
3394     boxmean: False
3395   layout:
3396     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3397     layout:
3398       "plot-latency"
3399
3400 # Container orchestrated
3401 -
3402   type: "plot"
3403   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3404   algorithm: "plot_latency_box"
3405   output-file-type: ".html"
3406   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc-lat50"
3407   data:
3408     "plot-ligato-throughput-latency"
3409   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3410   parameters:
3411   - "latency"
3412   - "parent"
3413   traces:
3414     boxmean: False
3415   layout:
3416     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3417     layout:
3418       "plot-latency"
3419
3420 -
3421   type: "plot"
3422   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3423   algorithm: "plot_latency_box"
3424   output-file-type: ".html"
3425   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc-lat50"
3426   data:
3427     "plot-ligato-throughput-latency"
3428   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3429   parameters:
3430   - "latency"
3431   - "parent"
3432   traces:
3433     boxmean: False
3434   layout:
3435     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3436     layout:
3437       "plot-latency"