resources/tools/presentation/specification.yaml

   1 -
   2   type: "environment"
   3   configuration:
   4     # Debug mode:
   5     # - Skip:
   6     #   - Download of input data files
   7     # - Do:
   8     #   - Read data from given zip / xml files
   9     #   - Set the configuration as it is done in normal mode
  10     # If the section "type: debug" is missing, CFG[DEBUG] is set to 0.
  11     CFG[DEBUG]: 0
  12
  13   paths:
  14     # Top level directories:
  15     ## Working directory
  16     DIR[WORKING]: "_tmp"
  17     ## Build directories
  18     DIR[BUILD,HTML]: "_build"
  19     DIR[BUILD,LATEX]: "_build_latex"
  20
  21     # Static .rst files
  22     DIR[RST]: "../../../docs/report"
  23
  24     # Working directories
  25     ## Input data files (.zip, .xml)
  26     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
  27     ## Static source files from git
  28     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
  29     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
  30
  31     # Static html content
  32     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
  33     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
  34     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
  35     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
  36
  37     # Detailed test results
  38     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
  39     DIR[DTR,PERF,DPDK]: "{DIR[DTR]}/dpdk_performance_results"
  40     DIR[DTR,PERF,VPP]: "{DIR[DTR]}/vpp_performance_results"
  41     DIR[DTR,PERF,COT]: "{DIR[DTR]}/cot_performance_results"
  42     DIR[DTR,PERF,HC]: "{DIR[DTR]}/honeycomb_performance_results"
  43     DIR[DTR,FUNC,VPP]: "{DIR[DTR]}/vpp_functional_results"
  44     DIR[DTR,FUNC,HC]: "{DIR[DTR]}/honeycomb_functional_results"
  45     DIR[DTR,FUNC,NSHSFC]: "{DIR[DTR]}/nshsfc_functional_results"
  46     DIR[DTR,PERF,VPP,IMPRV]: "{DIR[WORKING,SRC]}/vpp_performance_tests/performance_improvements"
  47
  48     # Detailed test configurations
  49     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
  50     DIR[DTC,PERF,VPP]: "{DIR[DTC]}/vpp_performance_configuration"
  51     DIR[DTC,FUNC,VPP]: "{DIR[DTC]}/vpp_functional_configuration"
  52
  53     # Detailed tests operational data
  54     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
  55     DIR[DTO,PERF,VPP]: "{DIR[DTO]}/vpp_performance_operational_data"
  56
  57     # .css patch file to fix tables generated by Sphinx
  58     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
  59     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
  60
  61   urls:
  62     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
  63     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
  64     URL[NEXUS]: "https://docs.fd.io/csit"
  65     DIR[NEXUS]: "report/_static/archive"
  66
  67   make-dirs:
  68   # List the directories which are created while preparing the environment.
  69   # All directories MUST be defined in "paths" section.
  70   - "DIR[WORKING,DATA]"
  71   - "DIR[STATIC,VPP]"
  72   - "DIR[STATIC,DPDK]"
  73   - "DIR[STATIC,ARCH]"
  74   - "DIR[BUILD,LATEX]"
  75   - "DIR[WORKING,SRC]"
  76   - "DIR[WORKING,SRC,STATIC]"
  77
  78   remove-dirs:
  79   # List the directories which are deleted while cleaning the environment.
  80   # All directories MUST be defined in "paths" section.
  81   #- "DIR[BUILD,HTML]"
  82
  83   build-dirs:
  84   # List the directories where the results (build) is stored.
  85   # All directories MUST be defined in "paths" section.
  86   - "DIR[BUILD,HTML]"
  87   - "DIR[BUILD,LATEX]"
  88
  89 -
  90   type: "configuration"
  91   data-sets:
  92 # TODO: Add the data sources
  93     plot-vpp-http-server-performance:
  94       csit-vpp-perf-1801-all:
  95       - 157
  96       - 158
  97       - 159
  98       - 160
  99       - 161
 100       - 164
 101       - 165
 102       - 166
 103       - 168
 104       - 169
 105       - 170
 106 # TODO: Add the data sources
 107 #    vpp-meltdown-impact:
 108 #      csit-vpp-perf-1707-all:
 109 #      - 9
 110 #      - 10
 111 #      - 13
 112 #      csit-vpp-perf-1710-all:
 113 #      - 11l
 114 #      - 12
 115 #      - 13
 116 # TODO: Add the data sources
 117 #    vpp-spectre-impact:
 118 #      csit-vpp-perf-1707-all:
 119 #      - 9
 120 #      - 10
 121 #      - 13
 122 #      csit-vpp-perf-1710-all:
 123 #      - 11
 124 #      - 12
 125 #      - 13
 126     vpp-performance-changes:
 127       csit-vpp-perf-1710-all:
 128       - 11
 129       - 12
 130       - 13
 131       - 14
 132       - 15
 133       - 16
 134       - 17
 135       - 18
 136       - 19
 137       - 20
 138 # TODO: Add the data sources
 139       csit-vpp-perf-1801-all:
 140       - 124  # sel
 141       - 127  # sel
 142       - 128  # sel
 143       - 141  # sel
 144       - 142  # sel
 145       - 143  # sel
 146       - 145  # sel
 147       - 146  # sel
 148       - 162  # sel
 149       - 163  # sel
 150 #      - 167  # sel
 151 # TODO: Add the data sources
 152     plot-throughput-speedup-analysis:
 153       csit-vpp-perf-1801-all:
 154       - 122  # full
 155       - 126  # full
 156       - 129  # full
 157       - 140  # full
 158       - 124  # sel
 159       - 127  # sel
 160       - 128  # sel
 161       - 141  # sel
 162       - 142  # sel
 163       - 143  # sel
 164       - 145  # sel
 165       - 146  # sel
 166       - 162  # sel
 167       - 163  # sel
 168 #      - 167  # sel
 169 #    performance-improvements:
 170 #      csit-vpp-perf-1707-all:
 171 #      - 9
 172 #      - 10
 173 #      - 13
 174 #      - 14
 175 #      - 15
 176 #      - 16
 177 #      - 17
 178 #      - 18
 179 #      - 19
 180 #      - 21
 181 #      csit-vpp-perf-1710-all:
 182 #      - 11
 183 #      - 12
 184 #      - 13
 185 #      - 14
 186 #      - 15
 187 #      - 16
 188 #      - 17
 189 #      - 18
 190 #      - 19
 191 #      - 20
 192 #      csit-vpp-perf-1801-all:
 193 #      - 124
 194 #      - 127
 195 #      - 128
 196 #      csit-ligato-perf-1710-all:
 197 #      - 5
 198 #      - 7
 199 #      - 8
 200 #      - 9
 201 #      - 10
 202 #      - 11
 203 #      - 12
 204 #      - 13
 205 #      - 16
 206 #      - 17
 207 #      csit-ligato-perf-1801-all:
 208 #      - 16  # sel
 209 #      - 17  # sel
 210 #      - 18  # sel
 211 #      - 19  # sel
 212 #      - 20  # sel
 213 #      - 21  # sel
 214 #      - 22  # sel
 215 #      - 23  # sel
 216 #      - 24  # sel
 217 # TODO: Add the data sources
 218     vpp-perf-results:
 219       csit-vpp-perf-1801-all:
 220       - 122
 221       - 126
 222       - 129
 223       - 140
 224     vpp-func-results:
 225       csit-vpp-functional-1801-ubuntu1604-virl:
 226       - "lastSuccessfulBuild"
 227 # TODO: Add the data sources
 228     ligato-perf-results:
 229       csit-ligato-perf-1801-all:
 230       - 25  # full
 231     dpdk-perf-results:
 232       csit-dpdk-perf-1801-all:
 233       - 12
 234     hc-func-results:
 235       csit-hc2vpp-verify-func-1801-ubuntu1604:
 236       - "lastSuccessfulBuild"
 237     nsh-func-results:
 238       csit-nsh_sfc-verify-func-1801-ubuntu1604-virl:
 239       - 1
 240 # TODO: Add the data sources
 241     plot-vpp-throughput-latency:
 242       csit-vpp-perf-1801-all:
 243       - 122  # full
 244       - 126  # full
 245       - 129  # full
 246       - 140  # full
 247       - 124  # sel
 248       - 127  # sel
 249       - 128  # sel
 250       - 141  # sel
 251       - 142  # sel
 252       - 143  # sel
 253       - 145  # sel
 254       - 146  # sel
 255       - 162  # sel
 256       - 163  # sel
 257 #      - 167  # sel
 258     plot-dpdk-throughput-latency:
 259       csit-dpdk-perf-1801-all:
 260       - 1
 261       - 3
 262       - 4
 263       - 5
 264       - 6
 265       - 7
 266       - 8
 267       - 10
 268       - 12
 269 # TODO: Add the data sources
 270     plot-ligato-throughput-latency:
 271       csit-ligato-perf-1801-all:
 272       - 16  # sel
 273       - 17  # sel
 274       - 18  # sel
 275       - 19  # sel
 276       - 20  # sel
 277       - 21  # sel
 278       - 22  # sel
 279       - 23  # sel
 280       - 24  # sel
 281
 282   plot-layouts:
 283
 284     plot-cps:
 285       xaxis:
 286         autorange: True
 287         autotick: False
 288         fixedrange: False
 289         gridcolor: "rgb(238, 238, 238)"
 290         linecolor: "rgb(238, 238, 238)"
 291         linewidth: 1
 292         showgrid: True
 293         showline: True
 294         showticklabels: True
 295         tickcolor: "rgb(238, 238, 238)"
 296         tickmode: "linear"
 297         title: "Indexed Test Cases"
 298         zeroline: False
 299       yaxis:
 300         gridcolor: "rgb(238, 238, 238)'"
 301         hoverformat: ".4s"
 302         linecolor: "rgb(238, 238, 238)"
 303         linewidth: 1
 304         range: []
 305         rangemode: "tozero"
 306         showgrid: True
 307         showline: True
 308         showticklabels: True
 309         tickcolor: "rgb(238, 238, 238)"
 310         title: "Connections Per Second [cps]"
 311         zeroline: False
 312       boxmode: "group"
 313       boxgroupgap: 0.5
 314       autosize: False
 315       margin:
 316         t: 50
 317         b: 20
 318         l: 50
 319         r: 20
 320       showlegend: True
 321       legend:
 322         orientation: "h"
 323       width: 700
 324       height: 1000
 325
 326     plot-rps:
 327       xaxis:
 328         autorange: True
 329         autotick: False
 330         fixedrange: False
 331         gridcolor: "rgb(238, 238, 238)"
 332         linecolor: "rgb(238, 238, 238)"
 333         linewidth: 1
 334         showgrid: True
 335         showline: True
 336         showticklabels: True
 337         tickcolor: "rgb(238, 238, 238)"
 338         tickmode: "linear"
 339         title: "Indexed Test Cases"
 340         zeroline: False
 341       yaxis:
 342         gridcolor: "rgb(238, 238, 238)'"
 343         hoverformat: ".4s"
 344         linecolor: "rgb(238, 238, 238)"
 345         linewidth: 1
 346         range: []
 347         rangemode: "tozero"
 348         showgrid: True
 349         showline: True
 350         showticklabels: True
 351         tickcolor: "rgb(238, 238, 238)"
 352         title: "Requests Per Second [rps]"
 353         zeroline: False
 354       boxmode: "group"
 355       boxgroupgap: 0.5
 356       autosize: False
 357       margin:
 358         t: 50
 359         b: 20
 360         l: 50
 361         r: 20
 362       showlegend: True
 363       legend:
 364         orientation: "h"
 365       width: 700
 366       height: 1000
 367
 368     plot-throughput:
 369       xaxis:
 370         autorange: True
 371         autotick: False
 372         fixedrange: False
 373         gridcolor: "rgb(238, 238, 238)"
 374         linecolor: "rgb(238, 238, 238)"
 375         linewidth: 1
 376         showgrid: True
 377         showline: True
 378         showticklabels: True
 379         tickcolor: "rgb(238, 238, 238)"
 380         tickmode: "linear"
 381         title: "Indexed Test Cases"
 382         zeroline: False
 383       yaxis:
 384         gridcolor: "rgb(238, 238, 238)'"
 385         hoverformat: ".4s"
 386         linecolor: "rgb(238, 238, 238)"
 387         linewidth: 1
 388         range: []
 389         showgrid: True
 390         showline: True
 391         showticklabels: True
 392         tickcolor: "rgb(238, 238, 238)"
 393         title: "Packets Per Second [pps]"
 394         zeroline: False
 395       boxmode: "group"
 396       boxgroupgap: 0.5
 397       autosize: False
 398       margin:
 399         t: 50
 400         b: 20
 401         l: 50
 402         r: 20
 403       showlegend: True
 404       legend:
 405         orientation: "h"
 406       width: 700
 407       height: 1000
 408
 409     plot-latency:
 410       xaxis:
 411         autorange: True
 412         autotick: False
 413         fixedrange: False
 414         gridcolor: "rgb(238, 238, 238)"
 415         linecolor: "rgb(238, 238, 238)"
 416         linewidth: 1
 417         showgrid: True
 418         showline: True
 419         showticklabels: True
 420         tickcolor: "rgb(238, 238, 238)"
 421         tickmode: "linear"
 422         title: "Indexed Test Cases"
 423         zeroline: False
 424       yaxis:
 425         gridcolor: "rgb(238, 238, 238)'"
 426         hoverformat: ""
 427         linecolor: "rgb(238, 238, 238)"
 428         linewidth: 1
 429         range: []
 430         showgrid: True
 431         showline: True
 432         showticklabels: True
 433         tickcolor: "rgb(238, 238, 238)"
 434         title: "Latency min/avg/max [uSec]"
 435         zeroline: False
 436       boxmode: "group"
 437       boxgroupgap: 0.5
 438       autosize: False
 439       margin:
 440         t: 50
 441         b: 20
 442         l: 50
 443         r: 20
 444       showlegend: True
 445       legend:
 446         orientation: "h"
 447       width: 700
 448       height: 1000
 449
 450     plot-throughput-speedup-analysis:
 451       xaxis:
 452         autorange: True
 453         autotick: False
 454         fixedrange: False
 455         gridcolor: "rgb(238, 238, 238)"
 456         linecolor: "rgb(238, 238, 238)"
 457         linewidth: 1
 458         showgrid: True
 459         showline: True
 460         showticklabels: True
 461         tickcolor: "rgb(238, 238, 238)"
 462         tickmode: "linear"
 463         tickangle: 270
 464         zeroline: False
 465       yaxis:
 466         title: "Throughput speedup factor"
 467         gridcolor: "rgb(238, 238, 238)"
 468         hoverformat: ".4s"
 469         linecolor: "rgb(238, 238, 238)"
 470         linewidth: 1
 471         range: []
 472         showgrid: True
 473         showline: True
 474         showticklabels: True
 475         tickcolor: "rgb(238, 238, 238)"
 476         zeroline: False
 477       legend:
 478         orientation: "h"
 479         xanchor: "center"
 480         yanchor: "top"
 481         x: 0.5
 482         y: 1
 483         bgcolor: "rgba(255, 255, 255, 0)"
 484         bordercolor: "rgba(255, 255, 255, 0)"
 485       barmode: "group"
 486       bargap: 0.15
 487       bargroupgap: 0.1
 488       autosize: False
 489       margin:
 490           't': 50
 491           'b': 200
 492           'l': 50
 493           'r': 20
 494       showlegend: True
 495       width: 700
 496       height: 1000
 497
 498 -
 499   type: "debug"
 500   general:
 501     input-format: "xml"  # zip or xml
 502     extract: "robot-plugin/output.xml"  # Only for zip
 503   builds:
 504     # The files must be in the directory DIR[WORKING,DATA]
 505     csit-vpp-perf-1801-all:
 506     -
 507       build: 1
 508       file: "{DIR[WORKING,DATA]}/output.xml"
 509     -
 510       build: 2
 511       file: "{DIR[WORKING,DATA]}/output.xml"
 512     -
 513       build: 3
 514       file: "{DIR[WORKING,DATA]}/output.xml"
 515     -
 516       build: 4
 517       file: "{DIR[WORKING,DATA]}/output.xml"
 518
 519 -
 520   type: "static"
 521   src-path: "{DIR[RST]}"
 522   dst-path: "{DIR[WORKING,SRC]}"
 523
 524 -
 525   type: "input"  # Ignored in debug mode
 526   general:
 527     file-name: "robot-plugin.zip"
 528     file-format: ".zip"
 529     download-path: "{job}/{build}/robot/report/*zip*/{filename}"
 530     extract: "robot-plugin/output.xml"
 531   builds:
 532 #    csit-vpp-perf-1707-all:
 533 #    - 9
 534 #    - 10
 535 #    - 13
 536 #    - 14
 537 #    - 15
 538 #    - 16
 539 #    - 17
 540 #    - 18
 541 #    - 19
 542 #    - 21
 543     csit-vpp-perf-1710-all:
 544     - 11
 545     - 12
 546     - 13
 547     - 14
 548     - 15
 549     - 16
 550     - 17
 551     - 18
 552     - 19
 553     - 20
 554 # TODO:
 555     csit-vpp-perf-1801-all:
 556     - 122  # full
 557     - 126  # full
 558     - 129  # full
 559     - 140  # full
 560     - 124  # sel
 561     - 127  # sel
 562     - 128  # sel
 563     - 141  # sel
 564     - 142  # sel
 565     - 143  # sel
 566     - 145  # sel
 567     - 146  # sel
 568     - 157  # wrk
 569     - 158  # wrk
 570     - 159  # wrk
 571     - 160  # wrk
 572     - 161  # wrk
 573     - 162  # sel
 574     - 163  # sel
 575     - 164  # wrk
 576     - 165  # wrk
 577     - 166  # wrk
 578 #    - 167  # sel
 579     - 168  # wrk
 580     - 169  # wrk
 581     - 170  # wrk
 582     csit-ligato-perf-1710-all:
 583     - 5
 584     - 7
 585     - 8
 586     - 9
 587     - 10
 588     - 11
 589     - 12
 590     - 13
 591     - 16
 592     - 17
 593     csit-dpdk-perf-1801-all:
 594     - 1
 595     - 4
 596     - 5
 597     - 7
 598     - 8
 599     - 10
 600     - 12
 601     - 16
 602     - 17
 603 # TODO:
 604     csit-ligato-perf-1801-all:
 605     - 16  # sel
 606     - 17  # sel
 607     - 18  # sel
 608     - 19  # sel
 609     - 20  # sel
 610     - 21  # sel
 611     - 22  # sel
 612     - 23  # sel
 613     - 24  # sel
 614     - 25  # full
 615     csit-dpdk-perf-1801-all:
 616     - 1
 617     - 3
 618     - 4
 619     - 5
 620     - 6
 621     - 7
 622     - 8
 623     - 9
 624     - 10
 625     - 12
 626     csit-vpp-functional-1801-ubuntu1604-virl:
 627     - lastSuccessfulBuild
 628     csit-nsh_sfc-verify-func-1801-ubuntu1604-virl:
 629     - 1
 630     csit-hc2vpp-verify-func-1801-ubuntu1604:
 631     - lastSuccessfulBuild
 632
 633 -
 634   type: "output"
 635   format:
 636     html:
 637     - full
 638     pdf:
 639     - minimal
 640
 641 ################################################################################
 642 ###                               T A B L E S                                ###
 643 ################################################################################
 644
 645 #-
 646 #  type: "table"
 647 #  title: "Performance Impact of Meltdown Patches"
 648 #  algorithm: "table_performance_comparison"
 649 #  output-file-ext: ".csv"
 650 ## TODO: specify dir
 651 #  output-file: "{DIR[STATIC,VPP]}/meltdown-impact"
 652 #  reference:
 653 #    title: "No Meltdown"
 654 ## TODO: specify data sources
 655 #    data:
 656 #      csit-vpp-perf-1707-all:
 657 #      - 9
 658 #      - 10
 659 #      - 13
 660 #  compare:
 661 #    title: "Meltdown Patches Applied"
 662 ## TODO: specify data sources
 663 #    data:
 664 #      csit-vpp-perf-1710-all:
 665 #      - 11
 666 #      - 12
 667 #      - 13
 668 #  data:
 669 #    "vpp-meltdown-impact"
 670 #  filter: "all"
 671 #  parameters:
 672 #  - "name"
 673 #  - "parent"
 674 #  - "throughput"
 675 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
 676 #  # to present all tests.
 677 #  nr-of-tests-shown: 20
 678 #
 679 #-
 680 #  type: "table"
 681 #  title: "Performance Impact of Spectre Patches"
 682 #  algorithm: "table_performance_comparison"
 683 #  output-file-ext: ".csv"
 684 ## TODO: specify dir
 685 #  output-file: "{DIR[STATIC,VPP]}/meltdown-spectre-impact"
 686 #  reference:
 687 #    title: "No Spectre"
 688 ## TODO: specify data sources
 689 #    data:
 690 #      csit-vpp-perf-1707-all:
 691 #      - 9
 692 #      - 10
 693 #      - 13
 694 #  compare:
 695 #    title: "Spectre Patches Applied"
 696 ## TODO: specify data sources
 697 #    data:
 698 #      csit-vpp-perf-1710-all:
 699 #      - 11
 700 #      - 12
 701 #      - 13
 702 #  data:
 703 #    "vpp-spectre-impact"
 704 #  filter: "all"
 705 #  parameters:
 706 #  - "name"
 707 #  - "parent"
 708 #  - "throughput"
 709 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
 710 #  # to present all tests.
 711 #  nr-of-tests-shown: 20
 712
 713 -
 714   type: "table"
 715   title: "VPP Performance Changes"
 716   algorithm: "table_performance_comparison"
 717   output-file-ext: ".csv"
 718 # TODO: specify dir
 719   output-file: "{DIR[STATIC,VPP]}/performance-changes"
 720   reference:
 721     title: "Release 1710"
 722 # TODO: specify data sources
 723     data:
 724       csit-vpp-perf-1710-all:
 725       - 11
 726       - 12
 727       - 13
 728       - 14
 729       - 15
 730       - 16
 731       - 17
 732       - 18
 733       - 19
 734       - 20
 735   compare:
 736     title: "Release 1801"
 737 # TODO: specify data sources
 738     data:
 739       csit-vpp-perf-1801-all:
 740       - 124  # sel
 741       - 127  # sel
 742       - 128  # sel
 743       - 141  # sel
 744       - 142  # sel
 745       - 143  # sel
 746       - 145  # sel
 747       - 146  # sel
 748   data: "vpp-performance-changes"
 749   filter: "all"
 750   parameters:
 751   - "name"
 752   - "parent"
 753   - "throughput"
 754   # Number of the best and the worst tests presented in the table. Use 0 (zero)
 755   # to present all tests.
 756   nr-of-tests-shown: 20
 757   outlier-const: 1.5
 758
 759 #-
 760 #  type: "table"
 761 #  title: "Performance improvements"
 762 #  algorithm: "table_performance_improvements"
 763 #  template: "{DIR[DTR,PERF,VPP,IMPRV]}/tmpl_performance_improvements.csv"
 764 #  output-file-ext: ".csv"
 765 #  output-file: "{DIR[DTR,PERF,VPP,IMPRV]}/performance_improvements"
 766 #  columns:
 767 #  -
 768 #    title: "Test Name"
 769 #    data: "template 1"
 770 #  -
 771 #    title: "16.09 mean [Mpps]"
 772 #    data: "template 2"
 773 #  -
 774 #    title: "17.01 mean [Mpps]"
 775 #    data: "template 3"
 776 #  -
 777 #    title: "17.04 mean [Mpps]"
 778 #    data: "template 4"
 779 #  -
 780 #    title: "17.07 mean [Mpps]"
 781 #    data: "data csit-vpp-perf-1707-all mean"
 782 #  -
 783 #    title: "17.10 mean [Mpps]"
 784 #    data: "data csit-vpp-perf-1710-all csit-ligato-perf-1710-all mean"
 785 #  -
 786 #    title: "18.01 mean [Mpps]"
 787 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all mean"
 788 #  -
 789 #    title: "18.01 stdev [Mpps]"
 790 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all stdev"
 791 #  -
 792 #    title: "17.10 to 18.01 change [%]"
 793 #    data: "operation relative_change 5 6"
 794 #  rows: "generated"
 795 #  data:
 796 #    "performance-improvements"
 797 #  filter: "template"
 798 #  parameters:
 799 #  - "throughput"
 800
 801 -
 802   type: "table"
 803   title: "Detailed Test Results - VPP Performance Results"
 804   algorithm: "table_merged_details"
 805   output-file-ext: ".csv"
 806   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
 807   columns:
 808   -
 809     title: "Name"
 810     data: "data name"
 811   -
 812     title: "Documentation"
 813     data: "data doc"
 814   -
 815     title: "Status"
 816     data: "data msg"
 817   rows: "generated"
 818   data:
 819     "vpp-perf-results"
 820   filter: "not 'NDRCHK' and not 'PDRCHK'"
 821   parameters:
 822   - "name"
 823   - "parent"
 824   - "doc"
 825   - "msg"
 826
 827 -
 828   type: "table"
 829   title: "Test configuration - VPP Performance Test Configs"
 830   algorithm: "table_merged_details"
 831   output-file-ext: ".csv"
 832   output-file: "{DIR[DTC,PERF,VPP]}/vpp_test_configuration"
 833   columns:
 834   -
 835     title: "Name"
 836     data: "data name"
 837   -
 838     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
 839     data: "data vat-history"
 840   rows: "generated"
 841   data:
 842     "vpp-perf-results"
 843   filter: "not 'NDRCHK' and not 'PDRCHK'"
 844   parameters:
 845   - "parent"
 846   - "name"
 847   - "vat-history"
 848
 849 -
 850   type: "table"
 851   title: "Test Operational Data - VPP Performance Operational Data"
 852   algorithm: "table_merged_details"
 853   output-file-ext: ".csv"
 854   output-file: "{DIR[DTO,PERF,VPP]}/vpp_test_operational"
 855   columns:
 856   -
 857     title: "Name"
 858     data: "data name"
 859   -
 860     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
 861     data: "data show-run"
 862   rows: "generated"
 863   data:
 864     "vpp-perf-results"
 865   filter: "not 'NDRCHK' and not 'PDRCHK'"
 866   parameters:
 867   - "parent"
 868   - "name"
 869   - "show-run"
 870
 871 -
 872   type: "table"
 873   title: "Detailed Test Results - VPP Functional Results"
 874   algorithm: "table_details"
 875   output-file-ext: ".csv"
 876   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
 877   columns:
 878   -
 879     title: "Name"
 880     data: "data name"
 881   -
 882     title: "Documentation"
 883     data: "data doc"
 884   -
 885     title: "Status"
 886     data: "data status"
 887   rows: "generated"
 888   data:
 889     "vpp-func-results"
 890   filter: "all"
 891   parameters:
 892   - "name"
 893   - "parent"
 894   - "doc"
 895   - "status"
 896
 897 -
 898   type: "table"
 899   title: "Test configuration - VPP Functional Test Configs"
 900   algorithm: "table_details"
 901   output-file-ext: ".csv"
 902   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
 903   columns:
 904   -
 905     title: "Name"
 906     data: "data name"
 907   -
 908     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
 909     data: "data vat-history"
 910   rows: "generated"
 911   data:
 912     "vpp-func-results"
 913   filter: "all"
 914   parameters:
 915   - "parent"
 916   - "name"
 917   - "vat-history"
 918
 919 -
 920   type: "table"
 921   title: "Detailed Test Results - Container Orchestrated Topologies Performance Results"
 922   algorithm: "table_details"
 923   output-file-ext: ".csv"
 924   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
 925   columns:
 926   -
 927     title: "Name"
 928     data: "data name"
 929   -
 930     title: "Documentation"
 931     data: "data doc"
 932   -
 933     title: "Status"
 934     data: "data msg"
 935   rows: "generated"
 936   data:
 937     "ligato-perf-results"
 938   filter: "all"
 939   parameters:
 940   - "name"
 941   - "parent"
 942   - "doc"
 943   - "msg"
 944
 945 -
 946   type: "table"
 947   title: "Detailed Test Results - DPDK Performance Results"
 948   algorithm: "table_details"
 949   output-file-ext: ".csv"
 950   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
 951   columns:
 952   -
 953     title: "Name"
 954     data: "data name"
 955   -
 956     title: "Documentation"
 957     data: "data doc"
 958   -
 959     title: "Status"
 960     data: "data msg"
 961   rows: "generated"
 962   data:
 963     "dpdk-perf-results"
 964   filter: "all"
 965   parameters:
 966   - "name"
 967   - "parent"
 968   - "doc"
 969   - "msg"
 970
 971 -
 972   type: "table"
 973   title: "Detailed Test Results - Honeycomb Functional Results"
 974   algorithm: "table_details"
 975   output-file-ext: ".csv"
 976   output-file: "{DIR[DTR,FUNC,HC]}/hc_functional_results"
 977   columns:
 978   -
 979     title: "Name"
 980     data: "data name"
 981   -
 982     title: "Documentation"
 983     data: "data doc"
 984   -
 985     title: "Status"
 986     data: "data status"
 987   rows: "generated"
 988   data:
 989     "hc-func-results"
 990   filter: "all"
 991   parameters:
 992   - "name"
 993   - "parent"
 994   - "doc"
 995   - "status"
 996
 997 -
 998   type: "table"
 999   title: "Detailed Test Results - NSH SFC Functional Results"
1000   algorithm: "table_details"
1001   output-file-ext: ".csv"
1002   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nsh_sfc_functional_results"
1003   columns:
1004   -
1005     title: "Name"
1006     data: "data name"
1007   -
1008     title: "Documentation"
1009     data: "data doc"
1010   -
1011     title: "Status"
1012     data: "data status"
1013   rows: "generated"
1014   data:
1015     "nsh-func-results"
1016   filter: "all"
1017   parameters:
1018   - "name"
1019   - "parent"
1020   - "doc"
1021   - "status"
1022
1023 ################################################################################
1024 ###                                F I L E S                                 ###
1025 ################################################################################
1026
1027 -
1028   type: "file"
1029   title: "VPP Performance Results"
1030   algorithm: "file_merged_test_results"
1031   output-file-ext: ".rst"
1032   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
1033   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1034   dir-tables: "{DIR[DTR,PERF,VPP]}"
1035   data:
1036     "vpp-perf-results"
1037   filter: "not 'NDRCHK' and not 'PDRCHK'"
1038   parameters:
1039   - "name"
1040   - "doc"
1041   - "level"
1042   - "parent"
1043   data-start-level: 3  # 0, 1, 2, ...
1044   chapters-start-level: 2  # 0, 1, 2, ...
1045
1046 -
1047   type: "file"
1048   title: "VPP Performance Configuration"
1049   algorithm: "file_merged_test_results"
1050   output-file-ext: ".rst"
1051   output-file: "{DIR[DTC,PERF,VPP]}/vpp_performance_configuration"
1052   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1053   dir-tables: "{DIR[DTC,PERF,VPP]}"
1054   data:
1055     "vpp-perf-results"
1056   filter: "not 'NDRCHK' and not 'PDRCHK'"
1057   parameters:
1058   - "name"
1059   - "doc"
1060   - "level"
1061   - "parent"
1062   data-start-level: 3  # 0, 1, 2, ...
1063   chapters-start-level: 2  # 0, 1, 2, ...
1064
1065 -
1066   type: "file"
1067   title: "VPP Performance Operational Data"
1068   algorithm: "file_merged_test_results"
1069   output-file-ext: ".rst"
1070   output-file: "{DIR[DTO,PERF,VPP]}/vpp_performance_operational_data"
1071   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1072   dir-tables: "{DIR[DTO,PERF,VPP]}"
1073   data:
1074     "vpp-perf-results"
1075   filter: "not 'NDRCHK' and not 'PDRCHK'"
1076   parameters:
1077   - "name"
1078   - "doc"
1079   - "level"
1080   - "parent"
1081   data-start-level: 3  # 0, 1, 2, ...
1082   chapters-start-level: 2  # 0, 1, 2, ...
1083
1084 -
1085   type: "file"
1086   title: "VPP Functional Results"
1087   algorithm: "file_test_results"
1088   output-file-ext: ".rst"
1089   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
1090   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1091   dir-tables: "{DIR[DTR,FUNC,VPP]}"
1092   data:
1093     "vpp-func-results"
1094   filter: "all"
1095   parameters:
1096   - "name"
1097   - "doc"
1098   - "level"
1099   data-start-level: 3  # 0, 1, 2, ...
1100   chapters-start-level: 2  # 0, 1, 2, ...
1101
1102 -
1103   type: "file"
1104   title: "VPP Functional Configuration"
1105   algorithm: "file_test_results"
1106   output-file-ext: ".rst"
1107   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
1108   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1109   dir-tables: "{DIR[DTC,FUNC,VPP]}"
1110   data:
1111     "vpp-func-results"
1112   filter: "all"
1113   parameters:
1114   - "name"
1115   - "doc"
1116   - "level"
1117   data-start-level: 3  # 0, 1, 2, ...
1118   chapters-start-level: 2  # 0, 1, 2, ...
1119
1120 -
1121   type: "file"
1122   title: "Container Orchestrated Performance Results"
1123   algorithm: "file_test_results"
1124   output-file-ext: ".rst"
1125   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
1126   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1127   dir-tables: "{DIR[DTR,PERF,COT]}"
1128   data:
1129     "ligato-perf-results"
1130   filter: "all"
1131   parameters:
1132   - "name"
1133   - "doc"
1134   - "level"
1135   data-start-level: 2  # 0, 1, 2, ...
1136   chapters-start-level: 2  # 0, 1, 2, ...
1137
1138 -
1139   type: "file"
1140   title: "DPDK Performance Results"
1141   algorithm: "file_test_results"
1142   output-file-ext: ".rst"
1143   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
1144   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1145   dir-tables: "{DIR[DTR,PERF,DPDK]}"
1146   data:
1147     "dpdk-perf-results"
1148   filter: "all"
1149   parameters:
1150   - "name"
1151   - "doc"
1152   - "level"
1153   chapters:
1154   - "suites"
1155   data-start-level: 2  # 0, 1, 2, ...
1156   chapters-start-level: 2  # 0, 1, 2, ...
1157
1158 -
1159   type: "file"
1160   title: "Honeycomb Functional Results"
1161   algorithm: "file_test_results"
1162   output-file-ext: ".rst"
1163   output-file: "{DIR[DTR,FUNC,HC]}/honeycomb_functional_results"
1164   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1165   dir-tables: "{DIR[DTR,FUNC,HC]}"
1166   data:
1167     "hc-func-results"
1168   filter: "all"
1169   parameters:
1170   - "name"
1171   - "doc"
1172   - "level"
1173   chapters:
1174   - "suites"
1175   data-start-level: 3  # 0, 1, 2, ...
1176   chapters-start-level: 2  # 0, 1, 2, ...
1177
1178 -
1179   type: "file"
1180   title: "NSH SFC Functional Results"
1181   algorithm: "file_test_results"
1182   output-file-ext: ".rst"
1183   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nshsfc_functional_results"
1184   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1185   dir-tables: "{DIR[DTR,FUNC,NSHSFC]}"
1186   data:
1187     "nsh-func-results"
1188   filter: "all"
1189   parameters:
1190   - "name"
1191   - "doc"
1192   - "level"
1193   chapters:
1194   - "suites"
1195   data-start-level: 2  # 0, 1, 2, ...
1196   chapters-start-level: 2  # 0, 1, 2, ...
1197
1198 ################################################################################
1199 ###                                P L O T S                                 ###
1200 ################################################################################
1201
1202 # Plots VPP HTTP Server Performance
1203 -
1204   type: "plot"
1205   title: "VPP HTTP Server Performance"
1206   algorithm: "plot_http_server_performance_box"
1207   output-file-type: ".html"
1208   output-file: "{DIR[STATIC,VPP]}/http-server-performance-cps"
1209   data:
1210     "plot-vpp-http-server-performance"
1211   # Keep this formatting, the filter is enclosed with " (quotation mark) and
1212   # each tag is enclosed with ' (apostrophe).
1213   filter: "'HTTP' and 'TCP_CPS'"
1214   parameters:
1215   - "result"
1216   - "name"
1217   traces:
1218     hoverinfo: "x+y"
1219     boxpoints: "outliers"
1220     whiskerwidth: 0
1221   layout:
1222     title: "VPP HTTP Server Performance"
1223     layout:
1224       "plot-cps"
1225
1226 -
1227   type: "plot"
1228   title: "VPP HTTP Server Performance"
1229   algorithm: "plot_http_server_performance_box"
1230   output-file-type: ".html"
1231   output-file: "{DIR[STATIC,VPP]}/http-server-performance-rps"
1232   data:
1233     "plot-vpp-http-server-performance"
1234   filter: "'HTTP' and 'TCP_RPS'"
1235   parameters:
1236   - "result"
1237   - "name"
1238   traces:
1239     hoverinfo: "x+y"
1240     boxpoints: "outliers"
1241     whiskerwidth: 0
1242   layout:
1243     title: "VPP HTTP Server Performance"
1244     layout:
1245       "plot-rps"
1246
1247 # Plot Throughput Speedup Analysis
1248
1249 # L2 - 10ge2p1x520 - NDR
1250 -
1251   type: "plot"
1252   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1253   algorithm: "plot_throughput_speedup_analysis"
1254   output-file-type: ".html"
1255   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-ndrdisc"
1256   data:
1257     "plot-throughput-speedup-analysis"
1258   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1259   parameters:
1260   - "throughput"
1261   - "parent"
1262   - "tags"
1263   layout:
1264     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1265     layout:
1266       "plot-throughput-speedup-analysis"
1267
1268 # L2 - 40ge2p1xl710 - NDR
1269 -
1270   type: "plot"
1271   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1272   algorithm: "plot_throughput_speedup_analysis"
1273   output-file-type: ".html"
1274   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-l2-tsa-ndrdisc"
1275   data:
1276     "plot-throughput-speedup-analysis"
1277   filter: "'NIC_Intel-XL710' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1278   parameters:
1279   - "throughput"
1280   - "parent"
1281   - "tags"
1282   layout:
1283     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1284     layout:
1285       "plot-throughput-speedup-analysis"
1286
1287 # L2 - 10ge2p1x520 - PDR
1288 -
1289   type: "plot"
1290   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1291   algorithm: "plot_throughput_speedup_analysis"
1292   output-file-type: ".html"
1293   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-pdrdisc"
1294   data:
1295     "plot-throughput-speedup-analysis"
1296   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1297   parameters:
1298   - "throughput"
1299   - "parent"
1300   - "tags"
1301   layout:
1302     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1303     layout:
1304       "plot-throughput-speedup-analysis"
1305
1306 # IPv4 - 10ge2p1x520 - NDR
1307 -
1308   type: "plot"
1309   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1310   algorithm: "plot_throughput_speedup_analysis"
1311   output-file-type: ".html"
1312   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-ndrdisc"
1313   data:
1314     "plot-throughput-speedup-analysis"
1315   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1316   parameters:
1317   - "throughput"
1318   - "parent"
1319   - "tags"
1320   layout:
1321     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1322     layout:
1323       "plot-throughput-speedup-analysis"
1324
1325 # IPv4 - 40ge2p1xl710 - NDR
1326 -
1327   type: "plot"
1328   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1329   algorithm: "plot_throughput_speedup_analysis"
1330   output-file-type: ".html"
1331   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-ip4-tsa-ndrdisc"
1332   data:
1333     "plot-throughput-speedup-analysis"
1334   filter: "'NIC_Intel-XL710' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1335   parameters:
1336   - "throughput"
1337   - "parent"
1338   - "tags"
1339   layout:
1340     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1341     layout:
1342       "plot-throughput-speedup-analysis"
1343
1344 # IPv4 - 10ge2p1x520 - PDR
1345 -
1346   type: "plot"
1347   title: "TSA: 64B-*-ethip4-ip4(base|scale)*pdrdisc"
1348   algorithm: "plot_throughput_speedup_analysis"
1349   output-file-type: ".html"
1350   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-pdrdisc"
1351   data:
1352     "plot-throughput-speedup-analysis"
1353   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1354   parameters:
1355   - "throughput"
1356   - "parent"
1357   - "tags"
1358   layout:
1359     title: "64B-*-ethip4-ip4(base|scale)*pdrdisc"
1360     layout:
1361       "plot-throughput-speedup-analysis"
1362
1363 # IPv6 - 10ge2p1x520 - NDR
1364 -
1365   type: "plot"
1366   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1367   algorithm: "plot_throughput_speedup_analysis"
1368   output-file-type: ".html"
1369   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-ndrdisc"
1370   data:
1371     "plot-throughput-speedup-analysis"
1372   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1373   parameters:
1374   - "throughput"
1375   - "parent"
1376   - "tags"
1377   layout:
1378     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1379     layout:
1380       "plot-throughput-speedup-analysis"
1381
1382 # IPv6 - 40ge2p1xl710 - NDR
1383 -
1384   type: "plot"
1385   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1386   algorithm: "plot_throughput_speedup_analysis"
1387   output-file-type: ".html"
1388   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-78B-ip6-tsa-ndrdisc"
1389   data:
1390     "plot-throughput-speedup-analysis"
1391   filter: "'NIC_Intel-XL710' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1392   parameters:
1393   - "throughput"
1394   - "parent"
1395   - "tags"
1396   layout:
1397     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1398     layout:
1399       "plot-throughput-speedup-analysis"
1400
1401 # IPv6 - 10ge2p1x520 - PDR
1402 -
1403   type: "plot"
1404   title: "TSA: 78B-*-ethip6-ip6(base|scale)*pdrdisc"
1405   algorithm: "plot_throughput_speedup_analysis"
1406   output-file-type: ".html"
1407   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-pdrdisc"
1408   data:
1409     "plot-throughput-speedup-analysis"
1410   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST'"
1411   parameters:
1412   - "throughput"
1413   - "parent"
1414   - "tags"
1415   layout:
1416     title: "78B-*-ethip6-ip6(base|scale)*pdrdisc"
1417     layout:
1418       "plot-throughput-speedup-analysis"
1419
1420 # Plot packets per second
1421
1422 # VPP L2 sel1
1423 -
1424   type: "plot"
1425   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1426   algorithm: "plot_performance_box"
1427   output-file-type: ".html"
1428   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc"
1429   data:
1430     "plot-vpp-throughput-latency"
1431   # Keep this formatting, the filter is enclosed with " (quotation mark) and
1432   # each tag is enclosed with ' (apostrophe).
1433   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1434   parameters:
1435   - "throughput"
1436   - "parent"
1437   traces:
1438     hoverinfo: "x+y"
1439     boxpoints: "outliers"
1440     whiskerwidth: 0
1441   layout:
1442     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1443     layout:
1444       "plot-throughput"
1445
1446 -
1447   type: "plot"
1448   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1449   algorithm: "plot_performance_box"
1450   output-file-type: ".html"
1451   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc"
1452   data:
1453     "plot-vpp-throughput-latency"
1454   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1455   parameters:
1456   - "throughput"
1457   - "parent"
1458   traces:
1459     hoverinfo: "x+y"
1460     boxpoints: "outliers"
1461     whiskerwidth: 0
1462   layout:
1463     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1464     layout:
1465       "plot-throughput"
1466
1467 -
1468   type: "plot"
1469   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1470   algorithm: "plot_performance_box"
1471   output-file-type: ".html"
1472   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-pdrdisc"
1473   data:
1474     "plot-vpp-throughput-latency"
1475   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1476   parameters:
1477   - "throughput"
1478   - "parent"
1479   traces:
1480     hoverinfo: "x+y"
1481     boxpoints: "outliers"
1482     whiskerwidth: 0
1483   layout:
1484     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1485     layout:
1486       "plot-throughput"
1487
1488 -
1489   type: "plot"
1490   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1491   algorithm: "plot_performance_box"
1492   output-file-type: ".html"
1493   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-pdrdisc"
1494   data:
1495     "plot-vpp-throughput-latency"
1496   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1497   parameters:
1498   - "throughput"
1499   - "parent"
1500   traces:
1501     hoverinfo: "x+y"
1502     boxpoints: "outliers"
1503     whiskerwidth: 0
1504   layout:
1505     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1506     layout:
1507       "plot-throughput"
1508
1509 # VPP L2 sel2
1510 -
1511   type: "plot"
1512   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1513   algorithm: "plot_performance_box"
1514   output-file-type: ".html"
1515   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc"
1516   data:
1517     "plot-vpp-throughput-latency"
1518   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1519   parameters:
1520   - "throughput"
1521   - "parent"
1522   traces:
1523     hoverinfo: "x+y"
1524     boxpoints: "outliers"
1525     whiskerwidth: 0
1526   layout:
1527     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1528     layout:
1529       "plot-throughput"
1530
1531 -
1532   type: "plot"
1533   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1534   algorithm: "plot_performance_box"
1535   output-file-type: ".html"
1536   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc"
1537   data:
1538     "plot-vpp-throughput-latency"
1539   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1540   parameters:
1541   - "throughput"
1542   - "parent"
1543   traces:
1544     hoverinfo: "x+y"
1545     boxpoints: "outliers"
1546     whiskerwidth: 0
1547   layout:
1548     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1549     layout:
1550       "plot-throughput"
1551
1552 -
1553   type: "plot"
1554   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1555   algorithm: "plot_performance_box"
1556   output-file-type: ".html"
1557   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-pdrdisc"
1558   data:
1559     "plot-vpp-throughput-latency"
1560   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1561   parameters:
1562   - "throughput"
1563   - "parent"
1564   traces:
1565     hoverinfo: "x+y"
1566     boxpoints: "outliers"
1567     whiskerwidth: 0
1568   layout:
1569     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1570     layout:
1571       "plot-throughput"
1572
1573 -
1574   type: "plot"
1575   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1576   algorithm: "plot_performance_box"
1577   output-file-type: ".html"
1578   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-pdrdisc"
1579   data:
1580     "plot-vpp-throughput-latency"
1581   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1582   parameters:
1583   - "throughput"
1584   - "parent"
1585   traces:
1586     hoverinfo: "x+y"
1587     boxpoints: "outliers"
1588     whiskerwidth: 0
1589   layout:
1590     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1591     layout:
1592       "plot-throughput"
1593
1594 # VPP IP4
1595 -
1596   type: "plot"
1597   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1598   algorithm: "plot_performance_box"
1599   output-file-type: ".html"
1600   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc"
1601   data:
1602     "plot-vpp-throughput-latency"
1603   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1604   parameters:
1605   - "throughput"
1606   - "parent"
1607   traces:
1608     hoverinfo: "x+y"
1609     boxpoints: "outliers"
1610     whiskerwidth: 0
1611   layout:
1612     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1613     layout:
1614       "plot-throughput"
1615
1616 -
1617   type: "plot"
1618   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1619   algorithm: "plot_performance_box"
1620   output-file-type: ".html"
1621   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc"
1622   data:
1623     "plot-vpp-throughput-latency"
1624   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1625   parameters:
1626   - "throughput"
1627   - "parent"
1628   traces:
1629     hoverinfo: "x+y"
1630     boxpoints: "outliers"
1631     whiskerwidth: 0
1632   layout:
1633     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1634     layout:
1635       "plot-throughput"
1636
1637 -
1638   type: "plot"
1639   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1640   algorithm: "plot_performance_box"
1641   output-file-type: ".html"
1642   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-pdrdisc"
1643   data:
1644     "plot-vpp-throughput-latency"
1645   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1646   parameters:
1647   - "throughput"
1648   - "parent"
1649   traces:
1650     hoverinfo: "x+y"
1651     boxpoints: "outliers"
1652     whiskerwidth: 0
1653   layout:
1654     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1655     layout:
1656       "plot-throughput"
1657
1658 -
1659   type: "plot"
1660   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1661   algorithm: "plot_performance_box"
1662   output-file-type: ".html"
1663   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-pdrdisc"
1664   data:
1665     "plot-vpp-throughput-latency"
1666   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1667   parameters:
1668   - "throughput"
1669   - "parent"
1670   traces:
1671     hoverinfo: "x+y"
1672     boxpoints: "outliers"
1673     whiskerwidth: 0
1674   layout:
1675     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1676     layout:
1677       "plot-throughput"
1678
1679 # VPP IP6
1680 -
1681   type: "plot"
1682   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1683   algorithm: "plot_performance_box"
1684   output-file-type: ".html"
1685   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc"
1686   data:
1687     "plot-vpp-throughput-latency"
1688   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1689   parameters:
1690   - "throughput"
1691   - "parent"
1692   traces:
1693     hoverinfo: "x+y"
1694     boxpoints: "outliers"
1695     whiskerwidth: 0
1696   layout:
1697     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1698     layout:
1699       "plot-throughput"
1700
1701 -
1702   type: "plot"
1703   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1704   algorithm: "plot_performance_box"
1705   output-file-type: ".html"
1706   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc"
1707   data:
1708     "plot-vpp-throughput-latency"
1709   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1710   parameters:
1711   - "throughput"
1712   - "parent"
1713   traces:
1714     hoverinfo: "x+y"
1715     boxpoints: "outliers"
1716     whiskerwidth: 0
1717   layout:
1718     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1719     layout:
1720       "plot-throughput"
1721
1722 -
1723   type: "plot"
1724   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1725   algorithm: "plot_performance_box"
1726   output-file-type: ".html"
1727   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-pdrdisc"
1728   data:
1729     "plot-vpp-throughput-latency"
1730   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1731   parameters:
1732   - "throughput"
1733   - "parent"
1734   traces:
1735     hoverinfo: "x+y"
1736     boxpoints: "outliers"
1737     whiskerwidth: 0
1738   layout:
1739     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1740     layout:
1741       "plot-throughput"
1742
1743 -
1744   type: "plot"
1745   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1746   algorithm: "plot_performance_box"
1747   output-file-type: ".html"
1748   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-pdrdisc"
1749   data:
1750     "plot-vpp-throughput-latency"
1751   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1752   parameters:
1753   - "throughput"
1754   - "parent"
1755   traces:
1756     hoverinfo: "x+y"
1757     boxpoints: "outliers"
1758     whiskerwidth: 0
1759   layout:
1760     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1761     layout:
1762       "plot-throughput"
1763
1764 # VPP IP4_overlay
1765 -
1766   type: "plot"
1767   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1768   algorithm: "plot_performance_box"
1769   output-file-type: ".html"
1770   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc"
1771   data:
1772     "plot-vpp-throughput-latency"
1773   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1774   parameters:
1775   - "throughput"
1776   - "parent"
1777   traces:
1778     hoverinfo: "x+y"
1779     boxpoints: "outliers"
1780     whiskerwidth: 0
1781   layout:
1782     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1783     layout:
1784       "plot-throughput"
1785
1786 -
1787   type: "plot"
1788   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1789   algorithm: "plot_performance_box"
1790   output-file-type: ".html"
1791   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc"
1792   data:
1793     "plot-vpp-throughput-latency"
1794   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1795   parameters:
1796   - "throughput"
1797   - "parent"
1798   traces:
1799     hoverinfo: "x+y"
1800     boxpoints: "outliers"
1801     whiskerwidth: 0
1802   layout:
1803     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1804     layout:
1805       "plot-throughput"
1806
1807 -
1808   type: "plot"
1809   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1810   algorithm: "plot_performance_box"
1811   output-file-type: ".html"
1812   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-pdrdisc"
1813   data:
1814     "plot-vpp-throughput-latency"
1815   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1816   parameters:
1817   - "throughput"
1818   - "parent"
1819   traces:
1820     hoverinfo: "x+y"
1821     boxpoints: "outliers"
1822     whiskerwidth: 0
1823   layout:
1824     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1825     layout:
1826       "plot-throughput"
1827
1828 -
1829   type: "plot"
1830   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1831   algorithm: "plot_performance_box"
1832   output-file-type: ".html"
1833   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-pdrdisc"
1834   data:
1835     "plot-vpp-throughput-latency"
1836   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1837   parameters:
1838   - "throughput"
1839   - "parent"
1840   traces:
1841     hoverinfo: "x+y"
1842     boxpoints: "outliers"
1843     whiskerwidth: 0
1844   layout:
1845     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1846     layout:
1847       "plot-throughput"
1848
1849 # VPP IP6_overlay
1850 -
1851   type: "plot"
1852   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1853   algorithm: "plot_performance_box"
1854   output-file-type: ".html"
1855   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc"
1856   data:
1857     "plot-vpp-throughput-latency"
1858   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1859   parameters:
1860   - "throughput"
1861   - "parent"
1862   traces:
1863     hoverinfo: "x+y"
1864     boxpoints: "outliers"
1865     whiskerwidth: 0
1866   layout:
1867     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1868     xaxis:
1869       autorange: True
1870       autotick: False
1871       fixedrange: False
1872       gridcolor: "rgb(238, 238, 238)"
1873       linecolor: "rgb(238, 238, 238)"
1874       linewidth: 1
1875       showgrid: True
1876       showline: True
1877       showticklabels: True
1878       tickcolor: "rgb(238, 238, 238)"
1879       tickmode: "linear"
1880       title: "Indexed Test Cases"
1881       zeroline: False
1882     yaxis:
1883       gridcolor: "rgb(238, 238, 238)'"
1884       hoverformat: ".4s"
1885       linecolor: "rgb(238, 238, 238)"
1886       linewidth: 1
1887       range: [2000000, 6000000]
1888       showgrid: True
1889       showline: True
1890       showticklabels: True
1891       tickcolor: "rgb(238, 238, 238)"
1892       title: "Packets Per Second [pps]"
1893       zeroline: False
1894     boxmode: "group"
1895     boxgroupgap: 0.5
1896     autosize: False
1897     margin:
1898       t: 50
1899       b: 20
1900       l: 50
1901       r: 20
1902     showlegend: True
1903     legend:
1904       orientation: "h"
1905     width: 700
1906     height: 1000
1907
1908 -
1909   type: "plot"
1910   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1911   algorithm: "plot_performance_box"
1912   output-file-type: ".html"
1913   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc"
1914   data:
1915     "plot-vpp-throughput-latency"
1916   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1917   parameters:
1918   - "throughput"
1919   - "parent"
1920   traces:
1921     hoverinfo: "x+y"
1922     boxpoints: "outliers"
1923     whiskerwidth: 0
1924   layout:
1925     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1926     layout:
1927       "plot-throughput"
1928
1929 -
1930   type: "plot"
1931   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1932   algorithm: "plot_performance_box"
1933   output-file-type: ".html"
1934   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-pdrdisc"
1935   data:
1936     "plot-vpp-throughput-latency"
1937   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1938   parameters:
1939   - "throughput"
1940   - "parent"
1941   traces:
1942     hoverinfo: "x+y"
1943     boxpoints: "outliers"
1944     whiskerwidth: 0
1945   layout:
1946     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1947     layout:
1948       "plot-throughput"
1949
1950 -
1951   type: "plot"
1952   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1953   algorithm: "plot_performance_box"
1954   output-file-type: ".html"
1955   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-pdrdisc"
1956   data:
1957     "plot-vpp-throughput-latency"
1958   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1959   parameters:
1960   - "throughput"
1961   - "parent"
1962   traces:
1963     hoverinfo: "x+y"
1964     boxpoints: "outliers"
1965     whiskerwidth: 0
1966   layout:
1967     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1968     xaxis:
1969       autorange: True
1970       autotick: False
1971       fixedrange: False
1972       gridcolor: "rgb(238, 238, 238)"
1973       linecolor: "rgb(238, 238, 238)"
1974       linewidth: 1
1975       showgrid: True
1976       showline: True
1977       showticklabels: True
1978       tickcolor: "rgb(238, 238, 238)"
1979       tickmode: "linear"
1980       title: "Indexed Test Cases"
1981       zeroline: False
1982     yaxis:
1983       gridcolor: "rgb(238, 238, 238)'"
1984       hoverformat: ".4s"
1985       linecolor: "rgb(238, 238, 238)"
1986       linewidth: 1
1987       range: [4000000, 12000000]
1988       showgrid: True
1989       showline: True
1990       showticklabels: True
1991       tickcolor: "rgb(238, 238, 238)"
1992       title: "Packets Per Second [pps]"
1993       zeroline: False
1994     boxmode: "group"
1995     boxgroupgap: 0.5
1996     autosize: False
1997     margin:
1998       t: 50
1999       b: 20
2000       l: 50
2001       r: 20
2002     showlegend: True
2003     legend:
2004       orientation: "h"
2005     width: 700
2006     height: 1000
2007
2008 # VPP VM VHOST
2009 -
2010   type: "plot"
2011   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2012   algorithm: "plot_performance_box"
2013   output-file-type: ".html"
2014   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc"
2015   data:
2016     "plot-vpp-throughput-latency"
2017   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2018   parameters:
2019   - "throughput"
2020   - "parent"
2021   traces:
2022     hoverinfo: "x+y"
2023     boxpoints: "outliers"
2024     whiskerwidth: 0
2025   layout:
2026     title: "64B-1t1c-.*vhost.*-ndrdisc"
2027     xaxis:
2028       autorange: True
2029       autotick: False
2030       fixedrange: False
2031       gridcolor: "rgb(238, 238, 238)"
2032       linecolor: "rgb(238, 238, 238)"
2033       linewidth: 1
2034       showgrid: True
2035       showline: True
2036       showticklabels: True
2037       tickcolor: "rgb(238, 238, 238)"
2038       tickmode: "linear"
2039       title: "Indexed Test Cases"
2040       zeroline: False
2041     yaxis:
2042       gridcolor: "rgb(238, 238, 238)'"
2043       hoverformat: ".4s"
2044       linecolor: "rgb(238, 238, 238)"
2045       linewidth: 1
2046       range: [0, 3500000]
2047       showgrid: True
2048       showline: True
2049       showticklabels: True
2050       tickcolor: "rgb(238, 238, 238)"
2051       title: "Packets Per Second [pps]"
2052       zeroline: False
2053     boxmode: "group"
2054     boxgroupgap: 0.5
2055     autosize: False
2056     margin:
2057       t: 50
2058       b: 20
2059       l: 50
2060       r: 20
2061     showlegend: True
2062     legend:
2063       orientation: "h"
2064     width: 700
2065     height: 1000
2066
2067 -
2068   type: "plot"
2069   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2070   algorithm: "plot_performance_box"
2071   output-file-type: ".html"
2072   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc"
2073   data:
2074     "plot-vpp-throughput-latency"
2075   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2076   parameters:
2077   - "throughput"
2078   - "parent"
2079   traces:
2080     hoverinfo: "x+y"
2081     boxpoints: "outliers"
2082     whiskerwidth: 0
2083   layout:
2084     title: "64B-2t2c-.*vhost.*-ndrdisc"
2085     layout:
2086       "plot-throughput"
2087
2088 -
2089   type: "plot"
2090   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2091   algorithm: "plot_performance_box"
2092   output-file-type: ".html"
2093   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-pdrdisc"
2094   data:
2095     "plot-vpp-throughput-latency"
2096   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2097   parameters:
2098   - "throughput"
2099   - "parent"
2100   traces:
2101     hoverinfo: "x+y"
2102     boxpoints: "outliers"
2103     whiskerwidth: 0
2104   layout:
2105     title: "64B-1t1c-.*vhost.*-pdrdisc"
2106     layout:
2107       "plot-throughput"
2108
2109 -
2110   type: "plot"
2111   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2112   algorithm: "plot_performance_box"
2113   output-file-type: ".html"
2114   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-pdrdisc"
2115   data:
2116     "plot-vpp-throughput-latency"
2117   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2118   parameters:
2119   - "throughput"
2120   - "parent"
2121   traces:
2122     hoverinfo: "x+y"
2123     boxpoints: "outliers"
2124     whiskerwidth: 0
2125   layout:
2126     title: "64B-2t2c-.*vhost.*-pdrdisc"
2127     layout:
2128       "plot-throughput"
2129
2130 # VPP VM VHOST SELECTION
2131 -
2132   type: "plot"
2133   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2134   algorithm: "plot_performance_box"
2135   output-file-type: ".html"
2136   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc"
2137   data:
2138     "plot-vpp-throughput-latency"
2139   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2140   parameters:
2141   - "throughput"
2142   - "parent"
2143   traces:
2144     hoverinfo: "x+y"
2145     boxpoints: "outliers"
2146     whiskerwidth: 0
2147   layout:
2148     title: "64B-1t1c-.*vhost.*-ndrdisc"
2149     layout:
2150       "plot-throughput"
2151
2152 -
2153   type: "plot"
2154   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2155   algorithm: "plot_performance_box"
2156   output-file-type: ".html"
2157   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc"
2158   data:
2159     "plot-vpp-throughput-latency"
2160   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2161   parameters:
2162   - "throughput"
2163   - "parent"
2164   traces:
2165     hoverinfo: "x+y"
2166     boxpoints: "outliers"
2167     whiskerwidth: 0
2168   layout:
2169     title: "64B-2t2c-.*vhost.*-ndrdisc"
2170     layout:
2171       "plot-throughput"
2172
2173 -
2174   type: "plot"
2175   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2176   algorithm: "plot_performance_box"
2177   output-file-type: ".html"
2178   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-pdrdisc"
2179   data:
2180     "plot-vpp-throughput-latency"
2181   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2182   parameters:
2183   - "throughput"
2184   - "parent"
2185   traces:
2186     hoverinfo: "x+y"
2187     boxpoints: "outliers"
2188     whiskerwidth: 0
2189   layout:
2190     title: "64B-1t1c-.*vhost.*-pdrdisc"
2191     layout:
2192       "plot-throughput"
2193
2194 -
2195   type: "plot"
2196   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2197   algorithm: "plot_performance_box"
2198   output-file-type: ".html"
2199   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-pdrdisc"
2200   data:
2201     "plot-vpp-throughput-latency"
2202   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2203   parameters:
2204   - "throughput"
2205   - "parent"
2206   traces:
2207     hoverinfo: "x+y"
2208     boxpoints: "outliers"
2209     whiskerwidth: 0
2210   layout:
2211     title: "64B-2t2c-.*vhost.*-pdrdisc"
2212     layout:
2213       "plot-throughput"
2214
2215 # VPP CRYPTO
2216 -
2217   type: "plot"
2218   title: "VPP Performance 64B-1t1c-.*ipsec.*-ndrdisc"
2219   algorithm: "plot_performance_box"
2220   output-file-type: ".html"
2221   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc"
2222   data:
2223     "plot-vpp-throughput-latency"
2224   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2225   parameters:
2226   - "throughput"
2227   - "parent"
2228   traces:
2229     hoverinfo: "x+y"
2230     boxpoints: "outliers"
2231     whiskerwidth: 0
2232   layout:
2233     title: "64B-1t1c-.*ipsec.*-ndrdisc"
2234     layout:
2235       "plot-throughput"
2236
2237 -
2238   type: "plot"
2239   title: "VPP Performance 64B-2t2c-.*ipsec.*-ndrdisc"
2240   algorithm: "plot_performance_box"
2241   output-file-type: ".html"
2242   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc"
2243   data:
2244     "plot-vpp-throughput-latency"
2245   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2246   parameters:
2247   - "throughput"
2248   - "parent"
2249   traces:
2250     hoverinfo: "x+y"
2251     boxpoints: "outliers"
2252     whiskerwidth: 0
2253   layout:
2254     title: "64B-2t2c-.*ipsec.*-ndrdisc"
2255     layout:
2256       "plot-throughput"
2257
2258 -
2259   type: "plot"
2260   title: "VPP Performance 64B-1t1c-.*ipsec.*-pdrdisc"
2261   algorithm: "plot_performance_box"
2262   output-file-type: ".html"
2263   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-pdrdisc"
2264   data:
2265     "plot-vpp-throughput-latency"
2266   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2267   parameters:
2268   - "throughput"
2269   - "parent"
2270   traces:
2271     hoverinfo: "x+y"
2272     boxpoints: "outliers"
2273     whiskerwidth: 0
2274   layout:
2275     title: "64B-1t1c-.*ipsec.*-pdrdisc"
2276     layout:
2277       "plot-throughput"
2278
2279 -
2280   type: "plot"
2281   title: "VPP Performance 64B-2t2c-.*ipsec.*-pdrdisc"
2282   algorithm: "plot_performance_box"
2283   output-file-type: ".html"
2284   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-pdrdisc"
2285   data:
2286     "plot-vpp-throughput-latency"
2287   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2288   parameters:
2289   - "throughput"
2290   - "parent"
2291   traces:
2292     hoverinfo: "x+y"
2293     boxpoints: "outliers"
2294     whiskerwidth: 0
2295   layout:
2296     title: "64B-2t2c-.*ipsec.*-pdrdisc"
2297     layout:
2298       "plot-throughput"
2299
2300 # DPDK
2301 -
2302   type: "plot"
2303   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2304   algorithm: "plot_performance_box"
2305   output-file-type: ".html"
2306   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc"
2307   data:
2308     "plot-dpdk-throughput-latency"
2309   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2310   parameters:
2311   - "throughput"
2312   - "parent"
2313   traces:
2314     hoverinfo: "x+y"
2315     boxpoints: "outliers"
2316     whiskerwidth: 0
2317   layout:
2318     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2319     layout:
2320       "plot-throughput"
2321
2322 -
2323   type: "plot"
2324   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2325   algorithm: "plot_performance_box"
2326   output-file-type: ".html"
2327   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc"
2328   data:
2329     "plot-dpdk-throughput-latency"
2330   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2331   parameters:
2332   - "throughput"
2333   - "parent"
2334   traces:
2335     hoverinfo: "x+y"
2336     boxpoints: "outliers"
2337     whiskerwidth: 0
2338   layout:
2339     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2340     layout:
2341       "plot-throughput"
2342
2343 -
2344   type: "plot"
2345   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2346   algorithm: "plot_performance_box"
2347   output-file-type: ".html"
2348   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc"
2349   data:
2350     "plot-dpdk-throughput-latency"
2351   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
2352   parameters:
2353   - "throughput"
2354   - "parent"
2355   traces:
2356     hoverinfo: "x+y"
2357     boxpoints: "outliers"
2358     whiskerwidth: 0
2359   layout:
2360     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2361     xaxis:
2362       autorange: True
2363       autotick: False
2364       fixedrange: False
2365       gridcolor: "rgb(238, 238, 238)"
2366       linecolor: "rgb(238, 238, 238)"
2367       linewidth: 1
2368       showgrid: True
2369       showline: True
2370       showticklabels: True
2371       tickcolor: "rgb(238, 238, 238)"
2372       tickmode: "linear"
2373       title: "Indexed Test Cases"
2374       zeroline: False
2375     yaxis:
2376       gridcolor: "rgb(238, 238, 238)'"
2377       hoverformat: ".4s"
2378       linecolor: "rgb(238, 238, 238)"
2379       linewidth: 1
2380       range: [2000000, 12000000]
2381       showgrid: True
2382       showline: True
2383       showticklabels: True
2384       tickcolor: "rgb(238, 238, 238)"
2385       title: "Packets Per Second [pps]"
2386       zeroline: False
2387     boxmode: "group"
2388     boxgroupgap: 0.5
2389     autosize: False
2390     margin:
2391       t: 50
2392       b: 20
2393       l: 50
2394       r: 20
2395     showlegend: True
2396     legend:
2397       orientation: "h"
2398     width: 700
2399     height: 1000
2400
2401 -
2402   type: "plot"
2403   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2404   algorithm: "plot_performance_box"
2405   output-file-type: ".html"
2406   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc"
2407   data:
2408     "plot-dpdk-throughput-latency"
2409   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
2410   parameters:
2411   - "throughput"
2412   - "parent"
2413   traces:
2414     hoverinfo: "x+y"
2415     boxpoints: "outliers"
2416     whiskerwidth: 0
2417   layout:
2418     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2419     xaxis:
2420       autorange: True
2421       autotick: False
2422       fixedrange: False
2423       gridcolor: "rgb(238, 238, 238)"
2424       linecolor: "rgb(238, 238, 238)"
2425       linewidth: 1
2426       showgrid: True
2427       showline: True
2428       showticklabels: True
2429       tickcolor: "rgb(238, 238, 238)"
2430       tickmode: "linear"
2431       title: "Indexed Test Cases"
2432       zeroline: False
2433     yaxis:
2434       gridcolor: "rgb(238, 238, 238)'"
2435       hoverformat: ".4s"
2436       linecolor: "rgb(238, 238, 238)"
2437       linewidth: 1
2438       range: [2000000, 12000000]
2439       showgrid: True
2440       showline: True
2441       showticklabels: True
2442       tickcolor: "rgb(238, 238, 238)"
2443       title: "Packets Per Second [pps]"
2444       zeroline: False
2445     boxmode: "group"
2446     boxgroupgap: 0.5
2447     autosize: False
2448     margin:
2449       t: 50
2450       b: 20
2451       l: 50
2452       r: 20
2453     showlegend: True
2454     legend:
2455       orientation: "h"
2456     width: 700
2457     height: 1000
2458
2459 -
2460   type: "plot"
2461   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2462   algorithm: "plot_performance_box"
2463   output-file-type: ".html"
2464   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-pdrdisc"
2465   data:
2466     "plot-dpdk-throughput-latency"
2467   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2468   parameters:
2469   - "throughput"
2470   - "parent"
2471   traces:
2472     hoverinfo: "x+y"
2473     boxpoints: "outliers"
2474     whiskerwidth: 0
2475   layout:
2476     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2477     layout:
2478       "plot-throughput"
2479
2480 -
2481   type: "plot"
2482   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2483   algorithm: "plot_performance_box"
2484   output-file-type: ".html"
2485   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-pdrdisc"
2486   data:
2487     "plot-dpdk-throughput-latency"
2488   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2489   parameters:
2490   - "throughput"
2491   - "parent"
2492   traces:
2493     hoverinfo: "x+y"
2494     boxpoints: "outliers"
2495     whiskerwidth: 0
2496   layout:
2497     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2498     layout:
2499       "plot-throughput"
2500
2501 -
2502   type: "plot"
2503   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
2504   algorithm: "plot_performance_box"
2505   output-file-type: ".html"
2506   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-pdrdisc"
2507   data:
2508     "plot-dpdk-throughput-latency"
2509   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD'"
2510   parameters:
2511   - "throughput"
2512   - "parent"
2513   traces:
2514     hoverinfo: "x+y"
2515     boxpoints: "outliers"
2516     whiskerwidth: 0
2517   layout:
2518     title: "64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
2519     xaxis:
2520       autorange: True
2521       autotick: False
2522       fixedrange: False
2523       gridcolor: "rgb(238, 238, 238)"
2524       linecolor: "rgb(238, 238, 238)"
2525       linewidth: 1
2526       showgrid: True
2527       showline: True
2528       showticklabels: True
2529       tickcolor: "rgb(238, 238, 238)"
2530       tickmode: "linear"
2531       title: "Indexed Test Cases"
2532       zeroline: False
2533     yaxis:
2534       gridcolor: "rgb(238, 238, 238)'"
2535       hoverformat: ".4s"
2536       linecolor: "rgb(238, 238, 238)"
2537       linewidth: 1
2538       range: [20000000, 30000000]
2539       showgrid: True
2540       showline: True
2541       showticklabels: True
2542       tickcolor: "rgb(238, 238, 238)"
2543       title: "Packets Per Second [pps]"
2544       zeroline: False
2545     boxmode: "group"
2546     boxgroupgap: 0.5
2547     autosize: False
2548     margin:
2549       t: 50
2550       b: 20
2551       l: 50
2552       r: 20
2553     showlegend: True
2554     legend:
2555       orientation: "h"
2556     width: 700
2557     height: 1000
2558
2559 -
2560   type: "plot"
2561   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
2562   algorithm: "plot_performance_box"
2563   output-file-type: ".html"
2564   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-pdrdisc"
2565   data:
2566     "plot-dpdk-throughput-latency"
2567   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD'"
2568   parameters:
2569   - "throughput"
2570   - "parent"
2571   traces:
2572     hoverinfo: "x+y"
2573     boxpoints: "outliers"
2574     whiskerwidth: 0
2575   layout:
2576     title: "64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
2577     xaxis:
2578       autorange: True
2579       autotick: False
2580       fixedrange: False
2581       gridcolor: "rgb(238, 238, 238)"
2582       linecolor: "rgb(238, 238, 238)"
2583       linewidth: 1
2584       showgrid: True
2585       showline: True
2586       showticklabels: True
2587       tickcolor: "rgb(238, 238, 238)"
2588       tickmode: "linear"
2589       title: "Indexed Test Cases"
2590       zeroline: False
2591     yaxis:
2592       gridcolor: "rgb(238, 238, 238)'"
2593       hoverformat: ".4s"
2594       linecolor: "rgb(238, 238, 238)"
2595       linewidth: 1
2596       range: [20000000, 30000000]
2597       showgrid: True
2598       showline: True
2599       showticklabels: True
2600       tickcolor: "rgb(238, 238, 238)"
2601       title: "Packets Per Second [pps]"
2602       zeroline: False
2603     boxmode: "group"
2604     boxgroupgap: 0.5
2605     autosize: False
2606     margin:
2607       t: 50
2608       b: 20
2609       l: 50
2610       r: 20
2611     showlegend: True
2612     legend:
2613       orientation: "h"
2614     width: 700
2615     height: 1000
2616
2617 # Plot latency
2618
2619 # VPP L2 sel1
2620 -
2621   type: "plot"
2622   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2623   algorithm: "plot_latency_box"
2624   output-file-type: ".html"
2625   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc-lat50"
2626   data:
2627     "plot-vpp-throughput-latency"
2628   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2629   parameters:
2630   - "latency"
2631   - "parent"
2632   traces:
2633     boxmean: False
2634   layout:
2635     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2636     layout:
2637       "plot-latency"
2638
2639 -
2640   type: "plot"
2641   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2642   algorithm: "plot_latency_box"
2643   output-file-type: ".html"
2644   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc-lat50"
2645   data:
2646     "plot-vpp-throughput-latency"
2647   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2648   parameters:
2649   - "latency"
2650   - "parent"
2651   traces:
2652     boxmean: False
2653   layout:
2654     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2655     layout:
2656       "plot-latency"
2657
2658 # VPP L2 sel2
2659 -
2660   type: "plot"
2661   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2662   algorithm: "plot_latency_box"
2663   output-file-type: ".html"
2664   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc-lat50"
2665   data:
2666     "plot-vpp-throughput-latency"
2667   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2668   parameters:
2669   - "latency"
2670   - "parent"
2671   traces:
2672     boxmean: False
2673   layout:
2674     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2675     layout:
2676       "plot-latency"
2677
2678 -
2679   type: "plot"
2680   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2681   algorithm: "plot_latency_box"
2682   output-file-type: ".html"
2683   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc-lat50"
2684   data:
2685     "plot-vpp-throughput-latency"
2686   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2687   parameters:
2688   - "latency"
2689   - "parent"
2690   traces:
2691     boxmean: False
2692   layout:
2693     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2694     layout:
2695       "plot-latency"
2696
2697 # VPP IP4
2698 -
2699   type: "plot"
2700   title: "VPP Latency 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2701   algorithm: "plot_latency_box"
2702   output-file-type: ".html"
2703   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc-lat50"
2704   data:
2705     "plot-vpp-throughput-latency"
2706   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
2707   parameters:
2708   - "latency"
2709   - "parent"
2710   traces:
2711     boxmean: False
2712   layout:
2713     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2714     layout:
2715       "plot-latency"
2716
2717 -
2718   type: "plot"
2719   title: "VPP Latency 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2720   algorithm: "plot_latency_box"
2721   output-file-type: ".html"
2722   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc-lat50"
2723   data:
2724     "plot-vpp-throughput-latency"
2725   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
2726   parameters:
2727   - "latency"
2728   - "parent"
2729   traces:
2730     boxmean: False
2731   layout:
2732     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2733     layout:
2734       "plot-latency"
2735
2736 # VPP IP6
2737 -
2738   type: "plot"
2739   title: "VPP Latency 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2740   algorithm: "plot_latency_box"
2741   output-file-type: ".html"
2742   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc-lat50"
2743   data:
2744     "plot-vpp-throughput-latency"
2745   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2746   parameters:
2747   - "latency"
2748   - "parent"
2749   traces:
2750     boxmean: False
2751   layout:
2752     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2753     layout:
2754       "plot-latency"
2755
2756 -
2757   type: "plot"
2758   title: "VPP Latency 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2759   algorithm: "plot_latency_box"
2760   output-file-type: ".html"
2761   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc-lat50"
2762   data:
2763     "plot-vpp-throughput-latency"
2764   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2765   parameters:
2766   - "latency"
2767   - "parent"
2768   traces:
2769     boxmean: False
2770   layout:
2771     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2772     layout:
2773       "plot-latency"
2774
2775 # VPP IP4_overlay
2776 -
2777   type: "plot"
2778   title: "VPP Latency 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2779   algorithm: "plot_latency_box"
2780   output-file-type: ".html"
2781   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc-lat50"
2782   data:
2783     "plot-vpp-throughput-latency"
2784   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2785   parameters:
2786   - "latency"
2787   - "parent"
2788   traces:
2789     boxmean: False
2790   layout:
2791     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2792     layout:
2793       "plot-latency"
2794
2795 -
2796   type: "plot"
2797   title: "VPP Latency 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2798   algorithm: "plot_latency_box"
2799   output-file-type: ".html"
2800   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc-lat50"
2801   data:
2802     "plot-vpp-throughput-latency"
2803   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2804   parameters:
2805   - "latency"
2806   - "parent"
2807   traces:
2808     boxmean: False
2809   layout:
2810     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2811     layout:
2812       "plot-latency"
2813
2814 # VPP IP6_overlay
2815 -
2816   type: "plot"
2817   title: "VPP Latency 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2818   algorithm: "plot_latency_box"
2819   output-file-type: ".html"
2820   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc-lat50"
2821   data:
2822     "plot-vpp-throughput-latency"
2823   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2824   parameters:
2825   - "latency"
2826   - "parent"
2827   traces:
2828     boxmean: False
2829   layout:
2830     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2831     layout:
2832       "plot-latency"
2833
2834 -
2835   type: "plot"
2836   title: "VPP Latency 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2837   algorithm: "plot_latency_box"
2838   output-file-type: ".html"
2839   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc-lat50"
2840   data:
2841     "plot-vpp-throughput-latency"
2842   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2843   parameters:
2844   - "latency"
2845   - "parent"
2846   traces:
2847     boxmean: False
2848   layout:
2849     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2850     layout:
2851       "plot-latency"
2852
2853 # VPP VM VHOST
2854 -
2855   type: "plot"
2856   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
2857   algorithm: "plot_latency_box"
2858   output-file-type: ".html"
2859   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc-lat50"
2860   data:
2861     "plot-vpp-throughput-latency"
2862   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2863   parameters:
2864   - "latency"
2865   - "parent"
2866   traces:
2867     boxmean: False
2868   layout:
2869     title: "64B-1t1c-.*vhost.*-ndrdisc"
2870     layout:
2871       "plot-latency"
2872
2873 -
2874   type: "plot"
2875   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
2876   algorithm: "plot_latency_box"
2877   output-file-type: ".html"
2878   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc-lat50"
2879   data:
2880     "plot-vpp-throughput-latency"
2881   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2882   parameters:
2883   - "latency"
2884   - "parent"
2885   traces:
2886     boxmean: False
2887   layout:
2888     title: "64B-2t2c-.*vhost.*-ndrdisc"
2889     layout:
2890       "plot-latency"
2891
2892 # VPP VM VHOST selection
2893 -
2894   type: "plot"
2895   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
2896   algorithm: "plot_latency_box"
2897   output-file-type: ".html"
2898   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc-lat50"
2899   data:
2900     "plot-vpp-throughput-latency"
2901   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2902   parameters:
2903   - "latency"
2904   - "parent"
2905   traces:
2906     boxmean: False
2907   layout:
2908     title: "64B-1t1c-.*vhost.*-ndrdisc"
2909     layout:
2910       "plot-latency"
2911
2912 -
2913   type: "plot"
2914   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
2915   algorithm: "plot_latency_box"
2916   output-file-type: ".html"
2917   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc-lat50"
2918   data:
2919     "plot-vpp-throughput-latency"
2920   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2921   parameters:
2922   - "latency"
2923   - "parent"
2924   traces:
2925     boxmean: False
2926   layout:
2927     title: "64B-2t2c-.*vhost.*-ndrdisc"
2928     layout:
2929       "plot-latency"
2930
2931 # VPP CRYPTO
2932 -
2933   type: "plot"
2934   title: "VPP Latency 64B-1t1c-.*ipsec.*-ndrdisc"
2935   algorithm: "plot_latency_box"
2936   output-file-type: ".html"
2937   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc-lat50"
2938   data:
2939     "plot-vpp-throughput-latency"
2940   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2941   parameters:
2942   - "latency"
2943   - "parent"
2944   traces:
2945     boxmean: False
2946   layout:
2947     title: "64B-1t1c-.*ipsec.*-ndrdisc"
2948     layout:
2949       "plot-latency"
2950
2951 -
2952   type: "plot"
2953   title: "VPP Latency 64B-2t2c-.*ipsec.*-ndrdisc"
2954   algorithm: "plot_latency_box"
2955   output-file-type: ".html"
2956   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc-lat50"
2957   data:
2958     "plot-vpp-throughput-latency"
2959   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2960   parameters:
2961   - "latency"
2962   - "parent"
2963   traces:
2964     boxmean: False
2965   layout:
2966     title: "64B-2t2c-.*ipsec.*-ndrdisc"
2967     layout:
2968       "plot-latency"
2969
2970 # DPDK
2971 -
2972   type: "plot"
2973   title: "DPDK Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2974   algorithm: "plot_latency_box"
2975   output-file-type: ".html"
2976   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc-lat50"
2977   data:
2978     "plot-dpdk-throughput-latency"
2979   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2980   parameters:
2981   - "latency"
2982   - "parent"
2983   traces:
2984     boxmean: False
2985   layout:
2986     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2987     layout:
2988       "plot-latency"
2989
2990 -
2991   type: "plot"
2992   title: "DPDK Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2993   algorithm: "plot_latency_box"
2994   output-file-type: ".html"
2995   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc-lat50"
2996   data:
2997     "plot-dpdk-throughput-latency"
2998   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2999   parameters:
3000   - "latency"
3001   - "parent"
3002   traces:
3003     boxmean: False
3004   layout:
3005     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3006     layout:
3007       "plot-latency"
3008
3009 -
3010   type: "plot"
3011   title: "DPDK Latency 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3012   algorithm: "plot_latency_box"
3013   output-file-type: ".html"
3014   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc-lat50"
3015   data:
3016     "plot-dpdk-throughput-latency"
3017   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
3018   parameters:
3019   - "latency"
3020   - "parent"
3021   traces:
3022     boxmean: False
3023   layout:
3024     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3025     layout:
3026       "plot-latency"
3027
3028 -
3029   type: "plot"
3030   title: "DPDK Latency 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3031   algorithm: "plot_latency_box"
3032   output-file-type: ".html"
3033   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc-lat50"
3034   data:
3035     "plot-dpdk-throughput-latency"
3036   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
3037   parameters:
3038   - "latency"
3039   - "parent"
3040   traces:
3041     boxmean: False
3042   layout:
3043     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3044     layout:
3045       "plot-latency"
3046
3047 # Ligato - Throughput
3048
3049 # Container memif
3050 -
3051   type: "plot"
3052   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3053   algorithm: "plot_performance_box"
3054   output-file-type: ".html"
3055   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc"
3056   data:
3057     "plot-vpp-throughput-latency"
3058   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3059   parameters:
3060   - "throughput"
3061   - "parent"
3062   traces:
3063     hoverinfo: "x+y"
3064     boxpoints: "outliers"
3065     whiskerwidth: 0
3066   layout:
3067     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3068     xaxis:
3069       autorange: True
3070       autotick: False
3071       fixedrange: False
3072       gridcolor: "rgb(238, 238, 238)"
3073       linecolor: "rgb(238, 238, 238)"
3074       linewidth: 1
3075       showgrid: True
3076       showline: True
3077       showticklabels: True
3078       tickcolor: "rgb(238, 238, 238)"
3079       tickmode: "linear"
3080       title: "Indexed Test Cases"
3081       zeroline: False
3082     yaxis:
3083       gridcolor: "rgb(238, 238, 238)'"
3084       hoverformat: ".4s"
3085       linecolor: "rgb(238, 238, 238)"
3086       linewidth: 1
3087       range: [0, 4500000]
3088       showgrid: True
3089       showline: True
3090       showticklabels: True
3091       tickcolor: "rgb(238, 238, 238)"
3092       title: "Packets Per Second [pps]"
3093       zeroline: False
3094     boxmode: "group"
3095     boxgroupgap: 0.5
3096     autosize: False
3097     margin:
3098       t: 50
3099       b: 20
3100       l: 50
3101       r: 20
3102     showlegend: True
3103     legend:
3104       orientation: "h"
3105     width: 700
3106     height: 1000
3107
3108 -
3109   type: "plot"
3110   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3111   algorithm: "plot_performance_box"
3112   output-file-type: ".html"
3113   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc"
3114   data:
3115     "plot-vpp-throughput-latency"
3116   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3117   parameters:
3118   - "throughput"
3119   - "parent"
3120   traces:
3121     hoverinfo: "x+y"
3122     boxpoints: "outliers"
3123     whiskerwidth: 0
3124   layout:
3125     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3126     xaxis:
3127       autorange: True
3128       autotick: False
3129       fixedrange: False
3130       gridcolor: "rgb(238, 238, 238)"
3131       linecolor: "rgb(238, 238, 238)"
3132       linewidth: 1
3133       showgrid: True
3134       showline: True
3135       showticklabels: True
3136       tickcolor: "rgb(238, 238, 238)"
3137       tickmode: "linear"
3138       title: "Indexed Test Cases"
3139       zeroline: False
3140     yaxis:
3141       gridcolor: "rgb(238, 238, 238)'"
3142       hoverformat: ".4s"
3143       linecolor: "rgb(238, 238, 238)"
3144       linewidth: 1
3145       range: [0, 8000000]
3146       showgrid: True
3147       showline: True
3148       showticklabels: True
3149       tickcolor: "rgb(238, 238, 238)"
3150       title: "Packets Per Second [pps]"
3151       zeroline: False
3152     boxmode: "group"
3153     boxgroupgap: 0.5
3154     autosize: False
3155     margin:
3156       t: 50
3157       b: 20
3158       l: 50
3159       r: 20
3160     showlegend: True
3161     legend:
3162       orientation: "h"
3163     width: 700
3164     height: 1000
3165
3166 -
3167   type: "plot"
3168   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3169   algorithm: "plot_performance_box"
3170   output-file-type: ".html"
3171   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-pdrdisc"
3172   data:
3173     "plot-vpp-throughput-latency"
3174   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3175   parameters:
3176   - "throughput"
3177   - "parent"
3178   traces:
3179     hoverinfo: "x+y"
3180     boxpoints: "outliers"
3181     whiskerwidth: 0
3182   layout:
3183     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3184     xaxis:
3185       autorange: True
3186       autotick: False
3187       fixedrange: False
3188       gridcolor: "rgb(238, 238, 238)"
3189       linecolor: "rgb(238, 238, 238)"
3190       linewidth: 1
3191       showgrid: True
3192       showline: True
3193       showticklabels: True
3194       tickcolor: "rgb(238, 238, 238)"
3195       tickmode: "linear"
3196       title: "Indexed Test Cases"
3197       zeroline: False
3198     yaxis:
3199       gridcolor: "rgb(238, 238, 238)'"
3200       hoverformat: ".4s"
3201       linecolor: "rgb(238, 238, 238)"
3202       linewidth: 1
3203       range: [0, 4500000]
3204       showgrid: True
3205       showline: True
3206       showticklabels: True
3207       tickcolor: "rgb(238, 238, 238)"
3208       title: "Packets Per Second [pps]"
3209       zeroline: False
3210     boxmode: "group"
3211     boxgroupgap: 0.5
3212     autosize: False
3213     margin:
3214       t: 50
3215       b: 20
3216       l: 50
3217       r: 20
3218     showlegend: True
3219     legend:
3220       orientation: "h"
3221     width: 700
3222     height: 1000
3223
3224 -
3225   type: "plot"
3226   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3227   algorithm: "plot_performance_box"
3228   output-file-type: ".html"
3229   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-pdrdisc"
3230   data:
3231     "plot-vpp-throughput-latency"
3232   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3233   parameters:
3234   - "throughput"
3235   - "parent"
3236   traces:
3237     hoverinfo: "x+y"
3238     boxpoints: "outliers"
3239     whiskerwidth: 0
3240   layout:
3241     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3242     xaxis:
3243       autorange: True
3244       autotick: False
3245       fixedrange: False
3246       gridcolor: "rgb(238, 238, 238)"
3247       linecolor: "rgb(238, 238, 238)"
3248       linewidth: 1
3249       showgrid: True
3250       showline: True
3251       showticklabels: True
3252       tickcolor: "rgb(238, 238, 238)"
3253       tickmode: "linear"
3254       title: "Indexed Test Cases"
3255       zeroline: False
3256     yaxis:
3257       gridcolor: "rgb(238, 238, 238)'"
3258       hoverformat: ".4s"
3259       linecolor: "rgb(238, 238, 238)"
3260       linewidth: 1
3261       range: [0, 8000000]
3262       showgrid: True
3263       showline: True
3264       showticklabels: True
3265       tickcolor: "rgb(238, 238, 238)"
3266       title: "Packets Per Second [pps]"
3267       zeroline: False
3268     boxmode: "group"
3269     boxgroupgap: 0.5
3270     autosize: False
3271     margin:
3272       t: 50
3273       b: 20
3274       l: 50
3275       r: 20
3276     showlegend: True
3277     legend:
3278       orientation: "h"
3279     width: 700
3280     height: 1000
3281
3282 # Container orchestrated
3283 -
3284   type: "plot"
3285   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3286   algorithm: "plot_performance_box"
3287   output-file-type: ".html"
3288   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc"
3289   data:
3290     "plot-ligato-throughput-latency"
3291   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3292   parameters:
3293   - "throughput"
3294   - "parent"
3295   traces:
3296     hoverinfo: "x+y"
3297     boxpoints: "outliers"
3298     whiskerwidth: 0
3299   layout:
3300     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3301     layout:
3302       "plot-throughput"
3303
3304 -
3305   type: "plot"
3306   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3307   algorithm: "plot_performance_box"
3308   output-file-type: ".html"
3309   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc"
3310   data:
3311     "plot-ligato-throughput-latency"
3312   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3313   parameters:
3314   - "throughput"
3315   - "parent"
3316   traces:
3317     hoverinfo: "x+y"
3318     boxpoints: "outliers"
3319     whiskerwidth: 0
3320   layout:
3321     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3322     layout:
3323       "plot-throughput"
3324
3325 -
3326   type: "plot"
3327   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3328   algorithm: "plot_performance_box"
3329   output-file-type: ".html"
3330   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-pdrdisc"
3331   data:
3332     "plot-ligato-throughput-latency"
3333   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3334   parameters:
3335   - "throughput"
3336   - "parent"
3337   traces:
3338     hoverinfo: "x+y"
3339     boxpoints: "outliers"
3340     whiskerwidth: 0
3341   layout:
3342     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3343     layout:
3344       "plot-throughput"
3345
3346 -
3347   type: "plot"
3348   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3349   algorithm: "plot_performance_box"
3350   output-file-type: ".html"
3351   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-pdrdisc"
3352   data:
3353     "plot-ligato-throughput-latency"
3354   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3355   parameters:
3356   - "throughput"
3357   - "parent"
3358   traces:
3359     hoverinfo: "x+y"
3360     boxpoints: "outliers"
3361     whiskerwidth: 0
3362   layout:
3363     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3364     layout:
3365       "plot-throughput"
3366
3367 # Ligato - Latency
3368
3369 # Container memif
3370 -
3371   type: "plot"
3372   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3373   algorithm: "plot_latency_box"
3374   output-file-type: ".html"
3375   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc-lat50"
3376   data:
3377     "plot-vpp-throughput-latency"
3378   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3379   parameters:
3380   - "latency"
3381   - "parent"
3382   traces:
3383     boxmean: False
3384   layout:
3385     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3386     layout:
3387       "plot-latency"
3388
3389 -
3390   type: "plot"
3391   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3392   algorithm: "plot_latency_box"
3393   output-file-type: ".html"
3394   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc-lat50"
3395   data:
3396     "plot-vpp-throughput-latency"
3397   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3398   parameters:
3399   - "latency"
3400   - "parent"
3401   traces:
3402     boxmean: False
3403   layout:
3404     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3405     layout:
3406       "plot-latency"
3407
3408 # Container orchestrated
3409 -
3410   type: "plot"
3411   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3412   algorithm: "plot_latency_box"
3413   output-file-type: ".html"
3414   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc-lat50"
3415   data:
3416     "plot-ligato-throughput-latency"
3417   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3418   parameters:
3419   - "latency"
3420   - "parent"
3421   traces:
3422     boxmean: False
3423   layout:
3424     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3425     layout:
3426       "plot-latency"
3427
3428 -
3429   type: "plot"
3430   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3431   algorithm: "plot_latency_box"
3432   output-file-type: ".html"
3433   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc-lat50"
3434   data:
3435     "plot-ligato-throughput-latency"
3436   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3437   parameters:
3438   - "latency"
3439   - "parent"
3440   traces:
3441     boxmean: False
3442   layout:
3443     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3444     layout:
3445       "plot-latency"