resources/tools/presentation/specification.yaml

   1 -
   2   type: "environment"
   3   configuration:
   4     # Debug mode:
   5     # - Skip:
   6     #   - Download of input data files
   7     # - Do:
   8     #   - Read data from given zip / xml files
   9     #   - Set the configuration as it is done in normal mode
  10     # If the section "type: debug" is missing, CFG[DEBUG] is set to 0.
  11     CFG[DEBUG]: 0
  12
  13   paths:
  14     # Top level directories:
  15     ## Working directory
  16     DIR[WORKING]: "_tmp"
  17     ## Build directories
  18     DIR[BUILD,HTML]: "_build"
  19     DIR[BUILD,LATEX]: "_build_latex"
  20
  21     # Static .rst files
  22     DIR[RST]: "../../../docs/report"
  23
  24     # Working directories
  25     ## Input data files (.zip, .xml)
  26     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
  27     ## Static source files from git
  28     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
  29     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
  30
  31     # Static html content
  32     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
  33     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
  34     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
  35     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
  36
  37     # Detailed test results
  38     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
  39     DIR[DTR,PERF,DPDK]: "{DIR[DTR]}/dpdk_performance_results"
  40     DIR[DTR,PERF,VPP]: "{DIR[DTR]}/vpp_performance_results"
  41     DIR[DTR,PERF,COT]: "{DIR[DTR]}/cot_performance_results"
  42     DIR[DTR,PERF,HC]: "{DIR[DTR]}/honeycomb_performance_results"
  43     DIR[DTR,FUNC,VPP]: "{DIR[DTR]}/vpp_functional_results"
  44     DIR[DTR,FUNC,VPP,CENTOS]: "{DIR[DTR]}/vpp_functional_results_centos"
  45     DIR[DTR,FUNC,HC]: "{DIR[DTR]}/honeycomb_functional_results"
  46     DIR[DTR,FUNC,NSHSFC]: "{DIR[DTR]}/nshsfc_functional_results"
  47     DIR[DTR,PERF,VPP,IMPRV]: "{DIR[WORKING,SRC]}/vpp_performance_tests/performance_improvements"
  48
  49     # Detailed test configurations
  50     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
  51     DIR[DTC,PERF,VPP]: "{DIR[DTC]}/vpp_performance_configuration"
  52     DIR[DTC,FUNC,VPP]: "{DIR[DTC]}/vpp_functional_configuration"
  53     DIR[DTC,FUNC,VPP,CENTOS]: "{DIR[DTC]}/vpp_functional_configuration_centos"
  54
  55     # Detailed tests operational data
  56     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
  57     DIR[DTO,PERF,VPP]: "{DIR[DTO]}/vpp_performance_operational_data"
  58
  59     # .css patch file to fix tables generated by Sphinx
  60     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
  61     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
  62
  63   urls:
  64     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
  65     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
  66     URL[NEXUS]: "https://docs.fd.io/csit"
  67     DIR[NEXUS]: "report/_static/archive"
  68
  69   make-dirs:
  70   # List the directories which are created while preparing the environment.
  71   # All directories MUST be defined in "paths" section.
  72   - "DIR[WORKING,DATA]"
  73   - "DIR[STATIC,VPP]"
  74   - "DIR[STATIC,DPDK]"
  75   - "DIR[STATIC,ARCH]"
  76   - "DIR[BUILD,LATEX]"
  77   - "DIR[WORKING,SRC]"
  78   - "DIR[WORKING,SRC,STATIC]"
  79
  80   remove-dirs:
  81   # List the directories which are deleted while cleaning the environment.
  82   # All directories MUST be defined in "paths" section.
  83   #- "DIR[BUILD,HTML]"
  84   - "DIR[WORKING,DATA]"
  85
  86   build-dirs:
  87   # List the directories where the results (build) is stored.
  88   # All directories MUST be defined in "paths" section.
  89   - "DIR[BUILD,HTML]"
  90   - "DIR[BUILD,LATEX]"
  91
  92 -
  93   type: "configuration"
  94   data-sets:
  95     plot-vpp-http-server-performance:
  96 # TODO: Add the data sources
  97       csit-vpp-perf-1801-all:
  98       - 157
  99       - 158
 100       - 159
 101       - 160
 102       - 161
 103       - 164
 104       - 165
 105       - 166
 106       - 168
 107       - 169
 108       - 170
 109 # TODO: Add the data sources
 110 #    vpp-meltdown-impact:
 111 #      csit-vpp-perf-1707-all:
 112 #      - 9
 113 #      - 10
 114 #      - 13
 115 #      csit-vpp-perf-1710-all:
 116 #      - 11l
 117 #      - 12
 118 #      - 13
 119 # TODO: Add the data sources
 120 #    vpp-spectre-impact:
 121 #      csit-vpp-perf-1707-all:
 122 #      - 9
 123 #      - 10
 124 #      - 13
 125 #      csit-vpp-perf-1710-all:
 126 #      - 11
 127 #      - 12
 128 #      - 13
 129     vpp-performance-changes:
 130       csit-vpp-perf-1710-all:
 131       - 11
 132       - 12
 133       - 13
 134       - 14
 135       - 15
 136       - 16
 137       - 17
 138       - 18
 139       - 19
 140       - 20
 141       csit-vpp-perf-1801-all:
 142       - 124  # sel
 143       - 127  # sel
 144       - 128  # sel
 145       - 141  # sel
 146       - 142  # sel
 147       - 143  # sel
 148       - 145  # sel
 149       - 146  # sel
 150       - 162  # sel
 151       - 163  # sel
 152       - 167  # sel
 153       - 172  # sel acl only
 154       csit-vpp-perf-1804-all:
 155       - 21  # sel
 156       - 22  # sel
 157       - 23  # sel
 158       - 24  # sel
 159       - 27  # sel
 160       - 28  # sel
 161       - 29  # sel
 162       - 30  # sel
 163     vpp-performance-changes-mrr:
 164       csit-vpp-perf-check-1801:
 165       - 1
 166       - 2
 167       - 3
 168       - 4
 169       - 5
 170       - 6
 171       - 7
 172       - 8
 173       - 9
 174       - 11
 175       - 12
 176       - 13
 177       csit-vpp-perf-check-1804:
 178       - 5   # mrr - full
 179       - 6   # mrr - sel
 180       - 7   # mrr - sel
 181       - 8   # mrr - sel
 182       - 9   # mrr - sel
 183       - 10  # mrr - sel
 184       - 11  # mrr - sel
 185       - 12  # mrr - sel
 186     plot-throughput-speedup-analysis:
 187       csit-vpp-perf-1804-all:
 188       - 19  # full
 189       - 20  # full
 190       - 25  # full
 191       - 26  # full
 192       - 21  # sel
 193       - 22  # sel
 194       - 23  # sel
 195       - 24  # sel
 196       - 27  # sel
 197       - 28  # sel
 198       - 29  # sel
 199       - 30  # sel
 200 #    performance-improvements:
 201 #      csit-vpp-perf-1707-all:
 202 #      - 9
 203 #      - 10
 204 #      - 13
 205 #      - 14
 206 #      - 15
 207 #      - 16
 208 #      - 17
 209 #      - 18
 210 #      - 19
 211 #      - 21
 212 #      csit-vpp-perf-1710-all:
 213 #      - 11
 214 #      - 12
 215 #      - 13
 216 #      - 14
 217 #      - 15
 218 #      - 16
 219 #      - 17
 220 #      - 18
 221 #      - 19
 222 #      - 20
 223 #      csit-vpp-perf-1801-all:
 224 #      - 124
 225 #      - 127
 226 #      - 128
 227 #      csit-ligato-perf-1710-all:
 228 #      - 5
 229 #      - 7
 230 #      - 8
 231 #      - 9
 232 #      - 10
 233 #      - 11
 234 #      - 12
 235 #      - 13
 236 #      - 16
 237 #      - 17
 238 #      csit-ligato-perf-1801-all:
 239 #      - 16  # sel
 240 #      - 17  # sel
 241 #      - 18  # sel
 242 #      - 19  # sel
 243 #      - 20  # sel
 244 #      - 21  # sel
 245 #      - 22  # sel
 246 #      - 23  # sel
 247 #      - 24  # sel
 248     vpp-perf-results:
 249       csit-vpp-perf-1804-all:
 250       - 19  # full
 251       - 20  # full
 252       - 25  # full
 253       - 26  # full
 254     vpp-func-results:
 255       csit-vpp-functional-1804-ubuntu1604-virl:
 256       - 168
 257     vpp-func-results-centos:
 258       csit-vpp-functional-1804-centos7-virl:
 259       - 175
 260     ligato-perf-results:
 261       csit-ligato-perf-1801-all:
 262       - 25  # full
 263     dpdk-perf-results:
 264       csit-dpdk-perf-1804-all:
 265       - 13
 266     hc-func-results:
 267       csit-hc2vpp-verify-func-1804-ubuntu1604:
 268       - 3
 269     nsh-func-results:
 270       csit-nsh_sfc-verify-func-1804-ubuntu1604-virl:
 271       - 7
 272     plot-vpp-throughput-latency:
 273       csit-vpp-perf-1804-all:
 274       - 19  # full
 275       - 20  # full
 276       - 25  # full
 277       - 26  # full
 278       - 21  # sel
 279       - 22  # sel
 280       - 23  # sel
 281       - 24  # sel
 282       - 27  # sel
 283       - 28  # sel
 284       - 29  # sel
 285       - 30  # sel
 286     plot-dpdk-throughput-latency:
 287       csit-dpdk-perf-1804-all:
 288       - 4
 289       - 5
 290       - 6
 291       - 7
 292       - 8
 293       - 9
 294       - 10
 295       - 11
 296       - 12
 297       - 13
 298     plot-ligato-throughput-latency:
 299       csit-ligato-perf-1801-all:
 300       - 16  # sel
 301       - 17  # sel
 302       - 18  # sel
 303       - 19  # sel
 304       - 20  # sel
 305       - 21  # sel
 306       - 22  # sel
 307       - 23  # sel
 308       - 24  # sel
 309
 310   plot-layouts:
 311
 312     plot-cps:
 313       xaxis:
 314         autorange: True
 315         autotick: False
 316         fixedrange: False
 317         gridcolor: "rgb(238, 238, 238)"
 318         linecolor: "rgb(238, 238, 238)"
 319         linewidth: 1
 320         showgrid: True
 321         showline: True
 322         showticklabels: True
 323         tickcolor: "rgb(238, 238, 238)"
 324         tickmode: "linear"
 325         title: "Indexed Test Cases"
 326         zeroline: False
 327       yaxis:
 328         gridcolor: "rgb(238, 238, 238)'"
 329         hoverformat: ".4s"
 330         linecolor: "rgb(238, 238, 238)"
 331         linewidth: 1
 332         range: []
 333         rangemode: "tozero"
 334         showgrid: True
 335         showline: True
 336         showticklabels: True
 337         tickcolor: "rgb(238, 238, 238)"
 338         title: "Connections Per Second [cps]"
 339         zeroline: False
 340       boxmode: "group"
 341       boxgroupgap: 0.5
 342       autosize: False
 343       margin:
 344         t: 50
 345         b: 20
 346         l: 50
 347         r: 20
 348       showlegend: True
 349       legend:
 350         orientation: "h"
 351       width: 700
 352       height: 1000
 353
 354     plot-rps:
 355       xaxis:
 356         autorange: True
 357         autotick: False
 358         fixedrange: False
 359         gridcolor: "rgb(238, 238, 238)"
 360         linecolor: "rgb(238, 238, 238)"
 361         linewidth: 1
 362         showgrid: True
 363         showline: True
 364         showticklabels: True
 365         tickcolor: "rgb(238, 238, 238)"
 366         tickmode: "linear"
 367         title: "Indexed Test Cases"
 368         zeroline: False
 369       yaxis:
 370         gridcolor: "rgb(238, 238, 238)'"
 371         hoverformat: ".4s"
 372         linecolor: "rgb(238, 238, 238)"
 373         linewidth: 1
 374         range: []
 375         rangemode: "tozero"
 376         showgrid: True
 377         showline: True
 378         showticklabels: True
 379         tickcolor: "rgb(238, 238, 238)"
 380         title: "Requests Per Second [rps]"
 381         zeroline: False
 382       boxmode: "group"
 383       boxgroupgap: 0.5
 384       autosize: False
 385       margin:
 386         t: 50
 387         b: 20
 388         l: 50
 389         r: 20
 390       showlegend: True
 391       legend:
 392         orientation: "h"
 393       width: 700
 394       height: 1000
 395
 396     plot-throughput:
 397       xaxis:
 398         autorange: True
 399         autotick: False
 400         fixedrange: False
 401         gridcolor: "rgb(238, 238, 238)"
 402         linecolor: "rgb(238, 238, 238)"
 403         linewidth: 1
 404         showgrid: True
 405         showline: True
 406         showticklabels: True
 407         tickcolor: "rgb(238, 238, 238)"
 408         tickmode: "linear"
 409         title: "Indexed Test Cases"
 410         zeroline: False
 411       yaxis:
 412         gridcolor: "rgb(238, 238, 238)'"
 413         hoverformat: ".4s"
 414         linecolor: "rgb(238, 238, 238)"
 415         linewidth: 1
 416         range: []
 417         showgrid: True
 418         showline: True
 419         showticklabels: True
 420         tickcolor: "rgb(238, 238, 238)"
 421         title: "Packets Per Second [pps]"
 422         zeroline: False
 423       boxmode: "group"
 424       boxgroupgap: 0.5
 425       autosize: False
 426       margin:
 427         t: 50
 428         b: 20
 429         l: 50
 430         r: 20
 431       showlegend: True
 432       legend:
 433         orientation: "h"
 434       width: 700
 435       height: 1000
 436
 437     plot-latency:
 438       xaxis:
 439         autorange: True
 440         autotick: False
 441         fixedrange: False
 442         gridcolor: "rgb(238, 238, 238)"
 443         linecolor: "rgb(238, 238, 238)"
 444         linewidth: 1
 445         showgrid: True
 446         showline: True
 447         showticklabels: True
 448         tickcolor: "rgb(238, 238, 238)"
 449         tickmode: "linear"
 450         title: "Indexed Test Cases"
 451         zeroline: False
 452       yaxis:
 453         gridcolor: "rgb(238, 238, 238)'"
 454         hoverformat: ""
 455         linecolor: "rgb(238, 238, 238)"
 456         linewidth: 1
 457         range: []
 458         showgrid: True
 459         showline: True
 460         showticklabels: True
 461         tickcolor: "rgb(238, 238, 238)"
 462         title: "Latency min/avg/max [uSec]"
 463         zeroline: False
 464       boxmode: "group"
 465       boxgroupgap: 0.5
 466       autosize: False
 467       margin:
 468         t: 50
 469         b: 20
 470         l: 50
 471         r: 20
 472       showlegend: True
 473       legend:
 474         orientation: "h"
 475       width: 700
 476       height: 1000
 477
 478     plot-throughput-speedup-analysis:
 479       xaxis:
 480         autorange: True
 481         autotick: False
 482         fixedrange: False
 483         gridcolor: "rgb(238, 238, 238)"
 484         linecolor: "rgb(238, 238, 238)"
 485         linewidth: 1
 486         showgrid: True
 487         showline: True
 488         showticklabels: True
 489         tickcolor: "rgb(238, 238, 238)"
 490         tickmode: "linear"
 491         tickangle: 270
 492         zeroline: False
 493       yaxis:
 494         title: "Throughput speedup factor"
 495         gridcolor: "rgb(238, 238, 238)"
 496         hoverformat: ".4s"
 497         linecolor: "rgb(238, 238, 238)"
 498         linewidth: 1
 499         range: []
 500         showgrid: True
 501         showline: True
 502         showticklabels: True
 503         tickcolor: "rgb(238, 238, 238)"
 504         zeroline: False
 505       legend:
 506         orientation: "h"
 507         xanchor: "center"
 508         yanchor: "top"
 509         x: 0.5
 510         y: 1
 511         bgcolor: "rgba(255, 255, 255, 0)"
 512         bordercolor: "rgba(255, 255, 255, 0)"
 513       barmode: "group"
 514       bargap: 0.15
 515       bargroupgap: 0.1
 516       autosize: False
 517       margin:
 518           't': 50
 519           'b': 200
 520           'l': 50
 521           'r': 20
 522       showlegend: True
 523       width: 700
 524       height: 1000
 525
 526 -
 527   type: "debug"
 528   general:
 529     input-format: "xml"  # zip or xml
 530     extract: "robot-plugin/output.xml"  # Only for zip
 531   builds:
 532     # The files must be in the directory DIR[WORKING,DATA]
 533     csit-vpp-perf-1801-all:
 534     -
 535       build: 1
 536       file: "{DIR[WORKING,DATA]}/output.xml"
 537     -
 538       build: 2
 539       file: "{DIR[WORKING,DATA]}/output.xml"
 540     -
 541       build: 3
 542       file: "{DIR[WORKING,DATA]}/output.xml"
 543     -
 544       build: 4
 545       file: "{DIR[WORKING,DATA]}/output.xml"
 546
 547 -
 548   type: "static"
 549   src-path: "{DIR[RST]}"
 550   dst-path: "{DIR[WORKING,SRC]}"
 551
 552 -
 553   type: "input"  # Ignored in debug mode
 554   general:
 555     file-name: "robot-plugin.zip"
 556     file-format: ".zip"
 557     download-path: "{job}/{build}/robot/report/*zip*/{filename}"
 558     extract: "robot-plugin/output.xml"
 559   builds:
 560 #    csit-vpp-perf-1707-all:
 561 #    - 9
 562 #    - 10
 563 #    - 13
 564 #    - 14
 565 #    - 15
 566 #    - 16
 567 #    - 17
 568 #    - 18
 569 #    - 19
 570 #    - 21
 571     csit-vpp-perf-1710-all:
 572     - 11
 573     - 12
 574     - 13
 575     - 14
 576     - 15
 577     - 16
 578     - 17
 579     - 18
 580     - 19
 581     - 20
 582     csit-vpp-perf-1801-all:
 583     - 122  # full
 584     - 126  # full
 585     - 129  # full
 586     - 140  # full
 587     - 124  # sel
 588     - 127  # sel
 589     - 128  # sel
 590     - 141  # sel
 591     - 142  # sel
 592     - 143  # sel
 593     - 145  # sel
 594     - 146  # sel
 595     - 157  # wrk
 596     - 158  # wrk
 597     - 159  # wrk
 598     - 160  # wrk
 599     - 161  # wrk
 600     - 162  # sel
 601     - 163  # sel
 602     - 164  # wrk
 603     - 165  # wrk
 604     - 166  # wrk
 605     - 167  # sel
 606     - 168  # wrk
 607     - 169  # wrk
 608     - 170  # wrk
 609     - 172  # sel acl only
 610     csit-vpp-perf-1804-all:
 611     - 19  # full
 612     - 20  # full
 613     - 25  # full
 614     - 26  # full
 615     - 21  # sel
 616     - 22  # sel
 617     - 23  # sel
 618     - 24  # sel
 619     - 27  # sel
 620     - 28  # sel
 621     - 29  # sel
 622     - 30  # sel
 623     csit-vpp-perf-check-1801:
 624     - 1   # mrr
 625     - 2   # mrr
 626     - 3   # mrr
 627     - 4   # mrr
 628     - 5   # mrr
 629     - 6   # mrr
 630     - 7   # mrr
 631     - 8   # mrr
 632     - 9   # mrr
 633     - 11  # mrr
 634     - 12  # mrr
 635     - 13  # mrr
 636     csit-vpp-perf-check-1804:
 637     - 5   # mrr - full
 638     - 6   # mrr - sel
 639     - 7   # mrr - sel
 640     - 8   # mrr - sel
 641     - 9   # mrr - sel
 642     - 10  # mrr - sel
 643     - 11  # mrr - sel
 644     - 12  # mrr - sel
 645 #    csit-ligato-perf-1710-all:
 646 #    - 5
 647 #    - 7
 648 #    - 8
 649 #    - 9
 650 #    - 10
 651 #    - 11
 652 #    - 12
 653 #    - 13
 654 #    - 16
 655 #    - 17
 656     csit-ligato-perf-1801-all:
 657     - 16  # sel
 658     - 17  # sel
 659     - 18  # sel
 660     - 19  # sel
 661     - 20  # sel
 662     - 21  # sel
 663     - 22  # sel
 664     - 23  # sel
 665     - 24  # sel
 666     - 25  # full
 667     csit-dpdk-perf-1804-all:
 668     - 4
 669     - 5
 670     - 6
 671     - 7
 672     - 8
 673     - 9
 674     - 10
 675     - 11
 676     - 12
 677     - 13
 678     csit-vpp-functional-1804-ubuntu1604-virl:
 679     - 168
 680     csit-vpp-functional-1804-centos7-virl:
 681     - 175
 682     csit-nsh_sfc-verify-func-1804-ubuntu1604-virl:
 683     - 7
 684     csit-hc2vpp-verify-func-1804-ubuntu1604:
 685     - 3
 686
 687 -
 688   type: "output"
 689   output: "report"
 690   format:
 691     html:
 692     - full
 693     pdf:
 694     - minimal
 695
 696 ################################################################################
 697 ###                               T A B L E S                                ###
 698 ################################################################################
 699
 700 #-
 701 #  type: "table"
 702 #  title: "Performance Impact of Meltdown Patches"
 703 #  algorithm: "table_performance_comparison"
 704 #  output-file-ext: ".csv"
 705 ## TODO: specify dir
 706 #  output-file: "{DIR[STATIC,VPP]}/meltdown-impact"
 707 #  reference:
 708 #    title: "No Meltdown"
 709 ## TODO: specify data sources
 710 #    data:
 711 #      csit-vpp-perf-1707-all:
 712 #      - 9
 713 #      - 10
 714 #      - 13
 715 #  compare:
 716 #    title: "Meltdown Patches Applied"
 717 ## TODO: specify data sources
 718 #    data:
 719 #      csit-vpp-perf-1710-all:
 720 #      - 11
 721 #      - 12
 722 #      - 13
 723 #  data:
 724 #    "vpp-meltdown-impact"
 725 #  filter: "all"
 726 #  parameters:
 727 #  - "name"
 728 #  - "parent"
 729 #  - "throughput"
 730 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
 731 #  # to present all tests.
 732 #  nr-of-tests-shown: 20
 733 #
 734 #-
 735 #  type: "table"
 736 #  title: "Performance Impact of Spectre Patches"
 737 #  algorithm: "table_performance_comparison"
 738 #  output-file-ext: ".csv"
 739 ## TODO: specify dir
 740 #  output-file: "{DIR[STATIC,VPP]}/meltdown-spectre-impact"
 741 #  reference:
 742 #    title: "No Spectre"
 743 ## TODO: specify data sources
 744 #    data:
 745 #      csit-vpp-perf-1707-all:
 746 #      - 9
 747 #      - 10
 748 #      - 13
 749 #  compare:
 750 #    title: "Spectre Patches Applied"
 751 ## TODO: specify data sources
 752 #    data:
 753 #      csit-vpp-perf-1710-all:
 754 #      - 11
 755 #      - 12
 756 #      - 13
 757 #  data:
 758 #    "vpp-spectre-impact"
 759 #  filter: "all"
 760 #  parameters:
 761 #  - "name"
 762 #  - "parent"
 763 #  - "throughput"
 764 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
 765 #  # to present all tests.
 766 #  nr-of-tests-shown: 20
 767
 768 -
 769   type: "table"
 770   title: "VPP Performance Changes"
 771   algorithm: "table_performance_comparison"
 772   output-file-ext: ".csv"
 773   output-file: "{DIR[STATIC,VPP]}/performance-changes"
 774   history:
 775     -
 776       title: "rls1710"
 777       data:
 778         csit-vpp-perf-1710-all:
 779         - 11
 780         - 12
 781         - 13
 782         - 14
 783         - 15
 784         - 16
 785         - 17
 786         - 18
 787         - 19
 788         - 20
 789   reference:
 790     title: "rls1801"
 791     data:
 792       csit-vpp-perf-1801-all:
 793       - 124  # sel
 794       - 127  # sel
 795       - 128  # sel
 796       - 141  # sel
 797       - 142  # sel
 798       - 143  # sel
 799       - 145  # sel
 800       - 146  # sel
 801       - 162  # sel
 802       - 163  # sel
 803       - 167  # sel
 804       - 172  # sel acl only
 805   compare:
 806     title: "rls1804"
 807     data:
 808       csit-vpp-perf-1804-all:
 809       - 21  # sel
 810       - 22  # sel
 811       - 23  # sel
 812       - 24  # sel
 813       - 27  # sel
 814       - 28  # sel
 815       - 29  # sel
 816       - 30  # sel
 817   data: "vpp-performance-changes"
 818   filter: "all"
 819   parameters:
 820   - "name"
 821   - "parent"
 822   - "throughput"
 823   # Number of the best and the worst tests presented in the table. Use 0 (zero)
 824   # to present all tests.
 825   nr-of-tests-shown: 20
 826   outlier-const: 1.5
 827
 828 -
 829   type: "table"
 830   title: "VPP Performance Changes - MRR"
 831   algorithm: "table_performance_comparison_mrr"
 832   output-file-ext: ".csv"
 833   output-file: "{DIR[STATIC,VPP]}/performance-changes-mrr"
 834   reference:
 835     title: "Release 1801"
 836     data:
 837       csit-vpp-perf-check-1801:
 838       - 1
 839       - 2
 840       - 3
 841       - 4
 842       - 5
 843       - 6
 844       - 7
 845       - 8
 846       - 9
 847       - 11
 848       - 12
 849       - 13
 850   compare:
 851     title: "Release 1804"
 852     data:
 853       csit-vpp-perf-check-1804:
 854       - 5   # mrr - full
 855       - 6   # mrr - sel
 856       - 7   # mrr - sel
 857       - 8   # mrr - sel
 858       - 9   # mrr - sel
 859       - 10  # mrr - sel
 860       - 11  # mrr - sel
 861       - 12  # mrr - sel
 862   data: "vpp-performance-changes-mrr"
 863   filter: "all"
 864   parameters:
 865   - "name"
 866   - "parent"
 867   - "result"
 868   # Number of the best and the worst tests presented in the table. Use 0 (zero)
 869   # to present all tests.
 870   nr-of-tests-shown: 20
 871   outlier-const: 1.5
 872
 873 #-
 874 #  type: "table"
 875 #  title: "Performance improvements"
 876 #  algorithm: "table_performance_improvements"
 877 #  template: "{DIR[DTR,PERF,VPP,IMPRV]}/tmpl_performance_improvements.csv"
 878 #  output-file-ext: ".csv"
 879 #  output-file: "{DIR[DTR,PERF,VPP,IMPRV]}/performance_improvements"
 880 #  columns:
 881 #  -
 882 #    title: "Test Name"
 883 #    data: "template 1"
 884 #  -
 885 #    title: "16.09 mean [Mpps]"
 886 #    data: "template 2"
 887 #  -
 888 #    title: "17.01 mean [Mpps]"
 889 #    data: "template 3"
 890 #  -
 891 #    title: "17.04 mean [Mpps]"
 892 #    data: "template 4"
 893 #  -
 894 #    title: "17.07 mean [Mpps]"
 895 #    data: "data csit-vpp-perf-1707-all mean"
 896 #  -
 897 #    title: "17.10 mean [Mpps]"
 898 #    data: "data csit-vpp-perf-1710-all csit-ligato-perf-1710-all mean"
 899 #  -
 900 #    title: "18.01 mean [Mpps]"
 901 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all mean"
 902 #  -
 903 #    title: "18.01 stdev [Mpps]"
 904 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all stdev"
 905 #  -
 906 #    title: "17.10 to 18.01 change [%]"
 907 #    data: "operation relative_change 5 6"
 908 #  rows: "generated"
 909 #  data:
 910 #    "performance-improvements"
 911 #  filter: "template"
 912 #  parameters:
 913 #  - "throughput"
 914
 915 -
 916   type: "table"
 917   title: "Detailed Test Results - VPP Performance Results"
 918   algorithm: "table_merged_details"
 919   output-file-ext: ".csv"
 920   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
 921   columns:
 922   -
 923     title: "Name"
 924     data: "data name"
 925   -
 926     title: "Documentation"
 927     data: "data doc"
 928   -
 929     title: "Status"
 930     data: "data msg"
 931   rows: "generated"
 932   data:
 933     "vpp-perf-results"
 934   filter: "not 'NDRCHK' and not 'PDRCHK'"
 935   parameters:
 936   - "name"
 937   - "parent"
 938   - "doc"
 939   - "msg"
 940
 941 -
 942   type: "table"
 943   title: "Test configuration - VPP Performance Test Configs"
 944   algorithm: "table_merged_details"
 945   output-file-ext: ".csv"
 946   output-file: "{DIR[DTC,PERF,VPP]}/vpp_test_configuration"
 947   columns:
 948   -
 949     title: "Name"
 950     data: "data name"
 951   -
 952     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
 953     data: "data vat-history"
 954   rows: "generated"
 955   data:
 956     "vpp-perf-results"
 957   filter: "not 'NDRCHK' and not 'PDRCHK'"
 958   parameters:
 959   - "parent"
 960   - "name"
 961   - "vat-history"
 962
 963 -
 964   type: "table"
 965   title: "Test Operational Data - VPP Performance Operational Data"
 966   algorithm: "table_merged_details"
 967   output-file-ext: ".csv"
 968   output-file: "{DIR[DTO,PERF,VPP]}/vpp_test_operational"
 969   columns:
 970   -
 971     title: "Name"
 972     data: "data name"
 973   -
 974     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
 975     data: "data show-run"
 976   rows: "generated"
 977   data:
 978     "vpp-perf-results"
 979   filter: "not 'NDRCHK' and not 'PDRCHK'"
 980   parameters:
 981   - "parent"
 982   - "name"
 983   - "show-run"
 984
 985 -
 986   type: "table"
 987   title: "Detailed Test Results - VPP Functional Results"
 988   algorithm: "table_details"
 989   output-file-ext: ".csv"
 990   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
 991   columns:
 992   -
 993     title: "Name"
 994     data: "data name"
 995   -
 996     title: "Documentation"
 997     data: "data doc"
 998   -
 999     title: "Status"
1000     data: "data status"
1001   rows: "generated"
1002   data:
1003     "vpp-func-results"
1004   filter: "all"
1005   parameters:
1006   - "name"
1007   - "parent"
1008   - "doc"
1009   - "status"
1010
1011 -
1012   type: "table"
1013   title: "Detailed Test Results - VPP Functional Results - CentOS"
1014   algorithm: "table_details"
1015   output-file-ext: ".csv"
1016   output-file: "{DIR[DTR,FUNC,VPP,CENTOS]}/vpp_functional_results_centos"
1017   columns:
1018   -
1019     title: "Name"
1020     data: "data name"
1021   -
1022     title: "Documentation"
1023     data: "data doc"
1024   -
1025     title: "Status"
1026     data: "data status"
1027   rows: "generated"
1028   data:
1029     "vpp-func-results-centos"
1030   filter: "all"
1031   parameters:
1032   - "name"
1033   - "parent"
1034   - "doc"
1035   - "status"
1036
1037 -
1038   type: "table"
1039   title: "Test configuration - VPP Functional Test Configs"
1040   algorithm: "table_details"
1041   output-file-ext: ".csv"
1042   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
1043   columns:
1044   -
1045     title: "Name"
1046     data: "data name"
1047   -
1048     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1049     data: "data vat-history"
1050   rows: "generated"
1051   data:
1052     "vpp-func-results"
1053   filter: "all"
1054   parameters:
1055   - "parent"
1056   - "name"
1057   - "vat-history"
1058
1059 -
1060   type: "table"
1061   title: "Test configuration - VPP Functional Test Configs - CentOS"
1062   algorithm: "table_details"
1063   output-file-ext: ".csv"
1064   output-file: "{DIR[DTC,FUNC,VPP,CENTOS]}/vpp_functional_configuration_centos"
1065   columns:
1066   -
1067     title: "Name"
1068     data: "data name"
1069   -
1070     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1071     data: "data vat-history"
1072   rows: "generated"
1073   data:
1074     "vpp-func-results-centos"
1075   filter: "all"
1076   parameters:
1077   - "parent"
1078   - "name"
1079   - "vat-history"
1080
1081 -
1082   type: "table"
1083   title: "Detailed Test Results - Container Orchestrated Topologies Performance Results"
1084   algorithm: "table_details"
1085   output-file-ext: ".csv"
1086   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
1087   columns:
1088   -
1089     title: "Name"
1090     data: "data name"
1091   -
1092     title: "Documentation"
1093     data: "data doc"
1094   -
1095     title: "Status"
1096     data: "data msg"
1097   rows: "generated"
1098   data:
1099     "ligato-perf-results"
1100   filter: "all"
1101   parameters:
1102   - "name"
1103   - "parent"
1104   - "doc"
1105   - "msg"
1106
1107 -
1108   type: "table"
1109   title: "Detailed Test Results - DPDK Performance Results"
1110   algorithm: "table_details"
1111   output-file-ext: ".csv"
1112   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
1113   columns:
1114   -
1115     title: "Name"
1116     data: "data name"
1117   -
1118     title: "Documentation"
1119     data: "data doc"
1120   -
1121     title: "Status"
1122     data: "data msg"
1123   rows: "generated"
1124   data:
1125     "dpdk-perf-results"
1126   filter: "all"
1127   parameters:
1128   - "name"
1129   - "parent"
1130   - "doc"
1131   - "msg"
1132
1133 -
1134   type: "table"
1135   title: "Detailed Test Results - Honeycomb Functional Results"
1136   algorithm: "table_details"
1137   output-file-ext: ".csv"
1138   output-file: "{DIR[DTR,FUNC,HC]}/hc_functional_results"
1139   columns:
1140   -
1141     title: "Name"
1142     data: "data name"
1143   -
1144     title: "Documentation"
1145     data: "data doc"
1146   -
1147     title: "Status"
1148     data: "data status"
1149   rows: "generated"
1150   data:
1151     "hc-func-results"
1152   filter: "all"
1153   parameters:
1154   - "name"
1155   - "parent"
1156   - "doc"
1157   - "status"
1158
1159 -
1160   type: "table"
1161   title: "Detailed Test Results - NSH SFC Functional Results"
1162   algorithm: "table_details"
1163   output-file-ext: ".csv"
1164   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nsh_sfc_functional_results"
1165   columns:
1166   -
1167     title: "Name"
1168     data: "data name"
1169   -
1170     title: "Documentation"
1171     data: "data doc"
1172   -
1173     title: "Status"
1174     data: "data status"
1175   rows: "generated"
1176   data:
1177     "nsh-func-results"
1178   filter: "all"
1179   parameters:
1180   - "name"
1181   - "parent"
1182   - "doc"
1183   - "status"
1184
1185 ################################################################################
1186 ###                                F I L E S                                 ###
1187 ################################################################################
1188
1189 -
1190   type: "file"
1191   title: "VPP Performance Results"
1192   algorithm: "file_merged_test_results"
1193   output-file-ext: ".rst"
1194   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
1195   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1196   dir-tables: "{DIR[DTR,PERF,VPP]}"
1197   data:
1198     "vpp-perf-results"
1199   filter: "not 'NDRCHK' and not 'PDRCHK'"
1200   parameters:
1201   - "name"
1202   - "doc"
1203   - "level"
1204   - "parent"
1205   data-start-level: 3  # 0, 1, 2, ...
1206   chapters-start-level: 2  # 0, 1, 2, ...
1207
1208 -
1209   type: "file"
1210   title: "VPP Performance Configuration"
1211   algorithm: "file_merged_test_results"
1212   output-file-ext: ".rst"
1213   output-file: "{DIR[DTC,PERF,VPP]}/vpp_performance_configuration"
1214   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1215   dir-tables: "{DIR[DTC,PERF,VPP]}"
1216   data:
1217     "vpp-perf-results"
1218   filter: "not 'NDRCHK' and not 'PDRCHK'"
1219   parameters:
1220   - "name"
1221   - "doc"
1222   - "level"
1223   - "parent"
1224   data-start-level: 3  # 0, 1, 2, ...
1225   chapters-start-level: 2  # 0, 1, 2, ...
1226
1227 -
1228   type: "file"
1229   title: "VPP Performance Operational Data"
1230   algorithm: "file_merged_test_results"
1231   output-file-ext: ".rst"
1232   output-file: "{DIR[DTO,PERF,VPP]}/vpp_performance_operational_data"
1233   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1234   dir-tables: "{DIR[DTO,PERF,VPP]}"
1235   data:
1236     "vpp-perf-results"
1237   filter: "not 'NDRCHK' and not 'PDRCHK'"
1238   parameters:
1239   - "name"
1240   - "doc"
1241   - "level"
1242   - "parent"
1243   data-start-level: 3  # 0, 1, 2, ...
1244   chapters-start-level: 2  # 0, 1, 2, ...
1245
1246 -
1247   type: "file"
1248   title: "VPP Functional Results"
1249   algorithm: "file_test_results"
1250   output-file-ext: ".rst"
1251   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
1252   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1253   dir-tables: "{DIR[DTR,FUNC,VPP]}"
1254   data:
1255     "vpp-func-results"
1256   filter: "all"
1257   parameters:
1258   - "name"
1259   - "doc"
1260   - "level"
1261   data-start-level: 3  # 0, 1, 2, ...
1262   chapters-start-level: 2  # 0, 1, 2, ...
1263
1264 -
1265   type: "file"
1266   title: "VPP Functional Results - CentOS"
1267   algorithm: "file_test_results"
1268   output-file-ext: ".rst"
1269   output-file: "{DIR[DTR,FUNC,VPP,CENTOS]}/vpp_functional_results_centos"
1270   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1271   dir-tables: "{DIR[DTR,FUNC,VPP,CENTOS]}"
1272   data:
1273     "vpp-func-results-centos"
1274   filter: "all"
1275   parameters:
1276   - "name"
1277   - "doc"
1278   - "level"
1279   data-start-level: 3  # 0, 1, 2, ...
1280   chapters-start-level: 2  # 0, 1, 2, ...
1281
1282 -
1283   type: "file"
1284   title: "VPP Functional Configuration"
1285   algorithm: "file_test_results"
1286   output-file-ext: ".rst"
1287   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
1288   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1289   dir-tables: "{DIR[DTC,FUNC,VPP]}"
1290   data:
1291     "vpp-func-results"
1292   filter: "all"
1293   parameters:
1294   - "name"
1295   - "doc"
1296   - "level"
1297   data-start-level: 3  # 0, 1, 2, ...
1298   chapters-start-level: 2  # 0, 1, 2, ...
1299
1300 -
1301   type: "file"
1302   title: "VPP Functional Configuration - CentOS"
1303   algorithm: "file_test_results"
1304   output-file-ext: ".rst"
1305   output-file: "{DIR[DTC,FUNC,VPP,CENTOS]}/vpp_functional_configuration_centos"
1306   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1307   dir-tables: "{DIR[DTC,FUNC,VPP,CENTOS]}"
1308   data:
1309     "vpp-func-results-centos"
1310   filter: "all"
1311   parameters:
1312   - "name"
1313   - "doc"
1314   - "level"
1315   data-start-level: 3  # 0, 1, 2, ...
1316   chapters-start-level: 2  # 0, 1, 2, ...
1317
1318 -
1319   type: "file"
1320   title: "Container Orchestrated Performance Results"
1321   algorithm: "file_test_results"
1322   output-file-ext: ".rst"
1323   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
1324   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1325   dir-tables: "{DIR[DTR,PERF,COT]}"
1326   data:
1327     "ligato-perf-results"
1328   filter: "all"
1329   parameters:
1330   - "name"
1331   - "doc"
1332   - "level"
1333   data-start-level: 2  # 0, 1, 2, ...
1334   chapters-start-level: 2  # 0, 1, 2, ...
1335
1336 -
1337   type: "file"
1338   title: "DPDK Performance Results"
1339   algorithm: "file_test_results"
1340   output-file-ext: ".rst"
1341   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
1342   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1343   dir-tables: "{DIR[DTR,PERF,DPDK]}"
1344   data:
1345     "dpdk-perf-results"
1346   filter: "all"
1347   parameters:
1348   - "name"
1349   - "doc"
1350   - "level"
1351   chapters:
1352   - "suites"
1353   data-start-level: 2  # 0, 1, 2, ...
1354   chapters-start-level: 2  # 0, 1, 2, ...
1355
1356 -
1357   type: "file"
1358   title: "Honeycomb Functional Results"
1359   algorithm: "file_test_results"
1360   output-file-ext: ".rst"
1361   output-file: "{DIR[DTR,FUNC,HC]}/honeycomb_functional_results"
1362   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1363   dir-tables: "{DIR[DTR,FUNC,HC]}"
1364   data:
1365     "hc-func-results"
1366   filter: "all"
1367   parameters:
1368   - "name"
1369   - "doc"
1370   - "level"
1371   chapters:
1372   - "suites"
1373   data-start-level: 3  # 0, 1, 2, ...
1374   chapters-start-level: 2  # 0, 1, 2, ...
1375
1376 -
1377   type: "file"
1378   title: "NSH SFC Functional Results"
1379   algorithm: "file_test_results"
1380   output-file-ext: ".rst"
1381   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nshsfc_functional_results"
1382   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1383   dir-tables: "{DIR[DTR,FUNC,NSHSFC]}"
1384   data:
1385     "nsh-func-results"
1386   filter: "all"
1387   parameters:
1388   - "name"
1389   - "doc"
1390   - "level"
1391   chapters:
1392   - "suites"
1393   data-start-level: 2  # 0, 1, 2, ...
1394   chapters-start-level: 2  # 0, 1, 2, ...
1395
1396 ################################################################################
1397 ###                                P L O T S                                 ###
1398 ################################################################################
1399
1400 # Plots VPP HTTP Server Performance
1401 -
1402   type: "plot"
1403   title: "VPP HTTP Server Performance"
1404   algorithm: "plot_http_server_performance_box"
1405   output-file-type: ".html"
1406   output-file: "{DIR[STATIC,VPP]}/http-server-performance-cps"
1407   data:
1408     "plot-vpp-http-server-performance"
1409   # Keep this formatting, the filter is enclosed with " (quotation mark) and
1410   # each tag is enclosed with ' (apostrophe).
1411   filter: "'HTTP' and 'TCP_CPS'"
1412   parameters:
1413   - "result"
1414   - "name"
1415   traces:
1416     hoverinfo: "x+y"
1417     boxpoints: "outliers"
1418     whiskerwidth: 0
1419   layout:
1420     title: "VPP HTTP Server Performance"
1421     layout:
1422       "plot-cps"
1423
1424 -
1425   type: "plot"
1426   title: "VPP HTTP Server Performance"
1427   algorithm: "plot_http_server_performance_box"
1428   output-file-type: ".html"
1429   output-file: "{DIR[STATIC,VPP]}/http-server-performance-rps"
1430   data:
1431     "plot-vpp-http-server-performance"
1432   filter: "'HTTP' and 'TCP_RPS'"
1433   parameters:
1434   - "result"
1435   - "name"
1436   traces:
1437     hoverinfo: "x+y"
1438     boxpoints: "outliers"
1439     whiskerwidth: 0
1440   layout:
1441     title: "VPP HTTP Server Performance"
1442     layout:
1443       "plot-rps"
1444
1445 # Plot Throughput Speedup Analysis
1446
1447 # L2 - 10ge2p1x520 - NDR
1448 -
1449   type: "plot"
1450   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1451   algorithm: "plot_throughput_speedup_analysis"
1452   output-file-type: ".html"
1453   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-ndrdisc"
1454   data:
1455     "plot-throughput-speedup-analysis"
1456   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1457   parameters:
1458   - "throughput"
1459   - "parent"
1460   - "tags"
1461   layout:
1462     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1463     layout:
1464       "plot-throughput-speedup-analysis"
1465
1466 # L2 - 40ge2p1xl710 - NDR
1467 -
1468   type: "plot"
1469   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1470   algorithm: "plot_throughput_speedup_analysis"
1471   output-file-type: ".html"
1472   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-l2-tsa-ndrdisc"
1473   data:
1474     "plot-throughput-speedup-analysis"
1475   filter: "'NIC_Intel-XL710' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1476   parameters:
1477   - "throughput"
1478   - "parent"
1479   - "tags"
1480   layout:
1481     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1482     layout:
1483       "plot-throughput-speedup-analysis"
1484
1485 # L2 - 10ge2p1x520 - PDR
1486 -
1487   type: "plot"
1488   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1489   algorithm: "plot_throughput_speedup_analysis"
1490   output-file-type: ".html"
1491   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-pdrdisc"
1492   data:
1493     "plot-throughput-speedup-analysis"
1494   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1495   parameters:
1496   - "throughput"
1497   - "parent"
1498   - "tags"
1499   layout:
1500     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1501     layout:
1502       "plot-throughput-speedup-analysis"
1503
1504 # IPv4 - 10ge2p1x520 - NDR
1505 -
1506   type: "plot"
1507   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1508   algorithm: "plot_throughput_speedup_analysis"
1509   output-file-type: ".html"
1510   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-ndrdisc"
1511   data:
1512     "plot-throughput-speedup-analysis"
1513   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1514   parameters:
1515   - "throughput"
1516   - "parent"
1517   - "tags"
1518   layout:
1519     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1520     layout:
1521       "plot-throughput-speedup-analysis"
1522
1523 # IPv4 - 40ge2p1xl710 - NDR
1524 -
1525   type: "plot"
1526   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1527   algorithm: "plot_throughput_speedup_analysis"
1528   output-file-type: ".html"
1529   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-ip4-tsa-ndrdisc"
1530   data:
1531     "plot-throughput-speedup-analysis"
1532   filter: "'NIC_Intel-XL710' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1533   parameters:
1534   - "throughput"
1535   - "parent"
1536   - "tags"
1537   layout:
1538     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1539     layout:
1540       "plot-throughput-speedup-analysis"
1541
1542 # IPv4 - 10ge2p1x520 - PDR
1543 -
1544   type: "plot"
1545   title: "TSA: 64B-*-ethip4-ip4(base|scale)*pdrdisc"
1546   algorithm: "plot_throughput_speedup_analysis"
1547   output-file-type: ".html"
1548   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-pdrdisc"
1549   data:
1550     "plot-throughput-speedup-analysis"
1551   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1552   parameters:
1553   - "throughput"
1554   - "parent"
1555   - "tags"
1556   layout:
1557     title: "64B-*-ethip4-ip4(base|scale)*pdrdisc"
1558     layout:
1559       "plot-throughput-speedup-analysis"
1560
1561 # IPv6 - 10ge2p1x520 - NDR
1562 -
1563   type: "plot"
1564   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1565   algorithm: "plot_throughput_speedup_analysis"
1566   output-file-type: ".html"
1567   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-ndrdisc"
1568   data:
1569     "plot-throughput-speedup-analysis"
1570   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1571   parameters:
1572   - "throughput"
1573   - "parent"
1574   - "tags"
1575   layout:
1576     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1577     layout:
1578       "plot-throughput-speedup-analysis"
1579
1580 # IPv6 - 40ge2p1xl710 - NDR
1581 -
1582   type: "plot"
1583   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1584   algorithm: "plot_throughput_speedup_analysis"
1585   output-file-type: ".html"
1586   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-78B-ip6-tsa-ndrdisc"
1587   data:
1588     "plot-throughput-speedup-analysis"
1589   filter: "'NIC_Intel-XL710' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1590   parameters:
1591   - "throughput"
1592   - "parent"
1593   - "tags"
1594   layout:
1595     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1596     layout:
1597       "plot-throughput-speedup-analysis"
1598
1599 # IPv6 - 10ge2p1x520 - PDR
1600 -
1601   type: "plot"
1602   title: "TSA: 78B-*-ethip6-ip6(base|scale)*pdrdisc"
1603   algorithm: "plot_throughput_speedup_analysis"
1604   output-file-type: ".html"
1605   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-pdrdisc"
1606   data:
1607     "plot-throughput-speedup-analysis"
1608   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST'"
1609   parameters:
1610   - "throughput"
1611   - "parent"
1612   - "tags"
1613   layout:
1614     title: "78B-*-ethip6-ip6(base|scale)*pdrdisc"
1615     layout:
1616       "plot-throughput-speedup-analysis"
1617
1618 # Plot packets per second
1619
1620 # VPP L2 sel1
1621 -
1622   type: "plot"
1623   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1624   algorithm: "plot_performance_box"
1625   output-file-type: ".html"
1626   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc"
1627   data:
1628     "plot-vpp-throughput-latency"
1629   # Keep this formatting, the filter is enclosed with " (quotation mark) and
1630   # each tag is enclosed with ' (apostrophe).
1631   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1632   parameters:
1633   - "throughput"
1634   - "parent"
1635   traces:
1636     hoverinfo: "x+y"
1637     boxpoints: "outliers"
1638     whiskerwidth: 0
1639   layout:
1640     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1641     layout:
1642       "plot-throughput"
1643
1644 -
1645   type: "plot"
1646   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1647   algorithm: "plot_performance_box"
1648   output-file-type: ".html"
1649   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc"
1650   data:
1651     "plot-vpp-throughput-latency"
1652   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1653   parameters:
1654   - "throughput"
1655   - "parent"
1656   traces:
1657     hoverinfo: "x+y"
1658     boxpoints: "outliers"
1659     whiskerwidth: 0
1660   layout:
1661     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1662     layout:
1663       "plot-throughput"
1664
1665 -
1666   type: "plot"
1667   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1668   algorithm: "plot_performance_box"
1669   output-file-type: ".html"
1670   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-pdrdisc"
1671   data:
1672     "plot-vpp-throughput-latency"
1673   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1674   parameters:
1675   - "throughput"
1676   - "parent"
1677   traces:
1678     hoverinfo: "x+y"
1679     boxpoints: "outliers"
1680     whiskerwidth: 0
1681   layout:
1682     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1683     layout:
1684       "plot-throughput"
1685
1686 -
1687   type: "plot"
1688   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1689   algorithm: "plot_performance_box"
1690   output-file-type: ".html"
1691   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-pdrdisc"
1692   data:
1693     "plot-vpp-throughput-latency"
1694   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1695   parameters:
1696   - "throughput"
1697   - "parent"
1698   traces:
1699     hoverinfo: "x+y"
1700     boxpoints: "outliers"
1701     whiskerwidth: 0
1702   layout:
1703     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1704     layout:
1705       "plot-throughput"
1706
1707 # VPP L2 sel2
1708 -
1709   type: "plot"
1710   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1711   algorithm: "plot_performance_box"
1712   output-file-type: ".html"
1713   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc"
1714   data:
1715     "plot-vpp-throughput-latency"
1716   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1717   parameters:
1718   - "throughput"
1719   - "parent"
1720   traces:
1721     hoverinfo: "x+y"
1722     boxpoints: "outliers"
1723     whiskerwidth: 0
1724   layout:
1725     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1726     layout:
1727       "plot-throughput"
1728
1729 -
1730   type: "plot"
1731   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1732   algorithm: "plot_performance_box"
1733   output-file-type: ".html"
1734   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc"
1735   data:
1736     "plot-vpp-throughput-latency"
1737   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1738   parameters:
1739   - "throughput"
1740   - "parent"
1741   traces:
1742     hoverinfo: "x+y"
1743     boxpoints: "outliers"
1744     whiskerwidth: 0
1745   layout:
1746     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1747     layout:
1748       "plot-throughput"
1749
1750 -
1751   type: "plot"
1752   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1753   algorithm: "plot_performance_box"
1754   output-file-type: ".html"
1755   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-pdrdisc"
1756   data:
1757     "plot-vpp-throughput-latency"
1758   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1759   parameters:
1760   - "throughput"
1761   - "parent"
1762   traces:
1763     hoverinfo: "x+y"
1764     boxpoints: "outliers"
1765     whiskerwidth: 0
1766   layout:
1767     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1768     layout:
1769       "plot-throughput"
1770
1771 -
1772   type: "plot"
1773   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1774   algorithm: "plot_performance_box"
1775   output-file-type: ".html"
1776   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-pdrdisc"
1777   data:
1778     "plot-vpp-throughput-latency"
1779   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1780   parameters:
1781   - "throughput"
1782   - "parent"
1783   traces:
1784     hoverinfo: "x+y"
1785     boxpoints: "outliers"
1786     whiskerwidth: 0
1787   layout:
1788     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1789     layout:
1790       "plot-throughput"
1791
1792 # VPP IP4
1793 -
1794   type: "plot"
1795   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1796   algorithm: "plot_performance_box"
1797   output-file-type: ".html"
1798   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc"
1799   data:
1800     "plot-vpp-throughput-latency"
1801   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
1802   parameters:
1803   - "throughput"
1804   - "parent"
1805   traces:
1806     hoverinfo: "x+y"
1807     boxpoints: "outliers"
1808     whiskerwidth: 0
1809   layout:
1810     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1811     layout:
1812       "plot-throughput"
1813
1814 -
1815   type: "plot"
1816   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1817   algorithm: "plot_performance_box"
1818   output-file-type: ".html"
1819   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc"
1820   data:
1821     "plot-vpp-throughput-latency"
1822   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
1823   parameters:
1824   - "throughput"
1825   - "parent"
1826   traces:
1827     hoverinfo: "x+y"
1828     boxpoints: "outliers"
1829     whiskerwidth: 0
1830   layout:
1831     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1832     layout:
1833       "plot-throughput"
1834
1835 -
1836   type: "plot"
1837   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1838   algorithm: "plot_performance_box"
1839   output-file-type: ".html"
1840   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-pdrdisc"
1841   data:
1842     "plot-vpp-throughput-latency"
1843   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
1844   parameters:
1845   - "throughput"
1846   - "parent"
1847   traces:
1848     hoverinfo: "x+y"
1849     boxpoints: "outliers"
1850     whiskerwidth: 0
1851   layout:
1852     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1853     layout:
1854       "plot-throughput"
1855
1856 -
1857   type: "plot"
1858   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1859   algorithm: "plot_performance_box"
1860   output-file-type: ".html"
1861   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-pdrdisc"
1862   data:
1863     "plot-vpp-throughput-latency"
1864   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
1865   parameters:
1866   - "throughput"
1867   - "parent"
1868   traces:
1869     hoverinfo: "x+y"
1870     boxpoints: "outliers"
1871     whiskerwidth: 0
1872   layout:
1873     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1874     layout:
1875       "plot-throughput"
1876
1877 # VPP IP6
1878 -
1879   type: "plot"
1880   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1881   algorithm: "plot_performance_box"
1882   output-file-type: ".html"
1883   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc"
1884   data:
1885     "plot-vpp-throughput-latency"
1886   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1887   parameters:
1888   - "throughput"
1889   - "parent"
1890   traces:
1891     hoverinfo: "x+y"
1892     boxpoints: "outliers"
1893     whiskerwidth: 0
1894   layout:
1895     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1896     layout:
1897       "plot-throughput"
1898
1899 -
1900   type: "plot"
1901   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1902   algorithm: "plot_performance_box"
1903   output-file-type: ".html"
1904   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc"
1905   data:
1906     "plot-vpp-throughput-latency"
1907   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1908   parameters:
1909   - "throughput"
1910   - "parent"
1911   traces:
1912     hoverinfo: "x+y"
1913     boxpoints: "outliers"
1914     whiskerwidth: 0
1915   layout:
1916     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1917     layout:
1918       "plot-throughput"
1919
1920 -
1921   type: "plot"
1922   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1923   algorithm: "plot_performance_box"
1924   output-file-type: ".html"
1925   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-pdrdisc"
1926   data:
1927     "plot-vpp-throughput-latency"
1928   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1929   parameters:
1930   - "throughput"
1931   - "parent"
1932   traces:
1933     hoverinfo: "x+y"
1934     boxpoints: "outliers"
1935     whiskerwidth: 0
1936   layout:
1937     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1938     layout:
1939       "plot-throughput"
1940
1941 -
1942   type: "plot"
1943   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1944   algorithm: "plot_performance_box"
1945   output-file-type: ".html"
1946   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-pdrdisc"
1947   data:
1948     "plot-vpp-throughput-latency"
1949   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1950   parameters:
1951   - "throughput"
1952   - "parent"
1953   traces:
1954     hoverinfo: "x+y"
1955     boxpoints: "outliers"
1956     whiskerwidth: 0
1957   layout:
1958     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1959     layout:
1960       "plot-throughput"
1961
1962 # VPP IP4_overlay
1963 -
1964   type: "plot"
1965   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1966   algorithm: "plot_performance_box"
1967   output-file-type: ".html"
1968   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc"
1969   data:
1970     "plot-vpp-throughput-latency"
1971   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1972   parameters:
1973   - "throughput"
1974   - "parent"
1975   traces:
1976     hoverinfo: "x+y"
1977     boxpoints: "outliers"
1978     whiskerwidth: 0
1979   layout:
1980     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1981     layout:
1982       "plot-throughput"
1983
1984 -
1985   type: "plot"
1986   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1987   algorithm: "plot_performance_box"
1988   output-file-type: ".html"
1989   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc"
1990   data:
1991     "plot-vpp-throughput-latency"
1992   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1993   parameters:
1994   - "throughput"
1995   - "parent"
1996   traces:
1997     hoverinfo: "x+y"
1998     boxpoints: "outliers"
1999     whiskerwidth: 0
2000   layout:
2001     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2002     layout:
2003       "plot-throughput"
2004
2005 -
2006   type: "plot"
2007   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
2008   algorithm: "plot_performance_box"
2009   output-file-type: ".html"
2010   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-pdrdisc"
2011   data:
2012     "plot-vpp-throughput-latency"
2013   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2014   parameters:
2015   - "throughput"
2016   - "parent"
2017   traces:
2018     hoverinfo: "x+y"
2019     boxpoints: "outliers"
2020     whiskerwidth: 0
2021   layout:
2022     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
2023     layout:
2024       "plot-throughput"
2025
2026 -
2027   type: "plot"
2028   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
2029   algorithm: "plot_performance_box"
2030   output-file-type: ".html"
2031   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-pdrdisc"
2032   data:
2033     "plot-vpp-throughput-latency"
2034   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2035   parameters:
2036   - "throughput"
2037   - "parent"
2038   traces:
2039     hoverinfo: "x+y"
2040     boxpoints: "outliers"
2041     whiskerwidth: 0
2042   layout:
2043     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
2044     layout:
2045       "plot-throughput"
2046
2047 # VPP IP6_overlay
2048 -
2049   type: "plot"
2050   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2051   algorithm: "plot_performance_box"
2052   output-file-type: ".html"
2053   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc"
2054   data:
2055     "plot-vpp-throughput-latency"
2056   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2057   parameters:
2058   - "throughput"
2059   - "parent"
2060   traces:
2061     hoverinfo: "x+y"
2062     boxpoints: "outliers"
2063     whiskerwidth: 0
2064   layout:
2065     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2066     xaxis:
2067       autorange: True
2068       autotick: False
2069       fixedrange: False
2070       gridcolor: "rgb(238, 238, 238)"
2071       linecolor: "rgb(238, 238, 238)"
2072       linewidth: 1
2073       showgrid: True
2074       showline: True
2075       showticklabels: True
2076       tickcolor: "rgb(238, 238, 238)"
2077       tickmode: "linear"
2078       title: "Indexed Test Cases"
2079       zeroline: False
2080     yaxis:
2081       gridcolor: "rgb(238, 238, 238)'"
2082       hoverformat: ".4s"
2083       linecolor: "rgb(238, 238, 238)"
2084       linewidth: 1
2085       range: [2000000, 6000000]
2086       showgrid: True
2087       showline: True
2088       showticklabels: True
2089       tickcolor: "rgb(238, 238, 238)"
2090       title: "Packets Per Second [pps]"
2091       zeroline: False
2092     boxmode: "group"
2093     boxgroupgap: 0.5
2094     autosize: False
2095     margin:
2096       t: 50
2097       b: 20
2098       l: 50
2099       r: 20
2100     showlegend: True
2101     legend:
2102       orientation: "h"
2103     width: 700
2104     height: 1000
2105
2106 -
2107   type: "plot"
2108   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2109   algorithm: "plot_performance_box"
2110   output-file-type: ".html"
2111   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc"
2112   data:
2113     "plot-vpp-throughput-latency"
2114   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2115   parameters:
2116   - "throughput"
2117   - "parent"
2118   traces:
2119     hoverinfo: "x+y"
2120     boxpoints: "outliers"
2121     whiskerwidth: 0
2122   layout:
2123     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2124     layout:
2125       "plot-throughput"
2126
2127 -
2128   type: "plot"
2129   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2130   algorithm: "plot_performance_box"
2131   output-file-type: ".html"
2132   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-pdrdisc"
2133   data:
2134     "plot-vpp-throughput-latency"
2135   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2136   parameters:
2137   - "throughput"
2138   - "parent"
2139   traces:
2140     hoverinfo: "x+y"
2141     boxpoints: "outliers"
2142     whiskerwidth: 0
2143   layout:
2144     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2145     layout:
2146       "plot-throughput"
2147
2148 -
2149   type: "plot"
2150   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2151   algorithm: "plot_performance_box"
2152   output-file-type: ".html"
2153   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-pdrdisc"
2154   data:
2155     "plot-vpp-throughput-latency"
2156   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2157   parameters:
2158   - "throughput"
2159   - "parent"
2160   traces:
2161     hoverinfo: "x+y"
2162     boxpoints: "outliers"
2163     whiskerwidth: 0
2164   layout:
2165     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2166     xaxis:
2167       autorange: True
2168       autotick: False
2169       fixedrange: False
2170       gridcolor: "rgb(238, 238, 238)"
2171       linecolor: "rgb(238, 238, 238)"
2172       linewidth: 1
2173       showgrid: True
2174       showline: True
2175       showticklabels: True
2176       tickcolor: "rgb(238, 238, 238)"
2177       tickmode: "linear"
2178       title: "Indexed Test Cases"
2179       zeroline: False
2180     yaxis:
2181       gridcolor: "rgb(238, 238, 238)'"
2182       hoverformat: ".4s"
2183       linecolor: "rgb(238, 238, 238)"
2184       linewidth: 1
2185       range: [4000000, 12000000]
2186       showgrid: True
2187       showline: True
2188       showticklabels: True
2189       tickcolor: "rgb(238, 238, 238)"
2190       title: "Packets Per Second [pps]"
2191       zeroline: False
2192     boxmode: "group"
2193     boxgroupgap: 0.5
2194     autosize: False
2195     margin:
2196       t: 50
2197       b: 20
2198       l: 50
2199       r: 20
2200     showlegend: True
2201     legend:
2202       orientation: "h"
2203     width: 700
2204     height: 1000
2205
2206 # VPP VM VHOST
2207 -
2208   type: "plot"
2209   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2210   algorithm: "plot_performance_box"
2211   output-file-type: ".html"
2212   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc"
2213   data:
2214     "plot-vpp-throughput-latency"
2215   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2216   parameters:
2217   - "throughput"
2218   - "parent"
2219   traces:
2220     hoverinfo: "x+y"
2221     boxpoints: "outliers"
2222     whiskerwidth: 0
2223   layout:
2224     title: "64B-1t1c-.*vhost.*-ndrdisc"
2225     xaxis:
2226       autorange: True
2227       autotick: False
2228       fixedrange: False
2229       gridcolor: "rgb(238, 238, 238)"
2230       linecolor: "rgb(238, 238, 238)"
2231       linewidth: 1
2232       showgrid: True
2233       showline: True
2234       showticklabels: True
2235       tickcolor: "rgb(238, 238, 238)"
2236       tickmode: "linear"
2237       title: "Indexed Test Cases"
2238       zeroline: False
2239     yaxis:
2240       gridcolor: "rgb(238, 238, 238)'"
2241       hoverformat: ".4s"
2242       linecolor: "rgb(238, 238, 238)"
2243       linewidth: 1
2244       range: [0, 3500000]
2245       showgrid: True
2246       showline: True
2247       showticklabels: True
2248       tickcolor: "rgb(238, 238, 238)"
2249       title: "Packets Per Second [pps]"
2250       zeroline: False
2251     boxmode: "group"
2252     boxgroupgap: 0.5
2253     autosize: False
2254     margin:
2255       t: 50
2256       b: 20
2257       l: 50
2258       r: 20
2259     showlegend: True
2260     legend:
2261       orientation: "h"
2262     width: 700
2263     height: 1000
2264
2265 -
2266   type: "plot"
2267   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2268   algorithm: "plot_performance_box"
2269   output-file-type: ".html"
2270   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc"
2271   data:
2272     "plot-vpp-throughput-latency"
2273   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2274   parameters:
2275   - "throughput"
2276   - "parent"
2277   traces:
2278     hoverinfo: "x+y"
2279     boxpoints: "outliers"
2280     whiskerwidth: 0
2281   layout:
2282     title: "64B-2t2c-.*vhost.*-ndrdisc"
2283     layout:
2284       "plot-throughput"
2285
2286 -
2287   type: "plot"
2288   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2289   algorithm: "plot_performance_box"
2290   output-file-type: ".html"
2291   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-pdrdisc"
2292   data:
2293     "plot-vpp-throughput-latency"
2294   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2295   parameters:
2296   - "throughput"
2297   - "parent"
2298   traces:
2299     hoverinfo: "x+y"
2300     boxpoints: "outliers"
2301     whiskerwidth: 0
2302   layout:
2303     title: "64B-1t1c-.*vhost.*-pdrdisc"
2304     layout:
2305       "plot-throughput"
2306
2307 -
2308   type: "plot"
2309   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2310   algorithm: "plot_performance_box"
2311   output-file-type: ".html"
2312   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-pdrdisc"
2313   data:
2314     "plot-vpp-throughput-latency"
2315   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2316   parameters:
2317   - "throughput"
2318   - "parent"
2319   traces:
2320     hoverinfo: "x+y"
2321     boxpoints: "outliers"
2322     whiskerwidth: 0
2323   layout:
2324     title: "64B-2t2c-.*vhost.*-pdrdisc"
2325     layout:
2326       "plot-throughput"
2327
2328 # VPP VM VHOST SELECTION
2329 -
2330   type: "plot"
2331   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2332   algorithm: "plot_performance_box"
2333   output-file-type: ".html"
2334   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc"
2335   data:
2336     "plot-vpp-throughput-latency"
2337   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2338   parameters:
2339   - "throughput"
2340   - "parent"
2341   traces:
2342     hoverinfo: "x+y"
2343     boxpoints: "outliers"
2344     whiskerwidth: 0
2345   layout:
2346     title: "64B-1t1c-.*vhost.*-ndrdisc"
2347     layout:
2348       "plot-throughput"
2349
2350 -
2351   type: "plot"
2352   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2353   algorithm: "plot_performance_box"
2354   output-file-type: ".html"
2355   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc"
2356   data:
2357     "plot-vpp-throughput-latency"
2358   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2359   parameters:
2360   - "throughput"
2361   - "parent"
2362   traces:
2363     hoverinfo: "x+y"
2364     boxpoints: "outliers"
2365     whiskerwidth: 0
2366   layout:
2367     title: "64B-2t2c-.*vhost.*-ndrdisc"
2368     layout:
2369       "plot-throughput"
2370
2371 -
2372   type: "plot"
2373   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2374   algorithm: "plot_performance_box"
2375   output-file-type: ".html"
2376   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-pdrdisc"
2377   data:
2378     "plot-vpp-throughput-latency"
2379   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2380   parameters:
2381   - "throughput"
2382   - "parent"
2383   traces:
2384     hoverinfo: "x+y"
2385     boxpoints: "outliers"
2386     whiskerwidth: 0
2387   layout:
2388     title: "64B-1t1c-.*vhost.*-pdrdisc"
2389     layout:
2390       "plot-throughput"
2391
2392 -
2393   type: "plot"
2394   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2395   algorithm: "plot_performance_box"
2396   output-file-type: ".html"
2397   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-pdrdisc"
2398   data:
2399     "plot-vpp-throughput-latency"
2400   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2401   parameters:
2402   - "throughput"
2403   - "parent"
2404   traces:
2405     hoverinfo: "x+y"
2406     boxpoints: "outliers"
2407     whiskerwidth: 0
2408   layout:
2409     title: "64B-2t2c-.*vhost.*-pdrdisc"
2410     layout:
2411       "plot-throughput"
2412
2413 # VPP CRYPTO
2414 -
2415   type: "plot"
2416   title: "VPP Performance 64B-1t1c-.*ipsec.*-ndrdisc"
2417   algorithm: "plot_performance_box"
2418   output-file-type: ".html"
2419   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc"
2420   data:
2421     "plot-vpp-throughput-latency"
2422   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2423   parameters:
2424   - "throughput"
2425   - "parent"
2426   traces:
2427     hoverinfo: "x+y"
2428     boxpoints: "outliers"
2429     whiskerwidth: 0
2430   layout:
2431     title: "64B-1t1c-.*ipsec.*-ndrdisc"
2432     layout:
2433       "plot-throughput"
2434
2435 -
2436   type: "plot"
2437   title: "VPP Performance 64B-2t2c-.*ipsec.*-ndrdisc"
2438   algorithm: "plot_performance_box"
2439   output-file-type: ".html"
2440   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc"
2441   data:
2442     "plot-vpp-throughput-latency"
2443   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2444   parameters:
2445   - "throughput"
2446   - "parent"
2447   traces:
2448     hoverinfo: "x+y"
2449     boxpoints: "outliers"
2450     whiskerwidth: 0
2451   layout:
2452     title: "64B-2t2c-.*ipsec.*-ndrdisc"
2453     layout:
2454       "plot-throughput"
2455
2456 -
2457   type: "plot"
2458   title: "VPP Performance 64B-1t1c-.*ipsec.*-pdrdisc"
2459   algorithm: "plot_performance_box"
2460   output-file-type: ".html"
2461   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-pdrdisc"
2462   data:
2463     "plot-vpp-throughput-latency"
2464   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2465   parameters:
2466   - "throughput"
2467   - "parent"
2468   traces:
2469     hoverinfo: "x+y"
2470     boxpoints: "outliers"
2471     whiskerwidth: 0
2472   layout:
2473     title: "64B-1t1c-.*ipsec.*-pdrdisc"
2474     layout:
2475       "plot-throughput"
2476
2477 -
2478   type: "plot"
2479   title: "VPP Performance 64B-2t2c-.*ipsec.*-pdrdisc"
2480   algorithm: "plot_performance_box"
2481   output-file-type: ".html"
2482   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-pdrdisc"
2483   data:
2484     "plot-vpp-throughput-latency"
2485   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2486   parameters:
2487   - "throughput"
2488   - "parent"
2489   traces:
2490     hoverinfo: "x+y"
2491     boxpoints: "outliers"
2492     whiskerwidth: 0
2493   layout:
2494     title: "64B-2t2c-.*ipsec.*-pdrdisc"
2495     layout:
2496       "plot-throughput"
2497
2498 # DPDK
2499 -
2500   type: "plot"
2501   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2502   algorithm: "plot_performance_box"
2503   output-file-type: ".html"
2504   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc"
2505   data:
2506     "plot-dpdk-throughput-latency"
2507   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2508   parameters:
2509   - "throughput"
2510   - "parent"
2511   traces:
2512     hoverinfo: "x+y"
2513     boxpoints: "outliers"
2514     whiskerwidth: 0
2515   layout:
2516     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2517     layout:
2518       "plot-throughput"
2519
2520 -
2521   type: "plot"
2522   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2523   algorithm: "plot_performance_box"
2524   output-file-type: ".html"
2525   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc"
2526   data:
2527     "plot-dpdk-throughput-latency"
2528   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2529   parameters:
2530   - "throughput"
2531   - "parent"
2532   traces:
2533     hoverinfo: "x+y"
2534     boxpoints: "outliers"
2535     whiskerwidth: 0
2536   layout:
2537     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2538     layout:
2539       "plot-throughput"
2540
2541 -
2542   type: "plot"
2543   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2544   algorithm: "plot_performance_box"
2545   output-file-type: ".html"
2546   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc"
2547   data:
2548     "plot-dpdk-throughput-latency"
2549   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
2550   parameters:
2551   - "throughput"
2552   - "parent"
2553   traces:
2554     hoverinfo: "x+y"
2555     boxpoints: "outliers"
2556     whiskerwidth: 0
2557   layout:
2558     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2559     xaxis:
2560       autorange: True
2561       autotick: False
2562       fixedrange: False
2563       gridcolor: "rgb(238, 238, 238)"
2564       linecolor: "rgb(238, 238, 238)"
2565       linewidth: 1
2566       showgrid: True
2567       showline: True
2568       showticklabels: True
2569       tickcolor: "rgb(238, 238, 238)"
2570       tickmode: "linear"
2571       title: "Indexed Test Cases"
2572       zeroline: False
2573     yaxis:
2574       gridcolor: "rgb(238, 238, 238)'"
2575       hoverformat: ".4s"
2576       linecolor: "rgb(238, 238, 238)"
2577       linewidth: 1
2578       range: [2000000, 12000000]
2579       showgrid: True
2580       showline: True
2581       showticklabels: True
2582       tickcolor: "rgb(238, 238, 238)"
2583       title: "Packets Per Second [pps]"
2584       zeroline: False
2585     boxmode: "group"
2586     boxgroupgap: 0.5
2587     autosize: False
2588     margin:
2589       t: 50
2590       b: 20
2591       l: 50
2592       r: 20
2593     showlegend: True
2594     legend:
2595       orientation: "h"
2596     width: 700
2597     height: 1000
2598
2599 -
2600   type: "plot"
2601   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2602   algorithm: "plot_performance_box"
2603   output-file-type: ".html"
2604   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc"
2605   data:
2606     "plot-dpdk-throughput-latency"
2607   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
2608   parameters:
2609   - "throughput"
2610   - "parent"
2611   traces:
2612     hoverinfo: "x+y"
2613     boxpoints: "outliers"
2614     whiskerwidth: 0
2615   layout:
2616     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2617     xaxis:
2618       autorange: True
2619       autotick: False
2620       fixedrange: False
2621       gridcolor: "rgb(238, 238, 238)"
2622       linecolor: "rgb(238, 238, 238)"
2623       linewidth: 1
2624       showgrid: True
2625       showline: True
2626       showticklabels: True
2627       tickcolor: "rgb(238, 238, 238)"
2628       tickmode: "linear"
2629       title: "Indexed Test Cases"
2630       zeroline: False
2631     yaxis:
2632       gridcolor: "rgb(238, 238, 238)'"
2633       hoverformat: ".4s"
2634       linecolor: "rgb(238, 238, 238)"
2635       linewidth: 1
2636       range: [2000000, 12000000]
2637       showgrid: True
2638       showline: True
2639       showticklabels: True
2640       tickcolor: "rgb(238, 238, 238)"
2641       title: "Packets Per Second [pps]"
2642       zeroline: False
2643     boxmode: "group"
2644     boxgroupgap: 0.5
2645     autosize: False
2646     margin:
2647       t: 50
2648       b: 20
2649       l: 50
2650       r: 20
2651     showlegend: True
2652     legend:
2653       orientation: "h"
2654     width: 700
2655     height: 1000
2656
2657 -
2658   type: "plot"
2659   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2660   algorithm: "plot_performance_box"
2661   output-file-type: ".html"
2662   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-pdrdisc"
2663   data:
2664     "plot-dpdk-throughput-latency"
2665   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2666   parameters:
2667   - "throughput"
2668   - "parent"
2669   traces:
2670     hoverinfo: "x+y"
2671     boxpoints: "outliers"
2672     whiskerwidth: 0
2673   layout:
2674     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2675     layout:
2676       "plot-throughput"
2677
2678 -
2679   type: "plot"
2680   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2681   algorithm: "plot_performance_box"
2682   output-file-type: ".html"
2683   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-pdrdisc"
2684   data:
2685     "plot-dpdk-throughput-latency"
2686   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2687   parameters:
2688   - "throughput"
2689   - "parent"
2690   traces:
2691     hoverinfo: "x+y"
2692     boxpoints: "outliers"
2693     whiskerwidth: 0
2694   layout:
2695     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2696     layout:
2697       "plot-throughput"
2698
2699 -
2700   type: "plot"
2701   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
2702   algorithm: "plot_performance_box"
2703   output-file-type: ".html"
2704   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-pdrdisc"
2705   data:
2706     "plot-dpdk-throughput-latency"
2707   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD'"
2708   parameters:
2709   - "throughput"
2710   - "parent"
2711   traces:
2712     hoverinfo: "x+y"
2713     boxpoints: "outliers"
2714     whiskerwidth: 0
2715   layout:
2716     title: "64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
2717     xaxis:
2718       autorange: True
2719       autotick: False
2720       fixedrange: False
2721       gridcolor: "rgb(238, 238, 238)"
2722       linecolor: "rgb(238, 238, 238)"
2723       linewidth: 1
2724       showgrid: True
2725       showline: True
2726       showticklabels: True
2727       tickcolor: "rgb(238, 238, 238)"
2728       tickmode: "linear"
2729       title: "Indexed Test Cases"
2730       zeroline: False
2731     yaxis:
2732       gridcolor: "rgb(238, 238, 238)'"
2733       hoverformat: ".4s"
2734       linecolor: "rgb(238, 238, 238)"
2735       linewidth: 1
2736       range: [20000000, 30000000]
2737       showgrid: True
2738       showline: True
2739       showticklabels: True
2740       tickcolor: "rgb(238, 238, 238)"
2741       title: "Packets Per Second [pps]"
2742       zeroline: False
2743     boxmode: "group"
2744     boxgroupgap: 0.5
2745     autosize: False
2746     margin:
2747       t: 50
2748       b: 20
2749       l: 50
2750       r: 20
2751     showlegend: True
2752     legend:
2753       orientation: "h"
2754     width: 700
2755     height: 1000
2756
2757 -
2758   type: "plot"
2759   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
2760   algorithm: "plot_performance_box"
2761   output-file-type: ".html"
2762   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-pdrdisc"
2763   data:
2764     "plot-dpdk-throughput-latency"
2765   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD'"
2766   parameters:
2767   - "throughput"
2768   - "parent"
2769   traces:
2770     hoverinfo: "x+y"
2771     boxpoints: "outliers"
2772     whiskerwidth: 0
2773   layout:
2774     title: "64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
2775     xaxis:
2776       autorange: True
2777       autotick: False
2778       fixedrange: False
2779       gridcolor: "rgb(238, 238, 238)"
2780       linecolor: "rgb(238, 238, 238)"
2781       linewidth: 1
2782       showgrid: True
2783       showline: True
2784       showticklabels: True
2785       tickcolor: "rgb(238, 238, 238)"
2786       tickmode: "linear"
2787       title: "Indexed Test Cases"
2788       zeroline: False
2789     yaxis:
2790       gridcolor: "rgb(238, 238, 238)'"
2791       hoverformat: ".4s"
2792       linecolor: "rgb(238, 238, 238)"
2793       linewidth: 1
2794       range: [20000000, 30000000]
2795       showgrid: True
2796       showline: True
2797       showticklabels: True
2798       tickcolor: "rgb(238, 238, 238)"
2799       title: "Packets Per Second [pps]"
2800       zeroline: False
2801     boxmode: "group"
2802     boxgroupgap: 0.5
2803     autosize: False
2804     margin:
2805       t: 50
2806       b: 20
2807       l: 50
2808       r: 20
2809     showlegend: True
2810     legend:
2811       orientation: "h"
2812     width: 700
2813     height: 1000
2814
2815 # Plot latency
2816
2817 # VPP L2 sel1
2818 -
2819   type: "plot"
2820   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2821   algorithm: "plot_latency_box"
2822   output-file-type: ".html"
2823   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc-lat50"
2824   data:
2825     "plot-vpp-throughput-latency"
2826   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2827   parameters:
2828   - "latency"
2829   - "parent"
2830   traces:
2831     boxmean: False
2832   layout:
2833     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2834     layout:
2835       "plot-latency"
2836
2837 -
2838   type: "plot"
2839   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2840   algorithm: "plot_latency_box"
2841   output-file-type: ".html"
2842   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc-lat50"
2843   data:
2844     "plot-vpp-throughput-latency"
2845   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2846   parameters:
2847   - "latency"
2848   - "parent"
2849   traces:
2850     boxmean: False
2851   layout:
2852     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2853     layout:
2854       "plot-latency"
2855
2856 # VPP L2 sel2
2857 -
2858   type: "plot"
2859   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2860   algorithm: "plot_latency_box"
2861   output-file-type: ".html"
2862   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc-lat50"
2863   data:
2864     "plot-vpp-throughput-latency"
2865   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2866   parameters:
2867   - "latency"
2868   - "parent"
2869   traces:
2870     boxmean: False
2871   layout:
2872     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2873     layout:
2874       "plot-latency"
2875
2876 -
2877   type: "plot"
2878   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2879   algorithm: "plot_latency_box"
2880   output-file-type: ".html"
2881   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc-lat50"
2882   data:
2883     "plot-vpp-throughput-latency"
2884   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2885   parameters:
2886   - "latency"
2887   - "parent"
2888   traces:
2889     boxmean: False
2890   layout:
2891     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2892     layout:
2893       "plot-latency"
2894
2895 # VPP IP4
2896 -
2897   type: "plot"
2898   title: "VPP Latency 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2899   algorithm: "plot_latency_box"
2900   output-file-type: ".html"
2901   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc-lat50"
2902   data:
2903     "plot-vpp-throughput-latency"
2904   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
2905   parameters:
2906   - "latency"
2907   - "parent"
2908   traces:
2909     boxmean: False
2910   layout:
2911     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2912     layout:
2913       "plot-latency"
2914
2915 -
2916   type: "plot"
2917   title: "VPP Latency 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2918   algorithm: "plot_latency_box"
2919   output-file-type: ".html"
2920   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc-lat50"
2921   data:
2922     "plot-vpp-throughput-latency"
2923   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
2924   parameters:
2925   - "latency"
2926   - "parent"
2927   traces:
2928     boxmean: False
2929   layout:
2930     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2931     layout:
2932       "plot-latency"
2933
2934 # VPP IP6
2935 -
2936   type: "plot"
2937   title: "VPP Latency 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2938   algorithm: "plot_latency_box"
2939   output-file-type: ".html"
2940   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc-lat50"
2941   data:
2942     "plot-vpp-throughput-latency"
2943   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2944   parameters:
2945   - "latency"
2946   - "parent"
2947   traces:
2948     boxmean: False
2949   layout:
2950     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2951     layout:
2952       "plot-latency"
2953
2954 -
2955   type: "plot"
2956   title: "VPP Latency 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2957   algorithm: "plot_latency_box"
2958   output-file-type: ".html"
2959   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc-lat50"
2960   data:
2961     "plot-vpp-throughput-latency"
2962   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2963   parameters:
2964   - "latency"
2965   - "parent"
2966   traces:
2967     boxmean: False
2968   layout:
2969     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2970     layout:
2971       "plot-latency"
2972
2973 # VPP IP4_overlay
2974 -
2975   type: "plot"
2976   title: "VPP Latency 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2977   algorithm: "plot_latency_box"
2978   output-file-type: ".html"
2979   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc-lat50"
2980   data:
2981     "plot-vpp-throughput-latency"
2982   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2983   parameters:
2984   - "latency"
2985   - "parent"
2986   traces:
2987     boxmean: False
2988   layout:
2989     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2990     layout:
2991       "plot-latency"
2992
2993 -
2994   type: "plot"
2995   title: "VPP Latency 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2996   algorithm: "plot_latency_box"
2997   output-file-type: ".html"
2998   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc-lat50"
2999   data:
3000     "plot-vpp-throughput-latency"
3001   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
3002   parameters:
3003   - "latency"
3004   - "parent"
3005   traces:
3006     boxmean: False
3007   layout:
3008     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
3009     layout:
3010       "plot-latency"
3011
3012 # VPP IP6_overlay
3013 -
3014   type: "plot"
3015   title: "VPP Latency 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
3016   algorithm: "plot_latency_box"
3017   output-file-type: ".html"
3018   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc-lat50"
3019   data:
3020     "plot-vpp-throughput-latency"
3021   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
3022   parameters:
3023   - "latency"
3024   - "parent"
3025   traces:
3026     boxmean: False
3027   layout:
3028     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
3029     layout:
3030       "plot-latency"
3031
3032 -
3033   type: "plot"
3034   title: "VPP Latency 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
3035   algorithm: "plot_latency_box"
3036   output-file-type: ".html"
3037   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc-lat50"
3038   data:
3039     "plot-vpp-throughput-latency"
3040   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
3041   parameters:
3042   - "latency"
3043   - "parent"
3044   traces:
3045     boxmean: False
3046   layout:
3047     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
3048     layout:
3049       "plot-latency"
3050
3051 # VPP VM VHOST
3052 -
3053   type: "plot"
3054   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
3055   algorithm: "plot_latency_box"
3056   output-file-type: ".html"
3057   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc-lat50"
3058   data:
3059     "plot-vpp-throughput-latency"
3060   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
3061   parameters:
3062   - "latency"
3063   - "parent"
3064   traces:
3065     boxmean: False
3066   layout:
3067     title: "64B-1t1c-.*vhost.*-ndrdisc"
3068     layout:
3069       "plot-latency"
3070
3071 -
3072   type: "plot"
3073   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
3074   algorithm: "plot_latency_box"
3075   output-file-type: ".html"
3076   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc-lat50"
3077   data:
3078     "plot-vpp-throughput-latency"
3079   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
3080   parameters:
3081   - "latency"
3082   - "parent"
3083   traces:
3084     boxmean: False
3085   layout:
3086     title: "64B-2t2c-.*vhost.*-ndrdisc"
3087     layout:
3088       "plot-latency"
3089
3090 # VPP VM VHOST selection
3091 -
3092   type: "plot"
3093   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
3094   algorithm: "plot_latency_box"
3095   output-file-type: ".html"
3096   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc-lat50"
3097   data:
3098     "plot-vpp-throughput-latency"
3099   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
3100   parameters:
3101   - "latency"
3102   - "parent"
3103   traces:
3104     boxmean: False
3105   layout:
3106     title: "64B-1t1c-.*vhost.*-ndrdisc"
3107     layout:
3108       "plot-latency"
3109
3110 -
3111   type: "plot"
3112   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
3113   algorithm: "plot_latency_box"
3114   output-file-type: ".html"
3115   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc-lat50"
3116   data:
3117     "plot-vpp-throughput-latency"
3118   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
3119   parameters:
3120   - "latency"
3121   - "parent"
3122   traces:
3123     boxmean: False
3124   layout:
3125     title: "64B-2t2c-.*vhost.*-ndrdisc"
3126     layout:
3127       "plot-latency"
3128
3129 # VPP CRYPTO
3130 -
3131   type: "plot"
3132   title: "VPP Latency 64B-1t1c-.*ipsec.*-ndrdisc"
3133   algorithm: "plot_latency_box"
3134   output-file-type: ".html"
3135   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc-lat50"
3136   data:
3137     "plot-vpp-throughput-latency"
3138   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
3139   parameters:
3140   - "latency"
3141   - "parent"
3142   traces:
3143     boxmean: False
3144   layout:
3145     title: "64B-1t1c-.*ipsec.*-ndrdisc"
3146     layout:
3147       "plot-latency"
3148
3149 -
3150   type: "plot"
3151   title: "VPP Latency 64B-2t2c-.*ipsec.*-ndrdisc"
3152   algorithm: "plot_latency_box"
3153   output-file-type: ".html"
3154   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc-lat50"
3155   data:
3156     "plot-vpp-throughput-latency"
3157   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
3158   parameters:
3159   - "latency"
3160   - "parent"
3161   traces:
3162     boxmean: False
3163   layout:
3164     title: "64B-2t2c-.*ipsec.*-ndrdisc"
3165     layout:
3166       "plot-latency"
3167
3168 # DPDK
3169 -
3170   type: "plot"
3171   title: "DPDK Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3172   algorithm: "plot_latency_box"
3173   output-file-type: ".html"
3174   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc-lat50"
3175   data:
3176     "plot-dpdk-throughput-latency"
3177   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3178   parameters:
3179   - "latency"
3180   - "parent"
3181   traces:
3182     boxmean: False
3183   layout:
3184     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3185     layout:
3186       "plot-latency"
3187
3188 -
3189   type: "plot"
3190   title: "DPDK Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3191   algorithm: "plot_latency_box"
3192   output-file-type: ".html"
3193   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc-lat50"
3194   data:
3195     "plot-dpdk-throughput-latency"
3196   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3197   parameters:
3198   - "latency"
3199   - "parent"
3200   traces:
3201     boxmean: False
3202   layout:
3203     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3204     layout:
3205       "plot-latency"
3206
3207 -
3208   type: "plot"
3209   title: "DPDK Latency 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3210   algorithm: "plot_latency_box"
3211   output-file-type: ".html"
3212   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc-lat50"
3213   data:
3214     "plot-dpdk-throughput-latency"
3215   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
3216   parameters:
3217   - "latency"
3218   - "parent"
3219   traces:
3220     boxmean: False
3221   layout:
3222     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3223     layout:
3224       "plot-latency"
3225
3226 -
3227   type: "plot"
3228   title: "DPDK Latency 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3229   algorithm: "plot_latency_box"
3230   output-file-type: ".html"
3231   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc-lat50"
3232   data:
3233     "plot-dpdk-throughput-latency"
3234   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
3235   parameters:
3236   - "latency"
3237   - "parent"
3238   traces:
3239     boxmean: False
3240   layout:
3241     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3242     layout:
3243       "plot-latency"
3244
3245 # Ligato - Throughput
3246
3247 # Container memif
3248 -
3249   type: "plot"
3250   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3251   algorithm: "plot_performance_box"
3252   output-file-type: ".html"
3253   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc"
3254   data:
3255     "plot-vpp-throughput-latency"
3256   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3257   parameters:
3258   - "throughput"
3259   - "parent"
3260   traces:
3261     hoverinfo: "x+y"
3262     boxpoints: "outliers"
3263     whiskerwidth: 0
3264   layout:
3265     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3266     xaxis:
3267       autorange: True
3268       autotick: False
3269       fixedrange: False
3270       gridcolor: "rgb(238, 238, 238)"
3271       linecolor: "rgb(238, 238, 238)"
3272       linewidth: 1
3273       showgrid: True
3274       showline: True
3275       showticklabels: True
3276       tickcolor: "rgb(238, 238, 238)"
3277       tickmode: "linear"
3278       title: "Indexed Test Cases"
3279       zeroline: False
3280     yaxis:
3281       gridcolor: "rgb(238, 238, 238)'"
3282       hoverformat: ".4s"
3283       linecolor: "rgb(238, 238, 238)"
3284       linewidth: 1
3285       range: [0, 4500000]
3286       showgrid: True
3287       showline: True
3288       showticklabels: True
3289       tickcolor: "rgb(238, 238, 238)"
3290       title: "Packets Per Second [pps]"
3291       zeroline: False
3292     boxmode: "group"
3293     boxgroupgap: 0.5
3294     autosize: False
3295     margin:
3296       t: 50
3297       b: 20
3298       l: 50
3299       r: 20
3300     showlegend: True
3301     legend:
3302       orientation: "h"
3303     width: 700
3304     height: 1000
3305
3306 -
3307   type: "plot"
3308   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3309   algorithm: "plot_performance_box"
3310   output-file-type: ".html"
3311   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc"
3312   data:
3313     "plot-vpp-throughput-latency"
3314   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3315   parameters:
3316   - "throughput"
3317   - "parent"
3318   traces:
3319     hoverinfo: "x+y"
3320     boxpoints: "outliers"
3321     whiskerwidth: 0
3322   layout:
3323     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3324     xaxis:
3325       autorange: True
3326       autotick: False
3327       fixedrange: False
3328       gridcolor: "rgb(238, 238, 238)"
3329       linecolor: "rgb(238, 238, 238)"
3330       linewidth: 1
3331       showgrid: True
3332       showline: True
3333       showticklabels: True
3334       tickcolor: "rgb(238, 238, 238)"
3335       tickmode: "linear"
3336       title: "Indexed Test Cases"
3337       zeroline: False
3338     yaxis:
3339       gridcolor: "rgb(238, 238, 238)'"
3340       hoverformat: ".4s"
3341       linecolor: "rgb(238, 238, 238)"
3342       linewidth: 1
3343       range: [0, 8000000]
3344       showgrid: True
3345       showline: True
3346       showticklabels: True
3347       tickcolor: "rgb(238, 238, 238)"
3348       title: "Packets Per Second [pps]"
3349       zeroline: False
3350     boxmode: "group"
3351     boxgroupgap: 0.5
3352     autosize: False
3353     margin:
3354       t: 50
3355       b: 20
3356       l: 50
3357       r: 20
3358     showlegend: True
3359     legend:
3360       orientation: "h"
3361     width: 700
3362     height: 1000
3363
3364 -
3365   type: "plot"
3366   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3367   algorithm: "plot_performance_box"
3368   output-file-type: ".html"
3369   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-pdrdisc"
3370   data:
3371     "plot-vpp-throughput-latency"
3372   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3373   parameters:
3374   - "throughput"
3375   - "parent"
3376   traces:
3377     hoverinfo: "x+y"
3378     boxpoints: "outliers"
3379     whiskerwidth: 0
3380   layout:
3381     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3382     xaxis:
3383       autorange: True
3384       autotick: False
3385       fixedrange: False
3386       gridcolor: "rgb(238, 238, 238)"
3387       linecolor: "rgb(238, 238, 238)"
3388       linewidth: 1
3389       showgrid: True
3390       showline: True
3391       showticklabels: True
3392       tickcolor: "rgb(238, 238, 238)"
3393       tickmode: "linear"
3394       title: "Indexed Test Cases"
3395       zeroline: False
3396     yaxis:
3397       gridcolor: "rgb(238, 238, 238)'"
3398       hoverformat: ".4s"
3399       linecolor: "rgb(238, 238, 238)"
3400       linewidth: 1
3401       range: [0, 4500000]
3402       showgrid: True
3403       showline: True
3404       showticklabels: True
3405       tickcolor: "rgb(238, 238, 238)"
3406       title: "Packets Per Second [pps]"
3407       zeroline: False
3408     boxmode: "group"
3409     boxgroupgap: 0.5
3410     autosize: False
3411     margin:
3412       t: 50
3413       b: 20
3414       l: 50
3415       r: 20
3416     showlegend: True
3417     legend:
3418       orientation: "h"
3419     width: 700
3420     height: 1000
3421
3422 -
3423   type: "plot"
3424   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3425   algorithm: "plot_performance_box"
3426   output-file-type: ".html"
3427   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-pdrdisc"
3428   data:
3429     "plot-vpp-throughput-latency"
3430   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3431   parameters:
3432   - "throughput"
3433   - "parent"
3434   traces:
3435     hoverinfo: "x+y"
3436     boxpoints: "outliers"
3437     whiskerwidth: 0
3438   layout:
3439     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3440     xaxis:
3441       autorange: True
3442       autotick: False
3443       fixedrange: False
3444       gridcolor: "rgb(238, 238, 238)"
3445       linecolor: "rgb(238, 238, 238)"
3446       linewidth: 1
3447       showgrid: True
3448       showline: True
3449       showticklabels: True
3450       tickcolor: "rgb(238, 238, 238)"
3451       tickmode: "linear"
3452       title: "Indexed Test Cases"
3453       zeroline: False
3454     yaxis:
3455       gridcolor: "rgb(238, 238, 238)'"
3456       hoverformat: ".4s"
3457       linecolor: "rgb(238, 238, 238)"
3458       linewidth: 1
3459       range: [0, 8000000]
3460       showgrid: True
3461       showline: True
3462       showticklabels: True
3463       tickcolor: "rgb(238, 238, 238)"
3464       title: "Packets Per Second [pps]"
3465       zeroline: False
3466     boxmode: "group"
3467     boxgroupgap: 0.5
3468     autosize: False
3469     margin:
3470       t: 50
3471       b: 20
3472       l: 50
3473       r: 20
3474     showlegend: True
3475     legend:
3476       orientation: "h"
3477     width: 700
3478     height: 1000
3479
3480 # Container orchestrated
3481 -
3482   type: "plot"
3483   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3484   algorithm: "plot_performance_box"
3485   output-file-type: ".html"
3486   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc"
3487   data:
3488     "plot-ligato-throughput-latency"
3489   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3490   parameters:
3491   - "throughput"
3492   - "parent"
3493   traces:
3494     hoverinfo: "x+y"
3495     boxpoints: "outliers"
3496     whiskerwidth: 0
3497   layout:
3498     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3499     layout:
3500       "plot-throughput"
3501
3502 -
3503   type: "plot"
3504   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3505   algorithm: "plot_performance_box"
3506   output-file-type: ".html"
3507   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc"
3508   data:
3509     "plot-ligato-throughput-latency"
3510   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3511   parameters:
3512   - "throughput"
3513   - "parent"
3514   traces:
3515     hoverinfo: "x+y"
3516     boxpoints: "outliers"
3517     whiskerwidth: 0
3518   layout:
3519     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3520     layout:
3521       "plot-throughput"
3522
3523 -
3524   type: "plot"
3525   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3526   algorithm: "plot_performance_box"
3527   output-file-type: ".html"
3528   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-pdrdisc"
3529   data:
3530     "plot-ligato-throughput-latency"
3531   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3532   parameters:
3533   - "throughput"
3534   - "parent"
3535   traces:
3536     hoverinfo: "x+y"
3537     boxpoints: "outliers"
3538     whiskerwidth: 0
3539   layout:
3540     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3541     layout:
3542       "plot-throughput"
3543
3544 -
3545   type: "plot"
3546   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3547   algorithm: "plot_performance_box"
3548   output-file-type: ".html"
3549   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-pdrdisc"
3550   data:
3551     "plot-ligato-throughput-latency"
3552   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3553   parameters:
3554   - "throughput"
3555   - "parent"
3556   traces:
3557     hoverinfo: "x+y"
3558     boxpoints: "outliers"
3559     whiskerwidth: 0
3560   layout:
3561     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3562     layout:
3563       "plot-throughput"
3564
3565 # Ligato - Latency
3566
3567 # Container memif
3568 -
3569   type: "plot"
3570   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3571   algorithm: "plot_latency_box"
3572   output-file-type: ".html"
3573   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc-lat50"
3574   data:
3575     "plot-vpp-throughput-latency"
3576   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3577   parameters:
3578   - "latency"
3579   - "parent"
3580   traces:
3581     boxmean: False
3582   layout:
3583     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3584     layout:
3585       "plot-latency"
3586
3587 -
3588   type: "plot"
3589   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3590   algorithm: "plot_latency_box"
3591   output-file-type: ".html"
3592   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc-lat50"
3593   data:
3594     "plot-vpp-throughput-latency"
3595   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3596   parameters:
3597   - "latency"
3598   - "parent"
3599   traces:
3600     boxmean: False
3601   layout:
3602     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3603     layout:
3604       "plot-latency"
3605
3606 # Container orchestrated
3607 -
3608   type: "plot"
3609   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3610   algorithm: "plot_latency_box"
3611   output-file-type: ".html"
3612   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc-lat50"
3613   data:
3614     "plot-ligato-throughput-latency"
3615   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3616   parameters:
3617   - "latency"
3618   - "parent"
3619   traces:
3620     boxmean: False
3621   layout:
3622     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3623     layout:
3624       "plot-latency"
3625
3626 -
3627   type: "plot"
3628   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3629   algorithm: "plot_latency_box"
3630   output-file-type: ".html"
3631   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc-lat50"
3632   data:
3633     "plot-ligato-throughput-latency"
3634   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3635   parameters:
3636   - "latency"
3637   - "parent"
3638   traces:
3639     boxmean: False
3640   layout:
3641     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3642     layout:
3643       "plot-latency"