resources/tools/presentation/specification.yaml

   1 -
   2   type: "environment"
   3   configuration:
   4     # Debug mode:
   5     # - Skip:
   6     #   - Download of input data files
   7     # - Do:
   8     #   - Read data from given zip / xml files
   9     #   - Set the configuration as it is done in normal mode
  10     # If the section "type: debug" is missing, CFG[DEBUG] is set to 0.
  11     CFG[DEBUG]: 0
  12
  13   paths:
  14     # Top level directories:
  15     ## Working directory
  16     DIR[WORKING]: "_tmp"
  17     ## Build directories
  18     DIR[BUILD,HTML]: "_build"
  19     DIR[BUILD,LATEX]: "_build_latex"
  20
  21     # Static .rst files
  22     DIR[RST]: "../../../docs/report"
  23
  24     # Working directories
  25     ## Input data files (.zip, .xml)
  26     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
  27     ## Static source files from git
  28     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
  29     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
  30
  31     # Static html content
  32     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
  33     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
  34     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
  35     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
  36
  37     # Detailed test results
  38     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
  39     DIR[DTR,PERF,DPDK]: "{DIR[DTR]}/dpdk_performance_results"
  40     DIR[DTR,PERF,VPP]: "{DIR[DTR]}/vpp_performance_results"
  41     DIR[DTR,PERF,COT]: "{DIR[DTR]}/cot_performance_results"
  42     DIR[DTR,PERF,HC]: "{DIR[DTR]}/honeycomb_performance_results"
  43     DIR[DTR,FUNC,VPP]: "{DIR[DTR]}/vpp_functional_results"
  44     DIR[DTR,FUNC,VPP,CENTOS]: "{DIR[DTR]}/vpp_functional_results_centos"
  45     DIR[DTR,FUNC,HC]: "{DIR[DTR]}/honeycomb_functional_results"
  46     DIR[DTR,FUNC,NSHSFC]: "{DIR[DTR]}/nshsfc_functional_results"
  47     DIR[DTR,PERF,VPP,IMPRV]: "{DIR[WORKING,SRC]}/vpp_performance_tests/performance_improvements"
  48
  49     # Detailed test configurations
  50     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
  51     DIR[DTC,PERF,VPP]: "{DIR[DTC]}/vpp_performance_configuration"
  52     DIR[DTC,FUNC,VPP]: "{DIR[DTC]}/vpp_functional_configuration"
  53     DIR[DTC,FUNC,VPP,CENTOS]: "{DIR[DTC]}/vpp_functional_configuration_centos"
  54
  55     # Detailed tests operational data
  56     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
  57     DIR[DTO,PERF,VPP]: "{DIR[DTO]}/vpp_performance_operational_data"
  58
  59     # .css patch file to fix tables generated by Sphinx
  60     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
  61     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
  62
  63   urls:
  64     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
  65     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
  66     URL[NEXUS]: "https://docs.fd.io/csit"
  67     DIR[NEXUS]: "report/_static/archive"
  68
  69   make-dirs:
  70   # List the directories which are created while preparing the environment.
  71   # All directories MUST be defined in "paths" section.
  72   - "DIR[WORKING,DATA]"
  73   - "DIR[STATIC,VPP]"
  74   - "DIR[STATIC,DPDK]"
  75   - "DIR[STATIC,ARCH]"
  76   - "DIR[BUILD,LATEX]"
  77   - "DIR[WORKING,SRC]"
  78   - "DIR[WORKING,SRC,STATIC]"
  79
  80   remove-dirs:
  81   # List the directories which are deleted while cleaning the environment.
  82   # All directories MUST be defined in "paths" section.
  83   #- "DIR[BUILD,HTML]"
  84   - "DIR[WORKING,DATA]"
  85
  86   build-dirs:
  87   # List the directories where the results (build) is stored.
  88   # All directories MUST be defined in "paths" section.
  89   - "DIR[BUILD,HTML]"
  90   - "DIR[BUILD,LATEX]"
  91
  92 -
  93   type: "configuration"
  94   data-sets:
  95     plot-vpp-http-server-performance:
  96 # TODO: Add the data sources
  97       csit-vpp-perf-1801-all:
  98       - 157
  99       - 158
 100       - 159
 101       - 160
 102       - 161
 103       - 164
 104       - 165
 105       - 166
 106       - 168
 107       - 169
 108       - 170
 109 # TODO: Add the data sources
 110 #    vpp-meltdown-impact:
 111 #      csit-vpp-perf-1707-all:
 112 #      - 9
 113 #      - 10
 114 #      - 13
 115 #      csit-vpp-perf-1710-all:
 116 #      - 11l
 117 #      - 12
 118 #      - 13
 119 # TODO: Add the data sources
 120 #    vpp-spectre-impact:
 121 #      csit-vpp-perf-1707-all:
 122 #      - 9
 123 #      - 10
 124 #      - 13
 125 #      csit-vpp-perf-1710-all:
 126 #      - 11
 127 #      - 12
 128 #      - 13
 129     vpp-performance-changes:
 130       csit-vpp-perf-1710-all:
 131       - 11
 132       - 12
 133       - 13
 134       - 14
 135       - 15
 136       - 16
 137       - 17
 138       - 18
 139       - 19
 140       - 20
 141       csit-vpp-perf-1801-all:
 142       - 124  # sel
 143       - 127  # sel
 144       - 128  # sel
 145       - 141  # sel
 146       - 142  # sel
 147       - 143  # sel
 148       - 145  # sel
 149       - 146  # sel
 150       - 162  # sel
 151       - 163  # sel
 152       - 167  # sel
 153       - 172  # sel acl only
 154       csit-vpp-perf-1804-all:
 155       - 1   # sel - dry run
 156       - 13  # sel - dry run
 157       - 14  # sel - dry run
 158       - 17  # sel - dry run
 159       - 22  # sel
 160     vpp-performance-changes-mrr:
 161       csit-vpp-perf-check-1801:
 162       - 1
 163       - 2
 164       - 3
 165       - 4
 166       - 5
 167       - 6
 168       - 7
 169       - 8
 170       - 9
 171       - 11
 172       - 12
 173       - 13
 174       csit-vpp-perf-check-1804:
 175       - 1   # mrr - dry run
 176       - 2   # mrr - dry run
 177       - 3   # mrr - dry run
 178       - 4   # mrr - dry run
 179       - 5   # mrr
 180     plot-throughput-speedup-analysis:
 181       csit-vpp-perf-1804-all:
 182       - 1   # sel - dry run
 183       - 13  # sel - dry run
 184       - 14  # sel - dry run
 185       - 17  # sel - dry run
 186       - 19  # full
 187       - 22  # sel
 188 #    performance-improvements:
 189 #      csit-vpp-perf-1707-all:
 190 #      - 9
 191 #      - 10
 192 #      - 13
 193 #      - 14
 194 #      - 15
 195 #      - 16
 196 #      - 17
 197 #      - 18
 198 #      - 19
 199 #      - 21
 200 #      csit-vpp-perf-1710-all:
 201 #      - 11
 202 #      - 12
 203 #      - 13
 204 #      - 14
 205 #      - 15
 206 #      - 16
 207 #      - 17
 208 #      - 18
 209 #      - 19
 210 #      - 20
 211 #      csit-vpp-perf-1801-all:
 212 #      - 124
 213 #      - 127
 214 #      - 128
 215 #      csit-ligato-perf-1710-all:
 216 #      - 5
 217 #      - 7
 218 #      - 8
 219 #      - 9
 220 #      - 10
 221 #      - 11
 222 #      - 12
 223 #      - 13
 224 #      - 16
 225 #      - 17
 226 #      csit-ligato-perf-1801-all:
 227 #      - 16  # sel
 228 #      - 17  # sel
 229 #      - 18  # sel
 230 #      - 19  # sel
 231 #      - 20  # sel
 232 #      - 21  # sel
 233 #      - 22  # sel
 234 #      - 23  # sel
 235 #      - 24  # sel
 236     vpp-perf-results:
 237       csit-vpp-perf-1804-all:
 238       - 19  # full
 239     vpp-func-results:
 240       csit-vpp-functional-1804-ubuntu1604-virl:
 241       - "lastSuccessfulBuild"
 242     vpp-func-results-centos:
 243       csit-vpp-functional-1804-centos7-virl:
 244       - "lastSuccessfulBuild"
 245     ligato-perf-results:
 246       csit-ligato-perf-1801-all:
 247       - 25  # full
 248     dpdk-perf-results:
 249       csit-dpdk-perf-1804-all:
 250       - 13
 251     hc-func-results:
 252       csit-hc2vpp-verify-func-1804-ubuntu1604:
 253       - "lastSuccessfulBuild"
 254     nsh-func-results:
 255       csit-nsh_sfc-verify-func-1804-ubuntu1604-virl:
 256       - "lastSuccessfulBuild"
 257     plot-vpp-throughput-latency:
 258       csit-vpp-perf-1804-all:
 259       - 1   # sel - dry run
 260       - 13  # sel - dry run
 261       - 14  # sel - dry run
 262       - 17  # sel - dry run
 263       - 19  # full
 264       - 22  # sel
 265     plot-dpdk-throughput-latency:
 266       csit-dpdk-perf-1804-all:
 267       - 4
 268       - 5
 269       - 6
 270       - 7
 271       - 8
 272       - 9
 273       - 10
 274       - 11
 275       - 12
 276       - 13
 277     plot-ligato-throughput-latency:
 278       csit-ligato-perf-1801-all:
 279       - 16  # sel
 280       - 17  # sel
 281       - 18  # sel
 282       - 19  # sel
 283       - 20  # sel
 284       - 21  # sel
 285       - 22  # sel
 286       - 23  # sel
 287       - 24  # sel
 288
 289   plot-layouts:
 290
 291     plot-cps:
 292       xaxis:
 293         autorange: True
 294         autotick: False
 295         fixedrange: False
 296         gridcolor: "rgb(238, 238, 238)"
 297         linecolor: "rgb(238, 238, 238)"
 298         linewidth: 1
 299         showgrid: True
 300         showline: True
 301         showticklabels: True
 302         tickcolor: "rgb(238, 238, 238)"
 303         tickmode: "linear"
 304         title: "Indexed Test Cases"
 305         zeroline: False
 306       yaxis:
 307         gridcolor: "rgb(238, 238, 238)'"
 308         hoverformat: ".4s"
 309         linecolor: "rgb(238, 238, 238)"
 310         linewidth: 1
 311         range: []
 312         rangemode: "tozero"
 313         showgrid: True
 314         showline: True
 315         showticklabels: True
 316         tickcolor: "rgb(238, 238, 238)"
 317         title: "Connections Per Second [cps]"
 318         zeroline: False
 319       boxmode: "group"
 320       boxgroupgap: 0.5
 321       autosize: False
 322       margin:
 323         t: 50
 324         b: 20
 325         l: 50
 326         r: 20
 327       showlegend: True
 328       legend:
 329         orientation: "h"
 330       width: 700
 331       height: 1000
 332
 333     plot-rps:
 334       xaxis:
 335         autorange: True
 336         autotick: False
 337         fixedrange: False
 338         gridcolor: "rgb(238, 238, 238)"
 339         linecolor: "rgb(238, 238, 238)"
 340         linewidth: 1
 341         showgrid: True
 342         showline: True
 343         showticklabels: True
 344         tickcolor: "rgb(238, 238, 238)"
 345         tickmode: "linear"
 346         title: "Indexed Test Cases"
 347         zeroline: False
 348       yaxis:
 349         gridcolor: "rgb(238, 238, 238)'"
 350         hoverformat: ".4s"
 351         linecolor: "rgb(238, 238, 238)"
 352         linewidth: 1
 353         range: []
 354         rangemode: "tozero"
 355         showgrid: True
 356         showline: True
 357         showticklabels: True
 358         tickcolor: "rgb(238, 238, 238)"
 359         title: "Requests Per Second [rps]"
 360         zeroline: False
 361       boxmode: "group"
 362       boxgroupgap: 0.5
 363       autosize: False
 364       margin:
 365         t: 50
 366         b: 20
 367         l: 50
 368         r: 20
 369       showlegend: True
 370       legend:
 371         orientation: "h"
 372       width: 700
 373       height: 1000
 374
 375     plot-throughput:
 376       xaxis:
 377         autorange: True
 378         autotick: False
 379         fixedrange: False
 380         gridcolor: "rgb(238, 238, 238)"
 381         linecolor: "rgb(238, 238, 238)"
 382         linewidth: 1
 383         showgrid: True
 384         showline: True
 385         showticklabels: True
 386         tickcolor: "rgb(238, 238, 238)"
 387         tickmode: "linear"
 388         title: "Indexed Test Cases"
 389         zeroline: False
 390       yaxis:
 391         gridcolor: "rgb(238, 238, 238)'"
 392         hoverformat: ".4s"
 393         linecolor: "rgb(238, 238, 238)"
 394         linewidth: 1
 395         range: []
 396         showgrid: True
 397         showline: True
 398         showticklabels: True
 399         tickcolor: "rgb(238, 238, 238)"
 400         title: "Packets Per Second [pps]"
 401         zeroline: False
 402       boxmode: "group"
 403       boxgroupgap: 0.5
 404       autosize: False
 405       margin:
 406         t: 50
 407         b: 20
 408         l: 50
 409         r: 20
 410       showlegend: True
 411       legend:
 412         orientation: "h"
 413       width: 700
 414       height: 1000
 415
 416     plot-latency:
 417       xaxis:
 418         autorange: True
 419         autotick: False
 420         fixedrange: False
 421         gridcolor: "rgb(238, 238, 238)"
 422         linecolor: "rgb(238, 238, 238)"
 423         linewidth: 1
 424         showgrid: True
 425         showline: True
 426         showticklabels: True
 427         tickcolor: "rgb(238, 238, 238)"
 428         tickmode: "linear"
 429         title: "Indexed Test Cases"
 430         zeroline: False
 431       yaxis:
 432         gridcolor: "rgb(238, 238, 238)'"
 433         hoverformat: ""
 434         linecolor: "rgb(238, 238, 238)"
 435         linewidth: 1
 436         range: []
 437         showgrid: True
 438         showline: True
 439         showticklabels: True
 440         tickcolor: "rgb(238, 238, 238)"
 441         title: "Latency min/avg/max [uSec]"
 442         zeroline: False
 443       boxmode: "group"
 444       boxgroupgap: 0.5
 445       autosize: False
 446       margin:
 447         t: 50
 448         b: 20
 449         l: 50
 450         r: 20
 451       showlegend: True
 452       legend:
 453         orientation: "h"
 454       width: 700
 455       height: 1000
 456
 457     plot-throughput-speedup-analysis:
 458       xaxis:
 459         autorange: True
 460         autotick: False
 461         fixedrange: False
 462         gridcolor: "rgb(238, 238, 238)"
 463         linecolor: "rgb(238, 238, 238)"
 464         linewidth: 1
 465         showgrid: True
 466         showline: True
 467         showticklabels: True
 468         tickcolor: "rgb(238, 238, 238)"
 469         tickmode: "linear"
 470         tickangle: 270
 471         zeroline: False
 472       yaxis:
 473         title: "Throughput speedup factor"
 474         gridcolor: "rgb(238, 238, 238)"
 475         hoverformat: ".4s"
 476         linecolor: "rgb(238, 238, 238)"
 477         linewidth: 1
 478         range: []
 479         showgrid: True
 480         showline: True
 481         showticklabels: True
 482         tickcolor: "rgb(238, 238, 238)"
 483         zeroline: False
 484       legend:
 485         orientation: "h"
 486         xanchor: "center"
 487         yanchor: "top"
 488         x: 0.5
 489         y: 1
 490         bgcolor: "rgba(255, 255, 255, 0)"
 491         bordercolor: "rgba(255, 255, 255, 0)"
 492       barmode: "group"
 493       bargap: 0.15
 494       bargroupgap: 0.1
 495       autosize: False
 496       margin:
 497           't': 50
 498           'b': 200
 499           'l': 50
 500           'r': 20
 501       showlegend: True
 502       width: 700
 503       height: 1000
 504
 505 -
 506   type: "debug"
 507   general:
 508     input-format: "xml"  # zip or xml
 509     extract: "robot-plugin/output.xml"  # Only for zip
 510   builds:
 511     # The files must be in the directory DIR[WORKING,DATA]
 512     csit-vpp-perf-1801-all:
 513     -
 514       build: 1
 515       file: "{DIR[WORKING,DATA]}/output.xml"
 516     -
 517       build: 2
 518       file: "{DIR[WORKING,DATA]}/output.xml"
 519     -
 520       build: 3
 521       file: "{DIR[WORKING,DATA]}/output.xml"
 522     -
 523       build: 4
 524       file: "{DIR[WORKING,DATA]}/output.xml"
 525
 526 -
 527   type: "static"
 528   src-path: "{DIR[RST]}"
 529   dst-path: "{DIR[WORKING,SRC]}"
 530
 531 -
 532   type: "input"  # Ignored in debug mode
 533   general:
 534     file-name: "robot-plugin.zip"
 535     file-format: ".zip"
 536     download-path: "{job}/{build}/robot/report/*zip*/{filename}"
 537     extract: "robot-plugin/output.xml"
 538   builds:
 539 #    csit-vpp-perf-1707-all:
 540 #    - 9
 541 #    - 10
 542 #    - 13
 543 #    - 14
 544 #    - 15
 545 #    - 16
 546 #    - 17
 547 #    - 18
 548 #    - 19
 549 #    - 21
 550     csit-vpp-perf-1710-all:
 551     - 11
 552     - 12
 553     - 13
 554     - 14
 555     - 15
 556     - 16
 557     - 17
 558     - 18
 559     - 19
 560     - 20
 561     csit-vpp-perf-1801-all:
 562     - 122  # full
 563     - 126  # full
 564     - 129  # full
 565     - 140  # full
 566     - 124  # sel
 567     - 127  # sel
 568     - 128  # sel
 569     - 141  # sel
 570     - 142  # sel
 571     - 143  # sel
 572     - 145  # sel
 573     - 146  # sel
 574     - 157  # wrk
 575     - 158  # wrk
 576     - 159  # wrk
 577     - 160  # wrk
 578     - 161  # wrk
 579     - 162  # sel
 580     - 163  # sel
 581     - 164  # wrk
 582     - 165  # wrk
 583     - 166  # wrk
 584     - 167  # sel
 585     - 168  # wrk
 586     - 169  # wrk
 587     - 170  # wrk
 588     - 172  # sel acl only
 589     csit-vpp-perf-1804-all:
 590     - 1   # sel - dry run
 591     - 13  # sel - dry run
 592     - 14  # sel - dry run
 593     - 17  # sel - dry run
 594     - 19  # full
 595     - 22  # sel
 596     csit-vpp-perf-check-1801:
 597     - 1   # mrr
 598     - 2   # mrr
 599     - 3   # mrr
 600     - 4   # mrr
 601     - 5   # mrr
 602     - 6   # mrr
 603     - 7   # mrr
 604     - 8   # mrr
 605     - 9   # mrr
 606     - 11  # mrr
 607     - 12  # mrr
 608     - 13  # mrr
 609     csit-vpp-perf-check-1804:
 610     - 1   # mrr - dry run
 611     - 2   # mrr - dry run
 612     - 3   # mrr - dry run
 613     - 4   # mrr - dry run
 614     - 5   # mrr
 615 #    csit-ligato-perf-1710-all:
 616 #    - 5
 617 #    - 7
 618 #    - 8
 619 #    - 9
 620 #    - 10
 621 #    - 11
 622 #    - 12
 623 #    - 13
 624 #    - 16
 625 #    - 17
 626     csit-ligato-perf-1801-all:
 627     - 16  # sel
 628     - 17  # sel
 629     - 18  # sel
 630     - 19  # sel
 631     - 20  # sel
 632     - 21  # sel
 633     - 22  # sel
 634     - 23  # sel
 635     - 24  # sel
 636     - 25  # full
 637     csit-dpdk-perf-1804-all:
 638     - 4
 639     - 5
 640     - 6
 641     - 7
 642     - 8
 643     - 9
 644     - 10
 645     - 11
 646     - 12
 647     - 13
 648     csit-vpp-functional-1804-ubuntu1604-virl:
 649     - "lastSuccessfulBuild"
 650     csit-vpp-functional-1804-centos7-virl:
 651     - "lastSuccessfulBuild"
 652     csit-nsh_sfc-verify-func-1804-ubuntu1604-virl:
 653     - "lastSuccessfulBuild"
 654     csit-hc2vpp-verify-func-1804-ubuntu1604:
 655     - "lastSuccessfulBuild"
 656
 657 -
 658   type: "output"
 659   output: "report"
 660   format:
 661     html:
 662     - full
 663     pdf:
 664     - minimal
 665
 666 ################################################################################
 667 ###                               T A B L E S                                ###
 668 ################################################################################
 669
 670 #-
 671 #  type: "table"
 672 #  title: "Performance Impact of Meltdown Patches"
 673 #  algorithm: "table_performance_comparison"
 674 #  output-file-ext: ".csv"
 675 ## TODO: specify dir
 676 #  output-file: "{DIR[STATIC,VPP]}/meltdown-impact"
 677 #  reference:
 678 #    title: "No Meltdown"
 679 ## TODO: specify data sources
 680 #    data:
 681 #      csit-vpp-perf-1707-all:
 682 #      - 9
 683 #      - 10
 684 #      - 13
 685 #  compare:
 686 #    title: "Meltdown Patches Applied"
 687 ## TODO: specify data sources
 688 #    data:
 689 #      csit-vpp-perf-1710-all:
 690 #      - 11
 691 #      - 12
 692 #      - 13
 693 #  data:
 694 #    "vpp-meltdown-impact"
 695 #  filter: "all"
 696 #  parameters:
 697 #  - "name"
 698 #  - "parent"
 699 #  - "throughput"
 700 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
 701 #  # to present all tests.
 702 #  nr-of-tests-shown: 20
 703 #
 704 #-
 705 #  type: "table"
 706 #  title: "Performance Impact of Spectre Patches"
 707 #  algorithm: "table_performance_comparison"
 708 #  output-file-ext: ".csv"
 709 ## TODO: specify dir
 710 #  output-file: "{DIR[STATIC,VPP]}/meltdown-spectre-impact"
 711 #  reference:
 712 #    title: "No Spectre"
 713 ## TODO: specify data sources
 714 #    data:
 715 #      csit-vpp-perf-1707-all:
 716 #      - 9
 717 #      - 10
 718 #      - 13
 719 #  compare:
 720 #    title: "Spectre Patches Applied"
 721 ## TODO: specify data sources
 722 #    data:
 723 #      csit-vpp-perf-1710-all:
 724 #      - 11
 725 #      - 12
 726 #      - 13
 727 #  data:
 728 #    "vpp-spectre-impact"
 729 #  filter: "all"
 730 #  parameters:
 731 #  - "name"
 732 #  - "parent"
 733 #  - "throughput"
 734 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
 735 #  # to present all tests.
 736 #  nr-of-tests-shown: 20
 737
 738 -
 739   type: "table"
 740   title: "VPP Performance Changes"
 741   algorithm: "table_performance_comparison"
 742   output-file-ext: ".csv"
 743   output-file: "{DIR[STATIC,VPP]}/performance-changes"
 744   history:
 745     -
 746       title: "rls1710"
 747       data:
 748         csit-vpp-perf-1710-all:
 749         - 11
 750         - 12
 751         - 13
 752         - 14
 753         - 15
 754         - 16
 755         - 17
 756         - 18
 757         - 19
 758         - 20
 759   reference:
 760     title: "rls1801"
 761     data:
 762       csit-vpp-perf-1801-all:
 763       - 124  # sel
 764       - 127  # sel
 765       - 128  # sel
 766       - 141  # sel
 767       - 142  # sel
 768       - 143  # sel
 769       - 145  # sel
 770       - 146  # sel
 771       - 162  # sel
 772       - 163  # sel
 773       - 167  # sel
 774       - 172  # sel acl only
 775   compare:
 776     title: "rls1804"
 777     data:
 778       csit-vpp-perf-1804-all:
 779       - 1   # sel - dry run
 780       - 13  # sel - dry run
 781       - 14  # sel - dry run
 782       - 17  # sel - dry run
 783       - 22  # sel
 784   data: "vpp-performance-changes"
 785   filter: "all"
 786   parameters:
 787   - "name"
 788   - "parent"
 789   - "throughput"
 790   # Number of the best and the worst tests presented in the table. Use 0 (zero)
 791   # to present all tests.
 792   nr-of-tests-shown: 20
 793   outlier-const: 1.5
 794
 795 -
 796   type: "table"
 797   title: "VPP Performance Changes - MRR"
 798   algorithm: "table_performance_comparison_mrr"
 799   output-file-ext: ".csv"
 800   output-file: "{DIR[STATIC,VPP]}/performance-changes-mrr"
 801   reference:
 802     title: "Release 1801"
 803     data:
 804       csit-vpp-perf-check-1801:
 805       - 1
 806       - 2
 807       - 3
 808       - 4
 809       - 5
 810       - 6
 811       - 7
 812       - 8
 813       - 9
 814       - 11
 815       - 12
 816       - 13
 817   compare:
 818     title: "Release 1804"
 819     data:
 820       csit-vpp-perf-check-1804:
 821       - 1   # mrr - dry run
 822       - 2   # mrr - dry run
 823       - 3   # mrr - dry run
 824       - 4   # mrr - dry run
 825       - 5   # mrr
 826   data: "vpp-performance-changes-mrr"
 827   filter: "all"
 828   parameters:
 829   - "name"
 830   - "parent"
 831   - "result"
 832   # Number of the best and the worst tests presented in the table. Use 0 (zero)
 833   # to present all tests.
 834   nr-of-tests-shown: 20
 835   outlier-const: 1.5
 836
 837 #-
 838 #  type: "table"
 839 #  title: "Performance improvements"
 840 #  algorithm: "table_performance_improvements"
 841 #  template: "{DIR[DTR,PERF,VPP,IMPRV]}/tmpl_performance_improvements.csv"
 842 #  output-file-ext: ".csv"
 843 #  output-file: "{DIR[DTR,PERF,VPP,IMPRV]}/performance_improvements"
 844 #  columns:
 845 #  -
 846 #    title: "Test Name"
 847 #    data: "template 1"
 848 #  -
 849 #    title: "16.09 mean [Mpps]"
 850 #    data: "template 2"
 851 #  -
 852 #    title: "17.01 mean [Mpps]"
 853 #    data: "template 3"
 854 #  -
 855 #    title: "17.04 mean [Mpps]"
 856 #    data: "template 4"
 857 #  -
 858 #    title: "17.07 mean [Mpps]"
 859 #    data: "data csit-vpp-perf-1707-all mean"
 860 #  -
 861 #    title: "17.10 mean [Mpps]"
 862 #    data: "data csit-vpp-perf-1710-all csit-ligato-perf-1710-all mean"
 863 #  -
 864 #    title: "18.01 mean [Mpps]"
 865 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all mean"
 866 #  -
 867 #    title: "18.01 stdev [Mpps]"
 868 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all stdev"
 869 #  -
 870 #    title: "17.10 to 18.01 change [%]"
 871 #    data: "operation relative_change 5 6"
 872 #  rows: "generated"
 873 #  data:
 874 #    "performance-improvements"
 875 #  filter: "template"
 876 #  parameters:
 877 #  - "throughput"
 878
 879 -
 880   type: "table"
 881   title: "Detailed Test Results - VPP Performance Results"
 882   algorithm: "table_merged_details"
 883   output-file-ext: ".csv"
 884   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
 885   columns:
 886   -
 887     title: "Name"
 888     data: "data name"
 889   -
 890     title: "Documentation"
 891     data: "data doc"
 892   -
 893     title: "Status"
 894     data: "data msg"
 895   rows: "generated"
 896   data:
 897     "vpp-perf-results"
 898   filter: "not 'NDRCHK' and not 'PDRCHK'"
 899   parameters:
 900   - "name"
 901   - "parent"
 902   - "doc"
 903   - "msg"
 904
 905 -
 906   type: "table"
 907   title: "Test configuration - VPP Performance Test Configs"
 908   algorithm: "table_merged_details"
 909   output-file-ext: ".csv"
 910   output-file: "{DIR[DTC,PERF,VPP]}/vpp_test_configuration"
 911   columns:
 912   -
 913     title: "Name"
 914     data: "data name"
 915   -
 916     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
 917     data: "data vat-history"
 918   rows: "generated"
 919   data:
 920     "vpp-perf-results"
 921   filter: "not 'NDRCHK' and not 'PDRCHK'"
 922   parameters:
 923   - "parent"
 924   - "name"
 925   - "vat-history"
 926
 927 -
 928   type: "table"
 929   title: "Test Operational Data - VPP Performance Operational Data"
 930   algorithm: "table_merged_details"
 931   output-file-ext: ".csv"
 932   output-file: "{DIR[DTO,PERF,VPP]}/vpp_test_operational"
 933   columns:
 934   -
 935     title: "Name"
 936     data: "data name"
 937   -
 938     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
 939     data: "data show-run"
 940   rows: "generated"
 941   data:
 942     "vpp-perf-results"
 943   filter: "not 'NDRCHK' and not 'PDRCHK'"
 944   parameters:
 945   - "parent"
 946   - "name"
 947   - "show-run"
 948
 949 -
 950   type: "table"
 951   title: "Detailed Test Results - VPP Functional Results"
 952   algorithm: "table_details"
 953   output-file-ext: ".csv"
 954   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
 955   columns:
 956   -
 957     title: "Name"
 958     data: "data name"
 959   -
 960     title: "Documentation"
 961     data: "data doc"
 962   -
 963     title: "Status"
 964     data: "data status"
 965   rows: "generated"
 966   data:
 967     "vpp-func-results"
 968   filter: "all"
 969   parameters:
 970   - "name"
 971   - "parent"
 972   - "doc"
 973   - "status"
 974
 975 -
 976   type: "table"
 977   title: "Detailed Test Results - VPP Functional Results - CentOS"
 978   algorithm: "table_details"
 979   output-file-ext: ".csv"
 980   output-file: "{DIR[DTR,FUNC,VPP,CENTOS]}/vpp_functional_results_centos"
 981   columns:
 982   -
 983     title: "Name"
 984     data: "data name"
 985   -
 986     title: "Documentation"
 987     data: "data doc"
 988   -
 989     title: "Status"
 990     data: "data status"
 991   rows: "generated"
 992   data:
 993     "vpp-func-results-centos"
 994   filter: "all"
 995   parameters:
 996   - "name"
 997   - "parent"
 998   - "doc"
 999   - "status"
1000
1001 -
1002   type: "table"
1003   title: "Test configuration - VPP Functional Test Configs"
1004   algorithm: "table_details"
1005   output-file-ext: ".csv"
1006   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
1007   columns:
1008   -
1009     title: "Name"
1010     data: "data name"
1011   -
1012     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1013     data: "data vat-history"
1014   rows: "generated"
1015   data:
1016     "vpp-func-results"
1017   filter: "all"
1018   parameters:
1019   - "parent"
1020   - "name"
1021   - "vat-history"
1022
1023 -
1024   type: "table"
1025   title: "Test configuration - VPP Functional Test Configs - CentOS"
1026   algorithm: "table_details"
1027   output-file-ext: ".csv"
1028   output-file: "{DIR[DTC,FUNC,VPP,CENTOS]}/vpp_functional_configuration_centos"
1029   columns:
1030   -
1031     title: "Name"
1032     data: "data name"
1033   -
1034     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1035     data: "data vat-history"
1036   rows: "generated"
1037   data:
1038     "vpp-func-results-centos"
1039   filter: "all"
1040   parameters:
1041   - "parent"
1042   - "name"
1043   - "vat-history"
1044
1045 -
1046   type: "table"
1047   title: "Detailed Test Results - Container Orchestrated Topologies Performance Results"
1048   algorithm: "table_details"
1049   output-file-ext: ".csv"
1050   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
1051   columns:
1052   -
1053     title: "Name"
1054     data: "data name"
1055   -
1056     title: "Documentation"
1057     data: "data doc"
1058   -
1059     title: "Status"
1060     data: "data msg"
1061   rows: "generated"
1062   data:
1063     "ligato-perf-results"
1064   filter: "all"
1065   parameters:
1066   - "name"
1067   - "parent"
1068   - "doc"
1069   - "msg"
1070
1071 -
1072   type: "table"
1073   title: "Detailed Test Results - DPDK Performance Results"
1074   algorithm: "table_details"
1075   output-file-ext: ".csv"
1076   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
1077   columns:
1078   -
1079     title: "Name"
1080     data: "data name"
1081   -
1082     title: "Documentation"
1083     data: "data doc"
1084   -
1085     title: "Status"
1086     data: "data msg"
1087   rows: "generated"
1088   data:
1089     "dpdk-perf-results"
1090   filter: "all"
1091   parameters:
1092   - "name"
1093   - "parent"
1094   - "doc"
1095   - "msg"
1096
1097 -
1098   type: "table"
1099   title: "Detailed Test Results - Honeycomb Functional Results"
1100   algorithm: "table_details"
1101   output-file-ext: ".csv"
1102   output-file: "{DIR[DTR,FUNC,HC]}/hc_functional_results"
1103   columns:
1104   -
1105     title: "Name"
1106     data: "data name"
1107   -
1108     title: "Documentation"
1109     data: "data doc"
1110   -
1111     title: "Status"
1112     data: "data status"
1113   rows: "generated"
1114   data:
1115     "hc-func-results"
1116   filter: "all"
1117   parameters:
1118   - "name"
1119   - "parent"
1120   - "doc"
1121   - "status"
1122
1123 -
1124   type: "table"
1125   title: "Detailed Test Results - NSH SFC Functional Results"
1126   algorithm: "table_details"
1127   output-file-ext: ".csv"
1128   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nsh_sfc_functional_results"
1129   columns:
1130   -
1131     title: "Name"
1132     data: "data name"
1133   -
1134     title: "Documentation"
1135     data: "data doc"
1136   -
1137     title: "Status"
1138     data: "data status"
1139   rows: "generated"
1140   data:
1141     "nsh-func-results"
1142   filter: "all"
1143   parameters:
1144   - "name"
1145   - "parent"
1146   - "doc"
1147   - "status"
1148
1149 ################################################################################
1150 ###                                F I L E S                                 ###
1151 ################################################################################
1152
1153 -
1154   type: "file"
1155   title: "VPP Performance Results"
1156   algorithm: "file_merged_test_results"
1157   output-file-ext: ".rst"
1158   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
1159   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1160   dir-tables: "{DIR[DTR,PERF,VPP]}"
1161   data:
1162     "vpp-perf-results"
1163   filter: "not 'NDRCHK' and not 'PDRCHK'"
1164   parameters:
1165   - "name"
1166   - "doc"
1167   - "level"
1168   - "parent"
1169   data-start-level: 3  # 0, 1, 2, ...
1170   chapters-start-level: 2  # 0, 1, 2, ...
1171
1172 -
1173   type: "file"
1174   title: "VPP Performance Configuration"
1175   algorithm: "file_merged_test_results"
1176   output-file-ext: ".rst"
1177   output-file: "{DIR[DTC,PERF,VPP]}/vpp_performance_configuration"
1178   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1179   dir-tables: "{DIR[DTC,PERF,VPP]}"
1180   data:
1181     "vpp-perf-results"
1182   filter: "not 'NDRCHK' and not 'PDRCHK'"
1183   parameters:
1184   - "name"
1185   - "doc"
1186   - "level"
1187   - "parent"
1188   data-start-level: 3  # 0, 1, 2, ...
1189   chapters-start-level: 2  # 0, 1, 2, ...
1190
1191 -
1192   type: "file"
1193   title: "VPP Performance Operational Data"
1194   algorithm: "file_merged_test_results"
1195   output-file-ext: ".rst"
1196   output-file: "{DIR[DTO,PERF,VPP]}/vpp_performance_operational_data"
1197   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1198   dir-tables: "{DIR[DTO,PERF,VPP]}"
1199   data:
1200     "vpp-perf-results"
1201   filter: "not 'NDRCHK' and not 'PDRCHK'"
1202   parameters:
1203   - "name"
1204   - "doc"
1205   - "level"
1206   - "parent"
1207   data-start-level: 3  # 0, 1, 2, ...
1208   chapters-start-level: 2  # 0, 1, 2, ...
1209
1210 -
1211   type: "file"
1212   title: "VPP Functional Results"
1213   algorithm: "file_test_results"
1214   output-file-ext: ".rst"
1215   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
1216   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1217   dir-tables: "{DIR[DTR,FUNC,VPP]}"
1218   data:
1219     "vpp-func-results"
1220   filter: "all"
1221   parameters:
1222   - "name"
1223   - "doc"
1224   - "level"
1225   data-start-level: 3  # 0, 1, 2, ...
1226   chapters-start-level: 2  # 0, 1, 2, ...
1227
1228 -
1229   type: "file"
1230   title: "VPP Functional Results - CentOS"
1231   algorithm: "file_test_results"
1232   output-file-ext: ".rst"
1233   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results_centos"
1234   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1235   dir-tables: "{DIR[DTR,FUNC,VPP,CENTOS]}"
1236   data:
1237     "vpp-func-results-centos"
1238   filter: "all"
1239   parameters:
1240   - "name"
1241   - "doc"
1242   - "level"
1243   data-start-level: 3  # 0, 1, 2, ...
1244   chapters-start-level: 2  # 0, 1, 2, ...
1245
1246 -
1247   type: "file"
1248   title: "VPP Functional Configuration"
1249   algorithm: "file_test_results"
1250   output-file-ext: ".rst"
1251   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
1252   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1253   dir-tables: "{DIR[DTC,FUNC,VPP]}"
1254   data:
1255     "vpp-func-results"
1256   filter: "all"
1257   parameters:
1258   - "name"
1259   - "doc"
1260   - "level"
1261   data-start-level: 3  # 0, 1, 2, ...
1262   chapters-start-level: 2  # 0, 1, 2, ...
1263
1264 -
1265   type: "file"
1266   title: "VPP Functional Configuration - CentOS"
1267   algorithm: "file_test_results"
1268   output-file-ext: ".rst"
1269   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration_centos"
1270   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1271   dir-tables: "{DIR[DTC,FUNC,VPP,CENTOS]}"
1272   data:
1273     "vpp-func-results-centos"
1274   filter: "all"
1275   parameters:
1276   - "name"
1277   - "doc"
1278   - "level"
1279   data-start-level: 3  # 0, 1, 2, ...
1280   chapters-start-level: 2  # 0, 1, 2, ...
1281
1282 -
1283   type: "file"
1284   title: "Container Orchestrated Performance Results"
1285   algorithm: "file_test_results"
1286   output-file-ext: ".rst"
1287   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
1288   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1289   dir-tables: "{DIR[DTR,PERF,COT]}"
1290   data:
1291     "ligato-perf-results"
1292   filter: "all"
1293   parameters:
1294   - "name"
1295   - "doc"
1296   - "level"
1297   data-start-level: 2  # 0, 1, 2, ...
1298   chapters-start-level: 2  # 0, 1, 2, ...
1299
1300 -
1301   type: "file"
1302   title: "DPDK Performance Results"
1303   algorithm: "file_test_results"
1304   output-file-ext: ".rst"
1305   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
1306   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1307   dir-tables: "{DIR[DTR,PERF,DPDK]}"
1308   data:
1309     "dpdk-perf-results"
1310   filter: "all"
1311   parameters:
1312   - "name"
1313   - "doc"
1314   - "level"
1315   chapters:
1316   - "suites"
1317   data-start-level: 2  # 0, 1, 2, ...
1318   chapters-start-level: 2  # 0, 1, 2, ...
1319
1320 -
1321   type: "file"
1322   title: "Honeycomb Functional Results"
1323   algorithm: "file_test_results"
1324   output-file-ext: ".rst"
1325   output-file: "{DIR[DTR,FUNC,HC]}/honeycomb_functional_results"
1326   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1327   dir-tables: "{DIR[DTR,FUNC,HC]}"
1328   data:
1329     "hc-func-results"
1330   filter: "all"
1331   parameters:
1332   - "name"
1333   - "doc"
1334   - "level"
1335   chapters:
1336   - "suites"
1337   data-start-level: 3  # 0, 1, 2, ...
1338   chapters-start-level: 2  # 0, 1, 2, ...
1339
1340 -
1341   type: "file"
1342   title: "NSH SFC Functional Results"
1343   algorithm: "file_test_results"
1344   output-file-ext: ".rst"
1345   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nshsfc_functional_results"
1346   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1347   dir-tables: "{DIR[DTR,FUNC,NSHSFC]}"
1348   data:
1349     "nsh-func-results"
1350   filter: "all"
1351   parameters:
1352   - "name"
1353   - "doc"
1354   - "level"
1355   chapters:
1356   - "suites"
1357   data-start-level: 2  # 0, 1, 2, ...
1358   chapters-start-level: 2  # 0, 1, 2, ...
1359
1360 ################################################################################
1361 ###                                P L O T S                                 ###
1362 ################################################################################
1363
1364 # Plots VPP HTTP Server Performance
1365 -
1366   type: "plot"
1367   title: "VPP HTTP Server Performance"
1368   algorithm: "plot_http_server_performance_box"
1369   output-file-type: ".html"
1370   output-file: "{DIR[STATIC,VPP]}/http-server-performance-cps"
1371   data:
1372     "plot-vpp-http-server-performance"
1373   # Keep this formatting, the filter is enclosed with " (quotation mark) and
1374   # each tag is enclosed with ' (apostrophe).
1375   filter: "'HTTP' and 'TCP_CPS'"
1376   parameters:
1377   - "result"
1378   - "name"
1379   traces:
1380     hoverinfo: "x+y"
1381     boxpoints: "outliers"
1382     whiskerwidth: 0
1383   layout:
1384     title: "VPP HTTP Server Performance"
1385     layout:
1386       "plot-cps"
1387
1388 -
1389   type: "plot"
1390   title: "VPP HTTP Server Performance"
1391   algorithm: "plot_http_server_performance_box"
1392   output-file-type: ".html"
1393   output-file: "{DIR[STATIC,VPP]}/http-server-performance-rps"
1394   data:
1395     "plot-vpp-http-server-performance"
1396   filter: "'HTTP' and 'TCP_RPS'"
1397   parameters:
1398   - "result"
1399   - "name"
1400   traces:
1401     hoverinfo: "x+y"
1402     boxpoints: "outliers"
1403     whiskerwidth: 0
1404   layout:
1405     title: "VPP HTTP Server Performance"
1406     layout:
1407       "plot-rps"
1408
1409 # Plot Throughput Speedup Analysis
1410
1411 # L2 - 10ge2p1x520 - NDR
1412 -
1413   type: "plot"
1414   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1415   algorithm: "plot_throughput_speedup_analysis"
1416   output-file-type: ".html"
1417   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-ndrdisc"
1418   data:
1419     "plot-throughput-speedup-analysis"
1420   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1421   parameters:
1422   - "throughput"
1423   - "parent"
1424   - "tags"
1425   layout:
1426     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1427     layout:
1428       "plot-throughput-speedup-analysis"
1429
1430 # L2 - 40ge2p1xl710 - NDR
1431 -
1432   type: "plot"
1433   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1434   algorithm: "plot_throughput_speedup_analysis"
1435   output-file-type: ".html"
1436   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-l2-tsa-ndrdisc"
1437   data:
1438     "plot-throughput-speedup-analysis"
1439   filter: "'NIC_Intel-XL710' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1440   parameters:
1441   - "throughput"
1442   - "parent"
1443   - "tags"
1444   layout:
1445     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1446     layout:
1447       "plot-throughput-speedup-analysis"
1448
1449 # L2 - 10ge2p1x520 - PDR
1450 -
1451   type: "plot"
1452   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1453   algorithm: "plot_throughput_speedup_analysis"
1454   output-file-type: ".html"
1455   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-pdrdisc"
1456   data:
1457     "plot-throughput-speedup-analysis"
1458   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1459   parameters:
1460   - "throughput"
1461   - "parent"
1462   - "tags"
1463   layout:
1464     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1465     layout:
1466       "plot-throughput-speedup-analysis"
1467
1468 # IPv4 - 10ge2p1x520 - NDR
1469 -
1470   type: "plot"
1471   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1472   algorithm: "plot_throughput_speedup_analysis"
1473   output-file-type: ".html"
1474   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-ndrdisc"
1475   data:
1476     "plot-throughput-speedup-analysis"
1477   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1478   parameters:
1479   - "throughput"
1480   - "parent"
1481   - "tags"
1482   layout:
1483     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1484     layout:
1485       "plot-throughput-speedup-analysis"
1486
1487 # IPv4 - 40ge2p1xl710 - NDR
1488 -
1489   type: "plot"
1490   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1491   algorithm: "plot_throughput_speedup_analysis"
1492   output-file-type: ".html"
1493   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-ip4-tsa-ndrdisc"
1494   data:
1495     "plot-throughput-speedup-analysis"
1496   filter: "'NIC_Intel-XL710' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1497   parameters:
1498   - "throughput"
1499   - "parent"
1500   - "tags"
1501   layout:
1502     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1503     layout:
1504       "plot-throughput-speedup-analysis"
1505
1506 # IPv4 - 10ge2p1x520 - PDR
1507 -
1508   type: "plot"
1509   title: "TSA: 64B-*-ethip4-ip4(base|scale)*pdrdisc"
1510   algorithm: "plot_throughput_speedup_analysis"
1511   output-file-type: ".html"
1512   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-pdrdisc"
1513   data:
1514     "plot-throughput-speedup-analysis"
1515   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1516   parameters:
1517   - "throughput"
1518   - "parent"
1519   - "tags"
1520   layout:
1521     title: "64B-*-ethip4-ip4(base|scale)*pdrdisc"
1522     layout:
1523       "plot-throughput-speedup-analysis"
1524
1525 # IPv6 - 10ge2p1x520 - NDR
1526 -
1527   type: "plot"
1528   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1529   algorithm: "plot_throughput_speedup_analysis"
1530   output-file-type: ".html"
1531   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-ndrdisc"
1532   data:
1533     "plot-throughput-speedup-analysis"
1534   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1535   parameters:
1536   - "throughput"
1537   - "parent"
1538   - "tags"
1539   layout:
1540     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1541     layout:
1542       "plot-throughput-speedup-analysis"
1543
1544 # IPv6 - 40ge2p1xl710 - NDR
1545 -
1546   type: "plot"
1547   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1548   algorithm: "plot_throughput_speedup_analysis"
1549   output-file-type: ".html"
1550   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-78B-ip6-tsa-ndrdisc"
1551   data:
1552     "plot-throughput-speedup-analysis"
1553   filter: "'NIC_Intel-XL710' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1554   parameters:
1555   - "throughput"
1556   - "parent"
1557   - "tags"
1558   layout:
1559     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1560     layout:
1561       "plot-throughput-speedup-analysis"
1562
1563 # IPv6 - 10ge2p1x520 - PDR
1564 -
1565   type: "plot"
1566   title: "TSA: 78B-*-ethip6-ip6(base|scale)*pdrdisc"
1567   algorithm: "plot_throughput_speedup_analysis"
1568   output-file-type: ".html"
1569   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-pdrdisc"
1570   data:
1571     "plot-throughput-speedup-analysis"
1572   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST'"
1573   parameters:
1574   - "throughput"
1575   - "parent"
1576   - "tags"
1577   layout:
1578     title: "78B-*-ethip6-ip6(base|scale)*pdrdisc"
1579     layout:
1580       "plot-throughput-speedup-analysis"
1581
1582 # Plot packets per second
1583
1584 # VPP L2 sel1
1585 -
1586   type: "plot"
1587   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1588   algorithm: "plot_performance_box"
1589   output-file-type: ".html"
1590   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc"
1591   data:
1592     "plot-vpp-throughput-latency"
1593   # Keep this formatting, the filter is enclosed with " (quotation mark) and
1594   # each tag is enclosed with ' (apostrophe).
1595   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1596   parameters:
1597   - "throughput"
1598   - "parent"
1599   traces:
1600     hoverinfo: "x+y"
1601     boxpoints: "outliers"
1602     whiskerwidth: 0
1603   layout:
1604     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1605     layout:
1606       "plot-throughput"
1607
1608 -
1609   type: "plot"
1610   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1611   algorithm: "plot_performance_box"
1612   output-file-type: ".html"
1613   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc"
1614   data:
1615     "plot-vpp-throughput-latency"
1616   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1617   parameters:
1618   - "throughput"
1619   - "parent"
1620   traces:
1621     hoverinfo: "x+y"
1622     boxpoints: "outliers"
1623     whiskerwidth: 0
1624   layout:
1625     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1626     layout:
1627       "plot-throughput"
1628
1629 -
1630   type: "plot"
1631   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1632   algorithm: "plot_performance_box"
1633   output-file-type: ".html"
1634   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-pdrdisc"
1635   data:
1636     "plot-vpp-throughput-latency"
1637   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1638   parameters:
1639   - "throughput"
1640   - "parent"
1641   traces:
1642     hoverinfo: "x+y"
1643     boxpoints: "outliers"
1644     whiskerwidth: 0
1645   layout:
1646     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1647     layout:
1648       "plot-throughput"
1649
1650 -
1651   type: "plot"
1652   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1653   algorithm: "plot_performance_box"
1654   output-file-type: ".html"
1655   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-pdrdisc"
1656   data:
1657     "plot-vpp-throughput-latency"
1658   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1659   parameters:
1660   - "throughput"
1661   - "parent"
1662   traces:
1663     hoverinfo: "x+y"
1664     boxpoints: "outliers"
1665     whiskerwidth: 0
1666   layout:
1667     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1668     layout:
1669       "plot-throughput"
1670
1671 # VPP L2 sel2
1672 -
1673   type: "plot"
1674   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1675   algorithm: "plot_performance_box"
1676   output-file-type: ".html"
1677   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc"
1678   data:
1679     "plot-vpp-throughput-latency"
1680   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1681   parameters:
1682   - "throughput"
1683   - "parent"
1684   traces:
1685     hoverinfo: "x+y"
1686     boxpoints: "outliers"
1687     whiskerwidth: 0
1688   layout:
1689     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1690     layout:
1691       "plot-throughput"
1692
1693 -
1694   type: "plot"
1695   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1696   algorithm: "plot_performance_box"
1697   output-file-type: ".html"
1698   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc"
1699   data:
1700     "plot-vpp-throughput-latency"
1701   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1702   parameters:
1703   - "throughput"
1704   - "parent"
1705   traces:
1706     hoverinfo: "x+y"
1707     boxpoints: "outliers"
1708     whiskerwidth: 0
1709   layout:
1710     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1711     layout:
1712       "plot-throughput"
1713
1714 -
1715   type: "plot"
1716   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1717   algorithm: "plot_performance_box"
1718   output-file-type: ".html"
1719   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-pdrdisc"
1720   data:
1721     "plot-vpp-throughput-latency"
1722   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1723   parameters:
1724   - "throughput"
1725   - "parent"
1726   traces:
1727     hoverinfo: "x+y"
1728     boxpoints: "outliers"
1729     whiskerwidth: 0
1730   layout:
1731     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1732     layout:
1733       "plot-throughput"
1734
1735 -
1736   type: "plot"
1737   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1738   algorithm: "plot_performance_box"
1739   output-file-type: ".html"
1740   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-pdrdisc"
1741   data:
1742     "plot-vpp-throughput-latency"
1743   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1744   parameters:
1745   - "throughput"
1746   - "parent"
1747   traces:
1748     hoverinfo: "x+y"
1749     boxpoints: "outliers"
1750     whiskerwidth: 0
1751   layout:
1752     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1753     layout:
1754       "plot-throughput"
1755
1756 # VPP IP4
1757 -
1758   type: "plot"
1759   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1760   algorithm: "plot_performance_box"
1761   output-file-type: ".html"
1762   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc"
1763   data:
1764     "plot-vpp-throughput-latency"
1765   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
1766   parameters:
1767   - "throughput"
1768   - "parent"
1769   traces:
1770     hoverinfo: "x+y"
1771     boxpoints: "outliers"
1772     whiskerwidth: 0
1773   layout:
1774     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1775     layout:
1776       "plot-throughput"
1777
1778 -
1779   type: "plot"
1780   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1781   algorithm: "plot_performance_box"
1782   output-file-type: ".html"
1783   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc"
1784   data:
1785     "plot-vpp-throughput-latency"
1786   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
1787   parameters:
1788   - "throughput"
1789   - "parent"
1790   traces:
1791     hoverinfo: "x+y"
1792     boxpoints: "outliers"
1793     whiskerwidth: 0
1794   layout:
1795     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1796     layout:
1797       "plot-throughput"
1798
1799 -
1800   type: "plot"
1801   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1802   algorithm: "plot_performance_box"
1803   output-file-type: ".html"
1804   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-pdrdisc"
1805   data:
1806     "plot-vpp-throughput-latency"
1807   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
1808   parameters:
1809   - "throughput"
1810   - "parent"
1811   traces:
1812     hoverinfo: "x+y"
1813     boxpoints: "outliers"
1814     whiskerwidth: 0
1815   layout:
1816     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1817     layout:
1818       "plot-throughput"
1819
1820 -
1821   type: "plot"
1822   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1823   algorithm: "plot_performance_box"
1824   output-file-type: ".html"
1825   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-pdrdisc"
1826   data:
1827     "plot-vpp-throughput-latency"
1828   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
1829   parameters:
1830   - "throughput"
1831   - "parent"
1832   traces:
1833     hoverinfo: "x+y"
1834     boxpoints: "outliers"
1835     whiskerwidth: 0
1836   layout:
1837     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1838     layout:
1839       "plot-throughput"
1840
1841 # VPP IP6
1842 -
1843   type: "plot"
1844   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1845   algorithm: "plot_performance_box"
1846   output-file-type: ".html"
1847   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc"
1848   data:
1849     "plot-vpp-throughput-latency"
1850   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1851   parameters:
1852   - "throughput"
1853   - "parent"
1854   traces:
1855     hoverinfo: "x+y"
1856     boxpoints: "outliers"
1857     whiskerwidth: 0
1858   layout:
1859     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1860     layout:
1861       "plot-throughput"
1862
1863 -
1864   type: "plot"
1865   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1866   algorithm: "plot_performance_box"
1867   output-file-type: ".html"
1868   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc"
1869   data:
1870     "plot-vpp-throughput-latency"
1871   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1872   parameters:
1873   - "throughput"
1874   - "parent"
1875   traces:
1876     hoverinfo: "x+y"
1877     boxpoints: "outliers"
1878     whiskerwidth: 0
1879   layout:
1880     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1881     layout:
1882       "plot-throughput"
1883
1884 -
1885   type: "plot"
1886   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1887   algorithm: "plot_performance_box"
1888   output-file-type: ".html"
1889   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-pdrdisc"
1890   data:
1891     "plot-vpp-throughput-latency"
1892   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1893   parameters:
1894   - "throughput"
1895   - "parent"
1896   traces:
1897     hoverinfo: "x+y"
1898     boxpoints: "outliers"
1899     whiskerwidth: 0
1900   layout:
1901     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1902     layout:
1903       "plot-throughput"
1904
1905 -
1906   type: "plot"
1907   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1908   algorithm: "plot_performance_box"
1909   output-file-type: ".html"
1910   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-pdrdisc"
1911   data:
1912     "plot-vpp-throughput-latency"
1913   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1914   parameters:
1915   - "throughput"
1916   - "parent"
1917   traces:
1918     hoverinfo: "x+y"
1919     boxpoints: "outliers"
1920     whiskerwidth: 0
1921   layout:
1922     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1923     layout:
1924       "plot-throughput"
1925
1926 # VPP IP4_overlay
1927 -
1928   type: "plot"
1929   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1930   algorithm: "plot_performance_box"
1931   output-file-type: ".html"
1932   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc"
1933   data:
1934     "plot-vpp-throughput-latency"
1935   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1936   parameters:
1937   - "throughput"
1938   - "parent"
1939   traces:
1940     hoverinfo: "x+y"
1941     boxpoints: "outliers"
1942     whiskerwidth: 0
1943   layout:
1944     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1945     layout:
1946       "plot-throughput"
1947
1948 -
1949   type: "plot"
1950   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1951   algorithm: "plot_performance_box"
1952   output-file-type: ".html"
1953   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc"
1954   data:
1955     "plot-vpp-throughput-latency"
1956   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1957   parameters:
1958   - "throughput"
1959   - "parent"
1960   traces:
1961     hoverinfo: "x+y"
1962     boxpoints: "outliers"
1963     whiskerwidth: 0
1964   layout:
1965     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1966     layout:
1967       "plot-throughput"
1968
1969 -
1970   type: "plot"
1971   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1972   algorithm: "plot_performance_box"
1973   output-file-type: ".html"
1974   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-pdrdisc"
1975   data:
1976     "plot-vpp-throughput-latency"
1977   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1978   parameters:
1979   - "throughput"
1980   - "parent"
1981   traces:
1982     hoverinfo: "x+y"
1983     boxpoints: "outliers"
1984     whiskerwidth: 0
1985   layout:
1986     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1987     layout:
1988       "plot-throughput"
1989
1990 -
1991   type: "plot"
1992   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1993   algorithm: "plot_performance_box"
1994   output-file-type: ".html"
1995   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-pdrdisc"
1996   data:
1997     "plot-vpp-throughput-latency"
1998   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1999   parameters:
2000   - "throughput"
2001   - "parent"
2002   traces:
2003     hoverinfo: "x+y"
2004     boxpoints: "outliers"
2005     whiskerwidth: 0
2006   layout:
2007     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
2008     layout:
2009       "plot-throughput"
2010
2011 # VPP IP6_overlay
2012 -
2013   type: "plot"
2014   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2015   algorithm: "plot_performance_box"
2016   output-file-type: ".html"
2017   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc"
2018   data:
2019     "plot-vpp-throughput-latency"
2020   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2021   parameters:
2022   - "throughput"
2023   - "parent"
2024   traces:
2025     hoverinfo: "x+y"
2026     boxpoints: "outliers"
2027     whiskerwidth: 0
2028   layout:
2029     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2030     xaxis:
2031       autorange: True
2032       autotick: False
2033       fixedrange: False
2034       gridcolor: "rgb(238, 238, 238)"
2035       linecolor: "rgb(238, 238, 238)"
2036       linewidth: 1
2037       showgrid: True
2038       showline: True
2039       showticklabels: True
2040       tickcolor: "rgb(238, 238, 238)"
2041       tickmode: "linear"
2042       title: "Indexed Test Cases"
2043       zeroline: False
2044     yaxis:
2045       gridcolor: "rgb(238, 238, 238)'"
2046       hoverformat: ".4s"
2047       linecolor: "rgb(238, 238, 238)"
2048       linewidth: 1
2049       range: [2000000, 6000000]
2050       showgrid: True
2051       showline: True
2052       showticklabels: True
2053       tickcolor: "rgb(238, 238, 238)"
2054       title: "Packets Per Second [pps]"
2055       zeroline: False
2056     boxmode: "group"
2057     boxgroupgap: 0.5
2058     autosize: False
2059     margin:
2060       t: 50
2061       b: 20
2062       l: 50
2063       r: 20
2064     showlegend: True
2065     legend:
2066       orientation: "h"
2067     width: 700
2068     height: 1000
2069
2070 -
2071   type: "plot"
2072   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2073   algorithm: "plot_performance_box"
2074   output-file-type: ".html"
2075   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc"
2076   data:
2077     "plot-vpp-throughput-latency"
2078   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2079   parameters:
2080   - "throughput"
2081   - "parent"
2082   traces:
2083     hoverinfo: "x+y"
2084     boxpoints: "outliers"
2085     whiskerwidth: 0
2086   layout:
2087     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2088     layout:
2089       "plot-throughput"
2090
2091 -
2092   type: "plot"
2093   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2094   algorithm: "plot_performance_box"
2095   output-file-type: ".html"
2096   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-pdrdisc"
2097   data:
2098     "plot-vpp-throughput-latency"
2099   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2100   parameters:
2101   - "throughput"
2102   - "parent"
2103   traces:
2104     hoverinfo: "x+y"
2105     boxpoints: "outliers"
2106     whiskerwidth: 0
2107   layout:
2108     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2109     layout:
2110       "plot-throughput"
2111
2112 -
2113   type: "plot"
2114   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2115   algorithm: "plot_performance_box"
2116   output-file-type: ".html"
2117   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-pdrdisc"
2118   data:
2119     "plot-vpp-throughput-latency"
2120   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2121   parameters:
2122   - "throughput"
2123   - "parent"
2124   traces:
2125     hoverinfo: "x+y"
2126     boxpoints: "outliers"
2127     whiskerwidth: 0
2128   layout:
2129     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2130     xaxis:
2131       autorange: True
2132       autotick: False
2133       fixedrange: False
2134       gridcolor: "rgb(238, 238, 238)"
2135       linecolor: "rgb(238, 238, 238)"
2136       linewidth: 1
2137       showgrid: True
2138       showline: True
2139       showticklabels: True
2140       tickcolor: "rgb(238, 238, 238)"
2141       tickmode: "linear"
2142       title: "Indexed Test Cases"
2143       zeroline: False
2144     yaxis:
2145       gridcolor: "rgb(238, 238, 238)'"
2146       hoverformat: ".4s"
2147       linecolor: "rgb(238, 238, 238)"
2148       linewidth: 1
2149       range: [4000000, 12000000]
2150       showgrid: True
2151       showline: True
2152       showticklabels: True
2153       tickcolor: "rgb(238, 238, 238)"
2154       title: "Packets Per Second [pps]"
2155       zeroline: False
2156     boxmode: "group"
2157     boxgroupgap: 0.5
2158     autosize: False
2159     margin:
2160       t: 50
2161       b: 20
2162       l: 50
2163       r: 20
2164     showlegend: True
2165     legend:
2166       orientation: "h"
2167     width: 700
2168     height: 1000
2169
2170 # VPP VM VHOST
2171 -
2172   type: "plot"
2173   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2174   algorithm: "plot_performance_box"
2175   output-file-type: ".html"
2176   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc"
2177   data:
2178     "plot-vpp-throughput-latency"
2179   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2180   parameters:
2181   - "throughput"
2182   - "parent"
2183   traces:
2184     hoverinfo: "x+y"
2185     boxpoints: "outliers"
2186     whiskerwidth: 0
2187   layout:
2188     title: "64B-1t1c-.*vhost.*-ndrdisc"
2189     xaxis:
2190       autorange: True
2191       autotick: False
2192       fixedrange: False
2193       gridcolor: "rgb(238, 238, 238)"
2194       linecolor: "rgb(238, 238, 238)"
2195       linewidth: 1
2196       showgrid: True
2197       showline: True
2198       showticklabels: True
2199       tickcolor: "rgb(238, 238, 238)"
2200       tickmode: "linear"
2201       title: "Indexed Test Cases"
2202       zeroline: False
2203     yaxis:
2204       gridcolor: "rgb(238, 238, 238)'"
2205       hoverformat: ".4s"
2206       linecolor: "rgb(238, 238, 238)"
2207       linewidth: 1
2208       range: [0, 3500000]
2209       showgrid: True
2210       showline: True
2211       showticklabels: True
2212       tickcolor: "rgb(238, 238, 238)"
2213       title: "Packets Per Second [pps]"
2214       zeroline: False
2215     boxmode: "group"
2216     boxgroupgap: 0.5
2217     autosize: False
2218     margin:
2219       t: 50
2220       b: 20
2221       l: 50
2222       r: 20
2223     showlegend: True
2224     legend:
2225       orientation: "h"
2226     width: 700
2227     height: 1000
2228
2229 -
2230   type: "plot"
2231   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2232   algorithm: "plot_performance_box"
2233   output-file-type: ".html"
2234   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc"
2235   data:
2236     "plot-vpp-throughput-latency"
2237   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2238   parameters:
2239   - "throughput"
2240   - "parent"
2241   traces:
2242     hoverinfo: "x+y"
2243     boxpoints: "outliers"
2244     whiskerwidth: 0
2245   layout:
2246     title: "64B-2t2c-.*vhost.*-ndrdisc"
2247     layout:
2248       "plot-throughput"
2249
2250 -
2251   type: "plot"
2252   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2253   algorithm: "plot_performance_box"
2254   output-file-type: ".html"
2255   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-pdrdisc"
2256   data:
2257     "plot-vpp-throughput-latency"
2258   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2259   parameters:
2260   - "throughput"
2261   - "parent"
2262   traces:
2263     hoverinfo: "x+y"
2264     boxpoints: "outliers"
2265     whiskerwidth: 0
2266   layout:
2267     title: "64B-1t1c-.*vhost.*-pdrdisc"
2268     layout:
2269       "plot-throughput"
2270
2271 -
2272   type: "plot"
2273   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2274   algorithm: "plot_performance_box"
2275   output-file-type: ".html"
2276   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-pdrdisc"
2277   data:
2278     "plot-vpp-throughput-latency"
2279   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2280   parameters:
2281   - "throughput"
2282   - "parent"
2283   traces:
2284     hoverinfo: "x+y"
2285     boxpoints: "outliers"
2286     whiskerwidth: 0
2287   layout:
2288     title: "64B-2t2c-.*vhost.*-pdrdisc"
2289     layout:
2290       "plot-throughput"
2291
2292 # VPP VM VHOST SELECTION
2293 -
2294   type: "plot"
2295   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2296   algorithm: "plot_performance_box"
2297   output-file-type: ".html"
2298   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc"
2299   data:
2300     "plot-vpp-throughput-latency"
2301   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2302   parameters:
2303   - "throughput"
2304   - "parent"
2305   traces:
2306     hoverinfo: "x+y"
2307     boxpoints: "outliers"
2308     whiskerwidth: 0
2309   layout:
2310     title: "64B-1t1c-.*vhost.*-ndrdisc"
2311     layout:
2312       "plot-throughput"
2313
2314 -
2315   type: "plot"
2316   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2317   algorithm: "plot_performance_box"
2318   output-file-type: ".html"
2319   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc"
2320   data:
2321     "plot-vpp-throughput-latency"
2322   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2323   parameters:
2324   - "throughput"
2325   - "parent"
2326   traces:
2327     hoverinfo: "x+y"
2328     boxpoints: "outliers"
2329     whiskerwidth: 0
2330   layout:
2331     title: "64B-2t2c-.*vhost.*-ndrdisc"
2332     layout:
2333       "plot-throughput"
2334
2335 -
2336   type: "plot"
2337   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2338   algorithm: "plot_performance_box"
2339   output-file-type: ".html"
2340   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-pdrdisc"
2341   data:
2342     "plot-vpp-throughput-latency"
2343   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2344   parameters:
2345   - "throughput"
2346   - "parent"
2347   traces:
2348     hoverinfo: "x+y"
2349     boxpoints: "outliers"
2350     whiskerwidth: 0
2351   layout:
2352     title: "64B-1t1c-.*vhost.*-pdrdisc"
2353     layout:
2354       "plot-throughput"
2355
2356 -
2357   type: "plot"
2358   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2359   algorithm: "plot_performance_box"
2360   output-file-type: ".html"
2361   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-pdrdisc"
2362   data:
2363     "plot-vpp-throughput-latency"
2364   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2365   parameters:
2366   - "throughput"
2367   - "parent"
2368   traces:
2369     hoverinfo: "x+y"
2370     boxpoints: "outliers"
2371     whiskerwidth: 0
2372   layout:
2373     title: "64B-2t2c-.*vhost.*-pdrdisc"
2374     layout:
2375       "plot-throughput"
2376
2377 # VPP CRYPTO
2378 -
2379   type: "plot"
2380   title: "VPP Performance 64B-1t1c-.*ipsec.*-ndrdisc"
2381   algorithm: "plot_performance_box"
2382   output-file-type: ".html"
2383   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc"
2384   data:
2385     "plot-vpp-throughput-latency"
2386   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2387   parameters:
2388   - "throughput"
2389   - "parent"
2390   traces:
2391     hoverinfo: "x+y"
2392     boxpoints: "outliers"
2393     whiskerwidth: 0
2394   layout:
2395     title: "64B-1t1c-.*ipsec.*-ndrdisc"
2396     layout:
2397       "plot-throughput"
2398
2399 -
2400   type: "plot"
2401   title: "VPP Performance 64B-2t2c-.*ipsec.*-ndrdisc"
2402   algorithm: "plot_performance_box"
2403   output-file-type: ".html"
2404   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc"
2405   data:
2406     "plot-vpp-throughput-latency"
2407   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2408   parameters:
2409   - "throughput"
2410   - "parent"
2411   traces:
2412     hoverinfo: "x+y"
2413     boxpoints: "outliers"
2414     whiskerwidth: 0
2415   layout:
2416     title: "64B-2t2c-.*ipsec.*-ndrdisc"
2417     layout:
2418       "plot-throughput"
2419
2420 -
2421   type: "plot"
2422   title: "VPP Performance 64B-1t1c-.*ipsec.*-pdrdisc"
2423   algorithm: "plot_performance_box"
2424   output-file-type: ".html"
2425   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-pdrdisc"
2426   data:
2427     "plot-vpp-throughput-latency"
2428   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2429   parameters:
2430   - "throughput"
2431   - "parent"
2432   traces:
2433     hoverinfo: "x+y"
2434     boxpoints: "outliers"
2435     whiskerwidth: 0
2436   layout:
2437     title: "64B-1t1c-.*ipsec.*-pdrdisc"
2438     layout:
2439       "plot-throughput"
2440
2441 -
2442   type: "plot"
2443   title: "VPP Performance 64B-2t2c-.*ipsec.*-pdrdisc"
2444   algorithm: "plot_performance_box"
2445   output-file-type: ".html"
2446   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-pdrdisc"
2447   data:
2448     "plot-vpp-throughput-latency"
2449   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2450   parameters:
2451   - "throughput"
2452   - "parent"
2453   traces:
2454     hoverinfo: "x+y"
2455     boxpoints: "outliers"
2456     whiskerwidth: 0
2457   layout:
2458     title: "64B-2t2c-.*ipsec.*-pdrdisc"
2459     layout:
2460       "plot-throughput"
2461
2462 # DPDK
2463 -
2464   type: "plot"
2465   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2466   algorithm: "plot_performance_box"
2467   output-file-type: ".html"
2468   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc"
2469   data:
2470     "plot-dpdk-throughput-latency"
2471   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2472   parameters:
2473   - "throughput"
2474   - "parent"
2475   traces:
2476     hoverinfo: "x+y"
2477     boxpoints: "outliers"
2478     whiskerwidth: 0
2479   layout:
2480     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2481     layout:
2482       "plot-throughput"
2483
2484 -
2485   type: "plot"
2486   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2487   algorithm: "plot_performance_box"
2488   output-file-type: ".html"
2489   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc"
2490   data:
2491     "plot-dpdk-throughput-latency"
2492   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2493   parameters:
2494   - "throughput"
2495   - "parent"
2496   traces:
2497     hoverinfo: "x+y"
2498     boxpoints: "outliers"
2499     whiskerwidth: 0
2500   layout:
2501     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2502     layout:
2503       "plot-throughput"
2504
2505 -
2506   type: "plot"
2507   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2508   algorithm: "plot_performance_box"
2509   output-file-type: ".html"
2510   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc"
2511   data:
2512     "plot-dpdk-throughput-latency"
2513   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
2514   parameters:
2515   - "throughput"
2516   - "parent"
2517   traces:
2518     hoverinfo: "x+y"
2519     boxpoints: "outliers"
2520     whiskerwidth: 0
2521   layout:
2522     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2523     xaxis:
2524       autorange: True
2525       autotick: False
2526       fixedrange: False
2527       gridcolor: "rgb(238, 238, 238)"
2528       linecolor: "rgb(238, 238, 238)"
2529       linewidth: 1
2530       showgrid: True
2531       showline: True
2532       showticklabels: True
2533       tickcolor: "rgb(238, 238, 238)"
2534       tickmode: "linear"
2535       title: "Indexed Test Cases"
2536       zeroline: False
2537     yaxis:
2538       gridcolor: "rgb(238, 238, 238)'"
2539       hoverformat: ".4s"
2540       linecolor: "rgb(238, 238, 238)"
2541       linewidth: 1
2542       range: [2000000, 12000000]
2543       showgrid: True
2544       showline: True
2545       showticklabels: True
2546       tickcolor: "rgb(238, 238, 238)"
2547       title: "Packets Per Second [pps]"
2548       zeroline: False
2549     boxmode: "group"
2550     boxgroupgap: 0.5
2551     autosize: False
2552     margin:
2553       t: 50
2554       b: 20
2555       l: 50
2556       r: 20
2557     showlegend: True
2558     legend:
2559       orientation: "h"
2560     width: 700
2561     height: 1000
2562
2563 -
2564   type: "plot"
2565   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2566   algorithm: "plot_performance_box"
2567   output-file-type: ".html"
2568   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc"
2569   data:
2570     "plot-dpdk-throughput-latency"
2571   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
2572   parameters:
2573   - "throughput"
2574   - "parent"
2575   traces:
2576     hoverinfo: "x+y"
2577     boxpoints: "outliers"
2578     whiskerwidth: 0
2579   layout:
2580     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2581     xaxis:
2582       autorange: True
2583       autotick: False
2584       fixedrange: False
2585       gridcolor: "rgb(238, 238, 238)"
2586       linecolor: "rgb(238, 238, 238)"
2587       linewidth: 1
2588       showgrid: True
2589       showline: True
2590       showticklabels: True
2591       tickcolor: "rgb(238, 238, 238)"
2592       tickmode: "linear"
2593       title: "Indexed Test Cases"
2594       zeroline: False
2595     yaxis:
2596       gridcolor: "rgb(238, 238, 238)'"
2597       hoverformat: ".4s"
2598       linecolor: "rgb(238, 238, 238)"
2599       linewidth: 1
2600       range: [2000000, 12000000]
2601       showgrid: True
2602       showline: True
2603       showticklabels: True
2604       tickcolor: "rgb(238, 238, 238)"
2605       title: "Packets Per Second [pps]"
2606       zeroline: False
2607     boxmode: "group"
2608     boxgroupgap: 0.5
2609     autosize: False
2610     margin:
2611       t: 50
2612       b: 20
2613       l: 50
2614       r: 20
2615     showlegend: True
2616     legend:
2617       orientation: "h"
2618     width: 700
2619     height: 1000
2620
2621 -
2622   type: "plot"
2623   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2624   algorithm: "plot_performance_box"
2625   output-file-type: ".html"
2626   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-pdrdisc"
2627   data:
2628     "plot-dpdk-throughput-latency"
2629   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2630   parameters:
2631   - "throughput"
2632   - "parent"
2633   traces:
2634     hoverinfo: "x+y"
2635     boxpoints: "outliers"
2636     whiskerwidth: 0
2637   layout:
2638     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2639     layout:
2640       "plot-throughput"
2641
2642 -
2643   type: "plot"
2644   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2645   algorithm: "plot_performance_box"
2646   output-file-type: ".html"
2647   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-pdrdisc"
2648   data:
2649     "plot-dpdk-throughput-latency"
2650   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2651   parameters:
2652   - "throughput"
2653   - "parent"
2654   traces:
2655     hoverinfo: "x+y"
2656     boxpoints: "outliers"
2657     whiskerwidth: 0
2658   layout:
2659     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2660     layout:
2661       "plot-throughput"
2662
2663 -
2664   type: "plot"
2665   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
2666   algorithm: "plot_performance_box"
2667   output-file-type: ".html"
2668   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-pdrdisc"
2669   data:
2670     "plot-dpdk-throughput-latency"
2671   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD'"
2672   parameters:
2673   - "throughput"
2674   - "parent"
2675   traces:
2676     hoverinfo: "x+y"
2677     boxpoints: "outliers"
2678     whiskerwidth: 0
2679   layout:
2680     title: "64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
2681     xaxis:
2682       autorange: True
2683       autotick: False
2684       fixedrange: False
2685       gridcolor: "rgb(238, 238, 238)"
2686       linecolor: "rgb(238, 238, 238)"
2687       linewidth: 1
2688       showgrid: True
2689       showline: True
2690       showticklabels: True
2691       tickcolor: "rgb(238, 238, 238)"
2692       tickmode: "linear"
2693       title: "Indexed Test Cases"
2694       zeroline: False
2695     yaxis:
2696       gridcolor: "rgb(238, 238, 238)'"
2697       hoverformat: ".4s"
2698       linecolor: "rgb(238, 238, 238)"
2699       linewidth: 1
2700       range: [20000000, 30000000]
2701       showgrid: True
2702       showline: True
2703       showticklabels: True
2704       tickcolor: "rgb(238, 238, 238)"
2705       title: "Packets Per Second [pps]"
2706       zeroline: False
2707     boxmode: "group"
2708     boxgroupgap: 0.5
2709     autosize: False
2710     margin:
2711       t: 50
2712       b: 20
2713       l: 50
2714       r: 20
2715     showlegend: True
2716     legend:
2717       orientation: "h"
2718     width: 700
2719     height: 1000
2720
2721 -
2722   type: "plot"
2723   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
2724   algorithm: "plot_performance_box"
2725   output-file-type: ".html"
2726   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-pdrdisc"
2727   data:
2728     "plot-dpdk-throughput-latency"
2729   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD'"
2730   parameters:
2731   - "throughput"
2732   - "parent"
2733   traces:
2734     hoverinfo: "x+y"
2735     boxpoints: "outliers"
2736     whiskerwidth: 0
2737   layout:
2738     title: "64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
2739     xaxis:
2740       autorange: True
2741       autotick: False
2742       fixedrange: False
2743       gridcolor: "rgb(238, 238, 238)"
2744       linecolor: "rgb(238, 238, 238)"
2745       linewidth: 1
2746       showgrid: True
2747       showline: True
2748       showticklabels: True
2749       tickcolor: "rgb(238, 238, 238)"
2750       tickmode: "linear"
2751       title: "Indexed Test Cases"
2752       zeroline: False
2753     yaxis:
2754       gridcolor: "rgb(238, 238, 238)'"
2755       hoverformat: ".4s"
2756       linecolor: "rgb(238, 238, 238)"
2757       linewidth: 1
2758       range: [20000000, 30000000]
2759       showgrid: True
2760       showline: True
2761       showticklabels: True
2762       tickcolor: "rgb(238, 238, 238)"
2763       title: "Packets Per Second [pps]"
2764       zeroline: False
2765     boxmode: "group"
2766     boxgroupgap: 0.5
2767     autosize: False
2768     margin:
2769       t: 50
2770       b: 20
2771       l: 50
2772       r: 20
2773     showlegend: True
2774     legend:
2775       orientation: "h"
2776     width: 700
2777     height: 1000
2778
2779 # Plot latency
2780
2781 # VPP L2 sel1
2782 -
2783   type: "plot"
2784   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2785   algorithm: "plot_latency_box"
2786   output-file-type: ".html"
2787   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc-lat50"
2788   data:
2789     "plot-vpp-throughput-latency"
2790   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2791   parameters:
2792   - "latency"
2793   - "parent"
2794   traces:
2795     boxmean: False
2796   layout:
2797     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2798     layout:
2799       "plot-latency"
2800
2801 -
2802   type: "plot"
2803   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2804   algorithm: "plot_latency_box"
2805   output-file-type: ".html"
2806   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc-lat50"
2807   data:
2808     "plot-vpp-throughput-latency"
2809   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2810   parameters:
2811   - "latency"
2812   - "parent"
2813   traces:
2814     boxmean: False
2815   layout:
2816     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2817     layout:
2818       "plot-latency"
2819
2820 # VPP L2 sel2
2821 -
2822   type: "plot"
2823   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2824   algorithm: "plot_latency_box"
2825   output-file-type: ".html"
2826   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc-lat50"
2827   data:
2828     "plot-vpp-throughput-latency"
2829   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2830   parameters:
2831   - "latency"
2832   - "parent"
2833   traces:
2834     boxmean: False
2835   layout:
2836     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2837     layout:
2838       "plot-latency"
2839
2840 -
2841   type: "plot"
2842   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2843   algorithm: "plot_latency_box"
2844   output-file-type: ".html"
2845   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc-lat50"
2846   data:
2847     "plot-vpp-throughput-latency"
2848   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2849   parameters:
2850   - "latency"
2851   - "parent"
2852   traces:
2853     boxmean: False
2854   layout:
2855     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2856     layout:
2857       "plot-latency"
2858
2859 # VPP IP4
2860 -
2861   type: "plot"
2862   title: "VPP Latency 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2863   algorithm: "plot_latency_box"
2864   output-file-type: ".html"
2865   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc-lat50"
2866   data:
2867     "plot-vpp-throughput-latency"
2868   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
2869   parameters:
2870   - "latency"
2871   - "parent"
2872   traces:
2873     boxmean: False
2874   layout:
2875     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2876     layout:
2877       "plot-latency"
2878
2879 -
2880   type: "plot"
2881   title: "VPP Latency 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2882   algorithm: "plot_latency_box"
2883   output-file-type: ".html"
2884   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc-lat50"
2885   data:
2886     "plot-vpp-throughput-latency"
2887   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
2888   parameters:
2889   - "latency"
2890   - "parent"
2891   traces:
2892     boxmean: False
2893   layout:
2894     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2895     layout:
2896       "plot-latency"
2897
2898 # VPP IP6
2899 -
2900   type: "plot"
2901   title: "VPP Latency 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2902   algorithm: "plot_latency_box"
2903   output-file-type: ".html"
2904   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc-lat50"
2905   data:
2906     "plot-vpp-throughput-latency"
2907   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2908   parameters:
2909   - "latency"
2910   - "parent"
2911   traces:
2912     boxmean: False
2913   layout:
2914     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2915     layout:
2916       "plot-latency"
2917
2918 -
2919   type: "plot"
2920   title: "VPP Latency 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2921   algorithm: "plot_latency_box"
2922   output-file-type: ".html"
2923   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc-lat50"
2924   data:
2925     "plot-vpp-throughput-latency"
2926   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2927   parameters:
2928   - "latency"
2929   - "parent"
2930   traces:
2931     boxmean: False
2932   layout:
2933     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2934     layout:
2935       "plot-latency"
2936
2937 # VPP IP4_overlay
2938 -
2939   type: "plot"
2940   title: "VPP Latency 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2941   algorithm: "plot_latency_box"
2942   output-file-type: ".html"
2943   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc-lat50"
2944   data:
2945     "plot-vpp-throughput-latency"
2946   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2947   parameters:
2948   - "latency"
2949   - "parent"
2950   traces:
2951     boxmean: False
2952   layout:
2953     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2954     layout:
2955       "plot-latency"
2956
2957 -
2958   type: "plot"
2959   title: "VPP Latency 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2960   algorithm: "plot_latency_box"
2961   output-file-type: ".html"
2962   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc-lat50"
2963   data:
2964     "plot-vpp-throughput-latency"
2965   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2966   parameters:
2967   - "latency"
2968   - "parent"
2969   traces:
2970     boxmean: False
2971   layout:
2972     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2973     layout:
2974       "plot-latency"
2975
2976 # VPP IP6_overlay
2977 -
2978   type: "plot"
2979   title: "VPP Latency 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2980   algorithm: "plot_latency_box"
2981   output-file-type: ".html"
2982   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc-lat50"
2983   data:
2984     "plot-vpp-throughput-latency"
2985   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2986   parameters:
2987   - "latency"
2988   - "parent"
2989   traces:
2990     boxmean: False
2991   layout:
2992     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2993     layout:
2994       "plot-latency"
2995
2996 -
2997   type: "plot"
2998   title: "VPP Latency 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2999   algorithm: "plot_latency_box"
3000   output-file-type: ".html"
3001   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc-lat50"
3002   data:
3003     "plot-vpp-throughput-latency"
3004   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
3005   parameters:
3006   - "latency"
3007   - "parent"
3008   traces:
3009     boxmean: False
3010   layout:
3011     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
3012     layout:
3013       "plot-latency"
3014
3015 # VPP VM VHOST
3016 -
3017   type: "plot"
3018   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
3019   algorithm: "plot_latency_box"
3020   output-file-type: ".html"
3021   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc-lat50"
3022   data:
3023     "plot-vpp-throughput-latency"
3024   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
3025   parameters:
3026   - "latency"
3027   - "parent"
3028   traces:
3029     boxmean: False
3030   layout:
3031     title: "64B-1t1c-.*vhost.*-ndrdisc"
3032     layout:
3033       "plot-latency"
3034
3035 -
3036   type: "plot"
3037   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
3038   algorithm: "plot_latency_box"
3039   output-file-type: ".html"
3040   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc-lat50"
3041   data:
3042     "plot-vpp-throughput-latency"
3043   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
3044   parameters:
3045   - "latency"
3046   - "parent"
3047   traces:
3048     boxmean: False
3049   layout:
3050     title: "64B-2t2c-.*vhost.*-ndrdisc"
3051     layout:
3052       "plot-latency"
3053
3054 # VPP VM VHOST selection
3055 -
3056   type: "plot"
3057   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
3058   algorithm: "plot_latency_box"
3059   output-file-type: ".html"
3060   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc-lat50"
3061   data:
3062     "plot-vpp-throughput-latency"
3063   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
3064   parameters:
3065   - "latency"
3066   - "parent"
3067   traces:
3068     boxmean: False
3069   layout:
3070     title: "64B-1t1c-.*vhost.*-ndrdisc"
3071     layout:
3072       "plot-latency"
3073
3074 -
3075   type: "plot"
3076   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
3077   algorithm: "plot_latency_box"
3078   output-file-type: ".html"
3079   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc-lat50"
3080   data:
3081     "plot-vpp-throughput-latency"
3082   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
3083   parameters:
3084   - "latency"
3085   - "parent"
3086   traces:
3087     boxmean: False
3088   layout:
3089     title: "64B-2t2c-.*vhost.*-ndrdisc"
3090     layout:
3091       "plot-latency"
3092
3093 # VPP CRYPTO
3094 -
3095   type: "plot"
3096   title: "VPP Latency 64B-1t1c-.*ipsec.*-ndrdisc"
3097   algorithm: "plot_latency_box"
3098   output-file-type: ".html"
3099   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc-lat50"
3100   data:
3101     "plot-vpp-throughput-latency"
3102   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
3103   parameters:
3104   - "latency"
3105   - "parent"
3106   traces:
3107     boxmean: False
3108   layout:
3109     title: "64B-1t1c-.*ipsec.*-ndrdisc"
3110     layout:
3111       "plot-latency"
3112
3113 -
3114   type: "plot"
3115   title: "VPP Latency 64B-2t2c-.*ipsec.*-ndrdisc"
3116   algorithm: "plot_latency_box"
3117   output-file-type: ".html"
3118   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc-lat50"
3119   data:
3120     "plot-vpp-throughput-latency"
3121   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
3122   parameters:
3123   - "latency"
3124   - "parent"
3125   traces:
3126     boxmean: False
3127   layout:
3128     title: "64B-2t2c-.*ipsec.*-ndrdisc"
3129     layout:
3130       "plot-latency"
3131
3132 # DPDK
3133 -
3134   type: "plot"
3135   title: "DPDK Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3136   algorithm: "plot_latency_box"
3137   output-file-type: ".html"
3138   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc-lat50"
3139   data:
3140     "plot-dpdk-throughput-latency"
3141   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3142   parameters:
3143   - "latency"
3144   - "parent"
3145   traces:
3146     boxmean: False
3147   layout:
3148     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3149     layout:
3150       "plot-latency"
3151
3152 -
3153   type: "plot"
3154   title: "DPDK Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3155   algorithm: "plot_latency_box"
3156   output-file-type: ".html"
3157   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc-lat50"
3158   data:
3159     "plot-dpdk-throughput-latency"
3160   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3161   parameters:
3162   - "latency"
3163   - "parent"
3164   traces:
3165     boxmean: False
3166   layout:
3167     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3168     layout:
3169       "plot-latency"
3170
3171 -
3172   type: "plot"
3173   title: "DPDK Latency 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3174   algorithm: "plot_latency_box"
3175   output-file-type: ".html"
3176   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc-lat50"
3177   data:
3178     "plot-dpdk-throughput-latency"
3179   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
3180   parameters:
3181   - "latency"
3182   - "parent"
3183   traces:
3184     boxmean: False
3185   layout:
3186     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3187     layout:
3188       "plot-latency"
3189
3190 -
3191   type: "plot"
3192   title: "DPDK Latency 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3193   algorithm: "plot_latency_box"
3194   output-file-type: ".html"
3195   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc-lat50"
3196   data:
3197     "plot-dpdk-throughput-latency"
3198   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
3199   parameters:
3200   - "latency"
3201   - "parent"
3202   traces:
3203     boxmean: False
3204   layout:
3205     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3206     layout:
3207       "plot-latency"
3208
3209 # Ligato - Throughput
3210
3211 # Container memif
3212 -
3213   type: "plot"
3214   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3215   algorithm: "plot_performance_box"
3216   output-file-type: ".html"
3217   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc"
3218   data:
3219     "plot-vpp-throughput-latency"
3220   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3221   parameters:
3222   - "throughput"
3223   - "parent"
3224   traces:
3225     hoverinfo: "x+y"
3226     boxpoints: "outliers"
3227     whiskerwidth: 0
3228   layout:
3229     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3230     xaxis:
3231       autorange: True
3232       autotick: False
3233       fixedrange: False
3234       gridcolor: "rgb(238, 238, 238)"
3235       linecolor: "rgb(238, 238, 238)"
3236       linewidth: 1
3237       showgrid: True
3238       showline: True
3239       showticklabels: True
3240       tickcolor: "rgb(238, 238, 238)"
3241       tickmode: "linear"
3242       title: "Indexed Test Cases"
3243       zeroline: False
3244     yaxis:
3245       gridcolor: "rgb(238, 238, 238)'"
3246       hoverformat: ".4s"
3247       linecolor: "rgb(238, 238, 238)"
3248       linewidth: 1
3249       range: [0, 4500000]
3250       showgrid: True
3251       showline: True
3252       showticklabels: True
3253       tickcolor: "rgb(238, 238, 238)"
3254       title: "Packets Per Second [pps]"
3255       zeroline: False
3256     boxmode: "group"
3257     boxgroupgap: 0.5
3258     autosize: False
3259     margin:
3260       t: 50
3261       b: 20
3262       l: 50
3263       r: 20
3264     showlegend: True
3265     legend:
3266       orientation: "h"
3267     width: 700
3268     height: 1000
3269
3270 -
3271   type: "plot"
3272   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3273   algorithm: "plot_performance_box"
3274   output-file-type: ".html"
3275   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc"
3276   data:
3277     "plot-vpp-throughput-latency"
3278   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3279   parameters:
3280   - "throughput"
3281   - "parent"
3282   traces:
3283     hoverinfo: "x+y"
3284     boxpoints: "outliers"
3285     whiskerwidth: 0
3286   layout:
3287     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3288     xaxis:
3289       autorange: True
3290       autotick: False
3291       fixedrange: False
3292       gridcolor: "rgb(238, 238, 238)"
3293       linecolor: "rgb(238, 238, 238)"
3294       linewidth: 1
3295       showgrid: True
3296       showline: True
3297       showticklabels: True
3298       tickcolor: "rgb(238, 238, 238)"
3299       tickmode: "linear"
3300       title: "Indexed Test Cases"
3301       zeroline: False
3302     yaxis:
3303       gridcolor: "rgb(238, 238, 238)'"
3304       hoverformat: ".4s"
3305       linecolor: "rgb(238, 238, 238)"
3306       linewidth: 1
3307       range: [0, 8000000]
3308       showgrid: True
3309       showline: True
3310       showticklabels: True
3311       tickcolor: "rgb(238, 238, 238)"
3312       title: "Packets Per Second [pps]"
3313       zeroline: False
3314     boxmode: "group"
3315     boxgroupgap: 0.5
3316     autosize: False
3317     margin:
3318       t: 50
3319       b: 20
3320       l: 50
3321       r: 20
3322     showlegend: True
3323     legend:
3324       orientation: "h"
3325     width: 700
3326     height: 1000
3327
3328 -
3329   type: "plot"
3330   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3331   algorithm: "plot_performance_box"
3332   output-file-type: ".html"
3333   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-pdrdisc"
3334   data:
3335     "plot-vpp-throughput-latency"
3336   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3337   parameters:
3338   - "throughput"
3339   - "parent"
3340   traces:
3341     hoverinfo: "x+y"
3342     boxpoints: "outliers"
3343     whiskerwidth: 0
3344   layout:
3345     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3346     xaxis:
3347       autorange: True
3348       autotick: False
3349       fixedrange: False
3350       gridcolor: "rgb(238, 238, 238)"
3351       linecolor: "rgb(238, 238, 238)"
3352       linewidth: 1
3353       showgrid: True
3354       showline: True
3355       showticklabels: True
3356       tickcolor: "rgb(238, 238, 238)"
3357       tickmode: "linear"
3358       title: "Indexed Test Cases"
3359       zeroline: False
3360     yaxis:
3361       gridcolor: "rgb(238, 238, 238)'"
3362       hoverformat: ".4s"
3363       linecolor: "rgb(238, 238, 238)"
3364       linewidth: 1
3365       range: [0, 4500000]
3366       showgrid: True
3367       showline: True
3368       showticklabels: True
3369       tickcolor: "rgb(238, 238, 238)"
3370       title: "Packets Per Second [pps]"
3371       zeroline: False
3372     boxmode: "group"
3373     boxgroupgap: 0.5
3374     autosize: False
3375     margin:
3376       t: 50
3377       b: 20
3378       l: 50
3379       r: 20
3380     showlegend: True
3381     legend:
3382       orientation: "h"
3383     width: 700
3384     height: 1000
3385
3386 -
3387   type: "plot"
3388   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3389   algorithm: "plot_performance_box"
3390   output-file-type: ".html"
3391   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-pdrdisc"
3392   data:
3393     "plot-vpp-throughput-latency"
3394   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3395   parameters:
3396   - "throughput"
3397   - "parent"
3398   traces:
3399     hoverinfo: "x+y"
3400     boxpoints: "outliers"
3401     whiskerwidth: 0
3402   layout:
3403     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3404     xaxis:
3405       autorange: True
3406       autotick: False
3407       fixedrange: False
3408       gridcolor: "rgb(238, 238, 238)"
3409       linecolor: "rgb(238, 238, 238)"
3410       linewidth: 1
3411       showgrid: True
3412       showline: True
3413       showticklabels: True
3414       tickcolor: "rgb(238, 238, 238)"
3415       tickmode: "linear"
3416       title: "Indexed Test Cases"
3417       zeroline: False
3418     yaxis:
3419       gridcolor: "rgb(238, 238, 238)'"
3420       hoverformat: ".4s"
3421       linecolor: "rgb(238, 238, 238)"
3422       linewidth: 1
3423       range: [0, 8000000]
3424       showgrid: True
3425       showline: True
3426       showticklabels: True
3427       tickcolor: "rgb(238, 238, 238)"
3428       title: "Packets Per Second [pps]"
3429       zeroline: False
3430     boxmode: "group"
3431     boxgroupgap: 0.5
3432     autosize: False
3433     margin:
3434       t: 50
3435       b: 20
3436       l: 50
3437       r: 20
3438     showlegend: True
3439     legend:
3440       orientation: "h"
3441     width: 700
3442     height: 1000
3443
3444 # Container orchestrated
3445 -
3446   type: "plot"
3447   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3448   algorithm: "plot_performance_box"
3449   output-file-type: ".html"
3450   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc"
3451   data:
3452     "plot-ligato-throughput-latency"
3453   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3454   parameters:
3455   - "throughput"
3456   - "parent"
3457   traces:
3458     hoverinfo: "x+y"
3459     boxpoints: "outliers"
3460     whiskerwidth: 0
3461   layout:
3462     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3463     layout:
3464       "plot-throughput"
3465
3466 -
3467   type: "plot"
3468   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3469   algorithm: "plot_performance_box"
3470   output-file-type: ".html"
3471   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc"
3472   data:
3473     "plot-ligato-throughput-latency"
3474   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3475   parameters:
3476   - "throughput"
3477   - "parent"
3478   traces:
3479     hoverinfo: "x+y"
3480     boxpoints: "outliers"
3481     whiskerwidth: 0
3482   layout:
3483     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3484     layout:
3485       "plot-throughput"
3486
3487 -
3488   type: "plot"
3489   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3490   algorithm: "plot_performance_box"
3491   output-file-type: ".html"
3492   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-pdrdisc"
3493   data:
3494     "plot-ligato-throughput-latency"
3495   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3496   parameters:
3497   - "throughput"
3498   - "parent"
3499   traces:
3500     hoverinfo: "x+y"
3501     boxpoints: "outliers"
3502     whiskerwidth: 0
3503   layout:
3504     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3505     layout:
3506       "plot-throughput"
3507
3508 -
3509   type: "plot"
3510   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3511   algorithm: "plot_performance_box"
3512   output-file-type: ".html"
3513   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-pdrdisc"
3514   data:
3515     "plot-ligato-throughput-latency"
3516   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3517   parameters:
3518   - "throughput"
3519   - "parent"
3520   traces:
3521     hoverinfo: "x+y"
3522     boxpoints: "outliers"
3523     whiskerwidth: 0
3524   layout:
3525     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3526     layout:
3527       "plot-throughput"
3528
3529 # Ligato - Latency
3530
3531 # Container memif
3532 -
3533   type: "plot"
3534   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3535   algorithm: "plot_latency_box"
3536   output-file-type: ".html"
3537   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc-lat50"
3538   data:
3539     "plot-vpp-throughput-latency"
3540   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3541   parameters:
3542   - "latency"
3543   - "parent"
3544   traces:
3545     boxmean: False
3546   layout:
3547     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3548     layout:
3549       "plot-latency"
3550
3551 -
3552   type: "plot"
3553   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3554   algorithm: "plot_latency_box"
3555   output-file-type: ".html"
3556   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc-lat50"
3557   data:
3558     "plot-vpp-throughput-latency"
3559   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3560   parameters:
3561   - "latency"
3562   - "parent"
3563   traces:
3564     boxmean: False
3565   layout:
3566     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3567     layout:
3568       "plot-latency"
3569
3570 # Container orchestrated
3571 -
3572   type: "plot"
3573   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3574   algorithm: "plot_latency_box"
3575   output-file-type: ".html"
3576   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc-lat50"
3577   data:
3578     "plot-ligato-throughput-latency"
3579   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3580   parameters:
3581   - "latency"
3582   - "parent"
3583   traces:
3584     boxmean: False
3585   layout:
3586     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3587     layout:
3588       "plot-latency"
3589
3590 -
3591   type: "plot"
3592   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3593   algorithm: "plot_latency_box"
3594   output-file-type: ".html"
3595   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc-lat50"
3596   data:
3597     "plot-ligato-throughput-latency"
3598   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3599   parameters:
3600   - "latency"
3601   - "parent"
3602   traces:
3603     boxmean: False
3604   layout:
3605     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3606     layout:
3607       "plot-latency"