resources/tools/presentation/specification.yaml

   1 -
   2   type: "environment"
   3   configuration:
   4     # Debug mode:
   5     # - Skip:
   6     #   - Download of input data files
   7     # - Do:
   8     #   - Read data from given zip / xml files
   9     #   - Set the configuration as it is done in normal mode
  10     # If the section "type: debug" is missing, CFG[DEBUG] is set to 0.
  11     CFG[DEBUG]: 0
  12
  13   paths:
  14     # Top level directories:
  15     ## Working directory
  16     DIR[WORKING]: "_tmp"
  17     ## Build directories
  18     DIR[BUILD,HTML]: "_build"
  19     DIR[BUILD,LATEX]: "_build_latex"
  20
  21     # Static .rst files
  22     DIR[RST]: "../../../docs/report"
  23
  24     # Working directories
  25     ## Input data files (.zip, .xml)
  26     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
  27     ## Static source files from git
  28     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
  29     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
  30
  31     # Static html content
  32     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
  33     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
  34     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
  35     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
  36
  37     # Detailed test results
  38     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
  39     DIR[DTR,PERF,DPDK]: "{DIR[DTR]}/dpdk_performance_results"
  40     DIR[DTR,PERF,VPP]: "{DIR[DTR]}/vpp_performance_results"
  41     DIR[DTR,PERF,COT]: "{DIR[DTR]}/cot_performance_results"
  42     DIR[DTR,PERF,HC]: "{DIR[DTR]}/honeycomb_performance_results"
  43     DIR[DTR,FUNC,VPP]: "{DIR[DTR]}/vpp_functional_results"
  44     DIR[DTR,FUNC,HC]: "{DIR[DTR]}/honeycomb_functional_results"
  45     DIR[DTR,FUNC,NSHSFC]: "{DIR[DTR]}/nshsfc_functional_results"
  46     DIR[DTR,PERF,VPP,IMPRV]: "{DIR[WORKING,SRC]}/vpp_performance_tests/performance_improvements"
  47
  48     # Detailed test configurations
  49     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
  50     DIR[DTC,PERF,VPP]: "{DIR[DTC]}/vpp_performance_configuration"
  51     DIR[DTC,FUNC,VPP]: "{DIR[DTC]}/vpp_functional_configuration"
  52
  53     # Detailed tests operational data
  54     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
  55     DIR[DTO,PERF,VPP]: "{DIR[DTO]}/vpp_performance_operational_data"
  56
  57     # .css patch file to fix tables generated by Sphinx
  58     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
  59     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
  60
  61   urls:
  62     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
  63     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
  64     URL[NEXUS]: "https://docs.fd.io/csit"
  65     DIR[NEXUS]: "report/_static/archive"
  66
  67   make-dirs:
  68   # List the directories which are created while preparing the environment.
  69   # All directories MUST be defined in "paths" section.
  70   - "DIR[WORKING,DATA]"
  71   - "DIR[STATIC,VPP]"
  72   - "DIR[STATIC,DPDK]"
  73   - "DIR[STATIC,ARCH]"
  74   - "DIR[BUILD,LATEX]"
  75   - "DIR[WORKING,SRC]"
  76   - "DIR[WORKING,SRC,STATIC]"
  77
  78   remove-dirs:
  79   # List the directories which are deleted while cleaning the environment.
  80   # All directories MUST be defined in "paths" section.
  81   #- "DIR[BUILD,HTML]"
  82
  83   build-dirs:
  84   # List the directories where the results (build) is stored.
  85   # All directories MUST be defined in "paths" section.
  86   - "DIR[BUILD,HTML]"
  87   - "DIR[BUILD,LATEX]"
  88
  89 -
  90   type: "configuration"
  91   data-sets:
  92     plot-vpp-http-server-performance:
  93 # TODO: Add the data sources
  94       csit-vpp-perf-1801-all:
  95       - 157
  96       - 158
  97       - 159
  98       - 160
  99       - 161
 100       - 164
 101       - 165
 102       - 166
 103       - 168
 104       - 169
 105       - 170
 106 # TODO: Add the data sources
 107 #    vpp-meltdown-impact:
 108 #      csit-vpp-perf-1707-all:
 109 #      - 9
 110 #      - 10
 111 #      - 13
 112 #      csit-vpp-perf-1710-all:
 113 #      - 11l
 114 #      - 12
 115 #      - 13
 116 # TODO: Add the data sources
 117 #    vpp-spectre-impact:
 118 #      csit-vpp-perf-1707-all:
 119 #      - 9
 120 #      - 10
 121 #      - 13
 122 #      csit-vpp-perf-1710-all:
 123 #      - 11
 124 #      - 12
 125 #      - 13
 126     vpp-performance-changes:
 127       csit-vpp-perf-1710-all:
 128       - 11
 129       - 12
 130       - 13
 131       - 14
 132       - 15
 133       - 16
 134       - 17
 135       - 18
 136       - 19
 137       - 20
 138       csit-vpp-perf-1801-all:
 139       - 124  # sel
 140       - 127  # sel
 141       - 128  # sel
 142       - 141  # sel
 143       - 142  # sel
 144       - 143  # sel
 145       - 145  # sel
 146       - 146  # sel
 147       - 162  # sel
 148       - 163  # sel
 149       - 167  # sel
 150       - 172  # sel acl only
 151       csit-vpp-perf-1804-all:
 152       - 1
 153     vpp-performance-changes-mrr:
 154       csit-vpp-perf-check-1801:
 155       - 1
 156       - 2
 157       - 3
 158       - 4
 159       - 5
 160       - 6
 161       - 7
 162       - 8
 163       - 9
 164       - 11
 165       - 12
 166       - 13
 167       csit-vpp-perf-check-1804:
 168       - 1
 169     plot-throughput-speedup-analysis:
 170       csit-vpp-perf-1801-all:
 171       - 122  # full
 172       - 126  # full
 173       - 129  # full
 174       - 140  # full
 175       - 124  # sel
 176       - 127  # sel
 177       - 128  # sel
 178       - 141  # sel
 179       - 142  # sel
 180       - 143  # sel
 181       - 145  # sel
 182       - 146  # sel
 183       - 162  # sel
 184       - 163  # sel
 185       - 167  # sel
 186       - 172  # sel acl only
 187 #    performance-improvements:
 188 #      csit-vpp-perf-1707-all:
 189 #      - 9
 190 #      - 10
 191 #      - 13
 192 #      - 14
 193 #      - 15
 194 #      - 16
 195 #      - 17
 196 #      - 18
 197 #      - 19
 198 #      - 21
 199 #      csit-vpp-perf-1710-all:
 200 #      - 11
 201 #      - 12
 202 #      - 13
 203 #      - 14
 204 #      - 15
 205 #      - 16
 206 #      - 17
 207 #      - 18
 208 #      - 19
 209 #      - 20
 210 #      csit-vpp-perf-1801-all:
 211 #      - 124
 212 #      - 127
 213 #      - 128
 214 #      csit-ligato-perf-1710-all:
 215 #      - 5
 216 #      - 7
 217 #      - 8
 218 #      - 9
 219 #      - 10
 220 #      - 11
 221 #      - 12
 222 #      - 13
 223 #      - 16
 224 #      - 17
 225 #      csit-ligato-perf-1801-all:
 226 #      - 16  # sel
 227 #      - 17  # sel
 228 #      - 18  # sel
 229 #      - 19  # sel
 230 #      - 20  # sel
 231 #      - 21  # sel
 232 #      - 22  # sel
 233 #      - 23  # sel
 234 #      - 24  # sel
 235     vpp-perf-results:
 236       csit-vpp-perf-1801-all:
 237       - 122
 238       - 126
 239       - 129
 240       - 140
 241     vpp-func-results:
 242       csit-vpp-functional-1801-ubuntu1604-virl:
 243       - "lastSuccessfulBuild"
 244     ligato-perf-results:
 245       csit-ligato-perf-1801-all:
 246       - 25  # full
 247     dpdk-perf-results:
 248       csit-dpdk-perf-1804-all:
 249       - 15
 250     hc-func-results:
 251       csit-hc2vpp-verify-func-1801-ubuntu1604:
 252       - "lastSuccessfulBuild"
 253     nsh-func-results:
 254       csit-nsh_sfc-verify-func-1801-ubuntu1604-virl:
 255       - 1
 256     plot-vpp-throughput-latency:
 257       csit-vpp-perf-1801-all:
 258       - 122  # full
 259       - 126  # full
 260       - 129  # full
 261       - 140  # full
 262       - 124  # sel
 263       - 127  # sel
 264       - 128  # sel
 265       - 141  # sel
 266       - 142  # sel
 267       - 143  # sel
 268       - 145  # sel
 269       - 146  # sel
 270       - 162  # sel
 271       - 163  # sel
 272       - 167  # sel
 273       - 172  # sel acl only
 274     plot-dpdk-throughput-latency:
 275       csit-dpdk-perf-1804-all:
 276       - 4
 277       - 5
 278       - 6
 279       - 7
 280       - 8
 281       - 9
 282       - 10
 283       - 11
 284       - 12
 285       - 13
 286       - 14
 287       - 15
 288     plot-ligato-throughput-latency:
 289       csit-ligato-perf-1801-all:
 290       - 16  # sel
 291       - 17  # sel
 292       - 18  # sel
 293       - 19  # sel
 294       - 20  # sel
 295       - 21  # sel
 296       - 22  # sel
 297       - 23  # sel
 298       - 24  # sel
 299
 300   plot-layouts:
 301
 302     plot-cps:
 303       xaxis:
 304         autorange: True
 305         autotick: False
 306         fixedrange: False
 307         gridcolor: "rgb(238, 238, 238)"
 308         linecolor: "rgb(238, 238, 238)"
 309         linewidth: 1
 310         showgrid: True
 311         showline: True
 312         showticklabels: True
 313         tickcolor: "rgb(238, 238, 238)"
 314         tickmode: "linear"
 315         title: "Indexed Test Cases"
 316         zeroline: False
 317       yaxis:
 318         gridcolor: "rgb(238, 238, 238)'"
 319         hoverformat: ".4s"
 320         linecolor: "rgb(238, 238, 238)"
 321         linewidth: 1
 322         range: []
 323         rangemode: "tozero"
 324         showgrid: True
 325         showline: True
 326         showticklabels: True
 327         tickcolor: "rgb(238, 238, 238)"
 328         title: "Connections Per Second [cps]"
 329         zeroline: False
 330       boxmode: "group"
 331       boxgroupgap: 0.5
 332       autosize: False
 333       margin:
 334         t: 50
 335         b: 20
 336         l: 50
 337         r: 20
 338       showlegend: True
 339       legend:
 340         orientation: "h"
 341       width: 700
 342       height: 1000
 343
 344     plot-rps:
 345       xaxis:
 346         autorange: True
 347         autotick: False
 348         fixedrange: False
 349         gridcolor: "rgb(238, 238, 238)"
 350         linecolor: "rgb(238, 238, 238)"
 351         linewidth: 1
 352         showgrid: True
 353         showline: True
 354         showticklabels: True
 355         tickcolor: "rgb(238, 238, 238)"
 356         tickmode: "linear"
 357         title: "Indexed Test Cases"
 358         zeroline: False
 359       yaxis:
 360         gridcolor: "rgb(238, 238, 238)'"
 361         hoverformat: ".4s"
 362         linecolor: "rgb(238, 238, 238)"
 363         linewidth: 1
 364         range: []
 365         rangemode: "tozero"
 366         showgrid: True
 367         showline: True
 368         showticklabels: True
 369         tickcolor: "rgb(238, 238, 238)"
 370         title: "Requests Per Second [rps]"
 371         zeroline: False
 372       boxmode: "group"
 373       boxgroupgap: 0.5
 374       autosize: False
 375       margin:
 376         t: 50
 377         b: 20
 378         l: 50
 379         r: 20
 380       showlegend: True
 381       legend:
 382         orientation: "h"
 383       width: 700
 384       height: 1000
 385
 386     plot-throughput:
 387       xaxis:
 388         autorange: True
 389         autotick: False
 390         fixedrange: False
 391         gridcolor: "rgb(238, 238, 238)"
 392         linecolor: "rgb(238, 238, 238)"
 393         linewidth: 1
 394         showgrid: True
 395         showline: True
 396         showticklabels: True
 397         tickcolor: "rgb(238, 238, 238)"
 398         tickmode: "linear"
 399         title: "Indexed Test Cases"
 400         zeroline: False
 401       yaxis:
 402         gridcolor: "rgb(238, 238, 238)'"
 403         hoverformat: ".4s"
 404         linecolor: "rgb(238, 238, 238)"
 405         linewidth: 1
 406         range: []
 407         showgrid: True
 408         showline: True
 409         showticklabels: True
 410         tickcolor: "rgb(238, 238, 238)"
 411         title: "Packets Per Second [pps]"
 412         zeroline: False
 413       boxmode: "group"
 414       boxgroupgap: 0.5
 415       autosize: False
 416       margin:
 417         t: 50
 418         b: 20
 419         l: 50
 420         r: 20
 421       showlegend: True
 422       legend:
 423         orientation: "h"
 424       width: 700
 425       height: 1000
 426
 427     plot-latency:
 428       xaxis:
 429         autorange: True
 430         autotick: False
 431         fixedrange: False
 432         gridcolor: "rgb(238, 238, 238)"
 433         linecolor: "rgb(238, 238, 238)"
 434         linewidth: 1
 435         showgrid: True
 436         showline: True
 437         showticklabels: True
 438         tickcolor: "rgb(238, 238, 238)"
 439         tickmode: "linear"
 440         title: "Indexed Test Cases"
 441         zeroline: False
 442       yaxis:
 443         gridcolor: "rgb(238, 238, 238)'"
 444         hoverformat: ""
 445         linecolor: "rgb(238, 238, 238)"
 446         linewidth: 1
 447         range: []
 448         showgrid: True
 449         showline: True
 450         showticklabels: True
 451         tickcolor: "rgb(238, 238, 238)"
 452         title: "Latency min/avg/max [uSec]"
 453         zeroline: False
 454       boxmode: "group"
 455       boxgroupgap: 0.5
 456       autosize: False
 457       margin:
 458         t: 50
 459         b: 20
 460         l: 50
 461         r: 20
 462       showlegend: True
 463       legend:
 464         orientation: "h"
 465       width: 700
 466       height: 1000
 467
 468     plot-throughput-speedup-analysis:
 469       xaxis:
 470         autorange: True
 471         autotick: False
 472         fixedrange: False
 473         gridcolor: "rgb(238, 238, 238)"
 474         linecolor: "rgb(238, 238, 238)"
 475         linewidth: 1
 476         showgrid: True
 477         showline: True
 478         showticklabels: True
 479         tickcolor: "rgb(238, 238, 238)"
 480         tickmode: "linear"
 481         tickangle: 270
 482         zeroline: False
 483       yaxis:
 484         title: "Throughput speedup factor"
 485         gridcolor: "rgb(238, 238, 238)"
 486         hoverformat: ".4s"
 487         linecolor: "rgb(238, 238, 238)"
 488         linewidth: 1
 489         range: []
 490         showgrid: True
 491         showline: True
 492         showticklabels: True
 493         tickcolor: "rgb(238, 238, 238)"
 494         zeroline: False
 495       legend:
 496         orientation: "h"
 497         xanchor: "center"
 498         yanchor: "top"
 499         x: 0.5
 500         y: 1
 501         bgcolor: "rgba(255, 255, 255, 0)"
 502         bordercolor: "rgba(255, 255, 255, 0)"
 503       barmode: "group"
 504       bargap: 0.15
 505       bargroupgap: 0.1
 506       autosize: False
 507       margin:
 508           't': 50
 509           'b': 200
 510           'l': 50
 511           'r': 20
 512       showlegend: True
 513       width: 700
 514       height: 1000
 515
 516 -
 517   type: "debug"
 518   general:
 519     input-format: "xml"  # zip or xml
 520     extract: "robot-plugin/output.xml"  # Only for zip
 521   builds:
 522     # The files must be in the directory DIR[WORKING,DATA]
 523     csit-vpp-perf-1801-all:
 524     -
 525       build: 1
 526       file: "{DIR[WORKING,DATA]}/output.xml"
 527     -
 528       build: 2
 529       file: "{DIR[WORKING,DATA]}/output.xml"
 530     -
 531       build: 3
 532       file: "{DIR[WORKING,DATA]}/output.xml"
 533     -
 534       build: 4
 535       file: "{DIR[WORKING,DATA]}/output.xml"
 536
 537 -
 538   type: "static"
 539   src-path: "{DIR[RST]}"
 540   dst-path: "{DIR[WORKING,SRC]}"
 541
 542 -
 543   type: "input"  # Ignored in debug mode
 544   general:
 545     file-name: "robot-plugin.zip"
 546     file-format: ".zip"
 547     download-path: "{job}/{build}/robot/report/*zip*/{filename}"
 548     extract: "robot-plugin/output.xml"
 549   builds:
 550 #    csit-vpp-perf-1707-all:
 551 #    - 9
 552 #    - 10
 553 #    - 13
 554 #    - 14
 555 #    - 15
 556 #    - 16
 557 #    - 17
 558 #    - 18
 559 #    - 19
 560 #    - 21
 561     csit-vpp-perf-1710-all:
 562     - 11
 563     - 12
 564     - 13
 565     - 14
 566     - 15
 567     - 16
 568     - 17
 569     - 18
 570     - 19
 571     - 20
 572     csit-vpp-perf-1801-all:
 573     - 122  # full
 574     - 126  # full
 575     - 129  # full
 576     - 140  # full
 577     - 124  # sel
 578     - 127  # sel
 579     - 128  # sel
 580     - 141  # sel
 581     - 142  # sel
 582     - 143  # sel
 583     - 145  # sel
 584     - 146  # sel
 585     - 157  # wrk
 586     - 158  # wrk
 587     - 159  # wrk
 588     - 160  # wrk
 589     - 161  # wrk
 590     - 162  # sel
 591     - 163  # sel
 592     - 164  # wrk
 593     - 165  # wrk
 594     - 166  # wrk
 595     - 167  # sel
 596     - 168  # wrk
 597     - 169  # wrk
 598     - 170  # wrk
 599     - 172  # sel acl only
 600     csit-vpp-perf-1804-all:
 601     - 1
 602     csit-vpp-perf-check-1801:
 603     - 1
 604     - 2
 605     - 3
 606     - 4
 607     - 5
 608     - 6
 609     - 7
 610     - 8
 611     - 9
 612     - 11
 613     - 12
 614     - 13
 615     csit-vpp-perf-check-1804:
 616     - 1
 617     csit-ligato-perf-1710-all:
 618     - 5
 619     - 7
 620     - 8
 621     - 9
 622     - 10
 623     - 11
 624     - 12
 625     - 13
 626     - 16
 627     - 17
 628     csit-ligato-perf-1801-all:
 629     - 16  # sel
 630     - 17  # sel
 631     - 18  # sel
 632     - 19  # sel
 633     - 20  # sel
 634     - 21  # sel
 635     - 22  # sel
 636     - 23  # sel
 637     - 24  # sel
 638     - 25  # full
 639     csit-dpdk-perf-1804-all:
 640     - 4
 641     - 5
 642     - 6
 643     - 7
 644     - 8
 645     - 9
 646     - 10
 647     - 11
 648     - 12
 649     - 13
 650     - 14
 651     - 15
 652     csit-vpp-functional-1801-ubuntu1604-virl:
 653     - lastSuccessfulBuild
 654     csit-nsh_sfc-verify-func-1801-ubuntu1604-virl:
 655     - 1
 656     csit-hc2vpp-verify-func-1801-ubuntu1604:
 657     - lastSuccessfulBuild
 658
 659 -
 660   type: "output"
 661   output: "report"
 662   format:
 663     html:
 664     - full
 665     pdf:
 666     - minimal
 667
 668 ################################################################################
 669 ###                               T A B L E S                                ###
 670 ################################################################################
 671
 672 #-
 673 #  type: "table"
 674 #  title: "Performance Impact of Meltdown Patches"
 675 #  algorithm: "table_performance_comparison"
 676 #  output-file-ext: ".csv"
 677 ## TODO: specify dir
 678 #  output-file: "{DIR[STATIC,VPP]}/meltdown-impact"
 679 #  reference:
 680 #    title: "No Meltdown"
 681 ## TODO: specify data sources
 682 #    data:
 683 #      csit-vpp-perf-1707-all:
 684 #      - 9
 685 #      - 10
 686 #      - 13
 687 #  compare:
 688 #    title: "Meltdown Patches Applied"
 689 ## TODO: specify data sources
 690 #    data:
 691 #      csit-vpp-perf-1710-all:
 692 #      - 11
 693 #      - 12
 694 #      - 13
 695 #  data:
 696 #    "vpp-meltdown-impact"
 697 #  filter: "all"
 698 #  parameters:
 699 #  - "name"
 700 #  - "parent"
 701 #  - "throughput"
 702 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
 703 #  # to present all tests.
 704 #  nr-of-tests-shown: 20
 705 #
 706 #-
 707 #  type: "table"
 708 #  title: "Performance Impact of Spectre Patches"
 709 #  algorithm: "table_performance_comparison"
 710 #  output-file-ext: ".csv"
 711 ## TODO: specify dir
 712 #  output-file: "{DIR[STATIC,VPP]}/meltdown-spectre-impact"
 713 #  reference:
 714 #    title: "No Spectre"
 715 ## TODO: specify data sources
 716 #    data:
 717 #      csit-vpp-perf-1707-all:
 718 #      - 9
 719 #      - 10
 720 #      - 13
 721 #  compare:
 722 #    title: "Spectre Patches Applied"
 723 ## TODO: specify data sources
 724 #    data:
 725 #      csit-vpp-perf-1710-all:
 726 #      - 11
 727 #      - 12
 728 #      - 13
 729 #  data:
 730 #    "vpp-spectre-impact"
 731 #  filter: "all"
 732 #  parameters:
 733 #  - "name"
 734 #  - "parent"
 735 #  - "throughput"
 736 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
 737 #  # to present all tests.
 738 #  nr-of-tests-shown: 20
 739
 740 -
 741   type: "table"
 742   title: "VPP Performance Changes"
 743   algorithm: "table_performance_comparison"
 744   output-file-ext: ".csv"
 745   output-file: "{DIR[STATIC,VPP]}/performance-changes"
 746 #  reference:
 747 #    title: "Release 1710"
 748 #    data:
 749 #      csit-vpp-perf-1710-all:
 750 #      - 11
 751 #      - 12
 752 #      - 13
 753 #      - 14
 754 #      - 15
 755 #      - 16
 756 #      - 17
 757 #      - 18
 758 #      - 19
 759 #      - 20
 760   reference:
 761     title: "Release 1801"
 762     data:
 763       csit-vpp-perf-1801-all:
 764       - 124  # sel
 765       - 127  # sel
 766       - 128  # sel
 767       - 141  # sel
 768       - 142  # sel
 769       - 143  # sel
 770       - 145  # sel
 771       - 146  # sel
 772       - 162  # sel
 773       - 163  # sel
 774       - 167  # sel
 775       - 172  # sel acl only
 776   compare:
 777     title: "Release 1804"
 778     data:
 779       csit-vpp-perf-1804-all:
 780       - 1
 781   data: "vpp-performance-changes"
 782   filter: "all"
 783   parameters:
 784   - "name"
 785   - "parent"
 786   - "throughput"
 787   # Number of the best and the worst tests presented in the table. Use 0 (zero)
 788   # to present all tests.
 789   nr-of-tests-shown: 20
 790   outlier-const: 1.5
 791
 792 -
 793   type: "table"
 794   title: "VPP Performance Changes - MRR"
 795   algorithm: "table_performance_comparison_mrr"
 796   output-file-ext: ".csv"
 797   output-file: "{DIR[STATIC,VPP]}/performance-changes-mrr"
 798   reference:
 799     title: "Release 1801"
 800     data:
 801       csit-vpp-perf-check-1801:
 802       - 1
 803       - 2
 804       - 3
 805       - 4
 806       - 5
 807       - 6
 808       - 7
 809       - 8
 810       - 9
 811       - 11
 812       - 12
 813       - 13
 814   compare:
 815     title: "Release 1804"
 816     data:
 817       csit-vpp-perf-check-1804:
 818       - 1
 819   data: "vpp-performance-changes-mrr"
 820   filter: "all"
 821   parameters:
 822   - "name"
 823   - "parent"
 824   - "result"
 825   # Number of the best and the worst tests presented in the table. Use 0 (zero)
 826   # to present all tests.
 827   nr-of-tests-shown: 20
 828   outlier-const: 1.5
 829
 830 #-
 831 #  type: "table"
 832 #  title: "Performance improvements"
 833 #  algorithm: "table_performance_improvements"
 834 #  template: "{DIR[DTR,PERF,VPP,IMPRV]}/tmpl_performance_improvements.csv"
 835 #  output-file-ext: ".csv"
 836 #  output-file: "{DIR[DTR,PERF,VPP,IMPRV]}/performance_improvements"
 837 #  columns:
 838 #  -
 839 #    title: "Test Name"
 840 #    data: "template 1"
 841 #  -
 842 #    title: "16.09 mean [Mpps]"
 843 #    data: "template 2"
 844 #  -
 845 #    title: "17.01 mean [Mpps]"
 846 #    data: "template 3"
 847 #  -
 848 #    title: "17.04 mean [Mpps]"
 849 #    data: "template 4"
 850 #  -
 851 #    title: "17.07 mean [Mpps]"
 852 #    data: "data csit-vpp-perf-1707-all mean"
 853 #  -
 854 #    title: "17.10 mean [Mpps]"
 855 #    data: "data csit-vpp-perf-1710-all csit-ligato-perf-1710-all mean"
 856 #  -
 857 #    title: "18.01 mean [Mpps]"
 858 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all mean"
 859 #  -
 860 #    title: "18.01 stdev [Mpps]"
 861 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all stdev"
 862 #  -
 863 #    title: "17.10 to 18.01 change [%]"
 864 #    data: "operation relative_change 5 6"
 865 #  rows: "generated"
 866 #  data:
 867 #    "performance-improvements"
 868 #  filter: "template"
 869 #  parameters:
 870 #  - "throughput"
 871
 872 -
 873   type: "table"
 874   title: "Detailed Test Results - VPP Performance Results"
 875   algorithm: "table_merged_details"
 876   output-file-ext: ".csv"
 877   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
 878   columns:
 879   -
 880     title: "Name"
 881     data: "data name"
 882   -
 883     title: "Documentation"
 884     data: "data doc"
 885   -
 886     title: "Status"
 887     data: "data msg"
 888   rows: "generated"
 889   data:
 890     "vpp-perf-results"
 891   filter: "not 'NDRCHK' and not 'PDRCHK'"
 892   parameters:
 893   - "name"
 894   - "parent"
 895   - "doc"
 896   - "msg"
 897
 898 -
 899   type: "table"
 900   title: "Test configuration - VPP Performance Test Configs"
 901   algorithm: "table_merged_details"
 902   output-file-ext: ".csv"
 903   output-file: "{DIR[DTC,PERF,VPP]}/vpp_test_configuration"
 904   columns:
 905   -
 906     title: "Name"
 907     data: "data name"
 908   -
 909     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
 910     data: "data vat-history"
 911   rows: "generated"
 912   data:
 913     "vpp-perf-results"
 914   filter: "not 'NDRCHK' and not 'PDRCHK'"
 915   parameters:
 916   - "parent"
 917   - "name"
 918   - "vat-history"
 919
 920 -
 921   type: "table"
 922   title: "Test Operational Data - VPP Performance Operational Data"
 923   algorithm: "table_merged_details"
 924   output-file-ext: ".csv"
 925   output-file: "{DIR[DTO,PERF,VPP]}/vpp_test_operational"
 926   columns:
 927   -
 928     title: "Name"
 929     data: "data name"
 930   -
 931     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
 932     data: "data show-run"
 933   rows: "generated"
 934   data:
 935     "vpp-perf-results"
 936   filter: "not 'NDRCHK' and not 'PDRCHK'"
 937   parameters:
 938   - "parent"
 939   - "name"
 940   - "show-run"
 941
 942 -
 943   type: "table"
 944   title: "Detailed Test Results - VPP Functional Results"
 945   algorithm: "table_details"
 946   output-file-ext: ".csv"
 947   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
 948   columns:
 949   -
 950     title: "Name"
 951     data: "data name"
 952   -
 953     title: "Documentation"
 954     data: "data doc"
 955   -
 956     title: "Status"
 957     data: "data status"
 958   rows: "generated"
 959   data:
 960     "vpp-func-results"
 961   filter: "all"
 962   parameters:
 963   - "name"
 964   - "parent"
 965   - "doc"
 966   - "status"
 967
 968 -
 969   type: "table"
 970   title: "Test configuration - VPP Functional Test Configs"
 971   algorithm: "table_details"
 972   output-file-ext: ".csv"
 973   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
 974   columns:
 975   -
 976     title: "Name"
 977     data: "data name"
 978   -
 979     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
 980     data: "data vat-history"
 981   rows: "generated"
 982   data:
 983     "vpp-func-results"
 984   filter: "all"
 985   parameters:
 986   - "parent"
 987   - "name"
 988   - "vat-history"
 989
 990 -
 991   type: "table"
 992   title: "Detailed Test Results - Container Orchestrated Topologies Performance Results"
 993   algorithm: "table_details"
 994   output-file-ext: ".csv"
 995   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
 996   columns:
 997   -
 998     title: "Name"
 999     data: "data name"
1000   -
1001     title: "Documentation"
1002     data: "data doc"
1003   -
1004     title: "Status"
1005     data: "data msg"
1006   rows: "generated"
1007   data:
1008     "ligato-perf-results"
1009   filter: "all"
1010   parameters:
1011   - "name"
1012   - "parent"
1013   - "doc"
1014   - "msg"
1015
1016 -
1017   type: "table"
1018   title: "Detailed Test Results - DPDK Performance Results"
1019   algorithm: "table_details"
1020   output-file-ext: ".csv"
1021   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
1022   columns:
1023   -
1024     title: "Name"
1025     data: "data name"
1026   -
1027     title: "Documentation"
1028     data: "data doc"
1029   -
1030     title: "Status"
1031     data: "data msg"
1032   rows: "generated"
1033   data:
1034     "dpdk-perf-results"
1035   filter: "all"
1036   parameters:
1037   - "name"
1038   - "parent"
1039   - "doc"
1040   - "msg"
1041
1042 -
1043   type: "table"
1044   title: "Detailed Test Results - Honeycomb Functional Results"
1045   algorithm: "table_details"
1046   output-file-ext: ".csv"
1047   output-file: "{DIR[DTR,FUNC,HC]}/hc_functional_results"
1048   columns:
1049   -
1050     title: "Name"
1051     data: "data name"
1052   -
1053     title: "Documentation"
1054     data: "data doc"
1055   -
1056     title: "Status"
1057     data: "data status"
1058   rows: "generated"
1059   data:
1060     "hc-func-results"
1061   filter: "all"
1062   parameters:
1063   - "name"
1064   - "parent"
1065   - "doc"
1066   - "status"
1067
1068 -
1069   type: "table"
1070   title: "Detailed Test Results - NSH SFC Functional Results"
1071   algorithm: "table_details"
1072   output-file-ext: ".csv"
1073   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nsh_sfc_functional_results"
1074   columns:
1075   -
1076     title: "Name"
1077     data: "data name"
1078   -
1079     title: "Documentation"
1080     data: "data doc"
1081   -
1082     title: "Status"
1083     data: "data status"
1084   rows: "generated"
1085   data:
1086     "nsh-func-results"
1087   filter: "all"
1088   parameters:
1089   - "name"
1090   - "parent"
1091   - "doc"
1092   - "status"
1093
1094 ################################################################################
1095 ###                                F I L E S                                 ###
1096 ################################################################################
1097
1098 -
1099   type: "file"
1100   title: "VPP Performance Results"
1101   algorithm: "file_merged_test_results"
1102   output-file-ext: ".rst"
1103   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
1104   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1105   dir-tables: "{DIR[DTR,PERF,VPP]}"
1106   data:
1107     "vpp-perf-results"
1108   filter: "not 'NDRCHK' and not 'PDRCHK'"
1109   parameters:
1110   - "name"
1111   - "doc"
1112   - "level"
1113   - "parent"
1114   data-start-level: 3  # 0, 1, 2, ...
1115   chapters-start-level: 2  # 0, 1, 2, ...
1116
1117 -
1118   type: "file"
1119   title: "VPP Performance Configuration"
1120   algorithm: "file_merged_test_results"
1121   output-file-ext: ".rst"
1122   output-file: "{DIR[DTC,PERF,VPP]}/vpp_performance_configuration"
1123   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1124   dir-tables: "{DIR[DTC,PERF,VPP]}"
1125   data:
1126     "vpp-perf-results"
1127   filter: "not 'NDRCHK' and not 'PDRCHK'"
1128   parameters:
1129   - "name"
1130   - "doc"
1131   - "level"
1132   - "parent"
1133   data-start-level: 3  # 0, 1, 2, ...
1134   chapters-start-level: 2  # 0, 1, 2, ...
1135
1136 -
1137   type: "file"
1138   title: "VPP Performance Operational Data"
1139   algorithm: "file_merged_test_results"
1140   output-file-ext: ".rst"
1141   output-file: "{DIR[DTO,PERF,VPP]}/vpp_performance_operational_data"
1142   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1143   dir-tables: "{DIR[DTO,PERF,VPP]}"
1144   data:
1145     "vpp-perf-results"
1146   filter: "not 'NDRCHK' and not 'PDRCHK'"
1147   parameters:
1148   - "name"
1149   - "doc"
1150   - "level"
1151   - "parent"
1152   data-start-level: 3  # 0, 1, 2, ...
1153   chapters-start-level: 2  # 0, 1, 2, ...
1154
1155 -
1156   type: "file"
1157   title: "VPP Functional Results"
1158   algorithm: "file_test_results"
1159   output-file-ext: ".rst"
1160   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
1161   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1162   dir-tables: "{DIR[DTR,FUNC,VPP]}"
1163   data:
1164     "vpp-func-results"
1165   filter: "all"
1166   parameters:
1167   - "name"
1168   - "doc"
1169   - "level"
1170   data-start-level: 3  # 0, 1, 2, ...
1171   chapters-start-level: 2  # 0, 1, 2, ...
1172
1173 -
1174   type: "file"
1175   title: "VPP Functional Configuration"
1176   algorithm: "file_test_results"
1177   output-file-ext: ".rst"
1178   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
1179   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1180   dir-tables: "{DIR[DTC,FUNC,VPP]}"
1181   data:
1182     "vpp-func-results"
1183   filter: "all"
1184   parameters:
1185   - "name"
1186   - "doc"
1187   - "level"
1188   data-start-level: 3  # 0, 1, 2, ...
1189   chapters-start-level: 2  # 0, 1, 2, ...
1190
1191 -
1192   type: "file"
1193   title: "Container Orchestrated Performance Results"
1194   algorithm: "file_test_results"
1195   output-file-ext: ".rst"
1196   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
1197   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1198   dir-tables: "{DIR[DTR,PERF,COT]}"
1199   data:
1200     "ligato-perf-results"
1201   filter: "all"
1202   parameters:
1203   - "name"
1204   - "doc"
1205   - "level"
1206   data-start-level: 2  # 0, 1, 2, ...
1207   chapters-start-level: 2  # 0, 1, 2, ...
1208
1209 -
1210   type: "file"
1211   title: "DPDK Performance Results"
1212   algorithm: "file_test_results"
1213   output-file-ext: ".rst"
1214   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
1215   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1216   dir-tables: "{DIR[DTR,PERF,DPDK]}"
1217   data:
1218     "dpdk-perf-results"
1219   filter: "all"
1220   parameters:
1221   - "name"
1222   - "doc"
1223   - "level"
1224   chapters:
1225   - "suites"
1226   data-start-level: 2  # 0, 1, 2, ...
1227   chapters-start-level: 2  # 0, 1, 2, ...
1228
1229 -
1230   type: "file"
1231   title: "Honeycomb Functional Results"
1232   algorithm: "file_test_results"
1233   output-file-ext: ".rst"
1234   output-file: "{DIR[DTR,FUNC,HC]}/honeycomb_functional_results"
1235   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1236   dir-tables: "{DIR[DTR,FUNC,HC]}"
1237   data:
1238     "hc-func-results"
1239   filter: "all"
1240   parameters:
1241   - "name"
1242   - "doc"
1243   - "level"
1244   chapters:
1245   - "suites"
1246   data-start-level: 3  # 0, 1, 2, ...
1247   chapters-start-level: 2  # 0, 1, 2, ...
1248
1249 -
1250   type: "file"
1251   title: "NSH SFC Functional Results"
1252   algorithm: "file_test_results"
1253   output-file-ext: ".rst"
1254   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nshsfc_functional_results"
1255   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1256   dir-tables: "{DIR[DTR,FUNC,NSHSFC]}"
1257   data:
1258     "nsh-func-results"
1259   filter: "all"
1260   parameters:
1261   - "name"
1262   - "doc"
1263   - "level"
1264   chapters:
1265   - "suites"
1266   data-start-level: 2  # 0, 1, 2, ...
1267   chapters-start-level: 2  # 0, 1, 2, ...
1268
1269 ################################################################################
1270 ###                                P L O T S                                 ###
1271 ################################################################################
1272
1273 # Plots VPP HTTP Server Performance
1274 -
1275   type: "plot"
1276   title: "VPP HTTP Server Performance"
1277   algorithm: "plot_http_server_performance_box"
1278   output-file-type: ".html"
1279   output-file: "{DIR[STATIC,VPP]}/http-server-performance-cps"
1280   data:
1281     "plot-vpp-http-server-performance"
1282   # Keep this formatting, the filter is enclosed with " (quotation mark) and
1283   # each tag is enclosed with ' (apostrophe).
1284   filter: "'HTTP' and 'TCP_CPS'"
1285   parameters:
1286   - "result"
1287   - "name"
1288   traces:
1289     hoverinfo: "x+y"
1290     boxpoints: "outliers"
1291     whiskerwidth: 0
1292   layout:
1293     title: "VPP HTTP Server Performance"
1294     layout:
1295       "plot-cps"
1296
1297 -
1298   type: "plot"
1299   title: "VPP HTTP Server Performance"
1300   algorithm: "plot_http_server_performance_box"
1301   output-file-type: ".html"
1302   output-file: "{DIR[STATIC,VPP]}/http-server-performance-rps"
1303   data:
1304     "plot-vpp-http-server-performance"
1305   filter: "'HTTP' and 'TCP_RPS'"
1306   parameters:
1307   - "result"
1308   - "name"
1309   traces:
1310     hoverinfo: "x+y"
1311     boxpoints: "outliers"
1312     whiskerwidth: 0
1313   layout:
1314     title: "VPP HTTP Server Performance"
1315     layout:
1316       "plot-rps"
1317
1318 # Plot Throughput Speedup Analysis
1319
1320 # L2 - 10ge2p1x520 - NDR
1321 -
1322   type: "plot"
1323   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1324   algorithm: "plot_throughput_speedup_analysis"
1325   output-file-type: ".html"
1326   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-ndrdisc"
1327   data:
1328     "plot-throughput-speedup-analysis"
1329   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1330   parameters:
1331   - "throughput"
1332   - "parent"
1333   - "tags"
1334   layout:
1335     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1336     layout:
1337       "plot-throughput-speedup-analysis"
1338
1339 # L2 - 40ge2p1xl710 - NDR
1340 -
1341   type: "plot"
1342   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1343   algorithm: "plot_throughput_speedup_analysis"
1344   output-file-type: ".html"
1345   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-l2-tsa-ndrdisc"
1346   data:
1347     "plot-throughput-speedup-analysis"
1348   filter: "'NIC_Intel-XL710' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1349   parameters:
1350   - "throughput"
1351   - "parent"
1352   - "tags"
1353   layout:
1354     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1355     layout:
1356       "plot-throughput-speedup-analysis"
1357
1358 # L2 - 10ge2p1x520 - PDR
1359 -
1360   type: "plot"
1361   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1362   algorithm: "plot_throughput_speedup_analysis"
1363   output-file-type: ".html"
1364   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-pdrdisc"
1365   data:
1366     "plot-throughput-speedup-analysis"
1367   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1368   parameters:
1369   - "throughput"
1370   - "parent"
1371   - "tags"
1372   layout:
1373     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1374     layout:
1375       "plot-throughput-speedup-analysis"
1376
1377 # IPv4 - 10ge2p1x520 - NDR
1378 -
1379   type: "plot"
1380   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1381   algorithm: "plot_throughput_speedup_analysis"
1382   output-file-type: ".html"
1383   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-ndrdisc"
1384   data:
1385     "plot-throughput-speedup-analysis"
1386   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1387   parameters:
1388   - "throughput"
1389   - "parent"
1390   - "tags"
1391   layout:
1392     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1393     layout:
1394       "plot-throughput-speedup-analysis"
1395
1396 # IPv4 - 40ge2p1xl710 - NDR
1397 -
1398   type: "plot"
1399   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1400   algorithm: "plot_throughput_speedup_analysis"
1401   output-file-type: ".html"
1402   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-ip4-tsa-ndrdisc"
1403   data:
1404     "plot-throughput-speedup-analysis"
1405   filter: "'NIC_Intel-XL710' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1406   parameters:
1407   - "throughput"
1408   - "parent"
1409   - "tags"
1410   layout:
1411     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1412     layout:
1413       "plot-throughput-speedup-analysis"
1414
1415 # IPv4 - 10ge2p1x520 - PDR
1416 -
1417   type: "plot"
1418   title: "TSA: 64B-*-ethip4-ip4(base|scale)*pdrdisc"
1419   algorithm: "plot_throughput_speedup_analysis"
1420   output-file-type: ".html"
1421   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-pdrdisc"
1422   data:
1423     "plot-throughput-speedup-analysis"
1424   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1425   parameters:
1426   - "throughput"
1427   - "parent"
1428   - "tags"
1429   layout:
1430     title: "64B-*-ethip4-ip4(base|scale)*pdrdisc"
1431     layout:
1432       "plot-throughput-speedup-analysis"
1433
1434 # IPv6 - 10ge2p1x520 - NDR
1435 -
1436   type: "plot"
1437   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1438   algorithm: "plot_throughput_speedup_analysis"
1439   output-file-type: ".html"
1440   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-ndrdisc"
1441   data:
1442     "plot-throughput-speedup-analysis"
1443   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1444   parameters:
1445   - "throughput"
1446   - "parent"
1447   - "tags"
1448   layout:
1449     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1450     layout:
1451       "plot-throughput-speedup-analysis"
1452
1453 # IPv6 - 40ge2p1xl710 - NDR
1454 -
1455   type: "plot"
1456   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1457   algorithm: "plot_throughput_speedup_analysis"
1458   output-file-type: ".html"
1459   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-78B-ip6-tsa-ndrdisc"
1460   data:
1461     "plot-throughput-speedup-analysis"
1462   filter: "'NIC_Intel-XL710' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1463   parameters:
1464   - "throughput"
1465   - "parent"
1466   - "tags"
1467   layout:
1468     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1469     layout:
1470       "plot-throughput-speedup-analysis"
1471
1472 # IPv6 - 10ge2p1x520 - PDR
1473 -
1474   type: "plot"
1475   title: "TSA: 78B-*-ethip6-ip6(base|scale)*pdrdisc"
1476   algorithm: "plot_throughput_speedup_analysis"
1477   output-file-type: ".html"
1478   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-pdrdisc"
1479   data:
1480     "plot-throughput-speedup-analysis"
1481   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST'"
1482   parameters:
1483   - "throughput"
1484   - "parent"
1485   - "tags"
1486   layout:
1487     title: "78B-*-ethip6-ip6(base|scale)*pdrdisc"
1488     layout:
1489       "plot-throughput-speedup-analysis"
1490
1491 # Plot packets per second
1492
1493 # VPP L2 sel1
1494 -
1495   type: "plot"
1496   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1497   algorithm: "plot_performance_box"
1498   output-file-type: ".html"
1499   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc"
1500   data:
1501     "plot-vpp-throughput-latency"
1502   # Keep this formatting, the filter is enclosed with " (quotation mark) and
1503   # each tag is enclosed with ' (apostrophe).
1504   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1505   parameters:
1506   - "throughput"
1507   - "parent"
1508   traces:
1509     hoverinfo: "x+y"
1510     boxpoints: "outliers"
1511     whiskerwidth: 0
1512   layout:
1513     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1514     layout:
1515       "plot-throughput"
1516
1517 -
1518   type: "plot"
1519   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1520   algorithm: "plot_performance_box"
1521   output-file-type: ".html"
1522   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc"
1523   data:
1524     "plot-vpp-throughput-latency"
1525   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1526   parameters:
1527   - "throughput"
1528   - "parent"
1529   traces:
1530     hoverinfo: "x+y"
1531     boxpoints: "outliers"
1532     whiskerwidth: 0
1533   layout:
1534     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1535     layout:
1536       "plot-throughput"
1537
1538 -
1539   type: "plot"
1540   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1541   algorithm: "plot_performance_box"
1542   output-file-type: ".html"
1543   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-pdrdisc"
1544   data:
1545     "plot-vpp-throughput-latency"
1546   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1547   parameters:
1548   - "throughput"
1549   - "parent"
1550   traces:
1551     hoverinfo: "x+y"
1552     boxpoints: "outliers"
1553     whiskerwidth: 0
1554   layout:
1555     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1556     layout:
1557       "plot-throughput"
1558
1559 -
1560   type: "plot"
1561   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1562   algorithm: "plot_performance_box"
1563   output-file-type: ".html"
1564   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-pdrdisc"
1565   data:
1566     "plot-vpp-throughput-latency"
1567   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1568   parameters:
1569   - "throughput"
1570   - "parent"
1571   traces:
1572     hoverinfo: "x+y"
1573     boxpoints: "outliers"
1574     whiskerwidth: 0
1575   layout:
1576     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1577     layout:
1578       "plot-throughput"
1579
1580 # VPP L2 sel2
1581 -
1582   type: "plot"
1583   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1584   algorithm: "plot_performance_box"
1585   output-file-type: ".html"
1586   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc"
1587   data:
1588     "plot-vpp-throughput-latency"
1589   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1590   parameters:
1591   - "throughput"
1592   - "parent"
1593   traces:
1594     hoverinfo: "x+y"
1595     boxpoints: "outliers"
1596     whiskerwidth: 0
1597   layout:
1598     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1599     layout:
1600       "plot-throughput"
1601
1602 -
1603   type: "plot"
1604   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1605   algorithm: "plot_performance_box"
1606   output-file-type: ".html"
1607   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc"
1608   data:
1609     "plot-vpp-throughput-latency"
1610   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1611   parameters:
1612   - "throughput"
1613   - "parent"
1614   traces:
1615     hoverinfo: "x+y"
1616     boxpoints: "outliers"
1617     whiskerwidth: 0
1618   layout:
1619     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1620     layout:
1621       "plot-throughput"
1622
1623 -
1624   type: "plot"
1625   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1626   algorithm: "plot_performance_box"
1627   output-file-type: ".html"
1628   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-pdrdisc"
1629   data:
1630     "plot-vpp-throughput-latency"
1631   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1632   parameters:
1633   - "throughput"
1634   - "parent"
1635   traces:
1636     hoverinfo: "x+y"
1637     boxpoints: "outliers"
1638     whiskerwidth: 0
1639   layout:
1640     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1641     layout:
1642       "plot-throughput"
1643
1644 -
1645   type: "plot"
1646   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1647   algorithm: "plot_performance_box"
1648   output-file-type: ".html"
1649   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-pdrdisc"
1650   data:
1651     "plot-vpp-throughput-latency"
1652   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1653   parameters:
1654   - "throughput"
1655   - "parent"
1656   traces:
1657     hoverinfo: "x+y"
1658     boxpoints: "outliers"
1659     whiskerwidth: 0
1660   layout:
1661     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1662     layout:
1663       "plot-throughput"
1664
1665 # VPP IP4
1666 -
1667   type: "plot"
1668   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1669   algorithm: "plot_performance_box"
1670   output-file-type: ".html"
1671   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc"
1672   data:
1673     "plot-vpp-throughput-latency"
1674   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
1675   parameters:
1676   - "throughput"
1677   - "parent"
1678   traces:
1679     hoverinfo: "x+y"
1680     boxpoints: "outliers"
1681     whiskerwidth: 0
1682   layout:
1683     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1684     layout:
1685       "plot-throughput"
1686
1687 -
1688   type: "plot"
1689   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1690   algorithm: "plot_performance_box"
1691   output-file-type: ".html"
1692   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc"
1693   data:
1694     "plot-vpp-throughput-latency"
1695   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
1696   parameters:
1697   - "throughput"
1698   - "parent"
1699   traces:
1700     hoverinfo: "x+y"
1701     boxpoints: "outliers"
1702     whiskerwidth: 0
1703   layout:
1704     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1705     layout:
1706       "plot-throughput"
1707
1708 -
1709   type: "plot"
1710   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1711   algorithm: "plot_performance_box"
1712   output-file-type: ".html"
1713   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-pdrdisc"
1714   data:
1715     "plot-vpp-throughput-latency"
1716   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
1717   parameters:
1718   - "throughput"
1719   - "parent"
1720   traces:
1721     hoverinfo: "x+y"
1722     boxpoints: "outliers"
1723     whiskerwidth: 0
1724   layout:
1725     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1726     layout:
1727       "plot-throughput"
1728
1729 -
1730   type: "plot"
1731   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1732   algorithm: "plot_performance_box"
1733   output-file-type: ".html"
1734   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-pdrdisc"
1735   data:
1736     "plot-vpp-throughput-latency"
1737   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
1738   parameters:
1739   - "throughput"
1740   - "parent"
1741   traces:
1742     hoverinfo: "x+y"
1743     boxpoints: "outliers"
1744     whiskerwidth: 0
1745   layout:
1746     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1747     layout:
1748       "plot-throughput"
1749
1750 # VPP IP6
1751 -
1752   type: "plot"
1753   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1754   algorithm: "plot_performance_box"
1755   output-file-type: ".html"
1756   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc"
1757   data:
1758     "plot-vpp-throughput-latency"
1759   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1760   parameters:
1761   - "throughput"
1762   - "parent"
1763   traces:
1764     hoverinfo: "x+y"
1765     boxpoints: "outliers"
1766     whiskerwidth: 0
1767   layout:
1768     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1769     layout:
1770       "plot-throughput"
1771
1772 -
1773   type: "plot"
1774   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1775   algorithm: "plot_performance_box"
1776   output-file-type: ".html"
1777   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc"
1778   data:
1779     "plot-vpp-throughput-latency"
1780   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1781   parameters:
1782   - "throughput"
1783   - "parent"
1784   traces:
1785     hoverinfo: "x+y"
1786     boxpoints: "outliers"
1787     whiskerwidth: 0
1788   layout:
1789     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1790     layout:
1791       "plot-throughput"
1792
1793 -
1794   type: "plot"
1795   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1796   algorithm: "plot_performance_box"
1797   output-file-type: ".html"
1798   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-pdrdisc"
1799   data:
1800     "plot-vpp-throughput-latency"
1801   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1802   parameters:
1803   - "throughput"
1804   - "parent"
1805   traces:
1806     hoverinfo: "x+y"
1807     boxpoints: "outliers"
1808     whiskerwidth: 0
1809   layout:
1810     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1811     layout:
1812       "plot-throughput"
1813
1814 -
1815   type: "plot"
1816   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1817   algorithm: "plot_performance_box"
1818   output-file-type: ".html"
1819   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-pdrdisc"
1820   data:
1821     "plot-vpp-throughput-latency"
1822   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1823   parameters:
1824   - "throughput"
1825   - "parent"
1826   traces:
1827     hoverinfo: "x+y"
1828     boxpoints: "outliers"
1829     whiskerwidth: 0
1830   layout:
1831     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1832     layout:
1833       "plot-throughput"
1834
1835 # VPP IP4_overlay
1836 -
1837   type: "plot"
1838   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1839   algorithm: "plot_performance_box"
1840   output-file-type: ".html"
1841   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc"
1842   data:
1843     "plot-vpp-throughput-latency"
1844   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1845   parameters:
1846   - "throughput"
1847   - "parent"
1848   traces:
1849     hoverinfo: "x+y"
1850     boxpoints: "outliers"
1851     whiskerwidth: 0
1852   layout:
1853     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1854     layout:
1855       "plot-throughput"
1856
1857 -
1858   type: "plot"
1859   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1860   algorithm: "plot_performance_box"
1861   output-file-type: ".html"
1862   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc"
1863   data:
1864     "plot-vpp-throughput-latency"
1865   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1866   parameters:
1867   - "throughput"
1868   - "parent"
1869   traces:
1870     hoverinfo: "x+y"
1871     boxpoints: "outliers"
1872     whiskerwidth: 0
1873   layout:
1874     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1875     layout:
1876       "plot-throughput"
1877
1878 -
1879   type: "plot"
1880   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1881   algorithm: "plot_performance_box"
1882   output-file-type: ".html"
1883   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-pdrdisc"
1884   data:
1885     "plot-vpp-throughput-latency"
1886   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1887   parameters:
1888   - "throughput"
1889   - "parent"
1890   traces:
1891     hoverinfo: "x+y"
1892     boxpoints: "outliers"
1893     whiskerwidth: 0
1894   layout:
1895     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1896     layout:
1897       "plot-throughput"
1898
1899 -
1900   type: "plot"
1901   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1902   algorithm: "plot_performance_box"
1903   output-file-type: ".html"
1904   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-pdrdisc"
1905   data:
1906     "plot-vpp-throughput-latency"
1907   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1908   parameters:
1909   - "throughput"
1910   - "parent"
1911   traces:
1912     hoverinfo: "x+y"
1913     boxpoints: "outliers"
1914     whiskerwidth: 0
1915   layout:
1916     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1917     layout:
1918       "plot-throughput"
1919
1920 # VPP IP6_overlay
1921 -
1922   type: "plot"
1923   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1924   algorithm: "plot_performance_box"
1925   output-file-type: ".html"
1926   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc"
1927   data:
1928     "plot-vpp-throughput-latency"
1929   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1930   parameters:
1931   - "throughput"
1932   - "parent"
1933   traces:
1934     hoverinfo: "x+y"
1935     boxpoints: "outliers"
1936     whiskerwidth: 0
1937   layout:
1938     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1939     xaxis:
1940       autorange: True
1941       autotick: False
1942       fixedrange: False
1943       gridcolor: "rgb(238, 238, 238)"
1944       linecolor: "rgb(238, 238, 238)"
1945       linewidth: 1
1946       showgrid: True
1947       showline: True
1948       showticklabels: True
1949       tickcolor: "rgb(238, 238, 238)"
1950       tickmode: "linear"
1951       title: "Indexed Test Cases"
1952       zeroline: False
1953     yaxis:
1954       gridcolor: "rgb(238, 238, 238)'"
1955       hoverformat: ".4s"
1956       linecolor: "rgb(238, 238, 238)"
1957       linewidth: 1
1958       range: [2000000, 6000000]
1959       showgrid: True
1960       showline: True
1961       showticklabels: True
1962       tickcolor: "rgb(238, 238, 238)"
1963       title: "Packets Per Second [pps]"
1964       zeroline: False
1965     boxmode: "group"
1966     boxgroupgap: 0.5
1967     autosize: False
1968     margin:
1969       t: 50
1970       b: 20
1971       l: 50
1972       r: 20
1973     showlegend: True
1974     legend:
1975       orientation: "h"
1976     width: 700
1977     height: 1000
1978
1979 -
1980   type: "plot"
1981   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1982   algorithm: "plot_performance_box"
1983   output-file-type: ".html"
1984   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc"
1985   data:
1986     "plot-vpp-throughput-latency"
1987   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1988   parameters:
1989   - "throughput"
1990   - "parent"
1991   traces:
1992     hoverinfo: "x+y"
1993     boxpoints: "outliers"
1994     whiskerwidth: 0
1995   layout:
1996     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1997     layout:
1998       "plot-throughput"
1999
2000 -
2001   type: "plot"
2002   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2003   algorithm: "plot_performance_box"
2004   output-file-type: ".html"
2005   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-pdrdisc"
2006   data:
2007     "plot-vpp-throughput-latency"
2008   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2009   parameters:
2010   - "throughput"
2011   - "parent"
2012   traces:
2013     hoverinfo: "x+y"
2014     boxpoints: "outliers"
2015     whiskerwidth: 0
2016   layout:
2017     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2018     layout:
2019       "plot-throughput"
2020
2021 -
2022   type: "plot"
2023   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2024   algorithm: "plot_performance_box"
2025   output-file-type: ".html"
2026   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-pdrdisc"
2027   data:
2028     "plot-vpp-throughput-latency"
2029   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2030   parameters:
2031   - "throughput"
2032   - "parent"
2033   traces:
2034     hoverinfo: "x+y"
2035     boxpoints: "outliers"
2036     whiskerwidth: 0
2037   layout:
2038     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2039     xaxis:
2040       autorange: True
2041       autotick: False
2042       fixedrange: False
2043       gridcolor: "rgb(238, 238, 238)"
2044       linecolor: "rgb(238, 238, 238)"
2045       linewidth: 1
2046       showgrid: True
2047       showline: True
2048       showticklabels: True
2049       tickcolor: "rgb(238, 238, 238)"
2050       tickmode: "linear"
2051       title: "Indexed Test Cases"
2052       zeroline: False
2053     yaxis:
2054       gridcolor: "rgb(238, 238, 238)'"
2055       hoverformat: ".4s"
2056       linecolor: "rgb(238, 238, 238)"
2057       linewidth: 1
2058       range: [4000000, 12000000]
2059       showgrid: True
2060       showline: True
2061       showticklabels: True
2062       tickcolor: "rgb(238, 238, 238)"
2063       title: "Packets Per Second [pps]"
2064       zeroline: False
2065     boxmode: "group"
2066     boxgroupgap: 0.5
2067     autosize: False
2068     margin:
2069       t: 50
2070       b: 20
2071       l: 50
2072       r: 20
2073     showlegend: True
2074     legend:
2075       orientation: "h"
2076     width: 700
2077     height: 1000
2078
2079 # VPP VM VHOST
2080 -
2081   type: "plot"
2082   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2083   algorithm: "plot_performance_box"
2084   output-file-type: ".html"
2085   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc"
2086   data:
2087     "plot-vpp-throughput-latency"
2088   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2089   parameters:
2090   - "throughput"
2091   - "parent"
2092   traces:
2093     hoverinfo: "x+y"
2094     boxpoints: "outliers"
2095     whiskerwidth: 0
2096   layout:
2097     title: "64B-1t1c-.*vhost.*-ndrdisc"
2098     xaxis:
2099       autorange: True
2100       autotick: False
2101       fixedrange: False
2102       gridcolor: "rgb(238, 238, 238)"
2103       linecolor: "rgb(238, 238, 238)"
2104       linewidth: 1
2105       showgrid: True
2106       showline: True
2107       showticklabels: True
2108       tickcolor: "rgb(238, 238, 238)"
2109       tickmode: "linear"
2110       title: "Indexed Test Cases"
2111       zeroline: False
2112     yaxis:
2113       gridcolor: "rgb(238, 238, 238)'"
2114       hoverformat: ".4s"
2115       linecolor: "rgb(238, 238, 238)"
2116       linewidth: 1
2117       range: [0, 3500000]
2118       showgrid: True
2119       showline: True
2120       showticklabels: True
2121       tickcolor: "rgb(238, 238, 238)"
2122       title: "Packets Per Second [pps]"
2123       zeroline: False
2124     boxmode: "group"
2125     boxgroupgap: 0.5
2126     autosize: False
2127     margin:
2128       t: 50
2129       b: 20
2130       l: 50
2131       r: 20
2132     showlegend: True
2133     legend:
2134       orientation: "h"
2135     width: 700
2136     height: 1000
2137
2138 -
2139   type: "plot"
2140   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2141   algorithm: "plot_performance_box"
2142   output-file-type: ".html"
2143   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc"
2144   data:
2145     "plot-vpp-throughput-latency"
2146   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2147   parameters:
2148   - "throughput"
2149   - "parent"
2150   traces:
2151     hoverinfo: "x+y"
2152     boxpoints: "outliers"
2153     whiskerwidth: 0
2154   layout:
2155     title: "64B-2t2c-.*vhost.*-ndrdisc"
2156     layout:
2157       "plot-throughput"
2158
2159 -
2160   type: "plot"
2161   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2162   algorithm: "plot_performance_box"
2163   output-file-type: ".html"
2164   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-pdrdisc"
2165   data:
2166     "plot-vpp-throughput-latency"
2167   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2168   parameters:
2169   - "throughput"
2170   - "parent"
2171   traces:
2172     hoverinfo: "x+y"
2173     boxpoints: "outliers"
2174     whiskerwidth: 0
2175   layout:
2176     title: "64B-1t1c-.*vhost.*-pdrdisc"
2177     layout:
2178       "plot-throughput"
2179
2180 -
2181   type: "plot"
2182   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2183   algorithm: "plot_performance_box"
2184   output-file-type: ".html"
2185   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-pdrdisc"
2186   data:
2187     "plot-vpp-throughput-latency"
2188   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2189   parameters:
2190   - "throughput"
2191   - "parent"
2192   traces:
2193     hoverinfo: "x+y"
2194     boxpoints: "outliers"
2195     whiskerwidth: 0
2196   layout:
2197     title: "64B-2t2c-.*vhost.*-pdrdisc"
2198     layout:
2199       "plot-throughput"
2200
2201 # VPP VM VHOST SELECTION
2202 -
2203   type: "plot"
2204   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2205   algorithm: "plot_performance_box"
2206   output-file-type: ".html"
2207   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc"
2208   data:
2209     "plot-vpp-throughput-latency"
2210   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2211   parameters:
2212   - "throughput"
2213   - "parent"
2214   traces:
2215     hoverinfo: "x+y"
2216     boxpoints: "outliers"
2217     whiskerwidth: 0
2218   layout:
2219     title: "64B-1t1c-.*vhost.*-ndrdisc"
2220     layout:
2221       "plot-throughput"
2222
2223 -
2224   type: "plot"
2225   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2226   algorithm: "plot_performance_box"
2227   output-file-type: ".html"
2228   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc"
2229   data:
2230     "plot-vpp-throughput-latency"
2231   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2232   parameters:
2233   - "throughput"
2234   - "parent"
2235   traces:
2236     hoverinfo: "x+y"
2237     boxpoints: "outliers"
2238     whiskerwidth: 0
2239   layout:
2240     title: "64B-2t2c-.*vhost.*-ndrdisc"
2241     layout:
2242       "plot-throughput"
2243
2244 -
2245   type: "plot"
2246   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2247   algorithm: "plot_performance_box"
2248   output-file-type: ".html"
2249   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-pdrdisc"
2250   data:
2251     "plot-vpp-throughput-latency"
2252   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2253   parameters:
2254   - "throughput"
2255   - "parent"
2256   traces:
2257     hoverinfo: "x+y"
2258     boxpoints: "outliers"
2259     whiskerwidth: 0
2260   layout:
2261     title: "64B-1t1c-.*vhost.*-pdrdisc"
2262     layout:
2263       "plot-throughput"
2264
2265 -
2266   type: "plot"
2267   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2268   algorithm: "plot_performance_box"
2269   output-file-type: ".html"
2270   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-pdrdisc"
2271   data:
2272     "plot-vpp-throughput-latency"
2273   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2274   parameters:
2275   - "throughput"
2276   - "parent"
2277   traces:
2278     hoverinfo: "x+y"
2279     boxpoints: "outliers"
2280     whiskerwidth: 0
2281   layout:
2282     title: "64B-2t2c-.*vhost.*-pdrdisc"
2283     layout:
2284       "plot-throughput"
2285
2286 # VPP CRYPTO
2287 -
2288   type: "plot"
2289   title: "VPP Performance 64B-1t1c-.*ipsec.*-ndrdisc"
2290   algorithm: "plot_performance_box"
2291   output-file-type: ".html"
2292   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc"
2293   data:
2294     "plot-vpp-throughput-latency"
2295   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2296   parameters:
2297   - "throughput"
2298   - "parent"
2299   traces:
2300     hoverinfo: "x+y"
2301     boxpoints: "outliers"
2302     whiskerwidth: 0
2303   layout:
2304     title: "64B-1t1c-.*ipsec.*-ndrdisc"
2305     layout:
2306       "plot-throughput"
2307
2308 -
2309   type: "plot"
2310   title: "VPP Performance 64B-2t2c-.*ipsec.*-ndrdisc"
2311   algorithm: "plot_performance_box"
2312   output-file-type: ".html"
2313   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc"
2314   data:
2315     "plot-vpp-throughput-latency"
2316   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2317   parameters:
2318   - "throughput"
2319   - "parent"
2320   traces:
2321     hoverinfo: "x+y"
2322     boxpoints: "outliers"
2323     whiskerwidth: 0
2324   layout:
2325     title: "64B-2t2c-.*ipsec.*-ndrdisc"
2326     layout:
2327       "plot-throughput"
2328
2329 -
2330   type: "plot"
2331   title: "VPP Performance 64B-1t1c-.*ipsec.*-pdrdisc"
2332   algorithm: "plot_performance_box"
2333   output-file-type: ".html"
2334   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-pdrdisc"
2335   data:
2336     "plot-vpp-throughput-latency"
2337   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2338   parameters:
2339   - "throughput"
2340   - "parent"
2341   traces:
2342     hoverinfo: "x+y"
2343     boxpoints: "outliers"
2344     whiskerwidth: 0
2345   layout:
2346     title: "64B-1t1c-.*ipsec.*-pdrdisc"
2347     layout:
2348       "plot-throughput"
2349
2350 -
2351   type: "plot"
2352   title: "VPP Performance 64B-2t2c-.*ipsec.*-pdrdisc"
2353   algorithm: "plot_performance_box"
2354   output-file-type: ".html"
2355   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-pdrdisc"
2356   data:
2357     "plot-vpp-throughput-latency"
2358   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2359   parameters:
2360   - "throughput"
2361   - "parent"
2362   traces:
2363     hoverinfo: "x+y"
2364     boxpoints: "outliers"
2365     whiskerwidth: 0
2366   layout:
2367     title: "64B-2t2c-.*ipsec.*-pdrdisc"
2368     layout:
2369       "plot-throughput"
2370
2371 # DPDK
2372 -
2373   type: "plot"
2374   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2375   algorithm: "plot_performance_box"
2376   output-file-type: ".html"
2377   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc"
2378   data:
2379     "plot-dpdk-throughput-latency"
2380   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2381   parameters:
2382   - "throughput"
2383   - "parent"
2384   traces:
2385     hoverinfo: "x+y"
2386     boxpoints: "outliers"
2387     whiskerwidth: 0
2388   layout:
2389     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2390     layout:
2391       "plot-throughput"
2392
2393 -
2394   type: "plot"
2395   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2396   algorithm: "plot_performance_box"
2397   output-file-type: ".html"
2398   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc"
2399   data:
2400     "plot-dpdk-throughput-latency"
2401   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2402   parameters:
2403   - "throughput"
2404   - "parent"
2405   traces:
2406     hoverinfo: "x+y"
2407     boxpoints: "outliers"
2408     whiskerwidth: 0
2409   layout:
2410     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2411     layout:
2412       "plot-throughput"
2413
2414 -
2415   type: "plot"
2416   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2417   algorithm: "plot_performance_box"
2418   output-file-type: ".html"
2419   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc"
2420   data:
2421     "plot-dpdk-throughput-latency"
2422   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
2423   parameters:
2424   - "throughput"
2425   - "parent"
2426   traces:
2427     hoverinfo: "x+y"
2428     boxpoints: "outliers"
2429     whiskerwidth: 0
2430   layout:
2431     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2432     xaxis:
2433       autorange: True
2434       autotick: False
2435       fixedrange: False
2436       gridcolor: "rgb(238, 238, 238)"
2437       linecolor: "rgb(238, 238, 238)"
2438       linewidth: 1
2439       showgrid: True
2440       showline: True
2441       showticklabels: True
2442       tickcolor: "rgb(238, 238, 238)"
2443       tickmode: "linear"
2444       title: "Indexed Test Cases"
2445       zeroline: False
2446     yaxis:
2447       gridcolor: "rgb(238, 238, 238)'"
2448       hoverformat: ".4s"
2449       linecolor: "rgb(238, 238, 238)"
2450       linewidth: 1
2451       range: [2000000, 12000000]
2452       showgrid: True
2453       showline: True
2454       showticklabels: True
2455       tickcolor: "rgb(238, 238, 238)"
2456       title: "Packets Per Second [pps]"
2457       zeroline: False
2458     boxmode: "group"
2459     boxgroupgap: 0.5
2460     autosize: False
2461     margin:
2462       t: 50
2463       b: 20
2464       l: 50
2465       r: 20
2466     showlegend: True
2467     legend:
2468       orientation: "h"
2469     width: 700
2470     height: 1000
2471
2472 -
2473   type: "plot"
2474   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2475   algorithm: "plot_performance_box"
2476   output-file-type: ".html"
2477   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc"
2478   data:
2479     "plot-dpdk-throughput-latency"
2480   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
2481   parameters:
2482   - "throughput"
2483   - "parent"
2484   traces:
2485     hoverinfo: "x+y"
2486     boxpoints: "outliers"
2487     whiskerwidth: 0
2488   layout:
2489     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2490     xaxis:
2491       autorange: True
2492       autotick: False
2493       fixedrange: False
2494       gridcolor: "rgb(238, 238, 238)"
2495       linecolor: "rgb(238, 238, 238)"
2496       linewidth: 1
2497       showgrid: True
2498       showline: True
2499       showticklabels: True
2500       tickcolor: "rgb(238, 238, 238)"
2501       tickmode: "linear"
2502       title: "Indexed Test Cases"
2503       zeroline: False
2504     yaxis:
2505       gridcolor: "rgb(238, 238, 238)'"
2506       hoverformat: ".4s"
2507       linecolor: "rgb(238, 238, 238)"
2508       linewidth: 1
2509       range: [2000000, 12000000]
2510       showgrid: True
2511       showline: True
2512       showticklabels: True
2513       tickcolor: "rgb(238, 238, 238)"
2514       title: "Packets Per Second [pps]"
2515       zeroline: False
2516     boxmode: "group"
2517     boxgroupgap: 0.5
2518     autosize: False
2519     margin:
2520       t: 50
2521       b: 20
2522       l: 50
2523       r: 20
2524     showlegend: True
2525     legend:
2526       orientation: "h"
2527     width: 700
2528     height: 1000
2529
2530 -
2531   type: "plot"
2532   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2533   algorithm: "plot_performance_box"
2534   output-file-type: ".html"
2535   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-pdrdisc"
2536   data:
2537     "plot-dpdk-throughput-latency"
2538   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2539   parameters:
2540   - "throughput"
2541   - "parent"
2542   traces:
2543     hoverinfo: "x+y"
2544     boxpoints: "outliers"
2545     whiskerwidth: 0
2546   layout:
2547     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2548     layout:
2549       "plot-throughput"
2550
2551 -
2552   type: "plot"
2553   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2554   algorithm: "plot_performance_box"
2555   output-file-type: ".html"
2556   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-pdrdisc"
2557   data:
2558     "plot-dpdk-throughput-latency"
2559   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2560   parameters:
2561   - "throughput"
2562   - "parent"
2563   traces:
2564     hoverinfo: "x+y"
2565     boxpoints: "outliers"
2566     whiskerwidth: 0
2567   layout:
2568     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2569     layout:
2570       "plot-throughput"
2571
2572 -
2573   type: "plot"
2574   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
2575   algorithm: "plot_performance_box"
2576   output-file-type: ".html"
2577   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-pdrdisc"
2578   data:
2579     "plot-dpdk-throughput-latency"
2580   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD'"
2581   parameters:
2582   - "throughput"
2583   - "parent"
2584   traces:
2585     hoverinfo: "x+y"
2586     boxpoints: "outliers"
2587     whiskerwidth: 0
2588   layout:
2589     title: "64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
2590     xaxis:
2591       autorange: True
2592       autotick: False
2593       fixedrange: False
2594       gridcolor: "rgb(238, 238, 238)"
2595       linecolor: "rgb(238, 238, 238)"
2596       linewidth: 1
2597       showgrid: True
2598       showline: True
2599       showticklabels: True
2600       tickcolor: "rgb(238, 238, 238)"
2601       tickmode: "linear"
2602       title: "Indexed Test Cases"
2603       zeroline: False
2604     yaxis:
2605       gridcolor: "rgb(238, 238, 238)'"
2606       hoverformat: ".4s"
2607       linecolor: "rgb(238, 238, 238)"
2608       linewidth: 1
2609       range: [20000000, 30000000]
2610       showgrid: True
2611       showline: True
2612       showticklabels: True
2613       tickcolor: "rgb(238, 238, 238)"
2614       title: "Packets Per Second [pps]"
2615       zeroline: False
2616     boxmode: "group"
2617     boxgroupgap: 0.5
2618     autosize: False
2619     margin:
2620       t: 50
2621       b: 20
2622       l: 50
2623       r: 20
2624     showlegend: True
2625     legend:
2626       orientation: "h"
2627     width: 700
2628     height: 1000
2629
2630 -
2631   type: "plot"
2632   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
2633   algorithm: "plot_performance_box"
2634   output-file-type: ".html"
2635   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-pdrdisc"
2636   data:
2637     "plot-dpdk-throughput-latency"
2638   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD'"
2639   parameters:
2640   - "throughput"
2641   - "parent"
2642   traces:
2643     hoverinfo: "x+y"
2644     boxpoints: "outliers"
2645     whiskerwidth: 0
2646   layout:
2647     title: "64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
2648     xaxis:
2649       autorange: True
2650       autotick: False
2651       fixedrange: False
2652       gridcolor: "rgb(238, 238, 238)"
2653       linecolor: "rgb(238, 238, 238)"
2654       linewidth: 1
2655       showgrid: True
2656       showline: True
2657       showticklabels: True
2658       tickcolor: "rgb(238, 238, 238)"
2659       tickmode: "linear"
2660       title: "Indexed Test Cases"
2661       zeroline: False
2662     yaxis:
2663       gridcolor: "rgb(238, 238, 238)'"
2664       hoverformat: ".4s"
2665       linecolor: "rgb(238, 238, 238)"
2666       linewidth: 1
2667       range: [20000000, 30000000]
2668       showgrid: True
2669       showline: True
2670       showticklabels: True
2671       tickcolor: "rgb(238, 238, 238)"
2672       title: "Packets Per Second [pps]"
2673       zeroline: False
2674     boxmode: "group"
2675     boxgroupgap: 0.5
2676     autosize: False
2677     margin:
2678       t: 50
2679       b: 20
2680       l: 50
2681       r: 20
2682     showlegend: True
2683     legend:
2684       orientation: "h"
2685     width: 700
2686     height: 1000
2687
2688 # Plot latency
2689
2690 # VPP L2 sel1
2691 -
2692   type: "plot"
2693   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2694   algorithm: "plot_latency_box"
2695   output-file-type: ".html"
2696   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc-lat50"
2697   data:
2698     "plot-vpp-throughput-latency"
2699   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2700   parameters:
2701   - "latency"
2702   - "parent"
2703   traces:
2704     boxmean: False
2705   layout:
2706     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2707     layout:
2708       "plot-latency"
2709
2710 -
2711   type: "plot"
2712   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2713   algorithm: "plot_latency_box"
2714   output-file-type: ".html"
2715   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc-lat50"
2716   data:
2717     "plot-vpp-throughput-latency"
2718   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2719   parameters:
2720   - "latency"
2721   - "parent"
2722   traces:
2723     boxmean: False
2724   layout:
2725     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2726     layout:
2727       "plot-latency"
2728
2729 # VPP L2 sel2
2730 -
2731   type: "plot"
2732   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2733   algorithm: "plot_latency_box"
2734   output-file-type: ".html"
2735   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc-lat50"
2736   data:
2737     "plot-vpp-throughput-latency"
2738   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2739   parameters:
2740   - "latency"
2741   - "parent"
2742   traces:
2743     boxmean: False
2744   layout:
2745     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2746     layout:
2747       "plot-latency"
2748
2749 -
2750   type: "plot"
2751   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2752   algorithm: "plot_latency_box"
2753   output-file-type: ".html"
2754   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc-lat50"
2755   data:
2756     "plot-vpp-throughput-latency"
2757   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2758   parameters:
2759   - "latency"
2760   - "parent"
2761   traces:
2762     boxmean: False
2763   layout:
2764     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2765     layout:
2766       "plot-latency"
2767
2768 # VPP IP4
2769 -
2770   type: "plot"
2771   title: "VPP Latency 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2772   algorithm: "plot_latency_box"
2773   output-file-type: ".html"
2774   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc-lat50"
2775   data:
2776     "plot-vpp-throughput-latency"
2777   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
2778   parameters:
2779   - "latency"
2780   - "parent"
2781   traces:
2782     boxmean: False
2783   layout:
2784     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2785     layout:
2786       "plot-latency"
2787
2788 -
2789   type: "plot"
2790   title: "VPP Latency 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2791   algorithm: "plot_latency_box"
2792   output-file-type: ".html"
2793   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc-lat50"
2794   data:
2795     "plot-vpp-throughput-latency"
2796   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
2797   parameters:
2798   - "latency"
2799   - "parent"
2800   traces:
2801     boxmean: False
2802   layout:
2803     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2804     layout:
2805       "plot-latency"
2806
2807 # VPP IP6
2808 -
2809   type: "plot"
2810   title: "VPP Latency 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2811   algorithm: "plot_latency_box"
2812   output-file-type: ".html"
2813   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc-lat50"
2814   data:
2815     "plot-vpp-throughput-latency"
2816   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2817   parameters:
2818   - "latency"
2819   - "parent"
2820   traces:
2821     boxmean: False
2822   layout:
2823     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2824     layout:
2825       "plot-latency"
2826
2827 -
2828   type: "plot"
2829   title: "VPP Latency 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2830   algorithm: "plot_latency_box"
2831   output-file-type: ".html"
2832   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc-lat50"
2833   data:
2834     "plot-vpp-throughput-latency"
2835   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2836   parameters:
2837   - "latency"
2838   - "parent"
2839   traces:
2840     boxmean: False
2841   layout:
2842     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2843     layout:
2844       "plot-latency"
2845
2846 # VPP IP4_overlay
2847 -
2848   type: "plot"
2849   title: "VPP Latency 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2850   algorithm: "plot_latency_box"
2851   output-file-type: ".html"
2852   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc-lat50"
2853   data:
2854     "plot-vpp-throughput-latency"
2855   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2856   parameters:
2857   - "latency"
2858   - "parent"
2859   traces:
2860     boxmean: False
2861   layout:
2862     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2863     layout:
2864       "plot-latency"
2865
2866 -
2867   type: "plot"
2868   title: "VPP Latency 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2869   algorithm: "plot_latency_box"
2870   output-file-type: ".html"
2871   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc-lat50"
2872   data:
2873     "plot-vpp-throughput-latency"
2874   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2875   parameters:
2876   - "latency"
2877   - "parent"
2878   traces:
2879     boxmean: False
2880   layout:
2881     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2882     layout:
2883       "plot-latency"
2884
2885 # VPP IP6_overlay
2886 -
2887   type: "plot"
2888   title: "VPP Latency 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2889   algorithm: "plot_latency_box"
2890   output-file-type: ".html"
2891   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc-lat50"
2892   data:
2893     "plot-vpp-throughput-latency"
2894   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2895   parameters:
2896   - "latency"
2897   - "parent"
2898   traces:
2899     boxmean: False
2900   layout:
2901     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2902     layout:
2903       "plot-latency"
2904
2905 -
2906   type: "plot"
2907   title: "VPP Latency 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2908   algorithm: "plot_latency_box"
2909   output-file-type: ".html"
2910   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc-lat50"
2911   data:
2912     "plot-vpp-throughput-latency"
2913   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2914   parameters:
2915   - "latency"
2916   - "parent"
2917   traces:
2918     boxmean: False
2919   layout:
2920     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2921     layout:
2922       "plot-latency"
2923
2924 # VPP VM VHOST
2925 -
2926   type: "plot"
2927   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
2928   algorithm: "plot_latency_box"
2929   output-file-type: ".html"
2930   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc-lat50"
2931   data:
2932     "plot-vpp-throughput-latency"
2933   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2934   parameters:
2935   - "latency"
2936   - "parent"
2937   traces:
2938     boxmean: False
2939   layout:
2940     title: "64B-1t1c-.*vhost.*-ndrdisc"
2941     layout:
2942       "plot-latency"
2943
2944 -
2945   type: "plot"
2946   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
2947   algorithm: "plot_latency_box"
2948   output-file-type: ".html"
2949   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc-lat50"
2950   data:
2951     "plot-vpp-throughput-latency"
2952   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2953   parameters:
2954   - "latency"
2955   - "parent"
2956   traces:
2957     boxmean: False
2958   layout:
2959     title: "64B-2t2c-.*vhost.*-ndrdisc"
2960     layout:
2961       "plot-latency"
2962
2963 # VPP VM VHOST selection
2964 -
2965   type: "plot"
2966   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
2967   algorithm: "plot_latency_box"
2968   output-file-type: ".html"
2969   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc-lat50"
2970   data:
2971     "plot-vpp-throughput-latency"
2972   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2973   parameters:
2974   - "latency"
2975   - "parent"
2976   traces:
2977     boxmean: False
2978   layout:
2979     title: "64B-1t1c-.*vhost.*-ndrdisc"
2980     layout:
2981       "plot-latency"
2982
2983 -
2984   type: "plot"
2985   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
2986   algorithm: "plot_latency_box"
2987   output-file-type: ".html"
2988   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc-lat50"
2989   data:
2990     "plot-vpp-throughput-latency"
2991   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2992   parameters:
2993   - "latency"
2994   - "parent"
2995   traces:
2996     boxmean: False
2997   layout:
2998     title: "64B-2t2c-.*vhost.*-ndrdisc"
2999     layout:
3000       "plot-latency"
3001
3002 # VPP CRYPTO
3003 -
3004   type: "plot"
3005   title: "VPP Latency 64B-1t1c-.*ipsec.*-ndrdisc"
3006   algorithm: "plot_latency_box"
3007   output-file-type: ".html"
3008   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc-lat50"
3009   data:
3010     "plot-vpp-throughput-latency"
3011   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
3012   parameters:
3013   - "latency"
3014   - "parent"
3015   traces:
3016     boxmean: False
3017   layout:
3018     title: "64B-1t1c-.*ipsec.*-ndrdisc"
3019     layout:
3020       "plot-latency"
3021
3022 -
3023   type: "plot"
3024   title: "VPP Latency 64B-2t2c-.*ipsec.*-ndrdisc"
3025   algorithm: "plot_latency_box"
3026   output-file-type: ".html"
3027   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc-lat50"
3028   data:
3029     "plot-vpp-throughput-latency"
3030   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
3031   parameters:
3032   - "latency"
3033   - "parent"
3034   traces:
3035     boxmean: False
3036   layout:
3037     title: "64B-2t2c-.*ipsec.*-ndrdisc"
3038     layout:
3039       "plot-latency"
3040
3041 # DPDK
3042 -
3043   type: "plot"
3044   title: "DPDK Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3045   algorithm: "plot_latency_box"
3046   output-file-type: ".html"
3047   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc-lat50"
3048   data:
3049     "plot-dpdk-throughput-latency"
3050   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3051   parameters:
3052   - "latency"
3053   - "parent"
3054   traces:
3055     boxmean: False
3056   layout:
3057     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3058     layout:
3059       "plot-latency"
3060
3061 -
3062   type: "plot"
3063   title: "DPDK Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3064   algorithm: "plot_latency_box"
3065   output-file-type: ".html"
3066   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc-lat50"
3067   data:
3068     "plot-dpdk-throughput-latency"
3069   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3070   parameters:
3071   - "latency"
3072   - "parent"
3073   traces:
3074     boxmean: False
3075   layout:
3076     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3077     layout:
3078       "plot-latency"
3079
3080 -
3081   type: "plot"
3082   title: "DPDK Latency 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3083   algorithm: "plot_latency_box"
3084   output-file-type: ".html"
3085   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc-lat50"
3086   data:
3087     "plot-dpdk-throughput-latency"
3088   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
3089   parameters:
3090   - "latency"
3091   - "parent"
3092   traces:
3093     boxmean: False
3094   layout:
3095     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3096     layout:
3097       "plot-latency"
3098
3099 -
3100   type: "plot"
3101   title: "DPDK Latency 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3102   algorithm: "plot_latency_box"
3103   output-file-type: ".html"
3104   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc-lat50"
3105   data:
3106     "plot-dpdk-throughput-latency"
3107   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
3108   parameters:
3109   - "latency"
3110   - "parent"
3111   traces:
3112     boxmean: False
3113   layout:
3114     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3115     layout:
3116       "plot-latency"
3117
3118 # Ligato - Throughput
3119
3120 # Container memif
3121 -
3122   type: "plot"
3123   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3124   algorithm: "plot_performance_box"
3125   output-file-type: ".html"
3126   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc"
3127   data:
3128     "plot-vpp-throughput-latency"
3129   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3130   parameters:
3131   - "throughput"
3132   - "parent"
3133   traces:
3134     hoverinfo: "x+y"
3135     boxpoints: "outliers"
3136     whiskerwidth: 0
3137   layout:
3138     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3139     xaxis:
3140       autorange: True
3141       autotick: False
3142       fixedrange: False
3143       gridcolor: "rgb(238, 238, 238)"
3144       linecolor: "rgb(238, 238, 238)"
3145       linewidth: 1
3146       showgrid: True
3147       showline: True
3148       showticklabels: True
3149       tickcolor: "rgb(238, 238, 238)"
3150       tickmode: "linear"
3151       title: "Indexed Test Cases"
3152       zeroline: False
3153     yaxis:
3154       gridcolor: "rgb(238, 238, 238)'"
3155       hoverformat: ".4s"
3156       linecolor: "rgb(238, 238, 238)"
3157       linewidth: 1
3158       range: [0, 4500000]
3159       showgrid: True
3160       showline: True
3161       showticklabels: True
3162       tickcolor: "rgb(238, 238, 238)"
3163       title: "Packets Per Second [pps]"
3164       zeroline: False
3165     boxmode: "group"
3166     boxgroupgap: 0.5
3167     autosize: False
3168     margin:
3169       t: 50
3170       b: 20
3171       l: 50
3172       r: 20
3173     showlegend: True
3174     legend:
3175       orientation: "h"
3176     width: 700
3177     height: 1000
3178
3179 -
3180   type: "plot"
3181   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3182   algorithm: "plot_performance_box"
3183   output-file-type: ".html"
3184   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc"
3185   data:
3186     "plot-vpp-throughput-latency"
3187   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3188   parameters:
3189   - "throughput"
3190   - "parent"
3191   traces:
3192     hoverinfo: "x+y"
3193     boxpoints: "outliers"
3194     whiskerwidth: 0
3195   layout:
3196     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3197     xaxis:
3198       autorange: True
3199       autotick: False
3200       fixedrange: False
3201       gridcolor: "rgb(238, 238, 238)"
3202       linecolor: "rgb(238, 238, 238)"
3203       linewidth: 1
3204       showgrid: True
3205       showline: True
3206       showticklabels: True
3207       tickcolor: "rgb(238, 238, 238)"
3208       tickmode: "linear"
3209       title: "Indexed Test Cases"
3210       zeroline: False
3211     yaxis:
3212       gridcolor: "rgb(238, 238, 238)'"
3213       hoverformat: ".4s"
3214       linecolor: "rgb(238, 238, 238)"
3215       linewidth: 1
3216       range: [0, 8000000]
3217       showgrid: True
3218       showline: True
3219       showticklabels: True
3220       tickcolor: "rgb(238, 238, 238)"
3221       title: "Packets Per Second [pps]"
3222       zeroline: False
3223     boxmode: "group"
3224     boxgroupgap: 0.5
3225     autosize: False
3226     margin:
3227       t: 50
3228       b: 20
3229       l: 50
3230       r: 20
3231     showlegend: True
3232     legend:
3233       orientation: "h"
3234     width: 700
3235     height: 1000
3236
3237 -
3238   type: "plot"
3239   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3240   algorithm: "plot_performance_box"
3241   output-file-type: ".html"
3242   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-pdrdisc"
3243   data:
3244     "plot-vpp-throughput-latency"
3245   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3246   parameters:
3247   - "throughput"
3248   - "parent"
3249   traces:
3250     hoverinfo: "x+y"
3251     boxpoints: "outliers"
3252     whiskerwidth: 0
3253   layout:
3254     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3255     xaxis:
3256       autorange: True
3257       autotick: False
3258       fixedrange: False
3259       gridcolor: "rgb(238, 238, 238)"
3260       linecolor: "rgb(238, 238, 238)"
3261       linewidth: 1
3262       showgrid: True
3263       showline: True
3264       showticklabels: True
3265       tickcolor: "rgb(238, 238, 238)"
3266       tickmode: "linear"
3267       title: "Indexed Test Cases"
3268       zeroline: False
3269     yaxis:
3270       gridcolor: "rgb(238, 238, 238)'"
3271       hoverformat: ".4s"
3272       linecolor: "rgb(238, 238, 238)"
3273       linewidth: 1
3274       range: [0, 4500000]
3275       showgrid: True
3276       showline: True
3277       showticklabels: True
3278       tickcolor: "rgb(238, 238, 238)"
3279       title: "Packets Per Second [pps]"
3280       zeroline: False
3281     boxmode: "group"
3282     boxgroupgap: 0.5
3283     autosize: False
3284     margin:
3285       t: 50
3286       b: 20
3287       l: 50
3288       r: 20
3289     showlegend: True
3290     legend:
3291       orientation: "h"
3292     width: 700
3293     height: 1000
3294
3295 -
3296   type: "plot"
3297   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3298   algorithm: "plot_performance_box"
3299   output-file-type: ".html"
3300   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-pdrdisc"
3301   data:
3302     "plot-vpp-throughput-latency"
3303   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3304   parameters:
3305   - "throughput"
3306   - "parent"
3307   traces:
3308     hoverinfo: "x+y"
3309     boxpoints: "outliers"
3310     whiskerwidth: 0
3311   layout:
3312     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3313     xaxis:
3314       autorange: True
3315       autotick: False
3316       fixedrange: False
3317       gridcolor: "rgb(238, 238, 238)"
3318       linecolor: "rgb(238, 238, 238)"
3319       linewidth: 1
3320       showgrid: True
3321       showline: True
3322       showticklabels: True
3323       tickcolor: "rgb(238, 238, 238)"
3324       tickmode: "linear"
3325       title: "Indexed Test Cases"
3326       zeroline: False
3327     yaxis:
3328       gridcolor: "rgb(238, 238, 238)'"
3329       hoverformat: ".4s"
3330       linecolor: "rgb(238, 238, 238)"
3331       linewidth: 1
3332       range: [0, 8000000]
3333       showgrid: True
3334       showline: True
3335       showticklabels: True
3336       tickcolor: "rgb(238, 238, 238)"
3337       title: "Packets Per Second [pps]"
3338       zeroline: False
3339     boxmode: "group"
3340     boxgroupgap: 0.5
3341     autosize: False
3342     margin:
3343       t: 50
3344       b: 20
3345       l: 50
3346       r: 20
3347     showlegend: True
3348     legend:
3349       orientation: "h"
3350     width: 700
3351     height: 1000
3352
3353 # Container orchestrated
3354 -
3355   type: "plot"
3356   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3357   algorithm: "plot_performance_box"
3358   output-file-type: ".html"
3359   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc"
3360   data:
3361     "plot-ligato-throughput-latency"
3362   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3363   parameters:
3364   - "throughput"
3365   - "parent"
3366   traces:
3367     hoverinfo: "x+y"
3368     boxpoints: "outliers"
3369     whiskerwidth: 0
3370   layout:
3371     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3372     layout:
3373       "plot-throughput"
3374
3375 -
3376   type: "plot"
3377   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3378   algorithm: "plot_performance_box"
3379   output-file-type: ".html"
3380   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc"
3381   data:
3382     "plot-ligato-throughput-latency"
3383   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3384   parameters:
3385   - "throughput"
3386   - "parent"
3387   traces:
3388     hoverinfo: "x+y"
3389     boxpoints: "outliers"
3390     whiskerwidth: 0
3391   layout:
3392     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3393     layout:
3394       "plot-throughput"
3395
3396 -
3397   type: "plot"
3398   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3399   algorithm: "plot_performance_box"
3400   output-file-type: ".html"
3401   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-pdrdisc"
3402   data:
3403     "plot-ligato-throughput-latency"
3404   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3405   parameters:
3406   - "throughput"
3407   - "parent"
3408   traces:
3409     hoverinfo: "x+y"
3410     boxpoints: "outliers"
3411     whiskerwidth: 0
3412   layout:
3413     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3414     layout:
3415       "plot-throughput"
3416
3417 -
3418   type: "plot"
3419   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3420   algorithm: "plot_performance_box"
3421   output-file-type: ".html"
3422   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-pdrdisc"
3423   data:
3424     "plot-ligato-throughput-latency"
3425   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3426   parameters:
3427   - "throughput"
3428   - "parent"
3429   traces:
3430     hoverinfo: "x+y"
3431     boxpoints: "outliers"
3432     whiskerwidth: 0
3433   layout:
3434     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3435     layout:
3436       "plot-throughput"
3437
3438 # Ligato - Latency
3439
3440 # Container memif
3441 -
3442   type: "plot"
3443   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3444   algorithm: "plot_latency_box"
3445   output-file-type: ".html"
3446   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc-lat50"
3447   data:
3448     "plot-vpp-throughput-latency"
3449   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3450   parameters:
3451   - "latency"
3452   - "parent"
3453   traces:
3454     boxmean: False
3455   layout:
3456     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3457     layout:
3458       "plot-latency"
3459
3460 -
3461   type: "plot"
3462   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3463   algorithm: "plot_latency_box"
3464   output-file-type: ".html"
3465   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc-lat50"
3466   data:
3467     "plot-vpp-throughput-latency"
3468   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3469   parameters:
3470   - "latency"
3471   - "parent"
3472   traces:
3473     boxmean: False
3474   layout:
3475     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3476     layout:
3477       "plot-latency"
3478
3479 # Container orchestrated
3480 -
3481   type: "plot"
3482   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3483   algorithm: "plot_latency_box"
3484   output-file-type: ".html"
3485   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc-lat50"
3486   data:
3487     "plot-ligato-throughput-latency"
3488   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3489   parameters:
3490   - "latency"
3491   - "parent"
3492   traces:
3493     boxmean: False
3494   layout:
3495     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3496     layout:
3497       "plot-latency"
3498
3499 -
3500   type: "plot"
3501   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3502   algorithm: "plot_latency_box"
3503   output-file-type: ".html"
3504   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc-lat50"
3505   data:
3506     "plot-ligato-throughput-latency"
3507   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3508   parameters:
3509   - "latency"
3510   - "parent"
3511   traces:
3512     boxmean: False
3513   layout:
3514     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3515     layout:
3516       "plot-latency"