resources/tools/presentation/specification.yaml

   1 -
   2   type: "environment"
   3   configuration:
   4     # Debug mode:
   5     # - Skip:
   6     #   - Download of input data files
   7     # - Do:
   8     #   - Read data from given zip / xml files
   9     #   - Set the configuration as it is done in normal mode
  10     # If the section "type: debug" is missing, CFG[DEBUG] is set to 0.
  11     CFG[DEBUG]: 0
  12
  13   paths:
  14     # Top level directories:
  15     ## Working directory
  16     DIR[WORKING]: "_tmp"
  17     ## Build directories
  18     DIR[BUILD,HTML]: "_build"
  19     DIR[BUILD,LATEX]: "_build_latex"
  20
  21     # Static .rst files
  22     DIR[RST]: "../../../docs/report"
  23
  24     # Working directories
  25     ## Input data files (.zip, .xml)
  26     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
  27     ## Static source files from git
  28     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
  29     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
  30
  31     # Static html content
  32     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
  33     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
  34     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
  35     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
  36
  37     # Detailed test results
  38     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
  39     DIR[DTR,PERF,DPDK]: "{DIR[DTR]}/dpdk_performance_results"
  40     DIR[DTR,PERF,VPP]: "{DIR[DTR]}/vpp_performance_results"
  41     DIR[DTR,PERF,COT]: "{DIR[DTR]}/cot_performance_results"
  42     DIR[DTR,PERF,HC]: "{DIR[DTR]}/honeycomb_performance_results"
  43     DIR[DTR,FUNC,VPP]: "{DIR[DTR]}/vpp_functional_results"
  44     DIR[DTR,FUNC,HC]: "{DIR[DTR]}/honeycomb_functional_results"
  45     DIR[DTR,FUNC,NSHSFC]: "{DIR[DTR]}/nshsfc_functional_results"
  46     DIR[DTR,PERF,VPP,IMPRV]: "{DIR[WORKING,SRC]}/vpp_performance_tests/performance_improvements"
  47
  48     # Detailed test configurations
  49     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
  50     DIR[DTC,PERF,VPP]: "{DIR[DTC]}/vpp_performance_configuration"
  51     DIR[DTC,FUNC,VPP]: "{DIR[DTC]}/vpp_functional_configuration"
  52
  53     # Detailed tests operational data
  54     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
  55     DIR[DTO,PERF,VPP]: "{DIR[DTO]}/vpp_performance_operational_data"
  56
  57     # .css patch file to fix tables generated by Sphinx
  58     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
  59     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
  60
  61   urls:
  62     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
  63     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
  64     URL[NEXUS]: "https://docs.fd.io/csit"
  65     DIR[NEXUS]: "report/_static/archive"
  66
  67   make-dirs:
  68   # List the directories which are created while preparing the environment.
  69   # All directories MUST be defined in "paths" section.
  70   - "DIR[WORKING,DATA]"
  71   - "DIR[STATIC,VPP]"
  72   - "DIR[STATIC,DPDK]"
  73   - "DIR[STATIC,ARCH]"
  74   - "DIR[BUILD,LATEX]"
  75   - "DIR[WORKING,SRC]"
  76   - "DIR[WORKING,SRC,STATIC]"
  77
  78   remove-dirs:
  79   # List the directories which are deleted while cleaning the environment.
  80   # All directories MUST be defined in "paths" section.
  81   #- "DIR[BUILD,HTML]"
  82
  83   build-dirs:
  84   # List the directories where the results (build) is stored.
  85   # All directories MUST be defined in "paths" section.
  86   - "DIR[BUILD,HTML]"
  87   - "DIR[BUILD,LATEX]"
  88
  89 -
  90   type: "configuration"
  91   data-sets:
  92     plot-vpp-http-server-performance:
  93 # TODO: Add the data sources
  94       csit-vpp-perf-1801-all:
  95       - 157
  96       - 158
  97       - 159
  98       - 160
  99       - 161
 100       - 164
 101       - 165
 102       - 166
 103       - 168
 104       - 169
 105       - 170
 106 # TODO: Add the data sources
 107 #    vpp-meltdown-impact:
 108 #      csit-vpp-perf-1707-all:
 109 #      - 9
 110 #      - 10
 111 #      - 13
 112 #      csit-vpp-perf-1710-all:
 113 #      - 11l
 114 #      - 12
 115 #      - 13
 116 # TODO: Add the data sources
 117 #    vpp-spectre-impact:
 118 #      csit-vpp-perf-1707-all:
 119 #      - 9
 120 #      - 10
 121 #      - 13
 122 #      csit-vpp-perf-1710-all:
 123 #      - 11
 124 #      - 12
 125 #      - 13
 126     vpp-performance-changes:
 127       csit-vpp-perf-1710-all:
 128       - 11
 129       - 12
 130       - 13
 131       - 14
 132       - 15
 133       - 16
 134       - 17
 135       - 18
 136       - 19
 137       - 20
 138       csit-vpp-perf-1801-all:
 139       - 124  # sel
 140       - 127  # sel
 141       - 128  # sel
 142       - 141  # sel
 143       - 142  # sel
 144       - 143  # sel
 145       - 145  # sel
 146       - 146  # sel
 147       - 162  # sel
 148       - 163  # sel
 149       - 167  # sel
 150       - 172  # sel acl only
 151       csit-vpp-perf-1804-all:
 152       - 1   # sel
 153       - 13  # sel
 154       - 14  # sel
 155       - 16  # full
 156       - 17  # sel
 157       - 18  # full
 158     vpp-performance-changes-mrr:
 159       csit-vpp-perf-check-1801:
 160       - 1
 161       - 2
 162       - 3
 163       - 4
 164       - 5
 165       - 6
 166       - 7
 167       - 8
 168       - 9
 169       - 11
 170       - 12
 171       - 13
 172       csit-vpp-perf-check-1804:
 173       - 1   # mrr
 174       - 2   # mrr
 175       - 3   # mrr
 176       - 4   # mrr
 177     plot-throughput-speedup-analysis:
 178       csit-vpp-perf-1804-all:
 179       - 1   # sel
 180       - 13  # sel
 181       - 14  # sel
 182       - 16  # full
 183       - 17  # sel
 184       - 18  # full
 185 #    performance-improvements:
 186 #      csit-vpp-perf-1707-all:
 187 #      - 9
 188 #      - 10
 189 #      - 13
 190 #      - 14
 191 #      - 15
 192 #      - 16
 193 #      - 17
 194 #      - 18
 195 #      - 19
 196 #      - 21
 197 #      csit-vpp-perf-1710-all:
 198 #      - 11
 199 #      - 12
 200 #      - 13
 201 #      - 14
 202 #      - 15
 203 #      - 16
 204 #      - 17
 205 #      - 18
 206 #      - 19
 207 #      - 20
 208 #      csit-vpp-perf-1801-all:
 209 #      - 124
 210 #      - 127
 211 #      - 128
 212 #      csit-ligato-perf-1710-all:
 213 #      - 5
 214 #      - 7
 215 #      - 8
 216 #      - 9
 217 #      - 10
 218 #      - 11
 219 #      - 12
 220 #      - 13
 221 #      - 16
 222 #      - 17
 223 #      csit-ligato-perf-1801-all:
 224 #      - 16  # sel
 225 #      - 17  # sel
 226 #      - 18  # sel
 227 #      - 19  # sel
 228 #      - 20  # sel
 229 #      - 21  # sel
 230 #      - 22  # sel
 231 #      - 23  # sel
 232 #      - 24  # sel
 233     vpp-perf-results:
 234       csit-vpp-perf-1804-all:
 235       - 16  # full
 236       - 18  # full
 237     vpp-func-results:
 238       csit-vpp-functional-1804-ubuntu1604-virl:
 239       - 131
 240     ligato-perf-results:
 241       csit-ligato-perf-1801-all:
 242       - 25  # full
 243     dpdk-perf-results:
 244       csit-dpdk-perf-1804-all:
 245       - 15
 246     hc-func-results:
 247       csit-hc2vpp-verify-func-1804-ubuntu1604:
 248       - "lastSuccessfulBuild"
 249     nsh-func-results:
 250       csit-nsh_sfc-verify-func-1804-ubuntu1604-virl:
 251       - "lastSuccessfulBuild"
 252     plot-vpp-throughput-latency:
 253       csit-vpp-perf-1804-all:
 254       - 1   # sel
 255       - 13  # sel
 256       - 14  # sel
 257       - 16  # full
 258       - 17  # sel
 259       - 18  # full
 260     plot-dpdk-throughput-latency:
 261       csit-dpdk-perf-1804-all:
 262       - 4
 263       - 5
 264       - 6
 265       - 7
 266       - 8
 267       - 9
 268       - 10
 269       - 11
 270       - 12
 271       - 13
 272       - 14
 273       - 15
 274     plot-ligato-throughput-latency:
 275       csit-ligato-perf-1801-all:
 276       - 16  # sel
 277       - 17  # sel
 278       - 18  # sel
 279       - 19  # sel
 280       - 20  # sel
 281       - 21  # sel
 282       - 22  # sel
 283       - 23  # sel
 284       - 24  # sel
 285
 286   plot-layouts:
 287
 288     plot-cps:
 289       xaxis:
 290         autorange: True
 291         autotick: False
 292         fixedrange: False
 293         gridcolor: "rgb(238, 238, 238)"
 294         linecolor: "rgb(238, 238, 238)"
 295         linewidth: 1
 296         showgrid: True
 297         showline: True
 298         showticklabels: True
 299         tickcolor: "rgb(238, 238, 238)"
 300         tickmode: "linear"
 301         title: "Indexed Test Cases"
 302         zeroline: False
 303       yaxis:
 304         gridcolor: "rgb(238, 238, 238)'"
 305         hoverformat: ".4s"
 306         linecolor: "rgb(238, 238, 238)"
 307         linewidth: 1
 308         range: []
 309         rangemode: "tozero"
 310         showgrid: True
 311         showline: True
 312         showticklabels: True
 313         tickcolor: "rgb(238, 238, 238)"
 314         title: "Connections Per Second [cps]"
 315         zeroline: False
 316       boxmode: "group"
 317       boxgroupgap: 0.5
 318       autosize: False
 319       margin:
 320         t: 50
 321         b: 20
 322         l: 50
 323         r: 20
 324       showlegend: True
 325       legend:
 326         orientation: "h"
 327       width: 700
 328       height: 1000
 329
 330     plot-rps:
 331       xaxis:
 332         autorange: True
 333         autotick: False
 334         fixedrange: False
 335         gridcolor: "rgb(238, 238, 238)"
 336         linecolor: "rgb(238, 238, 238)"
 337         linewidth: 1
 338         showgrid: True
 339         showline: True
 340         showticklabels: True
 341         tickcolor: "rgb(238, 238, 238)"
 342         tickmode: "linear"
 343         title: "Indexed Test Cases"
 344         zeroline: False
 345       yaxis:
 346         gridcolor: "rgb(238, 238, 238)'"
 347         hoverformat: ".4s"
 348         linecolor: "rgb(238, 238, 238)"
 349         linewidth: 1
 350         range: []
 351         rangemode: "tozero"
 352         showgrid: True
 353         showline: True
 354         showticklabels: True
 355         tickcolor: "rgb(238, 238, 238)"
 356         title: "Requests Per Second [rps]"
 357         zeroline: False
 358       boxmode: "group"
 359       boxgroupgap: 0.5
 360       autosize: False
 361       margin:
 362         t: 50
 363         b: 20
 364         l: 50
 365         r: 20
 366       showlegend: True
 367       legend:
 368         orientation: "h"
 369       width: 700
 370       height: 1000
 371
 372     plot-throughput:
 373       xaxis:
 374         autorange: True
 375         autotick: False
 376         fixedrange: False
 377         gridcolor: "rgb(238, 238, 238)"
 378         linecolor: "rgb(238, 238, 238)"
 379         linewidth: 1
 380         showgrid: True
 381         showline: True
 382         showticklabels: True
 383         tickcolor: "rgb(238, 238, 238)"
 384         tickmode: "linear"
 385         title: "Indexed Test Cases"
 386         zeroline: False
 387       yaxis:
 388         gridcolor: "rgb(238, 238, 238)'"
 389         hoverformat: ".4s"
 390         linecolor: "rgb(238, 238, 238)"
 391         linewidth: 1
 392         range: []
 393         showgrid: True
 394         showline: True
 395         showticklabels: True
 396         tickcolor: "rgb(238, 238, 238)"
 397         title: "Packets Per Second [pps]"
 398         zeroline: False
 399       boxmode: "group"
 400       boxgroupgap: 0.5
 401       autosize: False
 402       margin:
 403         t: 50
 404         b: 20
 405         l: 50
 406         r: 20
 407       showlegend: True
 408       legend:
 409         orientation: "h"
 410       width: 700
 411       height: 1000
 412
 413     plot-latency:
 414       xaxis:
 415         autorange: True
 416         autotick: False
 417         fixedrange: False
 418         gridcolor: "rgb(238, 238, 238)"
 419         linecolor: "rgb(238, 238, 238)"
 420         linewidth: 1
 421         showgrid: True
 422         showline: True
 423         showticklabels: True
 424         tickcolor: "rgb(238, 238, 238)"
 425         tickmode: "linear"
 426         title: "Indexed Test Cases"
 427         zeroline: False
 428       yaxis:
 429         gridcolor: "rgb(238, 238, 238)'"
 430         hoverformat: ""
 431         linecolor: "rgb(238, 238, 238)"
 432         linewidth: 1
 433         range: []
 434         showgrid: True
 435         showline: True
 436         showticklabels: True
 437         tickcolor: "rgb(238, 238, 238)"
 438         title: "Latency min/avg/max [uSec]"
 439         zeroline: False
 440       boxmode: "group"
 441       boxgroupgap: 0.5
 442       autosize: False
 443       margin:
 444         t: 50
 445         b: 20
 446         l: 50
 447         r: 20
 448       showlegend: True
 449       legend:
 450         orientation: "h"
 451       width: 700
 452       height: 1000
 453
 454     plot-throughput-speedup-analysis:
 455       xaxis:
 456         autorange: True
 457         autotick: False
 458         fixedrange: False
 459         gridcolor: "rgb(238, 238, 238)"
 460         linecolor: "rgb(238, 238, 238)"
 461         linewidth: 1
 462         showgrid: True
 463         showline: True
 464         showticklabels: True
 465         tickcolor: "rgb(238, 238, 238)"
 466         tickmode: "linear"
 467         tickangle: 270
 468         zeroline: False
 469       yaxis:
 470         title: "Throughput speedup factor"
 471         gridcolor: "rgb(238, 238, 238)"
 472         hoverformat: ".4s"
 473         linecolor: "rgb(238, 238, 238)"
 474         linewidth: 1
 475         range: []
 476         showgrid: True
 477         showline: True
 478         showticklabels: True
 479         tickcolor: "rgb(238, 238, 238)"
 480         zeroline: False
 481       legend:
 482         orientation: "h"
 483         xanchor: "center"
 484         yanchor: "top"
 485         x: 0.5
 486         y: 1
 487         bgcolor: "rgba(255, 255, 255, 0)"
 488         bordercolor: "rgba(255, 255, 255, 0)"
 489       barmode: "group"
 490       bargap: 0.15
 491       bargroupgap: 0.1
 492       autosize: False
 493       margin:
 494           't': 50
 495           'b': 200
 496           'l': 50
 497           'r': 20
 498       showlegend: True
 499       width: 700
 500       height: 1000
 501
 502 -
 503   type: "debug"
 504   general:
 505     input-format: "xml"  # zip or xml
 506     extract: "robot-plugin/output.xml"  # Only for zip
 507   builds:
 508     # The files must be in the directory DIR[WORKING,DATA]
 509     csit-vpp-perf-1801-all:
 510     -
 511       build: 1
 512       file: "{DIR[WORKING,DATA]}/output.xml"
 513     -
 514       build: 2
 515       file: "{DIR[WORKING,DATA]}/output.xml"
 516     -
 517       build: 3
 518       file: "{DIR[WORKING,DATA]}/output.xml"
 519     -
 520       build: 4
 521       file: "{DIR[WORKING,DATA]}/output.xml"
 522
 523 -
 524   type: "static"
 525   src-path: "{DIR[RST]}"
 526   dst-path: "{DIR[WORKING,SRC]}"
 527
 528 -
 529   type: "input"  # Ignored in debug mode
 530   general:
 531     file-name: "robot-plugin.zip"
 532     file-format: ".zip"
 533     download-path: "{job}/{build}/robot/report/*zip*/{filename}"
 534     extract: "robot-plugin/output.xml"
 535   builds:
 536 #    csit-vpp-perf-1707-all:
 537 #    - 9
 538 #    - 10
 539 #    - 13
 540 #    - 14
 541 #    - 15
 542 #    - 16
 543 #    - 17
 544 #    - 18
 545 #    - 19
 546 #    - 21
 547     csit-vpp-perf-1710-all:
 548     - 11
 549     - 12
 550     - 13
 551     - 14
 552     - 15
 553     - 16
 554     - 17
 555     - 18
 556     - 19
 557     - 20
 558     csit-vpp-perf-1801-all:
 559     - 122  # full
 560     - 126  # full
 561     - 129  # full
 562     - 140  # full
 563     - 124  # sel
 564     - 127  # sel
 565     - 128  # sel
 566     - 141  # sel
 567     - 142  # sel
 568     - 143  # sel
 569     - 145  # sel
 570     - 146  # sel
 571     - 157  # wrk
 572     - 158  # wrk
 573     - 159  # wrk
 574     - 160  # wrk
 575     - 161  # wrk
 576     - 162  # sel
 577     - 163  # sel
 578     - 164  # wrk
 579     - 165  # wrk
 580     - 166  # wrk
 581     - 167  # sel
 582     - 168  # wrk
 583     - 169  # wrk
 584     - 170  # wrk
 585     - 172  # sel acl only
 586     csit-vpp-perf-1804-all:
 587     - 1   # sel
 588     - 13  # sel
 589     - 14  # sel
 590     - 16  # full
 591     - 17  # sel
 592     - 18  # full
 593     csit-vpp-perf-check-1801:
 594     - 1   # mrr
 595     - 2   # mrr
 596     - 3   # mrr
 597     - 4   # mrr
 598     - 5   # mrr
 599     - 6   # mrr
 600     - 7   # mrr
 601     - 8   # mrr
 602     - 9   # mrr
 603     - 11  # mrr
 604     - 12  # mrr
 605     - 13  # mrr
 606     csit-vpp-perf-check-1804:
 607     - 1   # mrr
 608     - 2   # mrr
 609     - 3   # mrr
 610     - 4   # mrr
 611 #    csit-ligato-perf-1710-all:
 612 #    - 5
 613 #    - 7
 614 #    - 8
 615 #    - 9
 616 #    - 10
 617 #    - 11
 618 #    - 12
 619 #    - 13
 620 #    - 16
 621 #    - 17
 622     csit-ligato-perf-1801-all:
 623     - 16  # sel
 624     - 17  # sel
 625     - 18  # sel
 626     - 19  # sel
 627     - 20  # sel
 628     - 21  # sel
 629     - 22  # sel
 630     - 23  # sel
 631     - 24  # sel
 632     - 25  # full
 633     csit-dpdk-perf-1804-all:
 634     - 4
 635     - 5
 636     - 6
 637     - 7
 638     - 8
 639     - 9
 640     - 10
 641     - 11
 642     - 12
 643     - 13
 644     - 14
 645     - 15
 646     csit-vpp-functional-1804-ubuntu1604-virl:
 647     - 131
 648     csit-nsh_sfc-verify-func-1804-ubuntu1604-virl:
 649     - "lastSuccessfulBuild"
 650     csit-hc2vpp-verify-func-1804-ubuntu1604:
 651     - "lastSuccessfulBuild"
 652
 653 -
 654   type: "output"
 655   output: "report"
 656   format:
 657     html:
 658     - full
 659     pdf:
 660     - minimal
 661
 662 ################################################################################
 663 ###                               T A B L E S                                ###
 664 ################################################################################
 665
 666 #-
 667 #  type: "table"
 668 #  title: "Performance Impact of Meltdown Patches"
 669 #  algorithm: "table_performance_comparison"
 670 #  output-file-ext: ".csv"
 671 ## TODO: specify dir
 672 #  output-file: "{DIR[STATIC,VPP]}/meltdown-impact"
 673 #  reference:
 674 #    title: "No Meltdown"
 675 ## TODO: specify data sources
 676 #    data:
 677 #      csit-vpp-perf-1707-all:
 678 #      - 9
 679 #      - 10
 680 #      - 13
 681 #  compare:
 682 #    title: "Meltdown Patches Applied"
 683 ## TODO: specify data sources
 684 #    data:
 685 #      csit-vpp-perf-1710-all:
 686 #      - 11
 687 #      - 12
 688 #      - 13
 689 #  data:
 690 #    "vpp-meltdown-impact"
 691 #  filter: "all"
 692 #  parameters:
 693 #  - "name"
 694 #  - "parent"
 695 #  - "throughput"
 696 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
 697 #  # to present all tests.
 698 #  nr-of-tests-shown: 20
 699 #
 700 #-
 701 #  type: "table"
 702 #  title: "Performance Impact of Spectre Patches"
 703 #  algorithm: "table_performance_comparison"
 704 #  output-file-ext: ".csv"
 705 ## TODO: specify dir
 706 #  output-file: "{DIR[STATIC,VPP]}/meltdown-spectre-impact"
 707 #  reference:
 708 #    title: "No Spectre"
 709 ## TODO: specify data sources
 710 #    data:
 711 #      csit-vpp-perf-1707-all:
 712 #      - 9
 713 #      - 10
 714 #      - 13
 715 #  compare:
 716 #    title: "Spectre Patches Applied"
 717 ## TODO: specify data sources
 718 #    data:
 719 #      csit-vpp-perf-1710-all:
 720 #      - 11
 721 #      - 12
 722 #      - 13
 723 #  data:
 724 #    "vpp-spectre-impact"
 725 #  filter: "all"
 726 #  parameters:
 727 #  - "name"
 728 #  - "parent"
 729 #  - "throughput"
 730 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
 731 #  # to present all tests.
 732 #  nr-of-tests-shown: 20
 733
 734 -
 735   type: "table"
 736   title: "VPP Performance Changes"
 737   algorithm: "table_performance_comparison"
 738   output-file-ext: ".csv"
 739   output-file: "{DIR[STATIC,VPP]}/performance-changes"
 740   history:
 741     -
 742       title: "rls1710"
 743       data:
 744         csit-vpp-perf-1710-all:
 745         - 11
 746         - 12
 747         - 13
 748         - 14
 749         - 15
 750         - 16
 751         - 17
 752         - 18
 753         - 19
 754         - 20
 755   reference:
 756     title: "rls1801"
 757     data:
 758       csit-vpp-perf-1801-all:
 759       - 124  # sel
 760       - 127  # sel
 761       - 128  # sel
 762       - 141  # sel
 763       - 142  # sel
 764       - 143  # sel
 765       - 145  # sel
 766       - 146  # sel
 767       - 162  # sel
 768       - 163  # sel
 769       - 167  # sel
 770       - 172  # sel acl only
 771   compare:
 772     title: "rls1804"
 773     data:
 774       csit-vpp-perf-1804-all:
 775       - 1
 776   data: "vpp-performance-changes"
 777   filter: "all"
 778   parameters:
 779   - "name"
 780   - "parent"
 781   - "throughput"
 782   # Number of the best and the worst tests presented in the table. Use 0 (zero)
 783   # to present all tests.
 784   nr-of-tests-shown: 20
 785   outlier-const: 1.5
 786
 787 -
 788   type: "table"
 789   title: "VPP Performance Changes - MRR"
 790   algorithm: "table_performance_comparison_mrr"
 791   output-file-ext: ".csv"
 792   output-file: "{DIR[STATIC,VPP]}/performance-changes-mrr"
 793   reference:
 794     title: "Release 1801"
 795     data:
 796       csit-vpp-perf-check-1801:
 797       - 1
 798       - 2
 799       - 3
 800       - 4
 801       - 5
 802       - 6
 803       - 7
 804       - 8
 805       - 9
 806       - 11
 807       - 12
 808       - 13
 809   compare:
 810     title: "Release 1804"
 811     data:
 812       csit-vpp-perf-check-1804:
 813       - 1
 814   data: "vpp-performance-changes-mrr"
 815   filter: "all"
 816   parameters:
 817   - "name"
 818   - "parent"
 819   - "result"
 820   # Number of the best and the worst tests presented in the table. Use 0 (zero)
 821   # to present all tests.
 822   nr-of-tests-shown: 20
 823   outlier-const: 1.5
 824
 825 #-
 826 #  type: "table"
 827 #  title: "Performance improvements"
 828 #  algorithm: "table_performance_improvements"
 829 #  template: "{DIR[DTR,PERF,VPP,IMPRV]}/tmpl_performance_improvements.csv"
 830 #  output-file-ext: ".csv"
 831 #  output-file: "{DIR[DTR,PERF,VPP,IMPRV]}/performance_improvements"
 832 #  columns:
 833 #  -
 834 #    title: "Test Name"
 835 #    data: "template 1"
 836 #  -
 837 #    title: "16.09 mean [Mpps]"
 838 #    data: "template 2"
 839 #  -
 840 #    title: "17.01 mean [Mpps]"
 841 #    data: "template 3"
 842 #  -
 843 #    title: "17.04 mean [Mpps]"
 844 #    data: "template 4"
 845 #  -
 846 #    title: "17.07 mean [Mpps]"
 847 #    data: "data csit-vpp-perf-1707-all mean"
 848 #  -
 849 #    title: "17.10 mean [Mpps]"
 850 #    data: "data csit-vpp-perf-1710-all csit-ligato-perf-1710-all mean"
 851 #  -
 852 #    title: "18.01 mean [Mpps]"
 853 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all mean"
 854 #  -
 855 #    title: "18.01 stdev [Mpps]"
 856 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all stdev"
 857 #  -
 858 #    title: "17.10 to 18.01 change [%]"
 859 #    data: "operation relative_change 5 6"
 860 #  rows: "generated"
 861 #  data:
 862 #    "performance-improvements"
 863 #  filter: "template"
 864 #  parameters:
 865 #  - "throughput"
 866
 867 -
 868   type: "table"
 869   title: "Detailed Test Results - VPP Performance Results"
 870   algorithm: "table_merged_details"
 871   output-file-ext: ".csv"
 872   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
 873   columns:
 874   -
 875     title: "Name"
 876     data: "data name"
 877   -
 878     title: "Documentation"
 879     data: "data doc"
 880   -
 881     title: "Status"
 882     data: "data msg"
 883   rows: "generated"
 884   data:
 885     "vpp-perf-results"
 886   filter: "not 'NDRCHK' and not 'PDRCHK'"
 887   parameters:
 888   - "name"
 889   - "parent"
 890   - "doc"
 891   - "msg"
 892
 893 -
 894   type: "table"
 895   title: "Test configuration - VPP Performance Test Configs"
 896   algorithm: "table_merged_details"
 897   output-file-ext: ".csv"
 898   output-file: "{DIR[DTC,PERF,VPP]}/vpp_test_configuration"
 899   columns:
 900   -
 901     title: "Name"
 902     data: "data name"
 903   -
 904     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
 905     data: "data vat-history"
 906   rows: "generated"
 907   data:
 908     "vpp-perf-results"
 909   filter: "not 'NDRCHK' and not 'PDRCHK'"
 910   parameters:
 911   - "parent"
 912   - "name"
 913   - "vat-history"
 914
 915 -
 916   type: "table"
 917   title: "Test Operational Data - VPP Performance Operational Data"
 918   algorithm: "table_merged_details"
 919   output-file-ext: ".csv"
 920   output-file: "{DIR[DTO,PERF,VPP]}/vpp_test_operational"
 921   columns:
 922   -
 923     title: "Name"
 924     data: "data name"
 925   -
 926     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
 927     data: "data show-run"
 928   rows: "generated"
 929   data:
 930     "vpp-perf-results"
 931   filter: "not 'NDRCHK' and not 'PDRCHK'"
 932   parameters:
 933   - "parent"
 934   - "name"
 935   - "show-run"
 936
 937 -
 938   type: "table"
 939   title: "Detailed Test Results - VPP Functional Results"
 940   algorithm: "table_details"
 941   output-file-ext: ".csv"
 942   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
 943   columns:
 944   -
 945     title: "Name"
 946     data: "data name"
 947   -
 948     title: "Documentation"
 949     data: "data doc"
 950   -
 951     title: "Status"
 952     data: "data status"
 953   rows: "generated"
 954   data:
 955     "vpp-func-results"
 956   filter: "all"
 957   parameters:
 958   - "name"
 959   - "parent"
 960   - "doc"
 961   - "status"
 962
 963 -
 964   type: "table"
 965   title: "Test configuration - VPP Functional Test Configs"
 966   algorithm: "table_details"
 967   output-file-ext: ".csv"
 968   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
 969   columns:
 970   -
 971     title: "Name"
 972     data: "data name"
 973   -
 974     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
 975     data: "data vat-history"
 976   rows: "generated"
 977   data:
 978     "vpp-func-results"
 979   filter: "all"
 980   parameters:
 981   - "parent"
 982   - "name"
 983   - "vat-history"
 984
 985 -
 986   type: "table"
 987   title: "Detailed Test Results - Container Orchestrated Topologies Performance Results"
 988   algorithm: "table_details"
 989   output-file-ext: ".csv"
 990   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
 991   columns:
 992   -
 993     title: "Name"
 994     data: "data name"
 995   -
 996     title: "Documentation"
 997     data: "data doc"
 998   -
 999     title: "Status"
1000     data: "data msg"
1001   rows: "generated"
1002   data:
1003     "ligato-perf-results"
1004   filter: "all"
1005   parameters:
1006   - "name"
1007   - "parent"
1008   - "doc"
1009   - "msg"
1010
1011 -
1012   type: "table"
1013   title: "Detailed Test Results - DPDK Performance Results"
1014   algorithm: "table_details"
1015   output-file-ext: ".csv"
1016   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
1017   columns:
1018   -
1019     title: "Name"
1020     data: "data name"
1021   -
1022     title: "Documentation"
1023     data: "data doc"
1024   -
1025     title: "Status"
1026     data: "data msg"
1027   rows: "generated"
1028   data:
1029     "dpdk-perf-results"
1030   filter: "all"
1031   parameters:
1032   - "name"
1033   - "parent"
1034   - "doc"
1035   - "msg"
1036
1037 -
1038   type: "table"
1039   title: "Detailed Test Results - Honeycomb Functional Results"
1040   algorithm: "table_details"
1041   output-file-ext: ".csv"
1042   output-file: "{DIR[DTR,FUNC,HC]}/hc_functional_results"
1043   columns:
1044   -
1045     title: "Name"
1046     data: "data name"
1047   -
1048     title: "Documentation"
1049     data: "data doc"
1050   -
1051     title: "Status"
1052     data: "data status"
1053   rows: "generated"
1054   data:
1055     "hc-func-results"
1056   filter: "all"
1057   parameters:
1058   - "name"
1059   - "parent"
1060   - "doc"
1061   - "status"
1062
1063 -
1064   type: "table"
1065   title: "Detailed Test Results - NSH SFC Functional Results"
1066   algorithm: "table_details"
1067   output-file-ext: ".csv"
1068   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nsh_sfc_functional_results"
1069   columns:
1070   -
1071     title: "Name"
1072     data: "data name"
1073   -
1074     title: "Documentation"
1075     data: "data doc"
1076   -
1077     title: "Status"
1078     data: "data status"
1079   rows: "generated"
1080   data:
1081     "nsh-func-results"
1082   filter: "all"
1083   parameters:
1084   - "name"
1085   - "parent"
1086   - "doc"
1087   - "status"
1088
1089 ################################################################################
1090 ###                                F I L E S                                 ###
1091 ################################################################################
1092
1093 -
1094   type: "file"
1095   title: "VPP Performance Results"
1096   algorithm: "file_merged_test_results"
1097   output-file-ext: ".rst"
1098   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
1099   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1100   dir-tables: "{DIR[DTR,PERF,VPP]}"
1101   data:
1102     "vpp-perf-results"
1103   filter: "not 'NDRCHK' and not 'PDRCHK'"
1104   parameters:
1105   - "name"
1106   - "doc"
1107   - "level"
1108   - "parent"
1109   data-start-level: 3  # 0, 1, 2, ...
1110   chapters-start-level: 2  # 0, 1, 2, ...
1111
1112 -
1113   type: "file"
1114   title: "VPP Performance Configuration"
1115   algorithm: "file_merged_test_results"
1116   output-file-ext: ".rst"
1117   output-file: "{DIR[DTC,PERF,VPP]}/vpp_performance_configuration"
1118   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1119   dir-tables: "{DIR[DTC,PERF,VPP]}"
1120   data:
1121     "vpp-perf-results"
1122   filter: "not 'NDRCHK' and not 'PDRCHK'"
1123   parameters:
1124   - "name"
1125   - "doc"
1126   - "level"
1127   - "parent"
1128   data-start-level: 3  # 0, 1, 2, ...
1129   chapters-start-level: 2  # 0, 1, 2, ...
1130
1131 -
1132   type: "file"
1133   title: "VPP Performance Operational Data"
1134   algorithm: "file_merged_test_results"
1135   output-file-ext: ".rst"
1136   output-file: "{DIR[DTO,PERF,VPP]}/vpp_performance_operational_data"
1137   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1138   dir-tables: "{DIR[DTO,PERF,VPP]}"
1139   data:
1140     "vpp-perf-results"
1141   filter: "not 'NDRCHK' and not 'PDRCHK'"
1142   parameters:
1143   - "name"
1144   - "doc"
1145   - "level"
1146   - "parent"
1147   data-start-level: 3  # 0, 1, 2, ...
1148   chapters-start-level: 2  # 0, 1, 2, ...
1149
1150 -
1151   type: "file"
1152   title: "VPP Functional Results"
1153   algorithm: "file_test_results"
1154   output-file-ext: ".rst"
1155   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
1156   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1157   dir-tables: "{DIR[DTR,FUNC,VPP]}"
1158   data:
1159     "vpp-func-results"
1160   filter: "all"
1161   parameters:
1162   - "name"
1163   - "doc"
1164   - "level"
1165   data-start-level: 3  # 0, 1, 2, ...
1166   chapters-start-level: 2  # 0, 1, 2, ...
1167
1168 -
1169   type: "file"
1170   title: "VPP Functional Configuration"
1171   algorithm: "file_test_results"
1172   output-file-ext: ".rst"
1173   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
1174   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1175   dir-tables: "{DIR[DTC,FUNC,VPP]}"
1176   data:
1177     "vpp-func-results"
1178   filter: "all"
1179   parameters:
1180   - "name"
1181   - "doc"
1182   - "level"
1183   data-start-level: 3  # 0, 1, 2, ...
1184   chapters-start-level: 2  # 0, 1, 2, ...
1185
1186 -
1187   type: "file"
1188   title: "Container Orchestrated Performance Results"
1189   algorithm: "file_test_results"
1190   output-file-ext: ".rst"
1191   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
1192   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1193   dir-tables: "{DIR[DTR,PERF,COT]}"
1194   data:
1195     "ligato-perf-results"
1196   filter: "all"
1197   parameters:
1198   - "name"
1199   - "doc"
1200   - "level"
1201   data-start-level: 2  # 0, 1, 2, ...
1202   chapters-start-level: 2  # 0, 1, 2, ...
1203
1204 -
1205   type: "file"
1206   title: "DPDK Performance Results"
1207   algorithm: "file_test_results"
1208   output-file-ext: ".rst"
1209   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
1210   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1211   dir-tables: "{DIR[DTR,PERF,DPDK]}"
1212   data:
1213     "dpdk-perf-results"
1214   filter: "all"
1215   parameters:
1216   - "name"
1217   - "doc"
1218   - "level"
1219   chapters:
1220   - "suites"
1221   data-start-level: 2  # 0, 1, 2, ...
1222   chapters-start-level: 2  # 0, 1, 2, ...
1223
1224 -
1225   type: "file"
1226   title: "Honeycomb Functional Results"
1227   algorithm: "file_test_results"
1228   output-file-ext: ".rst"
1229   output-file: "{DIR[DTR,FUNC,HC]}/honeycomb_functional_results"
1230   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1231   dir-tables: "{DIR[DTR,FUNC,HC]}"
1232   data:
1233     "hc-func-results"
1234   filter: "all"
1235   parameters:
1236   - "name"
1237   - "doc"
1238   - "level"
1239   chapters:
1240   - "suites"
1241   data-start-level: 3  # 0, 1, 2, ...
1242   chapters-start-level: 2  # 0, 1, 2, ...
1243
1244 -
1245   type: "file"
1246   title: "NSH SFC Functional Results"
1247   algorithm: "file_test_results"
1248   output-file-ext: ".rst"
1249   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nshsfc_functional_results"
1250   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1251   dir-tables: "{DIR[DTR,FUNC,NSHSFC]}"
1252   data:
1253     "nsh-func-results"
1254   filter: "all"
1255   parameters:
1256   - "name"
1257   - "doc"
1258   - "level"
1259   chapters:
1260   - "suites"
1261   data-start-level: 2  # 0, 1, 2, ...
1262   chapters-start-level: 2  # 0, 1, 2, ...
1263
1264 ################################################################################
1265 ###                                P L O T S                                 ###
1266 ################################################################################
1267
1268 # Plots VPP HTTP Server Performance
1269 -
1270   type: "plot"
1271   title: "VPP HTTP Server Performance"
1272   algorithm: "plot_http_server_performance_box"
1273   output-file-type: ".html"
1274   output-file: "{DIR[STATIC,VPP]}/http-server-performance-cps"
1275   data:
1276     "plot-vpp-http-server-performance"
1277   # Keep this formatting, the filter is enclosed with " (quotation mark) and
1278   # each tag is enclosed with ' (apostrophe).
1279   filter: "'HTTP' and 'TCP_CPS'"
1280   parameters:
1281   - "result"
1282   - "name"
1283   traces:
1284     hoverinfo: "x+y"
1285     boxpoints: "outliers"
1286     whiskerwidth: 0
1287   layout:
1288     title: "VPP HTTP Server Performance"
1289     layout:
1290       "plot-cps"
1291
1292 -
1293   type: "plot"
1294   title: "VPP HTTP Server Performance"
1295   algorithm: "plot_http_server_performance_box"
1296   output-file-type: ".html"
1297   output-file: "{DIR[STATIC,VPP]}/http-server-performance-rps"
1298   data:
1299     "plot-vpp-http-server-performance"
1300   filter: "'HTTP' and 'TCP_RPS'"
1301   parameters:
1302   - "result"
1303   - "name"
1304   traces:
1305     hoverinfo: "x+y"
1306     boxpoints: "outliers"
1307     whiskerwidth: 0
1308   layout:
1309     title: "VPP HTTP Server Performance"
1310     layout:
1311       "plot-rps"
1312
1313 # Plot Throughput Speedup Analysis
1314
1315 # L2 - 10ge2p1x520 - NDR
1316 -
1317   type: "plot"
1318   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1319   algorithm: "plot_throughput_speedup_analysis"
1320   output-file-type: ".html"
1321   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-ndrdisc"
1322   data:
1323     "plot-throughput-speedup-analysis"
1324   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1325   parameters:
1326   - "throughput"
1327   - "parent"
1328   - "tags"
1329   layout:
1330     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1331     layout:
1332       "plot-throughput-speedup-analysis"
1333
1334 # L2 - 40ge2p1xl710 - NDR
1335 -
1336   type: "plot"
1337   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1338   algorithm: "plot_throughput_speedup_analysis"
1339   output-file-type: ".html"
1340   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-l2-tsa-ndrdisc"
1341   data:
1342     "plot-throughput-speedup-analysis"
1343   filter: "'NIC_Intel-XL710' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1344   parameters:
1345   - "throughput"
1346   - "parent"
1347   - "tags"
1348   layout:
1349     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1350     layout:
1351       "plot-throughput-speedup-analysis"
1352
1353 # L2 - 10ge2p1x520 - PDR
1354 -
1355   type: "plot"
1356   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1357   algorithm: "plot_throughput_speedup_analysis"
1358   output-file-type: ".html"
1359   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-pdrdisc"
1360   data:
1361     "plot-throughput-speedup-analysis"
1362   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1363   parameters:
1364   - "throughput"
1365   - "parent"
1366   - "tags"
1367   layout:
1368     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1369     layout:
1370       "plot-throughput-speedup-analysis"
1371
1372 # IPv4 - 10ge2p1x520 - NDR
1373 -
1374   type: "plot"
1375   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1376   algorithm: "plot_throughput_speedup_analysis"
1377   output-file-type: ".html"
1378   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-ndrdisc"
1379   data:
1380     "plot-throughput-speedup-analysis"
1381   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1382   parameters:
1383   - "throughput"
1384   - "parent"
1385   - "tags"
1386   layout:
1387     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1388     layout:
1389       "plot-throughput-speedup-analysis"
1390
1391 # IPv4 - 40ge2p1xl710 - NDR
1392 -
1393   type: "plot"
1394   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1395   algorithm: "plot_throughput_speedup_analysis"
1396   output-file-type: ".html"
1397   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-ip4-tsa-ndrdisc"
1398   data:
1399     "plot-throughput-speedup-analysis"
1400   filter: "'NIC_Intel-XL710' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1401   parameters:
1402   - "throughput"
1403   - "parent"
1404   - "tags"
1405   layout:
1406     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1407     layout:
1408       "plot-throughput-speedup-analysis"
1409
1410 # IPv4 - 10ge2p1x520 - PDR
1411 -
1412   type: "plot"
1413   title: "TSA: 64B-*-ethip4-ip4(base|scale)*pdrdisc"
1414   algorithm: "plot_throughput_speedup_analysis"
1415   output-file-type: ".html"
1416   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-pdrdisc"
1417   data:
1418     "plot-throughput-speedup-analysis"
1419   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1420   parameters:
1421   - "throughput"
1422   - "parent"
1423   - "tags"
1424   layout:
1425     title: "64B-*-ethip4-ip4(base|scale)*pdrdisc"
1426     layout:
1427       "plot-throughput-speedup-analysis"
1428
1429 # IPv6 - 10ge2p1x520 - NDR
1430 -
1431   type: "plot"
1432   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1433   algorithm: "plot_throughput_speedup_analysis"
1434   output-file-type: ".html"
1435   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-ndrdisc"
1436   data:
1437     "plot-throughput-speedup-analysis"
1438   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1439   parameters:
1440   - "throughput"
1441   - "parent"
1442   - "tags"
1443   layout:
1444     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1445     layout:
1446       "plot-throughput-speedup-analysis"
1447
1448 # IPv6 - 40ge2p1xl710 - NDR
1449 -
1450   type: "plot"
1451   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1452   algorithm: "plot_throughput_speedup_analysis"
1453   output-file-type: ".html"
1454   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-78B-ip6-tsa-ndrdisc"
1455   data:
1456     "plot-throughput-speedup-analysis"
1457   filter: "'NIC_Intel-XL710' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1458   parameters:
1459   - "throughput"
1460   - "parent"
1461   - "tags"
1462   layout:
1463     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1464     layout:
1465       "plot-throughput-speedup-analysis"
1466
1467 # IPv6 - 10ge2p1x520 - PDR
1468 -
1469   type: "plot"
1470   title: "TSA: 78B-*-ethip6-ip6(base|scale)*pdrdisc"
1471   algorithm: "plot_throughput_speedup_analysis"
1472   output-file-type: ".html"
1473   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-pdrdisc"
1474   data:
1475     "plot-throughput-speedup-analysis"
1476   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST'"
1477   parameters:
1478   - "throughput"
1479   - "parent"
1480   - "tags"
1481   layout:
1482     title: "78B-*-ethip6-ip6(base|scale)*pdrdisc"
1483     layout:
1484       "plot-throughput-speedup-analysis"
1485
1486 # Plot packets per second
1487
1488 # VPP L2 sel1
1489 -
1490   type: "plot"
1491   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1492   algorithm: "plot_performance_box"
1493   output-file-type: ".html"
1494   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc"
1495   data:
1496     "plot-vpp-throughput-latency"
1497   # Keep this formatting, the filter is enclosed with " (quotation mark) and
1498   # each tag is enclosed with ' (apostrophe).
1499   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1500   parameters:
1501   - "throughput"
1502   - "parent"
1503   traces:
1504     hoverinfo: "x+y"
1505     boxpoints: "outliers"
1506     whiskerwidth: 0
1507   layout:
1508     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1509     layout:
1510       "plot-throughput"
1511
1512 -
1513   type: "plot"
1514   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1515   algorithm: "plot_performance_box"
1516   output-file-type: ".html"
1517   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc"
1518   data:
1519     "plot-vpp-throughput-latency"
1520   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1521   parameters:
1522   - "throughput"
1523   - "parent"
1524   traces:
1525     hoverinfo: "x+y"
1526     boxpoints: "outliers"
1527     whiskerwidth: 0
1528   layout:
1529     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1530     layout:
1531       "plot-throughput"
1532
1533 -
1534   type: "plot"
1535   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1536   algorithm: "plot_performance_box"
1537   output-file-type: ".html"
1538   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-pdrdisc"
1539   data:
1540     "plot-vpp-throughput-latency"
1541   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1542   parameters:
1543   - "throughput"
1544   - "parent"
1545   traces:
1546     hoverinfo: "x+y"
1547     boxpoints: "outliers"
1548     whiskerwidth: 0
1549   layout:
1550     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1551     layout:
1552       "plot-throughput"
1553
1554 -
1555   type: "plot"
1556   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1557   algorithm: "plot_performance_box"
1558   output-file-type: ".html"
1559   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-pdrdisc"
1560   data:
1561     "plot-vpp-throughput-latency"
1562   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1563   parameters:
1564   - "throughput"
1565   - "parent"
1566   traces:
1567     hoverinfo: "x+y"
1568     boxpoints: "outliers"
1569     whiskerwidth: 0
1570   layout:
1571     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1572     layout:
1573       "plot-throughput"
1574
1575 # VPP L2 sel2
1576 -
1577   type: "plot"
1578   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1579   algorithm: "plot_performance_box"
1580   output-file-type: ".html"
1581   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc"
1582   data:
1583     "plot-vpp-throughput-latency"
1584   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1585   parameters:
1586   - "throughput"
1587   - "parent"
1588   traces:
1589     hoverinfo: "x+y"
1590     boxpoints: "outliers"
1591     whiskerwidth: 0
1592   layout:
1593     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1594     layout:
1595       "plot-throughput"
1596
1597 -
1598   type: "plot"
1599   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1600   algorithm: "plot_performance_box"
1601   output-file-type: ".html"
1602   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc"
1603   data:
1604     "plot-vpp-throughput-latency"
1605   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1606   parameters:
1607   - "throughput"
1608   - "parent"
1609   traces:
1610     hoverinfo: "x+y"
1611     boxpoints: "outliers"
1612     whiskerwidth: 0
1613   layout:
1614     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1615     layout:
1616       "plot-throughput"
1617
1618 -
1619   type: "plot"
1620   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1621   algorithm: "plot_performance_box"
1622   output-file-type: ".html"
1623   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-pdrdisc"
1624   data:
1625     "plot-vpp-throughput-latency"
1626   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1627   parameters:
1628   - "throughput"
1629   - "parent"
1630   traces:
1631     hoverinfo: "x+y"
1632     boxpoints: "outliers"
1633     whiskerwidth: 0
1634   layout:
1635     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1636     layout:
1637       "plot-throughput"
1638
1639 -
1640   type: "plot"
1641   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1642   algorithm: "plot_performance_box"
1643   output-file-type: ".html"
1644   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-pdrdisc"
1645   data:
1646     "plot-vpp-throughput-latency"
1647   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1648   parameters:
1649   - "throughput"
1650   - "parent"
1651   traces:
1652     hoverinfo: "x+y"
1653     boxpoints: "outliers"
1654     whiskerwidth: 0
1655   layout:
1656     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1657     layout:
1658       "plot-throughput"
1659
1660 # VPP IP4
1661 -
1662   type: "plot"
1663   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1664   algorithm: "plot_performance_box"
1665   output-file-type: ".html"
1666   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc"
1667   data:
1668     "plot-vpp-throughput-latency"
1669   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
1670   parameters:
1671   - "throughput"
1672   - "parent"
1673   traces:
1674     hoverinfo: "x+y"
1675     boxpoints: "outliers"
1676     whiskerwidth: 0
1677   layout:
1678     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1679     layout:
1680       "plot-throughput"
1681
1682 -
1683   type: "plot"
1684   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1685   algorithm: "plot_performance_box"
1686   output-file-type: ".html"
1687   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc"
1688   data:
1689     "plot-vpp-throughput-latency"
1690   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
1691   parameters:
1692   - "throughput"
1693   - "parent"
1694   traces:
1695     hoverinfo: "x+y"
1696     boxpoints: "outliers"
1697     whiskerwidth: 0
1698   layout:
1699     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1700     layout:
1701       "plot-throughput"
1702
1703 -
1704   type: "plot"
1705   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1706   algorithm: "plot_performance_box"
1707   output-file-type: ".html"
1708   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-pdrdisc"
1709   data:
1710     "plot-vpp-throughput-latency"
1711   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
1712   parameters:
1713   - "throughput"
1714   - "parent"
1715   traces:
1716     hoverinfo: "x+y"
1717     boxpoints: "outliers"
1718     whiskerwidth: 0
1719   layout:
1720     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1721     layout:
1722       "plot-throughput"
1723
1724 -
1725   type: "plot"
1726   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1727   algorithm: "plot_performance_box"
1728   output-file-type: ".html"
1729   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-pdrdisc"
1730   data:
1731     "plot-vpp-throughput-latency"
1732   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
1733   parameters:
1734   - "throughput"
1735   - "parent"
1736   traces:
1737     hoverinfo: "x+y"
1738     boxpoints: "outliers"
1739     whiskerwidth: 0
1740   layout:
1741     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1742     layout:
1743       "plot-throughput"
1744
1745 # VPP IP6
1746 -
1747   type: "plot"
1748   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1749   algorithm: "plot_performance_box"
1750   output-file-type: ".html"
1751   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc"
1752   data:
1753     "plot-vpp-throughput-latency"
1754   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1755   parameters:
1756   - "throughput"
1757   - "parent"
1758   traces:
1759     hoverinfo: "x+y"
1760     boxpoints: "outliers"
1761     whiskerwidth: 0
1762   layout:
1763     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1764     layout:
1765       "plot-throughput"
1766
1767 -
1768   type: "plot"
1769   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1770   algorithm: "plot_performance_box"
1771   output-file-type: ".html"
1772   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc"
1773   data:
1774     "plot-vpp-throughput-latency"
1775   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1776   parameters:
1777   - "throughput"
1778   - "parent"
1779   traces:
1780     hoverinfo: "x+y"
1781     boxpoints: "outliers"
1782     whiskerwidth: 0
1783   layout:
1784     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1785     layout:
1786       "plot-throughput"
1787
1788 -
1789   type: "plot"
1790   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1791   algorithm: "plot_performance_box"
1792   output-file-type: ".html"
1793   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-pdrdisc"
1794   data:
1795     "plot-vpp-throughput-latency"
1796   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1797   parameters:
1798   - "throughput"
1799   - "parent"
1800   traces:
1801     hoverinfo: "x+y"
1802     boxpoints: "outliers"
1803     whiskerwidth: 0
1804   layout:
1805     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1806     layout:
1807       "plot-throughput"
1808
1809 -
1810   type: "plot"
1811   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1812   algorithm: "plot_performance_box"
1813   output-file-type: ".html"
1814   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-pdrdisc"
1815   data:
1816     "plot-vpp-throughput-latency"
1817   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1818   parameters:
1819   - "throughput"
1820   - "parent"
1821   traces:
1822     hoverinfo: "x+y"
1823     boxpoints: "outliers"
1824     whiskerwidth: 0
1825   layout:
1826     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1827     layout:
1828       "plot-throughput"
1829
1830 # VPP IP4_overlay
1831 -
1832   type: "plot"
1833   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1834   algorithm: "plot_performance_box"
1835   output-file-type: ".html"
1836   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc"
1837   data:
1838     "plot-vpp-throughput-latency"
1839   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1840   parameters:
1841   - "throughput"
1842   - "parent"
1843   traces:
1844     hoverinfo: "x+y"
1845     boxpoints: "outliers"
1846     whiskerwidth: 0
1847   layout:
1848     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1849     layout:
1850       "plot-throughput"
1851
1852 -
1853   type: "plot"
1854   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1855   algorithm: "plot_performance_box"
1856   output-file-type: ".html"
1857   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc"
1858   data:
1859     "plot-vpp-throughput-latency"
1860   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1861   parameters:
1862   - "throughput"
1863   - "parent"
1864   traces:
1865     hoverinfo: "x+y"
1866     boxpoints: "outliers"
1867     whiskerwidth: 0
1868   layout:
1869     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1870     layout:
1871       "plot-throughput"
1872
1873 -
1874   type: "plot"
1875   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1876   algorithm: "plot_performance_box"
1877   output-file-type: ".html"
1878   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-pdrdisc"
1879   data:
1880     "plot-vpp-throughput-latency"
1881   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1882   parameters:
1883   - "throughput"
1884   - "parent"
1885   traces:
1886     hoverinfo: "x+y"
1887     boxpoints: "outliers"
1888     whiskerwidth: 0
1889   layout:
1890     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1891     layout:
1892       "plot-throughput"
1893
1894 -
1895   type: "plot"
1896   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1897   algorithm: "plot_performance_box"
1898   output-file-type: ".html"
1899   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-pdrdisc"
1900   data:
1901     "plot-vpp-throughput-latency"
1902   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1903   parameters:
1904   - "throughput"
1905   - "parent"
1906   traces:
1907     hoverinfo: "x+y"
1908     boxpoints: "outliers"
1909     whiskerwidth: 0
1910   layout:
1911     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1912     layout:
1913       "plot-throughput"
1914
1915 # VPP IP6_overlay
1916 -
1917   type: "plot"
1918   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1919   algorithm: "plot_performance_box"
1920   output-file-type: ".html"
1921   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc"
1922   data:
1923     "plot-vpp-throughput-latency"
1924   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1925   parameters:
1926   - "throughput"
1927   - "parent"
1928   traces:
1929     hoverinfo: "x+y"
1930     boxpoints: "outliers"
1931     whiskerwidth: 0
1932   layout:
1933     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1934     xaxis:
1935       autorange: True
1936       autotick: False
1937       fixedrange: False
1938       gridcolor: "rgb(238, 238, 238)"
1939       linecolor: "rgb(238, 238, 238)"
1940       linewidth: 1
1941       showgrid: True
1942       showline: True
1943       showticklabels: True
1944       tickcolor: "rgb(238, 238, 238)"
1945       tickmode: "linear"
1946       title: "Indexed Test Cases"
1947       zeroline: False
1948     yaxis:
1949       gridcolor: "rgb(238, 238, 238)'"
1950       hoverformat: ".4s"
1951       linecolor: "rgb(238, 238, 238)"
1952       linewidth: 1
1953       range: [2000000, 6000000]
1954       showgrid: True
1955       showline: True
1956       showticklabels: True
1957       tickcolor: "rgb(238, 238, 238)"
1958       title: "Packets Per Second [pps]"
1959       zeroline: False
1960     boxmode: "group"
1961     boxgroupgap: 0.5
1962     autosize: False
1963     margin:
1964       t: 50
1965       b: 20
1966       l: 50
1967       r: 20
1968     showlegend: True
1969     legend:
1970       orientation: "h"
1971     width: 700
1972     height: 1000
1973
1974 -
1975   type: "plot"
1976   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1977   algorithm: "plot_performance_box"
1978   output-file-type: ".html"
1979   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc"
1980   data:
1981     "plot-vpp-throughput-latency"
1982   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1983   parameters:
1984   - "throughput"
1985   - "parent"
1986   traces:
1987     hoverinfo: "x+y"
1988     boxpoints: "outliers"
1989     whiskerwidth: 0
1990   layout:
1991     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1992     layout:
1993       "plot-throughput"
1994
1995 -
1996   type: "plot"
1997   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1998   algorithm: "plot_performance_box"
1999   output-file-type: ".html"
2000   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-pdrdisc"
2001   data:
2002     "plot-vpp-throughput-latency"
2003   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2004   parameters:
2005   - "throughput"
2006   - "parent"
2007   traces:
2008     hoverinfo: "x+y"
2009     boxpoints: "outliers"
2010     whiskerwidth: 0
2011   layout:
2012     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2013     layout:
2014       "plot-throughput"
2015
2016 -
2017   type: "plot"
2018   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2019   algorithm: "plot_performance_box"
2020   output-file-type: ".html"
2021   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-pdrdisc"
2022   data:
2023     "plot-vpp-throughput-latency"
2024   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2025   parameters:
2026   - "throughput"
2027   - "parent"
2028   traces:
2029     hoverinfo: "x+y"
2030     boxpoints: "outliers"
2031     whiskerwidth: 0
2032   layout:
2033     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2034     xaxis:
2035       autorange: True
2036       autotick: False
2037       fixedrange: False
2038       gridcolor: "rgb(238, 238, 238)"
2039       linecolor: "rgb(238, 238, 238)"
2040       linewidth: 1
2041       showgrid: True
2042       showline: True
2043       showticklabels: True
2044       tickcolor: "rgb(238, 238, 238)"
2045       tickmode: "linear"
2046       title: "Indexed Test Cases"
2047       zeroline: False
2048     yaxis:
2049       gridcolor: "rgb(238, 238, 238)'"
2050       hoverformat: ".4s"
2051       linecolor: "rgb(238, 238, 238)"
2052       linewidth: 1
2053       range: [4000000, 12000000]
2054       showgrid: True
2055       showline: True
2056       showticklabels: True
2057       tickcolor: "rgb(238, 238, 238)"
2058       title: "Packets Per Second [pps]"
2059       zeroline: False
2060     boxmode: "group"
2061     boxgroupgap: 0.5
2062     autosize: False
2063     margin:
2064       t: 50
2065       b: 20
2066       l: 50
2067       r: 20
2068     showlegend: True
2069     legend:
2070       orientation: "h"
2071     width: 700
2072     height: 1000
2073
2074 # VPP VM VHOST
2075 -
2076   type: "plot"
2077   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2078   algorithm: "plot_performance_box"
2079   output-file-type: ".html"
2080   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc"
2081   data:
2082     "plot-vpp-throughput-latency"
2083   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2084   parameters:
2085   - "throughput"
2086   - "parent"
2087   traces:
2088     hoverinfo: "x+y"
2089     boxpoints: "outliers"
2090     whiskerwidth: 0
2091   layout:
2092     title: "64B-1t1c-.*vhost.*-ndrdisc"
2093     xaxis:
2094       autorange: True
2095       autotick: False
2096       fixedrange: False
2097       gridcolor: "rgb(238, 238, 238)"
2098       linecolor: "rgb(238, 238, 238)"
2099       linewidth: 1
2100       showgrid: True
2101       showline: True
2102       showticklabels: True
2103       tickcolor: "rgb(238, 238, 238)"
2104       tickmode: "linear"
2105       title: "Indexed Test Cases"
2106       zeroline: False
2107     yaxis:
2108       gridcolor: "rgb(238, 238, 238)'"
2109       hoverformat: ".4s"
2110       linecolor: "rgb(238, 238, 238)"
2111       linewidth: 1
2112       range: [0, 3500000]
2113       showgrid: True
2114       showline: True
2115       showticklabels: True
2116       tickcolor: "rgb(238, 238, 238)"
2117       title: "Packets Per Second [pps]"
2118       zeroline: False
2119     boxmode: "group"
2120     boxgroupgap: 0.5
2121     autosize: False
2122     margin:
2123       t: 50
2124       b: 20
2125       l: 50
2126       r: 20
2127     showlegend: True
2128     legend:
2129       orientation: "h"
2130     width: 700
2131     height: 1000
2132
2133 -
2134   type: "plot"
2135   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2136   algorithm: "plot_performance_box"
2137   output-file-type: ".html"
2138   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc"
2139   data:
2140     "plot-vpp-throughput-latency"
2141   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2142   parameters:
2143   - "throughput"
2144   - "parent"
2145   traces:
2146     hoverinfo: "x+y"
2147     boxpoints: "outliers"
2148     whiskerwidth: 0
2149   layout:
2150     title: "64B-2t2c-.*vhost.*-ndrdisc"
2151     layout:
2152       "plot-throughput"
2153
2154 -
2155   type: "plot"
2156   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2157   algorithm: "plot_performance_box"
2158   output-file-type: ".html"
2159   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-pdrdisc"
2160   data:
2161     "plot-vpp-throughput-latency"
2162   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2163   parameters:
2164   - "throughput"
2165   - "parent"
2166   traces:
2167     hoverinfo: "x+y"
2168     boxpoints: "outliers"
2169     whiskerwidth: 0
2170   layout:
2171     title: "64B-1t1c-.*vhost.*-pdrdisc"
2172     layout:
2173       "plot-throughput"
2174
2175 -
2176   type: "plot"
2177   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2178   algorithm: "plot_performance_box"
2179   output-file-type: ".html"
2180   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-pdrdisc"
2181   data:
2182     "plot-vpp-throughput-latency"
2183   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2184   parameters:
2185   - "throughput"
2186   - "parent"
2187   traces:
2188     hoverinfo: "x+y"
2189     boxpoints: "outliers"
2190     whiskerwidth: 0
2191   layout:
2192     title: "64B-2t2c-.*vhost.*-pdrdisc"
2193     layout:
2194       "plot-throughput"
2195
2196 # VPP VM VHOST SELECTION
2197 -
2198   type: "plot"
2199   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2200   algorithm: "plot_performance_box"
2201   output-file-type: ".html"
2202   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc"
2203   data:
2204     "plot-vpp-throughput-latency"
2205   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2206   parameters:
2207   - "throughput"
2208   - "parent"
2209   traces:
2210     hoverinfo: "x+y"
2211     boxpoints: "outliers"
2212     whiskerwidth: 0
2213   layout:
2214     title: "64B-1t1c-.*vhost.*-ndrdisc"
2215     layout:
2216       "plot-throughput"
2217
2218 -
2219   type: "plot"
2220   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2221   algorithm: "plot_performance_box"
2222   output-file-type: ".html"
2223   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc"
2224   data:
2225     "plot-vpp-throughput-latency"
2226   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2227   parameters:
2228   - "throughput"
2229   - "parent"
2230   traces:
2231     hoverinfo: "x+y"
2232     boxpoints: "outliers"
2233     whiskerwidth: 0
2234   layout:
2235     title: "64B-2t2c-.*vhost.*-ndrdisc"
2236     layout:
2237       "plot-throughput"
2238
2239 -
2240   type: "plot"
2241   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2242   algorithm: "plot_performance_box"
2243   output-file-type: ".html"
2244   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-pdrdisc"
2245   data:
2246     "plot-vpp-throughput-latency"
2247   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2248   parameters:
2249   - "throughput"
2250   - "parent"
2251   traces:
2252     hoverinfo: "x+y"
2253     boxpoints: "outliers"
2254     whiskerwidth: 0
2255   layout:
2256     title: "64B-1t1c-.*vhost.*-pdrdisc"
2257     layout:
2258       "plot-throughput"
2259
2260 -
2261   type: "plot"
2262   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2263   algorithm: "plot_performance_box"
2264   output-file-type: ".html"
2265   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-pdrdisc"
2266   data:
2267     "plot-vpp-throughput-latency"
2268   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2269   parameters:
2270   - "throughput"
2271   - "parent"
2272   traces:
2273     hoverinfo: "x+y"
2274     boxpoints: "outliers"
2275     whiskerwidth: 0
2276   layout:
2277     title: "64B-2t2c-.*vhost.*-pdrdisc"
2278     layout:
2279       "plot-throughput"
2280
2281 # VPP CRYPTO
2282 -
2283   type: "plot"
2284   title: "VPP Performance 64B-1t1c-.*ipsec.*-ndrdisc"
2285   algorithm: "plot_performance_box"
2286   output-file-type: ".html"
2287   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc"
2288   data:
2289     "plot-vpp-throughput-latency"
2290   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2291   parameters:
2292   - "throughput"
2293   - "parent"
2294   traces:
2295     hoverinfo: "x+y"
2296     boxpoints: "outliers"
2297     whiskerwidth: 0
2298   layout:
2299     title: "64B-1t1c-.*ipsec.*-ndrdisc"
2300     layout:
2301       "plot-throughput"
2302
2303 -
2304   type: "plot"
2305   title: "VPP Performance 64B-2t2c-.*ipsec.*-ndrdisc"
2306   algorithm: "plot_performance_box"
2307   output-file-type: ".html"
2308   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc"
2309   data:
2310     "plot-vpp-throughput-latency"
2311   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2312   parameters:
2313   - "throughput"
2314   - "parent"
2315   traces:
2316     hoverinfo: "x+y"
2317     boxpoints: "outliers"
2318     whiskerwidth: 0
2319   layout:
2320     title: "64B-2t2c-.*ipsec.*-ndrdisc"
2321     layout:
2322       "plot-throughput"
2323
2324 -
2325   type: "plot"
2326   title: "VPP Performance 64B-1t1c-.*ipsec.*-pdrdisc"
2327   algorithm: "plot_performance_box"
2328   output-file-type: ".html"
2329   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-pdrdisc"
2330   data:
2331     "plot-vpp-throughput-latency"
2332   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2333   parameters:
2334   - "throughput"
2335   - "parent"
2336   traces:
2337     hoverinfo: "x+y"
2338     boxpoints: "outliers"
2339     whiskerwidth: 0
2340   layout:
2341     title: "64B-1t1c-.*ipsec.*-pdrdisc"
2342     layout:
2343       "plot-throughput"
2344
2345 -
2346   type: "plot"
2347   title: "VPP Performance 64B-2t2c-.*ipsec.*-pdrdisc"
2348   algorithm: "plot_performance_box"
2349   output-file-type: ".html"
2350   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-pdrdisc"
2351   data:
2352     "plot-vpp-throughput-latency"
2353   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2354   parameters:
2355   - "throughput"
2356   - "parent"
2357   traces:
2358     hoverinfo: "x+y"
2359     boxpoints: "outliers"
2360     whiskerwidth: 0
2361   layout:
2362     title: "64B-2t2c-.*ipsec.*-pdrdisc"
2363     layout:
2364       "plot-throughput"
2365
2366 # DPDK
2367 -
2368   type: "plot"
2369   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2370   algorithm: "plot_performance_box"
2371   output-file-type: ".html"
2372   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc"
2373   data:
2374     "plot-dpdk-throughput-latency"
2375   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2376   parameters:
2377   - "throughput"
2378   - "parent"
2379   traces:
2380     hoverinfo: "x+y"
2381     boxpoints: "outliers"
2382     whiskerwidth: 0
2383   layout:
2384     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2385     layout:
2386       "plot-throughput"
2387
2388 -
2389   type: "plot"
2390   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2391   algorithm: "plot_performance_box"
2392   output-file-type: ".html"
2393   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc"
2394   data:
2395     "plot-dpdk-throughput-latency"
2396   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2397   parameters:
2398   - "throughput"
2399   - "parent"
2400   traces:
2401     hoverinfo: "x+y"
2402     boxpoints: "outliers"
2403     whiskerwidth: 0
2404   layout:
2405     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2406     layout:
2407       "plot-throughput"
2408
2409 -
2410   type: "plot"
2411   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2412   algorithm: "plot_performance_box"
2413   output-file-type: ".html"
2414   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc"
2415   data:
2416     "plot-dpdk-throughput-latency"
2417   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
2418   parameters:
2419   - "throughput"
2420   - "parent"
2421   traces:
2422     hoverinfo: "x+y"
2423     boxpoints: "outliers"
2424     whiskerwidth: 0
2425   layout:
2426     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2427     xaxis:
2428       autorange: True
2429       autotick: False
2430       fixedrange: False
2431       gridcolor: "rgb(238, 238, 238)"
2432       linecolor: "rgb(238, 238, 238)"
2433       linewidth: 1
2434       showgrid: True
2435       showline: True
2436       showticklabels: True
2437       tickcolor: "rgb(238, 238, 238)"
2438       tickmode: "linear"
2439       title: "Indexed Test Cases"
2440       zeroline: False
2441     yaxis:
2442       gridcolor: "rgb(238, 238, 238)'"
2443       hoverformat: ".4s"
2444       linecolor: "rgb(238, 238, 238)"
2445       linewidth: 1
2446       range: [2000000, 12000000]
2447       showgrid: True
2448       showline: True
2449       showticklabels: True
2450       tickcolor: "rgb(238, 238, 238)"
2451       title: "Packets Per Second [pps]"
2452       zeroline: False
2453     boxmode: "group"
2454     boxgroupgap: 0.5
2455     autosize: False
2456     margin:
2457       t: 50
2458       b: 20
2459       l: 50
2460       r: 20
2461     showlegend: True
2462     legend:
2463       orientation: "h"
2464     width: 700
2465     height: 1000
2466
2467 -
2468   type: "plot"
2469   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2470   algorithm: "plot_performance_box"
2471   output-file-type: ".html"
2472   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc"
2473   data:
2474     "plot-dpdk-throughput-latency"
2475   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
2476   parameters:
2477   - "throughput"
2478   - "parent"
2479   traces:
2480     hoverinfo: "x+y"
2481     boxpoints: "outliers"
2482     whiskerwidth: 0
2483   layout:
2484     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2485     xaxis:
2486       autorange: True
2487       autotick: False
2488       fixedrange: False
2489       gridcolor: "rgb(238, 238, 238)"
2490       linecolor: "rgb(238, 238, 238)"
2491       linewidth: 1
2492       showgrid: True
2493       showline: True
2494       showticklabels: True
2495       tickcolor: "rgb(238, 238, 238)"
2496       tickmode: "linear"
2497       title: "Indexed Test Cases"
2498       zeroline: False
2499     yaxis:
2500       gridcolor: "rgb(238, 238, 238)'"
2501       hoverformat: ".4s"
2502       linecolor: "rgb(238, 238, 238)"
2503       linewidth: 1
2504       range: [2000000, 12000000]
2505       showgrid: True
2506       showline: True
2507       showticklabels: True
2508       tickcolor: "rgb(238, 238, 238)"
2509       title: "Packets Per Second [pps]"
2510       zeroline: False
2511     boxmode: "group"
2512     boxgroupgap: 0.5
2513     autosize: False
2514     margin:
2515       t: 50
2516       b: 20
2517       l: 50
2518       r: 20
2519     showlegend: True
2520     legend:
2521       orientation: "h"
2522     width: 700
2523     height: 1000
2524
2525 -
2526   type: "plot"
2527   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2528   algorithm: "plot_performance_box"
2529   output-file-type: ".html"
2530   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-pdrdisc"
2531   data:
2532     "plot-dpdk-throughput-latency"
2533   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2534   parameters:
2535   - "throughput"
2536   - "parent"
2537   traces:
2538     hoverinfo: "x+y"
2539     boxpoints: "outliers"
2540     whiskerwidth: 0
2541   layout:
2542     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2543     layout:
2544       "plot-throughput"
2545
2546 -
2547   type: "plot"
2548   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2549   algorithm: "plot_performance_box"
2550   output-file-type: ".html"
2551   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-pdrdisc"
2552   data:
2553     "plot-dpdk-throughput-latency"
2554   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2555   parameters:
2556   - "throughput"
2557   - "parent"
2558   traces:
2559     hoverinfo: "x+y"
2560     boxpoints: "outliers"
2561     whiskerwidth: 0
2562   layout:
2563     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2564     layout:
2565       "plot-throughput"
2566
2567 -
2568   type: "plot"
2569   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
2570   algorithm: "plot_performance_box"
2571   output-file-type: ".html"
2572   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-pdrdisc"
2573   data:
2574     "plot-dpdk-throughput-latency"
2575   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD'"
2576   parameters:
2577   - "throughput"
2578   - "parent"
2579   traces:
2580     hoverinfo: "x+y"
2581     boxpoints: "outliers"
2582     whiskerwidth: 0
2583   layout:
2584     title: "64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
2585     xaxis:
2586       autorange: True
2587       autotick: False
2588       fixedrange: False
2589       gridcolor: "rgb(238, 238, 238)"
2590       linecolor: "rgb(238, 238, 238)"
2591       linewidth: 1
2592       showgrid: True
2593       showline: True
2594       showticklabels: True
2595       tickcolor: "rgb(238, 238, 238)"
2596       tickmode: "linear"
2597       title: "Indexed Test Cases"
2598       zeroline: False
2599     yaxis:
2600       gridcolor: "rgb(238, 238, 238)'"
2601       hoverformat: ".4s"
2602       linecolor: "rgb(238, 238, 238)"
2603       linewidth: 1
2604       range: [20000000, 30000000]
2605       showgrid: True
2606       showline: True
2607       showticklabels: True
2608       tickcolor: "rgb(238, 238, 238)"
2609       title: "Packets Per Second [pps]"
2610       zeroline: False
2611     boxmode: "group"
2612     boxgroupgap: 0.5
2613     autosize: False
2614     margin:
2615       t: 50
2616       b: 20
2617       l: 50
2618       r: 20
2619     showlegend: True
2620     legend:
2621       orientation: "h"
2622     width: 700
2623     height: 1000
2624
2625 -
2626   type: "plot"
2627   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
2628   algorithm: "plot_performance_box"
2629   output-file-type: ".html"
2630   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-pdrdisc"
2631   data:
2632     "plot-dpdk-throughput-latency"
2633   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD'"
2634   parameters:
2635   - "throughput"
2636   - "parent"
2637   traces:
2638     hoverinfo: "x+y"
2639     boxpoints: "outliers"
2640     whiskerwidth: 0
2641   layout:
2642     title: "64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
2643     xaxis:
2644       autorange: True
2645       autotick: False
2646       fixedrange: False
2647       gridcolor: "rgb(238, 238, 238)"
2648       linecolor: "rgb(238, 238, 238)"
2649       linewidth: 1
2650       showgrid: True
2651       showline: True
2652       showticklabels: True
2653       tickcolor: "rgb(238, 238, 238)"
2654       tickmode: "linear"
2655       title: "Indexed Test Cases"
2656       zeroline: False
2657     yaxis:
2658       gridcolor: "rgb(238, 238, 238)'"
2659       hoverformat: ".4s"
2660       linecolor: "rgb(238, 238, 238)"
2661       linewidth: 1
2662       range: [20000000, 30000000]
2663       showgrid: True
2664       showline: True
2665       showticklabels: True
2666       tickcolor: "rgb(238, 238, 238)"
2667       title: "Packets Per Second [pps]"
2668       zeroline: False
2669     boxmode: "group"
2670     boxgroupgap: 0.5
2671     autosize: False
2672     margin:
2673       t: 50
2674       b: 20
2675       l: 50
2676       r: 20
2677     showlegend: True
2678     legend:
2679       orientation: "h"
2680     width: 700
2681     height: 1000
2682
2683 # Plot latency
2684
2685 # VPP L2 sel1
2686 -
2687   type: "plot"
2688   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2689   algorithm: "plot_latency_box"
2690   output-file-type: ".html"
2691   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc-lat50"
2692   data:
2693     "plot-vpp-throughput-latency"
2694   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2695   parameters:
2696   - "latency"
2697   - "parent"
2698   traces:
2699     boxmean: False
2700   layout:
2701     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2702     layout:
2703       "plot-latency"
2704
2705 -
2706   type: "plot"
2707   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2708   algorithm: "plot_latency_box"
2709   output-file-type: ".html"
2710   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc-lat50"
2711   data:
2712     "plot-vpp-throughput-latency"
2713   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2714   parameters:
2715   - "latency"
2716   - "parent"
2717   traces:
2718     boxmean: False
2719   layout:
2720     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2721     layout:
2722       "plot-latency"
2723
2724 # VPP L2 sel2
2725 -
2726   type: "plot"
2727   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2728   algorithm: "plot_latency_box"
2729   output-file-type: ".html"
2730   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc-lat50"
2731   data:
2732     "plot-vpp-throughput-latency"
2733   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2734   parameters:
2735   - "latency"
2736   - "parent"
2737   traces:
2738     boxmean: False
2739   layout:
2740     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2741     layout:
2742       "plot-latency"
2743
2744 -
2745   type: "plot"
2746   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2747   algorithm: "plot_latency_box"
2748   output-file-type: ".html"
2749   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc-lat50"
2750   data:
2751     "plot-vpp-throughput-latency"
2752   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2753   parameters:
2754   - "latency"
2755   - "parent"
2756   traces:
2757     boxmean: False
2758   layout:
2759     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2760     layout:
2761       "plot-latency"
2762
2763 # VPP IP4
2764 -
2765   type: "plot"
2766   title: "VPP Latency 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2767   algorithm: "plot_latency_box"
2768   output-file-type: ".html"
2769   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc-lat50"
2770   data:
2771     "plot-vpp-throughput-latency"
2772   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
2773   parameters:
2774   - "latency"
2775   - "parent"
2776   traces:
2777     boxmean: False
2778   layout:
2779     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2780     layout:
2781       "plot-latency"
2782
2783 -
2784   type: "plot"
2785   title: "VPP Latency 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2786   algorithm: "plot_latency_box"
2787   output-file-type: ".html"
2788   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc-lat50"
2789   data:
2790     "plot-vpp-throughput-latency"
2791   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
2792   parameters:
2793   - "latency"
2794   - "parent"
2795   traces:
2796     boxmean: False
2797   layout:
2798     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2799     layout:
2800       "plot-latency"
2801
2802 # VPP IP6
2803 -
2804   type: "plot"
2805   title: "VPP Latency 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2806   algorithm: "plot_latency_box"
2807   output-file-type: ".html"
2808   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc-lat50"
2809   data:
2810     "plot-vpp-throughput-latency"
2811   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2812   parameters:
2813   - "latency"
2814   - "parent"
2815   traces:
2816     boxmean: False
2817   layout:
2818     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2819     layout:
2820       "plot-latency"
2821
2822 -
2823   type: "plot"
2824   title: "VPP Latency 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2825   algorithm: "plot_latency_box"
2826   output-file-type: ".html"
2827   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc-lat50"
2828   data:
2829     "plot-vpp-throughput-latency"
2830   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2831   parameters:
2832   - "latency"
2833   - "parent"
2834   traces:
2835     boxmean: False
2836   layout:
2837     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2838     layout:
2839       "plot-latency"
2840
2841 # VPP IP4_overlay
2842 -
2843   type: "plot"
2844   title: "VPP Latency 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2845   algorithm: "plot_latency_box"
2846   output-file-type: ".html"
2847   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc-lat50"
2848   data:
2849     "plot-vpp-throughput-latency"
2850   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2851   parameters:
2852   - "latency"
2853   - "parent"
2854   traces:
2855     boxmean: False
2856   layout:
2857     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2858     layout:
2859       "plot-latency"
2860
2861 -
2862   type: "plot"
2863   title: "VPP Latency 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2864   algorithm: "plot_latency_box"
2865   output-file-type: ".html"
2866   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc-lat50"
2867   data:
2868     "plot-vpp-throughput-latency"
2869   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2870   parameters:
2871   - "latency"
2872   - "parent"
2873   traces:
2874     boxmean: False
2875   layout:
2876     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2877     layout:
2878       "plot-latency"
2879
2880 # VPP IP6_overlay
2881 -
2882   type: "plot"
2883   title: "VPP Latency 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2884   algorithm: "plot_latency_box"
2885   output-file-type: ".html"
2886   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc-lat50"
2887   data:
2888     "plot-vpp-throughput-latency"
2889   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2890   parameters:
2891   - "latency"
2892   - "parent"
2893   traces:
2894     boxmean: False
2895   layout:
2896     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2897     layout:
2898       "plot-latency"
2899
2900 -
2901   type: "plot"
2902   title: "VPP Latency 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2903   algorithm: "plot_latency_box"
2904   output-file-type: ".html"
2905   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc-lat50"
2906   data:
2907     "plot-vpp-throughput-latency"
2908   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2909   parameters:
2910   - "latency"
2911   - "parent"
2912   traces:
2913     boxmean: False
2914   layout:
2915     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2916     layout:
2917       "plot-latency"
2918
2919 # VPP VM VHOST
2920 -
2921   type: "plot"
2922   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
2923   algorithm: "plot_latency_box"
2924   output-file-type: ".html"
2925   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc-lat50"
2926   data:
2927     "plot-vpp-throughput-latency"
2928   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2929   parameters:
2930   - "latency"
2931   - "parent"
2932   traces:
2933     boxmean: False
2934   layout:
2935     title: "64B-1t1c-.*vhost.*-ndrdisc"
2936     layout:
2937       "plot-latency"
2938
2939 -
2940   type: "plot"
2941   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
2942   algorithm: "plot_latency_box"
2943   output-file-type: ".html"
2944   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc-lat50"
2945   data:
2946     "plot-vpp-throughput-latency"
2947   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2948   parameters:
2949   - "latency"
2950   - "parent"
2951   traces:
2952     boxmean: False
2953   layout:
2954     title: "64B-2t2c-.*vhost.*-ndrdisc"
2955     layout:
2956       "plot-latency"
2957
2958 # VPP VM VHOST selection
2959 -
2960   type: "plot"
2961   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
2962   algorithm: "plot_latency_box"
2963   output-file-type: ".html"
2964   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc-lat50"
2965   data:
2966     "plot-vpp-throughput-latency"
2967   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2968   parameters:
2969   - "latency"
2970   - "parent"
2971   traces:
2972     boxmean: False
2973   layout:
2974     title: "64B-1t1c-.*vhost.*-ndrdisc"
2975     layout:
2976       "plot-latency"
2977
2978 -
2979   type: "plot"
2980   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
2981   algorithm: "plot_latency_box"
2982   output-file-type: ".html"
2983   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc-lat50"
2984   data:
2985     "plot-vpp-throughput-latency"
2986   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2987   parameters:
2988   - "latency"
2989   - "parent"
2990   traces:
2991     boxmean: False
2992   layout:
2993     title: "64B-2t2c-.*vhost.*-ndrdisc"
2994     layout:
2995       "plot-latency"
2996
2997 # VPP CRYPTO
2998 -
2999   type: "plot"
3000   title: "VPP Latency 64B-1t1c-.*ipsec.*-ndrdisc"
3001   algorithm: "plot_latency_box"
3002   output-file-type: ".html"
3003   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc-lat50"
3004   data:
3005     "plot-vpp-throughput-latency"
3006   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
3007   parameters:
3008   - "latency"
3009   - "parent"
3010   traces:
3011     boxmean: False
3012   layout:
3013     title: "64B-1t1c-.*ipsec.*-ndrdisc"
3014     layout:
3015       "plot-latency"
3016
3017 -
3018   type: "plot"
3019   title: "VPP Latency 64B-2t2c-.*ipsec.*-ndrdisc"
3020   algorithm: "plot_latency_box"
3021   output-file-type: ".html"
3022   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc-lat50"
3023   data:
3024     "plot-vpp-throughput-latency"
3025   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
3026   parameters:
3027   - "latency"
3028   - "parent"
3029   traces:
3030     boxmean: False
3031   layout:
3032     title: "64B-2t2c-.*ipsec.*-ndrdisc"
3033     layout:
3034       "plot-latency"
3035
3036 # DPDK
3037 -
3038   type: "plot"
3039   title: "DPDK Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3040   algorithm: "plot_latency_box"
3041   output-file-type: ".html"
3042   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc-lat50"
3043   data:
3044     "plot-dpdk-throughput-latency"
3045   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3046   parameters:
3047   - "latency"
3048   - "parent"
3049   traces:
3050     boxmean: False
3051   layout:
3052     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3053     layout:
3054       "plot-latency"
3055
3056 -
3057   type: "plot"
3058   title: "DPDK Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3059   algorithm: "plot_latency_box"
3060   output-file-type: ".html"
3061   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc-lat50"
3062   data:
3063     "plot-dpdk-throughput-latency"
3064   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3065   parameters:
3066   - "latency"
3067   - "parent"
3068   traces:
3069     boxmean: False
3070   layout:
3071     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3072     layout:
3073       "plot-latency"
3074
3075 -
3076   type: "plot"
3077   title: "DPDK Latency 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3078   algorithm: "plot_latency_box"
3079   output-file-type: ".html"
3080   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc-lat50"
3081   data:
3082     "plot-dpdk-throughput-latency"
3083   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
3084   parameters:
3085   - "latency"
3086   - "parent"
3087   traces:
3088     boxmean: False
3089   layout:
3090     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3091     layout:
3092       "plot-latency"
3093
3094 -
3095   type: "plot"
3096   title: "DPDK Latency 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3097   algorithm: "plot_latency_box"
3098   output-file-type: ".html"
3099   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc-lat50"
3100   data:
3101     "plot-dpdk-throughput-latency"
3102   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
3103   parameters:
3104   - "latency"
3105   - "parent"
3106   traces:
3107     boxmean: False
3108   layout:
3109     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3110     layout:
3111       "plot-latency"
3112
3113 # Ligato - Throughput
3114
3115 # Container memif
3116 -
3117   type: "plot"
3118   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3119   algorithm: "plot_performance_box"
3120   output-file-type: ".html"
3121   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc"
3122   data:
3123     "plot-vpp-throughput-latency"
3124   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3125   parameters:
3126   - "throughput"
3127   - "parent"
3128   traces:
3129     hoverinfo: "x+y"
3130     boxpoints: "outliers"
3131     whiskerwidth: 0
3132   layout:
3133     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3134     xaxis:
3135       autorange: True
3136       autotick: False
3137       fixedrange: False
3138       gridcolor: "rgb(238, 238, 238)"
3139       linecolor: "rgb(238, 238, 238)"
3140       linewidth: 1
3141       showgrid: True
3142       showline: True
3143       showticklabels: True
3144       tickcolor: "rgb(238, 238, 238)"
3145       tickmode: "linear"
3146       title: "Indexed Test Cases"
3147       zeroline: False
3148     yaxis:
3149       gridcolor: "rgb(238, 238, 238)'"
3150       hoverformat: ".4s"
3151       linecolor: "rgb(238, 238, 238)"
3152       linewidth: 1
3153       range: [0, 4500000]
3154       showgrid: True
3155       showline: True
3156       showticklabels: True
3157       tickcolor: "rgb(238, 238, 238)"
3158       title: "Packets Per Second [pps]"
3159       zeroline: False
3160     boxmode: "group"
3161     boxgroupgap: 0.5
3162     autosize: False
3163     margin:
3164       t: 50
3165       b: 20
3166       l: 50
3167       r: 20
3168     showlegend: True
3169     legend:
3170       orientation: "h"
3171     width: 700
3172     height: 1000
3173
3174 -
3175   type: "plot"
3176   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3177   algorithm: "plot_performance_box"
3178   output-file-type: ".html"
3179   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc"
3180   data:
3181     "plot-vpp-throughput-latency"
3182   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3183   parameters:
3184   - "throughput"
3185   - "parent"
3186   traces:
3187     hoverinfo: "x+y"
3188     boxpoints: "outliers"
3189     whiskerwidth: 0
3190   layout:
3191     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3192     xaxis:
3193       autorange: True
3194       autotick: False
3195       fixedrange: False
3196       gridcolor: "rgb(238, 238, 238)"
3197       linecolor: "rgb(238, 238, 238)"
3198       linewidth: 1
3199       showgrid: True
3200       showline: True
3201       showticklabels: True
3202       tickcolor: "rgb(238, 238, 238)"
3203       tickmode: "linear"
3204       title: "Indexed Test Cases"
3205       zeroline: False
3206     yaxis:
3207       gridcolor: "rgb(238, 238, 238)'"
3208       hoverformat: ".4s"
3209       linecolor: "rgb(238, 238, 238)"
3210       linewidth: 1
3211       range: [0, 8000000]
3212       showgrid: True
3213       showline: True
3214       showticklabels: True
3215       tickcolor: "rgb(238, 238, 238)"
3216       title: "Packets Per Second [pps]"
3217       zeroline: False
3218     boxmode: "group"
3219     boxgroupgap: 0.5
3220     autosize: False
3221     margin:
3222       t: 50
3223       b: 20
3224       l: 50
3225       r: 20
3226     showlegend: True
3227     legend:
3228       orientation: "h"
3229     width: 700
3230     height: 1000
3231
3232 -
3233   type: "plot"
3234   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3235   algorithm: "plot_performance_box"
3236   output-file-type: ".html"
3237   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-pdrdisc"
3238   data:
3239     "plot-vpp-throughput-latency"
3240   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3241   parameters:
3242   - "throughput"
3243   - "parent"
3244   traces:
3245     hoverinfo: "x+y"
3246     boxpoints: "outliers"
3247     whiskerwidth: 0
3248   layout:
3249     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3250     xaxis:
3251       autorange: True
3252       autotick: False
3253       fixedrange: False
3254       gridcolor: "rgb(238, 238, 238)"
3255       linecolor: "rgb(238, 238, 238)"
3256       linewidth: 1
3257       showgrid: True
3258       showline: True
3259       showticklabels: True
3260       tickcolor: "rgb(238, 238, 238)"
3261       tickmode: "linear"
3262       title: "Indexed Test Cases"
3263       zeroline: False
3264     yaxis:
3265       gridcolor: "rgb(238, 238, 238)'"
3266       hoverformat: ".4s"
3267       linecolor: "rgb(238, 238, 238)"
3268       linewidth: 1
3269       range: [0, 4500000]
3270       showgrid: True
3271       showline: True
3272       showticklabels: True
3273       tickcolor: "rgb(238, 238, 238)"
3274       title: "Packets Per Second [pps]"
3275       zeroline: False
3276     boxmode: "group"
3277     boxgroupgap: 0.5
3278     autosize: False
3279     margin:
3280       t: 50
3281       b: 20
3282       l: 50
3283       r: 20
3284     showlegend: True
3285     legend:
3286       orientation: "h"
3287     width: 700
3288     height: 1000
3289
3290 -
3291   type: "plot"
3292   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3293   algorithm: "plot_performance_box"
3294   output-file-type: ".html"
3295   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-pdrdisc"
3296   data:
3297     "plot-vpp-throughput-latency"
3298   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3299   parameters:
3300   - "throughput"
3301   - "parent"
3302   traces:
3303     hoverinfo: "x+y"
3304     boxpoints: "outliers"
3305     whiskerwidth: 0
3306   layout:
3307     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3308     xaxis:
3309       autorange: True
3310       autotick: False
3311       fixedrange: False
3312       gridcolor: "rgb(238, 238, 238)"
3313       linecolor: "rgb(238, 238, 238)"
3314       linewidth: 1
3315       showgrid: True
3316       showline: True
3317       showticklabels: True
3318       tickcolor: "rgb(238, 238, 238)"
3319       tickmode: "linear"
3320       title: "Indexed Test Cases"
3321       zeroline: False
3322     yaxis:
3323       gridcolor: "rgb(238, 238, 238)'"
3324       hoverformat: ".4s"
3325       linecolor: "rgb(238, 238, 238)"
3326       linewidth: 1
3327       range: [0, 8000000]
3328       showgrid: True
3329       showline: True
3330       showticklabels: True
3331       tickcolor: "rgb(238, 238, 238)"
3332       title: "Packets Per Second [pps]"
3333       zeroline: False
3334     boxmode: "group"
3335     boxgroupgap: 0.5
3336     autosize: False
3337     margin:
3338       t: 50
3339       b: 20
3340       l: 50
3341       r: 20
3342     showlegend: True
3343     legend:
3344       orientation: "h"
3345     width: 700
3346     height: 1000
3347
3348 # Container orchestrated
3349 -
3350   type: "plot"
3351   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3352   algorithm: "plot_performance_box"
3353   output-file-type: ".html"
3354   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc"
3355   data:
3356     "plot-ligato-throughput-latency"
3357   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3358   parameters:
3359   - "throughput"
3360   - "parent"
3361   traces:
3362     hoverinfo: "x+y"
3363     boxpoints: "outliers"
3364     whiskerwidth: 0
3365   layout:
3366     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3367     layout:
3368       "plot-throughput"
3369
3370 -
3371   type: "plot"
3372   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3373   algorithm: "plot_performance_box"
3374   output-file-type: ".html"
3375   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc"
3376   data:
3377     "plot-ligato-throughput-latency"
3378   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3379   parameters:
3380   - "throughput"
3381   - "parent"
3382   traces:
3383     hoverinfo: "x+y"
3384     boxpoints: "outliers"
3385     whiskerwidth: 0
3386   layout:
3387     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3388     layout:
3389       "plot-throughput"
3390
3391 -
3392   type: "plot"
3393   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3394   algorithm: "plot_performance_box"
3395   output-file-type: ".html"
3396   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-pdrdisc"
3397   data:
3398     "plot-ligato-throughput-latency"
3399   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3400   parameters:
3401   - "throughput"
3402   - "parent"
3403   traces:
3404     hoverinfo: "x+y"
3405     boxpoints: "outliers"
3406     whiskerwidth: 0
3407   layout:
3408     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3409     layout:
3410       "plot-throughput"
3411
3412 -
3413   type: "plot"
3414   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3415   algorithm: "plot_performance_box"
3416   output-file-type: ".html"
3417   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-pdrdisc"
3418   data:
3419     "plot-ligato-throughput-latency"
3420   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3421   parameters:
3422   - "throughput"
3423   - "parent"
3424   traces:
3425     hoverinfo: "x+y"
3426     boxpoints: "outliers"
3427     whiskerwidth: 0
3428   layout:
3429     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3430     layout:
3431       "plot-throughput"
3432
3433 # Ligato - Latency
3434
3435 # Container memif
3436 -
3437   type: "plot"
3438   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3439   algorithm: "plot_latency_box"
3440   output-file-type: ".html"
3441   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc-lat50"
3442   data:
3443     "plot-vpp-throughput-latency"
3444   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3445   parameters:
3446   - "latency"
3447   - "parent"
3448   traces:
3449     boxmean: False
3450   layout:
3451     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3452     layout:
3453       "plot-latency"
3454
3455 -
3456   type: "plot"
3457   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3458   algorithm: "plot_latency_box"
3459   output-file-type: ".html"
3460   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc-lat50"
3461   data:
3462     "plot-vpp-throughput-latency"
3463   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3464   parameters:
3465   - "latency"
3466   - "parent"
3467   traces:
3468     boxmean: False
3469   layout:
3470     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3471     layout:
3472       "plot-latency"
3473
3474 # Container orchestrated
3475 -
3476   type: "plot"
3477   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3478   algorithm: "plot_latency_box"
3479   output-file-type: ".html"
3480   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc-lat50"
3481   data:
3482     "plot-ligato-throughput-latency"
3483   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3484   parameters:
3485   - "latency"
3486   - "parent"
3487   traces:
3488     boxmean: False
3489   layout:
3490     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3491     layout:
3492       "plot-latency"
3493
3494 -
3495   type: "plot"
3496   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3497   algorithm: "plot_latency_box"
3498   output-file-type: ".html"
3499   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc-lat50"
3500   data:
3501     "plot-ligato-throughput-latency"
3502   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3503   parameters:
3504   - "latency"
3505   - "parent"
3506   traces:
3507     boxmean: False
3508   layout:
3509     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3510     layout:
3511       "plot-latency"