resources/tools/presentation/specification.yaml

   1 -
   2   type: "environment"
   3   configuration:
   4     # Debug mode:
   5     # - Skip:
   6     #   - Download of input data files
   7     # - Do:
   8     #   - Read data from given zip / xml files
   9     #   - Set the configuration as it is done in normal mode
  10     # If the section "type: debug" is missing, CFG[DEBUG] is set to 0.
  11     CFG[DEBUG]: 0
  12
  13   paths:
  14     # Top level directories:
  15     ## Working directory
  16     DIR[WORKING]: "_tmp"
  17     ## Build directories
  18     DIR[BUILD,HTML]: "_build"
  19     DIR[BUILD,LATEX]: "_build_latex"
  20
  21     # Static .rst files
  22     DIR[RST]: "../../../docs/report"
  23
  24     # Working directories
  25     ## Input data files (.zip, .xml)
  26     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
  27     ## Static source files from git
  28     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
  29     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
  30
  31     # Static html content
  32     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
  33     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
  34     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
  35     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
  36
  37     # Detailed test results
  38     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
  39     DIR[DTR,PERF,DPDK]: "{DIR[DTR]}/dpdk_performance_results"
  40     DIR[DTR,PERF,VPP]: "{DIR[DTR]}/vpp_performance_results"
  41     DIR[DTR,PERF,COT]: "{DIR[DTR]}/cot_performance_results"
  42     DIR[DTR,PERF,HC]: "{DIR[DTR]}/honeycomb_performance_results"
  43     DIR[DTR,FUNC,VPP]: "{DIR[DTR]}/vpp_functional_results"
  44     DIR[DTR,FUNC,HC]: "{DIR[DTR]}/honeycomb_functional_results"
  45     DIR[DTR,FUNC,NSHSFC]: "{DIR[DTR]}/nshsfc_functional_results"
  46     DIR[DTR,PERF,VPP,IMPRV]: "{DIR[WORKING,SRC]}/vpp_performance_tests/performance_improvements"
  47
  48     # Detailed test configurations
  49     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
  50     DIR[DTC,PERF,VPP]: "{DIR[DTC]}/vpp_performance_configuration"
  51     DIR[DTC,FUNC,VPP]: "{DIR[DTC]}/vpp_functional_configuration"
  52
  53     # Detailed tests operational data
  54     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
  55     DIR[DTO,PERF,VPP]: "{DIR[DTO]}/vpp_performance_operational_data"
  56
  57     # .css patch file to fix tables generated by Sphinx
  58     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
  59     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
  60
  61   urls:
  62     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
  63     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
  64     URL[NEXUS]: "https://docs.fd.io/csit"
  65     DIR[NEXUS]: "report/_static/archive"
  66
  67   make-dirs:
  68   # List the directories which are created while preparing the environment.
  69   # All directories MUST be defined in "paths" section.
  70   - "DIR[WORKING,DATA]"
  71   - "DIR[STATIC,VPP]"
  72   - "DIR[STATIC,DPDK]"
  73   - "DIR[STATIC,ARCH]"
  74   - "DIR[BUILD,LATEX]"
  75   - "DIR[WORKING,SRC]"
  76   - "DIR[WORKING,SRC,STATIC]"
  77
  78   remove-dirs:
  79   # List the directories which are deleted while cleaning the environment.
  80   # All directories MUST be defined in "paths" section.
  81   #- "DIR[BUILD,HTML]"
  82
  83   build-dirs:
  84   # List the directories where the results (build) is stored.
  85   # All directories MUST be defined in "paths" section.
  86   - "DIR[BUILD,HTML]"
  87   - "DIR[BUILD,LATEX]"
  88
  89 -
  90   type: "configuration"
  91   data-sets:
  92     plot-vpp-http-server-performance:
  93 # TODO: Add the data sources
  94       csit-vpp-perf-1801-all:
  95       - 157
  96       - 158
  97       - 159
  98       - 160
  99       - 161
 100       - 164
 101       - 165
 102       - 166
 103       - 168
 104       - 169
 105       - 170
 106 # TODO: Add the data sources
 107 #    vpp-meltdown-impact:
 108 #      csit-vpp-perf-1707-all:
 109 #      - 9
 110 #      - 10
 111 #      - 13
 112 #      csit-vpp-perf-1710-all:
 113 #      - 11l
 114 #      - 12
 115 #      - 13
 116 # TODO: Add the data sources
 117 #    vpp-spectre-impact:
 118 #      csit-vpp-perf-1707-all:
 119 #      - 9
 120 #      - 10
 121 #      - 13
 122 #      csit-vpp-perf-1710-all:
 123 #      - 11
 124 #      - 12
 125 #      - 13
 126     vpp-performance-changes:
 127       csit-vpp-perf-1710-all:
 128       - 11
 129       - 12
 130       - 13
 131       - 14
 132       - 15
 133       - 16
 134       - 17
 135       - 18
 136       - 19
 137       - 20
 138       csit-vpp-perf-1801-all:
 139       - 124  # sel
 140       - 127  # sel
 141       - 128  # sel
 142       - 141  # sel
 143       - 142  # sel
 144       - 143  # sel
 145       - 145  # sel
 146       - 146  # sel
 147       - 162  # sel
 148       - 163  # sel
 149       - 167  # sel
 150       - 172  # sel acl only
 151       csit-vpp-perf-1804-all:
 152       - 1
 153     vpp-performance-changes-mrr:
 154       csit-vpp-perf-check-1801:
 155       - 1
 156       - 2
 157       - 3
 158       - 4
 159       - 5
 160       - 6
 161       - 7
 162       - 8
 163       - 9
 164       - 11
 165       - 12
 166       - 13
 167       csit-vpp-perf-check-1804:
 168       - 1
 169     plot-throughput-speedup-analysis:
 170       csit-vpp-perf-1801-all:
 171       - 122  # full
 172       - 126  # full
 173       - 129  # full
 174       - 140  # full
 175       - 124  # sel
 176       - 127  # sel
 177       - 128  # sel
 178       - 141  # sel
 179       - 142  # sel
 180       - 143  # sel
 181       - 145  # sel
 182       - 146  # sel
 183       - 162  # sel
 184       - 163  # sel
 185       - 167  # sel
 186       - 172  # sel acl only
 187 #    performance-improvements:
 188 #      csit-vpp-perf-1707-all:
 189 #      - 9
 190 #      - 10
 191 #      - 13
 192 #      - 14
 193 #      - 15
 194 #      - 16
 195 #      - 17
 196 #      - 18
 197 #      - 19
 198 #      - 21
 199 #      csit-vpp-perf-1710-all:
 200 #      - 11
 201 #      - 12
 202 #      - 13
 203 #      - 14
 204 #      - 15
 205 #      - 16
 206 #      - 17
 207 #      - 18
 208 #      - 19
 209 #      - 20
 210 #      csit-vpp-perf-1801-all:
 211 #      - 124
 212 #      - 127
 213 #      - 128
 214 #      csit-ligato-perf-1710-all:
 215 #      - 5
 216 #      - 7
 217 #      - 8
 218 #      - 9
 219 #      - 10
 220 #      - 11
 221 #      - 12
 222 #      - 13
 223 #      - 16
 224 #      - 17
 225 #      csit-ligato-perf-1801-all:
 226 #      - 16  # sel
 227 #      - 17  # sel
 228 #      - 18  # sel
 229 #      - 19  # sel
 230 #      - 20  # sel
 231 #      - 21  # sel
 232 #      - 22  # sel
 233 #      - 23  # sel
 234 #      - 24  # sel
 235     vpp-perf-results:
 236       csit-vpp-perf-1801-all:
 237       - 122
 238       - 126
 239       - 129
 240       - 140
 241     vpp-func-results:
 242       csit-vpp-functional-1801-ubuntu1604-virl:
 243       - "lastSuccessfulBuild"
 244     ligato-perf-results:
 245       csit-ligato-perf-1801-all:
 246       - 25  # full
 247     dpdk-perf-results:
 248       csit-dpdk-perf-1801-all:
 249       - 12
 250     hc-func-results:
 251       csit-hc2vpp-verify-func-1801-ubuntu1604:
 252       - "lastSuccessfulBuild"
 253     nsh-func-results:
 254       csit-nsh_sfc-verify-func-1801-ubuntu1604-virl:
 255       - 1
 256     plot-vpp-throughput-latency:
 257       csit-vpp-perf-1801-all:
 258       - 122  # full
 259       - 126  # full
 260       - 129  # full
 261       - 140  # full
 262       - 124  # sel
 263       - 127  # sel
 264       - 128  # sel
 265       - 141  # sel
 266       - 142  # sel
 267       - 143  # sel
 268       - 145  # sel
 269       - 146  # sel
 270       - 162  # sel
 271       - 163  # sel
 272       - 167  # sel
 273       - 172  # sel acl only
 274     plot-dpdk-throughput-latency:
 275       csit-dpdk-perf-1801-all:
 276       - 1
 277       - 3
 278       - 4
 279       - 5
 280       - 6
 281       - 7
 282       - 8
 283       - 10
 284       - 12
 285     plot-ligato-throughput-latency:
 286       csit-ligato-perf-1801-all:
 287       - 16  # sel
 288       - 17  # sel
 289       - 18  # sel
 290       - 19  # sel
 291       - 20  # sel
 292       - 21  # sel
 293       - 22  # sel
 294       - 23  # sel
 295       - 24  # sel
 296
 297   plot-layouts:
 298
 299     plot-cps:
 300       xaxis:
 301         autorange: True
 302         autotick: False
 303         fixedrange: False
 304         gridcolor: "rgb(238, 238, 238)"
 305         linecolor: "rgb(238, 238, 238)"
 306         linewidth: 1
 307         showgrid: True
 308         showline: True
 309         showticklabels: True
 310         tickcolor: "rgb(238, 238, 238)"
 311         tickmode: "linear"
 312         title: "Indexed Test Cases"
 313         zeroline: False
 314       yaxis:
 315         gridcolor: "rgb(238, 238, 238)'"
 316         hoverformat: ".4s"
 317         linecolor: "rgb(238, 238, 238)"
 318         linewidth: 1
 319         range: []
 320         rangemode: "tozero"
 321         showgrid: True
 322         showline: True
 323         showticklabels: True
 324         tickcolor: "rgb(238, 238, 238)"
 325         title: "Connections Per Second [cps]"
 326         zeroline: False
 327       boxmode: "group"
 328       boxgroupgap: 0.5
 329       autosize: False
 330       margin:
 331         t: 50
 332         b: 20
 333         l: 50
 334         r: 20
 335       showlegend: True
 336       legend:
 337         orientation: "h"
 338       width: 700
 339       height: 1000
 340
 341     plot-rps:
 342       xaxis:
 343         autorange: True
 344         autotick: False
 345         fixedrange: False
 346         gridcolor: "rgb(238, 238, 238)"
 347         linecolor: "rgb(238, 238, 238)"
 348         linewidth: 1
 349         showgrid: True
 350         showline: True
 351         showticklabels: True
 352         tickcolor: "rgb(238, 238, 238)"
 353         tickmode: "linear"
 354         title: "Indexed Test Cases"
 355         zeroline: False
 356       yaxis:
 357         gridcolor: "rgb(238, 238, 238)'"
 358         hoverformat: ".4s"
 359         linecolor: "rgb(238, 238, 238)"
 360         linewidth: 1
 361         range: []
 362         rangemode: "tozero"
 363         showgrid: True
 364         showline: True
 365         showticklabels: True
 366         tickcolor: "rgb(238, 238, 238)"
 367         title: "Requests Per Second [rps]"
 368         zeroline: False
 369       boxmode: "group"
 370       boxgroupgap: 0.5
 371       autosize: False
 372       margin:
 373         t: 50
 374         b: 20
 375         l: 50
 376         r: 20
 377       showlegend: True
 378       legend:
 379         orientation: "h"
 380       width: 700
 381       height: 1000
 382
 383     plot-throughput:
 384       xaxis:
 385         autorange: True
 386         autotick: False
 387         fixedrange: False
 388         gridcolor: "rgb(238, 238, 238)"
 389         linecolor: "rgb(238, 238, 238)"
 390         linewidth: 1
 391         showgrid: True
 392         showline: True
 393         showticklabels: True
 394         tickcolor: "rgb(238, 238, 238)"
 395         tickmode: "linear"
 396         title: "Indexed Test Cases"
 397         zeroline: False
 398       yaxis:
 399         gridcolor: "rgb(238, 238, 238)'"
 400         hoverformat: ".4s"
 401         linecolor: "rgb(238, 238, 238)"
 402         linewidth: 1
 403         range: []
 404         showgrid: True
 405         showline: True
 406         showticklabels: True
 407         tickcolor: "rgb(238, 238, 238)"
 408         title: "Packets Per Second [pps]"
 409         zeroline: False
 410       boxmode: "group"
 411       boxgroupgap: 0.5
 412       autosize: False
 413       margin:
 414         t: 50
 415         b: 20
 416         l: 50
 417         r: 20
 418       showlegend: True
 419       legend:
 420         orientation: "h"
 421       width: 700
 422       height: 1000
 423
 424     plot-latency:
 425       xaxis:
 426         autorange: True
 427         autotick: False
 428         fixedrange: False
 429         gridcolor: "rgb(238, 238, 238)"
 430         linecolor: "rgb(238, 238, 238)"
 431         linewidth: 1
 432         showgrid: True
 433         showline: True
 434         showticklabels: True
 435         tickcolor: "rgb(238, 238, 238)"
 436         tickmode: "linear"
 437         title: "Indexed Test Cases"
 438         zeroline: False
 439       yaxis:
 440         gridcolor: "rgb(238, 238, 238)'"
 441         hoverformat: ""
 442         linecolor: "rgb(238, 238, 238)"
 443         linewidth: 1
 444         range: []
 445         showgrid: True
 446         showline: True
 447         showticklabels: True
 448         tickcolor: "rgb(238, 238, 238)"
 449         title: "Latency min/avg/max [uSec]"
 450         zeroline: False
 451       boxmode: "group"
 452       boxgroupgap: 0.5
 453       autosize: False
 454       margin:
 455         t: 50
 456         b: 20
 457         l: 50
 458         r: 20
 459       showlegend: True
 460       legend:
 461         orientation: "h"
 462       width: 700
 463       height: 1000
 464
 465     plot-throughput-speedup-analysis:
 466       xaxis:
 467         autorange: True
 468         autotick: False
 469         fixedrange: False
 470         gridcolor: "rgb(238, 238, 238)"
 471         linecolor: "rgb(238, 238, 238)"
 472         linewidth: 1
 473         showgrid: True
 474         showline: True
 475         showticklabels: True
 476         tickcolor: "rgb(238, 238, 238)"
 477         tickmode: "linear"
 478         tickangle: 270
 479         zeroline: False
 480       yaxis:
 481         title: "Throughput speedup factor"
 482         gridcolor: "rgb(238, 238, 238)"
 483         hoverformat: ".4s"
 484         linecolor: "rgb(238, 238, 238)"
 485         linewidth: 1
 486         range: []
 487         showgrid: True
 488         showline: True
 489         showticklabels: True
 490         tickcolor: "rgb(238, 238, 238)"
 491         zeroline: False
 492       legend:
 493         orientation: "h"
 494         xanchor: "center"
 495         yanchor: "top"
 496         x: 0.5
 497         y: 1
 498         bgcolor: "rgba(255, 255, 255, 0)"
 499         bordercolor: "rgba(255, 255, 255, 0)"
 500       barmode: "group"
 501       bargap: 0.15
 502       bargroupgap: 0.1
 503       autosize: False
 504       margin:
 505           't': 50
 506           'b': 200
 507           'l': 50
 508           'r': 20
 509       showlegend: True
 510       width: 700
 511       height: 1000
 512
 513 -
 514   type: "debug"
 515   general:
 516     input-format: "xml"  # zip or xml
 517     extract: "robot-plugin/output.xml"  # Only for zip
 518   builds:
 519     # The files must be in the directory DIR[WORKING,DATA]
 520     csit-vpp-perf-1801-all:
 521     -
 522       build: 1
 523       file: "{DIR[WORKING,DATA]}/output.xml"
 524     -
 525       build: 2
 526       file: "{DIR[WORKING,DATA]}/output.xml"
 527     -
 528       build: 3
 529       file: "{DIR[WORKING,DATA]}/output.xml"
 530     -
 531       build: 4
 532       file: "{DIR[WORKING,DATA]}/output.xml"
 533
 534 -
 535   type: "static"
 536   src-path: "{DIR[RST]}"
 537   dst-path: "{DIR[WORKING,SRC]}"
 538
 539 -
 540   type: "input"  # Ignored in debug mode
 541   general:
 542     file-name: "robot-plugin.zip"
 543     file-format: ".zip"
 544     download-path: "{job}/{build}/robot/report/*zip*/{filename}"
 545     extract: "robot-plugin/output.xml"
 546   builds:
 547 #    csit-vpp-perf-1707-all:
 548 #    - 9
 549 #    - 10
 550 #    - 13
 551 #    - 14
 552 #    - 15
 553 #    - 16
 554 #    - 17
 555 #    - 18
 556 #    - 19
 557 #    - 21
 558     csit-vpp-perf-1710-all:
 559     - 11
 560     - 12
 561     - 13
 562     - 14
 563     - 15
 564     - 16
 565     - 17
 566     - 18
 567     - 19
 568     - 20
 569     csit-vpp-perf-1801-all:
 570     - 122  # full
 571     - 126  # full
 572     - 129  # full
 573     - 140  # full
 574     - 124  # sel
 575     - 127  # sel
 576     - 128  # sel
 577     - 141  # sel
 578     - 142  # sel
 579     - 143  # sel
 580     - 145  # sel
 581     - 146  # sel
 582     - 157  # wrk
 583     - 158  # wrk
 584     - 159  # wrk
 585     - 160  # wrk
 586     - 161  # wrk
 587     - 162  # sel
 588     - 163  # sel
 589     - 164  # wrk
 590     - 165  # wrk
 591     - 166  # wrk
 592     - 167  # sel
 593     - 168  # wrk
 594     - 169  # wrk
 595     - 170  # wrk
 596     - 172  # sel acl only
 597     csit-vpp-perf-1804-all:
 598     - 1
 599     csit-vpp-perf-check-1801:
 600     - 1
 601     - 2
 602     - 3
 603     - 4
 604     - 5
 605     - 6
 606     - 7
 607     - 8
 608     - 9
 609     - 11
 610     - 12
 611     - 13
 612     csit-vpp-perf-check-1804:
 613     - 1
 614     csit-ligato-perf-1710-all:
 615     - 5
 616     - 7
 617     - 8
 618     - 9
 619     - 10
 620     - 11
 621     - 12
 622     - 13
 623     - 16
 624     - 17
 625     csit-dpdk-perf-1801-all:
 626     - 1
 627     - 4
 628     - 5
 629     - 7
 630     - 8
 631     - 10
 632     - 12
 633     - 16
 634     - 17
 635     csit-ligato-perf-1801-all:
 636     - 16  # sel
 637     - 17  # sel
 638     - 18  # sel
 639     - 19  # sel
 640     - 20  # sel
 641     - 21  # sel
 642     - 22  # sel
 643     - 23  # sel
 644     - 24  # sel
 645     - 25  # full
 646     csit-dpdk-perf-1801-all:
 647     - 1
 648     - 3
 649     - 4
 650     - 5
 651     - 6
 652     - 7
 653     - 8
 654     - 9
 655     - 10
 656     - 12
 657     csit-vpp-functional-1801-ubuntu1604-virl:
 658     - lastSuccessfulBuild
 659     csit-nsh_sfc-verify-func-1801-ubuntu1604-virl:
 660     - 1
 661     csit-hc2vpp-verify-func-1801-ubuntu1604:
 662     - lastSuccessfulBuild
 663
 664 -
 665   type: "output"
 666   output: "report"
 667   format:
 668     html:
 669     - full
 670     pdf:
 671     - minimal
 672
 673 ################################################################################
 674 ###                               T A B L E S                                ###
 675 ################################################################################
 676
 677 #-
 678 #  type: "table"
 679 #  title: "Performance Impact of Meltdown Patches"
 680 #  algorithm: "table_performance_comparison"
 681 #  output-file-ext: ".csv"
 682 ## TODO: specify dir
 683 #  output-file: "{DIR[STATIC,VPP]}/meltdown-impact"
 684 #  reference:
 685 #    title: "No Meltdown"
 686 ## TODO: specify data sources
 687 #    data:
 688 #      csit-vpp-perf-1707-all:
 689 #      - 9
 690 #      - 10
 691 #      - 13
 692 #  compare:
 693 #    title: "Meltdown Patches Applied"
 694 ## TODO: specify data sources
 695 #    data:
 696 #      csit-vpp-perf-1710-all:
 697 #      - 11
 698 #      - 12
 699 #      - 13
 700 #  data:
 701 #    "vpp-meltdown-impact"
 702 #  filter: "all"
 703 #  parameters:
 704 #  - "name"
 705 #  - "parent"
 706 #  - "throughput"
 707 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
 708 #  # to present all tests.
 709 #  nr-of-tests-shown: 20
 710 #
 711 #-
 712 #  type: "table"
 713 #  title: "Performance Impact of Spectre Patches"
 714 #  algorithm: "table_performance_comparison"
 715 #  output-file-ext: ".csv"
 716 ## TODO: specify dir
 717 #  output-file: "{DIR[STATIC,VPP]}/meltdown-spectre-impact"
 718 #  reference:
 719 #    title: "No Spectre"
 720 ## TODO: specify data sources
 721 #    data:
 722 #      csit-vpp-perf-1707-all:
 723 #      - 9
 724 #      - 10
 725 #      - 13
 726 #  compare:
 727 #    title: "Spectre Patches Applied"
 728 ## TODO: specify data sources
 729 #    data:
 730 #      csit-vpp-perf-1710-all:
 731 #      - 11
 732 #      - 12
 733 #      - 13
 734 #  data:
 735 #    "vpp-spectre-impact"
 736 #  filter: "all"
 737 #  parameters:
 738 #  - "name"
 739 #  - "parent"
 740 #  - "throughput"
 741 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
 742 #  # to present all tests.
 743 #  nr-of-tests-shown: 20
 744
 745 -
 746   type: "table"
 747   title: "VPP Performance Changes"
 748   algorithm: "table_performance_comparison"
 749   output-file-ext: ".csv"
 750   output-file: "{DIR[STATIC,VPP]}/performance-changes"
 751 #  reference:
 752 #    title: "Release 1710"
 753 #    data:
 754 #      csit-vpp-perf-1710-all:
 755 #      - 11
 756 #      - 12
 757 #      - 13
 758 #      - 14
 759 #      - 15
 760 #      - 16
 761 #      - 17
 762 #      - 18
 763 #      - 19
 764 #      - 20
 765   reference:
 766     title: "Release 1801"
 767     data:
 768       csit-vpp-perf-1801-all:
 769       - 124  # sel
 770       - 127  # sel
 771       - 128  # sel
 772       - 141  # sel
 773       - 142  # sel
 774       - 143  # sel
 775       - 145  # sel
 776       - 146  # sel
 777       - 162  # sel
 778       - 163  # sel
 779       - 167  # sel
 780       - 172  # sel acl only
 781   compare:
 782     title: "Release 1804"
 783     data:
 784       csit-vpp-perf-1804-all:
 785       - 1
 786   data: "vpp-performance-changes"
 787   filter: "all"
 788   parameters:
 789   - "name"
 790   - "parent"
 791   - "throughput"
 792   # Number of the best and the worst tests presented in the table. Use 0 (zero)
 793   # to present all tests.
 794   nr-of-tests-shown: 20
 795   outlier-const: 1.5
 796
 797 -
 798   type: "table"
 799   title: "VPP Performance Changes - MRR"
 800   algorithm: "table_performance_comparison_mrr"
 801   output-file-ext: ".csv"
 802   output-file: "{DIR[STATIC,VPP]}/performance-changes-mrr"
 803   reference:
 804     title: "Release 1801"
 805     data:
 806       csit-vpp-perf-check-1801:
 807       - 1
 808       - 2
 809       - 3
 810       - 4
 811       - 5
 812       - 6
 813       - 7
 814       - 8
 815       - 9
 816       - 11
 817       - 12
 818       - 13
 819   compare:
 820     title: "Release 1804"
 821     data:
 822       csit-vpp-perf-check-1804:
 823       - 1
 824   data: "vpp-performance-changes-mrr"
 825   filter: "all"
 826   parameters:
 827   - "name"
 828   - "parent"
 829   - "result"
 830   # Number of the best and the worst tests presented in the table. Use 0 (zero)
 831   # to present all tests.
 832   nr-of-tests-shown: 20
 833   outlier-const: 1.5
 834
 835 #-
 836 #  type: "table"
 837 #  title: "Performance improvements"
 838 #  algorithm: "table_performance_improvements"
 839 #  template: "{DIR[DTR,PERF,VPP,IMPRV]}/tmpl_performance_improvements.csv"
 840 #  output-file-ext: ".csv"
 841 #  output-file: "{DIR[DTR,PERF,VPP,IMPRV]}/performance_improvements"
 842 #  columns:
 843 #  -
 844 #    title: "Test Name"
 845 #    data: "template 1"
 846 #  -
 847 #    title: "16.09 mean [Mpps]"
 848 #    data: "template 2"
 849 #  -
 850 #    title: "17.01 mean [Mpps]"
 851 #    data: "template 3"
 852 #  -
 853 #    title: "17.04 mean [Mpps]"
 854 #    data: "template 4"
 855 #  -
 856 #    title: "17.07 mean [Mpps]"
 857 #    data: "data csit-vpp-perf-1707-all mean"
 858 #  -
 859 #    title: "17.10 mean [Mpps]"
 860 #    data: "data csit-vpp-perf-1710-all csit-ligato-perf-1710-all mean"
 861 #  -
 862 #    title: "18.01 mean [Mpps]"
 863 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all mean"
 864 #  -
 865 #    title: "18.01 stdev [Mpps]"
 866 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all stdev"
 867 #  -
 868 #    title: "17.10 to 18.01 change [%]"
 869 #    data: "operation relative_change 5 6"
 870 #  rows: "generated"
 871 #  data:
 872 #    "performance-improvements"
 873 #  filter: "template"
 874 #  parameters:
 875 #  - "throughput"
 876
 877 -
 878   type: "table"
 879   title: "Detailed Test Results - VPP Performance Results"
 880   algorithm: "table_merged_details"
 881   output-file-ext: ".csv"
 882   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
 883   columns:
 884   -
 885     title: "Name"
 886     data: "data name"
 887   -
 888     title: "Documentation"
 889     data: "data doc"
 890   -
 891     title: "Status"
 892     data: "data msg"
 893   rows: "generated"
 894   data:
 895     "vpp-perf-results"
 896   filter: "not 'NDRCHK' and not 'PDRCHK'"
 897   parameters:
 898   - "name"
 899   - "parent"
 900   - "doc"
 901   - "msg"
 902
 903 -
 904   type: "table"
 905   title: "Test configuration - VPP Performance Test Configs"
 906   algorithm: "table_merged_details"
 907   output-file-ext: ".csv"
 908   output-file: "{DIR[DTC,PERF,VPP]}/vpp_test_configuration"
 909   columns:
 910   -
 911     title: "Name"
 912     data: "data name"
 913   -
 914     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
 915     data: "data vat-history"
 916   rows: "generated"
 917   data:
 918     "vpp-perf-results"
 919   filter: "not 'NDRCHK' and not 'PDRCHK'"
 920   parameters:
 921   - "parent"
 922   - "name"
 923   - "vat-history"
 924
 925 -
 926   type: "table"
 927   title: "Test Operational Data - VPP Performance Operational Data"
 928   algorithm: "table_merged_details"
 929   output-file-ext: ".csv"
 930   output-file: "{DIR[DTO,PERF,VPP]}/vpp_test_operational"
 931   columns:
 932   -
 933     title: "Name"
 934     data: "data name"
 935   -
 936     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
 937     data: "data show-run"
 938   rows: "generated"
 939   data:
 940     "vpp-perf-results"
 941   filter: "not 'NDRCHK' and not 'PDRCHK'"
 942   parameters:
 943   - "parent"
 944   - "name"
 945   - "show-run"
 946
 947 -
 948   type: "table"
 949   title: "Detailed Test Results - VPP Functional Results"
 950   algorithm: "table_details"
 951   output-file-ext: ".csv"
 952   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
 953   columns:
 954   -
 955     title: "Name"
 956     data: "data name"
 957   -
 958     title: "Documentation"
 959     data: "data doc"
 960   -
 961     title: "Status"
 962     data: "data status"
 963   rows: "generated"
 964   data:
 965     "vpp-func-results"
 966   filter: "all"
 967   parameters:
 968   - "name"
 969   - "parent"
 970   - "doc"
 971   - "status"
 972
 973 -
 974   type: "table"
 975   title: "Test configuration - VPP Functional Test Configs"
 976   algorithm: "table_details"
 977   output-file-ext: ".csv"
 978   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
 979   columns:
 980   -
 981     title: "Name"
 982     data: "data name"
 983   -
 984     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
 985     data: "data vat-history"
 986   rows: "generated"
 987   data:
 988     "vpp-func-results"
 989   filter: "all"
 990   parameters:
 991   - "parent"
 992   - "name"
 993   - "vat-history"
 994
 995 -
 996   type: "table"
 997   title: "Detailed Test Results - Container Orchestrated Topologies Performance Results"
 998   algorithm: "table_details"
 999   output-file-ext: ".csv"
1000   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
1001   columns:
1002   -
1003     title: "Name"
1004     data: "data name"
1005   -
1006     title: "Documentation"
1007     data: "data doc"
1008   -
1009     title: "Status"
1010     data: "data msg"
1011   rows: "generated"
1012   data:
1013     "ligato-perf-results"
1014   filter: "all"
1015   parameters:
1016   - "name"
1017   - "parent"
1018   - "doc"
1019   - "msg"
1020
1021 -
1022   type: "table"
1023   title: "Detailed Test Results - DPDK Performance Results"
1024   algorithm: "table_details"
1025   output-file-ext: ".csv"
1026   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
1027   columns:
1028   -
1029     title: "Name"
1030     data: "data name"
1031   -
1032     title: "Documentation"
1033     data: "data doc"
1034   -
1035     title: "Status"
1036     data: "data msg"
1037   rows: "generated"
1038   data:
1039     "dpdk-perf-results"
1040   filter: "all"
1041   parameters:
1042   - "name"
1043   - "parent"
1044   - "doc"
1045   - "msg"
1046
1047 -
1048   type: "table"
1049   title: "Detailed Test Results - Honeycomb Functional Results"
1050   algorithm: "table_details"
1051   output-file-ext: ".csv"
1052   output-file: "{DIR[DTR,FUNC,HC]}/hc_functional_results"
1053   columns:
1054   -
1055     title: "Name"
1056     data: "data name"
1057   -
1058     title: "Documentation"
1059     data: "data doc"
1060   -
1061     title: "Status"
1062     data: "data status"
1063   rows: "generated"
1064   data:
1065     "hc-func-results"
1066   filter: "all"
1067   parameters:
1068   - "name"
1069   - "parent"
1070   - "doc"
1071   - "status"
1072
1073 -
1074   type: "table"
1075   title: "Detailed Test Results - NSH SFC Functional Results"
1076   algorithm: "table_details"
1077   output-file-ext: ".csv"
1078   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nsh_sfc_functional_results"
1079   columns:
1080   -
1081     title: "Name"
1082     data: "data name"
1083   -
1084     title: "Documentation"
1085     data: "data doc"
1086   -
1087     title: "Status"
1088     data: "data status"
1089   rows: "generated"
1090   data:
1091     "nsh-func-results"
1092   filter: "all"
1093   parameters:
1094   - "name"
1095   - "parent"
1096   - "doc"
1097   - "status"
1098
1099 ################################################################################
1100 ###                                F I L E S                                 ###
1101 ################################################################################
1102
1103 -
1104   type: "file"
1105   title: "VPP Performance Results"
1106   algorithm: "file_merged_test_results"
1107   output-file-ext: ".rst"
1108   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
1109   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1110   dir-tables: "{DIR[DTR,PERF,VPP]}"
1111   data:
1112     "vpp-perf-results"
1113   filter: "not 'NDRCHK' and not 'PDRCHK'"
1114   parameters:
1115   - "name"
1116   - "doc"
1117   - "level"
1118   - "parent"
1119   data-start-level: 3  # 0, 1, 2, ...
1120   chapters-start-level: 2  # 0, 1, 2, ...
1121
1122 -
1123   type: "file"
1124   title: "VPP Performance Configuration"
1125   algorithm: "file_merged_test_results"
1126   output-file-ext: ".rst"
1127   output-file: "{DIR[DTC,PERF,VPP]}/vpp_performance_configuration"
1128   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1129   dir-tables: "{DIR[DTC,PERF,VPP]}"
1130   data:
1131     "vpp-perf-results"
1132   filter: "not 'NDRCHK' and not 'PDRCHK'"
1133   parameters:
1134   - "name"
1135   - "doc"
1136   - "level"
1137   - "parent"
1138   data-start-level: 3  # 0, 1, 2, ...
1139   chapters-start-level: 2  # 0, 1, 2, ...
1140
1141 -
1142   type: "file"
1143   title: "VPP Performance Operational Data"
1144   algorithm: "file_merged_test_results"
1145   output-file-ext: ".rst"
1146   output-file: "{DIR[DTO,PERF,VPP]}/vpp_performance_operational_data"
1147   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1148   dir-tables: "{DIR[DTO,PERF,VPP]}"
1149   data:
1150     "vpp-perf-results"
1151   filter: "not 'NDRCHK' and not 'PDRCHK'"
1152   parameters:
1153   - "name"
1154   - "doc"
1155   - "level"
1156   - "parent"
1157   data-start-level: 3  # 0, 1, 2, ...
1158   chapters-start-level: 2  # 0, 1, 2, ...
1159
1160 -
1161   type: "file"
1162   title: "VPP Functional Results"
1163   algorithm: "file_test_results"
1164   output-file-ext: ".rst"
1165   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
1166   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1167   dir-tables: "{DIR[DTR,FUNC,VPP]}"
1168   data:
1169     "vpp-func-results"
1170   filter: "all"
1171   parameters:
1172   - "name"
1173   - "doc"
1174   - "level"
1175   data-start-level: 3  # 0, 1, 2, ...
1176   chapters-start-level: 2  # 0, 1, 2, ...
1177
1178 -
1179   type: "file"
1180   title: "VPP Functional Configuration"
1181   algorithm: "file_test_results"
1182   output-file-ext: ".rst"
1183   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
1184   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1185   dir-tables: "{DIR[DTC,FUNC,VPP]}"
1186   data:
1187     "vpp-func-results"
1188   filter: "all"
1189   parameters:
1190   - "name"
1191   - "doc"
1192   - "level"
1193   data-start-level: 3  # 0, 1, 2, ...
1194   chapters-start-level: 2  # 0, 1, 2, ...
1195
1196 -
1197   type: "file"
1198   title: "Container Orchestrated Performance Results"
1199   algorithm: "file_test_results"
1200   output-file-ext: ".rst"
1201   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
1202   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1203   dir-tables: "{DIR[DTR,PERF,COT]}"
1204   data:
1205     "ligato-perf-results"
1206   filter: "all"
1207   parameters:
1208   - "name"
1209   - "doc"
1210   - "level"
1211   data-start-level: 2  # 0, 1, 2, ...
1212   chapters-start-level: 2  # 0, 1, 2, ...
1213
1214 -
1215   type: "file"
1216   title: "DPDK Performance Results"
1217   algorithm: "file_test_results"
1218   output-file-ext: ".rst"
1219   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
1220   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1221   dir-tables: "{DIR[DTR,PERF,DPDK]}"
1222   data:
1223     "dpdk-perf-results"
1224   filter: "all"
1225   parameters:
1226   - "name"
1227   - "doc"
1228   - "level"
1229   chapters:
1230   - "suites"
1231   data-start-level: 2  # 0, 1, 2, ...
1232   chapters-start-level: 2  # 0, 1, 2, ...
1233
1234 -
1235   type: "file"
1236   title: "Honeycomb Functional Results"
1237   algorithm: "file_test_results"
1238   output-file-ext: ".rst"
1239   output-file: "{DIR[DTR,FUNC,HC]}/honeycomb_functional_results"
1240   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1241   dir-tables: "{DIR[DTR,FUNC,HC]}"
1242   data:
1243     "hc-func-results"
1244   filter: "all"
1245   parameters:
1246   - "name"
1247   - "doc"
1248   - "level"
1249   chapters:
1250   - "suites"
1251   data-start-level: 3  # 0, 1, 2, ...
1252   chapters-start-level: 2  # 0, 1, 2, ...
1253
1254 -
1255   type: "file"
1256   title: "NSH SFC Functional Results"
1257   algorithm: "file_test_results"
1258   output-file-ext: ".rst"
1259   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nshsfc_functional_results"
1260   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1261   dir-tables: "{DIR[DTR,FUNC,NSHSFC]}"
1262   data:
1263     "nsh-func-results"
1264   filter: "all"
1265   parameters:
1266   - "name"
1267   - "doc"
1268   - "level"
1269   chapters:
1270   - "suites"
1271   data-start-level: 2  # 0, 1, 2, ...
1272   chapters-start-level: 2  # 0, 1, 2, ...
1273
1274 ################################################################################
1275 ###                                P L O T S                                 ###
1276 ################################################################################
1277
1278 # Plots VPP HTTP Server Performance
1279 -
1280   type: "plot"
1281   title: "VPP HTTP Server Performance"
1282   algorithm: "plot_http_server_performance_box"
1283   output-file-type: ".html"
1284   output-file: "{DIR[STATIC,VPP]}/http-server-performance-cps"
1285   data:
1286     "plot-vpp-http-server-performance"
1287   # Keep this formatting, the filter is enclosed with " (quotation mark) and
1288   # each tag is enclosed with ' (apostrophe).
1289   filter: "'HTTP' and 'TCP_CPS'"
1290   parameters:
1291   - "result"
1292   - "name"
1293   traces:
1294     hoverinfo: "x+y"
1295     boxpoints: "outliers"
1296     whiskerwidth: 0
1297   layout:
1298     title: "VPP HTTP Server Performance"
1299     layout:
1300       "plot-cps"
1301
1302 -
1303   type: "plot"
1304   title: "VPP HTTP Server Performance"
1305   algorithm: "plot_http_server_performance_box"
1306   output-file-type: ".html"
1307   output-file: "{DIR[STATIC,VPP]}/http-server-performance-rps"
1308   data:
1309     "plot-vpp-http-server-performance"
1310   filter: "'HTTP' and 'TCP_RPS'"
1311   parameters:
1312   - "result"
1313   - "name"
1314   traces:
1315     hoverinfo: "x+y"
1316     boxpoints: "outliers"
1317     whiskerwidth: 0
1318   layout:
1319     title: "VPP HTTP Server Performance"
1320     layout:
1321       "plot-rps"
1322
1323 # Plot Throughput Speedup Analysis
1324
1325 # L2 - 10ge2p1x520 - NDR
1326 -
1327   type: "plot"
1328   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1329   algorithm: "plot_throughput_speedup_analysis"
1330   output-file-type: ".html"
1331   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-ndrdisc"
1332   data:
1333     "plot-throughput-speedup-analysis"
1334   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1335   parameters:
1336   - "throughput"
1337   - "parent"
1338   - "tags"
1339   layout:
1340     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1341     layout:
1342       "plot-throughput-speedup-analysis"
1343
1344 # L2 - 40ge2p1xl710 - NDR
1345 -
1346   type: "plot"
1347   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1348   algorithm: "plot_throughput_speedup_analysis"
1349   output-file-type: ".html"
1350   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-l2-tsa-ndrdisc"
1351   data:
1352     "plot-throughput-speedup-analysis"
1353   filter: "'NIC_Intel-XL710' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1354   parameters:
1355   - "throughput"
1356   - "parent"
1357   - "tags"
1358   layout:
1359     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1360     layout:
1361       "plot-throughput-speedup-analysis"
1362
1363 # L2 - 10ge2p1x520 - PDR
1364 -
1365   type: "plot"
1366   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1367   algorithm: "plot_throughput_speedup_analysis"
1368   output-file-type: ".html"
1369   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-pdrdisc"
1370   data:
1371     "plot-throughput-speedup-analysis"
1372   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1373   parameters:
1374   - "throughput"
1375   - "parent"
1376   - "tags"
1377   layout:
1378     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1379     layout:
1380       "plot-throughput-speedup-analysis"
1381
1382 # IPv4 - 10ge2p1x520 - NDR
1383 -
1384   type: "plot"
1385   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1386   algorithm: "plot_throughput_speedup_analysis"
1387   output-file-type: ".html"
1388   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-ndrdisc"
1389   data:
1390     "plot-throughput-speedup-analysis"
1391   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1392   parameters:
1393   - "throughput"
1394   - "parent"
1395   - "tags"
1396   layout:
1397     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1398     layout:
1399       "plot-throughput-speedup-analysis"
1400
1401 # IPv4 - 40ge2p1xl710 - NDR
1402 -
1403   type: "plot"
1404   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1405   algorithm: "plot_throughput_speedup_analysis"
1406   output-file-type: ".html"
1407   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-ip4-tsa-ndrdisc"
1408   data:
1409     "plot-throughput-speedup-analysis"
1410   filter: "'NIC_Intel-XL710' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1411   parameters:
1412   - "throughput"
1413   - "parent"
1414   - "tags"
1415   layout:
1416     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1417     layout:
1418       "plot-throughput-speedup-analysis"
1419
1420 # IPv4 - 10ge2p1x520 - PDR
1421 -
1422   type: "plot"
1423   title: "TSA: 64B-*-ethip4-ip4(base|scale)*pdrdisc"
1424   algorithm: "plot_throughput_speedup_analysis"
1425   output-file-type: ".html"
1426   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-pdrdisc"
1427   data:
1428     "plot-throughput-speedup-analysis"
1429   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1430   parameters:
1431   - "throughput"
1432   - "parent"
1433   - "tags"
1434   layout:
1435     title: "64B-*-ethip4-ip4(base|scale)*pdrdisc"
1436     layout:
1437       "plot-throughput-speedup-analysis"
1438
1439 # IPv6 - 10ge2p1x520 - NDR
1440 -
1441   type: "plot"
1442   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1443   algorithm: "plot_throughput_speedup_analysis"
1444   output-file-type: ".html"
1445   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-ndrdisc"
1446   data:
1447     "plot-throughput-speedup-analysis"
1448   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1449   parameters:
1450   - "throughput"
1451   - "parent"
1452   - "tags"
1453   layout:
1454     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1455     layout:
1456       "plot-throughput-speedup-analysis"
1457
1458 # IPv6 - 40ge2p1xl710 - NDR
1459 -
1460   type: "plot"
1461   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1462   algorithm: "plot_throughput_speedup_analysis"
1463   output-file-type: ".html"
1464   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-78B-ip6-tsa-ndrdisc"
1465   data:
1466     "plot-throughput-speedup-analysis"
1467   filter: "'NIC_Intel-XL710' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1468   parameters:
1469   - "throughput"
1470   - "parent"
1471   - "tags"
1472   layout:
1473     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1474     layout:
1475       "plot-throughput-speedup-analysis"
1476
1477 # IPv6 - 10ge2p1x520 - PDR
1478 -
1479   type: "plot"
1480   title: "TSA: 78B-*-ethip6-ip6(base|scale)*pdrdisc"
1481   algorithm: "plot_throughput_speedup_analysis"
1482   output-file-type: ".html"
1483   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-pdrdisc"
1484   data:
1485     "plot-throughput-speedup-analysis"
1486   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST'"
1487   parameters:
1488   - "throughput"
1489   - "parent"
1490   - "tags"
1491   layout:
1492     title: "78B-*-ethip6-ip6(base|scale)*pdrdisc"
1493     layout:
1494       "plot-throughput-speedup-analysis"
1495
1496 # Plot packets per second
1497
1498 # VPP L2 sel1
1499 -
1500   type: "plot"
1501   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1502   algorithm: "plot_performance_box"
1503   output-file-type: ".html"
1504   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc"
1505   data:
1506     "plot-vpp-throughput-latency"
1507   # Keep this formatting, the filter is enclosed with " (quotation mark) and
1508   # each tag is enclosed with ' (apostrophe).
1509   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1510   parameters:
1511   - "throughput"
1512   - "parent"
1513   traces:
1514     hoverinfo: "x+y"
1515     boxpoints: "outliers"
1516     whiskerwidth: 0
1517   layout:
1518     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1519     layout:
1520       "plot-throughput"
1521
1522 -
1523   type: "plot"
1524   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1525   algorithm: "plot_performance_box"
1526   output-file-type: ".html"
1527   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc"
1528   data:
1529     "plot-vpp-throughput-latency"
1530   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1531   parameters:
1532   - "throughput"
1533   - "parent"
1534   traces:
1535     hoverinfo: "x+y"
1536     boxpoints: "outliers"
1537     whiskerwidth: 0
1538   layout:
1539     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1540     layout:
1541       "plot-throughput"
1542
1543 -
1544   type: "plot"
1545   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1546   algorithm: "plot_performance_box"
1547   output-file-type: ".html"
1548   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-pdrdisc"
1549   data:
1550     "plot-vpp-throughput-latency"
1551   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1552   parameters:
1553   - "throughput"
1554   - "parent"
1555   traces:
1556     hoverinfo: "x+y"
1557     boxpoints: "outliers"
1558     whiskerwidth: 0
1559   layout:
1560     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1561     layout:
1562       "plot-throughput"
1563
1564 -
1565   type: "plot"
1566   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1567   algorithm: "plot_performance_box"
1568   output-file-type: ".html"
1569   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-pdrdisc"
1570   data:
1571     "plot-vpp-throughput-latency"
1572   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1573   parameters:
1574   - "throughput"
1575   - "parent"
1576   traces:
1577     hoverinfo: "x+y"
1578     boxpoints: "outliers"
1579     whiskerwidth: 0
1580   layout:
1581     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1582     layout:
1583       "plot-throughput"
1584
1585 # VPP L2 sel2
1586 -
1587   type: "plot"
1588   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1589   algorithm: "plot_performance_box"
1590   output-file-type: ".html"
1591   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc"
1592   data:
1593     "plot-vpp-throughput-latency"
1594   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1595   parameters:
1596   - "throughput"
1597   - "parent"
1598   traces:
1599     hoverinfo: "x+y"
1600     boxpoints: "outliers"
1601     whiskerwidth: 0
1602   layout:
1603     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1604     layout:
1605       "plot-throughput"
1606
1607 -
1608   type: "plot"
1609   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1610   algorithm: "plot_performance_box"
1611   output-file-type: ".html"
1612   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc"
1613   data:
1614     "plot-vpp-throughput-latency"
1615   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1616   parameters:
1617   - "throughput"
1618   - "parent"
1619   traces:
1620     hoverinfo: "x+y"
1621     boxpoints: "outliers"
1622     whiskerwidth: 0
1623   layout:
1624     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1625     layout:
1626       "plot-throughput"
1627
1628 -
1629   type: "plot"
1630   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1631   algorithm: "plot_performance_box"
1632   output-file-type: ".html"
1633   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-pdrdisc"
1634   data:
1635     "plot-vpp-throughput-latency"
1636   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1637   parameters:
1638   - "throughput"
1639   - "parent"
1640   traces:
1641     hoverinfo: "x+y"
1642     boxpoints: "outliers"
1643     whiskerwidth: 0
1644   layout:
1645     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1646     layout:
1647       "plot-throughput"
1648
1649 -
1650   type: "plot"
1651   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1652   algorithm: "plot_performance_box"
1653   output-file-type: ".html"
1654   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-pdrdisc"
1655   data:
1656     "plot-vpp-throughput-latency"
1657   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1658   parameters:
1659   - "throughput"
1660   - "parent"
1661   traces:
1662     hoverinfo: "x+y"
1663     boxpoints: "outliers"
1664     whiskerwidth: 0
1665   layout:
1666     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1667     layout:
1668       "plot-throughput"
1669
1670 # VPP IP4
1671 -
1672   type: "plot"
1673   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1674   algorithm: "plot_performance_box"
1675   output-file-type: ".html"
1676   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc"
1677   data:
1678     "plot-vpp-throughput-latency"
1679   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
1680   parameters:
1681   - "throughput"
1682   - "parent"
1683   traces:
1684     hoverinfo: "x+y"
1685     boxpoints: "outliers"
1686     whiskerwidth: 0
1687   layout:
1688     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1689     layout:
1690       "plot-throughput"
1691
1692 -
1693   type: "plot"
1694   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1695   algorithm: "plot_performance_box"
1696   output-file-type: ".html"
1697   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc"
1698   data:
1699     "plot-vpp-throughput-latency"
1700   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
1701   parameters:
1702   - "throughput"
1703   - "parent"
1704   traces:
1705     hoverinfo: "x+y"
1706     boxpoints: "outliers"
1707     whiskerwidth: 0
1708   layout:
1709     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1710     layout:
1711       "plot-throughput"
1712
1713 -
1714   type: "plot"
1715   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1716   algorithm: "plot_performance_box"
1717   output-file-type: ".html"
1718   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-pdrdisc"
1719   data:
1720     "plot-vpp-throughput-latency"
1721   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
1722   parameters:
1723   - "throughput"
1724   - "parent"
1725   traces:
1726     hoverinfo: "x+y"
1727     boxpoints: "outliers"
1728     whiskerwidth: 0
1729   layout:
1730     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1731     layout:
1732       "plot-throughput"
1733
1734 -
1735   type: "plot"
1736   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1737   algorithm: "plot_performance_box"
1738   output-file-type: ".html"
1739   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-pdrdisc"
1740   data:
1741     "plot-vpp-throughput-latency"
1742   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
1743   parameters:
1744   - "throughput"
1745   - "parent"
1746   traces:
1747     hoverinfo: "x+y"
1748     boxpoints: "outliers"
1749     whiskerwidth: 0
1750   layout:
1751     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1752     layout:
1753       "plot-throughput"
1754
1755 # VPP IP6
1756 -
1757   type: "plot"
1758   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1759   algorithm: "plot_performance_box"
1760   output-file-type: ".html"
1761   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc"
1762   data:
1763     "plot-vpp-throughput-latency"
1764   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1765   parameters:
1766   - "throughput"
1767   - "parent"
1768   traces:
1769     hoverinfo: "x+y"
1770     boxpoints: "outliers"
1771     whiskerwidth: 0
1772   layout:
1773     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1774     layout:
1775       "plot-throughput"
1776
1777 -
1778   type: "plot"
1779   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1780   algorithm: "plot_performance_box"
1781   output-file-type: ".html"
1782   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc"
1783   data:
1784     "plot-vpp-throughput-latency"
1785   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1786   parameters:
1787   - "throughput"
1788   - "parent"
1789   traces:
1790     hoverinfo: "x+y"
1791     boxpoints: "outliers"
1792     whiskerwidth: 0
1793   layout:
1794     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1795     layout:
1796       "plot-throughput"
1797
1798 -
1799   type: "plot"
1800   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1801   algorithm: "plot_performance_box"
1802   output-file-type: ".html"
1803   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-pdrdisc"
1804   data:
1805     "plot-vpp-throughput-latency"
1806   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1807   parameters:
1808   - "throughput"
1809   - "parent"
1810   traces:
1811     hoverinfo: "x+y"
1812     boxpoints: "outliers"
1813     whiskerwidth: 0
1814   layout:
1815     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1816     layout:
1817       "plot-throughput"
1818
1819 -
1820   type: "plot"
1821   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1822   algorithm: "plot_performance_box"
1823   output-file-type: ".html"
1824   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-pdrdisc"
1825   data:
1826     "plot-vpp-throughput-latency"
1827   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1828   parameters:
1829   - "throughput"
1830   - "parent"
1831   traces:
1832     hoverinfo: "x+y"
1833     boxpoints: "outliers"
1834     whiskerwidth: 0
1835   layout:
1836     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1837     layout:
1838       "plot-throughput"
1839
1840 # VPP IP4_overlay
1841 -
1842   type: "plot"
1843   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1844   algorithm: "plot_performance_box"
1845   output-file-type: ".html"
1846   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc"
1847   data:
1848     "plot-vpp-throughput-latency"
1849   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1850   parameters:
1851   - "throughput"
1852   - "parent"
1853   traces:
1854     hoverinfo: "x+y"
1855     boxpoints: "outliers"
1856     whiskerwidth: 0
1857   layout:
1858     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1859     layout:
1860       "plot-throughput"
1861
1862 -
1863   type: "plot"
1864   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1865   algorithm: "plot_performance_box"
1866   output-file-type: ".html"
1867   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc"
1868   data:
1869     "plot-vpp-throughput-latency"
1870   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1871   parameters:
1872   - "throughput"
1873   - "parent"
1874   traces:
1875     hoverinfo: "x+y"
1876     boxpoints: "outliers"
1877     whiskerwidth: 0
1878   layout:
1879     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1880     layout:
1881       "plot-throughput"
1882
1883 -
1884   type: "plot"
1885   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1886   algorithm: "plot_performance_box"
1887   output-file-type: ".html"
1888   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-pdrdisc"
1889   data:
1890     "plot-vpp-throughput-latency"
1891   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1892   parameters:
1893   - "throughput"
1894   - "parent"
1895   traces:
1896     hoverinfo: "x+y"
1897     boxpoints: "outliers"
1898     whiskerwidth: 0
1899   layout:
1900     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1901     layout:
1902       "plot-throughput"
1903
1904 -
1905   type: "plot"
1906   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1907   algorithm: "plot_performance_box"
1908   output-file-type: ".html"
1909   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-pdrdisc"
1910   data:
1911     "plot-vpp-throughput-latency"
1912   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1913   parameters:
1914   - "throughput"
1915   - "parent"
1916   traces:
1917     hoverinfo: "x+y"
1918     boxpoints: "outliers"
1919     whiskerwidth: 0
1920   layout:
1921     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1922     layout:
1923       "plot-throughput"
1924
1925 # VPP IP6_overlay
1926 -
1927   type: "plot"
1928   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1929   algorithm: "plot_performance_box"
1930   output-file-type: ".html"
1931   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc"
1932   data:
1933     "plot-vpp-throughput-latency"
1934   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1935   parameters:
1936   - "throughput"
1937   - "parent"
1938   traces:
1939     hoverinfo: "x+y"
1940     boxpoints: "outliers"
1941     whiskerwidth: 0
1942   layout:
1943     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1944     xaxis:
1945       autorange: True
1946       autotick: False
1947       fixedrange: False
1948       gridcolor: "rgb(238, 238, 238)"
1949       linecolor: "rgb(238, 238, 238)"
1950       linewidth: 1
1951       showgrid: True
1952       showline: True
1953       showticklabels: True
1954       tickcolor: "rgb(238, 238, 238)"
1955       tickmode: "linear"
1956       title: "Indexed Test Cases"
1957       zeroline: False
1958     yaxis:
1959       gridcolor: "rgb(238, 238, 238)'"
1960       hoverformat: ".4s"
1961       linecolor: "rgb(238, 238, 238)"
1962       linewidth: 1
1963       range: [2000000, 6000000]
1964       showgrid: True
1965       showline: True
1966       showticklabels: True
1967       tickcolor: "rgb(238, 238, 238)"
1968       title: "Packets Per Second [pps]"
1969       zeroline: False
1970     boxmode: "group"
1971     boxgroupgap: 0.5
1972     autosize: False
1973     margin:
1974       t: 50
1975       b: 20
1976       l: 50
1977       r: 20
1978     showlegend: True
1979     legend:
1980       orientation: "h"
1981     width: 700
1982     height: 1000
1983
1984 -
1985   type: "plot"
1986   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1987   algorithm: "plot_performance_box"
1988   output-file-type: ".html"
1989   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc"
1990   data:
1991     "plot-vpp-throughput-latency"
1992   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1993   parameters:
1994   - "throughput"
1995   - "parent"
1996   traces:
1997     hoverinfo: "x+y"
1998     boxpoints: "outliers"
1999     whiskerwidth: 0
2000   layout:
2001     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2002     layout:
2003       "plot-throughput"
2004
2005 -
2006   type: "plot"
2007   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2008   algorithm: "plot_performance_box"
2009   output-file-type: ".html"
2010   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-pdrdisc"
2011   data:
2012     "plot-vpp-throughput-latency"
2013   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2014   parameters:
2015   - "throughput"
2016   - "parent"
2017   traces:
2018     hoverinfo: "x+y"
2019     boxpoints: "outliers"
2020     whiskerwidth: 0
2021   layout:
2022     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2023     layout:
2024       "plot-throughput"
2025
2026 -
2027   type: "plot"
2028   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2029   algorithm: "plot_performance_box"
2030   output-file-type: ".html"
2031   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-pdrdisc"
2032   data:
2033     "plot-vpp-throughput-latency"
2034   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2035   parameters:
2036   - "throughput"
2037   - "parent"
2038   traces:
2039     hoverinfo: "x+y"
2040     boxpoints: "outliers"
2041     whiskerwidth: 0
2042   layout:
2043     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2044     xaxis:
2045       autorange: True
2046       autotick: False
2047       fixedrange: False
2048       gridcolor: "rgb(238, 238, 238)"
2049       linecolor: "rgb(238, 238, 238)"
2050       linewidth: 1
2051       showgrid: True
2052       showline: True
2053       showticklabels: True
2054       tickcolor: "rgb(238, 238, 238)"
2055       tickmode: "linear"
2056       title: "Indexed Test Cases"
2057       zeroline: False
2058     yaxis:
2059       gridcolor: "rgb(238, 238, 238)'"
2060       hoverformat: ".4s"
2061       linecolor: "rgb(238, 238, 238)"
2062       linewidth: 1
2063       range: [4000000, 12000000]
2064       showgrid: True
2065       showline: True
2066       showticklabels: True
2067       tickcolor: "rgb(238, 238, 238)"
2068       title: "Packets Per Second [pps]"
2069       zeroline: False
2070     boxmode: "group"
2071     boxgroupgap: 0.5
2072     autosize: False
2073     margin:
2074       t: 50
2075       b: 20
2076       l: 50
2077       r: 20
2078     showlegend: True
2079     legend:
2080       orientation: "h"
2081     width: 700
2082     height: 1000
2083
2084 # VPP VM VHOST
2085 -
2086   type: "plot"
2087   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2088   algorithm: "plot_performance_box"
2089   output-file-type: ".html"
2090   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc"
2091   data:
2092     "plot-vpp-throughput-latency"
2093   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2094   parameters:
2095   - "throughput"
2096   - "parent"
2097   traces:
2098     hoverinfo: "x+y"
2099     boxpoints: "outliers"
2100     whiskerwidth: 0
2101   layout:
2102     title: "64B-1t1c-.*vhost.*-ndrdisc"
2103     xaxis:
2104       autorange: True
2105       autotick: False
2106       fixedrange: False
2107       gridcolor: "rgb(238, 238, 238)"
2108       linecolor: "rgb(238, 238, 238)"
2109       linewidth: 1
2110       showgrid: True
2111       showline: True
2112       showticklabels: True
2113       tickcolor: "rgb(238, 238, 238)"
2114       tickmode: "linear"
2115       title: "Indexed Test Cases"
2116       zeroline: False
2117     yaxis:
2118       gridcolor: "rgb(238, 238, 238)'"
2119       hoverformat: ".4s"
2120       linecolor: "rgb(238, 238, 238)"
2121       linewidth: 1
2122       range: [0, 3500000]
2123       showgrid: True
2124       showline: True
2125       showticklabels: True
2126       tickcolor: "rgb(238, 238, 238)"
2127       title: "Packets Per Second [pps]"
2128       zeroline: False
2129     boxmode: "group"
2130     boxgroupgap: 0.5
2131     autosize: False
2132     margin:
2133       t: 50
2134       b: 20
2135       l: 50
2136       r: 20
2137     showlegend: True
2138     legend:
2139       orientation: "h"
2140     width: 700
2141     height: 1000
2142
2143 -
2144   type: "plot"
2145   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2146   algorithm: "plot_performance_box"
2147   output-file-type: ".html"
2148   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc"
2149   data:
2150     "plot-vpp-throughput-latency"
2151   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2152   parameters:
2153   - "throughput"
2154   - "parent"
2155   traces:
2156     hoverinfo: "x+y"
2157     boxpoints: "outliers"
2158     whiskerwidth: 0
2159   layout:
2160     title: "64B-2t2c-.*vhost.*-ndrdisc"
2161     layout:
2162       "plot-throughput"
2163
2164 -
2165   type: "plot"
2166   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2167   algorithm: "plot_performance_box"
2168   output-file-type: ".html"
2169   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-pdrdisc"
2170   data:
2171     "plot-vpp-throughput-latency"
2172   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2173   parameters:
2174   - "throughput"
2175   - "parent"
2176   traces:
2177     hoverinfo: "x+y"
2178     boxpoints: "outliers"
2179     whiskerwidth: 0
2180   layout:
2181     title: "64B-1t1c-.*vhost.*-pdrdisc"
2182     layout:
2183       "plot-throughput"
2184
2185 -
2186   type: "plot"
2187   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2188   algorithm: "plot_performance_box"
2189   output-file-type: ".html"
2190   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-pdrdisc"
2191   data:
2192     "plot-vpp-throughput-latency"
2193   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2194   parameters:
2195   - "throughput"
2196   - "parent"
2197   traces:
2198     hoverinfo: "x+y"
2199     boxpoints: "outliers"
2200     whiskerwidth: 0
2201   layout:
2202     title: "64B-2t2c-.*vhost.*-pdrdisc"
2203     layout:
2204       "plot-throughput"
2205
2206 # VPP VM VHOST SELECTION
2207 -
2208   type: "plot"
2209   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2210   algorithm: "plot_performance_box"
2211   output-file-type: ".html"
2212   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc"
2213   data:
2214     "plot-vpp-throughput-latency"
2215   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2216   parameters:
2217   - "throughput"
2218   - "parent"
2219   traces:
2220     hoverinfo: "x+y"
2221     boxpoints: "outliers"
2222     whiskerwidth: 0
2223   layout:
2224     title: "64B-1t1c-.*vhost.*-ndrdisc"
2225     layout:
2226       "plot-throughput"
2227
2228 -
2229   type: "plot"
2230   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2231   algorithm: "plot_performance_box"
2232   output-file-type: ".html"
2233   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc"
2234   data:
2235     "plot-vpp-throughput-latency"
2236   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2237   parameters:
2238   - "throughput"
2239   - "parent"
2240   traces:
2241     hoverinfo: "x+y"
2242     boxpoints: "outliers"
2243     whiskerwidth: 0
2244   layout:
2245     title: "64B-2t2c-.*vhost.*-ndrdisc"
2246     layout:
2247       "plot-throughput"
2248
2249 -
2250   type: "plot"
2251   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2252   algorithm: "plot_performance_box"
2253   output-file-type: ".html"
2254   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-pdrdisc"
2255   data:
2256     "plot-vpp-throughput-latency"
2257   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2258   parameters:
2259   - "throughput"
2260   - "parent"
2261   traces:
2262     hoverinfo: "x+y"
2263     boxpoints: "outliers"
2264     whiskerwidth: 0
2265   layout:
2266     title: "64B-1t1c-.*vhost.*-pdrdisc"
2267     layout:
2268       "plot-throughput"
2269
2270 -
2271   type: "plot"
2272   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2273   algorithm: "plot_performance_box"
2274   output-file-type: ".html"
2275   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-pdrdisc"
2276   data:
2277     "plot-vpp-throughput-latency"
2278   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2279   parameters:
2280   - "throughput"
2281   - "parent"
2282   traces:
2283     hoverinfo: "x+y"
2284     boxpoints: "outliers"
2285     whiskerwidth: 0
2286   layout:
2287     title: "64B-2t2c-.*vhost.*-pdrdisc"
2288     layout:
2289       "plot-throughput"
2290
2291 # VPP CRYPTO
2292 -
2293   type: "plot"
2294   title: "VPP Performance 64B-1t1c-.*ipsec.*-ndrdisc"
2295   algorithm: "plot_performance_box"
2296   output-file-type: ".html"
2297   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc"
2298   data:
2299     "plot-vpp-throughput-latency"
2300   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2301   parameters:
2302   - "throughput"
2303   - "parent"
2304   traces:
2305     hoverinfo: "x+y"
2306     boxpoints: "outliers"
2307     whiskerwidth: 0
2308   layout:
2309     title: "64B-1t1c-.*ipsec.*-ndrdisc"
2310     layout:
2311       "plot-throughput"
2312
2313 -
2314   type: "plot"
2315   title: "VPP Performance 64B-2t2c-.*ipsec.*-ndrdisc"
2316   algorithm: "plot_performance_box"
2317   output-file-type: ".html"
2318   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc"
2319   data:
2320     "plot-vpp-throughput-latency"
2321   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2322   parameters:
2323   - "throughput"
2324   - "parent"
2325   traces:
2326     hoverinfo: "x+y"
2327     boxpoints: "outliers"
2328     whiskerwidth: 0
2329   layout:
2330     title: "64B-2t2c-.*ipsec.*-ndrdisc"
2331     layout:
2332       "plot-throughput"
2333
2334 -
2335   type: "plot"
2336   title: "VPP Performance 64B-1t1c-.*ipsec.*-pdrdisc"
2337   algorithm: "plot_performance_box"
2338   output-file-type: ".html"
2339   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-pdrdisc"
2340   data:
2341     "plot-vpp-throughput-latency"
2342   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2343   parameters:
2344   - "throughput"
2345   - "parent"
2346   traces:
2347     hoverinfo: "x+y"
2348     boxpoints: "outliers"
2349     whiskerwidth: 0
2350   layout:
2351     title: "64B-1t1c-.*ipsec.*-pdrdisc"
2352     layout:
2353       "plot-throughput"
2354
2355 -
2356   type: "plot"
2357   title: "VPP Performance 64B-2t2c-.*ipsec.*-pdrdisc"
2358   algorithm: "plot_performance_box"
2359   output-file-type: ".html"
2360   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-pdrdisc"
2361   data:
2362     "plot-vpp-throughput-latency"
2363   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2364   parameters:
2365   - "throughput"
2366   - "parent"
2367   traces:
2368     hoverinfo: "x+y"
2369     boxpoints: "outliers"
2370     whiskerwidth: 0
2371   layout:
2372     title: "64B-2t2c-.*ipsec.*-pdrdisc"
2373     layout:
2374       "plot-throughput"
2375
2376 # DPDK
2377 -
2378   type: "plot"
2379   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2380   algorithm: "plot_performance_box"
2381   output-file-type: ".html"
2382   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc"
2383   data:
2384     "plot-dpdk-throughput-latency"
2385   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2386   parameters:
2387   - "throughput"
2388   - "parent"
2389   traces:
2390     hoverinfo: "x+y"
2391     boxpoints: "outliers"
2392     whiskerwidth: 0
2393   layout:
2394     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2395     layout:
2396       "plot-throughput"
2397
2398 -
2399   type: "plot"
2400   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2401   algorithm: "plot_performance_box"
2402   output-file-type: ".html"
2403   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc"
2404   data:
2405     "plot-dpdk-throughput-latency"
2406   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2407   parameters:
2408   - "throughput"
2409   - "parent"
2410   traces:
2411     hoverinfo: "x+y"
2412     boxpoints: "outliers"
2413     whiskerwidth: 0
2414   layout:
2415     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2416     layout:
2417       "plot-throughput"
2418
2419 -
2420   type: "plot"
2421   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2422   algorithm: "plot_performance_box"
2423   output-file-type: ".html"
2424   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc"
2425   data:
2426     "plot-dpdk-throughput-latency"
2427   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
2428   parameters:
2429   - "throughput"
2430   - "parent"
2431   traces:
2432     hoverinfo: "x+y"
2433     boxpoints: "outliers"
2434     whiskerwidth: 0
2435   layout:
2436     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2437     xaxis:
2438       autorange: True
2439       autotick: False
2440       fixedrange: False
2441       gridcolor: "rgb(238, 238, 238)"
2442       linecolor: "rgb(238, 238, 238)"
2443       linewidth: 1
2444       showgrid: True
2445       showline: True
2446       showticklabels: True
2447       tickcolor: "rgb(238, 238, 238)"
2448       tickmode: "linear"
2449       title: "Indexed Test Cases"
2450       zeroline: False
2451     yaxis:
2452       gridcolor: "rgb(238, 238, 238)'"
2453       hoverformat: ".4s"
2454       linecolor: "rgb(238, 238, 238)"
2455       linewidth: 1
2456       range: [2000000, 12000000]
2457       showgrid: True
2458       showline: True
2459       showticklabels: True
2460       tickcolor: "rgb(238, 238, 238)"
2461       title: "Packets Per Second [pps]"
2462       zeroline: False
2463     boxmode: "group"
2464     boxgroupgap: 0.5
2465     autosize: False
2466     margin:
2467       t: 50
2468       b: 20
2469       l: 50
2470       r: 20
2471     showlegend: True
2472     legend:
2473       orientation: "h"
2474     width: 700
2475     height: 1000
2476
2477 -
2478   type: "plot"
2479   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2480   algorithm: "plot_performance_box"
2481   output-file-type: ".html"
2482   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc"
2483   data:
2484     "plot-dpdk-throughput-latency"
2485   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
2486   parameters:
2487   - "throughput"
2488   - "parent"
2489   traces:
2490     hoverinfo: "x+y"
2491     boxpoints: "outliers"
2492     whiskerwidth: 0
2493   layout:
2494     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2495     xaxis:
2496       autorange: True
2497       autotick: False
2498       fixedrange: False
2499       gridcolor: "rgb(238, 238, 238)"
2500       linecolor: "rgb(238, 238, 238)"
2501       linewidth: 1
2502       showgrid: True
2503       showline: True
2504       showticklabels: True
2505       tickcolor: "rgb(238, 238, 238)"
2506       tickmode: "linear"
2507       title: "Indexed Test Cases"
2508       zeroline: False
2509     yaxis:
2510       gridcolor: "rgb(238, 238, 238)'"
2511       hoverformat: ".4s"
2512       linecolor: "rgb(238, 238, 238)"
2513       linewidth: 1
2514       range: [2000000, 12000000]
2515       showgrid: True
2516       showline: True
2517       showticklabels: True
2518       tickcolor: "rgb(238, 238, 238)"
2519       title: "Packets Per Second [pps]"
2520       zeroline: False
2521     boxmode: "group"
2522     boxgroupgap: 0.5
2523     autosize: False
2524     margin:
2525       t: 50
2526       b: 20
2527       l: 50
2528       r: 20
2529     showlegend: True
2530     legend:
2531       orientation: "h"
2532     width: 700
2533     height: 1000
2534
2535 -
2536   type: "plot"
2537   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2538   algorithm: "plot_performance_box"
2539   output-file-type: ".html"
2540   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-pdrdisc"
2541   data:
2542     "plot-dpdk-throughput-latency"
2543   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2544   parameters:
2545   - "throughput"
2546   - "parent"
2547   traces:
2548     hoverinfo: "x+y"
2549     boxpoints: "outliers"
2550     whiskerwidth: 0
2551   layout:
2552     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2553     layout:
2554       "plot-throughput"
2555
2556 -
2557   type: "plot"
2558   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2559   algorithm: "plot_performance_box"
2560   output-file-type: ".html"
2561   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-pdrdisc"
2562   data:
2563     "plot-dpdk-throughput-latency"
2564   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2565   parameters:
2566   - "throughput"
2567   - "parent"
2568   traces:
2569     hoverinfo: "x+y"
2570     boxpoints: "outliers"
2571     whiskerwidth: 0
2572   layout:
2573     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2574     layout:
2575       "plot-throughput"
2576
2577 -
2578   type: "plot"
2579   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
2580   algorithm: "plot_performance_box"
2581   output-file-type: ".html"
2582   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-pdrdisc"
2583   data:
2584     "plot-dpdk-throughput-latency"
2585   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD'"
2586   parameters:
2587   - "throughput"
2588   - "parent"
2589   traces:
2590     hoverinfo: "x+y"
2591     boxpoints: "outliers"
2592     whiskerwidth: 0
2593   layout:
2594     title: "64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
2595     xaxis:
2596       autorange: True
2597       autotick: False
2598       fixedrange: False
2599       gridcolor: "rgb(238, 238, 238)"
2600       linecolor: "rgb(238, 238, 238)"
2601       linewidth: 1
2602       showgrid: True
2603       showline: True
2604       showticklabels: True
2605       tickcolor: "rgb(238, 238, 238)"
2606       tickmode: "linear"
2607       title: "Indexed Test Cases"
2608       zeroline: False
2609     yaxis:
2610       gridcolor: "rgb(238, 238, 238)'"
2611       hoverformat: ".4s"
2612       linecolor: "rgb(238, 238, 238)"
2613       linewidth: 1
2614       range: [20000000, 30000000]
2615       showgrid: True
2616       showline: True
2617       showticklabels: True
2618       tickcolor: "rgb(238, 238, 238)"
2619       title: "Packets Per Second [pps]"
2620       zeroline: False
2621     boxmode: "group"
2622     boxgroupgap: 0.5
2623     autosize: False
2624     margin:
2625       t: 50
2626       b: 20
2627       l: 50
2628       r: 20
2629     showlegend: True
2630     legend:
2631       orientation: "h"
2632     width: 700
2633     height: 1000
2634
2635 -
2636   type: "plot"
2637   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
2638   algorithm: "plot_performance_box"
2639   output-file-type: ".html"
2640   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-pdrdisc"
2641   data:
2642     "plot-dpdk-throughput-latency"
2643   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD'"
2644   parameters:
2645   - "throughput"
2646   - "parent"
2647   traces:
2648     hoverinfo: "x+y"
2649     boxpoints: "outliers"
2650     whiskerwidth: 0
2651   layout:
2652     title: "64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
2653     xaxis:
2654       autorange: True
2655       autotick: False
2656       fixedrange: False
2657       gridcolor: "rgb(238, 238, 238)"
2658       linecolor: "rgb(238, 238, 238)"
2659       linewidth: 1
2660       showgrid: True
2661       showline: True
2662       showticklabels: True
2663       tickcolor: "rgb(238, 238, 238)"
2664       tickmode: "linear"
2665       title: "Indexed Test Cases"
2666       zeroline: False
2667     yaxis:
2668       gridcolor: "rgb(238, 238, 238)'"
2669       hoverformat: ".4s"
2670       linecolor: "rgb(238, 238, 238)"
2671       linewidth: 1
2672       range: [20000000, 30000000]
2673       showgrid: True
2674       showline: True
2675       showticklabels: True
2676       tickcolor: "rgb(238, 238, 238)"
2677       title: "Packets Per Second [pps]"
2678       zeroline: False
2679     boxmode: "group"
2680     boxgroupgap: 0.5
2681     autosize: False
2682     margin:
2683       t: 50
2684       b: 20
2685       l: 50
2686       r: 20
2687     showlegend: True
2688     legend:
2689       orientation: "h"
2690     width: 700
2691     height: 1000
2692
2693 # Plot latency
2694
2695 # VPP L2 sel1
2696 -
2697   type: "plot"
2698   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2699   algorithm: "plot_latency_box"
2700   output-file-type: ".html"
2701   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc-lat50"
2702   data:
2703     "plot-vpp-throughput-latency"
2704   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2705   parameters:
2706   - "latency"
2707   - "parent"
2708   traces:
2709     boxmean: False
2710   layout:
2711     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2712     layout:
2713       "plot-latency"
2714
2715 -
2716   type: "plot"
2717   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2718   algorithm: "plot_latency_box"
2719   output-file-type: ".html"
2720   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc-lat50"
2721   data:
2722     "plot-vpp-throughput-latency"
2723   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2724   parameters:
2725   - "latency"
2726   - "parent"
2727   traces:
2728     boxmean: False
2729   layout:
2730     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2731     layout:
2732       "plot-latency"
2733
2734 # VPP L2 sel2
2735 -
2736   type: "plot"
2737   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2738   algorithm: "plot_latency_box"
2739   output-file-type: ".html"
2740   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc-lat50"
2741   data:
2742     "plot-vpp-throughput-latency"
2743   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2744   parameters:
2745   - "latency"
2746   - "parent"
2747   traces:
2748     boxmean: False
2749   layout:
2750     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2751     layout:
2752       "plot-latency"
2753
2754 -
2755   type: "plot"
2756   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2757   algorithm: "plot_latency_box"
2758   output-file-type: ".html"
2759   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc-lat50"
2760   data:
2761     "plot-vpp-throughput-latency"
2762   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2763   parameters:
2764   - "latency"
2765   - "parent"
2766   traces:
2767     boxmean: False
2768   layout:
2769     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2770     layout:
2771       "plot-latency"
2772
2773 # VPP IP4
2774 -
2775   type: "plot"
2776   title: "VPP Latency 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2777   algorithm: "plot_latency_box"
2778   output-file-type: ".html"
2779   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc-lat50"
2780   data:
2781     "plot-vpp-throughput-latency"
2782   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
2783   parameters:
2784   - "latency"
2785   - "parent"
2786   traces:
2787     boxmean: False
2788   layout:
2789     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2790     layout:
2791       "plot-latency"
2792
2793 -
2794   type: "plot"
2795   title: "VPP Latency 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2796   algorithm: "plot_latency_box"
2797   output-file-type: ".html"
2798   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc-lat50"
2799   data:
2800     "plot-vpp-throughput-latency"
2801   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
2802   parameters:
2803   - "latency"
2804   - "parent"
2805   traces:
2806     boxmean: False
2807   layout:
2808     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2809     layout:
2810       "plot-latency"
2811
2812 # VPP IP6
2813 -
2814   type: "plot"
2815   title: "VPP Latency 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2816   algorithm: "plot_latency_box"
2817   output-file-type: ".html"
2818   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc-lat50"
2819   data:
2820     "plot-vpp-throughput-latency"
2821   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2822   parameters:
2823   - "latency"
2824   - "parent"
2825   traces:
2826     boxmean: False
2827   layout:
2828     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2829     layout:
2830       "plot-latency"
2831
2832 -
2833   type: "plot"
2834   title: "VPP Latency 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2835   algorithm: "plot_latency_box"
2836   output-file-type: ".html"
2837   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc-lat50"
2838   data:
2839     "plot-vpp-throughput-latency"
2840   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2841   parameters:
2842   - "latency"
2843   - "parent"
2844   traces:
2845     boxmean: False
2846   layout:
2847     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2848     layout:
2849       "plot-latency"
2850
2851 # VPP IP4_overlay
2852 -
2853   type: "plot"
2854   title: "VPP Latency 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2855   algorithm: "plot_latency_box"
2856   output-file-type: ".html"
2857   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc-lat50"
2858   data:
2859     "plot-vpp-throughput-latency"
2860   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2861   parameters:
2862   - "latency"
2863   - "parent"
2864   traces:
2865     boxmean: False
2866   layout:
2867     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2868     layout:
2869       "plot-latency"
2870
2871 -
2872   type: "plot"
2873   title: "VPP Latency 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2874   algorithm: "plot_latency_box"
2875   output-file-type: ".html"
2876   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc-lat50"
2877   data:
2878     "plot-vpp-throughput-latency"
2879   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2880   parameters:
2881   - "latency"
2882   - "parent"
2883   traces:
2884     boxmean: False
2885   layout:
2886     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2887     layout:
2888       "plot-latency"
2889
2890 # VPP IP6_overlay
2891 -
2892   type: "plot"
2893   title: "VPP Latency 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2894   algorithm: "plot_latency_box"
2895   output-file-type: ".html"
2896   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc-lat50"
2897   data:
2898     "plot-vpp-throughput-latency"
2899   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2900   parameters:
2901   - "latency"
2902   - "parent"
2903   traces:
2904     boxmean: False
2905   layout:
2906     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2907     layout:
2908       "plot-latency"
2909
2910 -
2911   type: "plot"
2912   title: "VPP Latency 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2913   algorithm: "plot_latency_box"
2914   output-file-type: ".html"
2915   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc-lat50"
2916   data:
2917     "plot-vpp-throughput-latency"
2918   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2919   parameters:
2920   - "latency"
2921   - "parent"
2922   traces:
2923     boxmean: False
2924   layout:
2925     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2926     layout:
2927       "plot-latency"
2928
2929 # VPP VM VHOST
2930 -
2931   type: "plot"
2932   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
2933   algorithm: "plot_latency_box"
2934   output-file-type: ".html"
2935   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc-lat50"
2936   data:
2937     "plot-vpp-throughput-latency"
2938   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2939   parameters:
2940   - "latency"
2941   - "parent"
2942   traces:
2943     boxmean: False
2944   layout:
2945     title: "64B-1t1c-.*vhost.*-ndrdisc"
2946     layout:
2947       "plot-latency"
2948
2949 -
2950   type: "plot"
2951   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
2952   algorithm: "plot_latency_box"
2953   output-file-type: ".html"
2954   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc-lat50"
2955   data:
2956     "plot-vpp-throughput-latency"
2957   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2958   parameters:
2959   - "latency"
2960   - "parent"
2961   traces:
2962     boxmean: False
2963   layout:
2964     title: "64B-2t2c-.*vhost.*-ndrdisc"
2965     layout:
2966       "plot-latency"
2967
2968 # VPP VM VHOST selection
2969 -
2970   type: "plot"
2971   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
2972   algorithm: "plot_latency_box"
2973   output-file-type: ".html"
2974   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc-lat50"
2975   data:
2976     "plot-vpp-throughput-latency"
2977   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2978   parameters:
2979   - "latency"
2980   - "parent"
2981   traces:
2982     boxmean: False
2983   layout:
2984     title: "64B-1t1c-.*vhost.*-ndrdisc"
2985     layout:
2986       "plot-latency"
2987
2988 -
2989   type: "plot"
2990   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
2991   algorithm: "plot_latency_box"
2992   output-file-type: ".html"
2993   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc-lat50"
2994   data:
2995     "plot-vpp-throughput-latency"
2996   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2997   parameters:
2998   - "latency"
2999   - "parent"
3000   traces:
3001     boxmean: False
3002   layout:
3003     title: "64B-2t2c-.*vhost.*-ndrdisc"
3004     layout:
3005       "plot-latency"
3006
3007 # VPP CRYPTO
3008 -
3009   type: "plot"
3010   title: "VPP Latency 64B-1t1c-.*ipsec.*-ndrdisc"
3011   algorithm: "plot_latency_box"
3012   output-file-type: ".html"
3013   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc-lat50"
3014   data:
3015     "plot-vpp-throughput-latency"
3016   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
3017   parameters:
3018   - "latency"
3019   - "parent"
3020   traces:
3021     boxmean: False
3022   layout:
3023     title: "64B-1t1c-.*ipsec.*-ndrdisc"
3024     layout:
3025       "plot-latency"
3026
3027 -
3028   type: "plot"
3029   title: "VPP Latency 64B-2t2c-.*ipsec.*-ndrdisc"
3030   algorithm: "plot_latency_box"
3031   output-file-type: ".html"
3032   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc-lat50"
3033   data:
3034     "plot-vpp-throughput-latency"
3035   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
3036   parameters:
3037   - "latency"
3038   - "parent"
3039   traces:
3040     boxmean: False
3041   layout:
3042     title: "64B-2t2c-.*ipsec.*-ndrdisc"
3043     layout:
3044       "plot-latency"
3045
3046 # DPDK
3047 -
3048   type: "plot"
3049   title: "DPDK Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3050   algorithm: "plot_latency_box"
3051   output-file-type: ".html"
3052   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc-lat50"
3053   data:
3054     "plot-dpdk-throughput-latency"
3055   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3056   parameters:
3057   - "latency"
3058   - "parent"
3059   traces:
3060     boxmean: False
3061   layout:
3062     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3063     layout:
3064       "plot-latency"
3065
3066 -
3067   type: "plot"
3068   title: "DPDK Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3069   algorithm: "plot_latency_box"
3070   output-file-type: ".html"
3071   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc-lat50"
3072   data:
3073     "plot-dpdk-throughput-latency"
3074   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3075   parameters:
3076   - "latency"
3077   - "parent"
3078   traces:
3079     boxmean: False
3080   layout:
3081     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3082     layout:
3083       "plot-latency"
3084
3085 -
3086   type: "plot"
3087   title: "DPDK Latency 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3088   algorithm: "plot_latency_box"
3089   output-file-type: ".html"
3090   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc-lat50"
3091   data:
3092     "plot-dpdk-throughput-latency"
3093   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
3094   parameters:
3095   - "latency"
3096   - "parent"
3097   traces:
3098     boxmean: False
3099   layout:
3100     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3101     layout:
3102       "plot-latency"
3103
3104 -
3105   type: "plot"
3106   title: "DPDK Latency 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3107   algorithm: "plot_latency_box"
3108   output-file-type: ".html"
3109   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc-lat50"
3110   data:
3111     "plot-dpdk-throughput-latency"
3112   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
3113   parameters:
3114   - "latency"
3115   - "parent"
3116   traces:
3117     boxmean: False
3118   layout:
3119     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3120     layout:
3121       "plot-latency"
3122
3123 # Ligato - Throughput
3124
3125 # Container memif
3126 -
3127   type: "plot"
3128   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3129   algorithm: "plot_performance_box"
3130   output-file-type: ".html"
3131   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc"
3132   data:
3133     "plot-vpp-throughput-latency"
3134   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3135   parameters:
3136   - "throughput"
3137   - "parent"
3138   traces:
3139     hoverinfo: "x+y"
3140     boxpoints: "outliers"
3141     whiskerwidth: 0
3142   layout:
3143     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3144     xaxis:
3145       autorange: True
3146       autotick: False
3147       fixedrange: False
3148       gridcolor: "rgb(238, 238, 238)"
3149       linecolor: "rgb(238, 238, 238)"
3150       linewidth: 1
3151       showgrid: True
3152       showline: True
3153       showticklabels: True
3154       tickcolor: "rgb(238, 238, 238)"
3155       tickmode: "linear"
3156       title: "Indexed Test Cases"
3157       zeroline: False
3158     yaxis:
3159       gridcolor: "rgb(238, 238, 238)'"
3160       hoverformat: ".4s"
3161       linecolor: "rgb(238, 238, 238)"
3162       linewidth: 1
3163       range: [0, 4500000]
3164       showgrid: True
3165       showline: True
3166       showticklabels: True
3167       tickcolor: "rgb(238, 238, 238)"
3168       title: "Packets Per Second [pps]"
3169       zeroline: False
3170     boxmode: "group"
3171     boxgroupgap: 0.5
3172     autosize: False
3173     margin:
3174       t: 50
3175       b: 20
3176       l: 50
3177       r: 20
3178     showlegend: True
3179     legend:
3180       orientation: "h"
3181     width: 700
3182     height: 1000
3183
3184 -
3185   type: "plot"
3186   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3187   algorithm: "plot_performance_box"
3188   output-file-type: ".html"
3189   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc"
3190   data:
3191     "plot-vpp-throughput-latency"
3192   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3193   parameters:
3194   - "throughput"
3195   - "parent"
3196   traces:
3197     hoverinfo: "x+y"
3198     boxpoints: "outliers"
3199     whiskerwidth: 0
3200   layout:
3201     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3202     xaxis:
3203       autorange: True
3204       autotick: False
3205       fixedrange: False
3206       gridcolor: "rgb(238, 238, 238)"
3207       linecolor: "rgb(238, 238, 238)"
3208       linewidth: 1
3209       showgrid: True
3210       showline: True
3211       showticklabels: True
3212       tickcolor: "rgb(238, 238, 238)"
3213       tickmode: "linear"
3214       title: "Indexed Test Cases"
3215       zeroline: False
3216     yaxis:
3217       gridcolor: "rgb(238, 238, 238)'"
3218       hoverformat: ".4s"
3219       linecolor: "rgb(238, 238, 238)"
3220       linewidth: 1
3221       range: [0, 8000000]
3222       showgrid: True
3223       showline: True
3224       showticklabels: True
3225       tickcolor: "rgb(238, 238, 238)"
3226       title: "Packets Per Second [pps]"
3227       zeroline: False
3228     boxmode: "group"
3229     boxgroupgap: 0.5
3230     autosize: False
3231     margin:
3232       t: 50
3233       b: 20
3234       l: 50
3235       r: 20
3236     showlegend: True
3237     legend:
3238       orientation: "h"
3239     width: 700
3240     height: 1000
3241
3242 -
3243   type: "plot"
3244   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3245   algorithm: "plot_performance_box"
3246   output-file-type: ".html"
3247   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-pdrdisc"
3248   data:
3249     "plot-vpp-throughput-latency"
3250   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3251   parameters:
3252   - "throughput"
3253   - "parent"
3254   traces:
3255     hoverinfo: "x+y"
3256     boxpoints: "outliers"
3257     whiskerwidth: 0
3258   layout:
3259     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3260     xaxis:
3261       autorange: True
3262       autotick: False
3263       fixedrange: False
3264       gridcolor: "rgb(238, 238, 238)"
3265       linecolor: "rgb(238, 238, 238)"
3266       linewidth: 1
3267       showgrid: True
3268       showline: True
3269       showticklabels: True
3270       tickcolor: "rgb(238, 238, 238)"
3271       tickmode: "linear"
3272       title: "Indexed Test Cases"
3273       zeroline: False
3274     yaxis:
3275       gridcolor: "rgb(238, 238, 238)'"
3276       hoverformat: ".4s"
3277       linecolor: "rgb(238, 238, 238)"
3278       linewidth: 1
3279       range: [0, 4500000]
3280       showgrid: True
3281       showline: True
3282       showticklabels: True
3283       tickcolor: "rgb(238, 238, 238)"
3284       title: "Packets Per Second [pps]"
3285       zeroline: False
3286     boxmode: "group"
3287     boxgroupgap: 0.5
3288     autosize: False
3289     margin:
3290       t: 50
3291       b: 20
3292       l: 50
3293       r: 20
3294     showlegend: True
3295     legend:
3296       orientation: "h"
3297     width: 700
3298     height: 1000
3299
3300 -
3301   type: "plot"
3302   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3303   algorithm: "plot_performance_box"
3304   output-file-type: ".html"
3305   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-pdrdisc"
3306   data:
3307     "plot-vpp-throughput-latency"
3308   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3309   parameters:
3310   - "throughput"
3311   - "parent"
3312   traces:
3313     hoverinfo: "x+y"
3314     boxpoints: "outliers"
3315     whiskerwidth: 0
3316   layout:
3317     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3318     xaxis:
3319       autorange: True
3320       autotick: False
3321       fixedrange: False
3322       gridcolor: "rgb(238, 238, 238)"
3323       linecolor: "rgb(238, 238, 238)"
3324       linewidth: 1
3325       showgrid: True
3326       showline: True
3327       showticklabels: True
3328       tickcolor: "rgb(238, 238, 238)"
3329       tickmode: "linear"
3330       title: "Indexed Test Cases"
3331       zeroline: False
3332     yaxis:
3333       gridcolor: "rgb(238, 238, 238)'"
3334       hoverformat: ".4s"
3335       linecolor: "rgb(238, 238, 238)"
3336       linewidth: 1
3337       range: [0, 8000000]
3338       showgrid: True
3339       showline: True
3340       showticklabels: True
3341       tickcolor: "rgb(238, 238, 238)"
3342       title: "Packets Per Second [pps]"
3343       zeroline: False
3344     boxmode: "group"
3345     boxgroupgap: 0.5
3346     autosize: False
3347     margin:
3348       t: 50
3349       b: 20
3350       l: 50
3351       r: 20
3352     showlegend: True
3353     legend:
3354       orientation: "h"
3355     width: 700
3356     height: 1000
3357
3358 # Container orchestrated
3359 -
3360   type: "plot"
3361   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3362   algorithm: "plot_performance_box"
3363   output-file-type: ".html"
3364   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc"
3365   data:
3366     "plot-ligato-throughput-latency"
3367   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3368   parameters:
3369   - "throughput"
3370   - "parent"
3371   traces:
3372     hoverinfo: "x+y"
3373     boxpoints: "outliers"
3374     whiskerwidth: 0
3375   layout:
3376     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3377     layout:
3378       "plot-throughput"
3379
3380 -
3381   type: "plot"
3382   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3383   algorithm: "plot_performance_box"
3384   output-file-type: ".html"
3385   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc"
3386   data:
3387     "plot-ligato-throughput-latency"
3388   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3389   parameters:
3390   - "throughput"
3391   - "parent"
3392   traces:
3393     hoverinfo: "x+y"
3394     boxpoints: "outliers"
3395     whiskerwidth: 0
3396   layout:
3397     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3398     layout:
3399       "plot-throughput"
3400
3401 -
3402   type: "plot"
3403   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3404   algorithm: "plot_performance_box"
3405   output-file-type: ".html"
3406   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-pdrdisc"
3407   data:
3408     "plot-ligato-throughput-latency"
3409   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3410   parameters:
3411   - "throughput"
3412   - "parent"
3413   traces:
3414     hoverinfo: "x+y"
3415     boxpoints: "outliers"
3416     whiskerwidth: 0
3417   layout:
3418     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3419     layout:
3420       "plot-throughput"
3421
3422 -
3423   type: "plot"
3424   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3425   algorithm: "plot_performance_box"
3426   output-file-type: ".html"
3427   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-pdrdisc"
3428   data:
3429     "plot-ligato-throughput-latency"
3430   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3431   parameters:
3432   - "throughput"
3433   - "parent"
3434   traces:
3435     hoverinfo: "x+y"
3436     boxpoints: "outliers"
3437     whiskerwidth: 0
3438   layout:
3439     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3440     layout:
3441       "plot-throughput"
3442
3443 # Ligato - Latency
3444
3445 # Container memif
3446 -
3447   type: "plot"
3448   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3449   algorithm: "plot_latency_box"
3450   output-file-type: ".html"
3451   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc-lat50"
3452   data:
3453     "plot-vpp-throughput-latency"
3454   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3455   parameters:
3456   - "latency"
3457   - "parent"
3458   traces:
3459     boxmean: False
3460   layout:
3461     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3462     layout:
3463       "plot-latency"
3464
3465 -
3466   type: "plot"
3467   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3468   algorithm: "plot_latency_box"
3469   output-file-type: ".html"
3470   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc-lat50"
3471   data:
3472     "plot-vpp-throughput-latency"
3473   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3474   parameters:
3475   - "latency"
3476   - "parent"
3477   traces:
3478     boxmean: False
3479   layout:
3480     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3481     layout:
3482       "plot-latency"
3483
3484 # Container orchestrated
3485 -
3486   type: "plot"
3487   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3488   algorithm: "plot_latency_box"
3489   output-file-type: ".html"
3490   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc-lat50"
3491   data:
3492     "plot-ligato-throughput-latency"
3493   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3494   parameters:
3495   - "latency"
3496   - "parent"
3497   traces:
3498     boxmean: False
3499   layout:
3500     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3501     layout:
3502       "plot-latency"
3503
3504 -
3505   type: "plot"
3506   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3507   algorithm: "plot_latency_box"
3508   output-file-type: ".html"
3509   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc-lat50"
3510   data:
3511     "plot-ligato-throughput-latency"
3512   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3513   parameters:
3514   - "latency"
3515   - "parent"
3516   traces:
3517     boxmean: False
3518   layout:
3519     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3520     layout:
3521       "plot-latency"