resources/tools/presentation/specification.yaml

   1 -
   2   type: "environment"
   3   configuration:
   4     # Debug mode:
   5     # - Skip:
   6     #   - Download of input data files
   7     # - Do:
   8     #   - Read data from given zip / xml files
   9     #   - Set the configuration as it is done in normal mode
  10     # If the section "type: debug" is missing, CFG[DEBUG] is set to 0.
  11     CFG[DEBUG]: 0
  12
  13   paths:
  14     # Top level directories:
  15     ## Working directory
  16     DIR[WORKING]: "_tmp"
  17     ## Build directories
  18     DIR[BUILD,HTML]: "_build"
  19     DIR[BUILD,LATEX]: "_build_latex"
  20
  21     # Static .rst files
  22     DIR[RST]: "../../../docs/report"
  23
  24     # Working directories
  25     ## Input data files (.zip, .xml)
  26     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
  27     ## Static source files from git
  28     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
  29     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
  30
  31     # Static html content
  32     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
  33     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
  34     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
  35     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
  36
  37     # Detailed test results
  38     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
  39     DIR[DTR,PERF,DPDK]: "{DIR[DTR]}/dpdk_performance_results"
  40     DIR[DTR,PERF,VPP]: "{DIR[DTR]}/vpp_performance_results"
  41     DIR[DTR,PERF,COT]: "{DIR[DTR]}/cot_performance_results"
  42     DIR[DTR,PERF,HC]: "{DIR[DTR]}/honeycomb_performance_results"
  43     DIR[DTR,FUNC,VPP]: "{DIR[DTR]}/vpp_functional_results"
  44     DIR[DTR,FUNC,HC]: "{DIR[DTR]}/honeycomb_functional_results"
  45     DIR[DTR,FUNC,NSHSFC]: "{DIR[DTR]}/nshsfc_functional_results"
  46     DIR[DTR,PERF,VPP,IMPRV]: "{DIR[WORKING,SRC]}/vpp_performance_tests/performance_improvements"
  47
  48     # Detailed test configurations
  49     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
  50     DIR[DTC,PERF,VPP]: "{DIR[DTC]}/vpp_performance_configuration"
  51     DIR[DTC,FUNC,VPP]: "{DIR[DTC]}/vpp_functional_configuration"
  52
  53     # Detailed tests operational data
  54     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
  55     DIR[DTO,PERF,VPP]: "{DIR[DTO]}/vpp_performance_operational_data"
  56
  57     # .css patch file to fix tables generated by Sphinx
  58     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
  59     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
  60
  61   urls:
  62     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
  63     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
  64     URL[NEXUS]: "https://docs.fd.io/csit"
  65     DIR[NEXUS]: "report/_static/archive"
  66
  67   make-dirs:
  68   # List the directories which are created while preparing the environment.
  69   # All directories MUST be defined in "paths" section.
  70   - "DIR[WORKING,DATA]"
  71   - "DIR[STATIC,VPP]"
  72   - "DIR[STATIC,DPDK]"
  73   - "DIR[STATIC,ARCH]"
  74   - "DIR[BUILD,LATEX]"
  75   - "DIR[WORKING,SRC]"
  76   - "DIR[WORKING,SRC,STATIC]"
  77
  78   remove-dirs:
  79   # List the directories which are deleted while cleaning the environment.
  80   # All directories MUST be defined in "paths" section.
  81   #- "DIR[BUILD,HTML]"
  82
  83   build-dirs:
  84   # List the directories where the results (build) is stored.
  85   # All directories MUST be defined in "paths" section.
  86   - "DIR[BUILD,HTML]"
  87   - "DIR[BUILD,LATEX]"
  88
  89 -
  90   type: "configuration"
  91   data-sets:
  92     plot-vpp-http-server-performance:
  93 # TODO: Add the data sources
  94       csit-vpp-perf-1801-all:
  95       - 157
  96       - 158
  97       - 159
  98       - 160
  99       - 161
 100       - 164
 101       - 165
 102       - 166
 103       - 168
 104       - 169
 105       - 170
 106 # TODO: Add the data sources
 107 #    vpp-meltdown-impact:
 108 #      csit-vpp-perf-1707-all:
 109 #      - 9
 110 #      - 10
 111 #      - 13
 112 #      csit-vpp-perf-1710-all:
 113 #      - 11l
 114 #      - 12
 115 #      - 13
 116 # TODO: Add the data sources
 117 #    vpp-spectre-impact:
 118 #      csit-vpp-perf-1707-all:
 119 #      - 9
 120 #      - 10
 121 #      - 13
 122 #      csit-vpp-perf-1710-all:
 123 #      - 11
 124 #      - 12
 125 #      - 13
 126     vpp-performance-changes:
 127       csit-vpp-perf-1710-all:
 128       - 11
 129       - 12
 130       - 13
 131       - 14
 132       - 15
 133       - 16
 134       - 17
 135       - 18
 136       - 19
 137       - 20
 138       csit-vpp-perf-1801-all:
 139       - 124  # sel
 140       - 127  # sel
 141       - 128  # sel
 142       - 141  # sel
 143       - 142  # sel
 144       - 143  # sel
 145       - 145  # sel
 146       - 146  # sel
 147       - 162  # sel
 148       - 163  # sel
 149       - 167  # sel
 150       - 172  # sel acl only
 151       csit-vpp-perf-1804-all:
 152       - 1   # sel
 153       - 13  # sel
 154     vpp-performance-changes-mrr:
 155       csit-vpp-perf-check-1801:
 156       - 1
 157       - 2
 158       - 3
 159       - 4
 160       - 5
 161       - 6
 162       - 7
 163       - 8
 164       - 9
 165       - 11
 166       - 12
 167       - 13
 168       csit-vpp-perf-check-1804:
 169       - 1   # mrr
 170       - 2   # mrr
 171       - 3   # mrr
 172       - 4   # mrr
 173     plot-throughput-speedup-analysis:
 174       csit-vpp-perf-1804-all:
 175       - 1   # sel
 176       - 13  # sel
 177 #    performance-improvements:
 178 #      csit-vpp-perf-1707-all:
 179 #      - 9
 180 #      - 10
 181 #      - 13
 182 #      - 14
 183 #      - 15
 184 #      - 16
 185 #      - 17
 186 #      - 18
 187 #      - 19
 188 #      - 21
 189 #      csit-vpp-perf-1710-all:
 190 #      - 11
 191 #      - 12
 192 #      - 13
 193 #      - 14
 194 #      - 15
 195 #      - 16
 196 #      - 17
 197 #      - 18
 198 #      - 19
 199 #      - 20
 200 #      csit-vpp-perf-1801-all:
 201 #      - 124
 202 #      - 127
 203 #      - 128
 204 #      csit-ligato-perf-1710-all:
 205 #      - 5
 206 #      - 7
 207 #      - 8
 208 #      - 9
 209 #      - 10
 210 #      - 11
 211 #      - 12
 212 #      - 13
 213 #      - 16
 214 #      - 17
 215 #      csit-ligato-perf-1801-all:
 216 #      - 16  # sel
 217 #      - 17  # sel
 218 #      - 18  # sel
 219 #      - 19  # sel
 220 #      - 20  # sel
 221 #      - 21  # sel
 222 #      - 22  # sel
 223 #      - 23  # sel
 224 #      - 24  # sel
 225     vpp-perf-results:
 226       # Replace by full
 227       csit-vpp-perf-1804-all:
 228       - 1   # sel
 229       - 13  # sel
 230     vpp-func-results:
 231       csit-vpp-functional-1801-ubuntu1604-virl:
 232       - "lastSuccessfulBuild"
 233     ligato-perf-results:
 234       csit-ligato-perf-1801-all:
 235       - 25  # full
 236     dpdk-perf-results:
 237       csit-dpdk-perf-1804-all:
 238       - 15
 239     hc-func-results:
 240       csit-hc2vpp-verify-func-1801-ubuntu1604:
 241       - "lastSuccessfulBuild"
 242     nsh-func-results:
 243       csit-nsh_sfc-verify-func-1801-ubuntu1604-virl:
 244       - 1
 245     plot-vpp-throughput-latency:
 246       csit-vpp-perf-1804-all:
 247       - 1   # sel
 248       - 13  # sel
 249     plot-dpdk-throughput-latency:
 250       csit-dpdk-perf-1804-all:
 251       - 4
 252       - 5
 253       - 6
 254       - 7
 255       - 8
 256       - 9
 257       - 10
 258       - 11
 259       - 12
 260       - 13
 261       - 14
 262       - 15
 263     plot-ligato-throughput-latency:
 264       csit-ligato-perf-1801-all:
 265       - 16  # sel
 266       - 17  # sel
 267       - 18  # sel
 268       - 19  # sel
 269       - 20  # sel
 270       - 21  # sel
 271       - 22  # sel
 272       - 23  # sel
 273       - 24  # sel
 274
 275   plot-layouts:
 276
 277     plot-cps:
 278       xaxis:
 279         autorange: True
 280         autotick: False
 281         fixedrange: False
 282         gridcolor: "rgb(238, 238, 238)"
 283         linecolor: "rgb(238, 238, 238)"
 284         linewidth: 1
 285         showgrid: True
 286         showline: True
 287         showticklabels: True
 288         tickcolor: "rgb(238, 238, 238)"
 289         tickmode: "linear"
 290         title: "Indexed Test Cases"
 291         zeroline: False
 292       yaxis:
 293         gridcolor: "rgb(238, 238, 238)'"
 294         hoverformat: ".4s"
 295         linecolor: "rgb(238, 238, 238)"
 296         linewidth: 1
 297         range: []
 298         rangemode: "tozero"
 299         showgrid: True
 300         showline: True
 301         showticklabels: True
 302         tickcolor: "rgb(238, 238, 238)"
 303         title: "Connections Per Second [cps]"
 304         zeroline: False
 305       boxmode: "group"
 306       boxgroupgap: 0.5
 307       autosize: False
 308       margin:
 309         t: 50
 310         b: 20
 311         l: 50
 312         r: 20
 313       showlegend: True
 314       legend:
 315         orientation: "h"
 316       width: 700
 317       height: 1000
 318
 319     plot-rps:
 320       xaxis:
 321         autorange: True
 322         autotick: False
 323         fixedrange: False
 324         gridcolor: "rgb(238, 238, 238)"
 325         linecolor: "rgb(238, 238, 238)"
 326         linewidth: 1
 327         showgrid: True
 328         showline: True
 329         showticklabels: True
 330         tickcolor: "rgb(238, 238, 238)"
 331         tickmode: "linear"
 332         title: "Indexed Test Cases"
 333         zeroline: False
 334       yaxis:
 335         gridcolor: "rgb(238, 238, 238)'"
 336         hoverformat: ".4s"
 337         linecolor: "rgb(238, 238, 238)"
 338         linewidth: 1
 339         range: []
 340         rangemode: "tozero"
 341         showgrid: True
 342         showline: True
 343         showticklabels: True
 344         tickcolor: "rgb(238, 238, 238)"
 345         title: "Requests Per Second [rps]"
 346         zeroline: False
 347       boxmode: "group"
 348       boxgroupgap: 0.5
 349       autosize: False
 350       margin:
 351         t: 50
 352         b: 20
 353         l: 50
 354         r: 20
 355       showlegend: True
 356       legend:
 357         orientation: "h"
 358       width: 700
 359       height: 1000
 360
 361     plot-throughput:
 362       xaxis:
 363         autorange: True
 364         autotick: False
 365         fixedrange: False
 366         gridcolor: "rgb(238, 238, 238)"
 367         linecolor: "rgb(238, 238, 238)"
 368         linewidth: 1
 369         showgrid: True
 370         showline: True
 371         showticklabels: True
 372         tickcolor: "rgb(238, 238, 238)"
 373         tickmode: "linear"
 374         title: "Indexed Test Cases"
 375         zeroline: False
 376       yaxis:
 377         gridcolor: "rgb(238, 238, 238)'"
 378         hoverformat: ".4s"
 379         linecolor: "rgb(238, 238, 238)"
 380         linewidth: 1
 381         range: []
 382         showgrid: True
 383         showline: True
 384         showticklabels: True
 385         tickcolor: "rgb(238, 238, 238)"
 386         title: "Packets Per Second [pps]"
 387         zeroline: False
 388       boxmode: "group"
 389       boxgroupgap: 0.5
 390       autosize: False
 391       margin:
 392         t: 50
 393         b: 20
 394         l: 50
 395         r: 20
 396       showlegend: True
 397       legend:
 398         orientation: "h"
 399       width: 700
 400       height: 1000
 401
 402     plot-latency:
 403       xaxis:
 404         autorange: True
 405         autotick: False
 406         fixedrange: False
 407         gridcolor: "rgb(238, 238, 238)"
 408         linecolor: "rgb(238, 238, 238)"
 409         linewidth: 1
 410         showgrid: True
 411         showline: True
 412         showticklabels: True
 413         tickcolor: "rgb(238, 238, 238)"
 414         tickmode: "linear"
 415         title: "Indexed Test Cases"
 416         zeroline: False
 417       yaxis:
 418         gridcolor: "rgb(238, 238, 238)'"
 419         hoverformat: ""
 420         linecolor: "rgb(238, 238, 238)"
 421         linewidth: 1
 422         range: []
 423         showgrid: True
 424         showline: True
 425         showticklabels: True
 426         tickcolor: "rgb(238, 238, 238)"
 427         title: "Latency min/avg/max [uSec]"
 428         zeroline: False
 429       boxmode: "group"
 430       boxgroupgap: 0.5
 431       autosize: False
 432       margin:
 433         t: 50
 434         b: 20
 435         l: 50
 436         r: 20
 437       showlegend: True
 438       legend:
 439         orientation: "h"
 440       width: 700
 441       height: 1000
 442
 443     plot-throughput-speedup-analysis:
 444       xaxis:
 445         autorange: True
 446         autotick: False
 447         fixedrange: False
 448         gridcolor: "rgb(238, 238, 238)"
 449         linecolor: "rgb(238, 238, 238)"
 450         linewidth: 1
 451         showgrid: True
 452         showline: True
 453         showticklabels: True
 454         tickcolor: "rgb(238, 238, 238)"
 455         tickmode: "linear"
 456         tickangle: 270
 457         zeroline: False
 458       yaxis:
 459         title: "Throughput speedup factor"
 460         gridcolor: "rgb(238, 238, 238)"
 461         hoverformat: ".4s"
 462         linecolor: "rgb(238, 238, 238)"
 463         linewidth: 1
 464         range: []
 465         showgrid: True
 466         showline: True
 467         showticklabels: True
 468         tickcolor: "rgb(238, 238, 238)"
 469         zeroline: False
 470       legend:
 471         orientation: "h"
 472         xanchor: "center"
 473         yanchor: "top"
 474         x: 0.5
 475         y: 1
 476         bgcolor: "rgba(255, 255, 255, 0)"
 477         bordercolor: "rgba(255, 255, 255, 0)"
 478       barmode: "group"
 479       bargap: 0.15
 480       bargroupgap: 0.1
 481       autosize: False
 482       margin:
 483           't': 50
 484           'b': 200
 485           'l': 50
 486           'r': 20
 487       showlegend: True
 488       width: 700
 489       height: 1000
 490
 491 -
 492   type: "debug"
 493   general:
 494     input-format: "xml"  # zip or xml
 495     extract: "robot-plugin/output.xml"  # Only for zip
 496   builds:
 497     # The files must be in the directory DIR[WORKING,DATA]
 498     csit-vpp-perf-1801-all:
 499     -
 500       build: 1
 501       file: "{DIR[WORKING,DATA]}/output.xml"
 502     -
 503       build: 2
 504       file: "{DIR[WORKING,DATA]}/output.xml"
 505     -
 506       build: 3
 507       file: "{DIR[WORKING,DATA]}/output.xml"
 508     -
 509       build: 4
 510       file: "{DIR[WORKING,DATA]}/output.xml"
 511
 512 -
 513   type: "static"
 514   src-path: "{DIR[RST]}"
 515   dst-path: "{DIR[WORKING,SRC]}"
 516
 517 -
 518   type: "input"  # Ignored in debug mode
 519   general:
 520     file-name: "robot-plugin.zip"
 521     file-format: ".zip"
 522     download-path: "{job}/{build}/robot/report/*zip*/{filename}"
 523     extract: "robot-plugin/output.xml"
 524   builds:
 525 #    csit-vpp-perf-1707-all:
 526 #    - 9
 527 #    - 10
 528 #    - 13
 529 #    - 14
 530 #    - 15
 531 #    - 16
 532 #    - 17
 533 #    - 18
 534 #    - 19
 535 #    - 21
 536     csit-vpp-perf-1710-all:
 537     - 11
 538     - 12
 539     - 13
 540     - 14
 541     - 15
 542     - 16
 543     - 17
 544     - 18
 545     - 19
 546     - 20
 547     csit-vpp-perf-1801-all:
 548     - 122  # full
 549     - 126  # full
 550     - 129  # full
 551     - 140  # full
 552     - 124  # sel
 553     - 127  # sel
 554     - 128  # sel
 555     - 141  # sel
 556     - 142  # sel
 557     - 143  # sel
 558     - 145  # sel
 559     - 146  # sel
 560     - 157  # wrk
 561     - 158  # wrk
 562     - 159  # wrk
 563     - 160  # wrk
 564     - 161  # wrk
 565     - 162  # sel
 566     - 163  # sel
 567     - 164  # wrk
 568     - 165  # wrk
 569     - 166  # wrk
 570     - 167  # sel
 571     - 168  # wrk
 572     - 169  # wrk
 573     - 170  # wrk
 574     - 172  # sel acl only
 575     csit-vpp-perf-1804-all:
 576     - 1   # sel
 577     - 13  # sel
 578     csit-vpp-perf-check-1801:
 579     - 1   # mrr
 580     - 2   # mrr
 581     - 3   # mrr
 582     - 4   # mrr
 583     - 5   # mrr
 584     - 6   # mrr
 585     - 7   # mrr
 586     - 8   # mrr
 587     - 9   # mrr
 588     - 11  # mrr
 589     - 12  # mrr
 590     - 13  # mrr
 591     csit-vpp-perf-check-1804:
 592     - 1   # mrr
 593     - 2   # mrr
 594     - 3   # mrr
 595     - 4   # mrr
 596     csit-ligato-perf-1710-all:
 597     - 5
 598     - 7
 599     - 8
 600     - 9
 601     - 10
 602     - 11
 603     - 12
 604     - 13
 605     - 16
 606     - 17
 607     csit-ligato-perf-1801-all:
 608     - 16  # sel
 609     - 17  # sel
 610     - 18  # sel
 611     - 19  # sel
 612     - 20  # sel
 613     - 21  # sel
 614     - 22  # sel
 615     - 23  # sel
 616     - 24  # sel
 617     - 25  # full
 618     csit-dpdk-perf-1804-all:
 619     - 4
 620     - 5
 621     - 6
 622     - 7
 623     - 8
 624     - 9
 625     - 10
 626     - 11
 627     - 12
 628     - 13
 629     - 14
 630     - 15
 631     csit-vpp-functional-1801-ubuntu1604-virl:
 632     - lastSuccessfulBuild
 633     csit-nsh_sfc-verify-func-1801-ubuntu1604-virl:
 634     - 1
 635     csit-hc2vpp-verify-func-1801-ubuntu1604:
 636     - lastSuccessfulBuild
 637
 638 -
 639   type: "output"
 640   output: "report"
 641   format:
 642     html:
 643     - full
 644     pdf:
 645     - minimal
 646
 647 ################################################################################
 648 ###                               T A B L E S                                ###
 649 ################################################################################
 650
 651 #-
 652 #  type: "table"
 653 #  title: "Performance Impact of Meltdown Patches"
 654 #  algorithm: "table_performance_comparison"
 655 #  output-file-ext: ".csv"
 656 ## TODO: specify dir
 657 #  output-file: "{DIR[STATIC,VPP]}/meltdown-impact"
 658 #  reference:
 659 #    title: "No Meltdown"
 660 ## TODO: specify data sources
 661 #    data:
 662 #      csit-vpp-perf-1707-all:
 663 #      - 9
 664 #      - 10
 665 #      - 13
 666 #  compare:
 667 #    title: "Meltdown Patches Applied"
 668 ## TODO: specify data sources
 669 #    data:
 670 #      csit-vpp-perf-1710-all:
 671 #      - 11
 672 #      - 12
 673 #      - 13
 674 #  data:
 675 #    "vpp-meltdown-impact"
 676 #  filter: "all"
 677 #  parameters:
 678 #  - "name"
 679 #  - "parent"
 680 #  - "throughput"
 681 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
 682 #  # to present all tests.
 683 #  nr-of-tests-shown: 20
 684 #
 685 #-
 686 #  type: "table"
 687 #  title: "Performance Impact of Spectre Patches"
 688 #  algorithm: "table_performance_comparison"
 689 #  output-file-ext: ".csv"
 690 ## TODO: specify dir
 691 #  output-file: "{DIR[STATIC,VPP]}/meltdown-spectre-impact"
 692 #  reference:
 693 #    title: "No Spectre"
 694 ## TODO: specify data sources
 695 #    data:
 696 #      csit-vpp-perf-1707-all:
 697 #      - 9
 698 #      - 10
 699 #      - 13
 700 #  compare:
 701 #    title: "Spectre Patches Applied"
 702 ## TODO: specify data sources
 703 #    data:
 704 #      csit-vpp-perf-1710-all:
 705 #      - 11
 706 #      - 12
 707 #      - 13
 708 #  data:
 709 #    "vpp-spectre-impact"
 710 #  filter: "all"
 711 #  parameters:
 712 #  - "name"
 713 #  - "parent"
 714 #  - "throughput"
 715 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
 716 #  # to present all tests.
 717 #  nr-of-tests-shown: 20
 718
 719 -
 720   type: "table"
 721   title: "VPP Performance Changes"
 722   algorithm: "table_performance_comparison"
 723   output-file-ext: ".csv"
 724   output-file: "{DIR[STATIC,VPP]}/performance-changes"
 725 #  reference:
 726 #    title: "Release 1710"
 727 #    data:
 728 #      csit-vpp-perf-1710-all:
 729 #      - 11
 730 #      - 12
 731 #      - 13
 732 #      - 14
 733 #      - 15
 734 #      - 16
 735 #      - 17
 736 #      - 18
 737 #      - 19
 738 #      - 20
 739   reference:
 740     title: "Release 1801"
 741     data:
 742       csit-vpp-perf-1801-all:
 743       - 124  # sel
 744       - 127  # sel
 745       - 128  # sel
 746       - 141  # sel
 747       - 142  # sel
 748       - 143  # sel
 749       - 145  # sel
 750       - 146  # sel
 751       - 162  # sel
 752       - 163  # sel
 753       - 167  # sel
 754       - 172  # sel acl only
 755   compare:
 756     title: "Release 1804"
 757     data:
 758       csit-vpp-perf-1804-all:
 759       - 1
 760   data: "vpp-performance-changes"
 761   filter: "all"
 762   parameters:
 763   - "name"
 764   - "parent"
 765   - "throughput"
 766   # Number of the best and the worst tests presented in the table. Use 0 (zero)
 767   # to present all tests.
 768   nr-of-tests-shown: 20
 769   outlier-const: 1.5
 770
 771 -
 772   type: "table"
 773   title: "VPP Performance Changes - MRR"
 774   algorithm: "table_performance_comparison_mrr"
 775   output-file-ext: ".csv"
 776   output-file: "{DIR[STATIC,VPP]}/performance-changes-mrr"
 777   reference:
 778     title: "Release 1801"
 779     data:
 780       csit-vpp-perf-check-1801:
 781       - 1
 782       - 2
 783       - 3
 784       - 4
 785       - 5
 786       - 6
 787       - 7
 788       - 8
 789       - 9
 790       - 11
 791       - 12
 792       - 13
 793   compare:
 794     title: "Release 1804"
 795     data:
 796       csit-vpp-perf-check-1804:
 797       - 1
 798   data: "vpp-performance-changes-mrr"
 799   filter: "all"
 800   parameters:
 801   - "name"
 802   - "parent"
 803   - "result"
 804   # Number of the best and the worst tests presented in the table. Use 0 (zero)
 805   # to present all tests.
 806   nr-of-tests-shown: 20
 807   outlier-const: 1.5
 808
 809 #-
 810 #  type: "table"
 811 #  title: "Performance improvements"
 812 #  algorithm: "table_performance_improvements"
 813 #  template: "{DIR[DTR,PERF,VPP,IMPRV]}/tmpl_performance_improvements.csv"
 814 #  output-file-ext: ".csv"
 815 #  output-file: "{DIR[DTR,PERF,VPP,IMPRV]}/performance_improvements"
 816 #  columns:
 817 #  -
 818 #    title: "Test Name"
 819 #    data: "template 1"
 820 #  -
 821 #    title: "16.09 mean [Mpps]"
 822 #    data: "template 2"
 823 #  -
 824 #    title: "17.01 mean [Mpps]"
 825 #    data: "template 3"
 826 #  -
 827 #    title: "17.04 mean [Mpps]"
 828 #    data: "template 4"
 829 #  -
 830 #    title: "17.07 mean [Mpps]"
 831 #    data: "data csit-vpp-perf-1707-all mean"
 832 #  -
 833 #    title: "17.10 mean [Mpps]"
 834 #    data: "data csit-vpp-perf-1710-all csit-ligato-perf-1710-all mean"
 835 #  -
 836 #    title: "18.01 mean [Mpps]"
 837 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all mean"
 838 #  -
 839 #    title: "18.01 stdev [Mpps]"
 840 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all stdev"
 841 #  -
 842 #    title: "17.10 to 18.01 change [%]"
 843 #    data: "operation relative_change 5 6"
 844 #  rows: "generated"
 845 #  data:
 846 #    "performance-improvements"
 847 #  filter: "template"
 848 #  parameters:
 849 #  - "throughput"
 850
 851 -
 852   type: "table"
 853   title: "Detailed Test Results - VPP Performance Results"
 854   algorithm: "table_merged_details"
 855   output-file-ext: ".csv"
 856   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
 857   columns:
 858   -
 859     title: "Name"
 860     data: "data name"
 861   -
 862     title: "Documentation"
 863     data: "data doc"
 864   -
 865     title: "Status"
 866     data: "data msg"
 867   rows: "generated"
 868   data:
 869     "vpp-perf-results"
 870   filter: "not 'NDRCHK' and not 'PDRCHK'"
 871   parameters:
 872   - "name"
 873   - "parent"
 874   - "doc"
 875   - "msg"
 876
 877 -
 878   type: "table"
 879   title: "Test configuration - VPP Performance Test Configs"
 880   algorithm: "table_merged_details"
 881   output-file-ext: ".csv"
 882   output-file: "{DIR[DTC,PERF,VPP]}/vpp_test_configuration"
 883   columns:
 884   -
 885     title: "Name"
 886     data: "data name"
 887   -
 888     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
 889     data: "data vat-history"
 890   rows: "generated"
 891   data:
 892     "vpp-perf-results"
 893   filter: "not 'NDRCHK' and not 'PDRCHK'"
 894   parameters:
 895   - "parent"
 896   - "name"
 897   - "vat-history"
 898
 899 -
 900   type: "table"
 901   title: "Test Operational Data - VPP Performance Operational Data"
 902   algorithm: "table_merged_details"
 903   output-file-ext: ".csv"
 904   output-file: "{DIR[DTO,PERF,VPP]}/vpp_test_operational"
 905   columns:
 906   -
 907     title: "Name"
 908     data: "data name"
 909   -
 910     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
 911     data: "data show-run"
 912   rows: "generated"
 913   data:
 914     "vpp-perf-results"
 915   filter: "not 'NDRCHK' and not 'PDRCHK'"
 916   parameters:
 917   - "parent"
 918   - "name"
 919   - "show-run"
 920
 921 -
 922   type: "table"
 923   title: "Detailed Test Results - VPP Functional Results"
 924   algorithm: "table_details"
 925   output-file-ext: ".csv"
 926   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
 927   columns:
 928   -
 929     title: "Name"
 930     data: "data name"
 931   -
 932     title: "Documentation"
 933     data: "data doc"
 934   -
 935     title: "Status"
 936     data: "data status"
 937   rows: "generated"
 938   data:
 939     "vpp-func-results"
 940   filter: "all"
 941   parameters:
 942   - "name"
 943   - "parent"
 944   - "doc"
 945   - "status"
 946
 947 -
 948   type: "table"
 949   title: "Test configuration - VPP Functional Test Configs"
 950   algorithm: "table_details"
 951   output-file-ext: ".csv"
 952   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
 953   columns:
 954   -
 955     title: "Name"
 956     data: "data name"
 957   -
 958     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
 959     data: "data vat-history"
 960   rows: "generated"
 961   data:
 962     "vpp-func-results"
 963   filter: "all"
 964   parameters:
 965   - "parent"
 966   - "name"
 967   - "vat-history"
 968
 969 -
 970   type: "table"
 971   title: "Detailed Test Results - Container Orchestrated Topologies Performance Results"
 972   algorithm: "table_details"
 973   output-file-ext: ".csv"
 974   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
 975   columns:
 976   -
 977     title: "Name"
 978     data: "data name"
 979   -
 980     title: "Documentation"
 981     data: "data doc"
 982   -
 983     title: "Status"
 984     data: "data msg"
 985   rows: "generated"
 986   data:
 987     "ligato-perf-results"
 988   filter: "all"
 989   parameters:
 990   - "name"
 991   - "parent"
 992   - "doc"
 993   - "msg"
 994
 995 -
 996   type: "table"
 997   title: "Detailed Test Results - DPDK Performance Results"
 998   algorithm: "table_details"
 999   output-file-ext: ".csv"
1000   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
1001   columns:
1002   -
1003     title: "Name"
1004     data: "data name"
1005   -
1006     title: "Documentation"
1007     data: "data doc"
1008   -
1009     title: "Status"
1010     data: "data msg"
1011   rows: "generated"
1012   data:
1013     "dpdk-perf-results"
1014   filter: "all"
1015   parameters:
1016   - "name"
1017   - "parent"
1018   - "doc"
1019   - "msg"
1020
1021 -
1022   type: "table"
1023   title: "Detailed Test Results - Honeycomb Functional Results"
1024   algorithm: "table_details"
1025   output-file-ext: ".csv"
1026   output-file: "{DIR[DTR,FUNC,HC]}/hc_functional_results"
1027   columns:
1028   -
1029     title: "Name"
1030     data: "data name"
1031   -
1032     title: "Documentation"
1033     data: "data doc"
1034   -
1035     title: "Status"
1036     data: "data status"
1037   rows: "generated"
1038   data:
1039     "hc-func-results"
1040   filter: "all"
1041   parameters:
1042   - "name"
1043   - "parent"
1044   - "doc"
1045   - "status"
1046
1047 -
1048   type: "table"
1049   title: "Detailed Test Results - NSH SFC Functional Results"
1050   algorithm: "table_details"
1051   output-file-ext: ".csv"
1052   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nsh_sfc_functional_results"
1053   columns:
1054   -
1055     title: "Name"
1056     data: "data name"
1057   -
1058     title: "Documentation"
1059     data: "data doc"
1060   -
1061     title: "Status"
1062     data: "data status"
1063   rows: "generated"
1064   data:
1065     "nsh-func-results"
1066   filter: "all"
1067   parameters:
1068   - "name"
1069   - "parent"
1070   - "doc"
1071   - "status"
1072
1073 ################################################################################
1074 ###                                F I L E S                                 ###
1075 ################################################################################
1076
1077 -
1078   type: "file"
1079   title: "VPP Performance Results"
1080   algorithm: "file_merged_test_results"
1081   output-file-ext: ".rst"
1082   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
1083   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1084   dir-tables: "{DIR[DTR,PERF,VPP]}"
1085   data:
1086     "vpp-perf-results"
1087   filter: "not 'NDRCHK' and not 'PDRCHK'"
1088   parameters:
1089   - "name"
1090   - "doc"
1091   - "level"
1092   - "parent"
1093   data-start-level: 3  # 0, 1, 2, ...
1094   chapters-start-level: 2  # 0, 1, 2, ...
1095
1096 -
1097   type: "file"
1098   title: "VPP Performance Configuration"
1099   algorithm: "file_merged_test_results"
1100   output-file-ext: ".rst"
1101   output-file: "{DIR[DTC,PERF,VPP]}/vpp_performance_configuration"
1102   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1103   dir-tables: "{DIR[DTC,PERF,VPP]}"
1104   data:
1105     "vpp-perf-results"
1106   filter: "not 'NDRCHK' and not 'PDRCHK'"
1107   parameters:
1108   - "name"
1109   - "doc"
1110   - "level"
1111   - "parent"
1112   data-start-level: 3  # 0, 1, 2, ...
1113   chapters-start-level: 2  # 0, 1, 2, ...
1114
1115 -
1116   type: "file"
1117   title: "VPP Performance Operational Data"
1118   algorithm: "file_merged_test_results"
1119   output-file-ext: ".rst"
1120   output-file: "{DIR[DTO,PERF,VPP]}/vpp_performance_operational_data"
1121   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1122   dir-tables: "{DIR[DTO,PERF,VPP]}"
1123   data:
1124     "vpp-perf-results"
1125   filter: "not 'NDRCHK' and not 'PDRCHK'"
1126   parameters:
1127   - "name"
1128   - "doc"
1129   - "level"
1130   - "parent"
1131   data-start-level: 3  # 0, 1, 2, ...
1132   chapters-start-level: 2  # 0, 1, 2, ...
1133
1134 -
1135   type: "file"
1136   title: "VPP Functional Results"
1137   algorithm: "file_test_results"
1138   output-file-ext: ".rst"
1139   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
1140   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1141   dir-tables: "{DIR[DTR,FUNC,VPP]}"
1142   data:
1143     "vpp-func-results"
1144   filter: "all"
1145   parameters:
1146   - "name"
1147   - "doc"
1148   - "level"
1149   data-start-level: 3  # 0, 1, 2, ...
1150   chapters-start-level: 2  # 0, 1, 2, ...
1151
1152 -
1153   type: "file"
1154   title: "VPP Functional Configuration"
1155   algorithm: "file_test_results"
1156   output-file-ext: ".rst"
1157   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
1158   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1159   dir-tables: "{DIR[DTC,FUNC,VPP]}"
1160   data:
1161     "vpp-func-results"
1162   filter: "all"
1163   parameters:
1164   - "name"
1165   - "doc"
1166   - "level"
1167   data-start-level: 3  # 0, 1, 2, ...
1168   chapters-start-level: 2  # 0, 1, 2, ...
1169
1170 -
1171   type: "file"
1172   title: "Container Orchestrated Performance Results"
1173   algorithm: "file_test_results"
1174   output-file-ext: ".rst"
1175   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
1176   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1177   dir-tables: "{DIR[DTR,PERF,COT]}"
1178   data:
1179     "ligato-perf-results"
1180   filter: "all"
1181   parameters:
1182   - "name"
1183   - "doc"
1184   - "level"
1185   data-start-level: 2  # 0, 1, 2, ...
1186   chapters-start-level: 2  # 0, 1, 2, ...
1187
1188 -
1189   type: "file"
1190   title: "DPDK Performance Results"
1191   algorithm: "file_test_results"
1192   output-file-ext: ".rst"
1193   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
1194   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1195   dir-tables: "{DIR[DTR,PERF,DPDK]}"
1196   data:
1197     "dpdk-perf-results"
1198   filter: "all"
1199   parameters:
1200   - "name"
1201   - "doc"
1202   - "level"
1203   chapters:
1204   - "suites"
1205   data-start-level: 2  # 0, 1, 2, ...
1206   chapters-start-level: 2  # 0, 1, 2, ...
1207
1208 -
1209   type: "file"
1210   title: "Honeycomb Functional Results"
1211   algorithm: "file_test_results"
1212   output-file-ext: ".rst"
1213   output-file: "{DIR[DTR,FUNC,HC]}/honeycomb_functional_results"
1214   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1215   dir-tables: "{DIR[DTR,FUNC,HC]}"
1216   data:
1217     "hc-func-results"
1218   filter: "all"
1219   parameters:
1220   - "name"
1221   - "doc"
1222   - "level"
1223   chapters:
1224   - "suites"
1225   data-start-level: 3  # 0, 1, 2, ...
1226   chapters-start-level: 2  # 0, 1, 2, ...
1227
1228 -
1229   type: "file"
1230   title: "NSH SFC Functional Results"
1231   algorithm: "file_test_results"
1232   output-file-ext: ".rst"
1233   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nshsfc_functional_results"
1234   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1235   dir-tables: "{DIR[DTR,FUNC,NSHSFC]}"
1236   data:
1237     "nsh-func-results"
1238   filter: "all"
1239   parameters:
1240   - "name"
1241   - "doc"
1242   - "level"
1243   chapters:
1244   - "suites"
1245   data-start-level: 2  # 0, 1, 2, ...
1246   chapters-start-level: 2  # 0, 1, 2, ...
1247
1248 ################################################################################
1249 ###                                P L O T S                                 ###
1250 ################################################################################
1251
1252 # Plots VPP HTTP Server Performance
1253 -
1254   type: "plot"
1255   title: "VPP HTTP Server Performance"
1256   algorithm: "plot_http_server_performance_box"
1257   output-file-type: ".html"
1258   output-file: "{DIR[STATIC,VPP]}/http-server-performance-cps"
1259   data:
1260     "plot-vpp-http-server-performance"
1261   # Keep this formatting, the filter is enclosed with " (quotation mark) and
1262   # each tag is enclosed with ' (apostrophe).
1263   filter: "'HTTP' and 'TCP_CPS'"
1264   parameters:
1265   - "result"
1266   - "name"
1267   traces:
1268     hoverinfo: "x+y"
1269     boxpoints: "outliers"
1270     whiskerwidth: 0
1271   layout:
1272     title: "VPP HTTP Server Performance"
1273     layout:
1274       "plot-cps"
1275
1276 -
1277   type: "plot"
1278   title: "VPP HTTP Server Performance"
1279   algorithm: "plot_http_server_performance_box"
1280   output-file-type: ".html"
1281   output-file: "{DIR[STATIC,VPP]}/http-server-performance-rps"
1282   data:
1283     "plot-vpp-http-server-performance"
1284   filter: "'HTTP' and 'TCP_RPS'"
1285   parameters:
1286   - "result"
1287   - "name"
1288   traces:
1289     hoverinfo: "x+y"
1290     boxpoints: "outliers"
1291     whiskerwidth: 0
1292   layout:
1293     title: "VPP HTTP Server Performance"
1294     layout:
1295       "plot-rps"
1296
1297 # Plot Throughput Speedup Analysis
1298
1299 # L2 - 10ge2p1x520 - NDR
1300 -
1301   type: "plot"
1302   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1303   algorithm: "plot_throughput_speedup_analysis"
1304   output-file-type: ".html"
1305   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-ndrdisc"
1306   data:
1307     "plot-throughput-speedup-analysis"
1308   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1309   parameters:
1310   - "throughput"
1311   - "parent"
1312   - "tags"
1313   layout:
1314     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1315     layout:
1316       "plot-throughput-speedup-analysis"
1317
1318 # L2 - 40ge2p1xl710 - NDR
1319 -
1320   type: "plot"
1321   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1322   algorithm: "plot_throughput_speedup_analysis"
1323   output-file-type: ".html"
1324   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-l2-tsa-ndrdisc"
1325   data:
1326     "plot-throughput-speedup-analysis"
1327   filter: "'NIC_Intel-XL710' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1328   parameters:
1329   - "throughput"
1330   - "parent"
1331   - "tags"
1332   layout:
1333     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1334     layout:
1335       "plot-throughput-speedup-analysis"
1336
1337 # L2 - 10ge2p1x520 - PDR
1338 -
1339   type: "plot"
1340   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1341   algorithm: "plot_throughput_speedup_analysis"
1342   output-file-type: ".html"
1343   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-pdrdisc"
1344   data:
1345     "plot-throughput-speedup-analysis"
1346   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1347   parameters:
1348   - "throughput"
1349   - "parent"
1350   - "tags"
1351   layout:
1352     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1353     layout:
1354       "plot-throughput-speedup-analysis"
1355
1356 # IPv4 - 10ge2p1x520 - NDR
1357 -
1358   type: "plot"
1359   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1360   algorithm: "plot_throughput_speedup_analysis"
1361   output-file-type: ".html"
1362   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-ndrdisc"
1363   data:
1364     "plot-throughput-speedup-analysis"
1365   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1366   parameters:
1367   - "throughput"
1368   - "parent"
1369   - "tags"
1370   layout:
1371     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1372     layout:
1373       "plot-throughput-speedup-analysis"
1374
1375 # IPv4 - 40ge2p1xl710 - NDR
1376 -
1377   type: "plot"
1378   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1379   algorithm: "plot_throughput_speedup_analysis"
1380   output-file-type: ".html"
1381   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-ip4-tsa-ndrdisc"
1382   data:
1383     "plot-throughput-speedup-analysis"
1384   filter: "'NIC_Intel-XL710' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1385   parameters:
1386   - "throughput"
1387   - "parent"
1388   - "tags"
1389   layout:
1390     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1391     layout:
1392       "plot-throughput-speedup-analysis"
1393
1394 # IPv4 - 10ge2p1x520 - PDR
1395 -
1396   type: "plot"
1397   title: "TSA: 64B-*-ethip4-ip4(base|scale)*pdrdisc"
1398   algorithm: "plot_throughput_speedup_analysis"
1399   output-file-type: ".html"
1400   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-pdrdisc"
1401   data:
1402     "plot-throughput-speedup-analysis"
1403   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1404   parameters:
1405   - "throughput"
1406   - "parent"
1407   - "tags"
1408   layout:
1409     title: "64B-*-ethip4-ip4(base|scale)*pdrdisc"
1410     layout:
1411       "plot-throughput-speedup-analysis"
1412
1413 # IPv6 - 10ge2p1x520 - NDR
1414 -
1415   type: "plot"
1416   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1417   algorithm: "plot_throughput_speedup_analysis"
1418   output-file-type: ".html"
1419   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-ndrdisc"
1420   data:
1421     "plot-throughput-speedup-analysis"
1422   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1423   parameters:
1424   - "throughput"
1425   - "parent"
1426   - "tags"
1427   layout:
1428     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1429     layout:
1430       "plot-throughput-speedup-analysis"
1431
1432 # IPv6 - 40ge2p1xl710 - NDR
1433 -
1434   type: "plot"
1435   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1436   algorithm: "plot_throughput_speedup_analysis"
1437   output-file-type: ".html"
1438   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-78B-ip6-tsa-ndrdisc"
1439   data:
1440     "plot-throughput-speedup-analysis"
1441   filter: "'NIC_Intel-XL710' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1442   parameters:
1443   - "throughput"
1444   - "parent"
1445   - "tags"
1446   layout:
1447     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1448     layout:
1449       "plot-throughput-speedup-analysis"
1450
1451 # IPv6 - 10ge2p1x520 - PDR
1452 -
1453   type: "plot"
1454   title: "TSA: 78B-*-ethip6-ip6(base|scale)*pdrdisc"
1455   algorithm: "plot_throughput_speedup_analysis"
1456   output-file-type: ".html"
1457   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-pdrdisc"
1458   data:
1459     "plot-throughput-speedup-analysis"
1460   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST'"
1461   parameters:
1462   - "throughput"
1463   - "parent"
1464   - "tags"
1465   layout:
1466     title: "78B-*-ethip6-ip6(base|scale)*pdrdisc"
1467     layout:
1468       "plot-throughput-speedup-analysis"
1469
1470 # Plot packets per second
1471
1472 # VPP L2 sel1
1473 -
1474   type: "plot"
1475   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1476   algorithm: "plot_performance_box"
1477   output-file-type: ".html"
1478   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc"
1479   data:
1480     "plot-vpp-throughput-latency"
1481   # Keep this formatting, the filter is enclosed with " (quotation mark) and
1482   # each tag is enclosed with ' (apostrophe).
1483   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1484   parameters:
1485   - "throughput"
1486   - "parent"
1487   traces:
1488     hoverinfo: "x+y"
1489     boxpoints: "outliers"
1490     whiskerwidth: 0
1491   layout:
1492     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1493     layout:
1494       "plot-throughput"
1495
1496 -
1497   type: "plot"
1498   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1499   algorithm: "plot_performance_box"
1500   output-file-type: ".html"
1501   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc"
1502   data:
1503     "plot-vpp-throughput-latency"
1504   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1505   parameters:
1506   - "throughput"
1507   - "parent"
1508   traces:
1509     hoverinfo: "x+y"
1510     boxpoints: "outliers"
1511     whiskerwidth: 0
1512   layout:
1513     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1514     layout:
1515       "plot-throughput"
1516
1517 -
1518   type: "plot"
1519   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1520   algorithm: "plot_performance_box"
1521   output-file-type: ".html"
1522   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-pdrdisc"
1523   data:
1524     "plot-vpp-throughput-latency"
1525   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1526   parameters:
1527   - "throughput"
1528   - "parent"
1529   traces:
1530     hoverinfo: "x+y"
1531     boxpoints: "outliers"
1532     whiskerwidth: 0
1533   layout:
1534     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1535     layout:
1536       "plot-throughput"
1537
1538 -
1539   type: "plot"
1540   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1541   algorithm: "plot_performance_box"
1542   output-file-type: ".html"
1543   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-pdrdisc"
1544   data:
1545     "plot-vpp-throughput-latency"
1546   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1547   parameters:
1548   - "throughput"
1549   - "parent"
1550   traces:
1551     hoverinfo: "x+y"
1552     boxpoints: "outliers"
1553     whiskerwidth: 0
1554   layout:
1555     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1556     layout:
1557       "plot-throughput"
1558
1559 # VPP L2 sel2
1560 -
1561   type: "plot"
1562   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1563   algorithm: "plot_performance_box"
1564   output-file-type: ".html"
1565   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc"
1566   data:
1567     "plot-vpp-throughput-latency"
1568   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1569   parameters:
1570   - "throughput"
1571   - "parent"
1572   traces:
1573     hoverinfo: "x+y"
1574     boxpoints: "outliers"
1575     whiskerwidth: 0
1576   layout:
1577     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1578     layout:
1579       "plot-throughput"
1580
1581 -
1582   type: "plot"
1583   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1584   algorithm: "plot_performance_box"
1585   output-file-type: ".html"
1586   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc"
1587   data:
1588     "plot-vpp-throughput-latency"
1589   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1590   parameters:
1591   - "throughput"
1592   - "parent"
1593   traces:
1594     hoverinfo: "x+y"
1595     boxpoints: "outliers"
1596     whiskerwidth: 0
1597   layout:
1598     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1599     layout:
1600       "plot-throughput"
1601
1602 -
1603   type: "plot"
1604   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1605   algorithm: "plot_performance_box"
1606   output-file-type: ".html"
1607   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-pdrdisc"
1608   data:
1609     "plot-vpp-throughput-latency"
1610   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1611   parameters:
1612   - "throughput"
1613   - "parent"
1614   traces:
1615     hoverinfo: "x+y"
1616     boxpoints: "outliers"
1617     whiskerwidth: 0
1618   layout:
1619     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1620     layout:
1621       "plot-throughput"
1622
1623 -
1624   type: "plot"
1625   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1626   algorithm: "plot_performance_box"
1627   output-file-type: ".html"
1628   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-pdrdisc"
1629   data:
1630     "plot-vpp-throughput-latency"
1631   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1632   parameters:
1633   - "throughput"
1634   - "parent"
1635   traces:
1636     hoverinfo: "x+y"
1637     boxpoints: "outliers"
1638     whiskerwidth: 0
1639   layout:
1640     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1641     layout:
1642       "plot-throughput"
1643
1644 # VPP IP4
1645 -
1646   type: "plot"
1647   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1648   algorithm: "plot_performance_box"
1649   output-file-type: ".html"
1650   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc"
1651   data:
1652     "plot-vpp-throughput-latency"
1653   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
1654   parameters:
1655   - "throughput"
1656   - "parent"
1657   traces:
1658     hoverinfo: "x+y"
1659     boxpoints: "outliers"
1660     whiskerwidth: 0
1661   layout:
1662     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1663     layout:
1664       "plot-throughput"
1665
1666 -
1667   type: "plot"
1668   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1669   algorithm: "plot_performance_box"
1670   output-file-type: ".html"
1671   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc"
1672   data:
1673     "plot-vpp-throughput-latency"
1674   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
1675   parameters:
1676   - "throughput"
1677   - "parent"
1678   traces:
1679     hoverinfo: "x+y"
1680     boxpoints: "outliers"
1681     whiskerwidth: 0
1682   layout:
1683     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1684     layout:
1685       "plot-throughput"
1686
1687 -
1688   type: "plot"
1689   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1690   algorithm: "plot_performance_box"
1691   output-file-type: ".html"
1692   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-pdrdisc"
1693   data:
1694     "plot-vpp-throughput-latency"
1695   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
1696   parameters:
1697   - "throughput"
1698   - "parent"
1699   traces:
1700     hoverinfo: "x+y"
1701     boxpoints: "outliers"
1702     whiskerwidth: 0
1703   layout:
1704     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1705     layout:
1706       "plot-throughput"
1707
1708 -
1709   type: "plot"
1710   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1711   algorithm: "plot_performance_box"
1712   output-file-type: ".html"
1713   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-pdrdisc"
1714   data:
1715     "plot-vpp-throughput-latency"
1716   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
1717   parameters:
1718   - "throughput"
1719   - "parent"
1720   traces:
1721     hoverinfo: "x+y"
1722     boxpoints: "outliers"
1723     whiskerwidth: 0
1724   layout:
1725     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1726     layout:
1727       "plot-throughput"
1728
1729 # VPP IP6
1730 -
1731   type: "plot"
1732   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1733   algorithm: "plot_performance_box"
1734   output-file-type: ".html"
1735   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc"
1736   data:
1737     "plot-vpp-throughput-latency"
1738   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1739   parameters:
1740   - "throughput"
1741   - "parent"
1742   traces:
1743     hoverinfo: "x+y"
1744     boxpoints: "outliers"
1745     whiskerwidth: 0
1746   layout:
1747     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1748     layout:
1749       "plot-throughput"
1750
1751 -
1752   type: "plot"
1753   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1754   algorithm: "plot_performance_box"
1755   output-file-type: ".html"
1756   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc"
1757   data:
1758     "plot-vpp-throughput-latency"
1759   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1760   parameters:
1761   - "throughput"
1762   - "parent"
1763   traces:
1764     hoverinfo: "x+y"
1765     boxpoints: "outliers"
1766     whiskerwidth: 0
1767   layout:
1768     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1769     layout:
1770       "plot-throughput"
1771
1772 -
1773   type: "plot"
1774   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1775   algorithm: "plot_performance_box"
1776   output-file-type: ".html"
1777   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-pdrdisc"
1778   data:
1779     "plot-vpp-throughput-latency"
1780   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1781   parameters:
1782   - "throughput"
1783   - "parent"
1784   traces:
1785     hoverinfo: "x+y"
1786     boxpoints: "outliers"
1787     whiskerwidth: 0
1788   layout:
1789     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1790     layout:
1791       "plot-throughput"
1792
1793 -
1794   type: "plot"
1795   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1796   algorithm: "plot_performance_box"
1797   output-file-type: ".html"
1798   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-pdrdisc"
1799   data:
1800     "plot-vpp-throughput-latency"
1801   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1802   parameters:
1803   - "throughput"
1804   - "parent"
1805   traces:
1806     hoverinfo: "x+y"
1807     boxpoints: "outliers"
1808     whiskerwidth: 0
1809   layout:
1810     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1811     layout:
1812       "plot-throughput"
1813
1814 # VPP IP4_overlay
1815 -
1816   type: "plot"
1817   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1818   algorithm: "plot_performance_box"
1819   output-file-type: ".html"
1820   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc"
1821   data:
1822     "plot-vpp-throughput-latency"
1823   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1824   parameters:
1825   - "throughput"
1826   - "parent"
1827   traces:
1828     hoverinfo: "x+y"
1829     boxpoints: "outliers"
1830     whiskerwidth: 0
1831   layout:
1832     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1833     layout:
1834       "plot-throughput"
1835
1836 -
1837   type: "plot"
1838   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1839   algorithm: "plot_performance_box"
1840   output-file-type: ".html"
1841   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc"
1842   data:
1843     "plot-vpp-throughput-latency"
1844   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1845   parameters:
1846   - "throughput"
1847   - "parent"
1848   traces:
1849     hoverinfo: "x+y"
1850     boxpoints: "outliers"
1851     whiskerwidth: 0
1852   layout:
1853     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1854     layout:
1855       "plot-throughput"
1856
1857 -
1858   type: "plot"
1859   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1860   algorithm: "plot_performance_box"
1861   output-file-type: ".html"
1862   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-pdrdisc"
1863   data:
1864     "plot-vpp-throughput-latency"
1865   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1866   parameters:
1867   - "throughput"
1868   - "parent"
1869   traces:
1870     hoverinfo: "x+y"
1871     boxpoints: "outliers"
1872     whiskerwidth: 0
1873   layout:
1874     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1875     layout:
1876       "plot-throughput"
1877
1878 -
1879   type: "plot"
1880   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1881   algorithm: "plot_performance_box"
1882   output-file-type: ".html"
1883   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-pdrdisc"
1884   data:
1885     "plot-vpp-throughput-latency"
1886   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1887   parameters:
1888   - "throughput"
1889   - "parent"
1890   traces:
1891     hoverinfo: "x+y"
1892     boxpoints: "outliers"
1893     whiskerwidth: 0
1894   layout:
1895     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1896     layout:
1897       "plot-throughput"
1898
1899 # VPP IP6_overlay
1900 -
1901   type: "plot"
1902   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1903   algorithm: "plot_performance_box"
1904   output-file-type: ".html"
1905   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc"
1906   data:
1907     "plot-vpp-throughput-latency"
1908   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1909   parameters:
1910   - "throughput"
1911   - "parent"
1912   traces:
1913     hoverinfo: "x+y"
1914     boxpoints: "outliers"
1915     whiskerwidth: 0
1916   layout:
1917     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1918     xaxis:
1919       autorange: True
1920       autotick: False
1921       fixedrange: False
1922       gridcolor: "rgb(238, 238, 238)"
1923       linecolor: "rgb(238, 238, 238)"
1924       linewidth: 1
1925       showgrid: True
1926       showline: True
1927       showticklabels: True
1928       tickcolor: "rgb(238, 238, 238)"
1929       tickmode: "linear"
1930       title: "Indexed Test Cases"
1931       zeroline: False
1932     yaxis:
1933       gridcolor: "rgb(238, 238, 238)'"
1934       hoverformat: ".4s"
1935       linecolor: "rgb(238, 238, 238)"
1936       linewidth: 1
1937       range: [2000000, 6000000]
1938       showgrid: True
1939       showline: True
1940       showticklabels: True
1941       tickcolor: "rgb(238, 238, 238)"
1942       title: "Packets Per Second [pps]"
1943       zeroline: False
1944     boxmode: "group"
1945     boxgroupgap: 0.5
1946     autosize: False
1947     margin:
1948       t: 50
1949       b: 20
1950       l: 50
1951       r: 20
1952     showlegend: True
1953     legend:
1954       orientation: "h"
1955     width: 700
1956     height: 1000
1957
1958 -
1959   type: "plot"
1960   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1961   algorithm: "plot_performance_box"
1962   output-file-type: ".html"
1963   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc"
1964   data:
1965     "plot-vpp-throughput-latency"
1966   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1967   parameters:
1968   - "throughput"
1969   - "parent"
1970   traces:
1971     hoverinfo: "x+y"
1972     boxpoints: "outliers"
1973     whiskerwidth: 0
1974   layout:
1975     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1976     layout:
1977       "plot-throughput"
1978
1979 -
1980   type: "plot"
1981   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1982   algorithm: "plot_performance_box"
1983   output-file-type: ".html"
1984   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-pdrdisc"
1985   data:
1986     "plot-vpp-throughput-latency"
1987   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1988   parameters:
1989   - "throughput"
1990   - "parent"
1991   traces:
1992     hoverinfo: "x+y"
1993     boxpoints: "outliers"
1994     whiskerwidth: 0
1995   layout:
1996     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1997     layout:
1998       "plot-throughput"
1999
2000 -
2001   type: "plot"
2002   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2003   algorithm: "plot_performance_box"
2004   output-file-type: ".html"
2005   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-pdrdisc"
2006   data:
2007     "plot-vpp-throughput-latency"
2008   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2009   parameters:
2010   - "throughput"
2011   - "parent"
2012   traces:
2013     hoverinfo: "x+y"
2014     boxpoints: "outliers"
2015     whiskerwidth: 0
2016   layout:
2017     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2018     xaxis:
2019       autorange: True
2020       autotick: False
2021       fixedrange: False
2022       gridcolor: "rgb(238, 238, 238)"
2023       linecolor: "rgb(238, 238, 238)"
2024       linewidth: 1
2025       showgrid: True
2026       showline: True
2027       showticklabels: True
2028       tickcolor: "rgb(238, 238, 238)"
2029       tickmode: "linear"
2030       title: "Indexed Test Cases"
2031       zeroline: False
2032     yaxis:
2033       gridcolor: "rgb(238, 238, 238)'"
2034       hoverformat: ".4s"
2035       linecolor: "rgb(238, 238, 238)"
2036       linewidth: 1
2037       range: [4000000, 12000000]
2038       showgrid: True
2039       showline: True
2040       showticklabels: True
2041       tickcolor: "rgb(238, 238, 238)"
2042       title: "Packets Per Second [pps]"
2043       zeroline: False
2044     boxmode: "group"
2045     boxgroupgap: 0.5
2046     autosize: False
2047     margin:
2048       t: 50
2049       b: 20
2050       l: 50
2051       r: 20
2052     showlegend: True
2053     legend:
2054       orientation: "h"
2055     width: 700
2056     height: 1000
2057
2058 # VPP VM VHOST
2059 -
2060   type: "plot"
2061   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2062   algorithm: "plot_performance_box"
2063   output-file-type: ".html"
2064   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc"
2065   data:
2066     "plot-vpp-throughput-latency"
2067   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2068   parameters:
2069   - "throughput"
2070   - "parent"
2071   traces:
2072     hoverinfo: "x+y"
2073     boxpoints: "outliers"
2074     whiskerwidth: 0
2075   layout:
2076     title: "64B-1t1c-.*vhost.*-ndrdisc"
2077     xaxis:
2078       autorange: True
2079       autotick: False
2080       fixedrange: False
2081       gridcolor: "rgb(238, 238, 238)"
2082       linecolor: "rgb(238, 238, 238)"
2083       linewidth: 1
2084       showgrid: True
2085       showline: True
2086       showticklabels: True
2087       tickcolor: "rgb(238, 238, 238)"
2088       tickmode: "linear"
2089       title: "Indexed Test Cases"
2090       zeroline: False
2091     yaxis:
2092       gridcolor: "rgb(238, 238, 238)'"
2093       hoverformat: ".4s"
2094       linecolor: "rgb(238, 238, 238)"
2095       linewidth: 1
2096       range: [0, 3500000]
2097       showgrid: True
2098       showline: True
2099       showticklabels: True
2100       tickcolor: "rgb(238, 238, 238)"
2101       title: "Packets Per Second [pps]"
2102       zeroline: False
2103     boxmode: "group"
2104     boxgroupgap: 0.5
2105     autosize: False
2106     margin:
2107       t: 50
2108       b: 20
2109       l: 50
2110       r: 20
2111     showlegend: True
2112     legend:
2113       orientation: "h"
2114     width: 700
2115     height: 1000
2116
2117 -
2118   type: "plot"
2119   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2120   algorithm: "plot_performance_box"
2121   output-file-type: ".html"
2122   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc"
2123   data:
2124     "plot-vpp-throughput-latency"
2125   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2126   parameters:
2127   - "throughput"
2128   - "parent"
2129   traces:
2130     hoverinfo: "x+y"
2131     boxpoints: "outliers"
2132     whiskerwidth: 0
2133   layout:
2134     title: "64B-2t2c-.*vhost.*-ndrdisc"
2135     layout:
2136       "plot-throughput"
2137
2138 -
2139   type: "plot"
2140   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2141   algorithm: "plot_performance_box"
2142   output-file-type: ".html"
2143   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-pdrdisc"
2144   data:
2145     "plot-vpp-throughput-latency"
2146   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2147   parameters:
2148   - "throughput"
2149   - "parent"
2150   traces:
2151     hoverinfo: "x+y"
2152     boxpoints: "outliers"
2153     whiskerwidth: 0
2154   layout:
2155     title: "64B-1t1c-.*vhost.*-pdrdisc"
2156     layout:
2157       "plot-throughput"
2158
2159 -
2160   type: "plot"
2161   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2162   algorithm: "plot_performance_box"
2163   output-file-type: ".html"
2164   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-pdrdisc"
2165   data:
2166     "plot-vpp-throughput-latency"
2167   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2168   parameters:
2169   - "throughput"
2170   - "parent"
2171   traces:
2172     hoverinfo: "x+y"
2173     boxpoints: "outliers"
2174     whiskerwidth: 0
2175   layout:
2176     title: "64B-2t2c-.*vhost.*-pdrdisc"
2177     layout:
2178       "plot-throughput"
2179
2180 # VPP VM VHOST SELECTION
2181 -
2182   type: "plot"
2183   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2184   algorithm: "plot_performance_box"
2185   output-file-type: ".html"
2186   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc"
2187   data:
2188     "plot-vpp-throughput-latency"
2189   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2190   parameters:
2191   - "throughput"
2192   - "parent"
2193   traces:
2194     hoverinfo: "x+y"
2195     boxpoints: "outliers"
2196     whiskerwidth: 0
2197   layout:
2198     title: "64B-1t1c-.*vhost.*-ndrdisc"
2199     layout:
2200       "plot-throughput"
2201
2202 -
2203   type: "plot"
2204   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2205   algorithm: "plot_performance_box"
2206   output-file-type: ".html"
2207   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc"
2208   data:
2209     "plot-vpp-throughput-latency"
2210   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2211   parameters:
2212   - "throughput"
2213   - "parent"
2214   traces:
2215     hoverinfo: "x+y"
2216     boxpoints: "outliers"
2217     whiskerwidth: 0
2218   layout:
2219     title: "64B-2t2c-.*vhost.*-ndrdisc"
2220     layout:
2221       "plot-throughput"
2222
2223 -
2224   type: "plot"
2225   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2226   algorithm: "plot_performance_box"
2227   output-file-type: ".html"
2228   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-pdrdisc"
2229   data:
2230     "plot-vpp-throughput-latency"
2231   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2232   parameters:
2233   - "throughput"
2234   - "parent"
2235   traces:
2236     hoverinfo: "x+y"
2237     boxpoints: "outliers"
2238     whiskerwidth: 0
2239   layout:
2240     title: "64B-1t1c-.*vhost.*-pdrdisc"
2241     layout:
2242       "plot-throughput"
2243
2244 -
2245   type: "plot"
2246   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2247   algorithm: "plot_performance_box"
2248   output-file-type: ".html"
2249   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-pdrdisc"
2250   data:
2251     "plot-vpp-throughput-latency"
2252   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2253   parameters:
2254   - "throughput"
2255   - "parent"
2256   traces:
2257     hoverinfo: "x+y"
2258     boxpoints: "outliers"
2259     whiskerwidth: 0
2260   layout:
2261     title: "64B-2t2c-.*vhost.*-pdrdisc"
2262     layout:
2263       "plot-throughput"
2264
2265 # VPP CRYPTO
2266 -
2267   type: "plot"
2268   title: "VPP Performance 64B-1t1c-.*ipsec.*-ndrdisc"
2269   algorithm: "plot_performance_box"
2270   output-file-type: ".html"
2271   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc"
2272   data:
2273     "plot-vpp-throughput-latency"
2274   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2275   parameters:
2276   - "throughput"
2277   - "parent"
2278   traces:
2279     hoverinfo: "x+y"
2280     boxpoints: "outliers"
2281     whiskerwidth: 0
2282   layout:
2283     title: "64B-1t1c-.*ipsec.*-ndrdisc"
2284     layout:
2285       "plot-throughput"
2286
2287 -
2288   type: "plot"
2289   title: "VPP Performance 64B-2t2c-.*ipsec.*-ndrdisc"
2290   algorithm: "plot_performance_box"
2291   output-file-type: ".html"
2292   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc"
2293   data:
2294     "plot-vpp-throughput-latency"
2295   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2296   parameters:
2297   - "throughput"
2298   - "parent"
2299   traces:
2300     hoverinfo: "x+y"
2301     boxpoints: "outliers"
2302     whiskerwidth: 0
2303   layout:
2304     title: "64B-2t2c-.*ipsec.*-ndrdisc"
2305     layout:
2306       "plot-throughput"
2307
2308 -
2309   type: "plot"
2310   title: "VPP Performance 64B-1t1c-.*ipsec.*-pdrdisc"
2311   algorithm: "plot_performance_box"
2312   output-file-type: ".html"
2313   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-pdrdisc"
2314   data:
2315     "plot-vpp-throughput-latency"
2316   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2317   parameters:
2318   - "throughput"
2319   - "parent"
2320   traces:
2321     hoverinfo: "x+y"
2322     boxpoints: "outliers"
2323     whiskerwidth: 0
2324   layout:
2325     title: "64B-1t1c-.*ipsec.*-pdrdisc"
2326     layout:
2327       "plot-throughput"
2328
2329 -
2330   type: "plot"
2331   title: "VPP Performance 64B-2t2c-.*ipsec.*-pdrdisc"
2332   algorithm: "plot_performance_box"
2333   output-file-type: ".html"
2334   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-pdrdisc"
2335   data:
2336     "plot-vpp-throughput-latency"
2337   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2338   parameters:
2339   - "throughput"
2340   - "parent"
2341   traces:
2342     hoverinfo: "x+y"
2343     boxpoints: "outliers"
2344     whiskerwidth: 0
2345   layout:
2346     title: "64B-2t2c-.*ipsec.*-pdrdisc"
2347     layout:
2348       "plot-throughput"
2349
2350 # DPDK
2351 -
2352   type: "plot"
2353   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2354   algorithm: "plot_performance_box"
2355   output-file-type: ".html"
2356   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc"
2357   data:
2358     "plot-dpdk-throughput-latency"
2359   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2360   parameters:
2361   - "throughput"
2362   - "parent"
2363   traces:
2364     hoverinfo: "x+y"
2365     boxpoints: "outliers"
2366     whiskerwidth: 0
2367   layout:
2368     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2369     layout:
2370       "plot-throughput"
2371
2372 -
2373   type: "plot"
2374   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2375   algorithm: "plot_performance_box"
2376   output-file-type: ".html"
2377   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc"
2378   data:
2379     "plot-dpdk-throughput-latency"
2380   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2381   parameters:
2382   - "throughput"
2383   - "parent"
2384   traces:
2385     hoverinfo: "x+y"
2386     boxpoints: "outliers"
2387     whiskerwidth: 0
2388   layout:
2389     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2390     layout:
2391       "plot-throughput"
2392
2393 -
2394   type: "plot"
2395   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2396   algorithm: "plot_performance_box"
2397   output-file-type: ".html"
2398   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc"
2399   data:
2400     "plot-dpdk-throughput-latency"
2401   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
2402   parameters:
2403   - "throughput"
2404   - "parent"
2405   traces:
2406     hoverinfo: "x+y"
2407     boxpoints: "outliers"
2408     whiskerwidth: 0
2409   layout:
2410     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2411     xaxis:
2412       autorange: True
2413       autotick: False
2414       fixedrange: False
2415       gridcolor: "rgb(238, 238, 238)"
2416       linecolor: "rgb(238, 238, 238)"
2417       linewidth: 1
2418       showgrid: True
2419       showline: True
2420       showticklabels: True
2421       tickcolor: "rgb(238, 238, 238)"
2422       tickmode: "linear"
2423       title: "Indexed Test Cases"
2424       zeroline: False
2425     yaxis:
2426       gridcolor: "rgb(238, 238, 238)'"
2427       hoverformat: ".4s"
2428       linecolor: "rgb(238, 238, 238)"
2429       linewidth: 1
2430       range: [2000000, 12000000]
2431       showgrid: True
2432       showline: True
2433       showticklabels: True
2434       tickcolor: "rgb(238, 238, 238)"
2435       title: "Packets Per Second [pps]"
2436       zeroline: False
2437     boxmode: "group"
2438     boxgroupgap: 0.5
2439     autosize: False
2440     margin:
2441       t: 50
2442       b: 20
2443       l: 50
2444       r: 20
2445     showlegend: True
2446     legend:
2447       orientation: "h"
2448     width: 700
2449     height: 1000
2450
2451 -
2452   type: "plot"
2453   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2454   algorithm: "plot_performance_box"
2455   output-file-type: ".html"
2456   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc"
2457   data:
2458     "plot-dpdk-throughput-latency"
2459   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
2460   parameters:
2461   - "throughput"
2462   - "parent"
2463   traces:
2464     hoverinfo: "x+y"
2465     boxpoints: "outliers"
2466     whiskerwidth: 0
2467   layout:
2468     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2469     xaxis:
2470       autorange: True
2471       autotick: False
2472       fixedrange: False
2473       gridcolor: "rgb(238, 238, 238)"
2474       linecolor: "rgb(238, 238, 238)"
2475       linewidth: 1
2476       showgrid: True
2477       showline: True
2478       showticklabels: True
2479       tickcolor: "rgb(238, 238, 238)"
2480       tickmode: "linear"
2481       title: "Indexed Test Cases"
2482       zeroline: False
2483     yaxis:
2484       gridcolor: "rgb(238, 238, 238)'"
2485       hoverformat: ".4s"
2486       linecolor: "rgb(238, 238, 238)"
2487       linewidth: 1
2488       range: [2000000, 12000000]
2489       showgrid: True
2490       showline: True
2491       showticklabels: True
2492       tickcolor: "rgb(238, 238, 238)"
2493       title: "Packets Per Second [pps]"
2494       zeroline: False
2495     boxmode: "group"
2496     boxgroupgap: 0.5
2497     autosize: False
2498     margin:
2499       t: 50
2500       b: 20
2501       l: 50
2502       r: 20
2503     showlegend: True
2504     legend:
2505       orientation: "h"
2506     width: 700
2507     height: 1000
2508
2509 -
2510   type: "plot"
2511   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2512   algorithm: "plot_performance_box"
2513   output-file-type: ".html"
2514   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-pdrdisc"
2515   data:
2516     "plot-dpdk-throughput-latency"
2517   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2518   parameters:
2519   - "throughput"
2520   - "parent"
2521   traces:
2522     hoverinfo: "x+y"
2523     boxpoints: "outliers"
2524     whiskerwidth: 0
2525   layout:
2526     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2527     layout:
2528       "plot-throughput"
2529
2530 -
2531   type: "plot"
2532   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2533   algorithm: "plot_performance_box"
2534   output-file-type: ".html"
2535   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-pdrdisc"
2536   data:
2537     "plot-dpdk-throughput-latency"
2538   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2539   parameters:
2540   - "throughput"
2541   - "parent"
2542   traces:
2543     hoverinfo: "x+y"
2544     boxpoints: "outliers"
2545     whiskerwidth: 0
2546   layout:
2547     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2548     layout:
2549       "plot-throughput"
2550
2551 -
2552   type: "plot"
2553   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
2554   algorithm: "plot_performance_box"
2555   output-file-type: ".html"
2556   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-pdrdisc"
2557   data:
2558     "plot-dpdk-throughput-latency"
2559   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD'"
2560   parameters:
2561   - "throughput"
2562   - "parent"
2563   traces:
2564     hoverinfo: "x+y"
2565     boxpoints: "outliers"
2566     whiskerwidth: 0
2567   layout:
2568     title: "64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
2569     xaxis:
2570       autorange: True
2571       autotick: False
2572       fixedrange: False
2573       gridcolor: "rgb(238, 238, 238)"
2574       linecolor: "rgb(238, 238, 238)"
2575       linewidth: 1
2576       showgrid: True
2577       showline: True
2578       showticklabels: True
2579       tickcolor: "rgb(238, 238, 238)"
2580       tickmode: "linear"
2581       title: "Indexed Test Cases"
2582       zeroline: False
2583     yaxis:
2584       gridcolor: "rgb(238, 238, 238)'"
2585       hoverformat: ".4s"
2586       linecolor: "rgb(238, 238, 238)"
2587       linewidth: 1
2588       range: [20000000, 30000000]
2589       showgrid: True
2590       showline: True
2591       showticklabels: True
2592       tickcolor: "rgb(238, 238, 238)"
2593       title: "Packets Per Second [pps]"
2594       zeroline: False
2595     boxmode: "group"
2596     boxgroupgap: 0.5
2597     autosize: False
2598     margin:
2599       t: 50
2600       b: 20
2601       l: 50
2602       r: 20
2603     showlegend: True
2604     legend:
2605       orientation: "h"
2606     width: 700
2607     height: 1000
2608
2609 -
2610   type: "plot"
2611   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
2612   algorithm: "plot_performance_box"
2613   output-file-type: ".html"
2614   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-pdrdisc"
2615   data:
2616     "plot-dpdk-throughput-latency"
2617   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD'"
2618   parameters:
2619   - "throughput"
2620   - "parent"
2621   traces:
2622     hoverinfo: "x+y"
2623     boxpoints: "outliers"
2624     whiskerwidth: 0
2625   layout:
2626     title: "64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
2627     xaxis:
2628       autorange: True
2629       autotick: False
2630       fixedrange: False
2631       gridcolor: "rgb(238, 238, 238)"
2632       linecolor: "rgb(238, 238, 238)"
2633       linewidth: 1
2634       showgrid: True
2635       showline: True
2636       showticklabels: True
2637       tickcolor: "rgb(238, 238, 238)"
2638       tickmode: "linear"
2639       title: "Indexed Test Cases"
2640       zeroline: False
2641     yaxis:
2642       gridcolor: "rgb(238, 238, 238)'"
2643       hoverformat: ".4s"
2644       linecolor: "rgb(238, 238, 238)"
2645       linewidth: 1
2646       range: [20000000, 30000000]
2647       showgrid: True
2648       showline: True
2649       showticklabels: True
2650       tickcolor: "rgb(238, 238, 238)"
2651       title: "Packets Per Second [pps]"
2652       zeroline: False
2653     boxmode: "group"
2654     boxgroupgap: 0.5
2655     autosize: False
2656     margin:
2657       t: 50
2658       b: 20
2659       l: 50
2660       r: 20
2661     showlegend: True
2662     legend:
2663       orientation: "h"
2664     width: 700
2665     height: 1000
2666
2667 # Plot latency
2668
2669 # VPP L2 sel1
2670 -
2671   type: "plot"
2672   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2673   algorithm: "plot_latency_box"
2674   output-file-type: ".html"
2675   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc-lat50"
2676   data:
2677     "plot-vpp-throughput-latency"
2678   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2679   parameters:
2680   - "latency"
2681   - "parent"
2682   traces:
2683     boxmean: False
2684   layout:
2685     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2686     layout:
2687       "plot-latency"
2688
2689 -
2690   type: "plot"
2691   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2692   algorithm: "plot_latency_box"
2693   output-file-type: ".html"
2694   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc-lat50"
2695   data:
2696     "plot-vpp-throughput-latency"
2697   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2698   parameters:
2699   - "latency"
2700   - "parent"
2701   traces:
2702     boxmean: False
2703   layout:
2704     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2705     layout:
2706       "plot-latency"
2707
2708 # VPP L2 sel2
2709 -
2710   type: "plot"
2711   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2712   algorithm: "plot_latency_box"
2713   output-file-type: ".html"
2714   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc-lat50"
2715   data:
2716     "plot-vpp-throughput-latency"
2717   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2718   parameters:
2719   - "latency"
2720   - "parent"
2721   traces:
2722     boxmean: False
2723   layout:
2724     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2725     layout:
2726       "plot-latency"
2727
2728 -
2729   type: "plot"
2730   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2731   algorithm: "plot_latency_box"
2732   output-file-type: ".html"
2733   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc-lat50"
2734   data:
2735     "plot-vpp-throughput-latency"
2736   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2737   parameters:
2738   - "latency"
2739   - "parent"
2740   traces:
2741     boxmean: False
2742   layout:
2743     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2744     layout:
2745       "plot-latency"
2746
2747 # VPP IP4
2748 -
2749   type: "plot"
2750   title: "VPP Latency 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2751   algorithm: "plot_latency_box"
2752   output-file-type: ".html"
2753   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc-lat50"
2754   data:
2755     "plot-vpp-throughput-latency"
2756   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
2757   parameters:
2758   - "latency"
2759   - "parent"
2760   traces:
2761     boxmean: False
2762   layout:
2763     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2764     layout:
2765       "plot-latency"
2766
2767 -
2768   type: "plot"
2769   title: "VPP Latency 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2770   algorithm: "plot_latency_box"
2771   output-file-type: ".html"
2772   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc-lat50"
2773   data:
2774     "plot-vpp-throughput-latency"
2775   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
2776   parameters:
2777   - "latency"
2778   - "parent"
2779   traces:
2780     boxmean: False
2781   layout:
2782     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2783     layout:
2784       "plot-latency"
2785
2786 # VPP IP6
2787 -
2788   type: "plot"
2789   title: "VPP Latency 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2790   algorithm: "plot_latency_box"
2791   output-file-type: ".html"
2792   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc-lat50"
2793   data:
2794     "plot-vpp-throughput-latency"
2795   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2796   parameters:
2797   - "latency"
2798   - "parent"
2799   traces:
2800     boxmean: False
2801   layout:
2802     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2803     layout:
2804       "plot-latency"
2805
2806 -
2807   type: "plot"
2808   title: "VPP Latency 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2809   algorithm: "plot_latency_box"
2810   output-file-type: ".html"
2811   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc-lat50"
2812   data:
2813     "plot-vpp-throughput-latency"
2814   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2815   parameters:
2816   - "latency"
2817   - "parent"
2818   traces:
2819     boxmean: False
2820   layout:
2821     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2822     layout:
2823       "plot-latency"
2824
2825 # VPP IP4_overlay
2826 -
2827   type: "plot"
2828   title: "VPP Latency 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2829   algorithm: "plot_latency_box"
2830   output-file-type: ".html"
2831   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc-lat50"
2832   data:
2833     "plot-vpp-throughput-latency"
2834   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2835   parameters:
2836   - "latency"
2837   - "parent"
2838   traces:
2839     boxmean: False
2840   layout:
2841     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2842     layout:
2843       "plot-latency"
2844
2845 -
2846   type: "plot"
2847   title: "VPP Latency 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2848   algorithm: "plot_latency_box"
2849   output-file-type: ".html"
2850   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc-lat50"
2851   data:
2852     "plot-vpp-throughput-latency"
2853   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2854   parameters:
2855   - "latency"
2856   - "parent"
2857   traces:
2858     boxmean: False
2859   layout:
2860     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2861     layout:
2862       "plot-latency"
2863
2864 # VPP IP6_overlay
2865 -
2866   type: "plot"
2867   title: "VPP Latency 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2868   algorithm: "plot_latency_box"
2869   output-file-type: ".html"
2870   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc-lat50"
2871   data:
2872     "plot-vpp-throughput-latency"
2873   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2874   parameters:
2875   - "latency"
2876   - "parent"
2877   traces:
2878     boxmean: False
2879   layout:
2880     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2881     layout:
2882       "plot-latency"
2883
2884 -
2885   type: "plot"
2886   title: "VPP Latency 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2887   algorithm: "plot_latency_box"
2888   output-file-type: ".html"
2889   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc-lat50"
2890   data:
2891     "plot-vpp-throughput-latency"
2892   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2893   parameters:
2894   - "latency"
2895   - "parent"
2896   traces:
2897     boxmean: False
2898   layout:
2899     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2900     layout:
2901       "plot-latency"
2902
2903 # VPP VM VHOST
2904 -
2905   type: "plot"
2906   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
2907   algorithm: "plot_latency_box"
2908   output-file-type: ".html"
2909   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc-lat50"
2910   data:
2911     "plot-vpp-throughput-latency"
2912   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2913   parameters:
2914   - "latency"
2915   - "parent"
2916   traces:
2917     boxmean: False
2918   layout:
2919     title: "64B-1t1c-.*vhost.*-ndrdisc"
2920     layout:
2921       "plot-latency"
2922
2923 -
2924   type: "plot"
2925   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
2926   algorithm: "plot_latency_box"
2927   output-file-type: ".html"
2928   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc-lat50"
2929   data:
2930     "plot-vpp-throughput-latency"
2931   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2932   parameters:
2933   - "latency"
2934   - "parent"
2935   traces:
2936     boxmean: False
2937   layout:
2938     title: "64B-2t2c-.*vhost.*-ndrdisc"
2939     layout:
2940       "plot-latency"
2941
2942 # VPP VM VHOST selection
2943 -
2944   type: "plot"
2945   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
2946   algorithm: "plot_latency_box"
2947   output-file-type: ".html"
2948   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc-lat50"
2949   data:
2950     "plot-vpp-throughput-latency"
2951   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2952   parameters:
2953   - "latency"
2954   - "parent"
2955   traces:
2956     boxmean: False
2957   layout:
2958     title: "64B-1t1c-.*vhost.*-ndrdisc"
2959     layout:
2960       "plot-latency"
2961
2962 -
2963   type: "plot"
2964   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
2965   algorithm: "plot_latency_box"
2966   output-file-type: ".html"
2967   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc-lat50"
2968   data:
2969     "plot-vpp-throughput-latency"
2970   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2971   parameters:
2972   - "latency"
2973   - "parent"
2974   traces:
2975     boxmean: False
2976   layout:
2977     title: "64B-2t2c-.*vhost.*-ndrdisc"
2978     layout:
2979       "plot-latency"
2980
2981 # VPP CRYPTO
2982 -
2983   type: "plot"
2984   title: "VPP Latency 64B-1t1c-.*ipsec.*-ndrdisc"
2985   algorithm: "plot_latency_box"
2986   output-file-type: ".html"
2987   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc-lat50"
2988   data:
2989     "plot-vpp-throughput-latency"
2990   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2991   parameters:
2992   - "latency"
2993   - "parent"
2994   traces:
2995     boxmean: False
2996   layout:
2997     title: "64B-1t1c-.*ipsec.*-ndrdisc"
2998     layout:
2999       "plot-latency"
3000
3001 -
3002   type: "plot"
3003   title: "VPP Latency 64B-2t2c-.*ipsec.*-ndrdisc"
3004   algorithm: "plot_latency_box"
3005   output-file-type: ".html"
3006   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc-lat50"
3007   data:
3008     "plot-vpp-throughput-latency"
3009   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
3010   parameters:
3011   - "latency"
3012   - "parent"
3013   traces:
3014     boxmean: False
3015   layout:
3016     title: "64B-2t2c-.*ipsec.*-ndrdisc"
3017     layout:
3018       "plot-latency"
3019
3020 # DPDK
3021 -
3022   type: "plot"
3023   title: "DPDK Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3024   algorithm: "plot_latency_box"
3025   output-file-type: ".html"
3026   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc-lat50"
3027   data:
3028     "plot-dpdk-throughput-latency"
3029   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3030   parameters:
3031   - "latency"
3032   - "parent"
3033   traces:
3034     boxmean: False
3035   layout:
3036     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3037     layout:
3038       "plot-latency"
3039
3040 -
3041   type: "plot"
3042   title: "DPDK Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3043   algorithm: "plot_latency_box"
3044   output-file-type: ".html"
3045   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc-lat50"
3046   data:
3047     "plot-dpdk-throughput-latency"
3048   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3049   parameters:
3050   - "latency"
3051   - "parent"
3052   traces:
3053     boxmean: False
3054   layout:
3055     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3056     layout:
3057       "plot-latency"
3058
3059 -
3060   type: "plot"
3061   title: "DPDK Latency 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3062   algorithm: "plot_latency_box"
3063   output-file-type: ".html"
3064   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc-lat50"
3065   data:
3066     "plot-dpdk-throughput-latency"
3067   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
3068   parameters:
3069   - "latency"
3070   - "parent"
3071   traces:
3072     boxmean: False
3073   layout:
3074     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3075     layout:
3076       "plot-latency"
3077
3078 -
3079   type: "plot"
3080   title: "DPDK Latency 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3081   algorithm: "plot_latency_box"
3082   output-file-type: ".html"
3083   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc-lat50"
3084   data:
3085     "plot-dpdk-throughput-latency"
3086   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
3087   parameters:
3088   - "latency"
3089   - "parent"
3090   traces:
3091     boxmean: False
3092   layout:
3093     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3094     layout:
3095       "plot-latency"
3096
3097 # Ligato - Throughput
3098
3099 # Container memif
3100 -
3101   type: "plot"
3102   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3103   algorithm: "plot_performance_box"
3104   output-file-type: ".html"
3105   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc"
3106   data:
3107     "plot-vpp-throughput-latency"
3108   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3109   parameters:
3110   - "throughput"
3111   - "parent"
3112   traces:
3113     hoverinfo: "x+y"
3114     boxpoints: "outliers"
3115     whiskerwidth: 0
3116   layout:
3117     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3118     xaxis:
3119       autorange: True
3120       autotick: False
3121       fixedrange: False
3122       gridcolor: "rgb(238, 238, 238)"
3123       linecolor: "rgb(238, 238, 238)"
3124       linewidth: 1
3125       showgrid: True
3126       showline: True
3127       showticklabels: True
3128       tickcolor: "rgb(238, 238, 238)"
3129       tickmode: "linear"
3130       title: "Indexed Test Cases"
3131       zeroline: False
3132     yaxis:
3133       gridcolor: "rgb(238, 238, 238)'"
3134       hoverformat: ".4s"
3135       linecolor: "rgb(238, 238, 238)"
3136       linewidth: 1
3137       range: [0, 4500000]
3138       showgrid: True
3139       showline: True
3140       showticklabels: True
3141       tickcolor: "rgb(238, 238, 238)"
3142       title: "Packets Per Second [pps]"
3143       zeroline: False
3144     boxmode: "group"
3145     boxgroupgap: 0.5
3146     autosize: False
3147     margin:
3148       t: 50
3149       b: 20
3150       l: 50
3151       r: 20
3152     showlegend: True
3153     legend:
3154       orientation: "h"
3155     width: 700
3156     height: 1000
3157
3158 -
3159   type: "plot"
3160   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3161   algorithm: "plot_performance_box"
3162   output-file-type: ".html"
3163   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc"
3164   data:
3165     "plot-vpp-throughput-latency"
3166   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3167   parameters:
3168   - "throughput"
3169   - "parent"
3170   traces:
3171     hoverinfo: "x+y"
3172     boxpoints: "outliers"
3173     whiskerwidth: 0
3174   layout:
3175     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3176     xaxis:
3177       autorange: True
3178       autotick: False
3179       fixedrange: False
3180       gridcolor: "rgb(238, 238, 238)"
3181       linecolor: "rgb(238, 238, 238)"
3182       linewidth: 1
3183       showgrid: True
3184       showline: True
3185       showticklabels: True
3186       tickcolor: "rgb(238, 238, 238)"
3187       tickmode: "linear"
3188       title: "Indexed Test Cases"
3189       zeroline: False
3190     yaxis:
3191       gridcolor: "rgb(238, 238, 238)'"
3192       hoverformat: ".4s"
3193       linecolor: "rgb(238, 238, 238)"
3194       linewidth: 1
3195       range: [0, 8000000]
3196       showgrid: True
3197       showline: True
3198       showticklabels: True
3199       tickcolor: "rgb(238, 238, 238)"
3200       title: "Packets Per Second [pps]"
3201       zeroline: False
3202     boxmode: "group"
3203     boxgroupgap: 0.5
3204     autosize: False
3205     margin:
3206       t: 50
3207       b: 20
3208       l: 50
3209       r: 20
3210     showlegend: True
3211     legend:
3212       orientation: "h"
3213     width: 700
3214     height: 1000
3215
3216 -
3217   type: "plot"
3218   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3219   algorithm: "plot_performance_box"
3220   output-file-type: ".html"
3221   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-pdrdisc"
3222   data:
3223     "plot-vpp-throughput-latency"
3224   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3225   parameters:
3226   - "throughput"
3227   - "parent"
3228   traces:
3229     hoverinfo: "x+y"
3230     boxpoints: "outliers"
3231     whiskerwidth: 0
3232   layout:
3233     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3234     xaxis:
3235       autorange: True
3236       autotick: False
3237       fixedrange: False
3238       gridcolor: "rgb(238, 238, 238)"
3239       linecolor: "rgb(238, 238, 238)"
3240       linewidth: 1
3241       showgrid: True
3242       showline: True
3243       showticklabels: True
3244       tickcolor: "rgb(238, 238, 238)"
3245       tickmode: "linear"
3246       title: "Indexed Test Cases"
3247       zeroline: False
3248     yaxis:
3249       gridcolor: "rgb(238, 238, 238)'"
3250       hoverformat: ".4s"
3251       linecolor: "rgb(238, 238, 238)"
3252       linewidth: 1
3253       range: [0, 4500000]
3254       showgrid: True
3255       showline: True
3256       showticklabels: True
3257       tickcolor: "rgb(238, 238, 238)"
3258       title: "Packets Per Second [pps]"
3259       zeroline: False
3260     boxmode: "group"
3261     boxgroupgap: 0.5
3262     autosize: False
3263     margin:
3264       t: 50
3265       b: 20
3266       l: 50
3267       r: 20
3268     showlegend: True
3269     legend:
3270       orientation: "h"
3271     width: 700
3272     height: 1000
3273
3274 -
3275   type: "plot"
3276   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3277   algorithm: "plot_performance_box"
3278   output-file-type: ".html"
3279   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-pdrdisc"
3280   data:
3281     "plot-vpp-throughput-latency"
3282   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3283   parameters:
3284   - "throughput"
3285   - "parent"
3286   traces:
3287     hoverinfo: "x+y"
3288     boxpoints: "outliers"
3289     whiskerwidth: 0
3290   layout:
3291     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3292     xaxis:
3293       autorange: True
3294       autotick: False
3295       fixedrange: False
3296       gridcolor: "rgb(238, 238, 238)"
3297       linecolor: "rgb(238, 238, 238)"
3298       linewidth: 1
3299       showgrid: True
3300       showline: True
3301       showticklabels: True
3302       tickcolor: "rgb(238, 238, 238)"
3303       tickmode: "linear"
3304       title: "Indexed Test Cases"
3305       zeroline: False
3306     yaxis:
3307       gridcolor: "rgb(238, 238, 238)'"
3308       hoverformat: ".4s"
3309       linecolor: "rgb(238, 238, 238)"
3310       linewidth: 1
3311       range: [0, 8000000]
3312       showgrid: True
3313       showline: True
3314       showticklabels: True
3315       tickcolor: "rgb(238, 238, 238)"
3316       title: "Packets Per Second [pps]"
3317       zeroline: False
3318     boxmode: "group"
3319     boxgroupgap: 0.5
3320     autosize: False
3321     margin:
3322       t: 50
3323       b: 20
3324       l: 50
3325       r: 20
3326     showlegend: True
3327     legend:
3328       orientation: "h"
3329     width: 700
3330     height: 1000
3331
3332 # Container orchestrated
3333 -
3334   type: "plot"
3335   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3336   algorithm: "plot_performance_box"
3337   output-file-type: ".html"
3338   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc"
3339   data:
3340     "plot-ligato-throughput-latency"
3341   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3342   parameters:
3343   - "throughput"
3344   - "parent"
3345   traces:
3346     hoverinfo: "x+y"
3347     boxpoints: "outliers"
3348     whiskerwidth: 0
3349   layout:
3350     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3351     layout:
3352       "plot-throughput"
3353
3354 -
3355   type: "plot"
3356   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3357   algorithm: "plot_performance_box"
3358   output-file-type: ".html"
3359   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc"
3360   data:
3361     "plot-ligato-throughput-latency"
3362   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3363   parameters:
3364   - "throughput"
3365   - "parent"
3366   traces:
3367     hoverinfo: "x+y"
3368     boxpoints: "outliers"
3369     whiskerwidth: 0
3370   layout:
3371     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3372     layout:
3373       "plot-throughput"
3374
3375 -
3376   type: "plot"
3377   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3378   algorithm: "plot_performance_box"
3379   output-file-type: ".html"
3380   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-pdrdisc"
3381   data:
3382     "plot-ligato-throughput-latency"
3383   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3384   parameters:
3385   - "throughput"
3386   - "parent"
3387   traces:
3388     hoverinfo: "x+y"
3389     boxpoints: "outliers"
3390     whiskerwidth: 0
3391   layout:
3392     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3393     layout:
3394       "plot-throughput"
3395
3396 -
3397   type: "plot"
3398   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3399   algorithm: "plot_performance_box"
3400   output-file-type: ".html"
3401   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-pdrdisc"
3402   data:
3403     "plot-ligato-throughput-latency"
3404   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3405   parameters:
3406   - "throughput"
3407   - "parent"
3408   traces:
3409     hoverinfo: "x+y"
3410     boxpoints: "outliers"
3411     whiskerwidth: 0
3412   layout:
3413     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3414     layout:
3415       "plot-throughput"
3416
3417 # Ligato - Latency
3418
3419 # Container memif
3420 -
3421   type: "plot"
3422   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3423   algorithm: "plot_latency_box"
3424   output-file-type: ".html"
3425   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc-lat50"
3426   data:
3427     "plot-vpp-throughput-latency"
3428   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3429   parameters:
3430   - "latency"
3431   - "parent"
3432   traces:
3433     boxmean: False
3434   layout:
3435     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3436     layout:
3437       "plot-latency"
3438
3439 -
3440   type: "plot"
3441   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3442   algorithm: "plot_latency_box"
3443   output-file-type: ".html"
3444   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc-lat50"
3445   data:
3446     "plot-vpp-throughput-latency"
3447   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3448   parameters:
3449   - "latency"
3450   - "parent"
3451   traces:
3452     boxmean: False
3453   layout:
3454     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3455     layout:
3456       "plot-latency"
3457
3458 # Container orchestrated
3459 -
3460   type: "plot"
3461   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3462   algorithm: "plot_latency_box"
3463   output-file-type: ".html"
3464   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc-lat50"
3465   data:
3466     "plot-ligato-throughput-latency"
3467   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3468   parameters:
3469   - "latency"
3470   - "parent"
3471   traces:
3472     boxmean: False
3473   layout:
3474     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3475     layout:
3476       "plot-latency"
3477
3478 -
3479   type: "plot"
3480   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3481   algorithm: "plot_latency_box"
3482   output-file-type: ".html"
3483   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc-lat50"
3484   data:
3485     "plot-ligato-throughput-latency"
3486   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3487   parameters:
3488   - "latency"
3489   - "parent"
3490   traces:
3491     boxmean: False
3492   layout:
3493     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3494     layout:
3495       "plot-latency"