resources/tools/presentation/specification.yaml

   1 -
   2   type: "environment"
   3   configuration:
   4     # Debug mode:
   5     # - Skip:
   6     #   - Download of input data files
   7     # - Do:
   8     #   - Read data from given zip / xml files
   9     #   - Set the configuration as it is done in normal mode
  10     # If the section "type: debug" is missing, CFG[DEBUG] is set to 0.
  11     CFG[DEBUG]: 0
  12
  13   paths:
  14     # Top level directories:
  15     ## Working directory
  16     DIR[WORKING]: "_tmp"
  17     ## Build directories
  18     DIR[BUILD,HTML]: "_build"
  19     DIR[BUILD,LATEX]: "_build_latex"
  20
  21     # Static .rst files
  22     DIR[RST]: "../../../docs/report"
  23
  24     # Working directories
  25     ## Input data files (.zip, .xml)
  26     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
  27     ## Static source files from git
  28     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
  29     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
  30
  31     # Static html content
  32     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
  33     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
  34     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
  35     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
  36
  37     # Detailed test results
  38     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
  39     DIR[DTR,PERF,DPDK]: "{DIR[DTR]}/dpdk_performance_results"
  40     DIR[DTR,PERF,VPP]: "{DIR[DTR]}/vpp_performance_results"
  41     DIR[DTR,PERF,COT]: "{DIR[DTR]}/cot_performance_results"
  42     DIR[DTR,PERF,HC]: "{DIR[DTR]}/honeycomb_performance_results"
  43     DIR[DTR,FUNC,VPP]: "{DIR[DTR]}/vpp_functional_results"
  44     DIR[DTR,FUNC,HC]: "{DIR[DTR]}/honeycomb_functional_results"
  45     DIR[DTR,FUNC,NSHSFC]: "{DIR[DTR]}/nshsfc_functional_results"
  46     DIR[DTR,PERF,VPP,IMPRV]: "{DIR[WORKING,SRC]}/vpp_performance_tests/performance_improvements"
  47
  48     # Detailed test configurations
  49     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
  50     DIR[DTC,PERF,VPP]: "{DIR[DTC]}/vpp_performance_configuration"
  51     DIR[DTC,FUNC,VPP]: "{DIR[DTC]}/vpp_functional_configuration"
  52
  53     # Detailed tests operational data
  54     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
  55     DIR[DTO,PERF,VPP]: "{DIR[DTO]}/vpp_performance_operational_data"
  56
  57     # .css patch file to fix tables generated by Sphinx
  58     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
  59     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
  60
  61   urls:
  62     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
  63     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
  64     URL[NEXUS]: "https://docs.fd.io/csit"
  65     DIR[NEXUS]: "report/_static/archive"
  66
  67   make-dirs:
  68   # List the directories which are created while preparing the environment.
  69   # All directories MUST be defined in "paths" section.
  70   - "DIR[WORKING,DATA]"
  71   - "DIR[STATIC,VPP]"
  72   - "DIR[STATIC,DPDK]"
  73   - "DIR[STATIC,ARCH]"
  74   - "DIR[BUILD,LATEX]"
  75   - "DIR[WORKING,SRC]"
  76   - "DIR[WORKING,SRC,STATIC]"
  77
  78   remove-dirs:
  79   # List the directories which are deleted while cleaning the environment.
  80   # All directories MUST be defined in "paths" section.
  81   #- "DIR[BUILD,HTML]"
  82
  83   build-dirs:
  84   # List the directories where the results (build) is stored.
  85   # All directories MUST be defined in "paths" section.
  86   - "DIR[BUILD,HTML]"
  87   - "DIR[BUILD,LATEX]"
  88
  89 -
  90   type: "configuration"
  91   data-sets:
  92     plot-vpp-http-server-performance:
  93 # TODO: Add the data sources
  94       csit-vpp-perf-1801-all:
  95       - 157
  96       - 158
  97       - 159
  98       - 160
  99       - 161
 100       - 164
 101       - 165
 102       - 166
 103       - 168
 104       - 169
 105       - 170
 106 # TODO: Add the data sources
 107 #    vpp-meltdown-impact:
 108 #      csit-vpp-perf-1707-all:
 109 #      - 9
 110 #      - 10
 111 #      - 13
 112 #      csit-vpp-perf-1710-all:
 113 #      - 11l
 114 #      - 12
 115 #      - 13
 116 # TODO: Add the data sources
 117 #    vpp-spectre-impact:
 118 #      csit-vpp-perf-1707-all:
 119 #      - 9
 120 #      - 10
 121 #      - 13
 122 #      csit-vpp-perf-1710-all:
 123 #      - 11
 124 #      - 12
 125 #      - 13
 126     vpp-performance-changes:
 127       csit-vpp-perf-1710-all:
 128       - 11
 129       - 12
 130       - 13
 131       - 14
 132       - 15
 133       - 16
 134       - 17
 135       - 18
 136       - 19
 137       - 20
 138       csit-vpp-perf-1801-all:
 139       - 124  # sel
 140       - 127  # sel
 141       - 128  # sel
 142       - 141  # sel
 143       - 142  # sel
 144       - 143  # sel
 145       - 145  # sel
 146       - 146  # sel
 147       - 162  # sel
 148       - 163  # sel
 149       - 167  # sel
 150       - 172  # sel acl only
 151       csit-vpp-perf-1804-all:
 152       - 1   # sel
 153       - 13  # sel
 154       - 14  # sel
 155       - 16  # full
 156     vpp-performance-changes-mrr:
 157       csit-vpp-perf-check-1801:
 158       - 1
 159       - 2
 160       - 3
 161       - 4
 162       - 5
 163       - 6
 164       - 7
 165       - 8
 166       - 9
 167       - 11
 168       - 12
 169       - 13
 170       csit-vpp-perf-check-1804:
 171       - 1   # mrr
 172       - 2   # mrr
 173       - 3   # mrr
 174       - 4   # mrr
 175     plot-throughput-speedup-analysis:
 176       csit-vpp-perf-1804-all:
 177       - 1   # sel
 178       - 13  # sel
 179       - 14  # sel
 180       - 16  # full
 181 #    performance-improvements:
 182 #      csit-vpp-perf-1707-all:
 183 #      - 9
 184 #      - 10
 185 #      - 13
 186 #      - 14
 187 #      - 15
 188 #      - 16
 189 #      - 17
 190 #      - 18
 191 #      - 19
 192 #      - 21
 193 #      csit-vpp-perf-1710-all:
 194 #      - 11
 195 #      - 12
 196 #      - 13
 197 #      - 14
 198 #      - 15
 199 #      - 16
 200 #      - 17
 201 #      - 18
 202 #      - 19
 203 #      - 20
 204 #      csit-vpp-perf-1801-all:
 205 #      - 124
 206 #      - 127
 207 #      - 128
 208 #      csit-ligato-perf-1710-all:
 209 #      - 5
 210 #      - 7
 211 #      - 8
 212 #      - 9
 213 #      - 10
 214 #      - 11
 215 #      - 12
 216 #      - 13
 217 #      - 16
 218 #      - 17
 219 #      csit-ligato-perf-1801-all:
 220 #      - 16  # sel
 221 #      - 17  # sel
 222 #      - 18  # sel
 223 #      - 19  # sel
 224 #      - 20  # sel
 225 #      - 21  # sel
 226 #      - 22  # sel
 227 #      - 23  # sel
 228 #      - 24  # sel
 229     vpp-perf-results:
 230       csit-vpp-perf-1804-all:
 231       - 16  # full
 232     vpp-func-results:
 233       csit-vpp-functional-1804-ubuntu1604-virl:
 234       - "lastSuccessfulBuild"
 235     ligato-perf-results:
 236       csit-ligato-perf-1801-all:
 237       - 25  # full
 238     dpdk-perf-results:
 239       csit-dpdk-perf-1804-all:
 240       - 15
 241     hc-func-results:
 242       csit-hc2vpp-verify-func-1801-ubuntu1604:
 243       - "lastSuccessfulBuild"
 244     nsh-func-results:
 245       csit-nsh_sfc-verify-func-1804-ubuntu1604-virl:
 246       - "lastSuccessfulBuild"
 247     plot-vpp-throughput-latency:
 248       csit-vpp-perf-1804-all:
 249       - 1   # sel
 250       - 13  # sel
 251       - 14  # sel
 252       - 16  # full
 253     plot-dpdk-throughput-latency:
 254       csit-dpdk-perf-1804-all:
 255       - 4
 256       - 5
 257       - 6
 258       - 7
 259       - 8
 260       - 9
 261       - 10
 262       - 11
 263       - 12
 264       - 13
 265       - 14
 266       - 15
 267     plot-ligato-throughput-latency:
 268       csit-ligato-perf-1801-all:
 269       - 16  # sel
 270       - 17  # sel
 271       - 18  # sel
 272       - 19  # sel
 273       - 20  # sel
 274       - 21  # sel
 275       - 22  # sel
 276       - 23  # sel
 277       - 24  # sel
 278
 279   plot-layouts:
 280
 281     plot-cps:
 282       xaxis:
 283         autorange: True
 284         autotick: False
 285         fixedrange: False
 286         gridcolor: "rgb(238, 238, 238)"
 287         linecolor: "rgb(238, 238, 238)"
 288         linewidth: 1
 289         showgrid: True
 290         showline: True
 291         showticklabels: True
 292         tickcolor: "rgb(238, 238, 238)"
 293         tickmode: "linear"
 294         title: "Indexed Test Cases"
 295         zeroline: False
 296       yaxis:
 297         gridcolor: "rgb(238, 238, 238)'"
 298         hoverformat: ".4s"
 299         linecolor: "rgb(238, 238, 238)"
 300         linewidth: 1
 301         range: []
 302         rangemode: "tozero"
 303         showgrid: True
 304         showline: True
 305         showticklabels: True
 306         tickcolor: "rgb(238, 238, 238)"
 307         title: "Connections Per Second [cps]"
 308         zeroline: False
 309       boxmode: "group"
 310       boxgroupgap: 0.5
 311       autosize: False
 312       margin:
 313         t: 50
 314         b: 20
 315         l: 50
 316         r: 20
 317       showlegend: True
 318       legend:
 319         orientation: "h"
 320       width: 700
 321       height: 1000
 322
 323     plot-rps:
 324       xaxis:
 325         autorange: True
 326         autotick: False
 327         fixedrange: False
 328         gridcolor: "rgb(238, 238, 238)"
 329         linecolor: "rgb(238, 238, 238)"
 330         linewidth: 1
 331         showgrid: True
 332         showline: True
 333         showticklabels: True
 334         tickcolor: "rgb(238, 238, 238)"
 335         tickmode: "linear"
 336         title: "Indexed Test Cases"
 337         zeroline: False
 338       yaxis:
 339         gridcolor: "rgb(238, 238, 238)'"
 340         hoverformat: ".4s"
 341         linecolor: "rgb(238, 238, 238)"
 342         linewidth: 1
 343         range: []
 344         rangemode: "tozero"
 345         showgrid: True
 346         showline: True
 347         showticklabels: True
 348         tickcolor: "rgb(238, 238, 238)"
 349         title: "Requests Per Second [rps]"
 350         zeroline: False
 351       boxmode: "group"
 352       boxgroupgap: 0.5
 353       autosize: False
 354       margin:
 355         t: 50
 356         b: 20
 357         l: 50
 358         r: 20
 359       showlegend: True
 360       legend:
 361         orientation: "h"
 362       width: 700
 363       height: 1000
 364
 365     plot-throughput:
 366       xaxis:
 367         autorange: True
 368         autotick: False
 369         fixedrange: False
 370         gridcolor: "rgb(238, 238, 238)"
 371         linecolor: "rgb(238, 238, 238)"
 372         linewidth: 1
 373         showgrid: True
 374         showline: True
 375         showticklabels: True
 376         tickcolor: "rgb(238, 238, 238)"
 377         tickmode: "linear"
 378         title: "Indexed Test Cases"
 379         zeroline: False
 380       yaxis:
 381         gridcolor: "rgb(238, 238, 238)'"
 382         hoverformat: ".4s"
 383         linecolor: "rgb(238, 238, 238)"
 384         linewidth: 1
 385         range: []
 386         showgrid: True
 387         showline: True
 388         showticklabels: True
 389         tickcolor: "rgb(238, 238, 238)"
 390         title: "Packets Per Second [pps]"
 391         zeroline: False
 392       boxmode: "group"
 393       boxgroupgap: 0.5
 394       autosize: False
 395       margin:
 396         t: 50
 397         b: 20
 398         l: 50
 399         r: 20
 400       showlegend: True
 401       legend:
 402         orientation: "h"
 403       width: 700
 404       height: 1000
 405
 406     plot-latency:
 407       xaxis:
 408         autorange: True
 409         autotick: False
 410         fixedrange: False
 411         gridcolor: "rgb(238, 238, 238)"
 412         linecolor: "rgb(238, 238, 238)"
 413         linewidth: 1
 414         showgrid: True
 415         showline: True
 416         showticklabels: True
 417         tickcolor: "rgb(238, 238, 238)"
 418         tickmode: "linear"
 419         title: "Indexed Test Cases"
 420         zeroline: False
 421       yaxis:
 422         gridcolor: "rgb(238, 238, 238)'"
 423         hoverformat: ""
 424         linecolor: "rgb(238, 238, 238)"
 425         linewidth: 1
 426         range: []
 427         showgrid: True
 428         showline: True
 429         showticklabels: True
 430         tickcolor: "rgb(238, 238, 238)"
 431         title: "Latency min/avg/max [uSec]"
 432         zeroline: False
 433       boxmode: "group"
 434       boxgroupgap: 0.5
 435       autosize: False
 436       margin:
 437         t: 50
 438         b: 20
 439         l: 50
 440         r: 20
 441       showlegend: True
 442       legend:
 443         orientation: "h"
 444       width: 700
 445       height: 1000
 446
 447     plot-throughput-speedup-analysis:
 448       xaxis:
 449         autorange: True
 450         autotick: False
 451         fixedrange: False
 452         gridcolor: "rgb(238, 238, 238)"
 453         linecolor: "rgb(238, 238, 238)"
 454         linewidth: 1
 455         showgrid: True
 456         showline: True
 457         showticklabels: True
 458         tickcolor: "rgb(238, 238, 238)"
 459         tickmode: "linear"
 460         tickangle: 270
 461         zeroline: False
 462       yaxis:
 463         title: "Throughput speedup factor"
 464         gridcolor: "rgb(238, 238, 238)"
 465         hoverformat: ".4s"
 466         linecolor: "rgb(238, 238, 238)"
 467         linewidth: 1
 468         range: []
 469         showgrid: True
 470         showline: True
 471         showticklabels: True
 472         tickcolor: "rgb(238, 238, 238)"
 473         zeroline: False
 474       legend:
 475         orientation: "h"
 476         xanchor: "center"
 477         yanchor: "top"
 478         x: 0.5
 479         y: 1
 480         bgcolor: "rgba(255, 255, 255, 0)"
 481         bordercolor: "rgba(255, 255, 255, 0)"
 482       barmode: "group"
 483       bargap: 0.15
 484       bargroupgap: 0.1
 485       autosize: False
 486       margin:
 487           't': 50
 488           'b': 200
 489           'l': 50
 490           'r': 20
 491       showlegend: True
 492       width: 700
 493       height: 1000
 494
 495 -
 496   type: "debug"
 497   general:
 498     input-format: "xml"  # zip or xml
 499     extract: "robot-plugin/output.xml"  # Only for zip
 500   builds:
 501     # The files must be in the directory DIR[WORKING,DATA]
 502     csit-vpp-perf-1801-all:
 503     -
 504       build: 1
 505       file: "{DIR[WORKING,DATA]}/output.xml"
 506     -
 507       build: 2
 508       file: "{DIR[WORKING,DATA]}/output.xml"
 509     -
 510       build: 3
 511       file: "{DIR[WORKING,DATA]}/output.xml"
 512     -
 513       build: 4
 514       file: "{DIR[WORKING,DATA]}/output.xml"
 515
 516 -
 517   type: "static"
 518   src-path: "{DIR[RST]}"
 519   dst-path: "{DIR[WORKING,SRC]}"
 520
 521 -
 522   type: "input"  # Ignored in debug mode
 523   general:
 524     file-name: "robot-plugin.zip"
 525     file-format: ".zip"
 526     download-path: "{job}/{build}/robot/report/*zip*/{filename}"
 527     extract: "robot-plugin/output.xml"
 528   builds:
 529 #    csit-vpp-perf-1707-all:
 530 #    - 9
 531 #    - 10
 532 #    - 13
 533 #    - 14
 534 #    - 15
 535 #    - 16
 536 #    - 17
 537 #    - 18
 538 #    - 19
 539 #    - 21
 540     csit-vpp-perf-1710-all:
 541     - 11
 542     - 12
 543     - 13
 544     - 14
 545     - 15
 546     - 16
 547     - 17
 548     - 18
 549     - 19
 550     - 20
 551     csit-vpp-perf-1801-all:
 552     - 122  # full
 553     - 126  # full
 554     - 129  # full
 555     - 140  # full
 556     - 124  # sel
 557     - 127  # sel
 558     - 128  # sel
 559     - 141  # sel
 560     - 142  # sel
 561     - 143  # sel
 562     - 145  # sel
 563     - 146  # sel
 564     - 157  # wrk
 565     - 158  # wrk
 566     - 159  # wrk
 567     - 160  # wrk
 568     - 161  # wrk
 569     - 162  # sel
 570     - 163  # sel
 571     - 164  # wrk
 572     - 165  # wrk
 573     - 166  # wrk
 574     - 167  # sel
 575     - 168  # wrk
 576     - 169  # wrk
 577     - 170  # wrk
 578     - 172  # sel acl only
 579     csit-vpp-perf-1804-all:
 580     - 1   # sel
 581     - 13  # sel
 582     - 14  # sel
 583     - 16  # full
 584     csit-vpp-perf-check-1801:
 585     - 1   # mrr
 586     - 2   # mrr
 587     - 3   # mrr
 588     - 4   # mrr
 589     - 5   # mrr
 590     - 6   # mrr
 591     - 7   # mrr
 592     - 8   # mrr
 593     - 9   # mrr
 594     - 11  # mrr
 595     - 12  # mrr
 596     - 13  # mrr
 597     csit-vpp-perf-check-1804:
 598     - 1   # mrr
 599     - 2   # mrr
 600     - 3   # mrr
 601     - 4   # mrr
 602 #    csit-ligato-perf-1710-all:
 603 #    - 5
 604 #    - 7
 605 #    - 8
 606 #    - 9
 607 #    - 10
 608 #    - 11
 609 #    - 12
 610 #    - 13
 611 #    - 16
 612 #    - 17
 613     csit-ligato-perf-1801-all:
 614     - 16  # sel
 615     - 17  # sel
 616     - 18  # sel
 617     - 19  # sel
 618     - 20  # sel
 619     - 21  # sel
 620     - 22  # sel
 621     - 23  # sel
 622     - 24  # sel
 623     - 25  # full
 624     csit-dpdk-perf-1804-all:
 625     - 4
 626     - 5
 627     - 6
 628     - 7
 629     - 8
 630     - 9
 631     - 10
 632     - 11
 633     - 12
 634     - 13
 635     - 14
 636     - 15
 637     csit-vpp-functional-1804-ubuntu1604-virl:
 638     - "lastSuccessfulBuild"
 639     csit-nsh_sfc-verify-func-1804-ubuntu1604-virl:
 640     - "lastSuccessfulBuild"
 641     csit-hc2vpp-verify-func-1801-ubuntu1604:
 642     - "lastSuccessfulBuild"
 643
 644 -
 645   type: "output"
 646   output: "report"
 647   format:
 648     html:
 649     - full
 650     pdf:
 651     - minimal
 652
 653 ################################################################################
 654 ###                               T A B L E S                                ###
 655 ################################################################################
 656
 657 #-
 658 #  type: "table"
 659 #  title: "Performance Impact of Meltdown Patches"
 660 #  algorithm: "table_performance_comparison"
 661 #  output-file-ext: ".csv"
 662 ## TODO: specify dir
 663 #  output-file: "{DIR[STATIC,VPP]}/meltdown-impact"
 664 #  reference:
 665 #    title: "No Meltdown"
 666 ## TODO: specify data sources
 667 #    data:
 668 #      csit-vpp-perf-1707-all:
 669 #      - 9
 670 #      - 10
 671 #      - 13
 672 #  compare:
 673 #    title: "Meltdown Patches Applied"
 674 ## TODO: specify data sources
 675 #    data:
 676 #      csit-vpp-perf-1710-all:
 677 #      - 11
 678 #      - 12
 679 #      - 13
 680 #  data:
 681 #    "vpp-meltdown-impact"
 682 #  filter: "all"
 683 #  parameters:
 684 #  - "name"
 685 #  - "parent"
 686 #  - "throughput"
 687 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
 688 #  # to present all tests.
 689 #  nr-of-tests-shown: 20
 690 #
 691 #-
 692 #  type: "table"
 693 #  title: "Performance Impact of Spectre Patches"
 694 #  algorithm: "table_performance_comparison"
 695 #  output-file-ext: ".csv"
 696 ## TODO: specify dir
 697 #  output-file: "{DIR[STATIC,VPP]}/meltdown-spectre-impact"
 698 #  reference:
 699 #    title: "No Spectre"
 700 ## TODO: specify data sources
 701 #    data:
 702 #      csit-vpp-perf-1707-all:
 703 #      - 9
 704 #      - 10
 705 #      - 13
 706 #  compare:
 707 #    title: "Spectre Patches Applied"
 708 ## TODO: specify data sources
 709 #    data:
 710 #      csit-vpp-perf-1710-all:
 711 #      - 11
 712 #      - 12
 713 #      - 13
 714 #  data:
 715 #    "vpp-spectre-impact"
 716 #  filter: "all"
 717 #  parameters:
 718 #  - "name"
 719 #  - "parent"
 720 #  - "throughput"
 721 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
 722 #  # to present all tests.
 723 #  nr-of-tests-shown: 20
 724
 725 -
 726   type: "table"
 727   title: "VPP Performance Changes"
 728   algorithm: "table_performance_comparison"
 729   output-file-ext: ".csv"
 730   output-file: "{DIR[STATIC,VPP]}/performance-changes"
 731 #  reference:
 732 #    title: "Release 1710"
 733 #    data:
 734 #      csit-vpp-perf-1710-all:
 735 #      - 11
 736 #      - 12
 737 #      - 13
 738 #      - 14
 739 #      - 15
 740 #      - 16
 741 #      - 17
 742 #      - 18
 743 #      - 19
 744 #      - 20
 745   reference:
 746     title: "Release 1801"
 747     data:
 748       csit-vpp-perf-1801-all:
 749       - 124  # sel
 750       - 127  # sel
 751       - 128  # sel
 752       - 141  # sel
 753       - 142  # sel
 754       - 143  # sel
 755       - 145  # sel
 756       - 146  # sel
 757       - 162  # sel
 758       - 163  # sel
 759       - 167  # sel
 760       - 172  # sel acl only
 761   compare:
 762     title: "Release 1804"
 763     data:
 764       csit-vpp-perf-1804-all:
 765       - 1
 766   data: "vpp-performance-changes"
 767   filter: "all"
 768   parameters:
 769   - "name"
 770   - "parent"
 771   - "throughput"
 772   # Number of the best and the worst tests presented in the table. Use 0 (zero)
 773   # to present all tests.
 774   nr-of-tests-shown: 20
 775   outlier-const: 1.5
 776
 777 -
 778   type: "table"
 779   title: "VPP Performance Changes - MRR"
 780   algorithm: "table_performance_comparison_mrr"
 781   output-file-ext: ".csv"
 782   output-file: "{DIR[STATIC,VPP]}/performance-changes-mrr"
 783   reference:
 784     title: "Release 1801"
 785     data:
 786       csit-vpp-perf-check-1801:
 787       - 1
 788       - 2
 789       - 3
 790       - 4
 791       - 5
 792       - 6
 793       - 7
 794       - 8
 795       - 9
 796       - 11
 797       - 12
 798       - 13
 799   compare:
 800     title: "Release 1804"
 801     data:
 802       csit-vpp-perf-check-1804:
 803       - 1
 804   data: "vpp-performance-changes-mrr"
 805   filter: "all"
 806   parameters:
 807   - "name"
 808   - "parent"
 809   - "result"
 810   # Number of the best and the worst tests presented in the table. Use 0 (zero)
 811   # to present all tests.
 812   nr-of-tests-shown: 20
 813   outlier-const: 1.5
 814
 815 #-
 816 #  type: "table"
 817 #  title: "Performance improvements"
 818 #  algorithm: "table_performance_improvements"
 819 #  template: "{DIR[DTR,PERF,VPP,IMPRV]}/tmpl_performance_improvements.csv"
 820 #  output-file-ext: ".csv"
 821 #  output-file: "{DIR[DTR,PERF,VPP,IMPRV]}/performance_improvements"
 822 #  columns:
 823 #  -
 824 #    title: "Test Name"
 825 #    data: "template 1"
 826 #  -
 827 #    title: "16.09 mean [Mpps]"
 828 #    data: "template 2"
 829 #  -
 830 #    title: "17.01 mean [Mpps]"
 831 #    data: "template 3"
 832 #  -
 833 #    title: "17.04 mean [Mpps]"
 834 #    data: "template 4"
 835 #  -
 836 #    title: "17.07 mean [Mpps]"
 837 #    data: "data csit-vpp-perf-1707-all mean"
 838 #  -
 839 #    title: "17.10 mean [Mpps]"
 840 #    data: "data csit-vpp-perf-1710-all csit-ligato-perf-1710-all mean"
 841 #  -
 842 #    title: "18.01 mean [Mpps]"
 843 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all mean"
 844 #  -
 845 #    title: "18.01 stdev [Mpps]"
 846 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all stdev"
 847 #  -
 848 #    title: "17.10 to 18.01 change [%]"
 849 #    data: "operation relative_change 5 6"
 850 #  rows: "generated"
 851 #  data:
 852 #    "performance-improvements"
 853 #  filter: "template"
 854 #  parameters:
 855 #  - "throughput"
 856
 857 -
 858   type: "table"
 859   title: "Detailed Test Results - VPP Performance Results"
 860   algorithm: "table_merged_details"
 861   output-file-ext: ".csv"
 862   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
 863   columns:
 864   -
 865     title: "Name"
 866     data: "data name"
 867   -
 868     title: "Documentation"
 869     data: "data doc"
 870   -
 871     title: "Status"
 872     data: "data msg"
 873   rows: "generated"
 874   data:
 875     "vpp-perf-results"
 876   filter: "not 'NDRCHK' and not 'PDRCHK'"
 877   parameters:
 878   - "name"
 879   - "parent"
 880   - "doc"
 881   - "msg"
 882
 883 -
 884   type: "table"
 885   title: "Test configuration - VPP Performance Test Configs"
 886   algorithm: "table_merged_details"
 887   output-file-ext: ".csv"
 888   output-file: "{DIR[DTC,PERF,VPP]}/vpp_test_configuration"
 889   columns:
 890   -
 891     title: "Name"
 892     data: "data name"
 893   -
 894     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
 895     data: "data vat-history"
 896   rows: "generated"
 897   data:
 898     "vpp-perf-results"
 899   filter: "not 'NDRCHK' and not 'PDRCHK'"
 900   parameters:
 901   - "parent"
 902   - "name"
 903   - "vat-history"
 904
 905 -
 906   type: "table"
 907   title: "Test Operational Data - VPP Performance Operational Data"
 908   algorithm: "table_merged_details"
 909   output-file-ext: ".csv"
 910   output-file: "{DIR[DTO,PERF,VPP]}/vpp_test_operational"
 911   columns:
 912   -
 913     title: "Name"
 914     data: "data name"
 915   -
 916     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
 917     data: "data show-run"
 918   rows: "generated"
 919   data:
 920     "vpp-perf-results"
 921   filter: "not 'NDRCHK' and not 'PDRCHK'"
 922   parameters:
 923   - "parent"
 924   - "name"
 925   - "show-run"
 926
 927 -
 928   type: "table"
 929   title: "Detailed Test Results - VPP Functional Results"
 930   algorithm: "table_details"
 931   output-file-ext: ".csv"
 932   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
 933   columns:
 934   -
 935     title: "Name"
 936     data: "data name"
 937   -
 938     title: "Documentation"
 939     data: "data doc"
 940   -
 941     title: "Status"
 942     data: "data status"
 943   rows: "generated"
 944   data:
 945     "vpp-func-results"
 946   filter: "all"
 947   parameters:
 948   - "name"
 949   - "parent"
 950   - "doc"
 951   - "status"
 952
 953 -
 954   type: "table"
 955   title: "Test configuration - VPP Functional Test Configs"
 956   algorithm: "table_details"
 957   output-file-ext: ".csv"
 958   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
 959   columns:
 960   -
 961     title: "Name"
 962     data: "data name"
 963   -
 964     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
 965     data: "data vat-history"
 966   rows: "generated"
 967   data:
 968     "vpp-func-results"
 969   filter: "all"
 970   parameters:
 971   - "parent"
 972   - "name"
 973   - "vat-history"
 974
 975 -
 976   type: "table"
 977   title: "Detailed Test Results - Container Orchestrated Topologies Performance Results"
 978   algorithm: "table_details"
 979   output-file-ext: ".csv"
 980   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
 981   columns:
 982   -
 983     title: "Name"
 984     data: "data name"
 985   -
 986     title: "Documentation"
 987     data: "data doc"
 988   -
 989     title: "Status"
 990     data: "data msg"
 991   rows: "generated"
 992   data:
 993     "ligato-perf-results"
 994   filter: "all"
 995   parameters:
 996   - "name"
 997   - "parent"
 998   - "doc"
 999   - "msg"
1000
1001 -
1002   type: "table"
1003   title: "Detailed Test Results - DPDK Performance Results"
1004   algorithm: "table_details"
1005   output-file-ext: ".csv"
1006   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
1007   columns:
1008   -
1009     title: "Name"
1010     data: "data name"
1011   -
1012     title: "Documentation"
1013     data: "data doc"
1014   -
1015     title: "Status"
1016     data: "data msg"
1017   rows: "generated"
1018   data:
1019     "dpdk-perf-results"
1020   filter: "all"
1021   parameters:
1022   - "name"
1023   - "parent"
1024   - "doc"
1025   - "msg"
1026
1027 -
1028   type: "table"
1029   title: "Detailed Test Results - Honeycomb Functional Results"
1030   algorithm: "table_details"
1031   output-file-ext: ".csv"
1032   output-file: "{DIR[DTR,FUNC,HC]}/hc_functional_results"
1033   columns:
1034   -
1035     title: "Name"
1036     data: "data name"
1037   -
1038     title: "Documentation"
1039     data: "data doc"
1040   -
1041     title: "Status"
1042     data: "data status"
1043   rows: "generated"
1044   data:
1045     "hc-func-results"
1046   filter: "all"
1047   parameters:
1048   - "name"
1049   - "parent"
1050   - "doc"
1051   - "status"
1052
1053 -
1054   type: "table"
1055   title: "Detailed Test Results - NSH SFC Functional Results"
1056   algorithm: "table_details"
1057   output-file-ext: ".csv"
1058   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nsh_sfc_functional_results"
1059   columns:
1060   -
1061     title: "Name"
1062     data: "data name"
1063   -
1064     title: "Documentation"
1065     data: "data doc"
1066   -
1067     title: "Status"
1068     data: "data status"
1069   rows: "generated"
1070   data:
1071     "nsh-func-results"
1072   filter: "all"
1073   parameters:
1074   - "name"
1075   - "parent"
1076   - "doc"
1077   - "status"
1078
1079 ################################################################################
1080 ###                                F I L E S                                 ###
1081 ################################################################################
1082
1083 -
1084   type: "file"
1085   title: "VPP Performance Results"
1086   algorithm: "file_merged_test_results"
1087   output-file-ext: ".rst"
1088   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
1089   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1090   dir-tables: "{DIR[DTR,PERF,VPP]}"
1091   data:
1092     "vpp-perf-results"
1093   filter: "not 'NDRCHK' and not 'PDRCHK'"
1094   parameters:
1095   - "name"
1096   - "doc"
1097   - "level"
1098   - "parent"
1099   data-start-level: 3  # 0, 1, 2, ...
1100   chapters-start-level: 2  # 0, 1, 2, ...
1101
1102 -
1103   type: "file"
1104   title: "VPP Performance Configuration"
1105   algorithm: "file_merged_test_results"
1106   output-file-ext: ".rst"
1107   output-file: "{DIR[DTC,PERF,VPP]}/vpp_performance_configuration"
1108   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1109   dir-tables: "{DIR[DTC,PERF,VPP]}"
1110   data:
1111     "vpp-perf-results"
1112   filter: "not 'NDRCHK' and not 'PDRCHK'"
1113   parameters:
1114   - "name"
1115   - "doc"
1116   - "level"
1117   - "parent"
1118   data-start-level: 3  # 0, 1, 2, ...
1119   chapters-start-level: 2  # 0, 1, 2, ...
1120
1121 -
1122   type: "file"
1123   title: "VPP Performance Operational Data"
1124   algorithm: "file_merged_test_results"
1125   output-file-ext: ".rst"
1126   output-file: "{DIR[DTO,PERF,VPP]}/vpp_performance_operational_data"
1127   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1128   dir-tables: "{DIR[DTO,PERF,VPP]}"
1129   data:
1130     "vpp-perf-results"
1131   filter: "not 'NDRCHK' and not 'PDRCHK'"
1132   parameters:
1133   - "name"
1134   - "doc"
1135   - "level"
1136   - "parent"
1137   data-start-level: 3  # 0, 1, 2, ...
1138   chapters-start-level: 2  # 0, 1, 2, ...
1139
1140 -
1141   type: "file"
1142   title: "VPP Functional Results"
1143   algorithm: "file_test_results"
1144   output-file-ext: ".rst"
1145   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
1146   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1147   dir-tables: "{DIR[DTR,FUNC,VPP]}"
1148   data:
1149     "vpp-func-results"
1150   filter: "all"
1151   parameters:
1152   - "name"
1153   - "doc"
1154   - "level"
1155   data-start-level: 3  # 0, 1, 2, ...
1156   chapters-start-level: 2  # 0, 1, 2, ...
1157
1158 -
1159   type: "file"
1160   title: "VPP Functional Configuration"
1161   algorithm: "file_test_results"
1162   output-file-ext: ".rst"
1163   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
1164   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1165   dir-tables: "{DIR[DTC,FUNC,VPP]}"
1166   data:
1167     "vpp-func-results"
1168   filter: "all"
1169   parameters:
1170   - "name"
1171   - "doc"
1172   - "level"
1173   data-start-level: 3  # 0, 1, 2, ...
1174   chapters-start-level: 2  # 0, 1, 2, ...
1175
1176 -
1177   type: "file"
1178   title: "Container Orchestrated Performance Results"
1179   algorithm: "file_test_results"
1180   output-file-ext: ".rst"
1181   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
1182   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1183   dir-tables: "{DIR[DTR,PERF,COT]}"
1184   data:
1185     "ligato-perf-results"
1186   filter: "all"
1187   parameters:
1188   - "name"
1189   - "doc"
1190   - "level"
1191   data-start-level: 2  # 0, 1, 2, ...
1192   chapters-start-level: 2  # 0, 1, 2, ...
1193
1194 -
1195   type: "file"
1196   title: "DPDK Performance Results"
1197   algorithm: "file_test_results"
1198   output-file-ext: ".rst"
1199   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
1200   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1201   dir-tables: "{DIR[DTR,PERF,DPDK]}"
1202   data:
1203     "dpdk-perf-results"
1204   filter: "all"
1205   parameters:
1206   - "name"
1207   - "doc"
1208   - "level"
1209   chapters:
1210   - "suites"
1211   data-start-level: 2  # 0, 1, 2, ...
1212   chapters-start-level: 2  # 0, 1, 2, ...
1213
1214 -
1215   type: "file"
1216   title: "Honeycomb Functional Results"
1217   algorithm: "file_test_results"
1218   output-file-ext: ".rst"
1219   output-file: "{DIR[DTR,FUNC,HC]}/honeycomb_functional_results"
1220   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1221   dir-tables: "{DIR[DTR,FUNC,HC]}"
1222   data:
1223     "hc-func-results"
1224   filter: "all"
1225   parameters:
1226   - "name"
1227   - "doc"
1228   - "level"
1229   chapters:
1230   - "suites"
1231   data-start-level: 3  # 0, 1, 2, ...
1232   chapters-start-level: 2  # 0, 1, 2, ...
1233
1234 -
1235   type: "file"
1236   title: "NSH SFC Functional Results"
1237   algorithm: "file_test_results"
1238   output-file-ext: ".rst"
1239   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nshsfc_functional_results"
1240   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1241   dir-tables: "{DIR[DTR,FUNC,NSHSFC]}"
1242   data:
1243     "nsh-func-results"
1244   filter: "all"
1245   parameters:
1246   - "name"
1247   - "doc"
1248   - "level"
1249   chapters:
1250   - "suites"
1251   data-start-level: 2  # 0, 1, 2, ...
1252   chapters-start-level: 2  # 0, 1, 2, ...
1253
1254 ################################################################################
1255 ###                                P L O T S                                 ###
1256 ################################################################################
1257
1258 # Plots VPP HTTP Server Performance
1259 -
1260   type: "plot"
1261   title: "VPP HTTP Server Performance"
1262   algorithm: "plot_http_server_performance_box"
1263   output-file-type: ".html"
1264   output-file: "{DIR[STATIC,VPP]}/http-server-performance-cps"
1265   data:
1266     "plot-vpp-http-server-performance"
1267   # Keep this formatting, the filter is enclosed with " (quotation mark) and
1268   # each tag is enclosed with ' (apostrophe).
1269   filter: "'HTTP' and 'TCP_CPS'"
1270   parameters:
1271   - "result"
1272   - "name"
1273   traces:
1274     hoverinfo: "x+y"
1275     boxpoints: "outliers"
1276     whiskerwidth: 0
1277   layout:
1278     title: "VPP HTTP Server Performance"
1279     layout:
1280       "plot-cps"
1281
1282 -
1283   type: "plot"
1284   title: "VPP HTTP Server Performance"
1285   algorithm: "plot_http_server_performance_box"
1286   output-file-type: ".html"
1287   output-file: "{DIR[STATIC,VPP]}/http-server-performance-rps"
1288   data:
1289     "plot-vpp-http-server-performance"
1290   filter: "'HTTP' and 'TCP_RPS'"
1291   parameters:
1292   - "result"
1293   - "name"
1294   traces:
1295     hoverinfo: "x+y"
1296     boxpoints: "outliers"
1297     whiskerwidth: 0
1298   layout:
1299     title: "VPP HTTP Server Performance"
1300     layout:
1301       "plot-rps"
1302
1303 # Plot Throughput Speedup Analysis
1304
1305 # L2 - 10ge2p1x520 - NDR
1306 -
1307   type: "plot"
1308   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1309   algorithm: "plot_throughput_speedup_analysis"
1310   output-file-type: ".html"
1311   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-ndrdisc"
1312   data:
1313     "plot-throughput-speedup-analysis"
1314   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1315   parameters:
1316   - "throughput"
1317   - "parent"
1318   - "tags"
1319   layout:
1320     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1321     layout:
1322       "plot-throughput-speedup-analysis"
1323
1324 # L2 - 40ge2p1xl710 - NDR
1325 -
1326   type: "plot"
1327   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1328   algorithm: "plot_throughput_speedup_analysis"
1329   output-file-type: ".html"
1330   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-l2-tsa-ndrdisc"
1331   data:
1332     "plot-throughput-speedup-analysis"
1333   filter: "'NIC_Intel-XL710' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1334   parameters:
1335   - "throughput"
1336   - "parent"
1337   - "tags"
1338   layout:
1339     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1340     layout:
1341       "plot-throughput-speedup-analysis"
1342
1343 # L2 - 10ge2p1x520 - PDR
1344 -
1345   type: "plot"
1346   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1347   algorithm: "plot_throughput_speedup_analysis"
1348   output-file-type: ".html"
1349   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-pdrdisc"
1350   data:
1351     "plot-throughput-speedup-analysis"
1352   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1353   parameters:
1354   - "throughput"
1355   - "parent"
1356   - "tags"
1357   layout:
1358     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1359     layout:
1360       "plot-throughput-speedup-analysis"
1361
1362 # IPv4 - 10ge2p1x520 - NDR
1363 -
1364   type: "plot"
1365   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1366   algorithm: "plot_throughput_speedup_analysis"
1367   output-file-type: ".html"
1368   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-ndrdisc"
1369   data:
1370     "plot-throughput-speedup-analysis"
1371   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1372   parameters:
1373   - "throughput"
1374   - "parent"
1375   - "tags"
1376   layout:
1377     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1378     layout:
1379       "plot-throughput-speedup-analysis"
1380
1381 # IPv4 - 40ge2p1xl710 - NDR
1382 -
1383   type: "plot"
1384   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1385   algorithm: "plot_throughput_speedup_analysis"
1386   output-file-type: ".html"
1387   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-ip4-tsa-ndrdisc"
1388   data:
1389     "plot-throughput-speedup-analysis"
1390   filter: "'NIC_Intel-XL710' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1391   parameters:
1392   - "throughput"
1393   - "parent"
1394   - "tags"
1395   layout:
1396     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1397     layout:
1398       "plot-throughput-speedup-analysis"
1399
1400 # IPv4 - 10ge2p1x520 - PDR
1401 -
1402   type: "plot"
1403   title: "TSA: 64B-*-ethip4-ip4(base|scale)*pdrdisc"
1404   algorithm: "plot_throughput_speedup_analysis"
1405   output-file-type: ".html"
1406   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-pdrdisc"
1407   data:
1408     "plot-throughput-speedup-analysis"
1409   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1410   parameters:
1411   - "throughput"
1412   - "parent"
1413   - "tags"
1414   layout:
1415     title: "64B-*-ethip4-ip4(base|scale)*pdrdisc"
1416     layout:
1417       "plot-throughput-speedup-analysis"
1418
1419 # IPv6 - 10ge2p1x520 - NDR
1420 -
1421   type: "plot"
1422   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1423   algorithm: "plot_throughput_speedup_analysis"
1424   output-file-type: ".html"
1425   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-ndrdisc"
1426   data:
1427     "plot-throughput-speedup-analysis"
1428   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1429   parameters:
1430   - "throughput"
1431   - "parent"
1432   - "tags"
1433   layout:
1434     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1435     layout:
1436       "plot-throughput-speedup-analysis"
1437
1438 # IPv6 - 40ge2p1xl710 - NDR
1439 -
1440   type: "plot"
1441   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1442   algorithm: "plot_throughput_speedup_analysis"
1443   output-file-type: ".html"
1444   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-78B-ip6-tsa-ndrdisc"
1445   data:
1446     "plot-throughput-speedup-analysis"
1447   filter: "'NIC_Intel-XL710' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1448   parameters:
1449   - "throughput"
1450   - "parent"
1451   - "tags"
1452   layout:
1453     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1454     layout:
1455       "plot-throughput-speedup-analysis"
1456
1457 # IPv6 - 10ge2p1x520 - PDR
1458 -
1459   type: "plot"
1460   title: "TSA: 78B-*-ethip6-ip6(base|scale)*pdrdisc"
1461   algorithm: "plot_throughput_speedup_analysis"
1462   output-file-type: ".html"
1463   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-pdrdisc"
1464   data:
1465     "plot-throughput-speedup-analysis"
1466   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST'"
1467   parameters:
1468   - "throughput"
1469   - "parent"
1470   - "tags"
1471   layout:
1472     title: "78B-*-ethip6-ip6(base|scale)*pdrdisc"
1473     layout:
1474       "plot-throughput-speedup-analysis"
1475
1476 # Plot packets per second
1477
1478 # VPP L2 sel1
1479 -
1480   type: "plot"
1481   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1482   algorithm: "plot_performance_box"
1483   output-file-type: ".html"
1484   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc"
1485   data:
1486     "plot-vpp-throughput-latency"
1487   # Keep this formatting, the filter is enclosed with " (quotation mark) and
1488   # each tag is enclosed with ' (apostrophe).
1489   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1490   parameters:
1491   - "throughput"
1492   - "parent"
1493   traces:
1494     hoverinfo: "x+y"
1495     boxpoints: "outliers"
1496     whiskerwidth: 0
1497   layout:
1498     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1499     layout:
1500       "plot-throughput"
1501
1502 -
1503   type: "plot"
1504   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1505   algorithm: "plot_performance_box"
1506   output-file-type: ".html"
1507   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc"
1508   data:
1509     "plot-vpp-throughput-latency"
1510   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1511   parameters:
1512   - "throughput"
1513   - "parent"
1514   traces:
1515     hoverinfo: "x+y"
1516     boxpoints: "outliers"
1517     whiskerwidth: 0
1518   layout:
1519     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1520     layout:
1521       "plot-throughput"
1522
1523 -
1524   type: "plot"
1525   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1526   algorithm: "plot_performance_box"
1527   output-file-type: ".html"
1528   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-pdrdisc"
1529   data:
1530     "plot-vpp-throughput-latency"
1531   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1532   parameters:
1533   - "throughput"
1534   - "parent"
1535   traces:
1536     hoverinfo: "x+y"
1537     boxpoints: "outliers"
1538     whiskerwidth: 0
1539   layout:
1540     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1541     layout:
1542       "plot-throughput"
1543
1544 -
1545   type: "plot"
1546   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1547   algorithm: "plot_performance_box"
1548   output-file-type: ".html"
1549   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-pdrdisc"
1550   data:
1551     "plot-vpp-throughput-latency"
1552   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1553   parameters:
1554   - "throughput"
1555   - "parent"
1556   traces:
1557     hoverinfo: "x+y"
1558     boxpoints: "outliers"
1559     whiskerwidth: 0
1560   layout:
1561     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1562     layout:
1563       "plot-throughput"
1564
1565 # VPP L2 sel2
1566 -
1567   type: "plot"
1568   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1569   algorithm: "plot_performance_box"
1570   output-file-type: ".html"
1571   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc"
1572   data:
1573     "plot-vpp-throughput-latency"
1574   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1575   parameters:
1576   - "throughput"
1577   - "parent"
1578   traces:
1579     hoverinfo: "x+y"
1580     boxpoints: "outliers"
1581     whiskerwidth: 0
1582   layout:
1583     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1584     layout:
1585       "plot-throughput"
1586
1587 -
1588   type: "plot"
1589   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1590   algorithm: "plot_performance_box"
1591   output-file-type: ".html"
1592   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc"
1593   data:
1594     "plot-vpp-throughput-latency"
1595   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1596   parameters:
1597   - "throughput"
1598   - "parent"
1599   traces:
1600     hoverinfo: "x+y"
1601     boxpoints: "outliers"
1602     whiskerwidth: 0
1603   layout:
1604     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1605     layout:
1606       "plot-throughput"
1607
1608 -
1609   type: "plot"
1610   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1611   algorithm: "plot_performance_box"
1612   output-file-type: ".html"
1613   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-pdrdisc"
1614   data:
1615     "plot-vpp-throughput-latency"
1616   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1617   parameters:
1618   - "throughput"
1619   - "parent"
1620   traces:
1621     hoverinfo: "x+y"
1622     boxpoints: "outliers"
1623     whiskerwidth: 0
1624   layout:
1625     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1626     layout:
1627       "plot-throughput"
1628
1629 -
1630   type: "plot"
1631   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1632   algorithm: "plot_performance_box"
1633   output-file-type: ".html"
1634   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-pdrdisc"
1635   data:
1636     "plot-vpp-throughput-latency"
1637   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1638   parameters:
1639   - "throughput"
1640   - "parent"
1641   traces:
1642     hoverinfo: "x+y"
1643     boxpoints: "outliers"
1644     whiskerwidth: 0
1645   layout:
1646     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1647     layout:
1648       "plot-throughput"
1649
1650 # VPP IP4
1651 -
1652   type: "plot"
1653   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1654   algorithm: "plot_performance_box"
1655   output-file-type: ".html"
1656   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc"
1657   data:
1658     "plot-vpp-throughput-latency"
1659   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
1660   parameters:
1661   - "throughput"
1662   - "parent"
1663   traces:
1664     hoverinfo: "x+y"
1665     boxpoints: "outliers"
1666     whiskerwidth: 0
1667   layout:
1668     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1669     layout:
1670       "plot-throughput"
1671
1672 -
1673   type: "plot"
1674   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1675   algorithm: "plot_performance_box"
1676   output-file-type: ".html"
1677   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc"
1678   data:
1679     "plot-vpp-throughput-latency"
1680   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
1681   parameters:
1682   - "throughput"
1683   - "parent"
1684   traces:
1685     hoverinfo: "x+y"
1686     boxpoints: "outliers"
1687     whiskerwidth: 0
1688   layout:
1689     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1690     layout:
1691       "plot-throughput"
1692
1693 -
1694   type: "plot"
1695   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1696   algorithm: "plot_performance_box"
1697   output-file-type: ".html"
1698   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-pdrdisc"
1699   data:
1700     "plot-vpp-throughput-latency"
1701   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
1702   parameters:
1703   - "throughput"
1704   - "parent"
1705   traces:
1706     hoverinfo: "x+y"
1707     boxpoints: "outliers"
1708     whiskerwidth: 0
1709   layout:
1710     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1711     layout:
1712       "plot-throughput"
1713
1714 -
1715   type: "plot"
1716   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1717   algorithm: "plot_performance_box"
1718   output-file-type: ".html"
1719   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-pdrdisc"
1720   data:
1721     "plot-vpp-throughput-latency"
1722   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
1723   parameters:
1724   - "throughput"
1725   - "parent"
1726   traces:
1727     hoverinfo: "x+y"
1728     boxpoints: "outliers"
1729     whiskerwidth: 0
1730   layout:
1731     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1732     layout:
1733       "plot-throughput"
1734
1735 # VPP IP6
1736 -
1737   type: "plot"
1738   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1739   algorithm: "plot_performance_box"
1740   output-file-type: ".html"
1741   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc"
1742   data:
1743     "plot-vpp-throughput-latency"
1744   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1745   parameters:
1746   - "throughput"
1747   - "parent"
1748   traces:
1749     hoverinfo: "x+y"
1750     boxpoints: "outliers"
1751     whiskerwidth: 0
1752   layout:
1753     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1754     layout:
1755       "plot-throughput"
1756
1757 -
1758   type: "plot"
1759   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1760   algorithm: "plot_performance_box"
1761   output-file-type: ".html"
1762   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc"
1763   data:
1764     "plot-vpp-throughput-latency"
1765   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1766   parameters:
1767   - "throughput"
1768   - "parent"
1769   traces:
1770     hoverinfo: "x+y"
1771     boxpoints: "outliers"
1772     whiskerwidth: 0
1773   layout:
1774     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1775     layout:
1776       "plot-throughput"
1777
1778 -
1779   type: "plot"
1780   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1781   algorithm: "plot_performance_box"
1782   output-file-type: ".html"
1783   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-pdrdisc"
1784   data:
1785     "plot-vpp-throughput-latency"
1786   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1787   parameters:
1788   - "throughput"
1789   - "parent"
1790   traces:
1791     hoverinfo: "x+y"
1792     boxpoints: "outliers"
1793     whiskerwidth: 0
1794   layout:
1795     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1796     layout:
1797       "plot-throughput"
1798
1799 -
1800   type: "plot"
1801   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1802   algorithm: "plot_performance_box"
1803   output-file-type: ".html"
1804   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-pdrdisc"
1805   data:
1806     "plot-vpp-throughput-latency"
1807   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1808   parameters:
1809   - "throughput"
1810   - "parent"
1811   traces:
1812     hoverinfo: "x+y"
1813     boxpoints: "outliers"
1814     whiskerwidth: 0
1815   layout:
1816     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1817     layout:
1818       "plot-throughput"
1819
1820 # VPP IP4_overlay
1821 -
1822   type: "plot"
1823   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1824   algorithm: "plot_performance_box"
1825   output-file-type: ".html"
1826   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc"
1827   data:
1828     "plot-vpp-throughput-latency"
1829   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1830   parameters:
1831   - "throughput"
1832   - "parent"
1833   traces:
1834     hoverinfo: "x+y"
1835     boxpoints: "outliers"
1836     whiskerwidth: 0
1837   layout:
1838     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1839     layout:
1840       "plot-throughput"
1841
1842 -
1843   type: "plot"
1844   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1845   algorithm: "plot_performance_box"
1846   output-file-type: ".html"
1847   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc"
1848   data:
1849     "plot-vpp-throughput-latency"
1850   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1851   parameters:
1852   - "throughput"
1853   - "parent"
1854   traces:
1855     hoverinfo: "x+y"
1856     boxpoints: "outliers"
1857     whiskerwidth: 0
1858   layout:
1859     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1860     layout:
1861       "plot-throughput"
1862
1863 -
1864   type: "plot"
1865   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1866   algorithm: "plot_performance_box"
1867   output-file-type: ".html"
1868   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-pdrdisc"
1869   data:
1870     "plot-vpp-throughput-latency"
1871   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1872   parameters:
1873   - "throughput"
1874   - "parent"
1875   traces:
1876     hoverinfo: "x+y"
1877     boxpoints: "outliers"
1878     whiskerwidth: 0
1879   layout:
1880     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1881     layout:
1882       "plot-throughput"
1883
1884 -
1885   type: "plot"
1886   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1887   algorithm: "plot_performance_box"
1888   output-file-type: ".html"
1889   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-pdrdisc"
1890   data:
1891     "plot-vpp-throughput-latency"
1892   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1893   parameters:
1894   - "throughput"
1895   - "parent"
1896   traces:
1897     hoverinfo: "x+y"
1898     boxpoints: "outliers"
1899     whiskerwidth: 0
1900   layout:
1901     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1902     layout:
1903       "plot-throughput"
1904
1905 # VPP IP6_overlay
1906 -
1907   type: "plot"
1908   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1909   algorithm: "plot_performance_box"
1910   output-file-type: ".html"
1911   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc"
1912   data:
1913     "plot-vpp-throughput-latency"
1914   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1915   parameters:
1916   - "throughput"
1917   - "parent"
1918   traces:
1919     hoverinfo: "x+y"
1920     boxpoints: "outliers"
1921     whiskerwidth: 0
1922   layout:
1923     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1924     xaxis:
1925       autorange: True
1926       autotick: False
1927       fixedrange: False
1928       gridcolor: "rgb(238, 238, 238)"
1929       linecolor: "rgb(238, 238, 238)"
1930       linewidth: 1
1931       showgrid: True
1932       showline: True
1933       showticklabels: True
1934       tickcolor: "rgb(238, 238, 238)"
1935       tickmode: "linear"
1936       title: "Indexed Test Cases"
1937       zeroline: False
1938     yaxis:
1939       gridcolor: "rgb(238, 238, 238)'"
1940       hoverformat: ".4s"
1941       linecolor: "rgb(238, 238, 238)"
1942       linewidth: 1
1943       range: [2000000, 6000000]
1944       showgrid: True
1945       showline: True
1946       showticklabels: True
1947       tickcolor: "rgb(238, 238, 238)"
1948       title: "Packets Per Second [pps]"
1949       zeroline: False
1950     boxmode: "group"
1951     boxgroupgap: 0.5
1952     autosize: False
1953     margin:
1954       t: 50
1955       b: 20
1956       l: 50
1957       r: 20
1958     showlegend: True
1959     legend:
1960       orientation: "h"
1961     width: 700
1962     height: 1000
1963
1964 -
1965   type: "plot"
1966   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1967   algorithm: "plot_performance_box"
1968   output-file-type: ".html"
1969   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc"
1970   data:
1971     "plot-vpp-throughput-latency"
1972   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1973   parameters:
1974   - "throughput"
1975   - "parent"
1976   traces:
1977     hoverinfo: "x+y"
1978     boxpoints: "outliers"
1979     whiskerwidth: 0
1980   layout:
1981     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1982     layout:
1983       "plot-throughput"
1984
1985 -
1986   type: "plot"
1987   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1988   algorithm: "plot_performance_box"
1989   output-file-type: ".html"
1990   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-pdrdisc"
1991   data:
1992     "plot-vpp-throughput-latency"
1993   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1994   parameters:
1995   - "throughput"
1996   - "parent"
1997   traces:
1998     hoverinfo: "x+y"
1999     boxpoints: "outliers"
2000     whiskerwidth: 0
2001   layout:
2002     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2003     layout:
2004       "plot-throughput"
2005
2006 -
2007   type: "plot"
2008   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2009   algorithm: "plot_performance_box"
2010   output-file-type: ".html"
2011   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-pdrdisc"
2012   data:
2013     "plot-vpp-throughput-latency"
2014   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2015   parameters:
2016   - "throughput"
2017   - "parent"
2018   traces:
2019     hoverinfo: "x+y"
2020     boxpoints: "outliers"
2021     whiskerwidth: 0
2022   layout:
2023     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2024     xaxis:
2025       autorange: True
2026       autotick: False
2027       fixedrange: False
2028       gridcolor: "rgb(238, 238, 238)"
2029       linecolor: "rgb(238, 238, 238)"
2030       linewidth: 1
2031       showgrid: True
2032       showline: True
2033       showticklabels: True
2034       tickcolor: "rgb(238, 238, 238)"
2035       tickmode: "linear"
2036       title: "Indexed Test Cases"
2037       zeroline: False
2038     yaxis:
2039       gridcolor: "rgb(238, 238, 238)'"
2040       hoverformat: ".4s"
2041       linecolor: "rgb(238, 238, 238)"
2042       linewidth: 1
2043       range: [4000000, 12000000]
2044       showgrid: True
2045       showline: True
2046       showticklabels: True
2047       tickcolor: "rgb(238, 238, 238)"
2048       title: "Packets Per Second [pps]"
2049       zeroline: False
2050     boxmode: "group"
2051     boxgroupgap: 0.5
2052     autosize: False
2053     margin:
2054       t: 50
2055       b: 20
2056       l: 50
2057       r: 20
2058     showlegend: True
2059     legend:
2060       orientation: "h"
2061     width: 700
2062     height: 1000
2063
2064 # VPP VM VHOST
2065 -
2066   type: "plot"
2067   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2068   algorithm: "plot_performance_box"
2069   output-file-type: ".html"
2070   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc"
2071   data:
2072     "plot-vpp-throughput-latency"
2073   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2074   parameters:
2075   - "throughput"
2076   - "parent"
2077   traces:
2078     hoverinfo: "x+y"
2079     boxpoints: "outliers"
2080     whiskerwidth: 0
2081   layout:
2082     title: "64B-1t1c-.*vhost.*-ndrdisc"
2083     xaxis:
2084       autorange: True
2085       autotick: False
2086       fixedrange: False
2087       gridcolor: "rgb(238, 238, 238)"
2088       linecolor: "rgb(238, 238, 238)"
2089       linewidth: 1
2090       showgrid: True
2091       showline: True
2092       showticklabels: True
2093       tickcolor: "rgb(238, 238, 238)"
2094       tickmode: "linear"
2095       title: "Indexed Test Cases"
2096       zeroline: False
2097     yaxis:
2098       gridcolor: "rgb(238, 238, 238)'"
2099       hoverformat: ".4s"
2100       linecolor: "rgb(238, 238, 238)"
2101       linewidth: 1
2102       range: [0, 3500000]
2103       showgrid: True
2104       showline: True
2105       showticklabels: True
2106       tickcolor: "rgb(238, 238, 238)"
2107       title: "Packets Per Second [pps]"
2108       zeroline: False
2109     boxmode: "group"
2110     boxgroupgap: 0.5
2111     autosize: False
2112     margin:
2113       t: 50
2114       b: 20
2115       l: 50
2116       r: 20
2117     showlegend: True
2118     legend:
2119       orientation: "h"
2120     width: 700
2121     height: 1000
2122
2123 -
2124   type: "plot"
2125   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2126   algorithm: "plot_performance_box"
2127   output-file-type: ".html"
2128   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc"
2129   data:
2130     "plot-vpp-throughput-latency"
2131   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2132   parameters:
2133   - "throughput"
2134   - "parent"
2135   traces:
2136     hoverinfo: "x+y"
2137     boxpoints: "outliers"
2138     whiskerwidth: 0
2139   layout:
2140     title: "64B-2t2c-.*vhost.*-ndrdisc"
2141     layout:
2142       "plot-throughput"
2143
2144 -
2145   type: "plot"
2146   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2147   algorithm: "plot_performance_box"
2148   output-file-type: ".html"
2149   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-pdrdisc"
2150   data:
2151     "plot-vpp-throughput-latency"
2152   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2153   parameters:
2154   - "throughput"
2155   - "parent"
2156   traces:
2157     hoverinfo: "x+y"
2158     boxpoints: "outliers"
2159     whiskerwidth: 0
2160   layout:
2161     title: "64B-1t1c-.*vhost.*-pdrdisc"
2162     layout:
2163       "plot-throughput"
2164
2165 -
2166   type: "plot"
2167   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2168   algorithm: "plot_performance_box"
2169   output-file-type: ".html"
2170   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-pdrdisc"
2171   data:
2172     "plot-vpp-throughput-latency"
2173   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2174   parameters:
2175   - "throughput"
2176   - "parent"
2177   traces:
2178     hoverinfo: "x+y"
2179     boxpoints: "outliers"
2180     whiskerwidth: 0
2181   layout:
2182     title: "64B-2t2c-.*vhost.*-pdrdisc"
2183     layout:
2184       "plot-throughput"
2185
2186 # VPP VM VHOST SELECTION
2187 -
2188   type: "plot"
2189   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2190   algorithm: "plot_performance_box"
2191   output-file-type: ".html"
2192   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc"
2193   data:
2194     "plot-vpp-throughput-latency"
2195   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2196   parameters:
2197   - "throughput"
2198   - "parent"
2199   traces:
2200     hoverinfo: "x+y"
2201     boxpoints: "outliers"
2202     whiskerwidth: 0
2203   layout:
2204     title: "64B-1t1c-.*vhost.*-ndrdisc"
2205     layout:
2206       "plot-throughput"
2207
2208 -
2209   type: "plot"
2210   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2211   algorithm: "plot_performance_box"
2212   output-file-type: ".html"
2213   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc"
2214   data:
2215     "plot-vpp-throughput-latency"
2216   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2217   parameters:
2218   - "throughput"
2219   - "parent"
2220   traces:
2221     hoverinfo: "x+y"
2222     boxpoints: "outliers"
2223     whiskerwidth: 0
2224   layout:
2225     title: "64B-2t2c-.*vhost.*-ndrdisc"
2226     layout:
2227       "plot-throughput"
2228
2229 -
2230   type: "plot"
2231   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2232   algorithm: "plot_performance_box"
2233   output-file-type: ".html"
2234   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-pdrdisc"
2235   data:
2236     "plot-vpp-throughput-latency"
2237   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2238   parameters:
2239   - "throughput"
2240   - "parent"
2241   traces:
2242     hoverinfo: "x+y"
2243     boxpoints: "outliers"
2244     whiskerwidth: 0
2245   layout:
2246     title: "64B-1t1c-.*vhost.*-pdrdisc"
2247     layout:
2248       "plot-throughput"
2249
2250 -
2251   type: "plot"
2252   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2253   algorithm: "plot_performance_box"
2254   output-file-type: ".html"
2255   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-pdrdisc"
2256   data:
2257     "plot-vpp-throughput-latency"
2258   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2259   parameters:
2260   - "throughput"
2261   - "parent"
2262   traces:
2263     hoverinfo: "x+y"
2264     boxpoints: "outliers"
2265     whiskerwidth: 0
2266   layout:
2267     title: "64B-2t2c-.*vhost.*-pdrdisc"
2268     layout:
2269       "plot-throughput"
2270
2271 # VPP CRYPTO
2272 -
2273   type: "plot"
2274   title: "VPP Performance 64B-1t1c-.*ipsec.*-ndrdisc"
2275   algorithm: "plot_performance_box"
2276   output-file-type: ".html"
2277   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc"
2278   data:
2279     "plot-vpp-throughput-latency"
2280   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2281   parameters:
2282   - "throughput"
2283   - "parent"
2284   traces:
2285     hoverinfo: "x+y"
2286     boxpoints: "outliers"
2287     whiskerwidth: 0
2288   layout:
2289     title: "64B-1t1c-.*ipsec.*-ndrdisc"
2290     layout:
2291       "plot-throughput"
2292
2293 -
2294   type: "plot"
2295   title: "VPP Performance 64B-2t2c-.*ipsec.*-ndrdisc"
2296   algorithm: "plot_performance_box"
2297   output-file-type: ".html"
2298   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc"
2299   data:
2300     "plot-vpp-throughput-latency"
2301   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2302   parameters:
2303   - "throughput"
2304   - "parent"
2305   traces:
2306     hoverinfo: "x+y"
2307     boxpoints: "outliers"
2308     whiskerwidth: 0
2309   layout:
2310     title: "64B-2t2c-.*ipsec.*-ndrdisc"
2311     layout:
2312       "plot-throughput"
2313
2314 -
2315   type: "plot"
2316   title: "VPP Performance 64B-1t1c-.*ipsec.*-pdrdisc"
2317   algorithm: "plot_performance_box"
2318   output-file-type: ".html"
2319   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-pdrdisc"
2320   data:
2321     "plot-vpp-throughput-latency"
2322   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2323   parameters:
2324   - "throughput"
2325   - "parent"
2326   traces:
2327     hoverinfo: "x+y"
2328     boxpoints: "outliers"
2329     whiskerwidth: 0
2330   layout:
2331     title: "64B-1t1c-.*ipsec.*-pdrdisc"
2332     layout:
2333       "plot-throughput"
2334
2335 -
2336   type: "plot"
2337   title: "VPP Performance 64B-2t2c-.*ipsec.*-pdrdisc"
2338   algorithm: "plot_performance_box"
2339   output-file-type: ".html"
2340   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-pdrdisc"
2341   data:
2342     "plot-vpp-throughput-latency"
2343   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2344   parameters:
2345   - "throughput"
2346   - "parent"
2347   traces:
2348     hoverinfo: "x+y"
2349     boxpoints: "outliers"
2350     whiskerwidth: 0
2351   layout:
2352     title: "64B-2t2c-.*ipsec.*-pdrdisc"
2353     layout:
2354       "plot-throughput"
2355
2356 # DPDK
2357 -
2358   type: "plot"
2359   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2360   algorithm: "plot_performance_box"
2361   output-file-type: ".html"
2362   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc"
2363   data:
2364     "plot-dpdk-throughput-latency"
2365   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2366   parameters:
2367   - "throughput"
2368   - "parent"
2369   traces:
2370     hoverinfo: "x+y"
2371     boxpoints: "outliers"
2372     whiskerwidth: 0
2373   layout:
2374     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2375     layout:
2376       "plot-throughput"
2377
2378 -
2379   type: "plot"
2380   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2381   algorithm: "plot_performance_box"
2382   output-file-type: ".html"
2383   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc"
2384   data:
2385     "plot-dpdk-throughput-latency"
2386   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2387   parameters:
2388   - "throughput"
2389   - "parent"
2390   traces:
2391     hoverinfo: "x+y"
2392     boxpoints: "outliers"
2393     whiskerwidth: 0
2394   layout:
2395     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2396     layout:
2397       "plot-throughput"
2398
2399 -
2400   type: "plot"
2401   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2402   algorithm: "plot_performance_box"
2403   output-file-type: ".html"
2404   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc"
2405   data:
2406     "plot-dpdk-throughput-latency"
2407   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
2408   parameters:
2409   - "throughput"
2410   - "parent"
2411   traces:
2412     hoverinfo: "x+y"
2413     boxpoints: "outliers"
2414     whiskerwidth: 0
2415   layout:
2416     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2417     xaxis:
2418       autorange: True
2419       autotick: False
2420       fixedrange: False
2421       gridcolor: "rgb(238, 238, 238)"
2422       linecolor: "rgb(238, 238, 238)"
2423       linewidth: 1
2424       showgrid: True
2425       showline: True
2426       showticklabels: True
2427       tickcolor: "rgb(238, 238, 238)"
2428       tickmode: "linear"
2429       title: "Indexed Test Cases"
2430       zeroline: False
2431     yaxis:
2432       gridcolor: "rgb(238, 238, 238)'"
2433       hoverformat: ".4s"
2434       linecolor: "rgb(238, 238, 238)"
2435       linewidth: 1
2436       range: [2000000, 12000000]
2437       showgrid: True
2438       showline: True
2439       showticklabels: True
2440       tickcolor: "rgb(238, 238, 238)"
2441       title: "Packets Per Second [pps]"
2442       zeroline: False
2443     boxmode: "group"
2444     boxgroupgap: 0.5
2445     autosize: False
2446     margin:
2447       t: 50
2448       b: 20
2449       l: 50
2450       r: 20
2451     showlegend: True
2452     legend:
2453       orientation: "h"
2454     width: 700
2455     height: 1000
2456
2457 -
2458   type: "plot"
2459   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2460   algorithm: "plot_performance_box"
2461   output-file-type: ".html"
2462   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc"
2463   data:
2464     "plot-dpdk-throughput-latency"
2465   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
2466   parameters:
2467   - "throughput"
2468   - "parent"
2469   traces:
2470     hoverinfo: "x+y"
2471     boxpoints: "outliers"
2472     whiskerwidth: 0
2473   layout:
2474     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2475     xaxis:
2476       autorange: True
2477       autotick: False
2478       fixedrange: False
2479       gridcolor: "rgb(238, 238, 238)"
2480       linecolor: "rgb(238, 238, 238)"
2481       linewidth: 1
2482       showgrid: True
2483       showline: True
2484       showticklabels: True
2485       tickcolor: "rgb(238, 238, 238)"
2486       tickmode: "linear"
2487       title: "Indexed Test Cases"
2488       zeroline: False
2489     yaxis:
2490       gridcolor: "rgb(238, 238, 238)'"
2491       hoverformat: ".4s"
2492       linecolor: "rgb(238, 238, 238)"
2493       linewidth: 1
2494       range: [2000000, 12000000]
2495       showgrid: True
2496       showline: True
2497       showticklabels: True
2498       tickcolor: "rgb(238, 238, 238)"
2499       title: "Packets Per Second [pps]"
2500       zeroline: False
2501     boxmode: "group"
2502     boxgroupgap: 0.5
2503     autosize: False
2504     margin:
2505       t: 50
2506       b: 20
2507       l: 50
2508       r: 20
2509     showlegend: True
2510     legend:
2511       orientation: "h"
2512     width: 700
2513     height: 1000
2514
2515 -
2516   type: "plot"
2517   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2518   algorithm: "plot_performance_box"
2519   output-file-type: ".html"
2520   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-pdrdisc"
2521   data:
2522     "plot-dpdk-throughput-latency"
2523   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2524   parameters:
2525   - "throughput"
2526   - "parent"
2527   traces:
2528     hoverinfo: "x+y"
2529     boxpoints: "outliers"
2530     whiskerwidth: 0
2531   layout:
2532     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2533     layout:
2534       "plot-throughput"
2535
2536 -
2537   type: "plot"
2538   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2539   algorithm: "plot_performance_box"
2540   output-file-type: ".html"
2541   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-pdrdisc"
2542   data:
2543     "plot-dpdk-throughput-latency"
2544   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2545   parameters:
2546   - "throughput"
2547   - "parent"
2548   traces:
2549     hoverinfo: "x+y"
2550     boxpoints: "outliers"
2551     whiskerwidth: 0
2552   layout:
2553     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2554     layout:
2555       "plot-throughput"
2556
2557 -
2558   type: "plot"
2559   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
2560   algorithm: "plot_performance_box"
2561   output-file-type: ".html"
2562   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-pdrdisc"
2563   data:
2564     "plot-dpdk-throughput-latency"
2565   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD'"
2566   parameters:
2567   - "throughput"
2568   - "parent"
2569   traces:
2570     hoverinfo: "x+y"
2571     boxpoints: "outliers"
2572     whiskerwidth: 0
2573   layout:
2574     title: "64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
2575     xaxis:
2576       autorange: True
2577       autotick: False
2578       fixedrange: False
2579       gridcolor: "rgb(238, 238, 238)"
2580       linecolor: "rgb(238, 238, 238)"
2581       linewidth: 1
2582       showgrid: True
2583       showline: True
2584       showticklabels: True
2585       tickcolor: "rgb(238, 238, 238)"
2586       tickmode: "linear"
2587       title: "Indexed Test Cases"
2588       zeroline: False
2589     yaxis:
2590       gridcolor: "rgb(238, 238, 238)'"
2591       hoverformat: ".4s"
2592       linecolor: "rgb(238, 238, 238)"
2593       linewidth: 1
2594       range: [20000000, 30000000]
2595       showgrid: True
2596       showline: True
2597       showticklabels: True
2598       tickcolor: "rgb(238, 238, 238)"
2599       title: "Packets Per Second [pps]"
2600       zeroline: False
2601     boxmode: "group"
2602     boxgroupgap: 0.5
2603     autosize: False
2604     margin:
2605       t: 50
2606       b: 20
2607       l: 50
2608       r: 20
2609     showlegend: True
2610     legend:
2611       orientation: "h"
2612     width: 700
2613     height: 1000
2614
2615 -
2616   type: "plot"
2617   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
2618   algorithm: "plot_performance_box"
2619   output-file-type: ".html"
2620   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-pdrdisc"
2621   data:
2622     "plot-dpdk-throughput-latency"
2623   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD'"
2624   parameters:
2625   - "throughput"
2626   - "parent"
2627   traces:
2628     hoverinfo: "x+y"
2629     boxpoints: "outliers"
2630     whiskerwidth: 0
2631   layout:
2632     title: "64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
2633     xaxis:
2634       autorange: True
2635       autotick: False
2636       fixedrange: False
2637       gridcolor: "rgb(238, 238, 238)"
2638       linecolor: "rgb(238, 238, 238)"
2639       linewidth: 1
2640       showgrid: True
2641       showline: True
2642       showticklabels: True
2643       tickcolor: "rgb(238, 238, 238)"
2644       tickmode: "linear"
2645       title: "Indexed Test Cases"
2646       zeroline: False
2647     yaxis:
2648       gridcolor: "rgb(238, 238, 238)'"
2649       hoverformat: ".4s"
2650       linecolor: "rgb(238, 238, 238)"
2651       linewidth: 1
2652       range: [20000000, 30000000]
2653       showgrid: True
2654       showline: True
2655       showticklabels: True
2656       tickcolor: "rgb(238, 238, 238)"
2657       title: "Packets Per Second [pps]"
2658       zeroline: False
2659     boxmode: "group"
2660     boxgroupgap: 0.5
2661     autosize: False
2662     margin:
2663       t: 50
2664       b: 20
2665       l: 50
2666       r: 20
2667     showlegend: True
2668     legend:
2669       orientation: "h"
2670     width: 700
2671     height: 1000
2672
2673 # Plot latency
2674
2675 # VPP L2 sel1
2676 -
2677   type: "plot"
2678   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2679   algorithm: "plot_latency_box"
2680   output-file-type: ".html"
2681   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc-lat50"
2682   data:
2683     "plot-vpp-throughput-latency"
2684   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2685   parameters:
2686   - "latency"
2687   - "parent"
2688   traces:
2689     boxmean: False
2690   layout:
2691     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2692     layout:
2693       "plot-latency"
2694
2695 -
2696   type: "plot"
2697   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2698   algorithm: "plot_latency_box"
2699   output-file-type: ".html"
2700   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc-lat50"
2701   data:
2702     "plot-vpp-throughput-latency"
2703   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2704   parameters:
2705   - "latency"
2706   - "parent"
2707   traces:
2708     boxmean: False
2709   layout:
2710     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2711     layout:
2712       "plot-latency"
2713
2714 # VPP L2 sel2
2715 -
2716   type: "plot"
2717   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2718   algorithm: "plot_latency_box"
2719   output-file-type: ".html"
2720   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc-lat50"
2721   data:
2722     "plot-vpp-throughput-latency"
2723   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2724   parameters:
2725   - "latency"
2726   - "parent"
2727   traces:
2728     boxmean: False
2729   layout:
2730     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2731     layout:
2732       "plot-latency"
2733
2734 -
2735   type: "plot"
2736   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2737   algorithm: "plot_latency_box"
2738   output-file-type: ".html"
2739   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc-lat50"
2740   data:
2741     "plot-vpp-throughput-latency"
2742   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2743   parameters:
2744   - "latency"
2745   - "parent"
2746   traces:
2747     boxmean: False
2748   layout:
2749     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2750     layout:
2751       "plot-latency"
2752
2753 # VPP IP4
2754 -
2755   type: "plot"
2756   title: "VPP Latency 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2757   algorithm: "plot_latency_box"
2758   output-file-type: ".html"
2759   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc-lat50"
2760   data:
2761     "plot-vpp-throughput-latency"
2762   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
2763   parameters:
2764   - "latency"
2765   - "parent"
2766   traces:
2767     boxmean: False
2768   layout:
2769     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2770     layout:
2771       "plot-latency"
2772
2773 -
2774   type: "plot"
2775   title: "VPP Latency 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2776   algorithm: "plot_latency_box"
2777   output-file-type: ".html"
2778   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc-lat50"
2779   data:
2780     "plot-vpp-throughput-latency"
2781   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
2782   parameters:
2783   - "latency"
2784   - "parent"
2785   traces:
2786     boxmean: False
2787   layout:
2788     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2789     layout:
2790       "plot-latency"
2791
2792 # VPP IP6
2793 -
2794   type: "plot"
2795   title: "VPP Latency 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2796   algorithm: "plot_latency_box"
2797   output-file-type: ".html"
2798   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc-lat50"
2799   data:
2800     "plot-vpp-throughput-latency"
2801   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2802   parameters:
2803   - "latency"
2804   - "parent"
2805   traces:
2806     boxmean: False
2807   layout:
2808     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2809     layout:
2810       "plot-latency"
2811
2812 -
2813   type: "plot"
2814   title: "VPP Latency 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2815   algorithm: "plot_latency_box"
2816   output-file-type: ".html"
2817   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc-lat50"
2818   data:
2819     "plot-vpp-throughput-latency"
2820   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2821   parameters:
2822   - "latency"
2823   - "parent"
2824   traces:
2825     boxmean: False
2826   layout:
2827     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2828     layout:
2829       "plot-latency"
2830
2831 # VPP IP4_overlay
2832 -
2833   type: "plot"
2834   title: "VPP Latency 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2835   algorithm: "plot_latency_box"
2836   output-file-type: ".html"
2837   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc-lat50"
2838   data:
2839     "plot-vpp-throughput-latency"
2840   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2841   parameters:
2842   - "latency"
2843   - "parent"
2844   traces:
2845     boxmean: False
2846   layout:
2847     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2848     layout:
2849       "plot-latency"
2850
2851 -
2852   type: "plot"
2853   title: "VPP Latency 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2854   algorithm: "plot_latency_box"
2855   output-file-type: ".html"
2856   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc-lat50"
2857   data:
2858     "plot-vpp-throughput-latency"
2859   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2860   parameters:
2861   - "latency"
2862   - "parent"
2863   traces:
2864     boxmean: False
2865   layout:
2866     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2867     layout:
2868       "plot-latency"
2869
2870 # VPP IP6_overlay
2871 -
2872   type: "plot"
2873   title: "VPP Latency 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2874   algorithm: "plot_latency_box"
2875   output-file-type: ".html"
2876   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc-lat50"
2877   data:
2878     "plot-vpp-throughput-latency"
2879   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2880   parameters:
2881   - "latency"
2882   - "parent"
2883   traces:
2884     boxmean: False
2885   layout:
2886     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2887     layout:
2888       "plot-latency"
2889
2890 -
2891   type: "plot"
2892   title: "VPP Latency 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2893   algorithm: "plot_latency_box"
2894   output-file-type: ".html"
2895   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc-lat50"
2896   data:
2897     "plot-vpp-throughput-latency"
2898   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2899   parameters:
2900   - "latency"
2901   - "parent"
2902   traces:
2903     boxmean: False
2904   layout:
2905     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2906     layout:
2907       "plot-latency"
2908
2909 # VPP VM VHOST
2910 -
2911   type: "plot"
2912   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
2913   algorithm: "plot_latency_box"
2914   output-file-type: ".html"
2915   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc-lat50"
2916   data:
2917     "plot-vpp-throughput-latency"
2918   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2919   parameters:
2920   - "latency"
2921   - "parent"
2922   traces:
2923     boxmean: False
2924   layout:
2925     title: "64B-1t1c-.*vhost.*-ndrdisc"
2926     layout:
2927       "plot-latency"
2928
2929 -
2930   type: "plot"
2931   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
2932   algorithm: "plot_latency_box"
2933   output-file-type: ".html"
2934   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc-lat50"
2935   data:
2936     "plot-vpp-throughput-latency"
2937   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2938   parameters:
2939   - "latency"
2940   - "parent"
2941   traces:
2942     boxmean: False
2943   layout:
2944     title: "64B-2t2c-.*vhost.*-ndrdisc"
2945     layout:
2946       "plot-latency"
2947
2948 # VPP VM VHOST selection
2949 -
2950   type: "plot"
2951   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
2952   algorithm: "plot_latency_box"
2953   output-file-type: ".html"
2954   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc-lat50"
2955   data:
2956     "plot-vpp-throughput-latency"
2957   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2958   parameters:
2959   - "latency"
2960   - "parent"
2961   traces:
2962     boxmean: False
2963   layout:
2964     title: "64B-1t1c-.*vhost.*-ndrdisc"
2965     layout:
2966       "plot-latency"
2967
2968 -
2969   type: "plot"
2970   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
2971   algorithm: "plot_latency_box"
2972   output-file-type: ".html"
2973   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc-lat50"
2974   data:
2975     "plot-vpp-throughput-latency"
2976   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2977   parameters:
2978   - "latency"
2979   - "parent"
2980   traces:
2981     boxmean: False
2982   layout:
2983     title: "64B-2t2c-.*vhost.*-ndrdisc"
2984     layout:
2985       "plot-latency"
2986
2987 # VPP CRYPTO
2988 -
2989   type: "plot"
2990   title: "VPP Latency 64B-1t1c-.*ipsec.*-ndrdisc"
2991   algorithm: "plot_latency_box"
2992   output-file-type: ".html"
2993   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc-lat50"
2994   data:
2995     "plot-vpp-throughput-latency"
2996   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2997   parameters:
2998   - "latency"
2999   - "parent"
3000   traces:
3001     boxmean: False
3002   layout:
3003     title: "64B-1t1c-.*ipsec.*-ndrdisc"
3004     layout:
3005       "plot-latency"
3006
3007 -
3008   type: "plot"
3009   title: "VPP Latency 64B-2t2c-.*ipsec.*-ndrdisc"
3010   algorithm: "plot_latency_box"
3011   output-file-type: ".html"
3012   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc-lat50"
3013   data:
3014     "plot-vpp-throughput-latency"
3015   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
3016   parameters:
3017   - "latency"
3018   - "parent"
3019   traces:
3020     boxmean: False
3021   layout:
3022     title: "64B-2t2c-.*ipsec.*-ndrdisc"
3023     layout:
3024       "plot-latency"
3025
3026 # DPDK
3027 -
3028   type: "plot"
3029   title: "DPDK Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3030   algorithm: "plot_latency_box"
3031   output-file-type: ".html"
3032   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc-lat50"
3033   data:
3034     "plot-dpdk-throughput-latency"
3035   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3036   parameters:
3037   - "latency"
3038   - "parent"
3039   traces:
3040     boxmean: False
3041   layout:
3042     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3043     layout:
3044       "plot-latency"
3045
3046 -
3047   type: "plot"
3048   title: "DPDK Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3049   algorithm: "plot_latency_box"
3050   output-file-type: ".html"
3051   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc-lat50"
3052   data:
3053     "plot-dpdk-throughput-latency"
3054   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3055   parameters:
3056   - "latency"
3057   - "parent"
3058   traces:
3059     boxmean: False
3060   layout:
3061     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3062     layout:
3063       "plot-latency"
3064
3065 -
3066   type: "plot"
3067   title: "DPDK Latency 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3068   algorithm: "plot_latency_box"
3069   output-file-type: ".html"
3070   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc-lat50"
3071   data:
3072     "plot-dpdk-throughput-latency"
3073   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
3074   parameters:
3075   - "latency"
3076   - "parent"
3077   traces:
3078     boxmean: False
3079   layout:
3080     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3081     layout:
3082       "plot-latency"
3083
3084 -
3085   type: "plot"
3086   title: "DPDK Latency 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3087   algorithm: "plot_latency_box"
3088   output-file-type: ".html"
3089   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc-lat50"
3090   data:
3091     "plot-dpdk-throughput-latency"
3092   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
3093   parameters:
3094   - "latency"
3095   - "parent"
3096   traces:
3097     boxmean: False
3098   layout:
3099     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3100     layout:
3101       "plot-latency"
3102
3103 # Ligato - Throughput
3104
3105 # Container memif
3106 -
3107   type: "plot"
3108   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3109   algorithm: "plot_performance_box"
3110   output-file-type: ".html"
3111   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc"
3112   data:
3113     "plot-vpp-throughput-latency"
3114   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3115   parameters:
3116   - "throughput"
3117   - "parent"
3118   traces:
3119     hoverinfo: "x+y"
3120     boxpoints: "outliers"
3121     whiskerwidth: 0
3122   layout:
3123     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3124     xaxis:
3125       autorange: True
3126       autotick: False
3127       fixedrange: False
3128       gridcolor: "rgb(238, 238, 238)"
3129       linecolor: "rgb(238, 238, 238)"
3130       linewidth: 1
3131       showgrid: True
3132       showline: True
3133       showticklabels: True
3134       tickcolor: "rgb(238, 238, 238)"
3135       tickmode: "linear"
3136       title: "Indexed Test Cases"
3137       zeroline: False
3138     yaxis:
3139       gridcolor: "rgb(238, 238, 238)'"
3140       hoverformat: ".4s"
3141       linecolor: "rgb(238, 238, 238)"
3142       linewidth: 1
3143       range: [0, 4500000]
3144       showgrid: True
3145       showline: True
3146       showticklabels: True
3147       tickcolor: "rgb(238, 238, 238)"
3148       title: "Packets Per Second [pps]"
3149       zeroline: False
3150     boxmode: "group"
3151     boxgroupgap: 0.5
3152     autosize: False
3153     margin:
3154       t: 50
3155       b: 20
3156       l: 50
3157       r: 20
3158     showlegend: True
3159     legend:
3160       orientation: "h"
3161     width: 700
3162     height: 1000
3163
3164 -
3165   type: "plot"
3166   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3167   algorithm: "plot_performance_box"
3168   output-file-type: ".html"
3169   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc"
3170   data:
3171     "plot-vpp-throughput-latency"
3172   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3173   parameters:
3174   - "throughput"
3175   - "parent"
3176   traces:
3177     hoverinfo: "x+y"
3178     boxpoints: "outliers"
3179     whiskerwidth: 0
3180   layout:
3181     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3182     xaxis:
3183       autorange: True
3184       autotick: False
3185       fixedrange: False
3186       gridcolor: "rgb(238, 238, 238)"
3187       linecolor: "rgb(238, 238, 238)"
3188       linewidth: 1
3189       showgrid: True
3190       showline: True
3191       showticklabels: True
3192       tickcolor: "rgb(238, 238, 238)"
3193       tickmode: "linear"
3194       title: "Indexed Test Cases"
3195       zeroline: False
3196     yaxis:
3197       gridcolor: "rgb(238, 238, 238)'"
3198       hoverformat: ".4s"
3199       linecolor: "rgb(238, 238, 238)"
3200       linewidth: 1
3201       range: [0, 8000000]
3202       showgrid: True
3203       showline: True
3204       showticklabels: True
3205       tickcolor: "rgb(238, 238, 238)"
3206       title: "Packets Per Second [pps]"
3207       zeroline: False
3208     boxmode: "group"
3209     boxgroupgap: 0.5
3210     autosize: False
3211     margin:
3212       t: 50
3213       b: 20
3214       l: 50
3215       r: 20
3216     showlegend: True
3217     legend:
3218       orientation: "h"
3219     width: 700
3220     height: 1000
3221
3222 -
3223   type: "plot"
3224   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3225   algorithm: "plot_performance_box"
3226   output-file-type: ".html"
3227   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-pdrdisc"
3228   data:
3229     "plot-vpp-throughput-latency"
3230   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3231   parameters:
3232   - "throughput"
3233   - "parent"
3234   traces:
3235     hoverinfo: "x+y"
3236     boxpoints: "outliers"
3237     whiskerwidth: 0
3238   layout:
3239     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3240     xaxis:
3241       autorange: True
3242       autotick: False
3243       fixedrange: False
3244       gridcolor: "rgb(238, 238, 238)"
3245       linecolor: "rgb(238, 238, 238)"
3246       linewidth: 1
3247       showgrid: True
3248       showline: True
3249       showticklabels: True
3250       tickcolor: "rgb(238, 238, 238)"
3251       tickmode: "linear"
3252       title: "Indexed Test Cases"
3253       zeroline: False
3254     yaxis:
3255       gridcolor: "rgb(238, 238, 238)'"
3256       hoverformat: ".4s"
3257       linecolor: "rgb(238, 238, 238)"
3258       linewidth: 1
3259       range: [0, 4500000]
3260       showgrid: True
3261       showline: True
3262       showticklabels: True
3263       tickcolor: "rgb(238, 238, 238)"
3264       title: "Packets Per Second [pps]"
3265       zeroline: False
3266     boxmode: "group"
3267     boxgroupgap: 0.5
3268     autosize: False
3269     margin:
3270       t: 50
3271       b: 20
3272       l: 50
3273       r: 20
3274     showlegend: True
3275     legend:
3276       orientation: "h"
3277     width: 700
3278     height: 1000
3279
3280 -
3281   type: "plot"
3282   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3283   algorithm: "plot_performance_box"
3284   output-file-type: ".html"
3285   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-pdrdisc"
3286   data:
3287     "plot-vpp-throughput-latency"
3288   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3289   parameters:
3290   - "throughput"
3291   - "parent"
3292   traces:
3293     hoverinfo: "x+y"
3294     boxpoints: "outliers"
3295     whiskerwidth: 0
3296   layout:
3297     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3298     xaxis:
3299       autorange: True
3300       autotick: False
3301       fixedrange: False
3302       gridcolor: "rgb(238, 238, 238)"
3303       linecolor: "rgb(238, 238, 238)"
3304       linewidth: 1
3305       showgrid: True
3306       showline: True
3307       showticklabels: True
3308       tickcolor: "rgb(238, 238, 238)"
3309       tickmode: "linear"
3310       title: "Indexed Test Cases"
3311       zeroline: False
3312     yaxis:
3313       gridcolor: "rgb(238, 238, 238)'"
3314       hoverformat: ".4s"
3315       linecolor: "rgb(238, 238, 238)"
3316       linewidth: 1
3317       range: [0, 8000000]
3318       showgrid: True
3319       showline: True
3320       showticklabels: True
3321       tickcolor: "rgb(238, 238, 238)"
3322       title: "Packets Per Second [pps]"
3323       zeroline: False
3324     boxmode: "group"
3325     boxgroupgap: 0.5
3326     autosize: False
3327     margin:
3328       t: 50
3329       b: 20
3330       l: 50
3331       r: 20
3332     showlegend: True
3333     legend:
3334       orientation: "h"
3335     width: 700
3336     height: 1000
3337
3338 # Container orchestrated
3339 -
3340   type: "plot"
3341   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3342   algorithm: "plot_performance_box"
3343   output-file-type: ".html"
3344   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc"
3345   data:
3346     "plot-ligato-throughput-latency"
3347   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3348   parameters:
3349   - "throughput"
3350   - "parent"
3351   traces:
3352     hoverinfo: "x+y"
3353     boxpoints: "outliers"
3354     whiskerwidth: 0
3355   layout:
3356     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3357     layout:
3358       "plot-throughput"
3359
3360 -
3361   type: "plot"
3362   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3363   algorithm: "plot_performance_box"
3364   output-file-type: ".html"
3365   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc"
3366   data:
3367     "plot-ligato-throughput-latency"
3368   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3369   parameters:
3370   - "throughput"
3371   - "parent"
3372   traces:
3373     hoverinfo: "x+y"
3374     boxpoints: "outliers"
3375     whiskerwidth: 0
3376   layout:
3377     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3378     layout:
3379       "plot-throughput"
3380
3381 -
3382   type: "plot"
3383   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3384   algorithm: "plot_performance_box"
3385   output-file-type: ".html"
3386   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-pdrdisc"
3387   data:
3388     "plot-ligato-throughput-latency"
3389   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3390   parameters:
3391   - "throughput"
3392   - "parent"
3393   traces:
3394     hoverinfo: "x+y"
3395     boxpoints: "outliers"
3396     whiskerwidth: 0
3397   layout:
3398     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3399     layout:
3400       "plot-throughput"
3401
3402 -
3403   type: "plot"
3404   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3405   algorithm: "plot_performance_box"
3406   output-file-type: ".html"
3407   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-pdrdisc"
3408   data:
3409     "plot-ligato-throughput-latency"
3410   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3411   parameters:
3412   - "throughput"
3413   - "parent"
3414   traces:
3415     hoverinfo: "x+y"
3416     boxpoints: "outliers"
3417     whiskerwidth: 0
3418   layout:
3419     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3420     layout:
3421       "plot-throughput"
3422
3423 # Ligato - Latency
3424
3425 # Container memif
3426 -
3427   type: "plot"
3428   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3429   algorithm: "plot_latency_box"
3430   output-file-type: ".html"
3431   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc-lat50"
3432   data:
3433     "plot-vpp-throughput-latency"
3434   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3435   parameters:
3436   - "latency"
3437   - "parent"
3438   traces:
3439     boxmean: False
3440   layout:
3441     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3442     layout:
3443       "plot-latency"
3444
3445 -
3446   type: "plot"
3447   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3448   algorithm: "plot_latency_box"
3449   output-file-type: ".html"
3450   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc-lat50"
3451   data:
3452     "plot-vpp-throughput-latency"
3453   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3454   parameters:
3455   - "latency"
3456   - "parent"
3457   traces:
3458     boxmean: False
3459   layout:
3460     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3461     layout:
3462       "plot-latency"
3463
3464 # Container orchestrated
3465 -
3466   type: "plot"
3467   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3468   algorithm: "plot_latency_box"
3469   output-file-type: ".html"
3470   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc-lat50"
3471   data:
3472     "plot-ligato-throughput-latency"
3473   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3474   parameters:
3475   - "latency"
3476   - "parent"
3477   traces:
3478     boxmean: False
3479   layout:
3480     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3481     layout:
3482       "plot-latency"
3483
3484 -
3485   type: "plot"
3486   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3487   algorithm: "plot_latency_box"
3488   output-file-type: ".html"
3489   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc-lat50"
3490   data:
3491     "plot-ligato-throughput-latency"
3492   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3493   parameters:
3494   - "latency"
3495   - "parent"
3496   traces:
3497     boxmean: False
3498   layout:
3499     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3500     layout:
3501       "plot-latency"