resources/tools/presentation/specification.yaml

   1 -
   2   type: "environment"
   3   configuration:
   4     # Debug mode:
   5     # - Skip:
   6     #   - Download of input data files
   7     # - Do:
   8     #   - Read data from given zip / xml files
   9     #   - Set the configuration as it is done in normal mode
  10     # If the section "type: debug" is missing, CFG[DEBUG] is set to 0.
  11     CFG[DEBUG]: 0
  12
  13   paths:
  14     # Top level directories:
  15     ## Working directory
  16     DIR[WORKING]: "_tmp"
  17     ## Build directories
  18     DIR[BUILD,HTML]: "_build"
  19     DIR[BUILD,LATEX]: "_build_latex"
  20
  21     # Static .rst files
  22     DIR[RST]: "../../../docs/report"
  23
  24     # Working directories
  25     ## Input data files (.zip, .xml)
  26     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
  27     ## Static source files from git
  28     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
  29     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
  30
  31     # Static html content
  32     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
  33     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
  34     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
  35     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
  36
  37     # Detailed test results
  38     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
  39     DIR[DTR,PERF,DPDK]: "{DIR[DTR]}/dpdk_performance_results"
  40     DIR[DTR,PERF,VPP]: "{DIR[DTR]}/vpp_performance_results"
  41     DIR[DTR,PERF,COT]: "{DIR[DTR]}/cot_performance_results"
  42     DIR[DTR,PERF,HC]: "{DIR[DTR]}/honeycomb_performance_results"
  43     DIR[DTR,FUNC,VPP]: "{DIR[DTR]}/vpp_functional_results"
  44     DIR[DTR,FUNC,HC]: "{DIR[DTR]}/honeycomb_functional_results"
  45     DIR[DTR,FUNC,NSHSFC]: "{DIR[DTR]}/nshsfc_functional_results"
  46     DIR[DTR,PERF,VPP,IMPRV]: "{DIR[WORKING,SRC]}/vpp_performance_tests/performance_improvements"
  47
  48     # Detailed test configurations
  49     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
  50     DIR[DTC,PERF,VPP]: "{DIR[DTC]}/vpp_performance_configuration"
  51     DIR[DTC,FUNC,VPP]: "{DIR[DTC]}/vpp_functional_configuration"
  52
  53     # Detailed tests operational data
  54     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
  55     DIR[DTO,PERF,VPP]: "{DIR[DTO]}/vpp_performance_operational_data"
  56
  57     # .css patch file to fix tables generated by Sphinx
  58     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
  59     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
  60
  61   urls:
  62     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
  63     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
  64     URL[NEXUS]: "https://docs.fd.io/csit"
  65     DIR[NEXUS]: "report/_static/archive"
  66
  67   make-dirs:
  68   # List the directories which are created while preparing the environment.
  69   # All directories MUST be defined in "paths" section.
  70   - "DIR[WORKING,DATA]"
  71   - "DIR[STATIC,VPP]"
  72   - "DIR[STATIC,DPDK]"
  73   - "DIR[STATIC,ARCH]"
  74   - "DIR[BUILD,LATEX]"
  75   - "DIR[WORKING,SRC]"
  76   - "DIR[WORKING,SRC,STATIC]"
  77
  78   remove-dirs:
  79   # List the directories which are deleted while cleaning the environment.
  80   # All directories MUST be defined in "paths" section.
  81   #- "DIR[BUILD,HTML]"
  82
  83   build-dirs:
  84   # List the directories where the results (build) is stored.
  85   # All directories MUST be defined in "paths" section.
  86   - "DIR[BUILD,HTML]"
  87   - "DIR[BUILD,LATEX]"
  88
  89 -
  90   type: "configuration"
  91   data-sets:
  92     plot-vpp-http-server-performance:
  93       csit-vpp-perf-1801-all:
  94       - 157
  95       - 158
  96       - 159
  97       - 160
  98       - 161
  99       - 164
 100       - 165
 101       - 166
 102       - 168
 103       - 169
 104       - 170
 105 # TODO: Add the data sources
 106 #    vpp-meltdown-impact:
 107 #      csit-vpp-perf-1707-all:
 108 #      - 9
 109 #      - 10
 110 #      - 13
 111 #      csit-vpp-perf-1710-all:
 112 #      - 11l
 113 #      - 12
 114 #      - 13
 115 # TODO: Add the data sources
 116 #    vpp-spectre-impact:
 117 #      csit-vpp-perf-1707-all:
 118 #      - 9
 119 #      - 10
 120 #      - 13
 121 #      csit-vpp-perf-1710-all:
 122 #      - 11
 123 #      - 12
 124 #      - 13
 125     vpp-performance-changes:
 126       csit-vpp-perf-1710-all:
 127       - 11
 128       - 12
 129       - 13
 130       - 14
 131       - 15
 132       - 16
 133       - 17
 134       - 18
 135       - 19
 136       - 20
 137       csit-vpp-perf-1801-all:
 138       - 124  # sel
 139       - 127  # sel
 140       - 128  # sel
 141       - 141  # sel
 142       - 142  # sel
 143       - 143  # sel
 144       - 145  # sel
 145       - 146  # sel
 146       - 162  # sel
 147       - 163  # sel
 148       - 167  # sel
 149       - 172  # sel acl only
 150     plot-throughput-speedup-analysis:
 151       csit-vpp-perf-1801-all:
 152       - 122  # full
 153       - 126  # full
 154       - 129  # full
 155       - 140  # full
 156       - 124  # sel
 157       - 127  # sel
 158       - 128  # sel
 159       - 141  # sel
 160       - 142  # sel
 161       - 143  # sel
 162       - 145  # sel
 163       - 146  # sel
 164       - 162  # sel
 165       - 163  # sel
 166       - 167  # sel
 167       - 172  # sel acl only
 168 #    performance-improvements:
 169 #      csit-vpp-perf-1707-all:
 170 #      - 9
 171 #      - 10
 172 #      - 13
 173 #      - 14
 174 #      - 15
 175 #      - 16
 176 #      - 17
 177 #      - 18
 178 #      - 19
 179 #      - 21
 180 #      csit-vpp-perf-1710-all:
 181 #      - 11
 182 #      - 12
 183 #      - 13
 184 #      - 14
 185 #      - 15
 186 #      - 16
 187 #      - 17
 188 #      - 18
 189 #      - 19
 190 #      - 20
 191 #      csit-vpp-perf-1801-all:
 192 #      - 124
 193 #      - 127
 194 #      - 128
 195 #      csit-ligato-perf-1710-all:
 196 #      - 5
 197 #      - 7
 198 #      - 8
 199 #      - 9
 200 #      - 10
 201 #      - 11
 202 #      - 12
 203 #      - 13
 204 #      - 16
 205 #      - 17
 206 #      csit-ligato-perf-1801-all:
 207 #      - 16  # sel
 208 #      - 17  # sel
 209 #      - 18  # sel
 210 #      - 19  # sel
 211 #      - 20  # sel
 212 #      - 21  # sel
 213 #      - 22  # sel
 214 #      - 23  # sel
 215 #      - 24  # sel
 216     vpp-perf-results:
 217       csit-vpp-perf-1801-all:
 218       - 122
 219       - 126
 220       - 129
 221       - 140
 222     vpp-func-results:
 223       csit-vpp-functional-1801-ubuntu1604-virl:
 224       - "lastSuccessfulBuild"
 225     ligato-perf-results:
 226       csit-ligato-perf-1801-all:
 227       - 25  # full
 228     dpdk-perf-results:
 229       csit-dpdk-perf-1801-all:
 230       - 12
 231     hc-func-results:
 232       csit-hc2vpp-verify-func-1801-ubuntu1604:
 233       - "lastSuccessfulBuild"
 234     nsh-func-results:
 235       csit-nsh_sfc-verify-func-1801-ubuntu1604-virl:
 236       - 1
 237     plot-vpp-throughput-latency:
 238       csit-vpp-perf-1801-all:
 239       - 122  # full
 240       - 126  # full
 241       - 129  # full
 242       - 140  # full
 243       - 124  # sel
 244       - 127  # sel
 245       - 128  # sel
 246       - 141  # sel
 247       - 142  # sel
 248       - 143  # sel
 249       - 145  # sel
 250       - 146  # sel
 251       - 162  # sel
 252       - 163  # sel
 253       - 167  # sel
 254       - 172  # sel acl only
 255     plot-dpdk-throughput-latency:
 256       csit-dpdk-perf-1801-all:
 257       - 1
 258       - 3
 259       - 4
 260       - 5
 261       - 6
 262       - 7
 263       - 8
 264       - 10
 265       - 12
 266     plot-ligato-throughput-latency:
 267       csit-ligato-perf-1801-all:
 268       - 16  # sel
 269       - 17  # sel
 270       - 18  # sel
 271       - 19  # sel
 272       - 20  # sel
 273       - 21  # sel
 274       - 22  # sel
 275       - 23  # sel
 276       - 24  # sel
 277
 278   plot-layouts:
 279
 280     plot-cps:
 281       xaxis:
 282         autorange: True
 283         autotick: False
 284         fixedrange: False
 285         gridcolor: "rgb(238, 238, 238)"
 286         linecolor: "rgb(238, 238, 238)"
 287         linewidth: 1
 288         showgrid: True
 289         showline: True
 290         showticklabels: True
 291         tickcolor: "rgb(238, 238, 238)"
 292         tickmode: "linear"
 293         title: "Indexed Test Cases"
 294         zeroline: False
 295       yaxis:
 296         gridcolor: "rgb(238, 238, 238)'"
 297         hoverformat: ".4s"
 298         linecolor: "rgb(238, 238, 238)"
 299         linewidth: 1
 300         range: []
 301         rangemode: "tozero"
 302         showgrid: True
 303         showline: True
 304         showticklabels: True
 305         tickcolor: "rgb(238, 238, 238)"
 306         title: "Connections Per Second [cps]"
 307         zeroline: False
 308       boxmode: "group"
 309       boxgroupgap: 0.5
 310       autosize: False
 311       margin:
 312         t: 50
 313         b: 20
 314         l: 50
 315         r: 20
 316       showlegend: True
 317       legend:
 318         orientation: "h"
 319       width: 700
 320       height: 1000
 321
 322     plot-rps:
 323       xaxis:
 324         autorange: True
 325         autotick: False
 326         fixedrange: False
 327         gridcolor: "rgb(238, 238, 238)"
 328         linecolor: "rgb(238, 238, 238)"
 329         linewidth: 1
 330         showgrid: True
 331         showline: True
 332         showticklabels: True
 333         tickcolor: "rgb(238, 238, 238)"
 334         tickmode: "linear"
 335         title: "Indexed Test Cases"
 336         zeroline: False
 337       yaxis:
 338         gridcolor: "rgb(238, 238, 238)'"
 339         hoverformat: ".4s"
 340         linecolor: "rgb(238, 238, 238)"
 341         linewidth: 1
 342         range: []
 343         rangemode: "tozero"
 344         showgrid: True
 345         showline: True
 346         showticklabels: True
 347         tickcolor: "rgb(238, 238, 238)"
 348         title: "Requests Per Second [rps]"
 349         zeroline: False
 350       boxmode: "group"
 351       boxgroupgap: 0.5
 352       autosize: False
 353       margin:
 354         t: 50
 355         b: 20
 356         l: 50
 357         r: 20
 358       showlegend: True
 359       legend:
 360         orientation: "h"
 361       width: 700
 362       height: 1000
 363
 364     plot-throughput:
 365       xaxis:
 366         autorange: True
 367         autotick: False
 368         fixedrange: False
 369         gridcolor: "rgb(238, 238, 238)"
 370         linecolor: "rgb(238, 238, 238)"
 371         linewidth: 1
 372         showgrid: True
 373         showline: True
 374         showticklabels: True
 375         tickcolor: "rgb(238, 238, 238)"
 376         tickmode: "linear"
 377         title: "Indexed Test Cases"
 378         zeroline: False
 379       yaxis:
 380         gridcolor: "rgb(238, 238, 238)'"
 381         hoverformat: ".4s"
 382         linecolor: "rgb(238, 238, 238)"
 383         linewidth: 1
 384         range: []
 385         showgrid: True
 386         showline: True
 387         showticklabels: True
 388         tickcolor: "rgb(238, 238, 238)"
 389         title: "Packets Per Second [pps]"
 390         zeroline: False
 391       boxmode: "group"
 392       boxgroupgap: 0.5
 393       autosize: False
 394       margin:
 395         t: 50
 396         b: 20
 397         l: 50
 398         r: 20
 399       showlegend: True
 400       legend:
 401         orientation: "h"
 402       width: 700
 403       height: 1000
 404
 405     plot-latency:
 406       xaxis:
 407         autorange: True
 408         autotick: False
 409         fixedrange: False
 410         gridcolor: "rgb(238, 238, 238)"
 411         linecolor: "rgb(238, 238, 238)"
 412         linewidth: 1
 413         showgrid: True
 414         showline: True
 415         showticklabels: True
 416         tickcolor: "rgb(238, 238, 238)"
 417         tickmode: "linear"
 418         title: "Indexed Test Cases"
 419         zeroline: False
 420       yaxis:
 421         gridcolor: "rgb(238, 238, 238)'"
 422         hoverformat: ""
 423         linecolor: "rgb(238, 238, 238)"
 424         linewidth: 1
 425         range: []
 426         showgrid: True
 427         showline: True
 428         showticklabels: True
 429         tickcolor: "rgb(238, 238, 238)"
 430         title: "Latency min/avg/max [uSec]"
 431         zeroline: False
 432       boxmode: "group"
 433       boxgroupgap: 0.5
 434       autosize: False
 435       margin:
 436         t: 50
 437         b: 20
 438         l: 50
 439         r: 20
 440       showlegend: True
 441       legend:
 442         orientation: "h"
 443       width: 700
 444       height: 1000
 445
 446     plot-throughput-speedup-analysis:
 447       xaxis:
 448         autorange: True
 449         autotick: False
 450         fixedrange: False
 451         gridcolor: "rgb(238, 238, 238)"
 452         linecolor: "rgb(238, 238, 238)"
 453         linewidth: 1
 454         showgrid: True
 455         showline: True
 456         showticklabels: True
 457         tickcolor: "rgb(238, 238, 238)"
 458         tickmode: "linear"
 459         tickangle: 270
 460         zeroline: False
 461       yaxis:
 462         title: "Throughput speedup factor"
 463         gridcolor: "rgb(238, 238, 238)"
 464         hoverformat: ".4s"
 465         linecolor: "rgb(238, 238, 238)"
 466         linewidth: 1
 467         range: []
 468         showgrid: True
 469         showline: True
 470         showticklabels: True
 471         tickcolor: "rgb(238, 238, 238)"
 472         zeroline: False
 473       legend:
 474         orientation: "h"
 475         xanchor: "center"
 476         yanchor: "top"
 477         x: 0.5
 478         y: 1
 479         bgcolor: "rgba(255, 255, 255, 0)"
 480         bordercolor: "rgba(255, 255, 255, 0)"
 481       barmode: "group"
 482       bargap: 0.15
 483       bargroupgap: 0.1
 484       autosize: False
 485       margin:
 486           't': 50
 487           'b': 200
 488           'l': 50
 489           'r': 20
 490       showlegend: True
 491       width: 700
 492       height: 1000
 493
 494 -
 495   type: "debug"
 496   general:
 497     input-format: "xml"  # zip or xml
 498     extract: "robot-plugin/output.xml"  # Only for zip
 499   builds:
 500     # The files must be in the directory DIR[WORKING,DATA]
 501     csit-vpp-perf-1801-all:
 502     -
 503       build: 1
 504       file: "{DIR[WORKING,DATA]}/output.xml"
 505     -
 506       build: 2
 507       file: "{DIR[WORKING,DATA]}/output.xml"
 508     -
 509       build: 3
 510       file: "{DIR[WORKING,DATA]}/output.xml"
 511     -
 512       build: 4
 513       file: "{DIR[WORKING,DATA]}/output.xml"
 514
 515 -
 516   type: "static"
 517   src-path: "{DIR[RST]}"
 518   dst-path: "{DIR[WORKING,SRC]}"
 519
 520 -
 521   type: "input"  # Ignored in debug mode
 522   general:
 523     file-name: "robot-plugin.zip"
 524     file-format: ".zip"
 525     download-path: "{job}/{build}/robot/report/*zip*/{filename}"
 526     extract: "robot-plugin/output.xml"
 527   builds:
 528 #    csit-vpp-perf-1707-all:
 529 #    - 9
 530 #    - 10
 531 #    - 13
 532 #    - 14
 533 #    - 15
 534 #    - 16
 535 #    - 17
 536 #    - 18
 537 #    - 19
 538 #    - 21
 539     csit-vpp-perf-1710-all:
 540     - 11
 541     - 12
 542     - 13
 543     - 14
 544     - 15
 545     - 16
 546     - 17
 547     - 18
 548     - 19
 549     - 20
 550     csit-vpp-perf-1801-all:
 551     - 122  # full
 552     - 126  # full
 553     - 129  # full
 554     - 140  # full
 555     - 124  # sel
 556     - 127  # sel
 557     - 128  # sel
 558     - 141  # sel
 559     - 142  # sel
 560     - 143  # sel
 561     - 145  # sel
 562     - 146  # sel
 563     - 157  # wrk
 564     - 158  # wrk
 565     - 159  # wrk
 566     - 160  # wrk
 567     - 161  # wrk
 568     - 162  # sel
 569     - 163  # sel
 570     - 164  # wrk
 571     - 165  # wrk
 572     - 166  # wrk
 573     - 167  # sel
 574     - 168  # wrk
 575     - 169  # wrk
 576     - 170  # wrk
 577     - 172  # sel acl only
 578     csit-ligato-perf-1710-all:
 579     - 5
 580     - 7
 581     - 8
 582     - 9
 583     - 10
 584     - 11
 585     - 12
 586     - 13
 587     - 16
 588     - 17
 589     csit-dpdk-perf-1801-all:
 590     - 1
 591     - 4
 592     - 5
 593     - 7
 594     - 8
 595     - 10
 596     - 12
 597     - 16
 598     - 17
 599     csit-ligato-perf-1801-all:
 600     - 16  # sel
 601     - 17  # sel
 602     - 18  # sel
 603     - 19  # sel
 604     - 20  # sel
 605     - 21  # sel
 606     - 22  # sel
 607     - 23  # sel
 608     - 24  # sel
 609     - 25  # full
 610     csit-dpdk-perf-1801-all:
 611     - 1
 612     - 3
 613     - 4
 614     - 5
 615     - 6
 616     - 7
 617     - 8
 618     - 9
 619     - 10
 620     - 12
 621     csit-vpp-functional-1801-ubuntu1604-virl:
 622     - lastSuccessfulBuild
 623     csit-nsh_sfc-verify-func-1801-ubuntu1604-virl:
 624     - 1
 625     csit-hc2vpp-verify-func-1801-ubuntu1604:
 626     - lastSuccessfulBuild
 627
 628 -
 629   type: "output"
 630   format:
 631     html:
 632     - full
 633     pdf:
 634     - minimal
 635
 636 ################################################################################
 637 ###                               T A B L E S                                ###
 638 ################################################################################
 639
 640 #-
 641 #  type: "table"
 642 #  title: "Performance Impact of Meltdown Patches"
 643 #  algorithm: "table_performance_comparison"
 644 #  output-file-ext: ".csv"
 645 ## TODO: specify dir
 646 #  output-file: "{DIR[STATIC,VPP]}/meltdown-impact"
 647 #  reference:
 648 #    title: "No Meltdown"
 649 ## TODO: specify data sources
 650 #    data:
 651 #      csit-vpp-perf-1707-all:
 652 #      - 9
 653 #      - 10
 654 #      - 13
 655 #  compare:
 656 #    title: "Meltdown Patches Applied"
 657 ## TODO: specify data sources
 658 #    data:
 659 #      csit-vpp-perf-1710-all:
 660 #      - 11
 661 #      - 12
 662 #      - 13
 663 #  data:
 664 #    "vpp-meltdown-impact"
 665 #  filter: "all"
 666 #  parameters:
 667 #  - "name"
 668 #  - "parent"
 669 #  - "throughput"
 670 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
 671 #  # to present all tests.
 672 #  nr-of-tests-shown: 20
 673 #
 674 #-
 675 #  type: "table"
 676 #  title: "Performance Impact of Spectre Patches"
 677 #  algorithm: "table_performance_comparison"
 678 #  output-file-ext: ".csv"
 679 ## TODO: specify dir
 680 #  output-file: "{DIR[STATIC,VPP]}/meltdown-spectre-impact"
 681 #  reference:
 682 #    title: "No Spectre"
 683 ## TODO: specify data sources
 684 #    data:
 685 #      csit-vpp-perf-1707-all:
 686 #      - 9
 687 #      - 10
 688 #      - 13
 689 #  compare:
 690 #    title: "Spectre Patches Applied"
 691 ## TODO: specify data sources
 692 #    data:
 693 #      csit-vpp-perf-1710-all:
 694 #      - 11
 695 #      - 12
 696 #      - 13
 697 #  data:
 698 #    "vpp-spectre-impact"
 699 #  filter: "all"
 700 #  parameters:
 701 #  - "name"
 702 #  - "parent"
 703 #  - "throughput"
 704 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
 705 #  # to present all tests.
 706 #  nr-of-tests-shown: 20
 707
 708 -
 709   type: "table"
 710   title: "VPP Performance Changes"
 711   algorithm: "table_performance_comparison"
 712   output-file-ext: ".csv"
 713   output-file: "{DIR[STATIC,VPP]}/performance-changes"
 714   reference:
 715     title: "Release 1710"
 716     data:
 717       csit-vpp-perf-1710-all:
 718       - 11
 719       - 12
 720       - 13
 721       - 14
 722       - 15
 723       - 16
 724       - 17
 725       - 18
 726       - 19
 727       - 20
 728   compare:
 729     title: "Release 1801"
 730 # TODO: specify data sources
 731     data:
 732       csit-vpp-perf-1801-all:
 733       - 124  # sel
 734       - 127  # sel
 735       - 128  # sel
 736       - 141  # sel
 737       - 142  # sel
 738       - 143  # sel
 739       - 145  # sel
 740       - 146  # sel
 741       - 162  # sel
 742       - 163  # sel
 743       - 167  # sel
 744       - 172  # sel acl only
 745   data: "vpp-performance-changes"
 746   filter: "all"
 747   parameters:
 748   - "name"
 749   - "parent"
 750   - "throughput"
 751   # Number of the best and the worst tests presented in the table. Use 0 (zero)
 752   # to present all tests.
 753   nr-of-tests-shown: 20
 754   outlier-const: 1.5
 755
 756 #-
 757 #  type: "table"
 758 #  title: "Performance improvements"
 759 #  algorithm: "table_performance_improvements"
 760 #  template: "{DIR[DTR,PERF,VPP,IMPRV]}/tmpl_performance_improvements.csv"
 761 #  output-file-ext: ".csv"
 762 #  output-file: "{DIR[DTR,PERF,VPP,IMPRV]}/performance_improvements"
 763 #  columns:
 764 #  -
 765 #    title: "Test Name"
 766 #    data: "template 1"
 767 #  -
 768 #    title: "16.09 mean [Mpps]"
 769 #    data: "template 2"
 770 #  -
 771 #    title: "17.01 mean [Mpps]"
 772 #    data: "template 3"
 773 #  -
 774 #    title: "17.04 mean [Mpps]"
 775 #    data: "template 4"
 776 #  -
 777 #    title: "17.07 mean [Mpps]"
 778 #    data: "data csit-vpp-perf-1707-all mean"
 779 #  -
 780 #    title: "17.10 mean [Mpps]"
 781 #    data: "data csit-vpp-perf-1710-all csit-ligato-perf-1710-all mean"
 782 #  -
 783 #    title: "18.01 mean [Mpps]"
 784 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all mean"
 785 #  -
 786 #    title: "18.01 stdev [Mpps]"
 787 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all stdev"
 788 #  -
 789 #    title: "17.10 to 18.01 change [%]"
 790 #    data: "operation relative_change 5 6"
 791 #  rows: "generated"
 792 #  data:
 793 #    "performance-improvements"
 794 #  filter: "template"
 795 #  parameters:
 796 #  - "throughput"
 797
 798 -
 799   type: "table"
 800   title: "Detailed Test Results - VPP Performance Results"
 801   algorithm: "table_merged_details"
 802   output-file-ext: ".csv"
 803   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
 804   columns:
 805   -
 806     title: "Name"
 807     data: "data name"
 808   -
 809     title: "Documentation"
 810     data: "data doc"
 811   -
 812     title: "Status"
 813     data: "data msg"
 814   rows: "generated"
 815   data:
 816     "vpp-perf-results"
 817   filter: "not 'NDRCHK' and not 'PDRCHK'"
 818   parameters:
 819   - "name"
 820   - "parent"
 821   - "doc"
 822   - "msg"
 823
 824 -
 825   type: "table"
 826   title: "Test configuration - VPP Performance Test Configs"
 827   algorithm: "table_merged_details"
 828   output-file-ext: ".csv"
 829   output-file: "{DIR[DTC,PERF,VPP]}/vpp_test_configuration"
 830   columns:
 831   -
 832     title: "Name"
 833     data: "data name"
 834   -
 835     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
 836     data: "data vat-history"
 837   rows: "generated"
 838   data:
 839     "vpp-perf-results"
 840   filter: "not 'NDRCHK' and not 'PDRCHK'"
 841   parameters:
 842   - "parent"
 843   - "name"
 844   - "vat-history"
 845
 846 -
 847   type: "table"
 848   title: "Test Operational Data - VPP Performance Operational Data"
 849   algorithm: "table_merged_details"
 850   output-file-ext: ".csv"
 851   output-file: "{DIR[DTO,PERF,VPP]}/vpp_test_operational"
 852   columns:
 853   -
 854     title: "Name"
 855     data: "data name"
 856   -
 857     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
 858     data: "data show-run"
 859   rows: "generated"
 860   data:
 861     "vpp-perf-results"
 862   filter: "not 'NDRCHK' and not 'PDRCHK'"
 863   parameters:
 864   - "parent"
 865   - "name"
 866   - "show-run"
 867
 868 -
 869   type: "table"
 870   title: "Detailed Test Results - VPP Functional Results"
 871   algorithm: "table_details"
 872   output-file-ext: ".csv"
 873   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
 874   columns:
 875   -
 876     title: "Name"
 877     data: "data name"
 878   -
 879     title: "Documentation"
 880     data: "data doc"
 881   -
 882     title: "Status"
 883     data: "data status"
 884   rows: "generated"
 885   data:
 886     "vpp-func-results"
 887   filter: "all"
 888   parameters:
 889   - "name"
 890   - "parent"
 891   - "doc"
 892   - "status"
 893
 894 -
 895   type: "table"
 896   title: "Test configuration - VPP Functional Test Configs"
 897   algorithm: "table_details"
 898   output-file-ext: ".csv"
 899   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
 900   columns:
 901   -
 902     title: "Name"
 903     data: "data name"
 904   -
 905     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
 906     data: "data vat-history"
 907   rows: "generated"
 908   data:
 909     "vpp-func-results"
 910   filter: "all"
 911   parameters:
 912   - "parent"
 913   - "name"
 914   - "vat-history"
 915
 916 -
 917   type: "table"
 918   title: "Detailed Test Results - Container Orchestrated Topologies Performance Results"
 919   algorithm: "table_details"
 920   output-file-ext: ".csv"
 921   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
 922   columns:
 923   -
 924     title: "Name"
 925     data: "data name"
 926   -
 927     title: "Documentation"
 928     data: "data doc"
 929   -
 930     title: "Status"
 931     data: "data msg"
 932   rows: "generated"
 933   data:
 934     "ligato-perf-results"
 935   filter: "all"
 936   parameters:
 937   - "name"
 938   - "parent"
 939   - "doc"
 940   - "msg"
 941
 942 -
 943   type: "table"
 944   title: "Detailed Test Results - DPDK Performance Results"
 945   algorithm: "table_details"
 946   output-file-ext: ".csv"
 947   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
 948   columns:
 949   -
 950     title: "Name"
 951     data: "data name"
 952   -
 953     title: "Documentation"
 954     data: "data doc"
 955   -
 956     title: "Status"
 957     data: "data msg"
 958   rows: "generated"
 959   data:
 960     "dpdk-perf-results"
 961   filter: "all"
 962   parameters:
 963   - "name"
 964   - "parent"
 965   - "doc"
 966   - "msg"
 967
 968 -
 969   type: "table"
 970   title: "Detailed Test Results - Honeycomb Functional Results"
 971   algorithm: "table_details"
 972   output-file-ext: ".csv"
 973   output-file: "{DIR[DTR,FUNC,HC]}/hc_functional_results"
 974   columns:
 975   -
 976     title: "Name"
 977     data: "data name"
 978   -
 979     title: "Documentation"
 980     data: "data doc"
 981   -
 982     title: "Status"
 983     data: "data status"
 984   rows: "generated"
 985   data:
 986     "hc-func-results"
 987   filter: "all"
 988   parameters:
 989   - "name"
 990   - "parent"
 991   - "doc"
 992   - "status"
 993
 994 -
 995   type: "table"
 996   title: "Detailed Test Results - NSH SFC Functional Results"
 997   algorithm: "table_details"
 998   output-file-ext: ".csv"
 999   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nsh_sfc_functional_results"
1000   columns:
1001   -
1002     title: "Name"
1003     data: "data name"
1004   -
1005     title: "Documentation"
1006     data: "data doc"
1007   -
1008     title: "Status"
1009     data: "data status"
1010   rows: "generated"
1011   data:
1012     "nsh-func-results"
1013   filter: "all"
1014   parameters:
1015   - "name"
1016   - "parent"
1017   - "doc"
1018   - "status"
1019
1020 ################################################################################
1021 ###                                F I L E S                                 ###
1022 ################################################################################
1023
1024 -
1025   type: "file"
1026   title: "VPP Performance Results"
1027   algorithm: "file_merged_test_results"
1028   output-file-ext: ".rst"
1029   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
1030   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1031   dir-tables: "{DIR[DTR,PERF,VPP]}"
1032   data:
1033     "vpp-perf-results"
1034   filter: "not 'NDRCHK' and not 'PDRCHK'"
1035   parameters:
1036   - "name"
1037   - "doc"
1038   - "level"
1039   - "parent"
1040   data-start-level: 3  # 0, 1, 2, ...
1041   chapters-start-level: 2  # 0, 1, 2, ...
1042
1043 -
1044   type: "file"
1045   title: "VPP Performance Configuration"
1046   algorithm: "file_merged_test_results"
1047   output-file-ext: ".rst"
1048   output-file: "{DIR[DTC,PERF,VPP]}/vpp_performance_configuration"
1049   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1050   dir-tables: "{DIR[DTC,PERF,VPP]}"
1051   data:
1052     "vpp-perf-results"
1053   filter: "not 'NDRCHK' and not 'PDRCHK'"
1054   parameters:
1055   - "name"
1056   - "doc"
1057   - "level"
1058   - "parent"
1059   data-start-level: 3  # 0, 1, 2, ...
1060   chapters-start-level: 2  # 0, 1, 2, ...
1061
1062 -
1063   type: "file"
1064   title: "VPP Performance Operational Data"
1065   algorithm: "file_merged_test_results"
1066   output-file-ext: ".rst"
1067   output-file: "{DIR[DTO,PERF,VPP]}/vpp_performance_operational_data"
1068   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1069   dir-tables: "{DIR[DTO,PERF,VPP]}"
1070   data:
1071     "vpp-perf-results"
1072   filter: "not 'NDRCHK' and not 'PDRCHK'"
1073   parameters:
1074   - "name"
1075   - "doc"
1076   - "level"
1077   - "parent"
1078   data-start-level: 3  # 0, 1, 2, ...
1079   chapters-start-level: 2  # 0, 1, 2, ...
1080
1081 -
1082   type: "file"
1083   title: "VPP Functional Results"
1084   algorithm: "file_test_results"
1085   output-file-ext: ".rst"
1086   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
1087   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1088   dir-tables: "{DIR[DTR,FUNC,VPP]}"
1089   data:
1090     "vpp-func-results"
1091   filter: "all"
1092   parameters:
1093   - "name"
1094   - "doc"
1095   - "level"
1096   data-start-level: 3  # 0, 1, 2, ...
1097   chapters-start-level: 2  # 0, 1, 2, ...
1098
1099 -
1100   type: "file"
1101   title: "VPP Functional Configuration"
1102   algorithm: "file_test_results"
1103   output-file-ext: ".rst"
1104   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
1105   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1106   dir-tables: "{DIR[DTC,FUNC,VPP]}"
1107   data:
1108     "vpp-func-results"
1109   filter: "all"
1110   parameters:
1111   - "name"
1112   - "doc"
1113   - "level"
1114   data-start-level: 3  # 0, 1, 2, ...
1115   chapters-start-level: 2  # 0, 1, 2, ...
1116
1117 -
1118   type: "file"
1119   title: "Container Orchestrated Performance Results"
1120   algorithm: "file_test_results"
1121   output-file-ext: ".rst"
1122   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
1123   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1124   dir-tables: "{DIR[DTR,PERF,COT]}"
1125   data:
1126     "ligato-perf-results"
1127   filter: "all"
1128   parameters:
1129   - "name"
1130   - "doc"
1131   - "level"
1132   data-start-level: 2  # 0, 1, 2, ...
1133   chapters-start-level: 2  # 0, 1, 2, ...
1134
1135 -
1136   type: "file"
1137   title: "DPDK Performance Results"
1138   algorithm: "file_test_results"
1139   output-file-ext: ".rst"
1140   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
1141   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1142   dir-tables: "{DIR[DTR,PERF,DPDK]}"
1143   data:
1144     "dpdk-perf-results"
1145   filter: "all"
1146   parameters:
1147   - "name"
1148   - "doc"
1149   - "level"
1150   chapters:
1151   - "suites"
1152   data-start-level: 2  # 0, 1, 2, ...
1153   chapters-start-level: 2  # 0, 1, 2, ...
1154
1155 -
1156   type: "file"
1157   title: "Honeycomb Functional Results"
1158   algorithm: "file_test_results"
1159   output-file-ext: ".rst"
1160   output-file: "{DIR[DTR,FUNC,HC]}/honeycomb_functional_results"
1161   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1162   dir-tables: "{DIR[DTR,FUNC,HC]}"
1163   data:
1164     "hc-func-results"
1165   filter: "all"
1166   parameters:
1167   - "name"
1168   - "doc"
1169   - "level"
1170   chapters:
1171   - "suites"
1172   data-start-level: 3  # 0, 1, 2, ...
1173   chapters-start-level: 2  # 0, 1, 2, ...
1174
1175 -
1176   type: "file"
1177   title: "NSH SFC Functional Results"
1178   algorithm: "file_test_results"
1179   output-file-ext: ".rst"
1180   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nshsfc_functional_results"
1181   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1182   dir-tables: "{DIR[DTR,FUNC,NSHSFC]}"
1183   data:
1184     "nsh-func-results"
1185   filter: "all"
1186   parameters:
1187   - "name"
1188   - "doc"
1189   - "level"
1190   chapters:
1191   - "suites"
1192   data-start-level: 2  # 0, 1, 2, ...
1193   chapters-start-level: 2  # 0, 1, 2, ...
1194
1195 ################################################################################
1196 ###                                P L O T S                                 ###
1197 ################################################################################
1198
1199 # Plots VPP HTTP Server Performance
1200 -
1201   type: "plot"
1202   title: "VPP HTTP Server Performance"
1203   algorithm: "plot_http_server_performance_box"
1204   output-file-type: ".html"
1205   output-file: "{DIR[STATIC,VPP]}/http-server-performance-cps"
1206   data:
1207     "plot-vpp-http-server-performance"
1208   # Keep this formatting, the filter is enclosed with " (quotation mark) and
1209   # each tag is enclosed with ' (apostrophe).
1210   filter: "'HTTP' and 'TCP_CPS'"
1211   parameters:
1212   - "result"
1213   - "name"
1214   traces:
1215     hoverinfo: "x+y"
1216     boxpoints: "outliers"
1217     whiskerwidth: 0
1218   layout:
1219     title: "VPP HTTP Server Performance"
1220     layout:
1221       "plot-cps"
1222
1223 -
1224   type: "plot"
1225   title: "VPP HTTP Server Performance"
1226   algorithm: "plot_http_server_performance_box"
1227   output-file-type: ".html"
1228   output-file: "{DIR[STATIC,VPP]}/http-server-performance-rps"
1229   data:
1230     "plot-vpp-http-server-performance"
1231   filter: "'HTTP' and 'TCP_RPS'"
1232   parameters:
1233   - "result"
1234   - "name"
1235   traces:
1236     hoverinfo: "x+y"
1237     boxpoints: "outliers"
1238     whiskerwidth: 0
1239   layout:
1240     title: "VPP HTTP Server Performance"
1241     layout:
1242       "plot-rps"
1243
1244 # Plot Throughput Speedup Analysis
1245
1246 # L2 - 10ge2p1x520 - NDR
1247 -
1248   type: "plot"
1249   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1250   algorithm: "plot_throughput_speedup_analysis"
1251   output-file-type: ".html"
1252   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-ndrdisc"
1253   data:
1254     "plot-throughput-speedup-analysis"
1255   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1256   parameters:
1257   - "throughput"
1258   - "parent"
1259   - "tags"
1260   layout:
1261     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1262     layout:
1263       "plot-throughput-speedup-analysis"
1264
1265 # L2 - 40ge2p1xl710 - NDR
1266 -
1267   type: "plot"
1268   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1269   algorithm: "plot_throughput_speedup_analysis"
1270   output-file-type: ".html"
1271   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-l2-tsa-ndrdisc"
1272   data:
1273     "plot-throughput-speedup-analysis"
1274   filter: "'NIC_Intel-XL710' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1275   parameters:
1276   - "throughput"
1277   - "parent"
1278   - "tags"
1279   layout:
1280     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1281     layout:
1282       "plot-throughput-speedup-analysis"
1283
1284 # L2 - 10ge2p1x520 - PDR
1285 -
1286   type: "plot"
1287   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1288   algorithm: "plot_throughput_speedup_analysis"
1289   output-file-type: ".html"
1290   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-pdrdisc"
1291   data:
1292     "plot-throughput-speedup-analysis"
1293   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1294   parameters:
1295   - "throughput"
1296   - "parent"
1297   - "tags"
1298   layout:
1299     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1300     layout:
1301       "plot-throughput-speedup-analysis"
1302
1303 # IPv4 - 10ge2p1x520 - NDR
1304 -
1305   type: "plot"
1306   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1307   algorithm: "plot_throughput_speedup_analysis"
1308   output-file-type: ".html"
1309   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-ndrdisc"
1310   data:
1311     "plot-throughput-speedup-analysis"
1312   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1313   parameters:
1314   - "throughput"
1315   - "parent"
1316   - "tags"
1317   layout:
1318     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1319     layout:
1320       "plot-throughput-speedup-analysis"
1321
1322 # IPv4 - 40ge2p1xl710 - NDR
1323 -
1324   type: "plot"
1325   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1326   algorithm: "plot_throughput_speedup_analysis"
1327   output-file-type: ".html"
1328   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-ip4-tsa-ndrdisc"
1329   data:
1330     "plot-throughput-speedup-analysis"
1331   filter: "'NIC_Intel-XL710' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1332   parameters:
1333   - "throughput"
1334   - "parent"
1335   - "tags"
1336   layout:
1337     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1338     layout:
1339       "plot-throughput-speedup-analysis"
1340
1341 # IPv4 - 10ge2p1x520 - PDR
1342 -
1343   type: "plot"
1344   title: "TSA: 64B-*-ethip4-ip4(base|scale)*pdrdisc"
1345   algorithm: "plot_throughput_speedup_analysis"
1346   output-file-type: ".html"
1347   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-pdrdisc"
1348   data:
1349     "plot-throughput-speedup-analysis"
1350   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1351   parameters:
1352   - "throughput"
1353   - "parent"
1354   - "tags"
1355   layout:
1356     title: "64B-*-ethip4-ip4(base|scale)*pdrdisc"
1357     layout:
1358       "plot-throughput-speedup-analysis"
1359
1360 # IPv6 - 10ge2p1x520 - NDR
1361 -
1362   type: "plot"
1363   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1364   algorithm: "plot_throughput_speedup_analysis"
1365   output-file-type: ".html"
1366   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-ndrdisc"
1367   data:
1368     "plot-throughput-speedup-analysis"
1369   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1370   parameters:
1371   - "throughput"
1372   - "parent"
1373   - "tags"
1374   layout:
1375     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1376     layout:
1377       "plot-throughput-speedup-analysis"
1378
1379 # IPv6 - 40ge2p1xl710 - NDR
1380 -
1381   type: "plot"
1382   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1383   algorithm: "plot_throughput_speedup_analysis"
1384   output-file-type: ".html"
1385   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-78B-ip6-tsa-ndrdisc"
1386   data:
1387     "plot-throughput-speedup-analysis"
1388   filter: "'NIC_Intel-XL710' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1389   parameters:
1390   - "throughput"
1391   - "parent"
1392   - "tags"
1393   layout:
1394     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1395     layout:
1396       "plot-throughput-speedup-analysis"
1397
1398 # IPv6 - 10ge2p1x520 - PDR
1399 -
1400   type: "plot"
1401   title: "TSA: 78B-*-ethip6-ip6(base|scale)*pdrdisc"
1402   algorithm: "plot_throughput_speedup_analysis"
1403   output-file-type: ".html"
1404   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-pdrdisc"
1405   data:
1406     "plot-throughput-speedup-analysis"
1407   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST'"
1408   parameters:
1409   - "throughput"
1410   - "parent"
1411   - "tags"
1412   layout:
1413     title: "78B-*-ethip6-ip6(base|scale)*pdrdisc"
1414     layout:
1415       "plot-throughput-speedup-analysis"
1416
1417 # Plot packets per second
1418
1419 # VPP L2 sel1
1420 -
1421   type: "plot"
1422   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1423   algorithm: "plot_performance_box"
1424   output-file-type: ".html"
1425   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc"
1426   data:
1427     "plot-vpp-throughput-latency"
1428   # Keep this formatting, the filter is enclosed with " (quotation mark) and
1429   # each tag is enclosed with ' (apostrophe).
1430   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1431   parameters:
1432   - "throughput"
1433   - "parent"
1434   traces:
1435     hoverinfo: "x+y"
1436     boxpoints: "outliers"
1437     whiskerwidth: 0
1438   layout:
1439     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1440     layout:
1441       "plot-throughput"
1442
1443 -
1444   type: "plot"
1445   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1446   algorithm: "plot_performance_box"
1447   output-file-type: ".html"
1448   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc"
1449   data:
1450     "plot-vpp-throughput-latency"
1451   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1452   parameters:
1453   - "throughput"
1454   - "parent"
1455   traces:
1456     hoverinfo: "x+y"
1457     boxpoints: "outliers"
1458     whiskerwidth: 0
1459   layout:
1460     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1461     layout:
1462       "plot-throughput"
1463
1464 -
1465   type: "plot"
1466   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1467   algorithm: "plot_performance_box"
1468   output-file-type: ".html"
1469   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-pdrdisc"
1470   data:
1471     "plot-vpp-throughput-latency"
1472   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1473   parameters:
1474   - "throughput"
1475   - "parent"
1476   traces:
1477     hoverinfo: "x+y"
1478     boxpoints: "outliers"
1479     whiskerwidth: 0
1480   layout:
1481     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1482     layout:
1483       "plot-throughput"
1484
1485 -
1486   type: "plot"
1487   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1488   algorithm: "plot_performance_box"
1489   output-file-type: ".html"
1490   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-pdrdisc"
1491   data:
1492     "plot-vpp-throughput-latency"
1493   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1494   parameters:
1495   - "throughput"
1496   - "parent"
1497   traces:
1498     hoverinfo: "x+y"
1499     boxpoints: "outliers"
1500     whiskerwidth: 0
1501   layout:
1502     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1503     layout:
1504       "plot-throughput"
1505
1506 # VPP L2 sel2
1507 -
1508   type: "plot"
1509   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1510   algorithm: "plot_performance_box"
1511   output-file-type: ".html"
1512   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc"
1513   data:
1514     "plot-vpp-throughput-latency"
1515   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1516   parameters:
1517   - "throughput"
1518   - "parent"
1519   traces:
1520     hoverinfo: "x+y"
1521     boxpoints: "outliers"
1522     whiskerwidth: 0
1523   layout:
1524     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1525     layout:
1526       "plot-throughput"
1527
1528 -
1529   type: "plot"
1530   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1531   algorithm: "plot_performance_box"
1532   output-file-type: ".html"
1533   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc"
1534   data:
1535     "plot-vpp-throughput-latency"
1536   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1537   parameters:
1538   - "throughput"
1539   - "parent"
1540   traces:
1541     hoverinfo: "x+y"
1542     boxpoints: "outliers"
1543     whiskerwidth: 0
1544   layout:
1545     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1546     layout:
1547       "plot-throughput"
1548
1549 -
1550   type: "plot"
1551   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1552   algorithm: "plot_performance_box"
1553   output-file-type: ".html"
1554   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-pdrdisc"
1555   data:
1556     "plot-vpp-throughput-latency"
1557   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1558   parameters:
1559   - "throughput"
1560   - "parent"
1561   traces:
1562     hoverinfo: "x+y"
1563     boxpoints: "outliers"
1564     whiskerwidth: 0
1565   layout:
1566     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1567     layout:
1568       "plot-throughput"
1569
1570 -
1571   type: "plot"
1572   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1573   algorithm: "plot_performance_box"
1574   output-file-type: ".html"
1575   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-pdrdisc"
1576   data:
1577     "plot-vpp-throughput-latency"
1578   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1579   parameters:
1580   - "throughput"
1581   - "parent"
1582   traces:
1583     hoverinfo: "x+y"
1584     boxpoints: "outliers"
1585     whiskerwidth: 0
1586   layout:
1587     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1588     layout:
1589       "plot-throughput"
1590
1591 # VPP IP4
1592 -
1593   type: "plot"
1594   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1595   algorithm: "plot_performance_box"
1596   output-file-type: ".html"
1597   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc"
1598   data:
1599     "plot-vpp-throughput-latency"
1600   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1601   parameters:
1602   - "throughput"
1603   - "parent"
1604   traces:
1605     hoverinfo: "x+y"
1606     boxpoints: "outliers"
1607     whiskerwidth: 0
1608   layout:
1609     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1610     layout:
1611       "plot-throughput"
1612
1613 -
1614   type: "plot"
1615   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1616   algorithm: "plot_performance_box"
1617   output-file-type: ".html"
1618   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc"
1619   data:
1620     "plot-vpp-throughput-latency"
1621   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1622   parameters:
1623   - "throughput"
1624   - "parent"
1625   traces:
1626     hoverinfo: "x+y"
1627     boxpoints: "outliers"
1628     whiskerwidth: 0
1629   layout:
1630     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1631     layout:
1632       "plot-throughput"
1633
1634 -
1635   type: "plot"
1636   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1637   algorithm: "plot_performance_box"
1638   output-file-type: ".html"
1639   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-pdrdisc"
1640   data:
1641     "plot-vpp-throughput-latency"
1642   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1643   parameters:
1644   - "throughput"
1645   - "parent"
1646   traces:
1647     hoverinfo: "x+y"
1648     boxpoints: "outliers"
1649     whiskerwidth: 0
1650   layout:
1651     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1652     layout:
1653       "plot-throughput"
1654
1655 -
1656   type: "plot"
1657   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1658   algorithm: "plot_performance_box"
1659   output-file-type: ".html"
1660   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-pdrdisc"
1661   data:
1662     "plot-vpp-throughput-latency"
1663   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1664   parameters:
1665   - "throughput"
1666   - "parent"
1667   traces:
1668     hoverinfo: "x+y"
1669     boxpoints: "outliers"
1670     whiskerwidth: 0
1671   layout:
1672     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1673     layout:
1674       "plot-throughput"
1675
1676 # VPP IP6
1677 -
1678   type: "plot"
1679   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1680   algorithm: "plot_performance_box"
1681   output-file-type: ".html"
1682   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc"
1683   data:
1684     "plot-vpp-throughput-latency"
1685   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1686   parameters:
1687   - "throughput"
1688   - "parent"
1689   traces:
1690     hoverinfo: "x+y"
1691     boxpoints: "outliers"
1692     whiskerwidth: 0
1693   layout:
1694     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1695     layout:
1696       "plot-throughput"
1697
1698 -
1699   type: "plot"
1700   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1701   algorithm: "plot_performance_box"
1702   output-file-type: ".html"
1703   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc"
1704   data:
1705     "plot-vpp-throughput-latency"
1706   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1707   parameters:
1708   - "throughput"
1709   - "parent"
1710   traces:
1711     hoverinfo: "x+y"
1712     boxpoints: "outliers"
1713     whiskerwidth: 0
1714   layout:
1715     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1716     layout:
1717       "plot-throughput"
1718
1719 -
1720   type: "plot"
1721   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1722   algorithm: "plot_performance_box"
1723   output-file-type: ".html"
1724   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-pdrdisc"
1725   data:
1726     "plot-vpp-throughput-latency"
1727   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1728   parameters:
1729   - "throughput"
1730   - "parent"
1731   traces:
1732     hoverinfo: "x+y"
1733     boxpoints: "outliers"
1734     whiskerwidth: 0
1735   layout:
1736     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1737     layout:
1738       "plot-throughput"
1739
1740 -
1741   type: "plot"
1742   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1743   algorithm: "plot_performance_box"
1744   output-file-type: ".html"
1745   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-pdrdisc"
1746   data:
1747     "plot-vpp-throughput-latency"
1748   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1749   parameters:
1750   - "throughput"
1751   - "parent"
1752   traces:
1753     hoverinfo: "x+y"
1754     boxpoints: "outliers"
1755     whiskerwidth: 0
1756   layout:
1757     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1758     layout:
1759       "plot-throughput"
1760
1761 # VPP IP4_overlay
1762 -
1763   type: "plot"
1764   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1765   algorithm: "plot_performance_box"
1766   output-file-type: ".html"
1767   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc"
1768   data:
1769     "plot-vpp-throughput-latency"
1770   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1771   parameters:
1772   - "throughput"
1773   - "parent"
1774   traces:
1775     hoverinfo: "x+y"
1776     boxpoints: "outliers"
1777     whiskerwidth: 0
1778   layout:
1779     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1780     layout:
1781       "plot-throughput"
1782
1783 -
1784   type: "plot"
1785   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1786   algorithm: "plot_performance_box"
1787   output-file-type: ".html"
1788   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc"
1789   data:
1790     "plot-vpp-throughput-latency"
1791   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1792   parameters:
1793   - "throughput"
1794   - "parent"
1795   traces:
1796     hoverinfo: "x+y"
1797     boxpoints: "outliers"
1798     whiskerwidth: 0
1799   layout:
1800     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1801     layout:
1802       "plot-throughput"
1803
1804 -
1805   type: "plot"
1806   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1807   algorithm: "plot_performance_box"
1808   output-file-type: ".html"
1809   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-pdrdisc"
1810   data:
1811     "plot-vpp-throughput-latency"
1812   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1813   parameters:
1814   - "throughput"
1815   - "parent"
1816   traces:
1817     hoverinfo: "x+y"
1818     boxpoints: "outliers"
1819     whiskerwidth: 0
1820   layout:
1821     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1822     layout:
1823       "plot-throughput"
1824
1825 -
1826   type: "plot"
1827   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1828   algorithm: "plot_performance_box"
1829   output-file-type: ".html"
1830   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-pdrdisc"
1831   data:
1832     "plot-vpp-throughput-latency"
1833   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1834   parameters:
1835   - "throughput"
1836   - "parent"
1837   traces:
1838     hoverinfo: "x+y"
1839     boxpoints: "outliers"
1840     whiskerwidth: 0
1841   layout:
1842     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1843     layout:
1844       "plot-throughput"
1845
1846 # VPP IP6_overlay
1847 -
1848   type: "plot"
1849   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1850   algorithm: "plot_performance_box"
1851   output-file-type: ".html"
1852   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc"
1853   data:
1854     "plot-vpp-throughput-latency"
1855   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1856   parameters:
1857   - "throughput"
1858   - "parent"
1859   traces:
1860     hoverinfo: "x+y"
1861     boxpoints: "outliers"
1862     whiskerwidth: 0
1863   layout:
1864     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1865     xaxis:
1866       autorange: True
1867       autotick: False
1868       fixedrange: False
1869       gridcolor: "rgb(238, 238, 238)"
1870       linecolor: "rgb(238, 238, 238)"
1871       linewidth: 1
1872       showgrid: True
1873       showline: True
1874       showticklabels: True
1875       tickcolor: "rgb(238, 238, 238)"
1876       tickmode: "linear"
1877       title: "Indexed Test Cases"
1878       zeroline: False
1879     yaxis:
1880       gridcolor: "rgb(238, 238, 238)'"
1881       hoverformat: ".4s"
1882       linecolor: "rgb(238, 238, 238)"
1883       linewidth: 1
1884       range: [2000000, 6000000]
1885       showgrid: True
1886       showline: True
1887       showticklabels: True
1888       tickcolor: "rgb(238, 238, 238)"
1889       title: "Packets Per Second [pps]"
1890       zeroline: False
1891     boxmode: "group"
1892     boxgroupgap: 0.5
1893     autosize: False
1894     margin:
1895       t: 50
1896       b: 20
1897       l: 50
1898       r: 20
1899     showlegend: True
1900     legend:
1901       orientation: "h"
1902     width: 700
1903     height: 1000
1904
1905 -
1906   type: "plot"
1907   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1908   algorithm: "plot_performance_box"
1909   output-file-type: ".html"
1910   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc"
1911   data:
1912     "plot-vpp-throughput-latency"
1913   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1914   parameters:
1915   - "throughput"
1916   - "parent"
1917   traces:
1918     hoverinfo: "x+y"
1919     boxpoints: "outliers"
1920     whiskerwidth: 0
1921   layout:
1922     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1923     layout:
1924       "plot-throughput"
1925
1926 -
1927   type: "plot"
1928   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1929   algorithm: "plot_performance_box"
1930   output-file-type: ".html"
1931   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-pdrdisc"
1932   data:
1933     "plot-vpp-throughput-latency"
1934   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1935   parameters:
1936   - "throughput"
1937   - "parent"
1938   traces:
1939     hoverinfo: "x+y"
1940     boxpoints: "outliers"
1941     whiskerwidth: 0
1942   layout:
1943     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1944     layout:
1945       "plot-throughput"
1946
1947 -
1948   type: "plot"
1949   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1950   algorithm: "plot_performance_box"
1951   output-file-type: ".html"
1952   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-pdrdisc"
1953   data:
1954     "plot-vpp-throughput-latency"
1955   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1956   parameters:
1957   - "throughput"
1958   - "parent"
1959   traces:
1960     hoverinfo: "x+y"
1961     boxpoints: "outliers"
1962     whiskerwidth: 0
1963   layout:
1964     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1965     xaxis:
1966       autorange: True
1967       autotick: False
1968       fixedrange: False
1969       gridcolor: "rgb(238, 238, 238)"
1970       linecolor: "rgb(238, 238, 238)"
1971       linewidth: 1
1972       showgrid: True
1973       showline: True
1974       showticklabels: True
1975       tickcolor: "rgb(238, 238, 238)"
1976       tickmode: "linear"
1977       title: "Indexed Test Cases"
1978       zeroline: False
1979     yaxis:
1980       gridcolor: "rgb(238, 238, 238)'"
1981       hoverformat: ".4s"
1982       linecolor: "rgb(238, 238, 238)"
1983       linewidth: 1
1984       range: [4000000, 12000000]
1985       showgrid: True
1986       showline: True
1987       showticklabels: True
1988       tickcolor: "rgb(238, 238, 238)"
1989       title: "Packets Per Second [pps]"
1990       zeroline: False
1991     boxmode: "group"
1992     boxgroupgap: 0.5
1993     autosize: False
1994     margin:
1995       t: 50
1996       b: 20
1997       l: 50
1998       r: 20
1999     showlegend: True
2000     legend:
2001       orientation: "h"
2002     width: 700
2003     height: 1000
2004
2005 # VPP VM VHOST
2006 -
2007   type: "plot"
2008   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2009   algorithm: "plot_performance_box"
2010   output-file-type: ".html"
2011   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc"
2012   data:
2013     "plot-vpp-throughput-latency"
2014   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2015   parameters:
2016   - "throughput"
2017   - "parent"
2018   traces:
2019     hoverinfo: "x+y"
2020     boxpoints: "outliers"
2021     whiskerwidth: 0
2022   layout:
2023     title: "64B-1t1c-.*vhost.*-ndrdisc"
2024     xaxis:
2025       autorange: True
2026       autotick: False
2027       fixedrange: False
2028       gridcolor: "rgb(238, 238, 238)"
2029       linecolor: "rgb(238, 238, 238)"
2030       linewidth: 1
2031       showgrid: True
2032       showline: True
2033       showticklabels: True
2034       tickcolor: "rgb(238, 238, 238)"
2035       tickmode: "linear"
2036       title: "Indexed Test Cases"
2037       zeroline: False
2038     yaxis:
2039       gridcolor: "rgb(238, 238, 238)'"
2040       hoverformat: ".4s"
2041       linecolor: "rgb(238, 238, 238)"
2042       linewidth: 1
2043       range: [0, 3500000]
2044       showgrid: True
2045       showline: True
2046       showticklabels: True
2047       tickcolor: "rgb(238, 238, 238)"
2048       title: "Packets Per Second [pps]"
2049       zeroline: False
2050     boxmode: "group"
2051     boxgroupgap: 0.5
2052     autosize: False
2053     margin:
2054       t: 50
2055       b: 20
2056       l: 50
2057       r: 20
2058     showlegend: True
2059     legend:
2060       orientation: "h"
2061     width: 700
2062     height: 1000
2063
2064 -
2065   type: "plot"
2066   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2067   algorithm: "plot_performance_box"
2068   output-file-type: ".html"
2069   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc"
2070   data:
2071     "plot-vpp-throughput-latency"
2072   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2073   parameters:
2074   - "throughput"
2075   - "parent"
2076   traces:
2077     hoverinfo: "x+y"
2078     boxpoints: "outliers"
2079     whiskerwidth: 0
2080   layout:
2081     title: "64B-2t2c-.*vhost.*-ndrdisc"
2082     layout:
2083       "plot-throughput"
2084
2085 -
2086   type: "plot"
2087   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2088   algorithm: "plot_performance_box"
2089   output-file-type: ".html"
2090   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-pdrdisc"
2091   data:
2092     "plot-vpp-throughput-latency"
2093   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2094   parameters:
2095   - "throughput"
2096   - "parent"
2097   traces:
2098     hoverinfo: "x+y"
2099     boxpoints: "outliers"
2100     whiskerwidth: 0
2101   layout:
2102     title: "64B-1t1c-.*vhost.*-pdrdisc"
2103     layout:
2104       "plot-throughput"
2105
2106 -
2107   type: "plot"
2108   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2109   algorithm: "plot_performance_box"
2110   output-file-type: ".html"
2111   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-pdrdisc"
2112   data:
2113     "plot-vpp-throughput-latency"
2114   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2115   parameters:
2116   - "throughput"
2117   - "parent"
2118   traces:
2119     hoverinfo: "x+y"
2120     boxpoints: "outliers"
2121     whiskerwidth: 0
2122   layout:
2123     title: "64B-2t2c-.*vhost.*-pdrdisc"
2124     layout:
2125       "plot-throughput"
2126
2127 # VPP VM VHOST SELECTION
2128 -
2129   type: "plot"
2130   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2131   algorithm: "plot_performance_box"
2132   output-file-type: ".html"
2133   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc"
2134   data:
2135     "plot-vpp-throughput-latency"
2136   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2137   parameters:
2138   - "throughput"
2139   - "parent"
2140   traces:
2141     hoverinfo: "x+y"
2142     boxpoints: "outliers"
2143     whiskerwidth: 0
2144   layout:
2145     title: "64B-1t1c-.*vhost.*-ndrdisc"
2146     layout:
2147       "plot-throughput"
2148
2149 -
2150   type: "plot"
2151   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2152   algorithm: "plot_performance_box"
2153   output-file-type: ".html"
2154   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc"
2155   data:
2156     "plot-vpp-throughput-latency"
2157   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2158   parameters:
2159   - "throughput"
2160   - "parent"
2161   traces:
2162     hoverinfo: "x+y"
2163     boxpoints: "outliers"
2164     whiskerwidth: 0
2165   layout:
2166     title: "64B-2t2c-.*vhost.*-ndrdisc"
2167     layout:
2168       "plot-throughput"
2169
2170 -
2171   type: "plot"
2172   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2173   algorithm: "plot_performance_box"
2174   output-file-type: ".html"
2175   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-pdrdisc"
2176   data:
2177     "plot-vpp-throughput-latency"
2178   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2179   parameters:
2180   - "throughput"
2181   - "parent"
2182   traces:
2183     hoverinfo: "x+y"
2184     boxpoints: "outliers"
2185     whiskerwidth: 0
2186   layout:
2187     title: "64B-1t1c-.*vhost.*-pdrdisc"
2188     layout:
2189       "plot-throughput"
2190
2191 -
2192   type: "plot"
2193   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2194   algorithm: "plot_performance_box"
2195   output-file-type: ".html"
2196   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-pdrdisc"
2197   data:
2198     "plot-vpp-throughput-latency"
2199   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2200   parameters:
2201   - "throughput"
2202   - "parent"
2203   traces:
2204     hoverinfo: "x+y"
2205     boxpoints: "outliers"
2206     whiskerwidth: 0
2207   layout:
2208     title: "64B-2t2c-.*vhost.*-pdrdisc"
2209     layout:
2210       "plot-throughput"
2211
2212 # VPP CRYPTO
2213 -
2214   type: "plot"
2215   title: "VPP Performance 64B-1t1c-.*ipsec.*-ndrdisc"
2216   algorithm: "plot_performance_box"
2217   output-file-type: ".html"
2218   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc"
2219   data:
2220     "plot-vpp-throughput-latency"
2221   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2222   parameters:
2223   - "throughput"
2224   - "parent"
2225   traces:
2226     hoverinfo: "x+y"
2227     boxpoints: "outliers"
2228     whiskerwidth: 0
2229   layout:
2230     title: "64B-1t1c-.*ipsec.*-ndrdisc"
2231     layout:
2232       "plot-throughput"
2233
2234 -
2235   type: "plot"
2236   title: "VPP Performance 64B-2t2c-.*ipsec.*-ndrdisc"
2237   algorithm: "plot_performance_box"
2238   output-file-type: ".html"
2239   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc"
2240   data:
2241     "plot-vpp-throughput-latency"
2242   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2243   parameters:
2244   - "throughput"
2245   - "parent"
2246   traces:
2247     hoverinfo: "x+y"
2248     boxpoints: "outliers"
2249     whiskerwidth: 0
2250   layout:
2251     title: "64B-2t2c-.*ipsec.*-ndrdisc"
2252     layout:
2253       "plot-throughput"
2254
2255 -
2256   type: "plot"
2257   title: "VPP Performance 64B-1t1c-.*ipsec.*-pdrdisc"
2258   algorithm: "plot_performance_box"
2259   output-file-type: ".html"
2260   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-pdrdisc"
2261   data:
2262     "plot-vpp-throughput-latency"
2263   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2264   parameters:
2265   - "throughput"
2266   - "parent"
2267   traces:
2268     hoverinfo: "x+y"
2269     boxpoints: "outliers"
2270     whiskerwidth: 0
2271   layout:
2272     title: "64B-1t1c-.*ipsec.*-pdrdisc"
2273     layout:
2274       "plot-throughput"
2275
2276 -
2277   type: "plot"
2278   title: "VPP Performance 64B-2t2c-.*ipsec.*-pdrdisc"
2279   algorithm: "plot_performance_box"
2280   output-file-type: ".html"
2281   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-pdrdisc"
2282   data:
2283     "plot-vpp-throughput-latency"
2284   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2285   parameters:
2286   - "throughput"
2287   - "parent"
2288   traces:
2289     hoverinfo: "x+y"
2290     boxpoints: "outliers"
2291     whiskerwidth: 0
2292   layout:
2293     title: "64B-2t2c-.*ipsec.*-pdrdisc"
2294     layout:
2295       "plot-throughput"
2296
2297 # DPDK
2298 -
2299   type: "plot"
2300   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2301   algorithm: "plot_performance_box"
2302   output-file-type: ".html"
2303   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc"
2304   data:
2305     "plot-dpdk-throughput-latency"
2306   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2307   parameters:
2308   - "throughput"
2309   - "parent"
2310   traces:
2311     hoverinfo: "x+y"
2312     boxpoints: "outliers"
2313     whiskerwidth: 0
2314   layout:
2315     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2316     layout:
2317       "plot-throughput"
2318
2319 -
2320   type: "plot"
2321   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2322   algorithm: "plot_performance_box"
2323   output-file-type: ".html"
2324   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc"
2325   data:
2326     "plot-dpdk-throughput-latency"
2327   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2328   parameters:
2329   - "throughput"
2330   - "parent"
2331   traces:
2332     hoverinfo: "x+y"
2333     boxpoints: "outliers"
2334     whiskerwidth: 0
2335   layout:
2336     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2337     layout:
2338       "plot-throughput"
2339
2340 -
2341   type: "plot"
2342   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2343   algorithm: "plot_performance_box"
2344   output-file-type: ".html"
2345   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc"
2346   data:
2347     "plot-dpdk-throughput-latency"
2348   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
2349   parameters:
2350   - "throughput"
2351   - "parent"
2352   traces:
2353     hoverinfo: "x+y"
2354     boxpoints: "outliers"
2355     whiskerwidth: 0
2356   layout:
2357     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2358     xaxis:
2359       autorange: True
2360       autotick: False
2361       fixedrange: False
2362       gridcolor: "rgb(238, 238, 238)"
2363       linecolor: "rgb(238, 238, 238)"
2364       linewidth: 1
2365       showgrid: True
2366       showline: True
2367       showticklabels: True
2368       tickcolor: "rgb(238, 238, 238)"
2369       tickmode: "linear"
2370       title: "Indexed Test Cases"
2371       zeroline: False
2372     yaxis:
2373       gridcolor: "rgb(238, 238, 238)'"
2374       hoverformat: ".4s"
2375       linecolor: "rgb(238, 238, 238)"
2376       linewidth: 1
2377       range: [2000000, 12000000]
2378       showgrid: True
2379       showline: True
2380       showticklabels: True
2381       tickcolor: "rgb(238, 238, 238)"
2382       title: "Packets Per Second [pps]"
2383       zeroline: False
2384     boxmode: "group"
2385     boxgroupgap: 0.5
2386     autosize: False
2387     margin:
2388       t: 50
2389       b: 20
2390       l: 50
2391       r: 20
2392     showlegend: True
2393     legend:
2394       orientation: "h"
2395     width: 700
2396     height: 1000
2397
2398 -
2399   type: "plot"
2400   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2401   algorithm: "plot_performance_box"
2402   output-file-type: ".html"
2403   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc"
2404   data:
2405     "plot-dpdk-throughput-latency"
2406   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
2407   parameters:
2408   - "throughput"
2409   - "parent"
2410   traces:
2411     hoverinfo: "x+y"
2412     boxpoints: "outliers"
2413     whiskerwidth: 0
2414   layout:
2415     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2416     xaxis:
2417       autorange: True
2418       autotick: False
2419       fixedrange: False
2420       gridcolor: "rgb(238, 238, 238)"
2421       linecolor: "rgb(238, 238, 238)"
2422       linewidth: 1
2423       showgrid: True
2424       showline: True
2425       showticklabels: True
2426       tickcolor: "rgb(238, 238, 238)"
2427       tickmode: "linear"
2428       title: "Indexed Test Cases"
2429       zeroline: False
2430     yaxis:
2431       gridcolor: "rgb(238, 238, 238)'"
2432       hoverformat: ".4s"
2433       linecolor: "rgb(238, 238, 238)"
2434       linewidth: 1
2435       range: [2000000, 12000000]
2436       showgrid: True
2437       showline: True
2438       showticklabels: True
2439       tickcolor: "rgb(238, 238, 238)"
2440       title: "Packets Per Second [pps]"
2441       zeroline: False
2442     boxmode: "group"
2443     boxgroupgap: 0.5
2444     autosize: False
2445     margin:
2446       t: 50
2447       b: 20
2448       l: 50
2449       r: 20
2450     showlegend: True
2451     legend:
2452       orientation: "h"
2453     width: 700
2454     height: 1000
2455
2456 -
2457   type: "plot"
2458   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2459   algorithm: "plot_performance_box"
2460   output-file-type: ".html"
2461   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-pdrdisc"
2462   data:
2463     "plot-dpdk-throughput-latency"
2464   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2465   parameters:
2466   - "throughput"
2467   - "parent"
2468   traces:
2469     hoverinfo: "x+y"
2470     boxpoints: "outliers"
2471     whiskerwidth: 0
2472   layout:
2473     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2474     layout:
2475       "plot-throughput"
2476
2477 -
2478   type: "plot"
2479   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2480   algorithm: "plot_performance_box"
2481   output-file-type: ".html"
2482   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-pdrdisc"
2483   data:
2484     "plot-dpdk-throughput-latency"
2485   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2486   parameters:
2487   - "throughput"
2488   - "parent"
2489   traces:
2490     hoverinfo: "x+y"
2491     boxpoints: "outliers"
2492     whiskerwidth: 0
2493   layout:
2494     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2495     layout:
2496       "plot-throughput"
2497
2498 -
2499   type: "plot"
2500   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
2501   algorithm: "plot_performance_box"
2502   output-file-type: ".html"
2503   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-pdrdisc"
2504   data:
2505     "plot-dpdk-throughput-latency"
2506   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD'"
2507   parameters:
2508   - "throughput"
2509   - "parent"
2510   traces:
2511     hoverinfo: "x+y"
2512     boxpoints: "outliers"
2513     whiskerwidth: 0
2514   layout:
2515     title: "64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
2516     xaxis:
2517       autorange: True
2518       autotick: False
2519       fixedrange: False
2520       gridcolor: "rgb(238, 238, 238)"
2521       linecolor: "rgb(238, 238, 238)"
2522       linewidth: 1
2523       showgrid: True
2524       showline: True
2525       showticklabels: True
2526       tickcolor: "rgb(238, 238, 238)"
2527       tickmode: "linear"
2528       title: "Indexed Test Cases"
2529       zeroline: False
2530     yaxis:
2531       gridcolor: "rgb(238, 238, 238)'"
2532       hoverformat: ".4s"
2533       linecolor: "rgb(238, 238, 238)"
2534       linewidth: 1
2535       range: [20000000, 30000000]
2536       showgrid: True
2537       showline: True
2538       showticklabels: True
2539       tickcolor: "rgb(238, 238, 238)"
2540       title: "Packets Per Second [pps]"
2541       zeroline: False
2542     boxmode: "group"
2543     boxgroupgap: 0.5
2544     autosize: False
2545     margin:
2546       t: 50
2547       b: 20
2548       l: 50
2549       r: 20
2550     showlegend: True
2551     legend:
2552       orientation: "h"
2553     width: 700
2554     height: 1000
2555
2556 -
2557   type: "plot"
2558   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
2559   algorithm: "plot_performance_box"
2560   output-file-type: ".html"
2561   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-pdrdisc"
2562   data:
2563     "plot-dpdk-throughput-latency"
2564   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD'"
2565   parameters:
2566   - "throughput"
2567   - "parent"
2568   traces:
2569     hoverinfo: "x+y"
2570     boxpoints: "outliers"
2571     whiskerwidth: 0
2572   layout:
2573     title: "64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
2574     xaxis:
2575       autorange: True
2576       autotick: False
2577       fixedrange: False
2578       gridcolor: "rgb(238, 238, 238)"
2579       linecolor: "rgb(238, 238, 238)"
2580       linewidth: 1
2581       showgrid: True
2582       showline: True
2583       showticklabels: True
2584       tickcolor: "rgb(238, 238, 238)"
2585       tickmode: "linear"
2586       title: "Indexed Test Cases"
2587       zeroline: False
2588     yaxis:
2589       gridcolor: "rgb(238, 238, 238)'"
2590       hoverformat: ".4s"
2591       linecolor: "rgb(238, 238, 238)"
2592       linewidth: 1
2593       range: [20000000, 30000000]
2594       showgrid: True
2595       showline: True
2596       showticklabels: True
2597       tickcolor: "rgb(238, 238, 238)"
2598       title: "Packets Per Second [pps]"
2599       zeroline: False
2600     boxmode: "group"
2601     boxgroupgap: 0.5
2602     autosize: False
2603     margin:
2604       t: 50
2605       b: 20
2606       l: 50
2607       r: 20
2608     showlegend: True
2609     legend:
2610       orientation: "h"
2611     width: 700
2612     height: 1000
2613
2614 # Plot latency
2615
2616 # VPP L2 sel1
2617 -
2618   type: "plot"
2619   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2620   algorithm: "plot_latency_box"
2621   output-file-type: ".html"
2622   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc-lat50"
2623   data:
2624     "plot-vpp-throughput-latency"
2625   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2626   parameters:
2627   - "latency"
2628   - "parent"
2629   traces:
2630     boxmean: False
2631   layout:
2632     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2633     layout:
2634       "plot-latency"
2635
2636 -
2637   type: "plot"
2638   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2639   algorithm: "plot_latency_box"
2640   output-file-type: ".html"
2641   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc-lat50"
2642   data:
2643     "plot-vpp-throughput-latency"
2644   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2645   parameters:
2646   - "latency"
2647   - "parent"
2648   traces:
2649     boxmean: False
2650   layout:
2651     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2652     layout:
2653       "plot-latency"
2654
2655 # VPP L2 sel2
2656 -
2657   type: "plot"
2658   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2659   algorithm: "plot_latency_box"
2660   output-file-type: ".html"
2661   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc-lat50"
2662   data:
2663     "plot-vpp-throughput-latency"
2664   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2665   parameters:
2666   - "latency"
2667   - "parent"
2668   traces:
2669     boxmean: False
2670   layout:
2671     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2672     layout:
2673       "plot-latency"
2674
2675 -
2676   type: "plot"
2677   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2678   algorithm: "plot_latency_box"
2679   output-file-type: ".html"
2680   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc-lat50"
2681   data:
2682     "plot-vpp-throughput-latency"
2683   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2684   parameters:
2685   - "latency"
2686   - "parent"
2687   traces:
2688     boxmean: False
2689   layout:
2690     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2691     layout:
2692       "plot-latency"
2693
2694 # VPP IP4
2695 -
2696   type: "plot"
2697   title: "VPP Latency 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2698   algorithm: "plot_latency_box"
2699   output-file-type: ".html"
2700   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc-lat50"
2701   data:
2702     "plot-vpp-throughput-latency"
2703   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
2704   parameters:
2705   - "latency"
2706   - "parent"
2707   traces:
2708     boxmean: False
2709   layout:
2710     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2711     layout:
2712       "plot-latency"
2713
2714 -
2715   type: "plot"
2716   title: "VPP Latency 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2717   algorithm: "plot_latency_box"
2718   output-file-type: ".html"
2719   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc-lat50"
2720   data:
2721     "plot-vpp-throughput-latency"
2722   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
2723   parameters:
2724   - "latency"
2725   - "parent"
2726   traces:
2727     boxmean: False
2728   layout:
2729     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2730     layout:
2731       "plot-latency"
2732
2733 # VPP IP6
2734 -
2735   type: "plot"
2736   title: "VPP Latency 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2737   algorithm: "plot_latency_box"
2738   output-file-type: ".html"
2739   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc-lat50"
2740   data:
2741     "plot-vpp-throughput-latency"
2742   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2743   parameters:
2744   - "latency"
2745   - "parent"
2746   traces:
2747     boxmean: False
2748   layout:
2749     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2750     layout:
2751       "plot-latency"
2752
2753 -
2754   type: "plot"
2755   title: "VPP Latency 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2756   algorithm: "plot_latency_box"
2757   output-file-type: ".html"
2758   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc-lat50"
2759   data:
2760     "plot-vpp-throughput-latency"
2761   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2762   parameters:
2763   - "latency"
2764   - "parent"
2765   traces:
2766     boxmean: False
2767   layout:
2768     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2769     layout:
2770       "plot-latency"
2771
2772 # VPP IP4_overlay
2773 -
2774   type: "plot"
2775   title: "VPP Latency 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2776   algorithm: "plot_latency_box"
2777   output-file-type: ".html"
2778   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc-lat50"
2779   data:
2780     "plot-vpp-throughput-latency"
2781   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2782   parameters:
2783   - "latency"
2784   - "parent"
2785   traces:
2786     boxmean: False
2787   layout:
2788     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2789     layout:
2790       "plot-latency"
2791
2792 -
2793   type: "plot"
2794   title: "VPP Latency 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2795   algorithm: "plot_latency_box"
2796   output-file-type: ".html"
2797   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc-lat50"
2798   data:
2799     "plot-vpp-throughput-latency"
2800   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2801   parameters:
2802   - "latency"
2803   - "parent"
2804   traces:
2805     boxmean: False
2806   layout:
2807     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2808     layout:
2809       "plot-latency"
2810
2811 # VPP IP6_overlay
2812 -
2813   type: "plot"
2814   title: "VPP Latency 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2815   algorithm: "plot_latency_box"
2816   output-file-type: ".html"
2817   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc-lat50"
2818   data:
2819     "plot-vpp-throughput-latency"
2820   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2821   parameters:
2822   - "latency"
2823   - "parent"
2824   traces:
2825     boxmean: False
2826   layout:
2827     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2828     layout:
2829       "plot-latency"
2830
2831 -
2832   type: "plot"
2833   title: "VPP Latency 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2834   algorithm: "plot_latency_box"
2835   output-file-type: ".html"
2836   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc-lat50"
2837   data:
2838     "plot-vpp-throughput-latency"
2839   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2840   parameters:
2841   - "latency"
2842   - "parent"
2843   traces:
2844     boxmean: False
2845   layout:
2846     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2847     layout:
2848       "plot-latency"
2849
2850 # VPP VM VHOST
2851 -
2852   type: "plot"
2853   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
2854   algorithm: "plot_latency_box"
2855   output-file-type: ".html"
2856   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc-lat50"
2857   data:
2858     "plot-vpp-throughput-latency"
2859   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2860   parameters:
2861   - "latency"
2862   - "parent"
2863   traces:
2864     boxmean: False
2865   layout:
2866     title: "64B-1t1c-.*vhost.*-ndrdisc"
2867     layout:
2868       "plot-latency"
2869
2870 -
2871   type: "plot"
2872   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
2873   algorithm: "plot_latency_box"
2874   output-file-type: ".html"
2875   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc-lat50"
2876   data:
2877     "plot-vpp-throughput-latency"
2878   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2879   parameters:
2880   - "latency"
2881   - "parent"
2882   traces:
2883     boxmean: False
2884   layout:
2885     title: "64B-2t2c-.*vhost.*-ndrdisc"
2886     layout:
2887       "plot-latency"
2888
2889 # VPP VM VHOST selection
2890 -
2891   type: "plot"
2892   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
2893   algorithm: "plot_latency_box"
2894   output-file-type: ".html"
2895   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc-lat50"
2896   data:
2897     "plot-vpp-throughput-latency"
2898   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2899   parameters:
2900   - "latency"
2901   - "parent"
2902   traces:
2903     boxmean: False
2904   layout:
2905     title: "64B-1t1c-.*vhost.*-ndrdisc"
2906     layout:
2907       "plot-latency"
2908
2909 -
2910   type: "plot"
2911   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
2912   algorithm: "plot_latency_box"
2913   output-file-type: ".html"
2914   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc-lat50"
2915   data:
2916     "plot-vpp-throughput-latency"
2917   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2918   parameters:
2919   - "latency"
2920   - "parent"
2921   traces:
2922     boxmean: False
2923   layout:
2924     title: "64B-2t2c-.*vhost.*-ndrdisc"
2925     layout:
2926       "plot-latency"
2927
2928 # VPP CRYPTO
2929 -
2930   type: "plot"
2931   title: "VPP Latency 64B-1t1c-.*ipsec.*-ndrdisc"
2932   algorithm: "plot_latency_box"
2933   output-file-type: ".html"
2934   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc-lat50"
2935   data:
2936     "plot-vpp-throughput-latency"
2937   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2938   parameters:
2939   - "latency"
2940   - "parent"
2941   traces:
2942     boxmean: False
2943   layout:
2944     title: "64B-1t1c-.*ipsec.*-ndrdisc"
2945     layout:
2946       "plot-latency"
2947
2948 -
2949   type: "plot"
2950   title: "VPP Latency 64B-2t2c-.*ipsec.*-ndrdisc"
2951   algorithm: "plot_latency_box"
2952   output-file-type: ".html"
2953   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc-lat50"
2954   data:
2955     "plot-vpp-throughput-latency"
2956   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2957   parameters:
2958   - "latency"
2959   - "parent"
2960   traces:
2961     boxmean: False
2962   layout:
2963     title: "64B-2t2c-.*ipsec.*-ndrdisc"
2964     layout:
2965       "plot-latency"
2966
2967 # DPDK
2968 -
2969   type: "plot"
2970   title: "DPDK Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2971   algorithm: "plot_latency_box"
2972   output-file-type: ".html"
2973   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc-lat50"
2974   data:
2975     "plot-dpdk-throughput-latency"
2976   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2977   parameters:
2978   - "latency"
2979   - "parent"
2980   traces:
2981     boxmean: False
2982   layout:
2983     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2984     layout:
2985       "plot-latency"
2986
2987 -
2988   type: "plot"
2989   title: "DPDK Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2990   algorithm: "plot_latency_box"
2991   output-file-type: ".html"
2992   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc-lat50"
2993   data:
2994     "plot-dpdk-throughput-latency"
2995   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2996   parameters:
2997   - "latency"
2998   - "parent"
2999   traces:
3000     boxmean: False
3001   layout:
3002     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3003     layout:
3004       "plot-latency"
3005
3006 -
3007   type: "plot"
3008   title: "DPDK Latency 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3009   algorithm: "plot_latency_box"
3010   output-file-type: ".html"
3011   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc-lat50"
3012   data:
3013     "plot-dpdk-throughput-latency"
3014   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
3015   parameters:
3016   - "latency"
3017   - "parent"
3018   traces:
3019     boxmean: False
3020   layout:
3021     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3022     layout:
3023       "plot-latency"
3024
3025 -
3026   type: "plot"
3027   title: "DPDK Latency 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3028   algorithm: "plot_latency_box"
3029   output-file-type: ".html"
3030   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc-lat50"
3031   data:
3032     "plot-dpdk-throughput-latency"
3033   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
3034   parameters:
3035   - "latency"
3036   - "parent"
3037   traces:
3038     boxmean: False
3039   layout:
3040     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3041     layout:
3042       "plot-latency"
3043
3044 # Ligato - Throughput
3045
3046 # Container memif
3047 -
3048   type: "plot"
3049   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3050   algorithm: "plot_performance_box"
3051   output-file-type: ".html"
3052   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc"
3053   data:
3054     "plot-vpp-throughput-latency"
3055   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3056   parameters:
3057   - "throughput"
3058   - "parent"
3059   traces:
3060     hoverinfo: "x+y"
3061     boxpoints: "outliers"
3062     whiskerwidth: 0
3063   layout:
3064     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3065     xaxis:
3066       autorange: True
3067       autotick: False
3068       fixedrange: False
3069       gridcolor: "rgb(238, 238, 238)"
3070       linecolor: "rgb(238, 238, 238)"
3071       linewidth: 1
3072       showgrid: True
3073       showline: True
3074       showticklabels: True
3075       tickcolor: "rgb(238, 238, 238)"
3076       tickmode: "linear"
3077       title: "Indexed Test Cases"
3078       zeroline: False
3079     yaxis:
3080       gridcolor: "rgb(238, 238, 238)'"
3081       hoverformat: ".4s"
3082       linecolor: "rgb(238, 238, 238)"
3083       linewidth: 1
3084       range: [0, 4500000]
3085       showgrid: True
3086       showline: True
3087       showticklabels: True
3088       tickcolor: "rgb(238, 238, 238)"
3089       title: "Packets Per Second [pps]"
3090       zeroline: False
3091     boxmode: "group"
3092     boxgroupgap: 0.5
3093     autosize: False
3094     margin:
3095       t: 50
3096       b: 20
3097       l: 50
3098       r: 20
3099     showlegend: True
3100     legend:
3101       orientation: "h"
3102     width: 700
3103     height: 1000
3104
3105 -
3106   type: "plot"
3107   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3108   algorithm: "plot_performance_box"
3109   output-file-type: ".html"
3110   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc"
3111   data:
3112     "plot-vpp-throughput-latency"
3113   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3114   parameters:
3115   - "throughput"
3116   - "parent"
3117   traces:
3118     hoverinfo: "x+y"
3119     boxpoints: "outliers"
3120     whiskerwidth: 0
3121   layout:
3122     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3123     xaxis:
3124       autorange: True
3125       autotick: False
3126       fixedrange: False
3127       gridcolor: "rgb(238, 238, 238)"
3128       linecolor: "rgb(238, 238, 238)"
3129       linewidth: 1
3130       showgrid: True
3131       showline: True
3132       showticklabels: True
3133       tickcolor: "rgb(238, 238, 238)"
3134       tickmode: "linear"
3135       title: "Indexed Test Cases"
3136       zeroline: False
3137     yaxis:
3138       gridcolor: "rgb(238, 238, 238)'"
3139       hoverformat: ".4s"
3140       linecolor: "rgb(238, 238, 238)"
3141       linewidth: 1
3142       range: [0, 8000000]
3143       showgrid: True
3144       showline: True
3145       showticklabels: True
3146       tickcolor: "rgb(238, 238, 238)"
3147       title: "Packets Per Second [pps]"
3148       zeroline: False
3149     boxmode: "group"
3150     boxgroupgap: 0.5
3151     autosize: False
3152     margin:
3153       t: 50
3154       b: 20
3155       l: 50
3156       r: 20
3157     showlegend: True
3158     legend:
3159       orientation: "h"
3160     width: 700
3161     height: 1000
3162
3163 -
3164   type: "plot"
3165   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3166   algorithm: "plot_performance_box"
3167   output-file-type: ".html"
3168   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-pdrdisc"
3169   data:
3170     "plot-vpp-throughput-latency"
3171   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3172   parameters:
3173   - "throughput"
3174   - "parent"
3175   traces:
3176     hoverinfo: "x+y"
3177     boxpoints: "outliers"
3178     whiskerwidth: 0
3179   layout:
3180     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3181     xaxis:
3182       autorange: True
3183       autotick: False
3184       fixedrange: False
3185       gridcolor: "rgb(238, 238, 238)"
3186       linecolor: "rgb(238, 238, 238)"
3187       linewidth: 1
3188       showgrid: True
3189       showline: True
3190       showticklabels: True
3191       tickcolor: "rgb(238, 238, 238)"
3192       tickmode: "linear"
3193       title: "Indexed Test Cases"
3194       zeroline: False
3195     yaxis:
3196       gridcolor: "rgb(238, 238, 238)'"
3197       hoverformat: ".4s"
3198       linecolor: "rgb(238, 238, 238)"
3199       linewidth: 1
3200       range: [0, 4500000]
3201       showgrid: True
3202       showline: True
3203       showticklabels: True
3204       tickcolor: "rgb(238, 238, 238)"
3205       title: "Packets Per Second [pps]"
3206       zeroline: False
3207     boxmode: "group"
3208     boxgroupgap: 0.5
3209     autosize: False
3210     margin:
3211       t: 50
3212       b: 20
3213       l: 50
3214       r: 20
3215     showlegend: True
3216     legend:
3217       orientation: "h"
3218     width: 700
3219     height: 1000
3220
3221 -
3222   type: "plot"
3223   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3224   algorithm: "plot_performance_box"
3225   output-file-type: ".html"
3226   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-pdrdisc"
3227   data:
3228     "plot-vpp-throughput-latency"
3229   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3230   parameters:
3231   - "throughput"
3232   - "parent"
3233   traces:
3234     hoverinfo: "x+y"
3235     boxpoints: "outliers"
3236     whiskerwidth: 0
3237   layout:
3238     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3239     xaxis:
3240       autorange: True
3241       autotick: False
3242       fixedrange: False
3243       gridcolor: "rgb(238, 238, 238)"
3244       linecolor: "rgb(238, 238, 238)"
3245       linewidth: 1
3246       showgrid: True
3247       showline: True
3248       showticklabels: True
3249       tickcolor: "rgb(238, 238, 238)"
3250       tickmode: "linear"
3251       title: "Indexed Test Cases"
3252       zeroline: False
3253     yaxis:
3254       gridcolor: "rgb(238, 238, 238)'"
3255       hoverformat: ".4s"
3256       linecolor: "rgb(238, 238, 238)"
3257       linewidth: 1
3258       range: [0, 8000000]
3259       showgrid: True
3260       showline: True
3261       showticklabels: True
3262       tickcolor: "rgb(238, 238, 238)"
3263       title: "Packets Per Second [pps]"
3264       zeroline: False
3265     boxmode: "group"
3266     boxgroupgap: 0.5
3267     autosize: False
3268     margin:
3269       t: 50
3270       b: 20
3271       l: 50
3272       r: 20
3273     showlegend: True
3274     legend:
3275       orientation: "h"
3276     width: 700
3277     height: 1000
3278
3279 # Container orchestrated
3280 -
3281   type: "plot"
3282   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3283   algorithm: "plot_performance_box"
3284   output-file-type: ".html"
3285   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc"
3286   data:
3287     "plot-ligato-throughput-latency"
3288   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3289   parameters:
3290   - "throughput"
3291   - "parent"
3292   traces:
3293     hoverinfo: "x+y"
3294     boxpoints: "outliers"
3295     whiskerwidth: 0
3296   layout:
3297     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3298     layout:
3299       "plot-throughput"
3300
3301 -
3302   type: "plot"
3303   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3304   algorithm: "plot_performance_box"
3305   output-file-type: ".html"
3306   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc"
3307   data:
3308     "plot-ligato-throughput-latency"
3309   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3310   parameters:
3311   - "throughput"
3312   - "parent"
3313   traces:
3314     hoverinfo: "x+y"
3315     boxpoints: "outliers"
3316     whiskerwidth: 0
3317   layout:
3318     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3319     layout:
3320       "plot-throughput"
3321
3322 -
3323   type: "plot"
3324   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3325   algorithm: "plot_performance_box"
3326   output-file-type: ".html"
3327   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-pdrdisc"
3328   data:
3329     "plot-ligato-throughput-latency"
3330   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3331   parameters:
3332   - "throughput"
3333   - "parent"
3334   traces:
3335     hoverinfo: "x+y"
3336     boxpoints: "outliers"
3337     whiskerwidth: 0
3338   layout:
3339     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3340     layout:
3341       "plot-throughput"
3342
3343 -
3344   type: "plot"
3345   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3346   algorithm: "plot_performance_box"
3347   output-file-type: ".html"
3348   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-pdrdisc"
3349   data:
3350     "plot-ligato-throughput-latency"
3351   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3352   parameters:
3353   - "throughput"
3354   - "parent"
3355   traces:
3356     hoverinfo: "x+y"
3357     boxpoints: "outliers"
3358     whiskerwidth: 0
3359   layout:
3360     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3361     layout:
3362       "plot-throughput"
3363
3364 # Ligato - Latency
3365
3366 # Container memif
3367 -
3368   type: "plot"
3369   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3370   algorithm: "plot_latency_box"
3371   output-file-type: ".html"
3372   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc-lat50"
3373   data:
3374     "plot-vpp-throughput-latency"
3375   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3376   parameters:
3377   - "latency"
3378   - "parent"
3379   traces:
3380     boxmean: False
3381   layout:
3382     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3383     layout:
3384       "plot-latency"
3385
3386 -
3387   type: "plot"
3388   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3389   algorithm: "plot_latency_box"
3390   output-file-type: ".html"
3391   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc-lat50"
3392   data:
3393     "plot-vpp-throughput-latency"
3394   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3395   parameters:
3396   - "latency"
3397   - "parent"
3398   traces:
3399     boxmean: False
3400   layout:
3401     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3402     layout:
3403       "plot-latency"
3404
3405 # Container orchestrated
3406 -
3407   type: "plot"
3408   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3409   algorithm: "plot_latency_box"
3410   output-file-type: ".html"
3411   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc-lat50"
3412   data:
3413     "plot-ligato-throughput-latency"
3414   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3415   parameters:
3416   - "latency"
3417   - "parent"
3418   traces:
3419     boxmean: False
3420   layout:
3421     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3422     layout:
3423       "plot-latency"
3424
3425 -
3426   type: "plot"
3427   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3428   algorithm: "plot_latency_box"
3429   output-file-type: ".html"
3430   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc-lat50"
3431   data:
3432     "plot-ligato-throughput-latency"
3433   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3434   parameters:
3435   - "latency"
3436   - "parent"
3437   traces:
3438     boxmean: False
3439   layout:
3440     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3441     layout:
3442       "plot-latency"