resources/tools/presentation/specification.yaml

   1 -
   2   type: "environment"
   3   configuration:
   4     # Debug mode:
   5     # - Skip:
   6     #   - Download of input data files
   7     # - Do:
   8     #   - Read data from given zip / xml files
   9     #   - Set the configuration as it is done in normal mode
  10     # If the section "type: debug" is missing, CFG[DEBUG] is set to 0.
  11     CFG[DEBUG]: 0
  12
  13   paths:
  14     # Top level directories:
  15     ## Working directory
  16     DIR[WORKING]: "_tmp"
  17     ## Build directories
  18     DIR[BUILD,HTML]: "_build"
  19     DIR[BUILD,LATEX]: "_build_latex"
  20
  21     # Static .rst files
  22     DIR[RST]: "../../../docs/report"
  23
  24     # Working directories
  25     ## Input data files (.zip, .xml)
  26     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
  27     ## Static source files from git
  28     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
  29     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
  30
  31     # Static html content
  32     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
  33     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
  34     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
  35     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
  36
  37     # Detailed test results
  38     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
  39     DIR[DTR,PERF,DPDK]: "{DIR[DTR]}/dpdk_performance_results"
  40     DIR[DTR,PERF,VPP]: "{DIR[DTR]}/vpp_performance_results"
  41     DIR[DTR,PERF,COT]: "{DIR[DTR]}/cot_performance_results"
  42     DIR[DTR,PERF,HC]: "{DIR[DTR]}/honeycomb_performance_results"
  43     DIR[DTR,FUNC,VPP]: "{DIR[DTR]}/vpp_functional_results"
  44     DIR[DTR,FUNC,HC]: "{DIR[DTR]}/honeycomb_functional_results"
  45     DIR[DTR,FUNC,NSHSFC]: "{DIR[DTR]}/nshsfc_functional_results"
  46     DIR[DTR,PERF,VPP,IMPRV]: "{DIR[WORKING,SRC]}/vpp_performance_tests/performance_improvements"
  47
  48     # Detailed test configurations
  49     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
  50     DIR[DTC,PERF,VPP]: "{DIR[DTC]}/vpp_performance_configuration"
  51     DIR[DTC,FUNC,VPP]: "{DIR[DTC]}/vpp_functional_configuration"
  52
  53     # Detailed tests operational data
  54     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
  55     DIR[DTO,PERF,VPP]: "{DIR[DTO]}/vpp_performance_operational_data"
  56
  57     # .css patch file to fix tables generated by Sphinx
  58     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
  59     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
  60
  61   urls:
  62     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
  63     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
  64     URL[NEXUS]: "https://docs.fd.io/csit"
  65     DIR[NEXUS]: "report/_static/archive"
  66
  67   make-dirs:
  68   # List the directories which are created while preparing the environment.
  69   # All directories MUST be defined in "paths" section.
  70   - "DIR[WORKING,DATA]"
  71   - "DIR[STATIC,VPP]"
  72   - "DIR[STATIC,DPDK]"
  73   - "DIR[STATIC,ARCH]"
  74   - "DIR[BUILD,LATEX]"
  75   - "DIR[WORKING,SRC]"
  76   - "DIR[WORKING,SRC,STATIC]"
  77
  78   remove-dirs:
  79   # List the directories which are deleted while cleaning the environment.
  80   # All directories MUST be defined in "paths" section.
  81   #- "DIR[BUILD,HTML]"
  82
  83   build-dirs:
  84   # List the directories where the results (build) is stored.
  85   # All directories MUST be defined in "paths" section.
  86   - "DIR[BUILD,HTML]"
  87   - "DIR[BUILD,LATEX]"
  88
  89 -
  90   type: "configuration"
  91   data-sets:
  92 # TODO: Add the data sources
  93     plot-vpp-http-server-performance:
  94       csit-vpp-perf-1801-all:
  95       - 157
  96       - 158
  97       - 159
  98       - 160
  99       - 161
 100       - 164
 101       - 165
 102       - 166
 103       - 169
 104       - 170
 105 # TODO: Add the data sources
 106 #    vpp-meltdown-impact:
 107 #      csit-vpp-perf-1707-all:
 108 #      - 9
 109 #      - 10
 110 #      - 13
 111 #      csit-vpp-perf-1710-all:
 112 #      - 11l
 113 #      - 12
 114 #      - 13
 115 # TODO: Add the data sources
 116 #    vpp-spectre-impact:
 117 #      csit-vpp-perf-1707-all:
 118 #      - 9
 119 #      - 10
 120 #      - 13
 121 #      csit-vpp-perf-1710-all:
 122 #      - 11
 123 #      - 12
 124 #      - 13
 125     vpp-performance-changes:
 126       csit-vpp-perf-1710-all:
 127       - 11
 128       - 12
 129       - 13
 130       - 14
 131       - 15
 132       - 16
 133       - 17
 134       - 18
 135       - 19
 136       - 20
 137 # TODO: Add the data sources
 138       csit-vpp-perf-1801-all:
 139       - 124  # sel
 140       - 127  # sel
 141       - 128  # sel
 142       - 141  # sel
 143       - 142  # sel
 144       - 143  # sel
 145       - 145  # sel
 146       - 146  # sel
 147       - 162  # sel
 148       - 163  # sel
 149 #      - 167  # sel
 150 #      - 168  # sel
 151 # TODO: Add the data sources
 152     plot-throughput-speedup-analysis:
 153       csit-vpp-perf-1801-all:
 154       - 124  # sel
 155       - 127  # sel
 156       - 128  # sel
 157       - 141  # sel
 158       - 142  # sel
 159       - 143  # sel
 160       - 145  # sel
 161       - 146  # sel
 162       - 162  # sel
 163       - 163  # sel
 164 #      - 167  # sel
 165 #      - 168  # sel
 166 #    performance-improvements:
 167 #      csit-vpp-perf-1707-all:
 168 #      - 9
 169 #      - 10
 170 #      - 13
 171 #      - 14
 172 #      - 15
 173 #      - 16
 174 #      - 17
 175 #      - 18
 176 #      - 19
 177 #      - 21
 178 #      csit-vpp-perf-1710-all:
 179 #      - 11
 180 #      - 12
 181 #      - 13
 182 #      - 14
 183 #      - 15
 184 #      - 16
 185 #      - 17
 186 #      - 18
 187 #      - 19
 188 #      - 20
 189 #      csit-vpp-perf-1801-all:
 190 #      - 124
 191 #      - 127
 192 #      - 128
 193 #      csit-ligato-perf-1710-all:
 194 #      - 5
 195 #      - 7
 196 #      - 8
 197 #      - 9
 198 #      - 10
 199 #      - 11
 200 #      - 12
 201 #      - 13
 202 #      - 16
 203 #      - 17
 204 #      csit-ligato-perf-1801-all:
 205 #      - 16  # sel
 206 #      - 17  # sel
 207 #      - 18  # sel
 208 #      - 19  # sel
 209 #      - 20  # sel
 210 #      - 21  # sel
 211 #      - 22  # sel
 212 #      - 23  # sel
 213 #      - 24  # sel
 214 # TODO: Add the data sources
 215     vpp-perf-results:
 216       csit-vpp-perf-1801-all:
 217       - 122
 218       - 126
 219       - 129
 220       - 140
 221     vpp-func-results:
 222       csit-vpp-functional-1801-ubuntu1604-virl:
 223       - "lastSuccessfulBuild"
 224 # TODO: Add the data sources
 225     ligato-perf-results:
 226       csit-ligato-perf-1801-all:
 227       - 25  # full
 228     dpdk-perf-results:
 229       csit-dpdk-perf-1801-all:
 230       - 12
 231     hc-func-results:
 232       csit-hc2vpp-verify-func-1801-ubuntu1604:
 233       - "lastSuccessfulBuild"
 234     nsh-func-results:
 235       csit-nsh_sfc-verify-func-1801-ubuntu1604-virl:
 236       - 1
 237 # TODO: Add the data sources
 238     plot-vpp-throughput-latency:
 239       csit-vpp-perf-1801-all:
 240       - 124  # sel
 241       - 127  # sel
 242       - 128  # sel
 243       - 141  # sel
 244       - 142  # sel
 245       - 143  # sel
 246       - 145  # sel
 247       - 146  # sel
 248       - 162  # sel
 249       - 163  # sel
 250 #      - 167  # sel
 251 #      - 168  # sel
 252     plot-dpdk-throughput-latency:
 253       csit-dpdk-perf-1801-all:
 254       - 1
 255       - 3
 256       - 4
 257       - 5
 258       - 6
 259       - 7
 260       - 8
 261       - 10
 262       - 12
 263 # TODO: Add the data sources
 264     plot-ligato-throughput-latency:
 265       csit-ligato-perf-1801-all:
 266       - 16  # sel
 267       - 17  # sel
 268       - 18  # sel
 269       - 19  # sel
 270       - 20  # sel
 271       - 21  # sel
 272       - 22  # sel
 273       - 23  # sel
 274       - 24  # sel
 275
 276   plot-layouts:
 277
 278     plot-cps:
 279       xaxis:
 280         autorange: True
 281         autotick: False
 282         fixedrange: False
 283         gridcolor: "rgb(238, 238, 238)"
 284         linecolor: "rgb(238, 238, 238)"
 285         linewidth: 1
 286         showgrid: True
 287         showline: True
 288         showticklabels: True
 289         tickcolor: "rgb(238, 238, 238)"
 290         tickmode: "linear"
 291         title: "Indexed Test Cases"
 292         zeroline: False
 293       yaxis:
 294         gridcolor: "rgb(238, 238, 238)'"
 295         hoverformat: ".4s"
 296         linecolor: "rgb(238, 238, 238)"
 297         linewidth: 1
 298         range: []
 299         rangemode: "tozero"
 300         showgrid: True
 301         showline: True
 302         showticklabels: True
 303         tickcolor: "rgb(238, 238, 238)"
 304         title: "Connections Per Second [cps]"
 305         zeroline: False
 306       boxmode: "group"
 307       boxgroupgap: 0.5
 308       autosize: False
 309       margin:
 310         t: 50
 311         b: 20
 312         l: 50
 313         r: 20
 314       showlegend: True
 315       legend:
 316         orientation: "h"
 317       width: 700
 318       height: 1000
 319
 320     plot-rps:
 321       xaxis:
 322         autorange: True
 323         autotick: False
 324         fixedrange: False
 325         gridcolor: "rgb(238, 238, 238)"
 326         linecolor: "rgb(238, 238, 238)"
 327         linewidth: 1
 328         showgrid: True
 329         showline: True
 330         showticklabels: True
 331         tickcolor: "rgb(238, 238, 238)"
 332         tickmode: "linear"
 333         title: "Indexed Test Cases"
 334         zeroline: False
 335       yaxis:
 336         gridcolor: "rgb(238, 238, 238)'"
 337         hoverformat: ".4s"
 338         linecolor: "rgb(238, 238, 238)"
 339         linewidth: 1
 340         range: []
 341         rangemode: "tozero"
 342         showgrid: True
 343         showline: True
 344         showticklabels: True
 345         tickcolor: "rgb(238, 238, 238)"
 346         title: "Requests Per Second [rps]"
 347         zeroline: False
 348       boxmode: "group"
 349       boxgroupgap: 0.5
 350       autosize: False
 351       margin:
 352         t: 50
 353         b: 20
 354         l: 50
 355         r: 20
 356       showlegend: True
 357       legend:
 358         orientation: "h"
 359       width: 700
 360       height: 1000
 361
 362     plot-throughput:
 363       xaxis:
 364         autorange: True
 365         autotick: False
 366         fixedrange: False
 367         gridcolor: "rgb(238, 238, 238)"
 368         linecolor: "rgb(238, 238, 238)"
 369         linewidth: 1
 370         showgrid: True
 371         showline: True
 372         showticklabels: True
 373         tickcolor: "rgb(238, 238, 238)"
 374         tickmode: "linear"
 375         title: "Indexed Test Cases"
 376         zeroline: False
 377       yaxis:
 378         gridcolor: "rgb(238, 238, 238)'"
 379         hoverformat: ".4s"
 380         linecolor: "rgb(238, 238, 238)"
 381         linewidth: 1
 382         range: []
 383         showgrid: True
 384         showline: True
 385         showticklabels: True
 386         tickcolor: "rgb(238, 238, 238)"
 387         title: "Packets Per Second [pps]"
 388         zeroline: False
 389       boxmode: "group"
 390       boxgroupgap: 0.5
 391       autosize: False
 392       margin:
 393         t: 50
 394         b: 20
 395         l: 50
 396         r: 20
 397       showlegend: True
 398       legend:
 399         orientation: "h"
 400       width: 700
 401       height: 1000
 402
 403     plot-latency:
 404       xaxis:
 405         autorange: True
 406         autotick: False
 407         fixedrange: False
 408         gridcolor: "rgb(238, 238, 238)"
 409         linecolor: "rgb(238, 238, 238)"
 410         linewidth: 1
 411         showgrid: True
 412         showline: True
 413         showticklabels: True
 414         tickcolor: "rgb(238, 238, 238)"
 415         tickmode: "linear"
 416         title: "Indexed Test Cases"
 417         zeroline: False
 418       yaxis:
 419         gridcolor: "rgb(238, 238, 238)'"
 420         hoverformat: ""
 421         linecolor: "rgb(238, 238, 238)"
 422         linewidth: 1
 423         range: []
 424         showgrid: True
 425         showline: True
 426         showticklabels: True
 427         tickcolor: "rgb(238, 238, 238)"
 428         title: "Latency min/avg/max [uSec]"
 429         zeroline: False
 430       boxmode: "group"
 431       boxgroupgap: 0.5
 432       autosize: False
 433       margin:
 434         t: 50
 435         b: 20
 436         l: 50
 437         r: 20
 438       showlegend: True
 439       legend:
 440         orientation: "h"
 441       width: 700
 442       height: 1000
 443
 444     plot-throughput-speedup-analysis:
 445       xaxis:
 446         autorange: True
 447         autotick: False
 448         fixedrange: False
 449         gridcolor: "rgb(238, 238, 238)"
 450         linecolor: "rgb(238, 238, 238)"
 451         linewidth: 1
 452         showgrid: True
 453         showline: True
 454         showticklabels: True
 455         tickcolor: "rgb(238, 238, 238)"
 456         tickmode: "linear"
 457         tickangle: 270
 458         zeroline: False
 459       yaxis:
 460         title: "Throughput speedup factor"
 461         gridcolor: "rgb(238, 238, 238)"
 462         hoverformat: ".4s"
 463         linecolor: "rgb(238, 238, 238)"
 464         linewidth: 1
 465         range: []
 466         showgrid: True
 467         showline: True
 468         showticklabels: True
 469         tickcolor: "rgb(238, 238, 238)"
 470         zeroline: False
 471       legend:
 472         orientation: "h"
 473         xanchor: "center"
 474         yanchor: "top"
 475         x: 0.5
 476         y: 1
 477         bgcolor: "rgba(255, 255, 255, 0)"
 478         bordercolor: "rgba(255, 255, 255, 0)"
 479       barmode: "group"
 480       bargap: 0.15
 481       bargroupgap: 0.1
 482       autosize: False
 483       margin:
 484           't': 50
 485           'b': 200
 486           'l': 50
 487           'r': 20
 488       showlegend: True
 489       width: 700
 490       height: 1000
 491
 492 -
 493   type: "debug"
 494   general:
 495     input-format: "xml"  # zip or xml
 496     extract: "robot-plugin/output.xml"  # Only for zip
 497   builds:
 498     # The files must be in the directory DIR[WORKING,DATA]
 499     csit-vpp-perf-1801-all:
 500     -
 501       build: 1
 502       file: "{DIR[WORKING,DATA]}/output.xml"
 503     -
 504       build: 2
 505       file: "{DIR[WORKING,DATA]}/output.xml"
 506     -
 507       build: 3
 508       file: "{DIR[WORKING,DATA]}/output.xml"
 509     -
 510       build: 4
 511       file: "{DIR[WORKING,DATA]}/output.xml"
 512
 513 -
 514   type: "static"
 515   src-path: "{DIR[RST]}"
 516   dst-path: "{DIR[WORKING,SRC]}"
 517
 518 -
 519   type: "input"  # Ignored in debug mode
 520   general:
 521     file-name: "robot-plugin.zip"
 522     file-format: ".zip"
 523     download-path: "{job}/{build}/robot/report/*zip*/{filename}"
 524     extract: "robot-plugin/output.xml"
 525   builds:
 526 #    csit-vpp-perf-1707-all:
 527 #    - 9
 528 #    - 10
 529 #    - 13
 530 #    - 14
 531 #    - 15
 532 #    - 16
 533 #    - 17
 534 #    - 18
 535 #    - 19
 536 #    - 21
 537     csit-vpp-perf-1710-all:
 538     - 11
 539     - 12
 540     - 13
 541     - 14
 542     - 15
 543     - 16
 544     - 17
 545     - 18
 546     - 19
 547     - 20
 548 # TODO:
 549     csit-vpp-perf-1801-all:
 550     - 122  # full
 551     - 126  # full
 552     - 129  # full
 553     - 140  # full
 554     - 124  # sel
 555     - 127  # sel
 556     - 128  # sel
 557     - 141  # sel
 558     - 142  # sel
 559     - 143  # sel
 560     - 145  # sel
 561     - 146  # sel
 562     - 157  # wrk
 563     - 158  # wrk
 564     - 159  # wrk
 565     - 160  # wrk
 566     - 161  # wrk
 567     - 162  # sel
 568     - 163  # sel
 569     - 164  # wrk
 570     - 165  # wrk
 571     - 166  # wrk
 572 #    - 167  # sel
 573 #    - 168  # sel
 574     - 169  # wrk
 575     - 170  # wrk
 576     csit-ligato-perf-1710-all:
 577     - 5
 578     - 7
 579     - 8
 580     - 9
 581     - 10
 582     - 11
 583     - 12
 584     - 13
 585     - 16
 586     - 17
 587     csit-dpdk-perf-1801-all:
 588     - 1
 589     - 4
 590     - 5
 591     - 7
 592     - 8
 593     - 10
 594     - 12
 595     - 16
 596     - 17
 597 # TODO:
 598     csit-ligato-perf-1801-all:
 599     - 16  # sel
 600     - 17  # sel
 601     - 18  # sel
 602     - 19  # sel
 603     - 20  # sel
 604     - 21  # sel
 605     - 22  # sel
 606     - 23  # sel
 607     - 24  # sel
 608     - 25  # full
 609     csit-dpdk-perf-1801-all:
 610     - 1
 611     - 3
 612     - 4
 613     - 5
 614     - 6
 615     - 7
 616     - 8
 617     - 9
 618     - 10
 619     - 12
 620     csit-vpp-functional-1801-ubuntu1604-virl:
 621     - lastSuccessfulBuild
 622     csit-nsh_sfc-verify-func-1801-ubuntu1604-virl:
 623     - 1
 624     csit-hc2vpp-verify-func-1801-ubuntu1604:
 625     - lastSuccessfulBuild
 626
 627 -
 628   type: "output"
 629   format:
 630     html:
 631     - full
 632     pdf:
 633     - minimal
 634
 635 ################################################################################
 636 ###                               T A B L E S                                ###
 637 ################################################################################
 638
 639 #-
 640 #  type: "table"
 641 #  title: "Performance Impact of Meltdown Patches"
 642 #  algorithm: "table_performance_comparison"
 643 #  output-file-ext: ".csv"
 644 ## TODO: specify dir
 645 #  output-file: "{DIR[STATIC,VPP]}/meltdown-impact"
 646 #  reference:
 647 #    title: "No Meltdown"
 648 ## TODO: specify data sources
 649 #    data:
 650 #      csit-vpp-perf-1707-all:
 651 #      - 9
 652 #      - 10
 653 #      - 13
 654 #  compare:
 655 #    title: "Meltdown Patches Applied"
 656 ## TODO: specify data sources
 657 #    data:
 658 #      csit-vpp-perf-1710-all:
 659 #      - 11
 660 #      - 12
 661 #      - 13
 662 #  data:
 663 #    "vpp-meltdown-impact"
 664 #  filter: "all"
 665 #  parameters:
 666 #  - "name"
 667 #  - "parent"
 668 #  - "throughput"
 669 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
 670 #  # to present all tests.
 671 #  nr-of-tests-shown: 20
 672 #
 673 #-
 674 #  type: "table"
 675 #  title: "Performance Impact of Spectre Patches"
 676 #  algorithm: "table_performance_comparison"
 677 #  output-file-ext: ".csv"
 678 ## TODO: specify dir
 679 #  output-file: "{DIR[STATIC,VPP]}/meltdown-spectre-impact"
 680 #  reference:
 681 #    title: "No Spectre"
 682 ## TODO: specify data sources
 683 #    data:
 684 #      csit-vpp-perf-1707-all:
 685 #      - 9
 686 #      - 10
 687 #      - 13
 688 #  compare:
 689 #    title: "Spectre Patches Applied"
 690 ## TODO: specify data sources
 691 #    data:
 692 #      csit-vpp-perf-1710-all:
 693 #      - 11
 694 #      - 12
 695 #      - 13
 696 #  data:
 697 #    "vpp-spectre-impact"
 698 #  filter: "all"
 699 #  parameters:
 700 #  - "name"
 701 #  - "parent"
 702 #  - "throughput"
 703 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
 704 #  # to present all tests.
 705 #  nr-of-tests-shown: 20
 706
 707 -
 708   type: "table"
 709   title: "VPP Performance Changes"
 710   algorithm: "table_performance_comparison"
 711   output-file-ext: ".csv"
 712 # TODO: specify dir
 713   output-file: "{DIR[STATIC,VPP]}/performance-changes"
 714   reference:
 715     title: "Release 1710"
 716 # TODO: specify data sources
 717     data:
 718       csit-vpp-perf-1710-all:
 719       - 11
 720       - 12
 721       - 13
 722       - 14
 723       - 15
 724       - 16
 725       - 17
 726       - 18
 727       - 19
 728       - 20
 729   compare:
 730     title: "Release 1801"
 731 # TODO: specify data sources
 732     data:
 733       csit-vpp-perf-1801-all:
 734       - 124  # sel
 735       - 127  # sel
 736       - 128  # sel
 737       - 141  # sel
 738       - 142  # sel
 739       - 143  # sel
 740       - 145  # sel
 741       - 146  # sel
 742   data: "vpp-performance-changes"
 743   filter: "all"
 744   parameters:
 745   - "name"
 746   - "parent"
 747   - "throughput"
 748   # Number of the best and the worst tests presented in the table. Use 0 (zero)
 749   # to present all tests.
 750   nr-of-tests-shown: 20
 751   outlier-const: 1.5
 752
 753 #-
 754 #  type: "table"
 755 #  title: "Performance improvements"
 756 #  algorithm: "table_performance_improvements"
 757 #  template: "{DIR[DTR,PERF,VPP,IMPRV]}/tmpl_performance_improvements.csv"
 758 #  output-file-ext: ".csv"
 759 #  output-file: "{DIR[DTR,PERF,VPP,IMPRV]}/performance_improvements"
 760 #  columns:
 761 #  -
 762 #    title: "Test Name"
 763 #    data: "template 1"
 764 #  -
 765 #    title: "16.09 mean [Mpps]"
 766 #    data: "template 2"
 767 #  -
 768 #    title: "17.01 mean [Mpps]"
 769 #    data: "template 3"
 770 #  -
 771 #    title: "17.04 mean [Mpps]"
 772 #    data: "template 4"
 773 #  -
 774 #    title: "17.07 mean [Mpps]"
 775 #    data: "data csit-vpp-perf-1707-all mean"
 776 #  -
 777 #    title: "17.10 mean [Mpps]"
 778 #    data: "data csit-vpp-perf-1710-all csit-ligato-perf-1710-all mean"
 779 #  -
 780 #    title: "18.01 mean [Mpps]"
 781 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all mean"
 782 #  -
 783 #    title: "18.01 stdev [Mpps]"
 784 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all stdev"
 785 #  -
 786 #    title: "17.10 to 18.01 change [%]"
 787 #    data: "operation relative_change 5 6"
 788 #  rows: "generated"
 789 #  data:
 790 #    "performance-improvements"
 791 #  filter: "template"
 792 #  parameters:
 793 #  - "throughput"
 794
 795 -
 796   type: "table"
 797   title: "Detailed Test Results - VPP Performance Results"
 798   algorithm: "table_merged_details"
 799   output-file-ext: ".csv"
 800   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
 801   columns:
 802   -
 803     title: "Name"
 804     data: "data name"
 805   -
 806     title: "Documentation"
 807     data: "data doc"
 808   -
 809     title: "Status"
 810     data: "data msg"
 811   rows: "generated"
 812   data:
 813     "vpp-perf-results"
 814   filter: "not 'NDRCHK' and not 'PDRCHK'"
 815   parameters:
 816   - "name"
 817   - "parent"
 818   - "doc"
 819   - "msg"
 820
 821 -
 822   type: "table"
 823   title: "Test configuration - VPP Performance Test Configs"
 824   algorithm: "table_merged_details"
 825   output-file-ext: ".csv"
 826   output-file: "{DIR[DTC,PERF,VPP]}/vpp_test_configuration"
 827   columns:
 828   -
 829     title: "Name"
 830     data: "data name"
 831   -
 832     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
 833     data: "data vat-history"
 834   rows: "generated"
 835   data:
 836     "vpp-perf-results"
 837   filter: "not 'NDRCHK' and not 'PDRCHK'"
 838   parameters:
 839   - "parent"
 840   - "name"
 841   - "vat-history"
 842
 843 -
 844   type: "table"
 845   title: "Test Operational Data - VPP Performance Operational Data"
 846   algorithm: "table_merged_details"
 847   output-file-ext: ".csv"
 848   output-file: "{DIR[DTO,PERF,VPP]}/vpp_test_operational"
 849   columns:
 850   -
 851     title: "Name"
 852     data: "data name"
 853   -
 854     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
 855     data: "data show-run"
 856   rows: "generated"
 857   data:
 858     "vpp-perf-results"
 859   filter: "not 'NDRCHK' and not 'PDRCHK'"
 860   parameters:
 861   - "parent"
 862   - "name"
 863   - "show-run"
 864
 865 -
 866   type: "table"
 867   title: "Detailed Test Results - VPP Functional Results"
 868   algorithm: "table_details"
 869   output-file-ext: ".csv"
 870   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
 871   columns:
 872   -
 873     title: "Name"
 874     data: "data name"
 875   -
 876     title: "Documentation"
 877     data: "data doc"
 878   -
 879     title: "Status"
 880     data: "data status"
 881   rows: "generated"
 882   data:
 883     "vpp-func-results"
 884   filter: "all"
 885   parameters:
 886   - "name"
 887   - "parent"
 888   - "doc"
 889   - "status"
 890
 891 -
 892   type: "table"
 893   title: "Test configuration - VPP Functional Test Configs"
 894   algorithm: "table_details"
 895   output-file-ext: ".csv"
 896   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
 897   columns:
 898   -
 899     title: "Name"
 900     data: "data name"
 901   -
 902     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
 903     data: "data vat-history"
 904   rows: "generated"
 905   data:
 906     "vpp-func-results"
 907   filter: "all"
 908   parameters:
 909   - "parent"
 910   - "name"
 911   - "vat-history"
 912
 913 -
 914   type: "table"
 915   title: "Detailed Test Results - Container Orchestrated Topologies Performance Results"
 916   algorithm: "table_details"
 917   output-file-ext: ".csv"
 918   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
 919   columns:
 920   -
 921     title: "Name"
 922     data: "data name"
 923   -
 924     title: "Documentation"
 925     data: "data doc"
 926   -
 927     title: "Status"
 928     data: "data msg"
 929   rows: "generated"
 930   data:
 931     "ligato-perf-results"
 932   filter: "all"
 933   parameters:
 934   - "name"
 935   - "parent"
 936   - "doc"
 937   - "msg"
 938
 939 -
 940   type: "table"
 941   title: "Detailed Test Results - DPDK Performance Results"
 942   algorithm: "table_details"
 943   output-file-ext: ".csv"
 944   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
 945   columns:
 946   -
 947     title: "Name"
 948     data: "data name"
 949   -
 950     title: "Documentation"
 951     data: "data doc"
 952   -
 953     title: "Status"
 954     data: "data msg"
 955   rows: "generated"
 956   data:
 957     "dpdk-perf-results"
 958   filter: "all"
 959   parameters:
 960   - "name"
 961   - "parent"
 962   - "doc"
 963   - "msg"
 964
 965 -
 966   type: "table"
 967   title: "Detailed Test Results - Honeycomb Functional Results"
 968   algorithm: "table_details"
 969   output-file-ext: ".csv"
 970   output-file: "{DIR[DTR,FUNC,HC]}/hc_functional_results"
 971   columns:
 972   -
 973     title: "Name"
 974     data: "data name"
 975   -
 976     title: "Documentation"
 977     data: "data doc"
 978   -
 979     title: "Status"
 980     data: "data status"
 981   rows: "generated"
 982   data:
 983     "hc-func-results"
 984   filter: "all"
 985   parameters:
 986   - "name"
 987   - "parent"
 988   - "doc"
 989   - "status"
 990
 991 -
 992   type: "table"
 993   title: "Detailed Test Results - NSH SFC Functional Results"
 994   algorithm: "table_details"
 995   output-file-ext: ".csv"
 996   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nsh_sfc_functional_results"
 997   columns:
 998   -
 999     title: "Name"
1000     data: "data name"
1001   -
1002     title: "Documentation"
1003     data: "data doc"
1004   -
1005     title: "Status"
1006     data: "data status"
1007   rows: "generated"
1008   data:
1009     "nsh-func-results"
1010   filter: "all"
1011   parameters:
1012   - "name"
1013   - "parent"
1014   - "doc"
1015   - "status"
1016
1017 ################################################################################
1018 ###                                F I L E S                                 ###
1019 ################################################################################
1020
1021 -
1022   type: "file"
1023   title: "VPP Performance Results"
1024   algorithm: "file_merged_test_results"
1025   output-file-ext: ".rst"
1026   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
1027   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1028   dir-tables: "{DIR[DTR,PERF,VPP]}"
1029   data:
1030     "vpp-perf-results"
1031   filter: "not 'NDRCHK' and not 'PDRCHK'"
1032   parameters:
1033   - "name"
1034   - "doc"
1035   - "level"
1036   - "parent"
1037   data-start-level: 3  # 0, 1, 2, ...
1038   chapters-start-level: 2  # 0, 1, 2, ...
1039
1040 -
1041   type: "file"
1042   title: "VPP Performance Configuration"
1043   algorithm: "file_merged_test_results"
1044   output-file-ext: ".rst"
1045   output-file: "{DIR[DTC,PERF,VPP]}/vpp_performance_configuration"
1046   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1047   dir-tables: "{DIR[DTC,PERF,VPP]}"
1048   data:
1049     "vpp-perf-results"
1050   filter: "not 'NDRCHK' and not 'PDRCHK'"
1051   parameters:
1052   - "name"
1053   - "doc"
1054   - "level"
1055   - "parent"
1056   data-start-level: 3  # 0, 1, 2, ...
1057   chapters-start-level: 2  # 0, 1, 2, ...
1058
1059 -
1060   type: "file"
1061   title: "VPP Performance Operational Data"
1062   algorithm: "file_merged_test_results"
1063   output-file-ext: ".rst"
1064   output-file: "{DIR[DTO,PERF,VPP]}/vpp_performance_operational_data"
1065   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1066   dir-tables: "{DIR[DTO,PERF,VPP]}"
1067   data:
1068     "vpp-perf-results"
1069   filter: "not 'NDRCHK' and not 'PDRCHK'"
1070   parameters:
1071   - "name"
1072   - "doc"
1073   - "level"
1074   - "parent"
1075   data-start-level: 3  # 0, 1, 2, ...
1076   chapters-start-level: 2  # 0, 1, 2, ...
1077
1078 -
1079   type: "file"
1080   title: "VPP Functional Results"
1081   algorithm: "file_test_results"
1082   output-file-ext: ".rst"
1083   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
1084   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1085   dir-tables: "{DIR[DTR,FUNC,VPP]}"
1086   data:
1087     "vpp-func-results"
1088   filter: "all"
1089   parameters:
1090   - "name"
1091   - "doc"
1092   - "level"
1093   data-start-level: 3  # 0, 1, 2, ...
1094   chapters-start-level: 2  # 0, 1, 2, ...
1095
1096 -
1097   type: "file"
1098   title: "VPP Functional Configuration"
1099   algorithm: "file_test_results"
1100   output-file-ext: ".rst"
1101   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
1102   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1103   dir-tables: "{DIR[DTC,FUNC,VPP]}"
1104   data:
1105     "vpp-func-results"
1106   filter: "all"
1107   parameters:
1108   - "name"
1109   - "doc"
1110   - "level"
1111   data-start-level: 3  # 0, 1, 2, ...
1112   chapters-start-level: 2  # 0, 1, 2, ...
1113
1114 -
1115   type: "file"
1116   title: "Container Orchestrated Performance Results"
1117   algorithm: "file_test_results"
1118   output-file-ext: ".rst"
1119   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
1120   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1121   dir-tables: "{DIR[DTR,PERF,COT]}"
1122   data:
1123     "ligato-perf-results"
1124   filter: "all"
1125   parameters:
1126   - "name"
1127   - "doc"
1128   - "level"
1129   data-start-level: 2  # 0, 1, 2, ...
1130   chapters-start-level: 2  # 0, 1, 2, ...
1131
1132 -
1133   type: "file"
1134   title: "DPDK Performance Results"
1135   algorithm: "file_test_results"
1136   output-file-ext: ".rst"
1137   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
1138   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1139   dir-tables: "{DIR[DTR,PERF,DPDK]}"
1140   data:
1141     "dpdk-perf-results"
1142   filter: "all"
1143   parameters:
1144   - "name"
1145   - "doc"
1146   - "level"
1147   chapters:
1148   - "suites"
1149   data-start-level: 2  # 0, 1, 2, ...
1150   chapters-start-level: 2  # 0, 1, 2, ...
1151
1152 -
1153   type: "file"
1154   title: "Honeycomb Functional Results"
1155   algorithm: "file_test_results"
1156   output-file-ext: ".rst"
1157   output-file: "{DIR[DTR,FUNC,HC]}/honeycomb_functional_results"
1158   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1159   dir-tables: "{DIR[DTR,FUNC,HC]}"
1160   data:
1161     "hc-func-results"
1162   filter: "all"
1163   parameters:
1164   - "name"
1165   - "doc"
1166   - "level"
1167   chapters:
1168   - "suites"
1169   data-start-level: 3  # 0, 1, 2, ...
1170   chapters-start-level: 2  # 0, 1, 2, ...
1171
1172 -
1173   type: "file"
1174   title: "NSH SFC Functional Results"
1175   algorithm: "file_test_results"
1176   output-file-ext: ".rst"
1177   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nshsfc_functional_results"
1178   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1179   dir-tables: "{DIR[DTR,FUNC,NSHSFC]}"
1180   data:
1181     "nsh-func-results"
1182   filter: "all"
1183   parameters:
1184   - "name"
1185   - "doc"
1186   - "level"
1187   chapters:
1188   - "suites"
1189   data-start-level: 2  # 0, 1, 2, ...
1190   chapters-start-level: 2  # 0, 1, 2, ...
1191
1192 ################################################################################
1193 ###                                P L O T S                                 ###
1194 ################################################################################
1195
1196 # Plots VPP HTTP Server Performance
1197 -
1198   type: "plot"
1199   title: "VPP HTTP Server Performance"
1200   algorithm: "plot_http_server_performance_box"
1201   output-file-type: ".html"
1202   output-file: "{DIR[STATIC,VPP]}/http-server-performance-cps"
1203   data:
1204     "plot-vpp-http-server-performance"
1205   # Keep this formatting, the filter is enclosed with " (quotation mark) and
1206   # each tag is enclosed with ' (apostrophe).
1207   filter: "'HTTP' and 'TCP_CPS'"
1208   parameters:
1209   - "result"
1210   - "name"
1211   traces:
1212     hoverinfo: "x+y"
1213     boxpoints: "outliers"
1214     whiskerwidth: 0
1215   layout:
1216     title: "VPP HTTP Server Performance"
1217     layout:
1218       "plot-cps"
1219
1220 -
1221   type: "plot"
1222   title: "VPP HTTP Server Performance"
1223   algorithm: "plot_http_server_performance_box"
1224   output-file-type: ".html"
1225   output-file: "{DIR[STATIC,VPP]}/http-server-performance-rps"
1226   data:
1227     "plot-vpp-http-server-performance"
1228   filter: "'HTTP' and 'TCP_RPS'"
1229   parameters:
1230   - "result"
1231   - "name"
1232   traces:
1233     hoverinfo: "x+y"
1234     boxpoints: "outliers"
1235     whiskerwidth: 0
1236   layout:
1237     title: "VPP HTTP Server Performance"
1238     layout:
1239       "plot-rps"
1240
1241 # Plot Throughput Speedup Analysis
1242
1243 # L2 - 10ge2p1x520 - NDR
1244 -
1245   type: "plot"
1246   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1247   algorithm: "plot_throughput_speedup_analysis"
1248   output-file-type: ".html"
1249   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-ndrdisc"
1250   data:
1251     "plot-throughput-speedup-analysis"
1252   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1253   parameters:
1254   - "throughput"
1255   - "parent"
1256   - "tags"
1257   layout:
1258     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1259     layout:
1260       "plot-throughput-speedup-analysis"
1261
1262 # L2 - 40ge2p1xl710 - NDR
1263 -
1264   type: "plot"
1265   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1266   algorithm: "plot_throughput_speedup_analysis"
1267   output-file-type: ".html"
1268   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-l2-tsa-ndrdisc"
1269   data:
1270     "plot-throughput-speedup-analysis"
1271   filter: "'NIC_Intel-XL710' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1272   parameters:
1273   - "throughput"
1274   - "parent"
1275   - "tags"
1276   layout:
1277     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1278     layout:
1279       "plot-throughput-speedup-analysis"
1280
1281 # L2 - 10ge2p1x520 - PDR
1282 -
1283   type: "plot"
1284   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1285   algorithm: "plot_throughput_speedup_analysis"
1286   output-file-type: ".html"
1287   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-pdrdisc"
1288   data:
1289     "plot-throughput-speedup-analysis"
1290   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1291   parameters:
1292   - "throughput"
1293   - "parent"
1294   - "tags"
1295   layout:
1296     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1297     layout:
1298       "plot-throughput-speedup-analysis"
1299
1300 # IPv4 - 10ge2p1x520 - NDR
1301 -
1302   type: "plot"
1303   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1304   algorithm: "plot_throughput_speedup_analysis"
1305   output-file-type: ".html"
1306   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-ndrdisc"
1307   data:
1308     "plot-throughput-speedup-analysis"
1309   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1310   parameters:
1311   - "throughput"
1312   - "parent"
1313   - "tags"
1314   layout:
1315     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1316     layout:
1317       "plot-throughput-speedup-analysis"
1318
1319 # IPv4 - 40ge2p1xl710 - NDR
1320 -
1321   type: "plot"
1322   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1323   algorithm: "plot_throughput_speedup_analysis"
1324   output-file-type: ".html"
1325   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-ip4-tsa-ndrdisc"
1326   data:
1327     "plot-throughput-speedup-analysis"
1328   filter: "'NIC_Intel-XL710' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1329   parameters:
1330   - "throughput"
1331   - "parent"
1332   - "tags"
1333   layout:
1334     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1335     layout:
1336       "plot-throughput-speedup-analysis"
1337
1338 # IPv4 - 10ge2p1x520 - PDR
1339 -
1340   type: "plot"
1341   title: "TSA: 64B-*-ethip4-ip4(base|scale)*pdrdisc"
1342   algorithm: "plot_throughput_speedup_analysis"
1343   output-file-type: ".html"
1344   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-pdrdisc"
1345   data:
1346     "plot-throughput-speedup-analysis"
1347   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1348   parameters:
1349   - "throughput"
1350   - "parent"
1351   - "tags"
1352   layout:
1353     title: "64B-*-ethip4-ip4(base|scale)*pdrdisc"
1354     layout:
1355       "plot-throughput-speedup-analysis"
1356
1357 # IPv6 - 10ge2p1x520 - NDR
1358 -
1359   type: "plot"
1360   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1361   algorithm: "plot_throughput_speedup_analysis"
1362   output-file-type: ".html"
1363   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-ndrdisc"
1364   data:
1365     "plot-throughput-speedup-analysis"
1366   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1367   parameters:
1368   - "throughput"
1369   - "parent"
1370   - "tags"
1371   layout:
1372     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1373     layout:
1374       "plot-throughput-speedup-analysis"
1375
1376 # IPv6 - 40ge2p1xl710 - NDR
1377 -
1378   type: "plot"
1379   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1380   algorithm: "plot_throughput_speedup_analysis"
1381   output-file-type: ".html"
1382   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-78B-ip6-tsa-ndrdisc"
1383   data:
1384     "plot-throughput-speedup-analysis"
1385   filter: "'NIC_Intel-XL710' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1386   parameters:
1387   - "throughput"
1388   - "parent"
1389   - "tags"
1390   layout:
1391     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1392     layout:
1393       "plot-throughput-speedup-analysis"
1394
1395 # IPv6 - 10ge2p1x520 - PDR
1396 -
1397   type: "plot"
1398   title: "TSA: 78B-*-ethip6-ip6(base|scale)*pdrdisc"
1399   algorithm: "plot_throughput_speedup_analysis"
1400   output-file-type: ".html"
1401   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-pdrdisc"
1402   data:
1403     "plot-throughput-speedup-analysis"
1404   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST'"
1405   parameters:
1406   - "throughput"
1407   - "parent"
1408   - "tags"
1409   layout:
1410     title: "78B-*-ethip6-ip6(base|scale)*pdrdisc"
1411     layout:
1412       "plot-throughput-speedup-analysis"
1413
1414 # Plot packets per second
1415
1416 # VPP L2 sel1
1417 -
1418   type: "plot"
1419   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1420   algorithm: "plot_performance_box"
1421   output-file-type: ".html"
1422   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc"
1423   data:
1424     "plot-vpp-throughput-latency"
1425   # Keep this formatting, the filter is enclosed with " (quotation mark) and
1426   # each tag is enclosed with ' (apostrophe).
1427   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1428   parameters:
1429   - "throughput"
1430   - "parent"
1431   traces:
1432     hoverinfo: "x+y"
1433     boxpoints: "outliers"
1434     whiskerwidth: 0
1435   layout:
1436     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1437     layout:
1438       "plot-throughput"
1439
1440 -
1441   type: "plot"
1442   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1443   algorithm: "plot_performance_box"
1444   output-file-type: ".html"
1445   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc"
1446   data:
1447     "plot-vpp-throughput-latency"
1448   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1449   parameters:
1450   - "throughput"
1451   - "parent"
1452   traces:
1453     hoverinfo: "x+y"
1454     boxpoints: "outliers"
1455     whiskerwidth: 0
1456   layout:
1457     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1458     layout:
1459       "plot-throughput"
1460
1461 -
1462   type: "plot"
1463   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1464   algorithm: "plot_performance_box"
1465   output-file-type: ".html"
1466   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-pdrdisc"
1467   data:
1468     "plot-vpp-throughput-latency"
1469   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1470   parameters:
1471   - "throughput"
1472   - "parent"
1473   traces:
1474     hoverinfo: "x+y"
1475     boxpoints: "outliers"
1476     whiskerwidth: 0
1477   layout:
1478     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1479     layout:
1480       "plot-throughput"
1481
1482 -
1483   type: "plot"
1484   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1485   algorithm: "plot_performance_box"
1486   output-file-type: ".html"
1487   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-pdrdisc"
1488   data:
1489     "plot-vpp-throughput-latency"
1490   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1491   parameters:
1492   - "throughput"
1493   - "parent"
1494   traces:
1495     hoverinfo: "x+y"
1496     boxpoints: "outliers"
1497     whiskerwidth: 0
1498   layout:
1499     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1500     layout:
1501       "plot-throughput"
1502
1503 # VPP L2 sel2
1504 -
1505   type: "plot"
1506   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1507   algorithm: "plot_performance_box"
1508   output-file-type: ".html"
1509   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc"
1510   data:
1511     "plot-vpp-throughput-latency"
1512   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1513   parameters:
1514   - "throughput"
1515   - "parent"
1516   traces:
1517     hoverinfo: "x+y"
1518     boxpoints: "outliers"
1519     whiskerwidth: 0
1520   layout:
1521     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1522     layout:
1523       "plot-throughput"
1524
1525 -
1526   type: "plot"
1527   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1528   algorithm: "plot_performance_box"
1529   output-file-type: ".html"
1530   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc"
1531   data:
1532     "plot-vpp-throughput-latency"
1533   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1534   parameters:
1535   - "throughput"
1536   - "parent"
1537   traces:
1538     hoverinfo: "x+y"
1539     boxpoints: "outliers"
1540     whiskerwidth: 0
1541   layout:
1542     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1543     layout:
1544       "plot-throughput"
1545
1546 -
1547   type: "plot"
1548   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1549   algorithm: "plot_performance_box"
1550   output-file-type: ".html"
1551   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-pdrdisc"
1552   data:
1553     "plot-vpp-throughput-latency"
1554   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1555   parameters:
1556   - "throughput"
1557   - "parent"
1558   traces:
1559     hoverinfo: "x+y"
1560     boxpoints: "outliers"
1561     whiskerwidth: 0
1562   layout:
1563     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1564     layout:
1565       "plot-throughput"
1566
1567 -
1568   type: "plot"
1569   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1570   algorithm: "plot_performance_box"
1571   output-file-type: ".html"
1572   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-pdrdisc"
1573   data:
1574     "plot-vpp-throughput-latency"
1575   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1576   parameters:
1577   - "throughput"
1578   - "parent"
1579   traces:
1580     hoverinfo: "x+y"
1581     boxpoints: "outliers"
1582     whiskerwidth: 0
1583   layout:
1584     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1585     layout:
1586       "plot-throughput"
1587
1588 # VPP IP4
1589 -
1590   type: "plot"
1591   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1592   algorithm: "plot_performance_box"
1593   output-file-type: ".html"
1594   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc"
1595   data:
1596     "plot-vpp-throughput-latency"
1597   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1598   parameters:
1599   - "throughput"
1600   - "parent"
1601   traces:
1602     hoverinfo: "x+y"
1603     boxpoints: "outliers"
1604     whiskerwidth: 0
1605   layout:
1606     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1607     layout:
1608       "plot-throughput"
1609
1610 -
1611   type: "plot"
1612   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1613   algorithm: "plot_performance_box"
1614   output-file-type: ".html"
1615   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc"
1616   data:
1617     "plot-vpp-throughput-latency"
1618   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1619   parameters:
1620   - "throughput"
1621   - "parent"
1622   traces:
1623     hoverinfo: "x+y"
1624     boxpoints: "outliers"
1625     whiskerwidth: 0
1626   layout:
1627     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1628     layout:
1629       "plot-throughput"
1630
1631 -
1632   type: "plot"
1633   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1634   algorithm: "plot_performance_box"
1635   output-file-type: ".html"
1636   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-pdrdisc"
1637   data:
1638     "plot-vpp-throughput-latency"
1639   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1640   parameters:
1641   - "throughput"
1642   - "parent"
1643   traces:
1644     hoverinfo: "x+y"
1645     boxpoints: "outliers"
1646     whiskerwidth: 0
1647   layout:
1648     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1649     layout:
1650       "plot-throughput"
1651
1652 -
1653   type: "plot"
1654   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1655   algorithm: "plot_performance_box"
1656   output-file-type: ".html"
1657   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-pdrdisc"
1658   data:
1659     "plot-vpp-throughput-latency"
1660   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1661   parameters:
1662   - "throughput"
1663   - "parent"
1664   traces:
1665     hoverinfo: "x+y"
1666     boxpoints: "outliers"
1667     whiskerwidth: 0
1668   layout:
1669     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1670     layout:
1671       "plot-throughput"
1672
1673 # VPP IP6
1674 -
1675   type: "plot"
1676   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1677   algorithm: "plot_performance_box"
1678   output-file-type: ".html"
1679   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc"
1680   data:
1681     "plot-vpp-throughput-latency"
1682   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1683   parameters:
1684   - "throughput"
1685   - "parent"
1686   traces:
1687     hoverinfo: "x+y"
1688     boxpoints: "outliers"
1689     whiskerwidth: 0
1690   layout:
1691     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1692     layout:
1693       "plot-throughput"
1694
1695 -
1696   type: "plot"
1697   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1698   algorithm: "plot_performance_box"
1699   output-file-type: ".html"
1700   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc"
1701   data:
1702     "plot-vpp-throughput-latency"
1703   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1704   parameters:
1705   - "throughput"
1706   - "parent"
1707   traces:
1708     hoverinfo: "x+y"
1709     boxpoints: "outliers"
1710     whiskerwidth: 0
1711   layout:
1712     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1713     layout:
1714       "plot-throughput"
1715
1716 -
1717   type: "plot"
1718   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1719   algorithm: "plot_performance_box"
1720   output-file-type: ".html"
1721   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-pdrdisc"
1722   data:
1723     "plot-vpp-throughput-latency"
1724   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1725   parameters:
1726   - "throughput"
1727   - "parent"
1728   traces:
1729     hoverinfo: "x+y"
1730     boxpoints: "outliers"
1731     whiskerwidth: 0
1732   layout:
1733     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1734     layout:
1735       "plot-throughput"
1736
1737 -
1738   type: "plot"
1739   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1740   algorithm: "plot_performance_box"
1741   output-file-type: ".html"
1742   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-pdrdisc"
1743   data:
1744     "plot-vpp-throughput-latency"
1745   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1746   parameters:
1747   - "throughput"
1748   - "parent"
1749   traces:
1750     hoverinfo: "x+y"
1751     boxpoints: "outliers"
1752     whiskerwidth: 0
1753   layout:
1754     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1755     layout:
1756       "plot-throughput"
1757
1758 # VPP IP4_overlay
1759 -
1760   type: "plot"
1761   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1762   algorithm: "plot_performance_box"
1763   output-file-type: ".html"
1764   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc"
1765   data:
1766     "plot-vpp-throughput-latency"
1767   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1768   parameters:
1769   - "throughput"
1770   - "parent"
1771   traces:
1772     hoverinfo: "x+y"
1773     boxpoints: "outliers"
1774     whiskerwidth: 0
1775   layout:
1776     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1777     layout:
1778       "plot-throughput"
1779
1780 -
1781   type: "plot"
1782   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1783   algorithm: "plot_performance_box"
1784   output-file-type: ".html"
1785   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc"
1786   data:
1787     "plot-vpp-throughput-latency"
1788   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1789   parameters:
1790   - "throughput"
1791   - "parent"
1792   traces:
1793     hoverinfo: "x+y"
1794     boxpoints: "outliers"
1795     whiskerwidth: 0
1796   layout:
1797     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1798     layout:
1799       "plot-throughput"
1800
1801 -
1802   type: "plot"
1803   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1804   algorithm: "plot_performance_box"
1805   output-file-type: ".html"
1806   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-pdrdisc"
1807   data:
1808     "plot-vpp-throughput-latency"
1809   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1810   parameters:
1811   - "throughput"
1812   - "parent"
1813   traces:
1814     hoverinfo: "x+y"
1815     boxpoints: "outliers"
1816     whiskerwidth: 0
1817   layout:
1818     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1819     layout:
1820       "plot-throughput"
1821
1822 -
1823   type: "plot"
1824   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1825   algorithm: "plot_performance_box"
1826   output-file-type: ".html"
1827   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-pdrdisc"
1828   data:
1829     "plot-vpp-throughput-latency"
1830   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1831   parameters:
1832   - "throughput"
1833   - "parent"
1834   traces:
1835     hoverinfo: "x+y"
1836     boxpoints: "outliers"
1837     whiskerwidth: 0
1838   layout:
1839     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1840     layout:
1841       "plot-throughput"
1842
1843 # VPP IP6_overlay
1844 -
1845   type: "plot"
1846   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1847   algorithm: "plot_performance_box"
1848   output-file-type: ".html"
1849   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc"
1850   data:
1851     "plot-vpp-throughput-latency"
1852   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1853   parameters:
1854   - "throughput"
1855   - "parent"
1856   traces:
1857     hoverinfo: "x+y"
1858     boxpoints: "outliers"
1859     whiskerwidth: 0
1860   layout:
1861     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1862     xaxis:
1863       autorange: True
1864       autotick: False
1865       fixedrange: False
1866       gridcolor: "rgb(238, 238, 238)"
1867       linecolor: "rgb(238, 238, 238)"
1868       linewidth: 1
1869       showgrid: True
1870       showline: True
1871       showticklabels: True
1872       tickcolor: "rgb(238, 238, 238)"
1873       tickmode: "linear"
1874       title: "Indexed Test Cases"
1875       zeroline: False
1876     yaxis:
1877       gridcolor: "rgb(238, 238, 238)'"
1878       hoverformat: ".4s"
1879       linecolor: "rgb(238, 238, 238)"
1880       linewidth: 1
1881       range: [2000000, 6000000]
1882       showgrid: True
1883       showline: True
1884       showticklabels: True
1885       tickcolor: "rgb(238, 238, 238)"
1886       title: "Packets Per Second [pps]"
1887       zeroline: False
1888     boxmode: "group"
1889     boxgroupgap: 0.5
1890     autosize: False
1891     margin:
1892       t: 50
1893       b: 20
1894       l: 50
1895       r: 20
1896     showlegend: True
1897     legend:
1898       orientation: "h"
1899     width: 700
1900     height: 1000
1901
1902 -
1903   type: "plot"
1904   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1905   algorithm: "plot_performance_box"
1906   output-file-type: ".html"
1907   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc"
1908   data:
1909     "plot-vpp-throughput-latency"
1910   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1911   parameters:
1912   - "throughput"
1913   - "parent"
1914   traces:
1915     hoverinfo: "x+y"
1916     boxpoints: "outliers"
1917     whiskerwidth: 0
1918   layout:
1919     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1920     layout:
1921       "plot-throughput"
1922
1923 -
1924   type: "plot"
1925   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1926   algorithm: "plot_performance_box"
1927   output-file-type: ".html"
1928   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-pdrdisc"
1929   data:
1930     "plot-vpp-throughput-latency"
1931   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1932   parameters:
1933   - "throughput"
1934   - "parent"
1935   traces:
1936     hoverinfo: "x+y"
1937     boxpoints: "outliers"
1938     whiskerwidth: 0
1939   layout:
1940     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1941     layout:
1942       "plot-throughput"
1943
1944 -
1945   type: "plot"
1946   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1947   algorithm: "plot_performance_box"
1948   output-file-type: ".html"
1949   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-pdrdisc"
1950   data:
1951     "plot-vpp-throughput-latency"
1952   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1953   parameters:
1954   - "throughput"
1955   - "parent"
1956   traces:
1957     hoverinfo: "x+y"
1958     boxpoints: "outliers"
1959     whiskerwidth: 0
1960   layout:
1961     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1962     xaxis:
1963       autorange: True
1964       autotick: False
1965       fixedrange: False
1966       gridcolor: "rgb(238, 238, 238)"
1967       linecolor: "rgb(238, 238, 238)"
1968       linewidth: 1
1969       showgrid: True
1970       showline: True
1971       showticklabels: True
1972       tickcolor: "rgb(238, 238, 238)"
1973       tickmode: "linear"
1974       title: "Indexed Test Cases"
1975       zeroline: False
1976     yaxis:
1977       gridcolor: "rgb(238, 238, 238)'"
1978       hoverformat: ".4s"
1979       linecolor: "rgb(238, 238, 238)"
1980       linewidth: 1
1981       range: [4000000, 12000000]
1982       showgrid: True
1983       showline: True
1984       showticklabels: True
1985       tickcolor: "rgb(238, 238, 238)"
1986       title: "Packets Per Second [pps]"
1987       zeroline: False
1988     boxmode: "group"
1989     boxgroupgap: 0.5
1990     autosize: False
1991     margin:
1992       t: 50
1993       b: 20
1994       l: 50
1995       r: 20
1996     showlegend: True
1997     legend:
1998       orientation: "h"
1999     width: 700
2000     height: 1000
2001
2002 # VPP VM VHOST
2003 -
2004   type: "plot"
2005   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2006   algorithm: "plot_performance_box"
2007   output-file-type: ".html"
2008   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc"
2009   data:
2010     "plot-vpp-throughput-latency"
2011   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2012   parameters:
2013   - "throughput"
2014   - "parent"
2015   traces:
2016     hoverinfo: "x+y"
2017     boxpoints: "outliers"
2018     whiskerwidth: 0
2019   layout:
2020     title: "64B-1t1c-.*vhost.*-ndrdisc"
2021     xaxis:
2022       autorange: True
2023       autotick: False
2024       fixedrange: False
2025       gridcolor: "rgb(238, 238, 238)"
2026       linecolor: "rgb(238, 238, 238)"
2027       linewidth: 1
2028       showgrid: True
2029       showline: True
2030       showticklabels: True
2031       tickcolor: "rgb(238, 238, 238)"
2032       tickmode: "linear"
2033       title: "Indexed Test Cases"
2034       zeroline: False
2035     yaxis:
2036       gridcolor: "rgb(238, 238, 238)'"
2037       hoverformat: ".4s"
2038       linecolor: "rgb(238, 238, 238)"
2039       linewidth: 1
2040       range: [0, 3500000]
2041       showgrid: True
2042       showline: True
2043       showticklabels: True
2044       tickcolor: "rgb(238, 238, 238)"
2045       title: "Packets Per Second [pps]"
2046       zeroline: False
2047     boxmode: "group"
2048     boxgroupgap: 0.5
2049     autosize: False
2050     margin:
2051       t: 50
2052       b: 20
2053       l: 50
2054       r: 20
2055     showlegend: True
2056     legend:
2057       orientation: "h"
2058     width: 700
2059     height: 1000
2060
2061 -
2062   type: "plot"
2063   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2064   algorithm: "plot_performance_box"
2065   output-file-type: ".html"
2066   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc"
2067   data:
2068     "plot-vpp-throughput-latency"
2069   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2070   parameters:
2071   - "throughput"
2072   - "parent"
2073   traces:
2074     hoverinfo: "x+y"
2075     boxpoints: "outliers"
2076     whiskerwidth: 0
2077   layout:
2078     title: "64B-2t2c-.*vhost.*-ndrdisc"
2079     layout:
2080       "plot-throughput"
2081
2082 -
2083   type: "plot"
2084   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2085   algorithm: "plot_performance_box"
2086   output-file-type: ".html"
2087   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-pdrdisc"
2088   data:
2089     "plot-vpp-throughput-latency"
2090   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2091   parameters:
2092   - "throughput"
2093   - "parent"
2094   traces:
2095     hoverinfo: "x+y"
2096     boxpoints: "outliers"
2097     whiskerwidth: 0
2098   layout:
2099     title: "64B-1t1c-.*vhost.*-pdrdisc"
2100     layout:
2101       "plot-throughput"
2102
2103 -
2104   type: "plot"
2105   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2106   algorithm: "plot_performance_box"
2107   output-file-type: ".html"
2108   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-pdrdisc"
2109   data:
2110     "plot-vpp-throughput-latency"
2111   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2112   parameters:
2113   - "throughput"
2114   - "parent"
2115   traces:
2116     hoverinfo: "x+y"
2117     boxpoints: "outliers"
2118     whiskerwidth: 0
2119   layout:
2120     title: "64B-2t2c-.*vhost.*-pdrdisc"
2121     layout:
2122       "plot-throughput"
2123
2124 # VPP VM VHOST SELECTION
2125 -
2126   type: "plot"
2127   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2128   algorithm: "plot_performance_box"
2129   output-file-type: ".html"
2130   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc"
2131   data:
2132     "plot-vpp-throughput-latency"
2133   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2134   parameters:
2135   - "throughput"
2136   - "parent"
2137   traces:
2138     hoverinfo: "x+y"
2139     boxpoints: "outliers"
2140     whiskerwidth: 0
2141   layout:
2142     title: "64B-1t1c-.*vhost.*-ndrdisc"
2143     layout:
2144       "plot-throughput"
2145
2146 -
2147   type: "plot"
2148   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2149   algorithm: "plot_performance_box"
2150   output-file-type: ".html"
2151   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc"
2152   data:
2153     "plot-vpp-throughput-latency"
2154   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2155   parameters:
2156   - "throughput"
2157   - "parent"
2158   traces:
2159     hoverinfo: "x+y"
2160     boxpoints: "outliers"
2161     whiskerwidth: 0
2162   layout:
2163     title: "64B-2t2c-.*vhost.*-ndrdisc"
2164     layout:
2165       "plot-throughput"
2166
2167 -
2168   type: "plot"
2169   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2170   algorithm: "plot_performance_box"
2171   output-file-type: ".html"
2172   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-pdrdisc"
2173   data:
2174     "plot-vpp-throughput-latency"
2175   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2176   parameters:
2177   - "throughput"
2178   - "parent"
2179   traces:
2180     hoverinfo: "x+y"
2181     boxpoints: "outliers"
2182     whiskerwidth: 0
2183   layout:
2184     title: "64B-1t1c-.*vhost.*-pdrdisc"
2185     layout:
2186       "plot-throughput"
2187
2188 -
2189   type: "plot"
2190   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2191   algorithm: "plot_performance_box"
2192   output-file-type: ".html"
2193   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-pdrdisc"
2194   data:
2195     "plot-vpp-throughput-latency"
2196   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2197   parameters:
2198   - "throughput"
2199   - "parent"
2200   traces:
2201     hoverinfo: "x+y"
2202     boxpoints: "outliers"
2203     whiskerwidth: 0
2204   layout:
2205     title: "64B-2t2c-.*vhost.*-pdrdisc"
2206     layout:
2207       "plot-throughput"
2208
2209 # VPP CRYPTO
2210 -
2211   type: "plot"
2212   title: "VPP Performance 64B-1t1c-.*ipsec.*-ndrdisc"
2213   algorithm: "plot_performance_box"
2214   output-file-type: ".html"
2215   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc"
2216   data:
2217     "plot-vpp-throughput-latency"
2218   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2219   parameters:
2220   - "throughput"
2221   - "parent"
2222   traces:
2223     hoverinfo: "x+y"
2224     boxpoints: "outliers"
2225     whiskerwidth: 0
2226   layout:
2227     title: "64B-1t1c-.*ipsec.*-ndrdisc"
2228     layout:
2229       "plot-throughput"
2230
2231 -
2232   type: "plot"
2233   title: "VPP Performance 64B-2t2c-.*ipsec.*-ndrdisc"
2234   algorithm: "plot_performance_box"
2235   output-file-type: ".html"
2236   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc"
2237   data:
2238     "plot-vpp-throughput-latency"
2239   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2240   parameters:
2241   - "throughput"
2242   - "parent"
2243   traces:
2244     hoverinfo: "x+y"
2245     boxpoints: "outliers"
2246     whiskerwidth: 0
2247   layout:
2248     title: "64B-2t2c-.*ipsec.*-ndrdisc"
2249     layout:
2250       "plot-throughput"
2251
2252 -
2253   type: "plot"
2254   title: "VPP Performance 64B-1t1c-.*ipsec.*-pdrdisc"
2255   algorithm: "plot_performance_box"
2256   output-file-type: ".html"
2257   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-pdrdisc"
2258   data:
2259     "plot-vpp-throughput-latency"
2260   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2261   parameters:
2262   - "throughput"
2263   - "parent"
2264   traces:
2265     hoverinfo: "x+y"
2266     boxpoints: "outliers"
2267     whiskerwidth: 0
2268   layout:
2269     title: "64B-1t1c-.*ipsec.*-pdrdisc"
2270     layout:
2271       "plot-throughput"
2272
2273 -
2274   type: "plot"
2275   title: "VPP Performance 64B-2t2c-.*ipsec.*-pdrdisc"
2276   algorithm: "plot_performance_box"
2277   output-file-type: ".html"
2278   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-pdrdisc"
2279   data:
2280     "plot-vpp-throughput-latency"
2281   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2282   parameters:
2283   - "throughput"
2284   - "parent"
2285   traces:
2286     hoverinfo: "x+y"
2287     boxpoints: "outliers"
2288     whiskerwidth: 0
2289   layout:
2290     title: "64B-2t2c-.*ipsec.*-pdrdisc"
2291     layout:
2292       "plot-throughput"
2293
2294 # DPDK
2295 -
2296   type: "plot"
2297   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2298   algorithm: "plot_performance_box"
2299   output-file-type: ".html"
2300   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc"
2301   data:
2302     "plot-dpdk-throughput-latency"
2303   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2304   parameters:
2305   - "throughput"
2306   - "parent"
2307   traces:
2308     hoverinfo: "x+y"
2309     boxpoints: "outliers"
2310     whiskerwidth: 0
2311   layout:
2312     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2313     layout:
2314       "plot-throughput"
2315
2316 -
2317   type: "plot"
2318   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2319   algorithm: "plot_performance_box"
2320   output-file-type: ".html"
2321   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc"
2322   data:
2323     "plot-dpdk-throughput-latency"
2324   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2325   parameters:
2326   - "throughput"
2327   - "parent"
2328   traces:
2329     hoverinfo: "x+y"
2330     boxpoints: "outliers"
2331     whiskerwidth: 0
2332   layout:
2333     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2334     layout:
2335       "plot-throughput"
2336
2337 -
2338   type: "plot"
2339   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2340   algorithm: "plot_performance_box"
2341   output-file-type: ".html"
2342   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc"
2343   data:
2344     "plot-dpdk-throughput-latency"
2345   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
2346   parameters:
2347   - "throughput"
2348   - "parent"
2349   traces:
2350     hoverinfo: "x+y"
2351     boxpoints: "outliers"
2352     whiskerwidth: 0
2353   layout:
2354     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2355     xaxis:
2356       autorange: True
2357       autotick: False
2358       fixedrange: False
2359       gridcolor: "rgb(238, 238, 238)"
2360       linecolor: "rgb(238, 238, 238)"
2361       linewidth: 1
2362       showgrid: True
2363       showline: True
2364       showticklabels: True
2365       tickcolor: "rgb(238, 238, 238)"
2366       tickmode: "linear"
2367       title: "Indexed Test Cases"
2368       zeroline: False
2369     yaxis:
2370       gridcolor: "rgb(238, 238, 238)'"
2371       hoverformat: ".4s"
2372       linecolor: "rgb(238, 238, 238)"
2373       linewidth: 1
2374       range: [2000000, 12000000]
2375       showgrid: True
2376       showline: True
2377       showticklabels: True
2378       tickcolor: "rgb(238, 238, 238)"
2379       title: "Packets Per Second [pps]"
2380       zeroline: False
2381     boxmode: "group"
2382     boxgroupgap: 0.5
2383     autosize: False
2384     margin:
2385       t: 50
2386       b: 20
2387       l: 50
2388       r: 20
2389     showlegend: True
2390     legend:
2391       orientation: "h"
2392     width: 700
2393     height: 1000
2394
2395 -
2396   type: "plot"
2397   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2398   algorithm: "plot_performance_box"
2399   output-file-type: ".html"
2400   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc"
2401   data:
2402     "plot-dpdk-throughput-latency"
2403   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
2404   parameters:
2405   - "throughput"
2406   - "parent"
2407   traces:
2408     hoverinfo: "x+y"
2409     boxpoints: "outliers"
2410     whiskerwidth: 0
2411   layout:
2412     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2413     xaxis:
2414       autorange: True
2415       autotick: False
2416       fixedrange: False
2417       gridcolor: "rgb(238, 238, 238)"
2418       linecolor: "rgb(238, 238, 238)"
2419       linewidth: 1
2420       showgrid: True
2421       showline: True
2422       showticklabels: True
2423       tickcolor: "rgb(238, 238, 238)"
2424       tickmode: "linear"
2425       title: "Indexed Test Cases"
2426       zeroline: False
2427     yaxis:
2428       gridcolor: "rgb(238, 238, 238)'"
2429       hoverformat: ".4s"
2430       linecolor: "rgb(238, 238, 238)"
2431       linewidth: 1
2432       range: [2000000, 12000000]
2433       showgrid: True
2434       showline: True
2435       showticklabels: True
2436       tickcolor: "rgb(238, 238, 238)"
2437       title: "Packets Per Second [pps]"
2438       zeroline: False
2439     boxmode: "group"
2440     boxgroupgap: 0.5
2441     autosize: False
2442     margin:
2443       t: 50
2444       b: 20
2445       l: 50
2446       r: 20
2447     showlegend: True
2448     legend:
2449       orientation: "h"
2450     width: 700
2451     height: 1000
2452
2453 -
2454   type: "plot"
2455   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2456   algorithm: "plot_performance_box"
2457   output-file-type: ".html"
2458   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-pdrdisc"
2459   data:
2460     "plot-dpdk-throughput-latency"
2461   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2462   parameters:
2463   - "throughput"
2464   - "parent"
2465   traces:
2466     hoverinfo: "x+y"
2467     boxpoints: "outliers"
2468     whiskerwidth: 0
2469   layout:
2470     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2471     layout:
2472       "plot-throughput"
2473
2474 -
2475   type: "plot"
2476   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2477   algorithm: "plot_performance_box"
2478   output-file-type: ".html"
2479   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-pdrdisc"
2480   data:
2481     "plot-dpdk-throughput-latency"
2482   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2483   parameters:
2484   - "throughput"
2485   - "parent"
2486   traces:
2487     hoverinfo: "x+y"
2488     boxpoints: "outliers"
2489     whiskerwidth: 0
2490   layout:
2491     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2492     layout:
2493       "plot-throughput"
2494
2495 -
2496   type: "plot"
2497   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
2498   algorithm: "plot_performance_box"
2499   output-file-type: ".html"
2500   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-pdrdisc"
2501   data:
2502     "plot-dpdk-throughput-latency"
2503   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD'"
2504   parameters:
2505   - "throughput"
2506   - "parent"
2507   traces:
2508     hoverinfo: "x+y"
2509     boxpoints: "outliers"
2510     whiskerwidth: 0
2511   layout:
2512     title: "64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
2513     xaxis:
2514       autorange: True
2515       autotick: False
2516       fixedrange: False
2517       gridcolor: "rgb(238, 238, 238)"
2518       linecolor: "rgb(238, 238, 238)"
2519       linewidth: 1
2520       showgrid: True
2521       showline: True
2522       showticklabels: True
2523       tickcolor: "rgb(238, 238, 238)"
2524       tickmode: "linear"
2525       title: "Indexed Test Cases"
2526       zeroline: False
2527     yaxis:
2528       gridcolor: "rgb(238, 238, 238)'"
2529       hoverformat: ".4s"
2530       linecolor: "rgb(238, 238, 238)"
2531       linewidth: 1
2532       range: [20000000, 30000000]
2533       showgrid: True
2534       showline: True
2535       showticklabels: True
2536       tickcolor: "rgb(238, 238, 238)"
2537       title: "Packets Per Second [pps]"
2538       zeroline: False
2539     boxmode: "group"
2540     boxgroupgap: 0.5
2541     autosize: False
2542     margin:
2543       t: 50
2544       b: 20
2545       l: 50
2546       r: 20
2547     showlegend: True
2548     legend:
2549       orientation: "h"
2550     width: 700
2551     height: 1000
2552
2553 -
2554   type: "plot"
2555   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
2556   algorithm: "plot_performance_box"
2557   output-file-type: ".html"
2558   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-pdrdisc"
2559   data:
2560     "plot-dpdk-throughput-latency"
2561   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD'"
2562   parameters:
2563   - "throughput"
2564   - "parent"
2565   traces:
2566     hoverinfo: "x+y"
2567     boxpoints: "outliers"
2568     whiskerwidth: 0
2569   layout:
2570     title: "64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
2571     xaxis:
2572       autorange: True
2573       autotick: False
2574       fixedrange: False
2575       gridcolor: "rgb(238, 238, 238)"
2576       linecolor: "rgb(238, 238, 238)"
2577       linewidth: 1
2578       showgrid: True
2579       showline: True
2580       showticklabels: True
2581       tickcolor: "rgb(238, 238, 238)"
2582       tickmode: "linear"
2583       title: "Indexed Test Cases"
2584       zeroline: False
2585     yaxis:
2586       gridcolor: "rgb(238, 238, 238)'"
2587       hoverformat: ".4s"
2588       linecolor: "rgb(238, 238, 238)"
2589       linewidth: 1
2590       range: [20000000, 30000000]
2591       showgrid: True
2592       showline: True
2593       showticklabels: True
2594       tickcolor: "rgb(238, 238, 238)"
2595       title: "Packets Per Second [pps]"
2596       zeroline: False
2597     boxmode: "group"
2598     boxgroupgap: 0.5
2599     autosize: False
2600     margin:
2601       t: 50
2602       b: 20
2603       l: 50
2604       r: 20
2605     showlegend: True
2606     legend:
2607       orientation: "h"
2608     width: 700
2609     height: 1000
2610
2611 # Plot latency
2612
2613 # VPP L2 sel1
2614 -
2615   type: "plot"
2616   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2617   algorithm: "plot_latency_box"
2618   output-file-type: ".html"
2619   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc-lat50"
2620   data:
2621     "plot-vpp-throughput-latency"
2622   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2623   parameters:
2624   - "latency"
2625   - "parent"
2626   traces:
2627     boxmean: False
2628   layout:
2629     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2630     layout:
2631       "plot-latency"
2632
2633 -
2634   type: "plot"
2635   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2636   algorithm: "plot_latency_box"
2637   output-file-type: ".html"
2638   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc-lat50"
2639   data:
2640     "plot-vpp-throughput-latency"
2641   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2642   parameters:
2643   - "latency"
2644   - "parent"
2645   traces:
2646     boxmean: False
2647   layout:
2648     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2649     layout:
2650       "plot-latency"
2651
2652 # VPP L2 sel2
2653 -
2654   type: "plot"
2655   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2656   algorithm: "plot_latency_box"
2657   output-file-type: ".html"
2658   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc-lat50"
2659   data:
2660     "plot-vpp-throughput-latency"
2661   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2662   parameters:
2663   - "latency"
2664   - "parent"
2665   traces:
2666     boxmean: False
2667   layout:
2668     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2669     layout:
2670       "plot-latency"
2671
2672 -
2673   type: "plot"
2674   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2675   algorithm: "plot_latency_box"
2676   output-file-type: ".html"
2677   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc-lat50"
2678   data:
2679     "plot-vpp-throughput-latency"
2680   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2681   parameters:
2682   - "latency"
2683   - "parent"
2684   traces:
2685     boxmean: False
2686   layout:
2687     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2688     layout:
2689       "plot-latency"
2690
2691 # VPP IP4
2692 -
2693   type: "plot"
2694   title: "VPP Latency 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2695   algorithm: "plot_latency_box"
2696   output-file-type: ".html"
2697   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc-lat50"
2698   data:
2699     "plot-vpp-throughput-latency"
2700   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
2701   parameters:
2702   - "latency"
2703   - "parent"
2704   traces:
2705     boxmean: False
2706   layout:
2707     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2708     layout:
2709       "plot-latency"
2710
2711 -
2712   type: "plot"
2713   title: "VPP Latency 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2714   algorithm: "plot_latency_box"
2715   output-file-type: ".html"
2716   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc-lat50"
2717   data:
2718     "plot-vpp-throughput-latency"
2719   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
2720   parameters:
2721   - "latency"
2722   - "parent"
2723   traces:
2724     boxmean: False
2725   layout:
2726     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2727     layout:
2728       "plot-latency"
2729
2730 # VPP IP6
2731 -
2732   type: "plot"
2733   title: "VPP Latency 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2734   algorithm: "plot_latency_box"
2735   output-file-type: ".html"
2736   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc-lat50"
2737   data:
2738     "plot-vpp-throughput-latency"
2739   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2740   parameters:
2741   - "latency"
2742   - "parent"
2743   traces:
2744     boxmean: False
2745   layout:
2746     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2747     layout:
2748       "plot-latency"
2749
2750 -
2751   type: "plot"
2752   title: "VPP Latency 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2753   algorithm: "plot_latency_box"
2754   output-file-type: ".html"
2755   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc-lat50"
2756   data:
2757     "plot-vpp-throughput-latency"
2758   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2759   parameters:
2760   - "latency"
2761   - "parent"
2762   traces:
2763     boxmean: False
2764   layout:
2765     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2766     layout:
2767       "plot-latency"
2768
2769 # VPP IP4_overlay
2770 -
2771   type: "plot"
2772   title: "VPP Latency 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2773   algorithm: "plot_latency_box"
2774   output-file-type: ".html"
2775   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc-lat50"
2776   data:
2777     "plot-vpp-throughput-latency"
2778   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2779   parameters:
2780   - "latency"
2781   - "parent"
2782   traces:
2783     boxmean: False
2784   layout:
2785     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2786     layout:
2787       "plot-latency"
2788
2789 -
2790   type: "plot"
2791   title: "VPP Latency 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2792   algorithm: "plot_latency_box"
2793   output-file-type: ".html"
2794   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc-lat50"
2795   data:
2796     "plot-vpp-throughput-latency"
2797   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2798   parameters:
2799   - "latency"
2800   - "parent"
2801   traces:
2802     boxmean: False
2803   layout:
2804     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2805     layout:
2806       "plot-latency"
2807
2808 # VPP IP6_overlay
2809 -
2810   type: "plot"
2811   title: "VPP Latency 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2812   algorithm: "plot_latency_box"
2813   output-file-type: ".html"
2814   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc-lat50"
2815   data:
2816     "plot-vpp-throughput-latency"
2817   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2818   parameters:
2819   - "latency"
2820   - "parent"
2821   traces:
2822     boxmean: False
2823   layout:
2824     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2825     layout:
2826       "plot-latency"
2827
2828 -
2829   type: "plot"
2830   title: "VPP Latency 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2831   algorithm: "plot_latency_box"
2832   output-file-type: ".html"
2833   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc-lat50"
2834   data:
2835     "plot-vpp-throughput-latency"
2836   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2837   parameters:
2838   - "latency"
2839   - "parent"
2840   traces:
2841     boxmean: False
2842   layout:
2843     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2844     layout:
2845       "plot-latency"
2846
2847 # VPP VM VHOST
2848 -
2849   type: "plot"
2850   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
2851   algorithm: "plot_latency_box"
2852   output-file-type: ".html"
2853   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc-lat50"
2854   data:
2855     "plot-vpp-throughput-latency"
2856   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2857   parameters:
2858   - "latency"
2859   - "parent"
2860   traces:
2861     boxmean: False
2862   layout:
2863     title: "64B-1t1c-.*vhost.*-ndrdisc"
2864     layout:
2865       "plot-latency"
2866
2867 -
2868   type: "plot"
2869   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
2870   algorithm: "plot_latency_box"
2871   output-file-type: ".html"
2872   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc-lat50"
2873   data:
2874     "plot-vpp-throughput-latency"
2875   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2876   parameters:
2877   - "latency"
2878   - "parent"
2879   traces:
2880     boxmean: False
2881   layout:
2882     title: "64B-2t2c-.*vhost.*-ndrdisc"
2883     layout:
2884       "plot-latency"
2885
2886 # VPP VM VHOST selection
2887 -
2888   type: "plot"
2889   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
2890   algorithm: "plot_latency_box"
2891   output-file-type: ".html"
2892   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc-lat50"
2893   data:
2894     "plot-vpp-throughput-latency"
2895   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2896   parameters:
2897   - "latency"
2898   - "parent"
2899   traces:
2900     boxmean: False
2901   layout:
2902     title: "64B-1t1c-.*vhost.*-ndrdisc"
2903     layout:
2904       "plot-latency"
2905
2906 -
2907   type: "plot"
2908   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
2909   algorithm: "plot_latency_box"
2910   output-file-type: ".html"
2911   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc-lat50"
2912   data:
2913     "plot-vpp-throughput-latency"
2914   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2915   parameters:
2916   - "latency"
2917   - "parent"
2918   traces:
2919     boxmean: False
2920   layout:
2921     title: "64B-2t2c-.*vhost.*-ndrdisc"
2922     layout:
2923       "plot-latency"
2924
2925 # VPP CRYPTO
2926 -
2927   type: "plot"
2928   title: "VPP Latency 64B-1t1c-.*ipsec.*-ndrdisc"
2929   algorithm: "plot_latency_box"
2930   output-file-type: ".html"
2931   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc-lat50"
2932   data:
2933     "plot-vpp-throughput-latency"
2934   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2935   parameters:
2936   - "latency"
2937   - "parent"
2938   traces:
2939     boxmean: False
2940   layout:
2941     title: "64B-1t1c-.*ipsec.*-ndrdisc"
2942     layout:
2943       "plot-latency"
2944
2945 -
2946   type: "plot"
2947   title: "VPP Latency 64B-2t2c-.*ipsec.*-ndrdisc"
2948   algorithm: "plot_latency_box"
2949   output-file-type: ".html"
2950   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc-lat50"
2951   data:
2952     "plot-vpp-throughput-latency"
2953   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2954   parameters:
2955   - "latency"
2956   - "parent"
2957   traces:
2958     boxmean: False
2959   layout:
2960     title: "64B-2t2c-.*ipsec.*-ndrdisc"
2961     layout:
2962       "plot-latency"
2963
2964 # DPDK
2965 -
2966   type: "plot"
2967   title: "DPDK Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2968   algorithm: "plot_latency_box"
2969   output-file-type: ".html"
2970   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc-lat50"
2971   data:
2972     "plot-dpdk-throughput-latency"
2973   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2974   parameters:
2975   - "latency"
2976   - "parent"
2977   traces:
2978     boxmean: False
2979   layout:
2980     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2981     layout:
2982       "plot-latency"
2983
2984 -
2985   type: "plot"
2986   title: "DPDK Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2987   algorithm: "plot_latency_box"
2988   output-file-type: ".html"
2989   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc-lat50"
2990   data:
2991     "plot-dpdk-throughput-latency"
2992   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2993   parameters:
2994   - "latency"
2995   - "parent"
2996   traces:
2997     boxmean: False
2998   layout:
2999     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3000     layout:
3001       "plot-latency"
3002
3003 -
3004   type: "plot"
3005   title: "DPDK Latency 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3006   algorithm: "plot_latency_box"
3007   output-file-type: ".html"
3008   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc-lat50"
3009   data:
3010     "plot-dpdk-throughput-latency"
3011   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
3012   parameters:
3013   - "latency"
3014   - "parent"
3015   traces:
3016     boxmean: False
3017   layout:
3018     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3019     layout:
3020       "plot-latency"
3021
3022 -
3023   type: "plot"
3024   title: "DPDK Latency 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3025   algorithm: "plot_latency_box"
3026   output-file-type: ".html"
3027   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc-lat50"
3028   data:
3029     "plot-dpdk-throughput-latency"
3030   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
3031   parameters:
3032   - "latency"
3033   - "parent"
3034   traces:
3035     boxmean: False
3036   layout:
3037     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3038     layout:
3039       "plot-latency"
3040
3041 # Ligato - Throughput
3042
3043 # Container memif
3044 -
3045   type: "plot"
3046   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3047   algorithm: "plot_performance_box"
3048   output-file-type: ".html"
3049   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc"
3050   data:
3051     "plot-vpp-throughput-latency"
3052   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3053   parameters:
3054   - "throughput"
3055   - "parent"
3056   traces:
3057     hoverinfo: "x+y"
3058     boxpoints: "outliers"
3059     whiskerwidth: 0
3060   layout:
3061     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3062     xaxis:
3063       autorange: True
3064       autotick: False
3065       fixedrange: False
3066       gridcolor: "rgb(238, 238, 238)"
3067       linecolor: "rgb(238, 238, 238)"
3068       linewidth: 1
3069       showgrid: True
3070       showline: True
3071       showticklabels: True
3072       tickcolor: "rgb(238, 238, 238)"
3073       tickmode: "linear"
3074       title: "Indexed Test Cases"
3075       zeroline: False
3076     yaxis:
3077       gridcolor: "rgb(238, 238, 238)'"
3078       hoverformat: ".4s"
3079       linecolor: "rgb(238, 238, 238)"
3080       linewidth: 1
3081       range: [0, 4500000]
3082       showgrid: True
3083       showline: True
3084       showticklabels: True
3085       tickcolor: "rgb(238, 238, 238)"
3086       title: "Packets Per Second [pps]"
3087       zeroline: False
3088     boxmode: "group"
3089     boxgroupgap: 0.5
3090     autosize: False
3091     margin:
3092       t: 50
3093       b: 20
3094       l: 50
3095       r: 20
3096     showlegend: True
3097     legend:
3098       orientation: "h"
3099     width: 700
3100     height: 1000
3101
3102 -
3103   type: "plot"
3104   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3105   algorithm: "plot_performance_box"
3106   output-file-type: ".html"
3107   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc"
3108   data:
3109     "plot-vpp-throughput-latency"
3110   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3111   parameters:
3112   - "throughput"
3113   - "parent"
3114   traces:
3115     hoverinfo: "x+y"
3116     boxpoints: "outliers"
3117     whiskerwidth: 0
3118   layout:
3119     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3120     xaxis:
3121       autorange: True
3122       autotick: False
3123       fixedrange: False
3124       gridcolor: "rgb(238, 238, 238)"
3125       linecolor: "rgb(238, 238, 238)"
3126       linewidth: 1
3127       showgrid: True
3128       showline: True
3129       showticklabels: True
3130       tickcolor: "rgb(238, 238, 238)"
3131       tickmode: "linear"
3132       title: "Indexed Test Cases"
3133       zeroline: False
3134     yaxis:
3135       gridcolor: "rgb(238, 238, 238)'"
3136       hoverformat: ".4s"
3137       linecolor: "rgb(238, 238, 238)"
3138       linewidth: 1
3139       range: [0, 8000000]
3140       showgrid: True
3141       showline: True
3142       showticklabels: True
3143       tickcolor: "rgb(238, 238, 238)"
3144       title: "Packets Per Second [pps]"
3145       zeroline: False
3146     boxmode: "group"
3147     boxgroupgap: 0.5
3148     autosize: False
3149     margin:
3150       t: 50
3151       b: 20
3152       l: 50
3153       r: 20
3154     showlegend: True
3155     legend:
3156       orientation: "h"
3157     width: 700
3158     height: 1000
3159
3160 -
3161   type: "plot"
3162   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3163   algorithm: "plot_performance_box"
3164   output-file-type: ".html"
3165   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-pdrdisc"
3166   data:
3167     "plot-vpp-throughput-latency"
3168   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3169   parameters:
3170   - "throughput"
3171   - "parent"
3172   traces:
3173     hoverinfo: "x+y"
3174     boxpoints: "outliers"
3175     whiskerwidth: 0
3176   layout:
3177     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3178     xaxis:
3179       autorange: True
3180       autotick: False
3181       fixedrange: False
3182       gridcolor: "rgb(238, 238, 238)"
3183       linecolor: "rgb(238, 238, 238)"
3184       linewidth: 1
3185       showgrid: True
3186       showline: True
3187       showticklabels: True
3188       tickcolor: "rgb(238, 238, 238)"
3189       tickmode: "linear"
3190       title: "Indexed Test Cases"
3191       zeroline: False
3192     yaxis:
3193       gridcolor: "rgb(238, 238, 238)'"
3194       hoverformat: ".4s"
3195       linecolor: "rgb(238, 238, 238)"
3196       linewidth: 1
3197       range: [0, 4500000]
3198       showgrid: True
3199       showline: True
3200       showticklabels: True
3201       tickcolor: "rgb(238, 238, 238)"
3202       title: "Packets Per Second [pps]"
3203       zeroline: False
3204     boxmode: "group"
3205     boxgroupgap: 0.5
3206     autosize: False
3207     margin:
3208       t: 50
3209       b: 20
3210       l: 50
3211       r: 20
3212     showlegend: True
3213     legend:
3214       orientation: "h"
3215     width: 700
3216     height: 1000
3217
3218 -
3219   type: "plot"
3220   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3221   algorithm: "plot_performance_box"
3222   output-file-type: ".html"
3223   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-pdrdisc"
3224   data:
3225     "plot-vpp-throughput-latency"
3226   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3227   parameters:
3228   - "throughput"
3229   - "parent"
3230   traces:
3231     hoverinfo: "x+y"
3232     boxpoints: "outliers"
3233     whiskerwidth: 0
3234   layout:
3235     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3236     xaxis:
3237       autorange: True
3238       autotick: False
3239       fixedrange: False
3240       gridcolor: "rgb(238, 238, 238)"
3241       linecolor: "rgb(238, 238, 238)"
3242       linewidth: 1
3243       showgrid: True
3244       showline: True
3245       showticklabels: True
3246       tickcolor: "rgb(238, 238, 238)"
3247       tickmode: "linear"
3248       title: "Indexed Test Cases"
3249       zeroline: False
3250     yaxis:
3251       gridcolor: "rgb(238, 238, 238)'"
3252       hoverformat: ".4s"
3253       linecolor: "rgb(238, 238, 238)"
3254       linewidth: 1
3255       range: [0, 8000000]
3256       showgrid: True
3257       showline: True
3258       showticklabels: True
3259       tickcolor: "rgb(238, 238, 238)"
3260       title: "Packets Per Second [pps]"
3261       zeroline: False
3262     boxmode: "group"
3263     boxgroupgap: 0.5
3264     autosize: False
3265     margin:
3266       t: 50
3267       b: 20
3268       l: 50
3269       r: 20
3270     showlegend: True
3271     legend:
3272       orientation: "h"
3273     width: 700
3274     height: 1000
3275
3276 # Container orchestrated
3277 -
3278   type: "plot"
3279   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3280   algorithm: "plot_performance_box"
3281   output-file-type: ".html"
3282   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc"
3283   data:
3284     "plot-ligato-throughput-latency"
3285   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3286   parameters:
3287   - "throughput"
3288   - "parent"
3289   traces:
3290     hoverinfo: "x+y"
3291     boxpoints: "outliers"
3292     whiskerwidth: 0
3293   layout:
3294     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3295     layout:
3296       "plot-throughput"
3297
3298 -
3299   type: "plot"
3300   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3301   algorithm: "plot_performance_box"
3302   output-file-type: ".html"
3303   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc"
3304   data:
3305     "plot-ligato-throughput-latency"
3306   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3307   parameters:
3308   - "throughput"
3309   - "parent"
3310   traces:
3311     hoverinfo: "x+y"
3312     boxpoints: "outliers"
3313     whiskerwidth: 0
3314   layout:
3315     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3316     layout:
3317       "plot-throughput"
3318
3319 -
3320   type: "plot"
3321   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3322   algorithm: "plot_performance_box"
3323   output-file-type: ".html"
3324   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-pdrdisc"
3325   data:
3326     "plot-ligato-throughput-latency"
3327   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3328   parameters:
3329   - "throughput"
3330   - "parent"
3331   traces:
3332     hoverinfo: "x+y"
3333     boxpoints: "outliers"
3334     whiskerwidth: 0
3335   layout:
3336     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3337     layout:
3338       "plot-throughput"
3339
3340 -
3341   type: "plot"
3342   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3343   algorithm: "plot_performance_box"
3344   output-file-type: ".html"
3345   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-pdrdisc"
3346   data:
3347     "plot-ligato-throughput-latency"
3348   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3349   parameters:
3350   - "throughput"
3351   - "parent"
3352   traces:
3353     hoverinfo: "x+y"
3354     boxpoints: "outliers"
3355     whiskerwidth: 0
3356   layout:
3357     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3358     layout:
3359       "plot-throughput"
3360
3361 # Ligato - Latency
3362
3363 # Container memif
3364 -
3365   type: "plot"
3366   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3367   algorithm: "plot_latency_box"
3368   output-file-type: ".html"
3369   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc-lat50"
3370   data:
3371     "plot-vpp-throughput-latency"
3372   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3373   parameters:
3374   - "latency"
3375   - "parent"
3376   traces:
3377     boxmean: False
3378   layout:
3379     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3380     layout:
3381       "plot-latency"
3382
3383 -
3384   type: "plot"
3385   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3386   algorithm: "plot_latency_box"
3387   output-file-type: ".html"
3388   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc-lat50"
3389   data:
3390     "plot-vpp-throughput-latency"
3391   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3392   parameters:
3393   - "latency"
3394   - "parent"
3395   traces:
3396     boxmean: False
3397   layout:
3398     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3399     layout:
3400       "plot-latency"
3401
3402 # Container orchestrated
3403 -
3404   type: "plot"
3405   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3406   algorithm: "plot_latency_box"
3407   output-file-type: ".html"
3408   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc-lat50"
3409   data:
3410     "plot-ligato-throughput-latency"
3411   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3412   parameters:
3413   - "latency"
3414   - "parent"
3415   traces:
3416     boxmean: False
3417   layout:
3418     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3419     layout:
3420       "plot-latency"
3421
3422 -
3423   type: "plot"
3424   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3425   algorithm: "plot_latency_box"
3426   output-file-type: ".html"
3427   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc-lat50"
3428   data:
3429     "plot-ligato-throughput-latency"
3430   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3431   parameters:
3432   - "latency"
3433   - "parent"
3434   traces:
3435     boxmean: False
3436   layout:
3437     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3438     layout:
3439       "plot-latency"