resources/tools/presentation/specification.yaml

   1 -
   2   type: "environment"
   3   configuration:
   4     # Debug mode:
   5     # - Skip:
   6     #   - Download of input data files
   7     # - Do:
   8     #   - Read data from given zip / xml files
   9     #   - Set the configuration as it is done in normal mode
  10     # If the section "type: debug" is missing, CFG[DEBUG] is set to 0.
  11     CFG[DEBUG]: 0
  12
  13   paths:
  14     # Top level directories:
  15     ## Working directory
  16     DIR[WORKING]: "_tmp"
  17     ## Build directories
  18     DIR[BUILD,HTML]: "_build"
  19     DIR[BUILD,LATEX]: "_build_latex"
  20
  21     # Static .rst files
  22     DIR[RST]: "../../../docs/report"
  23
  24     # Working directories
  25     ## Input data files (.zip, .xml)
  26     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
  27     ## Static source files from git
  28     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
  29     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
  30
  31     # Static html content
  32     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
  33     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
  34     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
  35     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
  36
  37     # Detailed test results
  38     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
  39     DIR[DTR,PERF,DPDK]: "{DIR[DTR]}/dpdk_performance_results"
  40     DIR[DTR,PERF,VPP]: "{DIR[DTR]}/vpp_performance_results"
  41     DIR[DTR,PERF,COT]: "{DIR[DTR]}/cot_performance_results"
  42     DIR[DTR,PERF,HC]: "{DIR[DTR]}/honeycomb_performance_results"
  43     DIR[DTR,FUNC,VPP]: "{DIR[DTR]}/vpp_functional_results"
  44     DIR[DTR,FUNC,HC]: "{DIR[DTR]}/honeycomb_functional_results"
  45     DIR[DTR,FUNC,NSHSFC]: "{DIR[DTR]}/nshsfc_functional_results"
  46     DIR[DTR,PERF,VPP,IMPRV]: "{DIR[WORKING,SRC]}/vpp_performance_tests/performance_improvements"
  47
  48     # Detailed test configurations
  49     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
  50     DIR[DTC,PERF,VPP]: "{DIR[DTC]}/vpp_performance_configuration"
  51     DIR[DTC,FUNC,VPP]: "{DIR[DTC]}/vpp_functional_configuration"
  52
  53     # Detailed tests operational data
  54     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
  55     DIR[DTO,PERF,VPP]: "{DIR[DTO]}/vpp_performance_operational_data"
  56
  57     # .css patch file to fix tables generated by Sphinx
  58     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
  59     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
  60
  61   urls:
  62     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
  63     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
  64     URL[NEXUS]: "https://docs.fd.io/csit"
  65     DIR[NEXUS]: "report/_static/archive"
  66
  67   make-dirs:
  68   # List the directories which are created while preparing the environment.
  69   # All directories MUST be defined in "paths" section.
  70   - "DIR[WORKING,DATA]"
  71   - "DIR[STATIC,VPP]"
  72   - "DIR[STATIC,DPDK]"
  73   - "DIR[STATIC,ARCH]"
  74   - "DIR[BUILD,LATEX]"
  75   - "DIR[WORKING,SRC]"
  76   - "DIR[WORKING,SRC,STATIC]"
  77
  78   remove-dirs:
  79   # List the directories which are deleted while cleaning the environment.
  80   # All directories MUST be defined in "paths" section.
  81   #- "DIR[BUILD,HTML]"
  82
  83   build-dirs:
  84   # List the directories where the results (build) is stored.
  85   # All directories MUST be defined in "paths" section.
  86   - "DIR[BUILD,HTML]"
  87   - "DIR[BUILD,LATEX]"
  88
  89 -
  90   type: "configuration"
  91   data-sets:
  92     plot-vpp-http-server-performance:
  93 # TODO: Add the data sources
  94       csit-vpp-perf-1801-all:
  95       - 157
  96       - 158
  97       - 159
  98       - 160
  99       - 161
 100       - 164
 101       - 165
 102       - 166
 103       - 168
 104       - 169
 105       - 170
 106 # TODO: Add the data sources
 107 #    vpp-meltdown-impact:
 108 #      csit-vpp-perf-1707-all:
 109 #      - 9
 110 #      - 10
 111 #      - 13
 112 #      csit-vpp-perf-1710-all:
 113 #      - 11l
 114 #      - 12
 115 #      - 13
 116 # TODO: Add the data sources
 117 #    vpp-spectre-impact:
 118 #      csit-vpp-perf-1707-all:
 119 #      - 9
 120 #      - 10
 121 #      - 13
 122 #      csit-vpp-perf-1710-all:
 123 #      - 11
 124 #      - 12
 125 #      - 13
 126     vpp-performance-changes:
 127       csit-vpp-perf-1710-all:
 128       - 11
 129       - 12
 130       - 13
 131       - 14
 132       - 15
 133       - 16
 134       - 17
 135       - 18
 136       - 19
 137       - 20
 138       csit-vpp-perf-1801-all:
 139       - 124  # sel
 140       - 127  # sel
 141       - 128  # sel
 142       - 141  # sel
 143       - 142  # sel
 144       - 143  # sel
 145       - 145  # sel
 146       - 146  # sel
 147       - 162  # sel
 148       - 163  # sel
 149       - 167  # sel
 150       - 172  # sel acl only
 151       csit-vpp-perf-1804-all:
 152       - 1   # sel - dry run
 153       - 13  # sel - dry run
 154       - 14  # sel - dry run
 155       - 17  # sel - dry run
 156       - 22  # sel
 157     vpp-performance-changes-mrr:
 158       csit-vpp-perf-check-1801:
 159       - 1
 160       - 2
 161       - 3
 162       - 4
 163       - 5
 164       - 6
 165       - 7
 166       - 8
 167       - 9
 168       - 11
 169       - 12
 170       - 13
 171       csit-vpp-perf-check-1804:
 172       - 1   # mrr - dry run
 173       - 2   # mrr - dry run
 174       - 3   # mrr - dry run
 175       - 4   # mrr - dry run
 176       - 5   # mrr
 177     plot-throughput-speedup-analysis:
 178       csit-vpp-perf-1804-all:
 179       - 1   # sel - dry run
 180       - 13  # sel - dry run
 181       - 14  # sel - dry run
 182       - 17  # sel - dry run
 183       - 19  # full
 184       - 22  # sel
 185 #    performance-improvements:
 186 #      csit-vpp-perf-1707-all:
 187 #      - 9
 188 #      - 10
 189 #      - 13
 190 #      - 14
 191 #      - 15
 192 #      - 16
 193 #      - 17
 194 #      - 18
 195 #      - 19
 196 #      - 21
 197 #      csit-vpp-perf-1710-all:
 198 #      - 11
 199 #      - 12
 200 #      - 13
 201 #      - 14
 202 #      - 15
 203 #      - 16
 204 #      - 17
 205 #      - 18
 206 #      - 19
 207 #      - 20
 208 #      csit-vpp-perf-1801-all:
 209 #      - 124
 210 #      - 127
 211 #      - 128
 212 #      csit-ligato-perf-1710-all:
 213 #      - 5
 214 #      - 7
 215 #      - 8
 216 #      - 9
 217 #      - 10
 218 #      - 11
 219 #      - 12
 220 #      - 13
 221 #      - 16
 222 #      - 17
 223 #      csit-ligato-perf-1801-all:
 224 #      - 16  # sel
 225 #      - 17  # sel
 226 #      - 18  # sel
 227 #      - 19  # sel
 228 #      - 20  # sel
 229 #      - 21  # sel
 230 #      - 22  # sel
 231 #      - 23  # sel
 232 #      - 24  # sel
 233     vpp-perf-results:
 234       csit-vpp-perf-1804-all:
 235       - 19  # full
 236     vpp-func-results:
 237       csit-vpp-functional-1804-ubuntu1604-virl:
 238       - 131
 239     ligato-perf-results:
 240       csit-ligato-perf-1801-all:
 241       - 25  # full
 242     dpdk-perf-results:
 243       csit-dpdk-perf-1804-all:
 244       - 13
 245     hc-func-results:
 246       csit-hc2vpp-verify-func-1804-ubuntu1604:
 247       - 3
 248     nsh-func-results:
 249       csit-nsh_sfc-verify-func-1804-ubuntu1604-virl:
 250       - 7
 251     plot-vpp-throughput-latency:
 252       csit-vpp-perf-1804-all:
 253       - 1   # sel - dry run
 254       - 13  # sel - dry run
 255       - 14  # sel - dry run
 256       - 17  # sel - dry run
 257       - 19  # full
 258       - 22  # sel
 259     plot-dpdk-throughput-latency:
 260       csit-dpdk-perf-1804-all:
 261       - 4
 262       - 5
 263       - 6
 264       - 7
 265       - 8
 266       - 9
 267       - 10
 268       - 11
 269       - 12
 270       - 13
 271     plot-ligato-throughput-latency:
 272       csit-ligato-perf-1801-all:
 273       - 16  # sel
 274       - 17  # sel
 275       - 18  # sel
 276       - 19  # sel
 277       - 20  # sel
 278       - 21  # sel
 279       - 22  # sel
 280       - 23  # sel
 281       - 24  # sel
 282
 283   plot-layouts:
 284
 285     plot-cps:
 286       xaxis:
 287         autorange: True
 288         autotick: False
 289         fixedrange: False
 290         gridcolor: "rgb(238, 238, 238)"
 291         linecolor: "rgb(238, 238, 238)"
 292         linewidth: 1
 293         showgrid: True
 294         showline: True
 295         showticklabels: True
 296         tickcolor: "rgb(238, 238, 238)"
 297         tickmode: "linear"
 298         title: "Indexed Test Cases"
 299         zeroline: False
 300       yaxis:
 301         gridcolor: "rgb(238, 238, 238)'"
 302         hoverformat: ".4s"
 303         linecolor: "rgb(238, 238, 238)"
 304         linewidth: 1
 305         range: []
 306         rangemode: "tozero"
 307         showgrid: True
 308         showline: True
 309         showticklabels: True
 310         tickcolor: "rgb(238, 238, 238)"
 311         title: "Connections Per Second [cps]"
 312         zeroline: False
 313       boxmode: "group"
 314       boxgroupgap: 0.5
 315       autosize: False
 316       margin:
 317         t: 50
 318         b: 20
 319         l: 50
 320         r: 20
 321       showlegend: True
 322       legend:
 323         orientation: "h"
 324       width: 700
 325       height: 1000
 326
 327     plot-rps:
 328       xaxis:
 329         autorange: True
 330         autotick: False
 331         fixedrange: False
 332         gridcolor: "rgb(238, 238, 238)"
 333         linecolor: "rgb(238, 238, 238)"
 334         linewidth: 1
 335         showgrid: True
 336         showline: True
 337         showticklabels: True
 338         tickcolor: "rgb(238, 238, 238)"
 339         tickmode: "linear"
 340         title: "Indexed Test Cases"
 341         zeroline: False
 342       yaxis:
 343         gridcolor: "rgb(238, 238, 238)'"
 344         hoverformat: ".4s"
 345         linecolor: "rgb(238, 238, 238)"
 346         linewidth: 1
 347         range: []
 348         rangemode: "tozero"
 349         showgrid: True
 350         showline: True
 351         showticklabels: True
 352         tickcolor: "rgb(238, 238, 238)"
 353         title: "Requests Per Second [rps]"
 354         zeroline: False
 355       boxmode: "group"
 356       boxgroupgap: 0.5
 357       autosize: False
 358       margin:
 359         t: 50
 360         b: 20
 361         l: 50
 362         r: 20
 363       showlegend: True
 364       legend:
 365         orientation: "h"
 366       width: 700
 367       height: 1000
 368
 369     plot-throughput:
 370       xaxis:
 371         autorange: True
 372         autotick: False
 373         fixedrange: False
 374         gridcolor: "rgb(238, 238, 238)"
 375         linecolor: "rgb(238, 238, 238)"
 376         linewidth: 1
 377         showgrid: True
 378         showline: True
 379         showticklabels: True
 380         tickcolor: "rgb(238, 238, 238)"
 381         tickmode: "linear"
 382         title: "Indexed Test Cases"
 383         zeroline: False
 384       yaxis:
 385         gridcolor: "rgb(238, 238, 238)'"
 386         hoverformat: ".4s"
 387         linecolor: "rgb(238, 238, 238)"
 388         linewidth: 1
 389         range: []
 390         showgrid: True
 391         showline: True
 392         showticklabels: True
 393         tickcolor: "rgb(238, 238, 238)"
 394         title: "Packets Per Second [pps]"
 395         zeroline: False
 396       boxmode: "group"
 397       boxgroupgap: 0.5
 398       autosize: False
 399       margin:
 400         t: 50
 401         b: 20
 402         l: 50
 403         r: 20
 404       showlegend: True
 405       legend:
 406         orientation: "h"
 407       width: 700
 408       height: 1000
 409
 410     plot-latency:
 411       xaxis:
 412         autorange: True
 413         autotick: False
 414         fixedrange: False
 415         gridcolor: "rgb(238, 238, 238)"
 416         linecolor: "rgb(238, 238, 238)"
 417         linewidth: 1
 418         showgrid: True
 419         showline: True
 420         showticklabels: True
 421         tickcolor: "rgb(238, 238, 238)"
 422         tickmode: "linear"
 423         title: "Indexed Test Cases"
 424         zeroline: False
 425       yaxis:
 426         gridcolor: "rgb(238, 238, 238)'"
 427         hoverformat: ""
 428         linecolor: "rgb(238, 238, 238)"
 429         linewidth: 1
 430         range: []
 431         showgrid: True
 432         showline: True
 433         showticklabels: True
 434         tickcolor: "rgb(238, 238, 238)"
 435         title: "Latency min/avg/max [uSec]"
 436         zeroline: False
 437       boxmode: "group"
 438       boxgroupgap: 0.5
 439       autosize: False
 440       margin:
 441         t: 50
 442         b: 20
 443         l: 50
 444         r: 20
 445       showlegend: True
 446       legend:
 447         orientation: "h"
 448       width: 700
 449       height: 1000
 450
 451     plot-throughput-speedup-analysis:
 452       xaxis:
 453         autorange: True
 454         autotick: False
 455         fixedrange: False
 456         gridcolor: "rgb(238, 238, 238)"
 457         linecolor: "rgb(238, 238, 238)"
 458         linewidth: 1
 459         showgrid: True
 460         showline: True
 461         showticklabels: True
 462         tickcolor: "rgb(238, 238, 238)"
 463         tickmode: "linear"
 464         tickangle: 270
 465         zeroline: False
 466       yaxis:
 467         title: "Throughput speedup factor"
 468         gridcolor: "rgb(238, 238, 238)"
 469         hoverformat: ".4s"
 470         linecolor: "rgb(238, 238, 238)"
 471         linewidth: 1
 472         range: []
 473         showgrid: True
 474         showline: True
 475         showticklabels: True
 476         tickcolor: "rgb(238, 238, 238)"
 477         zeroline: False
 478       legend:
 479         orientation: "h"
 480         xanchor: "center"
 481         yanchor: "top"
 482         x: 0.5
 483         y: 1
 484         bgcolor: "rgba(255, 255, 255, 0)"
 485         bordercolor: "rgba(255, 255, 255, 0)"
 486       barmode: "group"
 487       bargap: 0.15
 488       bargroupgap: 0.1
 489       autosize: False
 490       margin:
 491           't': 50
 492           'b': 200
 493           'l': 50
 494           'r': 20
 495       showlegend: True
 496       width: 700
 497       height: 1000
 498
 499 -
 500   type: "debug"
 501   general:
 502     input-format: "xml"  # zip or xml
 503     extract: "robot-plugin/output.xml"  # Only for zip
 504   builds:
 505     # The files must be in the directory DIR[WORKING,DATA]
 506     csit-vpp-perf-1801-all:
 507     -
 508       build: 1
 509       file: "{DIR[WORKING,DATA]}/output.xml"
 510     -
 511       build: 2
 512       file: "{DIR[WORKING,DATA]}/output.xml"
 513     -
 514       build: 3
 515       file: "{DIR[WORKING,DATA]}/output.xml"
 516     -
 517       build: 4
 518       file: "{DIR[WORKING,DATA]}/output.xml"
 519
 520 -
 521   type: "static"
 522   src-path: "{DIR[RST]}"
 523   dst-path: "{DIR[WORKING,SRC]}"
 524
 525 -
 526   type: "input"  # Ignored in debug mode
 527   general:
 528     file-name: "robot-plugin.zip"
 529     file-format: ".zip"
 530     download-path: "{job}/{build}/robot/report/*zip*/{filename}"
 531     extract: "robot-plugin/output.xml"
 532   builds:
 533 #    csit-vpp-perf-1707-all:
 534 #    - 9
 535 #    - 10
 536 #    - 13
 537 #    - 14
 538 #    - 15
 539 #    - 16
 540 #    - 17
 541 #    - 18
 542 #    - 19
 543 #    - 21
 544     csit-vpp-perf-1710-all:
 545     - 11
 546     - 12
 547     - 13
 548     - 14
 549     - 15
 550     - 16
 551     - 17
 552     - 18
 553     - 19
 554     - 20
 555     csit-vpp-perf-1801-all:
 556     - 122  # full
 557     - 126  # full
 558     - 129  # full
 559     - 140  # full
 560     - 124  # sel
 561     - 127  # sel
 562     - 128  # sel
 563     - 141  # sel
 564     - 142  # sel
 565     - 143  # sel
 566     - 145  # sel
 567     - 146  # sel
 568     - 157  # wrk
 569     - 158  # wrk
 570     - 159  # wrk
 571     - 160  # wrk
 572     - 161  # wrk
 573     - 162  # sel
 574     - 163  # sel
 575     - 164  # wrk
 576     - 165  # wrk
 577     - 166  # wrk
 578     - 167  # sel
 579     - 168  # wrk
 580     - 169  # wrk
 581     - 170  # wrk
 582     - 172  # sel acl only
 583     csit-vpp-perf-1804-all:
 584     - 1   # sel - dry run
 585     - 13  # sel - dry run
 586     - 14  # sel - dry run
 587     - 17  # sel - dry run
 588     - 19  # full
 589     - 22  # sel
 590     csit-vpp-perf-check-1801:
 591     - 1   # mrr
 592     - 2   # mrr
 593     - 3   # mrr
 594     - 4   # mrr
 595     - 5   # mrr
 596     - 6   # mrr
 597     - 7   # mrr
 598     - 8   # mrr
 599     - 9   # mrr
 600     - 11  # mrr
 601     - 12  # mrr
 602     - 13  # mrr
 603     csit-vpp-perf-check-1804:
 604     - 1   # mrr - dry run
 605     - 2   # mrr - dry run
 606     - 3   # mrr - dry run
 607     - 4   # mrr - dry run
 608     - 5   # mrr
 609 #    csit-ligato-perf-1710-all:
 610 #    - 5
 611 #    - 7
 612 #    - 8
 613 #    - 9
 614 #    - 10
 615 #    - 11
 616 #    - 12
 617 #    - 13
 618 #    - 16
 619 #    - 17
 620     csit-ligato-perf-1801-all:
 621     - 16  # sel
 622     - 17  # sel
 623     - 18  # sel
 624     - 19  # sel
 625     - 20  # sel
 626     - 21  # sel
 627     - 22  # sel
 628     - 23  # sel
 629     - 24  # sel
 630     - 25  # full
 631     csit-dpdk-perf-1804-all:
 632     - 4
 633     - 5
 634     - 6
 635     - 7
 636     - 8
 637     - 9
 638     - 10
 639     - 11
 640     - 12
 641     - 13
 642     csit-vpp-functional-1804-ubuntu1604-virl:
 643     - 131
 644     csit-nsh_sfc-verify-func-1804-ubuntu1604-virl:
 645     - 7
 646     csit-hc2vpp-verify-func-1804-ubuntu1604:
 647     - 3
 648
 649 -
 650   type: "output"
 651   output: "report"
 652   format:
 653     html:
 654     - full
 655     pdf:
 656     - minimal
 657
 658 ################################################################################
 659 ###                               T A B L E S                                ###
 660 ################################################################################
 661
 662 #-
 663 #  type: "table"
 664 #  title: "Performance Impact of Meltdown Patches"
 665 #  algorithm: "table_performance_comparison"
 666 #  output-file-ext: ".csv"
 667 ## TODO: specify dir
 668 #  output-file: "{DIR[STATIC,VPP]}/meltdown-impact"
 669 #  reference:
 670 #    title: "No Meltdown"
 671 ## TODO: specify data sources
 672 #    data:
 673 #      csit-vpp-perf-1707-all:
 674 #      - 9
 675 #      - 10
 676 #      - 13
 677 #  compare:
 678 #    title: "Meltdown Patches Applied"
 679 ## TODO: specify data sources
 680 #    data:
 681 #      csit-vpp-perf-1710-all:
 682 #      - 11
 683 #      - 12
 684 #      - 13
 685 #  data:
 686 #    "vpp-meltdown-impact"
 687 #  filter: "all"
 688 #  parameters:
 689 #  - "name"
 690 #  - "parent"
 691 #  - "throughput"
 692 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
 693 #  # to present all tests.
 694 #  nr-of-tests-shown: 20
 695 #
 696 #-
 697 #  type: "table"
 698 #  title: "Performance Impact of Spectre Patches"
 699 #  algorithm: "table_performance_comparison"
 700 #  output-file-ext: ".csv"
 701 ## TODO: specify dir
 702 #  output-file: "{DIR[STATIC,VPP]}/meltdown-spectre-impact"
 703 #  reference:
 704 #    title: "No Spectre"
 705 ## TODO: specify data sources
 706 #    data:
 707 #      csit-vpp-perf-1707-all:
 708 #      - 9
 709 #      - 10
 710 #      - 13
 711 #  compare:
 712 #    title: "Spectre Patches Applied"
 713 ## TODO: specify data sources
 714 #    data:
 715 #      csit-vpp-perf-1710-all:
 716 #      - 11
 717 #      - 12
 718 #      - 13
 719 #  data:
 720 #    "vpp-spectre-impact"
 721 #  filter: "all"
 722 #  parameters:
 723 #  - "name"
 724 #  - "parent"
 725 #  - "throughput"
 726 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
 727 #  # to present all tests.
 728 #  nr-of-tests-shown: 20
 729
 730 -
 731   type: "table"
 732   title: "VPP Performance Changes"
 733   algorithm: "table_performance_comparison"
 734   output-file-ext: ".csv"
 735   output-file: "{DIR[STATIC,VPP]}/performance-changes"
 736   history:
 737     -
 738       title: "rls1710"
 739       data:
 740         csit-vpp-perf-1710-all:
 741         - 11
 742         - 12
 743         - 13
 744         - 14
 745         - 15
 746         - 16
 747         - 17
 748         - 18
 749         - 19
 750         - 20
 751   reference:
 752     title: "rls1801"
 753     data:
 754       csit-vpp-perf-1801-all:
 755       - 124  # sel
 756       - 127  # sel
 757       - 128  # sel
 758       - 141  # sel
 759       - 142  # sel
 760       - 143  # sel
 761       - 145  # sel
 762       - 146  # sel
 763       - 162  # sel
 764       - 163  # sel
 765       - 167  # sel
 766       - 172  # sel acl only
 767   compare:
 768     title: "rls1804"
 769     data:
 770       csit-vpp-perf-1804-all:
 771       - 1   # sel - dry run
 772       - 13  # sel - dry run
 773       - 14  # sel - dry run
 774       - 17  # sel - dry run
 775       - 22  # sel
 776   data: "vpp-performance-changes"
 777   filter: "all"
 778   parameters:
 779   - "name"
 780   - "parent"
 781   - "throughput"
 782   # Number of the best and the worst tests presented in the table. Use 0 (zero)
 783   # to present all tests.
 784   nr-of-tests-shown: 20
 785   outlier-const: 1.5
 786
 787 -
 788   type: "table"
 789   title: "VPP Performance Changes - MRR"
 790   algorithm: "table_performance_comparison_mrr"
 791   output-file-ext: ".csv"
 792   output-file: "{DIR[STATIC,VPP]}/performance-changes-mrr"
 793   reference:
 794     title: "Release 1801"
 795     data:
 796       csit-vpp-perf-check-1801:
 797       - 1
 798       - 2
 799       - 3
 800       - 4
 801       - 5
 802       - 6
 803       - 7
 804       - 8
 805       - 9
 806       - 11
 807       - 12
 808       - 13
 809   compare:
 810     title: "Release 1804"
 811     data:
 812       csit-vpp-perf-check-1804:
 813       - 1   # mrr - dry run
 814       - 2   # mrr - dry run
 815       - 3   # mrr - dry run
 816       - 4   # mrr - dry run
 817       - 5   # mrr
 818   data: "vpp-performance-changes-mrr"
 819   filter: "all"
 820   parameters:
 821   - "name"
 822   - "parent"
 823   - "result"
 824   # Number of the best and the worst tests presented in the table. Use 0 (zero)
 825   # to present all tests.
 826   nr-of-tests-shown: 20
 827   outlier-const: 1.5
 828
 829 #-
 830 #  type: "table"
 831 #  title: "Performance improvements"
 832 #  algorithm: "table_performance_improvements"
 833 #  template: "{DIR[DTR,PERF,VPP,IMPRV]}/tmpl_performance_improvements.csv"
 834 #  output-file-ext: ".csv"
 835 #  output-file: "{DIR[DTR,PERF,VPP,IMPRV]}/performance_improvements"
 836 #  columns:
 837 #  -
 838 #    title: "Test Name"
 839 #    data: "template 1"
 840 #  -
 841 #    title: "16.09 mean [Mpps]"
 842 #    data: "template 2"
 843 #  -
 844 #    title: "17.01 mean [Mpps]"
 845 #    data: "template 3"
 846 #  -
 847 #    title: "17.04 mean [Mpps]"
 848 #    data: "template 4"
 849 #  -
 850 #    title: "17.07 mean [Mpps]"
 851 #    data: "data csit-vpp-perf-1707-all mean"
 852 #  -
 853 #    title: "17.10 mean [Mpps]"
 854 #    data: "data csit-vpp-perf-1710-all csit-ligato-perf-1710-all mean"
 855 #  -
 856 #    title: "18.01 mean [Mpps]"
 857 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all mean"
 858 #  -
 859 #    title: "18.01 stdev [Mpps]"
 860 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all stdev"
 861 #  -
 862 #    title: "17.10 to 18.01 change [%]"
 863 #    data: "operation relative_change 5 6"
 864 #  rows: "generated"
 865 #  data:
 866 #    "performance-improvements"
 867 #  filter: "template"
 868 #  parameters:
 869 #  - "throughput"
 870
 871 -
 872   type: "table"
 873   title: "Detailed Test Results - VPP Performance Results"
 874   algorithm: "table_merged_details"
 875   output-file-ext: ".csv"
 876   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
 877   columns:
 878   -
 879     title: "Name"
 880     data: "data name"
 881   -
 882     title: "Documentation"
 883     data: "data doc"
 884   -
 885     title: "Status"
 886     data: "data msg"
 887   rows: "generated"
 888   data:
 889     "vpp-perf-results"
 890   filter: "not 'NDRCHK' and not 'PDRCHK'"
 891   parameters:
 892   - "name"
 893   - "parent"
 894   - "doc"
 895   - "msg"
 896
 897 -
 898   type: "table"
 899   title: "Test configuration - VPP Performance Test Configs"
 900   algorithm: "table_merged_details"
 901   output-file-ext: ".csv"
 902   output-file: "{DIR[DTC,PERF,VPP]}/vpp_test_configuration"
 903   columns:
 904   -
 905     title: "Name"
 906     data: "data name"
 907   -
 908     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
 909     data: "data vat-history"
 910   rows: "generated"
 911   data:
 912     "vpp-perf-results"
 913   filter: "not 'NDRCHK' and not 'PDRCHK'"
 914   parameters:
 915   - "parent"
 916   - "name"
 917   - "vat-history"
 918
 919 -
 920   type: "table"
 921   title: "Test Operational Data - VPP Performance Operational Data"
 922   algorithm: "table_merged_details"
 923   output-file-ext: ".csv"
 924   output-file: "{DIR[DTO,PERF,VPP]}/vpp_test_operational"
 925   columns:
 926   -
 927     title: "Name"
 928     data: "data name"
 929   -
 930     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
 931     data: "data show-run"
 932   rows: "generated"
 933   data:
 934     "vpp-perf-results"
 935   filter: "not 'NDRCHK' and not 'PDRCHK'"
 936   parameters:
 937   - "parent"
 938   - "name"
 939   - "show-run"
 940
 941 -
 942   type: "table"
 943   title: "Detailed Test Results - VPP Functional Results"
 944   algorithm: "table_details"
 945   output-file-ext: ".csv"
 946   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
 947   columns:
 948   -
 949     title: "Name"
 950     data: "data name"
 951   -
 952     title: "Documentation"
 953     data: "data doc"
 954   -
 955     title: "Status"
 956     data: "data status"
 957   rows: "generated"
 958   data:
 959     "vpp-func-results"
 960   filter: "all"
 961   parameters:
 962   - "name"
 963   - "parent"
 964   - "doc"
 965   - "status"
 966
 967 -
 968   type: "table"
 969   title: "Test configuration - VPP Functional Test Configs"
 970   algorithm: "table_details"
 971   output-file-ext: ".csv"
 972   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
 973   columns:
 974   -
 975     title: "Name"
 976     data: "data name"
 977   -
 978     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
 979     data: "data vat-history"
 980   rows: "generated"
 981   data:
 982     "vpp-func-results"
 983   filter: "all"
 984   parameters:
 985   - "parent"
 986   - "name"
 987   - "vat-history"
 988
 989 -
 990   type: "table"
 991   title: "Detailed Test Results - Container Orchestrated Topologies Performance Results"
 992   algorithm: "table_details"
 993   output-file-ext: ".csv"
 994   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
 995   columns:
 996   -
 997     title: "Name"
 998     data: "data name"
 999   -
1000     title: "Documentation"
1001     data: "data doc"
1002   -
1003     title: "Status"
1004     data: "data msg"
1005   rows: "generated"
1006   data:
1007     "ligato-perf-results"
1008   filter: "all"
1009   parameters:
1010   - "name"
1011   - "parent"
1012   - "doc"
1013   - "msg"
1014
1015 -
1016   type: "table"
1017   title: "Detailed Test Results - DPDK Performance Results"
1018   algorithm: "table_details"
1019   output-file-ext: ".csv"
1020   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
1021   columns:
1022   -
1023     title: "Name"
1024     data: "data name"
1025   -
1026     title: "Documentation"
1027     data: "data doc"
1028   -
1029     title: "Status"
1030     data: "data msg"
1031   rows: "generated"
1032   data:
1033     "dpdk-perf-results"
1034   filter: "all"
1035   parameters:
1036   - "name"
1037   - "parent"
1038   - "doc"
1039   - "msg"
1040
1041 -
1042   type: "table"
1043   title: "Detailed Test Results - Honeycomb Functional Results"
1044   algorithm: "table_details"
1045   output-file-ext: ".csv"
1046   output-file: "{DIR[DTR,FUNC,HC]}/hc_functional_results"
1047   columns:
1048   -
1049     title: "Name"
1050     data: "data name"
1051   -
1052     title: "Documentation"
1053     data: "data doc"
1054   -
1055     title: "Status"
1056     data: "data status"
1057   rows: "generated"
1058   data:
1059     "hc-func-results"
1060   filter: "all"
1061   parameters:
1062   - "name"
1063   - "parent"
1064   - "doc"
1065   - "status"
1066
1067 -
1068   type: "table"
1069   title: "Detailed Test Results - NSH SFC Functional Results"
1070   algorithm: "table_details"
1071   output-file-ext: ".csv"
1072   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nsh_sfc_functional_results"
1073   columns:
1074   -
1075     title: "Name"
1076     data: "data name"
1077   -
1078     title: "Documentation"
1079     data: "data doc"
1080   -
1081     title: "Status"
1082     data: "data status"
1083   rows: "generated"
1084   data:
1085     "nsh-func-results"
1086   filter: "all"
1087   parameters:
1088   - "name"
1089   - "parent"
1090   - "doc"
1091   - "status"
1092
1093 ################################################################################
1094 ###                                F I L E S                                 ###
1095 ################################################################################
1096
1097 -
1098   type: "file"
1099   title: "VPP Performance Results"
1100   algorithm: "file_merged_test_results"
1101   output-file-ext: ".rst"
1102   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
1103   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1104   dir-tables: "{DIR[DTR,PERF,VPP]}"
1105   data:
1106     "vpp-perf-results"
1107   filter: "not 'NDRCHK' and not 'PDRCHK'"
1108   parameters:
1109   - "name"
1110   - "doc"
1111   - "level"
1112   - "parent"
1113   data-start-level: 3  # 0, 1, 2, ...
1114   chapters-start-level: 2  # 0, 1, 2, ...
1115
1116 -
1117   type: "file"
1118   title: "VPP Performance Configuration"
1119   algorithm: "file_merged_test_results"
1120   output-file-ext: ".rst"
1121   output-file: "{DIR[DTC,PERF,VPP]}/vpp_performance_configuration"
1122   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1123   dir-tables: "{DIR[DTC,PERF,VPP]}"
1124   data:
1125     "vpp-perf-results"
1126   filter: "not 'NDRCHK' and not 'PDRCHK'"
1127   parameters:
1128   - "name"
1129   - "doc"
1130   - "level"
1131   - "parent"
1132   data-start-level: 3  # 0, 1, 2, ...
1133   chapters-start-level: 2  # 0, 1, 2, ...
1134
1135 -
1136   type: "file"
1137   title: "VPP Performance Operational Data"
1138   algorithm: "file_merged_test_results"
1139   output-file-ext: ".rst"
1140   output-file: "{DIR[DTO,PERF,VPP]}/vpp_performance_operational_data"
1141   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1142   dir-tables: "{DIR[DTO,PERF,VPP]}"
1143   data:
1144     "vpp-perf-results"
1145   filter: "not 'NDRCHK' and not 'PDRCHK'"
1146   parameters:
1147   - "name"
1148   - "doc"
1149   - "level"
1150   - "parent"
1151   data-start-level: 3  # 0, 1, 2, ...
1152   chapters-start-level: 2  # 0, 1, 2, ...
1153
1154 -
1155   type: "file"
1156   title: "VPP Functional Results"
1157   algorithm: "file_test_results"
1158   output-file-ext: ".rst"
1159   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
1160   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1161   dir-tables: "{DIR[DTR,FUNC,VPP]}"
1162   data:
1163     "vpp-func-results"
1164   filter: "all"
1165   parameters:
1166   - "name"
1167   - "doc"
1168   - "level"
1169   data-start-level: 3  # 0, 1, 2, ...
1170   chapters-start-level: 2  # 0, 1, 2, ...
1171
1172 -
1173   type: "file"
1174   title: "VPP Functional Configuration"
1175   algorithm: "file_test_results"
1176   output-file-ext: ".rst"
1177   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
1178   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1179   dir-tables: "{DIR[DTC,FUNC,VPP]}"
1180   data:
1181     "vpp-func-results"
1182   filter: "all"
1183   parameters:
1184   - "name"
1185   - "doc"
1186   - "level"
1187   data-start-level: 3  # 0, 1, 2, ...
1188   chapters-start-level: 2  # 0, 1, 2, ...
1189
1190 -
1191   type: "file"
1192   title: "Container Orchestrated Performance Results"
1193   algorithm: "file_test_results"
1194   output-file-ext: ".rst"
1195   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
1196   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1197   dir-tables: "{DIR[DTR,PERF,COT]}"
1198   data:
1199     "ligato-perf-results"
1200   filter: "all"
1201   parameters:
1202   - "name"
1203   - "doc"
1204   - "level"
1205   data-start-level: 2  # 0, 1, 2, ...
1206   chapters-start-level: 2  # 0, 1, 2, ...
1207
1208 -
1209   type: "file"
1210   title: "DPDK Performance Results"
1211   algorithm: "file_test_results"
1212   output-file-ext: ".rst"
1213   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
1214   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1215   dir-tables: "{DIR[DTR,PERF,DPDK]}"
1216   data:
1217     "dpdk-perf-results"
1218   filter: "all"
1219   parameters:
1220   - "name"
1221   - "doc"
1222   - "level"
1223   chapters:
1224   - "suites"
1225   data-start-level: 2  # 0, 1, 2, ...
1226   chapters-start-level: 2  # 0, 1, 2, ...
1227
1228 -
1229   type: "file"
1230   title: "Honeycomb Functional Results"
1231   algorithm: "file_test_results"
1232   output-file-ext: ".rst"
1233   output-file: "{DIR[DTR,FUNC,HC]}/honeycomb_functional_results"
1234   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1235   dir-tables: "{DIR[DTR,FUNC,HC]}"
1236   data:
1237     "hc-func-results"
1238   filter: "all"
1239   parameters:
1240   - "name"
1241   - "doc"
1242   - "level"
1243   chapters:
1244   - "suites"
1245   data-start-level: 3  # 0, 1, 2, ...
1246   chapters-start-level: 2  # 0, 1, 2, ...
1247
1248 -
1249   type: "file"
1250   title: "NSH SFC Functional Results"
1251   algorithm: "file_test_results"
1252   output-file-ext: ".rst"
1253   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nshsfc_functional_results"
1254   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1255   dir-tables: "{DIR[DTR,FUNC,NSHSFC]}"
1256   data:
1257     "nsh-func-results"
1258   filter: "all"
1259   parameters:
1260   - "name"
1261   - "doc"
1262   - "level"
1263   chapters:
1264   - "suites"
1265   data-start-level: 2  # 0, 1, 2, ...
1266   chapters-start-level: 2  # 0, 1, 2, ...
1267
1268 ################################################################################
1269 ###                                P L O T S                                 ###
1270 ################################################################################
1271
1272 # Plots VPP HTTP Server Performance
1273 -
1274   type: "plot"
1275   title: "VPP HTTP Server Performance"
1276   algorithm: "plot_http_server_performance_box"
1277   output-file-type: ".html"
1278   output-file: "{DIR[STATIC,VPP]}/http-server-performance-cps"
1279   data:
1280     "plot-vpp-http-server-performance"
1281   # Keep this formatting, the filter is enclosed with " (quotation mark) and
1282   # each tag is enclosed with ' (apostrophe).
1283   filter: "'HTTP' and 'TCP_CPS'"
1284   parameters:
1285   - "result"
1286   - "name"
1287   traces:
1288     hoverinfo: "x+y"
1289     boxpoints: "outliers"
1290     whiskerwidth: 0
1291   layout:
1292     title: "VPP HTTP Server Performance"
1293     layout:
1294       "plot-cps"
1295
1296 -
1297   type: "plot"
1298   title: "VPP HTTP Server Performance"
1299   algorithm: "plot_http_server_performance_box"
1300   output-file-type: ".html"
1301   output-file: "{DIR[STATIC,VPP]}/http-server-performance-rps"
1302   data:
1303     "plot-vpp-http-server-performance"
1304   filter: "'HTTP' and 'TCP_RPS'"
1305   parameters:
1306   - "result"
1307   - "name"
1308   traces:
1309     hoverinfo: "x+y"
1310     boxpoints: "outliers"
1311     whiskerwidth: 0
1312   layout:
1313     title: "VPP HTTP Server Performance"
1314     layout:
1315       "plot-rps"
1316
1317 # Plot Throughput Speedup Analysis
1318
1319 # L2 - 10ge2p1x520 - NDR
1320 -
1321   type: "plot"
1322   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1323   algorithm: "plot_throughput_speedup_analysis"
1324   output-file-type: ".html"
1325   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-ndrdisc"
1326   data:
1327     "plot-throughput-speedup-analysis"
1328   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1329   parameters:
1330   - "throughput"
1331   - "parent"
1332   - "tags"
1333   layout:
1334     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1335     layout:
1336       "plot-throughput-speedup-analysis"
1337
1338 # L2 - 40ge2p1xl710 - NDR
1339 -
1340   type: "plot"
1341   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1342   algorithm: "plot_throughput_speedup_analysis"
1343   output-file-type: ".html"
1344   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-l2-tsa-ndrdisc"
1345   data:
1346     "plot-throughput-speedup-analysis"
1347   filter: "'NIC_Intel-XL710' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1348   parameters:
1349   - "throughput"
1350   - "parent"
1351   - "tags"
1352   layout:
1353     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1354     layout:
1355       "plot-throughput-speedup-analysis"
1356
1357 # L2 - 10ge2p1x520 - PDR
1358 -
1359   type: "plot"
1360   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1361   algorithm: "plot_throughput_speedup_analysis"
1362   output-file-type: ".html"
1363   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-pdrdisc"
1364   data:
1365     "plot-throughput-speedup-analysis"
1366   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1367   parameters:
1368   - "throughput"
1369   - "parent"
1370   - "tags"
1371   layout:
1372     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1373     layout:
1374       "plot-throughput-speedup-analysis"
1375
1376 # IPv4 - 10ge2p1x520 - NDR
1377 -
1378   type: "plot"
1379   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1380   algorithm: "plot_throughput_speedup_analysis"
1381   output-file-type: ".html"
1382   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-ndrdisc"
1383   data:
1384     "plot-throughput-speedup-analysis"
1385   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1386   parameters:
1387   - "throughput"
1388   - "parent"
1389   - "tags"
1390   layout:
1391     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1392     layout:
1393       "plot-throughput-speedup-analysis"
1394
1395 # IPv4 - 40ge2p1xl710 - NDR
1396 -
1397   type: "plot"
1398   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1399   algorithm: "plot_throughput_speedup_analysis"
1400   output-file-type: ".html"
1401   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-ip4-tsa-ndrdisc"
1402   data:
1403     "plot-throughput-speedup-analysis"
1404   filter: "'NIC_Intel-XL710' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1405   parameters:
1406   - "throughput"
1407   - "parent"
1408   - "tags"
1409   layout:
1410     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1411     layout:
1412       "plot-throughput-speedup-analysis"
1413
1414 # IPv4 - 10ge2p1x520 - PDR
1415 -
1416   type: "plot"
1417   title: "TSA: 64B-*-ethip4-ip4(base|scale)*pdrdisc"
1418   algorithm: "plot_throughput_speedup_analysis"
1419   output-file-type: ".html"
1420   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-pdrdisc"
1421   data:
1422     "plot-throughput-speedup-analysis"
1423   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1424   parameters:
1425   - "throughput"
1426   - "parent"
1427   - "tags"
1428   layout:
1429     title: "64B-*-ethip4-ip4(base|scale)*pdrdisc"
1430     layout:
1431       "plot-throughput-speedup-analysis"
1432
1433 # IPv6 - 10ge2p1x520 - NDR
1434 -
1435   type: "plot"
1436   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1437   algorithm: "plot_throughput_speedup_analysis"
1438   output-file-type: ".html"
1439   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-ndrdisc"
1440   data:
1441     "plot-throughput-speedup-analysis"
1442   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1443   parameters:
1444   - "throughput"
1445   - "parent"
1446   - "tags"
1447   layout:
1448     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1449     layout:
1450       "plot-throughput-speedup-analysis"
1451
1452 # IPv6 - 40ge2p1xl710 - NDR
1453 -
1454   type: "plot"
1455   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1456   algorithm: "plot_throughput_speedup_analysis"
1457   output-file-type: ".html"
1458   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-78B-ip6-tsa-ndrdisc"
1459   data:
1460     "plot-throughput-speedup-analysis"
1461   filter: "'NIC_Intel-XL710' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1462   parameters:
1463   - "throughput"
1464   - "parent"
1465   - "tags"
1466   layout:
1467     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1468     layout:
1469       "plot-throughput-speedup-analysis"
1470
1471 # IPv6 - 10ge2p1x520 - PDR
1472 -
1473   type: "plot"
1474   title: "TSA: 78B-*-ethip6-ip6(base|scale)*pdrdisc"
1475   algorithm: "plot_throughput_speedup_analysis"
1476   output-file-type: ".html"
1477   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-pdrdisc"
1478   data:
1479     "plot-throughput-speedup-analysis"
1480   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST'"
1481   parameters:
1482   - "throughput"
1483   - "parent"
1484   - "tags"
1485   layout:
1486     title: "78B-*-ethip6-ip6(base|scale)*pdrdisc"
1487     layout:
1488       "plot-throughput-speedup-analysis"
1489
1490 # Plot packets per second
1491
1492 # VPP L2 sel1
1493 -
1494   type: "plot"
1495   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1496   algorithm: "plot_performance_box"
1497   output-file-type: ".html"
1498   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc"
1499   data:
1500     "plot-vpp-throughput-latency"
1501   # Keep this formatting, the filter is enclosed with " (quotation mark) and
1502   # each tag is enclosed with ' (apostrophe).
1503   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1504   parameters:
1505   - "throughput"
1506   - "parent"
1507   traces:
1508     hoverinfo: "x+y"
1509     boxpoints: "outliers"
1510     whiskerwidth: 0
1511   layout:
1512     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1513     layout:
1514       "plot-throughput"
1515
1516 -
1517   type: "plot"
1518   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1519   algorithm: "plot_performance_box"
1520   output-file-type: ".html"
1521   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc"
1522   data:
1523     "plot-vpp-throughput-latency"
1524   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1525   parameters:
1526   - "throughput"
1527   - "parent"
1528   traces:
1529     hoverinfo: "x+y"
1530     boxpoints: "outliers"
1531     whiskerwidth: 0
1532   layout:
1533     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1534     layout:
1535       "plot-throughput"
1536
1537 -
1538   type: "plot"
1539   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1540   algorithm: "plot_performance_box"
1541   output-file-type: ".html"
1542   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-pdrdisc"
1543   data:
1544     "plot-vpp-throughput-latency"
1545   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1546   parameters:
1547   - "throughput"
1548   - "parent"
1549   traces:
1550     hoverinfo: "x+y"
1551     boxpoints: "outliers"
1552     whiskerwidth: 0
1553   layout:
1554     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1555     layout:
1556       "plot-throughput"
1557
1558 -
1559   type: "plot"
1560   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1561   algorithm: "plot_performance_box"
1562   output-file-type: ".html"
1563   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-pdrdisc"
1564   data:
1565     "plot-vpp-throughput-latency"
1566   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1567   parameters:
1568   - "throughput"
1569   - "parent"
1570   traces:
1571     hoverinfo: "x+y"
1572     boxpoints: "outliers"
1573     whiskerwidth: 0
1574   layout:
1575     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1576     layout:
1577       "plot-throughput"
1578
1579 # VPP L2 sel2
1580 -
1581   type: "plot"
1582   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1583   algorithm: "plot_performance_box"
1584   output-file-type: ".html"
1585   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc"
1586   data:
1587     "plot-vpp-throughput-latency"
1588   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1589   parameters:
1590   - "throughput"
1591   - "parent"
1592   traces:
1593     hoverinfo: "x+y"
1594     boxpoints: "outliers"
1595     whiskerwidth: 0
1596   layout:
1597     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1598     layout:
1599       "plot-throughput"
1600
1601 -
1602   type: "plot"
1603   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1604   algorithm: "plot_performance_box"
1605   output-file-type: ".html"
1606   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc"
1607   data:
1608     "plot-vpp-throughput-latency"
1609   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1610   parameters:
1611   - "throughput"
1612   - "parent"
1613   traces:
1614     hoverinfo: "x+y"
1615     boxpoints: "outliers"
1616     whiskerwidth: 0
1617   layout:
1618     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1619     layout:
1620       "plot-throughput"
1621
1622 -
1623   type: "plot"
1624   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1625   algorithm: "plot_performance_box"
1626   output-file-type: ".html"
1627   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-pdrdisc"
1628   data:
1629     "plot-vpp-throughput-latency"
1630   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1631   parameters:
1632   - "throughput"
1633   - "parent"
1634   traces:
1635     hoverinfo: "x+y"
1636     boxpoints: "outliers"
1637     whiskerwidth: 0
1638   layout:
1639     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1640     layout:
1641       "plot-throughput"
1642
1643 -
1644   type: "plot"
1645   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1646   algorithm: "plot_performance_box"
1647   output-file-type: ".html"
1648   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-pdrdisc"
1649   data:
1650     "plot-vpp-throughput-latency"
1651   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1652   parameters:
1653   - "throughput"
1654   - "parent"
1655   traces:
1656     hoverinfo: "x+y"
1657     boxpoints: "outliers"
1658     whiskerwidth: 0
1659   layout:
1660     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1661     layout:
1662       "plot-throughput"
1663
1664 # VPP IP4
1665 -
1666   type: "plot"
1667   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1668   algorithm: "plot_performance_box"
1669   output-file-type: ".html"
1670   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc"
1671   data:
1672     "plot-vpp-throughput-latency"
1673   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
1674   parameters:
1675   - "throughput"
1676   - "parent"
1677   traces:
1678     hoverinfo: "x+y"
1679     boxpoints: "outliers"
1680     whiskerwidth: 0
1681   layout:
1682     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1683     layout:
1684       "plot-throughput"
1685
1686 -
1687   type: "plot"
1688   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1689   algorithm: "plot_performance_box"
1690   output-file-type: ".html"
1691   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc"
1692   data:
1693     "plot-vpp-throughput-latency"
1694   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
1695   parameters:
1696   - "throughput"
1697   - "parent"
1698   traces:
1699     hoverinfo: "x+y"
1700     boxpoints: "outliers"
1701     whiskerwidth: 0
1702   layout:
1703     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1704     layout:
1705       "plot-throughput"
1706
1707 -
1708   type: "plot"
1709   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1710   algorithm: "plot_performance_box"
1711   output-file-type: ".html"
1712   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-pdrdisc"
1713   data:
1714     "plot-vpp-throughput-latency"
1715   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
1716   parameters:
1717   - "throughput"
1718   - "parent"
1719   traces:
1720     hoverinfo: "x+y"
1721     boxpoints: "outliers"
1722     whiskerwidth: 0
1723   layout:
1724     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1725     layout:
1726       "plot-throughput"
1727
1728 -
1729   type: "plot"
1730   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1731   algorithm: "plot_performance_box"
1732   output-file-type: ".html"
1733   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-pdrdisc"
1734   data:
1735     "plot-vpp-throughput-latency"
1736   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
1737   parameters:
1738   - "throughput"
1739   - "parent"
1740   traces:
1741     hoverinfo: "x+y"
1742     boxpoints: "outliers"
1743     whiskerwidth: 0
1744   layout:
1745     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1746     layout:
1747       "plot-throughput"
1748
1749 # VPP IP6
1750 -
1751   type: "plot"
1752   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1753   algorithm: "plot_performance_box"
1754   output-file-type: ".html"
1755   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc"
1756   data:
1757     "plot-vpp-throughput-latency"
1758   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1759   parameters:
1760   - "throughput"
1761   - "parent"
1762   traces:
1763     hoverinfo: "x+y"
1764     boxpoints: "outliers"
1765     whiskerwidth: 0
1766   layout:
1767     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1768     layout:
1769       "plot-throughput"
1770
1771 -
1772   type: "plot"
1773   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1774   algorithm: "plot_performance_box"
1775   output-file-type: ".html"
1776   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc"
1777   data:
1778     "plot-vpp-throughput-latency"
1779   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1780   parameters:
1781   - "throughput"
1782   - "parent"
1783   traces:
1784     hoverinfo: "x+y"
1785     boxpoints: "outliers"
1786     whiskerwidth: 0
1787   layout:
1788     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1789     layout:
1790       "plot-throughput"
1791
1792 -
1793   type: "plot"
1794   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1795   algorithm: "plot_performance_box"
1796   output-file-type: ".html"
1797   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-pdrdisc"
1798   data:
1799     "plot-vpp-throughput-latency"
1800   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1801   parameters:
1802   - "throughput"
1803   - "parent"
1804   traces:
1805     hoverinfo: "x+y"
1806     boxpoints: "outliers"
1807     whiskerwidth: 0
1808   layout:
1809     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1810     layout:
1811       "plot-throughput"
1812
1813 -
1814   type: "plot"
1815   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1816   algorithm: "plot_performance_box"
1817   output-file-type: ".html"
1818   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-pdrdisc"
1819   data:
1820     "plot-vpp-throughput-latency"
1821   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1822   parameters:
1823   - "throughput"
1824   - "parent"
1825   traces:
1826     hoverinfo: "x+y"
1827     boxpoints: "outliers"
1828     whiskerwidth: 0
1829   layout:
1830     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1831     layout:
1832       "plot-throughput"
1833
1834 # VPP IP4_overlay
1835 -
1836   type: "plot"
1837   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1838   algorithm: "plot_performance_box"
1839   output-file-type: ".html"
1840   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc"
1841   data:
1842     "plot-vpp-throughput-latency"
1843   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1844   parameters:
1845   - "throughput"
1846   - "parent"
1847   traces:
1848     hoverinfo: "x+y"
1849     boxpoints: "outliers"
1850     whiskerwidth: 0
1851   layout:
1852     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1853     layout:
1854       "plot-throughput"
1855
1856 -
1857   type: "plot"
1858   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1859   algorithm: "plot_performance_box"
1860   output-file-type: ".html"
1861   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc"
1862   data:
1863     "plot-vpp-throughput-latency"
1864   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1865   parameters:
1866   - "throughput"
1867   - "parent"
1868   traces:
1869     hoverinfo: "x+y"
1870     boxpoints: "outliers"
1871     whiskerwidth: 0
1872   layout:
1873     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1874     layout:
1875       "plot-throughput"
1876
1877 -
1878   type: "plot"
1879   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1880   algorithm: "plot_performance_box"
1881   output-file-type: ".html"
1882   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-pdrdisc"
1883   data:
1884     "plot-vpp-throughput-latency"
1885   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1886   parameters:
1887   - "throughput"
1888   - "parent"
1889   traces:
1890     hoverinfo: "x+y"
1891     boxpoints: "outliers"
1892     whiskerwidth: 0
1893   layout:
1894     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1895     layout:
1896       "plot-throughput"
1897
1898 -
1899   type: "plot"
1900   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1901   algorithm: "plot_performance_box"
1902   output-file-type: ".html"
1903   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-pdrdisc"
1904   data:
1905     "plot-vpp-throughput-latency"
1906   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1907   parameters:
1908   - "throughput"
1909   - "parent"
1910   traces:
1911     hoverinfo: "x+y"
1912     boxpoints: "outliers"
1913     whiskerwidth: 0
1914   layout:
1915     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1916     layout:
1917       "plot-throughput"
1918
1919 # VPP IP6_overlay
1920 -
1921   type: "plot"
1922   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1923   algorithm: "plot_performance_box"
1924   output-file-type: ".html"
1925   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc"
1926   data:
1927     "plot-vpp-throughput-latency"
1928   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1929   parameters:
1930   - "throughput"
1931   - "parent"
1932   traces:
1933     hoverinfo: "x+y"
1934     boxpoints: "outliers"
1935     whiskerwidth: 0
1936   layout:
1937     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1938     xaxis:
1939       autorange: True
1940       autotick: False
1941       fixedrange: False
1942       gridcolor: "rgb(238, 238, 238)"
1943       linecolor: "rgb(238, 238, 238)"
1944       linewidth: 1
1945       showgrid: True
1946       showline: True
1947       showticklabels: True
1948       tickcolor: "rgb(238, 238, 238)"
1949       tickmode: "linear"
1950       title: "Indexed Test Cases"
1951       zeroline: False
1952     yaxis:
1953       gridcolor: "rgb(238, 238, 238)'"
1954       hoverformat: ".4s"
1955       linecolor: "rgb(238, 238, 238)"
1956       linewidth: 1
1957       range: [2000000, 6000000]
1958       showgrid: True
1959       showline: True
1960       showticklabels: True
1961       tickcolor: "rgb(238, 238, 238)"
1962       title: "Packets Per Second [pps]"
1963       zeroline: False
1964     boxmode: "group"
1965     boxgroupgap: 0.5
1966     autosize: False
1967     margin:
1968       t: 50
1969       b: 20
1970       l: 50
1971       r: 20
1972     showlegend: True
1973     legend:
1974       orientation: "h"
1975     width: 700
1976     height: 1000
1977
1978 -
1979   type: "plot"
1980   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1981   algorithm: "plot_performance_box"
1982   output-file-type: ".html"
1983   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc"
1984   data:
1985     "plot-vpp-throughput-latency"
1986   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1987   parameters:
1988   - "throughput"
1989   - "parent"
1990   traces:
1991     hoverinfo: "x+y"
1992     boxpoints: "outliers"
1993     whiskerwidth: 0
1994   layout:
1995     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1996     layout:
1997       "plot-throughput"
1998
1999 -
2000   type: "plot"
2001   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2002   algorithm: "plot_performance_box"
2003   output-file-type: ".html"
2004   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-pdrdisc"
2005   data:
2006     "plot-vpp-throughput-latency"
2007   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2008   parameters:
2009   - "throughput"
2010   - "parent"
2011   traces:
2012     hoverinfo: "x+y"
2013     boxpoints: "outliers"
2014     whiskerwidth: 0
2015   layout:
2016     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2017     layout:
2018       "plot-throughput"
2019
2020 -
2021   type: "plot"
2022   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2023   algorithm: "plot_performance_box"
2024   output-file-type: ".html"
2025   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-pdrdisc"
2026   data:
2027     "plot-vpp-throughput-latency"
2028   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2029   parameters:
2030   - "throughput"
2031   - "parent"
2032   traces:
2033     hoverinfo: "x+y"
2034     boxpoints: "outliers"
2035     whiskerwidth: 0
2036   layout:
2037     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2038     xaxis:
2039       autorange: True
2040       autotick: False
2041       fixedrange: False
2042       gridcolor: "rgb(238, 238, 238)"
2043       linecolor: "rgb(238, 238, 238)"
2044       linewidth: 1
2045       showgrid: True
2046       showline: True
2047       showticklabels: True
2048       tickcolor: "rgb(238, 238, 238)"
2049       tickmode: "linear"
2050       title: "Indexed Test Cases"
2051       zeroline: False
2052     yaxis:
2053       gridcolor: "rgb(238, 238, 238)'"
2054       hoverformat: ".4s"
2055       linecolor: "rgb(238, 238, 238)"
2056       linewidth: 1
2057       range: [4000000, 12000000]
2058       showgrid: True
2059       showline: True
2060       showticklabels: True
2061       tickcolor: "rgb(238, 238, 238)"
2062       title: "Packets Per Second [pps]"
2063       zeroline: False
2064     boxmode: "group"
2065     boxgroupgap: 0.5
2066     autosize: False
2067     margin:
2068       t: 50
2069       b: 20
2070       l: 50
2071       r: 20
2072     showlegend: True
2073     legend:
2074       orientation: "h"
2075     width: 700
2076     height: 1000
2077
2078 # VPP VM VHOST
2079 -
2080   type: "plot"
2081   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2082   algorithm: "plot_performance_box"
2083   output-file-type: ".html"
2084   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc"
2085   data:
2086     "plot-vpp-throughput-latency"
2087   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2088   parameters:
2089   - "throughput"
2090   - "parent"
2091   traces:
2092     hoverinfo: "x+y"
2093     boxpoints: "outliers"
2094     whiskerwidth: 0
2095   layout:
2096     title: "64B-1t1c-.*vhost.*-ndrdisc"
2097     xaxis:
2098       autorange: True
2099       autotick: False
2100       fixedrange: False
2101       gridcolor: "rgb(238, 238, 238)"
2102       linecolor: "rgb(238, 238, 238)"
2103       linewidth: 1
2104       showgrid: True
2105       showline: True
2106       showticklabels: True
2107       tickcolor: "rgb(238, 238, 238)"
2108       tickmode: "linear"
2109       title: "Indexed Test Cases"
2110       zeroline: False
2111     yaxis:
2112       gridcolor: "rgb(238, 238, 238)'"
2113       hoverformat: ".4s"
2114       linecolor: "rgb(238, 238, 238)"
2115       linewidth: 1
2116       range: [0, 3500000]
2117       showgrid: True
2118       showline: True
2119       showticklabels: True
2120       tickcolor: "rgb(238, 238, 238)"
2121       title: "Packets Per Second [pps]"
2122       zeroline: False
2123     boxmode: "group"
2124     boxgroupgap: 0.5
2125     autosize: False
2126     margin:
2127       t: 50
2128       b: 20
2129       l: 50
2130       r: 20
2131     showlegend: True
2132     legend:
2133       orientation: "h"
2134     width: 700
2135     height: 1000
2136
2137 -
2138   type: "plot"
2139   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2140   algorithm: "plot_performance_box"
2141   output-file-type: ".html"
2142   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc"
2143   data:
2144     "plot-vpp-throughput-latency"
2145   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2146   parameters:
2147   - "throughput"
2148   - "parent"
2149   traces:
2150     hoverinfo: "x+y"
2151     boxpoints: "outliers"
2152     whiskerwidth: 0
2153   layout:
2154     title: "64B-2t2c-.*vhost.*-ndrdisc"
2155     layout:
2156       "plot-throughput"
2157
2158 -
2159   type: "plot"
2160   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2161   algorithm: "plot_performance_box"
2162   output-file-type: ".html"
2163   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-pdrdisc"
2164   data:
2165     "plot-vpp-throughput-latency"
2166   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2167   parameters:
2168   - "throughput"
2169   - "parent"
2170   traces:
2171     hoverinfo: "x+y"
2172     boxpoints: "outliers"
2173     whiskerwidth: 0
2174   layout:
2175     title: "64B-1t1c-.*vhost.*-pdrdisc"
2176     layout:
2177       "plot-throughput"
2178
2179 -
2180   type: "plot"
2181   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2182   algorithm: "plot_performance_box"
2183   output-file-type: ".html"
2184   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-pdrdisc"
2185   data:
2186     "plot-vpp-throughput-latency"
2187   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2188   parameters:
2189   - "throughput"
2190   - "parent"
2191   traces:
2192     hoverinfo: "x+y"
2193     boxpoints: "outliers"
2194     whiskerwidth: 0
2195   layout:
2196     title: "64B-2t2c-.*vhost.*-pdrdisc"
2197     layout:
2198       "plot-throughput"
2199
2200 # VPP VM VHOST SELECTION
2201 -
2202   type: "plot"
2203   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2204   algorithm: "plot_performance_box"
2205   output-file-type: ".html"
2206   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc"
2207   data:
2208     "plot-vpp-throughput-latency"
2209   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2210   parameters:
2211   - "throughput"
2212   - "parent"
2213   traces:
2214     hoverinfo: "x+y"
2215     boxpoints: "outliers"
2216     whiskerwidth: 0
2217   layout:
2218     title: "64B-1t1c-.*vhost.*-ndrdisc"
2219     layout:
2220       "plot-throughput"
2221
2222 -
2223   type: "plot"
2224   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2225   algorithm: "plot_performance_box"
2226   output-file-type: ".html"
2227   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc"
2228   data:
2229     "plot-vpp-throughput-latency"
2230   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2231   parameters:
2232   - "throughput"
2233   - "parent"
2234   traces:
2235     hoverinfo: "x+y"
2236     boxpoints: "outliers"
2237     whiskerwidth: 0
2238   layout:
2239     title: "64B-2t2c-.*vhost.*-ndrdisc"
2240     layout:
2241       "plot-throughput"
2242
2243 -
2244   type: "plot"
2245   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2246   algorithm: "plot_performance_box"
2247   output-file-type: ".html"
2248   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-pdrdisc"
2249   data:
2250     "plot-vpp-throughput-latency"
2251   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2252   parameters:
2253   - "throughput"
2254   - "parent"
2255   traces:
2256     hoverinfo: "x+y"
2257     boxpoints: "outliers"
2258     whiskerwidth: 0
2259   layout:
2260     title: "64B-1t1c-.*vhost.*-pdrdisc"
2261     layout:
2262       "plot-throughput"
2263
2264 -
2265   type: "plot"
2266   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2267   algorithm: "plot_performance_box"
2268   output-file-type: ".html"
2269   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-pdrdisc"
2270   data:
2271     "plot-vpp-throughput-latency"
2272   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2273   parameters:
2274   - "throughput"
2275   - "parent"
2276   traces:
2277     hoverinfo: "x+y"
2278     boxpoints: "outliers"
2279     whiskerwidth: 0
2280   layout:
2281     title: "64B-2t2c-.*vhost.*-pdrdisc"
2282     layout:
2283       "plot-throughput"
2284
2285 # VPP CRYPTO
2286 -
2287   type: "plot"
2288   title: "VPP Performance 64B-1t1c-.*ipsec.*-ndrdisc"
2289   algorithm: "plot_performance_box"
2290   output-file-type: ".html"
2291   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc"
2292   data:
2293     "plot-vpp-throughput-latency"
2294   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2295   parameters:
2296   - "throughput"
2297   - "parent"
2298   traces:
2299     hoverinfo: "x+y"
2300     boxpoints: "outliers"
2301     whiskerwidth: 0
2302   layout:
2303     title: "64B-1t1c-.*ipsec.*-ndrdisc"
2304     layout:
2305       "plot-throughput"
2306
2307 -
2308   type: "plot"
2309   title: "VPP Performance 64B-2t2c-.*ipsec.*-ndrdisc"
2310   algorithm: "plot_performance_box"
2311   output-file-type: ".html"
2312   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc"
2313   data:
2314     "plot-vpp-throughput-latency"
2315   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2316   parameters:
2317   - "throughput"
2318   - "parent"
2319   traces:
2320     hoverinfo: "x+y"
2321     boxpoints: "outliers"
2322     whiskerwidth: 0
2323   layout:
2324     title: "64B-2t2c-.*ipsec.*-ndrdisc"
2325     layout:
2326       "plot-throughput"
2327
2328 -
2329   type: "plot"
2330   title: "VPP Performance 64B-1t1c-.*ipsec.*-pdrdisc"
2331   algorithm: "plot_performance_box"
2332   output-file-type: ".html"
2333   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-pdrdisc"
2334   data:
2335     "plot-vpp-throughput-latency"
2336   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2337   parameters:
2338   - "throughput"
2339   - "parent"
2340   traces:
2341     hoverinfo: "x+y"
2342     boxpoints: "outliers"
2343     whiskerwidth: 0
2344   layout:
2345     title: "64B-1t1c-.*ipsec.*-pdrdisc"
2346     layout:
2347       "plot-throughput"
2348
2349 -
2350   type: "plot"
2351   title: "VPP Performance 64B-2t2c-.*ipsec.*-pdrdisc"
2352   algorithm: "plot_performance_box"
2353   output-file-type: ".html"
2354   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-pdrdisc"
2355   data:
2356     "plot-vpp-throughput-latency"
2357   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2358   parameters:
2359   - "throughput"
2360   - "parent"
2361   traces:
2362     hoverinfo: "x+y"
2363     boxpoints: "outliers"
2364     whiskerwidth: 0
2365   layout:
2366     title: "64B-2t2c-.*ipsec.*-pdrdisc"
2367     layout:
2368       "plot-throughput"
2369
2370 # DPDK
2371 -
2372   type: "plot"
2373   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2374   algorithm: "plot_performance_box"
2375   output-file-type: ".html"
2376   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc"
2377   data:
2378     "plot-dpdk-throughput-latency"
2379   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2380   parameters:
2381   - "throughput"
2382   - "parent"
2383   traces:
2384     hoverinfo: "x+y"
2385     boxpoints: "outliers"
2386     whiskerwidth: 0
2387   layout:
2388     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2389     layout:
2390       "plot-throughput"
2391
2392 -
2393   type: "plot"
2394   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2395   algorithm: "plot_performance_box"
2396   output-file-type: ".html"
2397   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc"
2398   data:
2399     "plot-dpdk-throughput-latency"
2400   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2401   parameters:
2402   - "throughput"
2403   - "parent"
2404   traces:
2405     hoverinfo: "x+y"
2406     boxpoints: "outliers"
2407     whiskerwidth: 0
2408   layout:
2409     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2410     layout:
2411       "plot-throughput"
2412
2413 -
2414   type: "plot"
2415   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2416   algorithm: "plot_performance_box"
2417   output-file-type: ".html"
2418   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc"
2419   data:
2420     "plot-dpdk-throughput-latency"
2421   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
2422   parameters:
2423   - "throughput"
2424   - "parent"
2425   traces:
2426     hoverinfo: "x+y"
2427     boxpoints: "outliers"
2428     whiskerwidth: 0
2429   layout:
2430     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2431     xaxis:
2432       autorange: True
2433       autotick: False
2434       fixedrange: False
2435       gridcolor: "rgb(238, 238, 238)"
2436       linecolor: "rgb(238, 238, 238)"
2437       linewidth: 1
2438       showgrid: True
2439       showline: True
2440       showticklabels: True
2441       tickcolor: "rgb(238, 238, 238)"
2442       tickmode: "linear"
2443       title: "Indexed Test Cases"
2444       zeroline: False
2445     yaxis:
2446       gridcolor: "rgb(238, 238, 238)'"
2447       hoverformat: ".4s"
2448       linecolor: "rgb(238, 238, 238)"
2449       linewidth: 1
2450       range: [2000000, 12000000]
2451       showgrid: True
2452       showline: True
2453       showticklabels: True
2454       tickcolor: "rgb(238, 238, 238)"
2455       title: "Packets Per Second [pps]"
2456       zeroline: False
2457     boxmode: "group"
2458     boxgroupgap: 0.5
2459     autosize: False
2460     margin:
2461       t: 50
2462       b: 20
2463       l: 50
2464       r: 20
2465     showlegend: True
2466     legend:
2467       orientation: "h"
2468     width: 700
2469     height: 1000
2470
2471 -
2472   type: "plot"
2473   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2474   algorithm: "plot_performance_box"
2475   output-file-type: ".html"
2476   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc"
2477   data:
2478     "plot-dpdk-throughput-latency"
2479   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
2480   parameters:
2481   - "throughput"
2482   - "parent"
2483   traces:
2484     hoverinfo: "x+y"
2485     boxpoints: "outliers"
2486     whiskerwidth: 0
2487   layout:
2488     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2489     xaxis:
2490       autorange: True
2491       autotick: False
2492       fixedrange: False
2493       gridcolor: "rgb(238, 238, 238)"
2494       linecolor: "rgb(238, 238, 238)"
2495       linewidth: 1
2496       showgrid: True
2497       showline: True
2498       showticklabels: True
2499       tickcolor: "rgb(238, 238, 238)"
2500       tickmode: "linear"
2501       title: "Indexed Test Cases"
2502       zeroline: False
2503     yaxis:
2504       gridcolor: "rgb(238, 238, 238)'"
2505       hoverformat: ".4s"
2506       linecolor: "rgb(238, 238, 238)"
2507       linewidth: 1
2508       range: [2000000, 12000000]
2509       showgrid: True
2510       showline: True
2511       showticklabels: True
2512       tickcolor: "rgb(238, 238, 238)"
2513       title: "Packets Per Second [pps]"
2514       zeroline: False
2515     boxmode: "group"
2516     boxgroupgap: 0.5
2517     autosize: False
2518     margin:
2519       t: 50
2520       b: 20
2521       l: 50
2522       r: 20
2523     showlegend: True
2524     legend:
2525       orientation: "h"
2526     width: 700
2527     height: 1000
2528
2529 -
2530   type: "plot"
2531   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2532   algorithm: "plot_performance_box"
2533   output-file-type: ".html"
2534   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-pdrdisc"
2535   data:
2536     "plot-dpdk-throughput-latency"
2537   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2538   parameters:
2539   - "throughput"
2540   - "parent"
2541   traces:
2542     hoverinfo: "x+y"
2543     boxpoints: "outliers"
2544     whiskerwidth: 0
2545   layout:
2546     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2547     layout:
2548       "plot-throughput"
2549
2550 -
2551   type: "plot"
2552   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2553   algorithm: "plot_performance_box"
2554   output-file-type: ".html"
2555   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-pdrdisc"
2556   data:
2557     "plot-dpdk-throughput-latency"
2558   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2559   parameters:
2560   - "throughput"
2561   - "parent"
2562   traces:
2563     hoverinfo: "x+y"
2564     boxpoints: "outliers"
2565     whiskerwidth: 0
2566   layout:
2567     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2568     layout:
2569       "plot-throughput"
2570
2571 -
2572   type: "plot"
2573   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
2574   algorithm: "plot_performance_box"
2575   output-file-type: ".html"
2576   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-pdrdisc"
2577   data:
2578     "plot-dpdk-throughput-latency"
2579   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD'"
2580   parameters:
2581   - "throughput"
2582   - "parent"
2583   traces:
2584     hoverinfo: "x+y"
2585     boxpoints: "outliers"
2586     whiskerwidth: 0
2587   layout:
2588     title: "64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
2589     xaxis:
2590       autorange: True
2591       autotick: False
2592       fixedrange: False
2593       gridcolor: "rgb(238, 238, 238)"
2594       linecolor: "rgb(238, 238, 238)"
2595       linewidth: 1
2596       showgrid: True
2597       showline: True
2598       showticklabels: True
2599       tickcolor: "rgb(238, 238, 238)"
2600       tickmode: "linear"
2601       title: "Indexed Test Cases"
2602       zeroline: False
2603     yaxis:
2604       gridcolor: "rgb(238, 238, 238)'"
2605       hoverformat: ".4s"
2606       linecolor: "rgb(238, 238, 238)"
2607       linewidth: 1
2608       range: [20000000, 30000000]
2609       showgrid: True
2610       showline: True
2611       showticklabels: True
2612       tickcolor: "rgb(238, 238, 238)"
2613       title: "Packets Per Second [pps]"
2614       zeroline: False
2615     boxmode: "group"
2616     boxgroupgap: 0.5
2617     autosize: False
2618     margin:
2619       t: 50
2620       b: 20
2621       l: 50
2622       r: 20
2623     showlegend: True
2624     legend:
2625       orientation: "h"
2626     width: 700
2627     height: 1000
2628
2629 -
2630   type: "plot"
2631   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
2632   algorithm: "plot_performance_box"
2633   output-file-type: ".html"
2634   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-pdrdisc"
2635   data:
2636     "plot-dpdk-throughput-latency"
2637   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD'"
2638   parameters:
2639   - "throughput"
2640   - "parent"
2641   traces:
2642     hoverinfo: "x+y"
2643     boxpoints: "outliers"
2644     whiskerwidth: 0
2645   layout:
2646     title: "64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
2647     xaxis:
2648       autorange: True
2649       autotick: False
2650       fixedrange: False
2651       gridcolor: "rgb(238, 238, 238)"
2652       linecolor: "rgb(238, 238, 238)"
2653       linewidth: 1
2654       showgrid: True
2655       showline: True
2656       showticklabels: True
2657       tickcolor: "rgb(238, 238, 238)"
2658       tickmode: "linear"
2659       title: "Indexed Test Cases"
2660       zeroline: False
2661     yaxis:
2662       gridcolor: "rgb(238, 238, 238)'"
2663       hoverformat: ".4s"
2664       linecolor: "rgb(238, 238, 238)"
2665       linewidth: 1
2666       range: [20000000, 30000000]
2667       showgrid: True
2668       showline: True
2669       showticklabels: True
2670       tickcolor: "rgb(238, 238, 238)"
2671       title: "Packets Per Second [pps]"
2672       zeroline: False
2673     boxmode: "group"
2674     boxgroupgap: 0.5
2675     autosize: False
2676     margin:
2677       t: 50
2678       b: 20
2679       l: 50
2680       r: 20
2681     showlegend: True
2682     legend:
2683       orientation: "h"
2684     width: 700
2685     height: 1000
2686
2687 # Plot latency
2688
2689 # VPP L2 sel1
2690 -
2691   type: "plot"
2692   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2693   algorithm: "plot_latency_box"
2694   output-file-type: ".html"
2695   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc-lat50"
2696   data:
2697     "plot-vpp-throughput-latency"
2698   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2699   parameters:
2700   - "latency"
2701   - "parent"
2702   traces:
2703     boxmean: False
2704   layout:
2705     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2706     layout:
2707       "plot-latency"
2708
2709 -
2710   type: "plot"
2711   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2712   algorithm: "plot_latency_box"
2713   output-file-type: ".html"
2714   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc-lat50"
2715   data:
2716     "plot-vpp-throughput-latency"
2717   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2718   parameters:
2719   - "latency"
2720   - "parent"
2721   traces:
2722     boxmean: False
2723   layout:
2724     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2725     layout:
2726       "plot-latency"
2727
2728 # VPP L2 sel2
2729 -
2730   type: "plot"
2731   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2732   algorithm: "plot_latency_box"
2733   output-file-type: ".html"
2734   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc-lat50"
2735   data:
2736     "plot-vpp-throughput-latency"
2737   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2738   parameters:
2739   - "latency"
2740   - "parent"
2741   traces:
2742     boxmean: False
2743   layout:
2744     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2745     layout:
2746       "plot-latency"
2747
2748 -
2749   type: "plot"
2750   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2751   algorithm: "plot_latency_box"
2752   output-file-type: ".html"
2753   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc-lat50"
2754   data:
2755     "plot-vpp-throughput-latency"
2756   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2757   parameters:
2758   - "latency"
2759   - "parent"
2760   traces:
2761     boxmean: False
2762   layout:
2763     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2764     layout:
2765       "plot-latency"
2766
2767 # VPP IP4
2768 -
2769   type: "plot"
2770   title: "VPP Latency 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2771   algorithm: "plot_latency_box"
2772   output-file-type: ".html"
2773   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc-lat50"
2774   data:
2775     "plot-vpp-throughput-latency"
2776   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
2777   parameters:
2778   - "latency"
2779   - "parent"
2780   traces:
2781     boxmean: False
2782   layout:
2783     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2784     layout:
2785       "plot-latency"
2786
2787 -
2788   type: "plot"
2789   title: "VPP Latency 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2790   algorithm: "plot_latency_box"
2791   output-file-type: ".html"
2792   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc-lat50"
2793   data:
2794     "plot-vpp-throughput-latency"
2795   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
2796   parameters:
2797   - "latency"
2798   - "parent"
2799   traces:
2800     boxmean: False
2801   layout:
2802     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2803     layout:
2804       "plot-latency"
2805
2806 # VPP IP6
2807 -
2808   type: "plot"
2809   title: "VPP Latency 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2810   algorithm: "plot_latency_box"
2811   output-file-type: ".html"
2812   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc-lat50"
2813   data:
2814     "plot-vpp-throughput-latency"
2815   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2816   parameters:
2817   - "latency"
2818   - "parent"
2819   traces:
2820     boxmean: False
2821   layout:
2822     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2823     layout:
2824       "plot-latency"
2825
2826 -
2827   type: "plot"
2828   title: "VPP Latency 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2829   algorithm: "plot_latency_box"
2830   output-file-type: ".html"
2831   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc-lat50"
2832   data:
2833     "plot-vpp-throughput-latency"
2834   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2835   parameters:
2836   - "latency"
2837   - "parent"
2838   traces:
2839     boxmean: False
2840   layout:
2841     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2842     layout:
2843       "plot-latency"
2844
2845 # VPP IP4_overlay
2846 -
2847   type: "plot"
2848   title: "VPP Latency 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2849   algorithm: "plot_latency_box"
2850   output-file-type: ".html"
2851   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc-lat50"
2852   data:
2853     "plot-vpp-throughput-latency"
2854   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2855   parameters:
2856   - "latency"
2857   - "parent"
2858   traces:
2859     boxmean: False
2860   layout:
2861     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2862     layout:
2863       "plot-latency"
2864
2865 -
2866   type: "plot"
2867   title: "VPP Latency 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2868   algorithm: "plot_latency_box"
2869   output-file-type: ".html"
2870   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc-lat50"
2871   data:
2872     "plot-vpp-throughput-latency"
2873   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2874   parameters:
2875   - "latency"
2876   - "parent"
2877   traces:
2878     boxmean: False
2879   layout:
2880     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2881     layout:
2882       "plot-latency"
2883
2884 # VPP IP6_overlay
2885 -
2886   type: "plot"
2887   title: "VPP Latency 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2888   algorithm: "plot_latency_box"
2889   output-file-type: ".html"
2890   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc-lat50"
2891   data:
2892     "plot-vpp-throughput-latency"
2893   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2894   parameters:
2895   - "latency"
2896   - "parent"
2897   traces:
2898     boxmean: False
2899   layout:
2900     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2901     layout:
2902       "plot-latency"
2903
2904 -
2905   type: "plot"
2906   title: "VPP Latency 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2907   algorithm: "plot_latency_box"
2908   output-file-type: ".html"
2909   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc-lat50"
2910   data:
2911     "plot-vpp-throughput-latency"
2912   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2913   parameters:
2914   - "latency"
2915   - "parent"
2916   traces:
2917     boxmean: False
2918   layout:
2919     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2920     layout:
2921       "plot-latency"
2922
2923 # VPP VM VHOST
2924 -
2925   type: "plot"
2926   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
2927   algorithm: "plot_latency_box"
2928   output-file-type: ".html"
2929   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc-lat50"
2930   data:
2931     "plot-vpp-throughput-latency"
2932   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2933   parameters:
2934   - "latency"
2935   - "parent"
2936   traces:
2937     boxmean: False
2938   layout:
2939     title: "64B-1t1c-.*vhost.*-ndrdisc"
2940     layout:
2941       "plot-latency"
2942
2943 -
2944   type: "plot"
2945   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
2946   algorithm: "plot_latency_box"
2947   output-file-type: ".html"
2948   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc-lat50"
2949   data:
2950     "plot-vpp-throughput-latency"
2951   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2952   parameters:
2953   - "latency"
2954   - "parent"
2955   traces:
2956     boxmean: False
2957   layout:
2958     title: "64B-2t2c-.*vhost.*-ndrdisc"
2959     layout:
2960       "plot-latency"
2961
2962 # VPP VM VHOST selection
2963 -
2964   type: "plot"
2965   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
2966   algorithm: "plot_latency_box"
2967   output-file-type: ".html"
2968   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc-lat50"
2969   data:
2970     "plot-vpp-throughput-latency"
2971   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2972   parameters:
2973   - "latency"
2974   - "parent"
2975   traces:
2976     boxmean: False
2977   layout:
2978     title: "64B-1t1c-.*vhost.*-ndrdisc"
2979     layout:
2980       "plot-latency"
2981
2982 -
2983   type: "plot"
2984   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
2985   algorithm: "plot_latency_box"
2986   output-file-type: ".html"
2987   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc-lat50"
2988   data:
2989     "plot-vpp-throughput-latency"
2990   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2991   parameters:
2992   - "latency"
2993   - "parent"
2994   traces:
2995     boxmean: False
2996   layout:
2997     title: "64B-2t2c-.*vhost.*-ndrdisc"
2998     layout:
2999       "plot-latency"
3000
3001 # VPP CRYPTO
3002 -
3003   type: "plot"
3004   title: "VPP Latency 64B-1t1c-.*ipsec.*-ndrdisc"
3005   algorithm: "plot_latency_box"
3006   output-file-type: ".html"
3007   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc-lat50"
3008   data:
3009     "plot-vpp-throughput-latency"
3010   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
3011   parameters:
3012   - "latency"
3013   - "parent"
3014   traces:
3015     boxmean: False
3016   layout:
3017     title: "64B-1t1c-.*ipsec.*-ndrdisc"
3018     layout:
3019       "plot-latency"
3020
3021 -
3022   type: "plot"
3023   title: "VPP Latency 64B-2t2c-.*ipsec.*-ndrdisc"
3024   algorithm: "plot_latency_box"
3025   output-file-type: ".html"
3026   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc-lat50"
3027   data:
3028     "plot-vpp-throughput-latency"
3029   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
3030   parameters:
3031   - "latency"
3032   - "parent"
3033   traces:
3034     boxmean: False
3035   layout:
3036     title: "64B-2t2c-.*ipsec.*-ndrdisc"
3037     layout:
3038       "plot-latency"
3039
3040 # DPDK
3041 -
3042   type: "plot"
3043   title: "DPDK Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3044   algorithm: "plot_latency_box"
3045   output-file-type: ".html"
3046   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc-lat50"
3047   data:
3048     "plot-dpdk-throughput-latency"
3049   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3050   parameters:
3051   - "latency"
3052   - "parent"
3053   traces:
3054     boxmean: False
3055   layout:
3056     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3057     layout:
3058       "plot-latency"
3059
3060 -
3061   type: "plot"
3062   title: "DPDK Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3063   algorithm: "plot_latency_box"
3064   output-file-type: ".html"
3065   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc-lat50"
3066   data:
3067     "plot-dpdk-throughput-latency"
3068   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3069   parameters:
3070   - "latency"
3071   - "parent"
3072   traces:
3073     boxmean: False
3074   layout:
3075     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3076     layout:
3077       "plot-latency"
3078
3079 -
3080   type: "plot"
3081   title: "DPDK Latency 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3082   algorithm: "plot_latency_box"
3083   output-file-type: ".html"
3084   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc-lat50"
3085   data:
3086     "plot-dpdk-throughput-latency"
3087   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
3088   parameters:
3089   - "latency"
3090   - "parent"
3091   traces:
3092     boxmean: False
3093   layout:
3094     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3095     layout:
3096       "plot-latency"
3097
3098 -
3099   type: "plot"
3100   title: "DPDK Latency 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3101   algorithm: "plot_latency_box"
3102   output-file-type: ".html"
3103   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc-lat50"
3104   data:
3105     "plot-dpdk-throughput-latency"
3106   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
3107   parameters:
3108   - "latency"
3109   - "parent"
3110   traces:
3111     boxmean: False
3112   layout:
3113     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3114     layout:
3115       "plot-latency"
3116
3117 # Ligato - Throughput
3118
3119 # Container memif
3120 -
3121   type: "plot"
3122   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3123   algorithm: "plot_performance_box"
3124   output-file-type: ".html"
3125   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc"
3126   data:
3127     "plot-vpp-throughput-latency"
3128   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3129   parameters:
3130   - "throughput"
3131   - "parent"
3132   traces:
3133     hoverinfo: "x+y"
3134     boxpoints: "outliers"
3135     whiskerwidth: 0
3136   layout:
3137     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3138     xaxis:
3139       autorange: True
3140       autotick: False
3141       fixedrange: False
3142       gridcolor: "rgb(238, 238, 238)"
3143       linecolor: "rgb(238, 238, 238)"
3144       linewidth: 1
3145       showgrid: True
3146       showline: True
3147       showticklabels: True
3148       tickcolor: "rgb(238, 238, 238)"
3149       tickmode: "linear"
3150       title: "Indexed Test Cases"
3151       zeroline: False
3152     yaxis:
3153       gridcolor: "rgb(238, 238, 238)'"
3154       hoverformat: ".4s"
3155       linecolor: "rgb(238, 238, 238)"
3156       linewidth: 1
3157       range: [0, 4500000]
3158       showgrid: True
3159       showline: True
3160       showticklabels: True
3161       tickcolor: "rgb(238, 238, 238)"
3162       title: "Packets Per Second [pps]"
3163       zeroline: False
3164     boxmode: "group"
3165     boxgroupgap: 0.5
3166     autosize: False
3167     margin:
3168       t: 50
3169       b: 20
3170       l: 50
3171       r: 20
3172     showlegend: True
3173     legend:
3174       orientation: "h"
3175     width: 700
3176     height: 1000
3177
3178 -
3179   type: "plot"
3180   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3181   algorithm: "plot_performance_box"
3182   output-file-type: ".html"
3183   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc"
3184   data:
3185     "plot-vpp-throughput-latency"
3186   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3187   parameters:
3188   - "throughput"
3189   - "parent"
3190   traces:
3191     hoverinfo: "x+y"
3192     boxpoints: "outliers"
3193     whiskerwidth: 0
3194   layout:
3195     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3196     xaxis:
3197       autorange: True
3198       autotick: False
3199       fixedrange: False
3200       gridcolor: "rgb(238, 238, 238)"
3201       linecolor: "rgb(238, 238, 238)"
3202       linewidth: 1
3203       showgrid: True
3204       showline: True
3205       showticklabels: True
3206       tickcolor: "rgb(238, 238, 238)"
3207       tickmode: "linear"
3208       title: "Indexed Test Cases"
3209       zeroline: False
3210     yaxis:
3211       gridcolor: "rgb(238, 238, 238)'"
3212       hoverformat: ".4s"
3213       linecolor: "rgb(238, 238, 238)"
3214       linewidth: 1
3215       range: [0, 8000000]
3216       showgrid: True
3217       showline: True
3218       showticklabels: True
3219       tickcolor: "rgb(238, 238, 238)"
3220       title: "Packets Per Second [pps]"
3221       zeroline: False
3222     boxmode: "group"
3223     boxgroupgap: 0.5
3224     autosize: False
3225     margin:
3226       t: 50
3227       b: 20
3228       l: 50
3229       r: 20
3230     showlegend: True
3231     legend:
3232       orientation: "h"
3233     width: 700
3234     height: 1000
3235
3236 -
3237   type: "plot"
3238   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3239   algorithm: "plot_performance_box"
3240   output-file-type: ".html"
3241   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-pdrdisc"
3242   data:
3243     "plot-vpp-throughput-latency"
3244   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3245   parameters:
3246   - "throughput"
3247   - "parent"
3248   traces:
3249     hoverinfo: "x+y"
3250     boxpoints: "outliers"
3251     whiskerwidth: 0
3252   layout:
3253     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3254     xaxis:
3255       autorange: True
3256       autotick: False
3257       fixedrange: False
3258       gridcolor: "rgb(238, 238, 238)"
3259       linecolor: "rgb(238, 238, 238)"
3260       linewidth: 1
3261       showgrid: True
3262       showline: True
3263       showticklabels: True
3264       tickcolor: "rgb(238, 238, 238)"
3265       tickmode: "linear"
3266       title: "Indexed Test Cases"
3267       zeroline: False
3268     yaxis:
3269       gridcolor: "rgb(238, 238, 238)'"
3270       hoverformat: ".4s"
3271       linecolor: "rgb(238, 238, 238)"
3272       linewidth: 1
3273       range: [0, 4500000]
3274       showgrid: True
3275       showline: True
3276       showticklabels: True
3277       tickcolor: "rgb(238, 238, 238)"
3278       title: "Packets Per Second [pps]"
3279       zeroline: False
3280     boxmode: "group"
3281     boxgroupgap: 0.5
3282     autosize: False
3283     margin:
3284       t: 50
3285       b: 20
3286       l: 50
3287       r: 20
3288     showlegend: True
3289     legend:
3290       orientation: "h"
3291     width: 700
3292     height: 1000
3293
3294 -
3295   type: "plot"
3296   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3297   algorithm: "plot_performance_box"
3298   output-file-type: ".html"
3299   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-pdrdisc"
3300   data:
3301     "plot-vpp-throughput-latency"
3302   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3303   parameters:
3304   - "throughput"
3305   - "parent"
3306   traces:
3307     hoverinfo: "x+y"
3308     boxpoints: "outliers"
3309     whiskerwidth: 0
3310   layout:
3311     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3312     xaxis:
3313       autorange: True
3314       autotick: False
3315       fixedrange: False
3316       gridcolor: "rgb(238, 238, 238)"
3317       linecolor: "rgb(238, 238, 238)"
3318       linewidth: 1
3319       showgrid: True
3320       showline: True
3321       showticklabels: True
3322       tickcolor: "rgb(238, 238, 238)"
3323       tickmode: "linear"
3324       title: "Indexed Test Cases"
3325       zeroline: False
3326     yaxis:
3327       gridcolor: "rgb(238, 238, 238)'"
3328       hoverformat: ".4s"
3329       linecolor: "rgb(238, 238, 238)"
3330       linewidth: 1
3331       range: [0, 8000000]
3332       showgrid: True
3333       showline: True
3334       showticklabels: True
3335       tickcolor: "rgb(238, 238, 238)"
3336       title: "Packets Per Second [pps]"
3337       zeroline: False
3338     boxmode: "group"
3339     boxgroupgap: 0.5
3340     autosize: False
3341     margin:
3342       t: 50
3343       b: 20
3344       l: 50
3345       r: 20
3346     showlegend: True
3347     legend:
3348       orientation: "h"
3349     width: 700
3350     height: 1000
3351
3352 # Container orchestrated
3353 -
3354   type: "plot"
3355   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3356   algorithm: "plot_performance_box"
3357   output-file-type: ".html"
3358   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc"
3359   data:
3360     "plot-ligato-throughput-latency"
3361   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3362   parameters:
3363   - "throughput"
3364   - "parent"
3365   traces:
3366     hoverinfo: "x+y"
3367     boxpoints: "outliers"
3368     whiskerwidth: 0
3369   layout:
3370     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3371     layout:
3372       "plot-throughput"
3373
3374 -
3375   type: "plot"
3376   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3377   algorithm: "plot_performance_box"
3378   output-file-type: ".html"
3379   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc"
3380   data:
3381     "plot-ligato-throughput-latency"
3382   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3383   parameters:
3384   - "throughput"
3385   - "parent"
3386   traces:
3387     hoverinfo: "x+y"
3388     boxpoints: "outliers"
3389     whiskerwidth: 0
3390   layout:
3391     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3392     layout:
3393       "plot-throughput"
3394
3395 -
3396   type: "plot"
3397   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3398   algorithm: "plot_performance_box"
3399   output-file-type: ".html"
3400   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-pdrdisc"
3401   data:
3402     "plot-ligato-throughput-latency"
3403   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3404   parameters:
3405   - "throughput"
3406   - "parent"
3407   traces:
3408     hoverinfo: "x+y"
3409     boxpoints: "outliers"
3410     whiskerwidth: 0
3411   layout:
3412     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3413     layout:
3414       "plot-throughput"
3415
3416 -
3417   type: "plot"
3418   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3419   algorithm: "plot_performance_box"
3420   output-file-type: ".html"
3421   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-pdrdisc"
3422   data:
3423     "plot-ligato-throughput-latency"
3424   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3425   parameters:
3426   - "throughput"
3427   - "parent"
3428   traces:
3429     hoverinfo: "x+y"
3430     boxpoints: "outliers"
3431     whiskerwidth: 0
3432   layout:
3433     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3434     layout:
3435       "plot-throughput"
3436
3437 # Ligato - Latency
3438
3439 # Container memif
3440 -
3441   type: "plot"
3442   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3443   algorithm: "plot_latency_box"
3444   output-file-type: ".html"
3445   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc-lat50"
3446   data:
3447     "plot-vpp-throughput-latency"
3448   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3449   parameters:
3450   - "latency"
3451   - "parent"
3452   traces:
3453     boxmean: False
3454   layout:
3455     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3456     layout:
3457       "plot-latency"
3458
3459 -
3460   type: "plot"
3461   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3462   algorithm: "plot_latency_box"
3463   output-file-type: ".html"
3464   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc-lat50"
3465   data:
3466     "plot-vpp-throughput-latency"
3467   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3468   parameters:
3469   - "latency"
3470   - "parent"
3471   traces:
3472     boxmean: False
3473   layout:
3474     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3475     layout:
3476       "plot-latency"
3477
3478 # Container orchestrated
3479 -
3480   type: "plot"
3481   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3482   algorithm: "plot_latency_box"
3483   output-file-type: ".html"
3484   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc-lat50"
3485   data:
3486     "plot-ligato-throughput-latency"
3487   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3488   parameters:
3489   - "latency"
3490   - "parent"
3491   traces:
3492     boxmean: False
3493   layout:
3494     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3495     layout:
3496       "plot-latency"
3497
3498 -
3499   type: "plot"
3500   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3501   algorithm: "plot_latency_box"
3502   output-file-type: ".html"
3503   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc-lat50"
3504   data:
3505     "plot-ligato-throughput-latency"
3506   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3507   parameters:
3508   - "latency"
3509   - "parent"
3510   traces:
3511     boxmean: False
3512   layout:
3513     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3514     layout:
3515       "plot-latency"