resources/tools/presentation/specification.yaml

   1 -
   2   type: "environment"
   3   configuration:
   4     # Debug mode:
   5     # - Skip:
   6     #   - Download of input data files
   7     # - Do:
   8     #   - Read data from given zip / xml files
   9     #   - Set the configuration as it is done in normal mode
  10     # If the section "type: debug" is missing, CFG[DEBUG] is set to 0.
  11     CFG[DEBUG]: 0
  12
  13   paths:
  14     # Top level directories:
  15     ## Working directory
  16     DIR[WORKING]: "_tmp"
  17     ## Build directories
  18     DIR[BUILD,HTML]: "_build"
  19     DIR[BUILD,LATEX]: "_build_latex"
  20
  21     # Static .rst files
  22     DIR[RST]: "../../../docs/report"
  23
  24     # Working directories
  25     ## Input data files (.zip, .xml)
  26     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
  27     ## Static source files from git
  28     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
  29     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
  30
  31     # Static html content
  32     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
  33     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
  34     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
  35     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
  36
  37     # Detailed test results
  38     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
  39     DIR[DTR,PERF,DPDK]: "{DIR[DTR]}/dpdk_performance_results"
  40     DIR[DTR,PERF,VPP]: "{DIR[DTR]}/vpp_performance_results"
  41     DIR[DTR,PERF,COT]: "{DIR[DTR]}/cot_performance_results"
  42     DIR[DTR,PERF,HC]: "{DIR[DTR]}/honeycomb_performance_results"
  43     DIR[DTR,FUNC,VPP]: "{DIR[DTR]}/vpp_functional_results"
  44     DIR[DTR,FUNC,VPP,CENTOS]: "{DIR[DTR]}/vpp_functional_results_centos"
  45     DIR[DTR,FUNC,HC]: "{DIR[DTR]}/honeycomb_functional_results"
  46     DIR[DTR,FUNC,NSHSFC]: "{DIR[DTR]}/nshsfc_functional_results"
  47     DIR[DTR,PERF,VPP,IMPRV]: "{DIR[WORKING,SRC]}/vpp_performance_tests/performance_improvements"
  48
  49     # Detailed test configurations
  50     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
  51     DIR[DTC,PERF,VPP]: "{DIR[DTC]}/vpp_performance_configuration"
  52     DIR[DTC,FUNC,VPP]: "{DIR[DTC]}/vpp_functional_configuration"
  53     DIR[DTC,FUNC,VPP,CENTOS]: "{DIR[DTC]}/vpp_functional_configuration_centos"
  54
  55     # Detailed tests operational data
  56     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
  57     DIR[DTO,PERF,VPP]: "{DIR[DTO]}/vpp_performance_operational_data"
  58
  59     # .css patch file to fix tables generated by Sphinx
  60     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
  61     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
  62
  63   urls:
  64     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
  65     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
  66     URL[NEXUS]: "https://docs.fd.io/csit"
  67     DIR[NEXUS]: "report/_static/archive"
  68
  69   make-dirs:
  70   # List the directories which are created while preparing the environment.
  71   # All directories MUST be defined in "paths" section.
  72   - "DIR[WORKING,DATA]"
  73   - "DIR[STATIC,VPP]"
  74   - "DIR[STATIC,DPDK]"
  75   - "DIR[STATIC,ARCH]"
  76   - "DIR[BUILD,LATEX]"
  77   - "DIR[WORKING,SRC]"
  78   - "DIR[WORKING,SRC,STATIC]"
  79
  80   remove-dirs:
  81   # List the directories which are deleted while cleaning the environment.
  82   # All directories MUST be defined in "paths" section.
  83   #- "DIR[BUILD,HTML]"
  84
  85   build-dirs:
  86   # List the directories where the results (build) is stored.
  87   # All directories MUST be defined in "paths" section.
  88   - "DIR[BUILD,HTML]"
  89   - "DIR[BUILD,LATEX]"
  90
  91 -
  92   type: "configuration"
  93   data-sets:
  94     plot-vpp-http-server-performance:
  95 # TODO: Add the data sources
  96       csit-vpp-perf-1801-all:
  97       - 157
  98       - 158
  99       - 159
 100       - 160
 101       - 161
 102       - 164
 103       - 165
 104       - 166
 105       - 168
 106       - 169
 107       - 170
 108 # TODO: Add the data sources
 109 #    vpp-meltdown-impact:
 110 #      csit-vpp-perf-1707-all:
 111 #      - 9
 112 #      - 10
 113 #      - 13
 114 #      csit-vpp-perf-1710-all:
 115 #      - 11l
 116 #      - 12
 117 #      - 13
 118 # TODO: Add the data sources
 119 #    vpp-spectre-impact:
 120 #      csit-vpp-perf-1707-all:
 121 #      - 9
 122 #      - 10
 123 #      - 13
 124 #      csit-vpp-perf-1710-all:
 125 #      - 11
 126 #      - 12
 127 #      - 13
 128     vpp-performance-changes:
 129       csit-vpp-perf-1710-all:
 130       - 11
 131       - 12
 132       - 13
 133       - 14
 134       - 15
 135       - 16
 136       - 17
 137       - 18
 138       - 19
 139       - 20
 140       csit-vpp-perf-1801-all:
 141       - 124  # sel
 142       - 127  # sel
 143       - 128  # sel
 144       - 141  # sel
 145       - 142  # sel
 146       - 143  # sel
 147       - 145  # sel
 148       - 146  # sel
 149       - 162  # sel
 150       - 163  # sel
 151       - 167  # sel
 152       - 172  # sel acl only
 153       csit-vpp-perf-1804-all:
 154       - 1   # sel - dry run
 155       - 13  # sel - dry run
 156       - 14  # sel - dry run
 157       - 17  # sel - dry run
 158       - 22  # sel
 159     vpp-performance-changes-mrr:
 160       csit-vpp-perf-check-1801:
 161       - 1
 162       - 2
 163       - 3
 164       - 4
 165       - 5
 166       - 6
 167       - 7
 168       - 8
 169       - 9
 170       - 11
 171       - 12
 172       - 13
 173       csit-vpp-perf-check-1804:
 174       - 1   # mrr - dry run
 175       - 2   # mrr - dry run
 176       - 3   # mrr - dry run
 177       - 4   # mrr - dry run
 178       - 5   # mrr
 179     plot-throughput-speedup-analysis:
 180       csit-vpp-perf-1804-all:
 181       - 1   # sel - dry run
 182       - 13  # sel - dry run
 183       - 14  # sel - dry run
 184       - 17  # sel - dry run
 185       - 19  # full
 186       - 22  # sel
 187 #    performance-improvements:
 188 #      csit-vpp-perf-1707-all:
 189 #      - 9
 190 #      - 10
 191 #      - 13
 192 #      - 14
 193 #      - 15
 194 #      - 16
 195 #      - 17
 196 #      - 18
 197 #      - 19
 198 #      - 21
 199 #      csit-vpp-perf-1710-all:
 200 #      - 11
 201 #      - 12
 202 #      - 13
 203 #      - 14
 204 #      - 15
 205 #      - 16
 206 #      - 17
 207 #      - 18
 208 #      - 19
 209 #      - 20
 210 #      csit-vpp-perf-1801-all:
 211 #      - 124
 212 #      - 127
 213 #      - 128
 214 #      csit-ligato-perf-1710-all:
 215 #      - 5
 216 #      - 7
 217 #      - 8
 218 #      - 9
 219 #      - 10
 220 #      - 11
 221 #      - 12
 222 #      - 13
 223 #      - 16
 224 #      - 17
 225 #      csit-ligato-perf-1801-all:
 226 #      - 16  # sel
 227 #      - 17  # sel
 228 #      - 18  # sel
 229 #      - 19  # sel
 230 #      - 20  # sel
 231 #      - 21  # sel
 232 #      - 22  # sel
 233 #      - 23  # sel
 234 #      - 24  # sel
 235     vpp-perf-results:
 236       csit-vpp-perf-1804-all:
 237       - 19  # full
 238     vpp-func-results:
 239       csit-vpp-functional-1804-ubuntu1604-virl:
 240       - "lastSuccessfulBuild"
 241     vpp-func-results-centos:
 242       csit-vpp-functional-1804-centos7-virl:
 243       - "lastSuccessfulBuild"
 244     ligato-perf-results:
 245       csit-ligato-perf-1801-all:
 246       - 25  # full
 247     dpdk-perf-results:
 248       csit-dpdk-perf-1804-all:
 249       - 13
 250     hc-func-results:
 251       csit-hc2vpp-verify-func-1804-ubuntu1604:
 252       - "lastSuccessfulBuild"
 253     nsh-func-results:
 254       csit-nsh_sfc-verify-func-1804-ubuntu1604-virl:
 255       - "lastSuccessfulBuild"
 256     plot-vpp-throughput-latency:
 257       csit-vpp-perf-1804-all:
 258       - 1   # sel - dry run
 259       - 13  # sel - dry run
 260       - 14  # sel - dry run
 261       - 17  # sel - dry run
 262       - 19  # full
 263       - 22  # sel
 264     plot-dpdk-throughput-latency:
 265       csit-dpdk-perf-1804-all:
 266       - 4
 267       - 5
 268       - 6
 269       - 7
 270       - 8
 271       - 9
 272       - 10
 273       - 11
 274       - 12
 275       - 13
 276     plot-ligato-throughput-latency:
 277       csit-ligato-perf-1801-all:
 278       - 16  # sel
 279       - 17  # sel
 280       - 18  # sel
 281       - 19  # sel
 282       - 20  # sel
 283       - 21  # sel
 284       - 22  # sel
 285       - 23  # sel
 286       - 24  # sel
 287
 288   plot-layouts:
 289
 290     plot-cps:
 291       xaxis:
 292         autorange: True
 293         autotick: False
 294         fixedrange: False
 295         gridcolor: "rgb(238, 238, 238)"
 296         linecolor: "rgb(238, 238, 238)"
 297         linewidth: 1
 298         showgrid: True
 299         showline: True
 300         showticklabels: True
 301         tickcolor: "rgb(238, 238, 238)"
 302         tickmode: "linear"
 303         title: "Indexed Test Cases"
 304         zeroline: False
 305       yaxis:
 306         gridcolor: "rgb(238, 238, 238)'"
 307         hoverformat: ".4s"
 308         linecolor: "rgb(238, 238, 238)"
 309         linewidth: 1
 310         range: []
 311         rangemode: "tozero"
 312         showgrid: True
 313         showline: True
 314         showticklabels: True
 315         tickcolor: "rgb(238, 238, 238)"
 316         title: "Connections Per Second [cps]"
 317         zeroline: False
 318       boxmode: "group"
 319       boxgroupgap: 0.5
 320       autosize: False
 321       margin:
 322         t: 50
 323         b: 20
 324         l: 50
 325         r: 20
 326       showlegend: True
 327       legend:
 328         orientation: "h"
 329       width: 700
 330       height: 1000
 331
 332     plot-rps:
 333       xaxis:
 334         autorange: True
 335         autotick: False
 336         fixedrange: False
 337         gridcolor: "rgb(238, 238, 238)"
 338         linecolor: "rgb(238, 238, 238)"
 339         linewidth: 1
 340         showgrid: True
 341         showline: True
 342         showticklabels: True
 343         tickcolor: "rgb(238, 238, 238)"
 344         tickmode: "linear"
 345         title: "Indexed Test Cases"
 346         zeroline: False
 347       yaxis:
 348         gridcolor: "rgb(238, 238, 238)'"
 349         hoverformat: ".4s"
 350         linecolor: "rgb(238, 238, 238)"
 351         linewidth: 1
 352         range: []
 353         rangemode: "tozero"
 354         showgrid: True
 355         showline: True
 356         showticklabels: True
 357         tickcolor: "rgb(238, 238, 238)"
 358         title: "Requests Per Second [rps]"
 359         zeroline: False
 360       boxmode: "group"
 361       boxgroupgap: 0.5
 362       autosize: False
 363       margin:
 364         t: 50
 365         b: 20
 366         l: 50
 367         r: 20
 368       showlegend: True
 369       legend:
 370         orientation: "h"
 371       width: 700
 372       height: 1000
 373
 374     plot-throughput:
 375       xaxis:
 376         autorange: True
 377         autotick: False
 378         fixedrange: False
 379         gridcolor: "rgb(238, 238, 238)"
 380         linecolor: "rgb(238, 238, 238)"
 381         linewidth: 1
 382         showgrid: True
 383         showline: True
 384         showticklabels: True
 385         tickcolor: "rgb(238, 238, 238)"
 386         tickmode: "linear"
 387         title: "Indexed Test Cases"
 388         zeroline: False
 389       yaxis:
 390         gridcolor: "rgb(238, 238, 238)'"
 391         hoverformat: ".4s"
 392         linecolor: "rgb(238, 238, 238)"
 393         linewidth: 1
 394         range: []
 395         showgrid: True
 396         showline: True
 397         showticklabels: True
 398         tickcolor: "rgb(238, 238, 238)"
 399         title: "Packets Per Second [pps]"
 400         zeroline: False
 401       boxmode: "group"
 402       boxgroupgap: 0.5
 403       autosize: False
 404       margin:
 405         t: 50
 406         b: 20
 407         l: 50
 408         r: 20
 409       showlegend: True
 410       legend:
 411         orientation: "h"
 412       width: 700
 413       height: 1000
 414
 415     plot-latency:
 416       xaxis:
 417         autorange: True
 418         autotick: False
 419         fixedrange: False
 420         gridcolor: "rgb(238, 238, 238)"
 421         linecolor: "rgb(238, 238, 238)"
 422         linewidth: 1
 423         showgrid: True
 424         showline: True
 425         showticklabels: True
 426         tickcolor: "rgb(238, 238, 238)"
 427         tickmode: "linear"
 428         title: "Indexed Test Cases"
 429         zeroline: False
 430       yaxis:
 431         gridcolor: "rgb(238, 238, 238)'"
 432         hoverformat: ""
 433         linecolor: "rgb(238, 238, 238)"
 434         linewidth: 1
 435         range: []
 436         showgrid: True
 437         showline: True
 438         showticklabels: True
 439         tickcolor: "rgb(238, 238, 238)"
 440         title: "Latency min/avg/max [uSec]"
 441         zeroline: False
 442       boxmode: "group"
 443       boxgroupgap: 0.5
 444       autosize: False
 445       margin:
 446         t: 50
 447         b: 20
 448         l: 50
 449         r: 20
 450       showlegend: True
 451       legend:
 452         orientation: "h"
 453       width: 700
 454       height: 1000
 455
 456     plot-throughput-speedup-analysis:
 457       xaxis:
 458         autorange: True
 459         autotick: False
 460         fixedrange: False
 461         gridcolor: "rgb(238, 238, 238)"
 462         linecolor: "rgb(238, 238, 238)"
 463         linewidth: 1
 464         showgrid: True
 465         showline: True
 466         showticklabels: True
 467         tickcolor: "rgb(238, 238, 238)"
 468         tickmode: "linear"
 469         tickangle: 270
 470         zeroline: False
 471       yaxis:
 472         title: "Throughput speedup factor"
 473         gridcolor: "rgb(238, 238, 238)"
 474         hoverformat: ".4s"
 475         linecolor: "rgb(238, 238, 238)"
 476         linewidth: 1
 477         range: []
 478         showgrid: True
 479         showline: True
 480         showticklabels: True
 481         tickcolor: "rgb(238, 238, 238)"
 482         zeroline: False
 483       legend:
 484         orientation: "h"
 485         xanchor: "center"
 486         yanchor: "top"
 487         x: 0.5
 488         y: 1
 489         bgcolor: "rgba(255, 255, 255, 0)"
 490         bordercolor: "rgba(255, 255, 255, 0)"
 491       barmode: "group"
 492       bargap: 0.15
 493       bargroupgap: 0.1
 494       autosize: False
 495       margin:
 496           't': 50
 497           'b': 200
 498           'l': 50
 499           'r': 20
 500       showlegend: True
 501       width: 700
 502       height: 1000
 503
 504 -
 505   type: "debug"
 506   general:
 507     input-format: "xml"  # zip or xml
 508     extract: "robot-plugin/output.xml"  # Only for zip
 509   builds:
 510     # The files must be in the directory DIR[WORKING,DATA]
 511     csit-vpp-perf-1801-all:
 512     -
 513       build: 1
 514       file: "{DIR[WORKING,DATA]}/output.xml"
 515     -
 516       build: 2
 517       file: "{DIR[WORKING,DATA]}/output.xml"
 518     -
 519       build: 3
 520       file: "{DIR[WORKING,DATA]}/output.xml"
 521     -
 522       build: 4
 523       file: "{DIR[WORKING,DATA]}/output.xml"
 524
 525 -
 526   type: "static"
 527   src-path: "{DIR[RST]}"
 528   dst-path: "{DIR[WORKING,SRC]}"
 529
 530 -
 531   type: "input"  # Ignored in debug mode
 532   general:
 533     file-name: "robot-plugin.zip"
 534     file-format: ".zip"
 535     download-path: "{job}/{build}/robot/report/*zip*/{filename}"
 536     extract: "robot-plugin/output.xml"
 537   builds:
 538 #    csit-vpp-perf-1707-all:
 539 #    - 9
 540 #    - 10
 541 #    - 13
 542 #    - 14
 543 #    - 15
 544 #    - 16
 545 #    - 17
 546 #    - 18
 547 #    - 19
 548 #    - 21
 549     csit-vpp-perf-1710-all:
 550     - 11
 551     - 12
 552     - 13
 553     - 14
 554     - 15
 555     - 16
 556     - 17
 557     - 18
 558     - 19
 559     - 20
 560     csit-vpp-perf-1801-all:
 561     - 122  # full
 562     - 126  # full
 563     - 129  # full
 564     - 140  # full
 565     - 124  # sel
 566     - 127  # sel
 567     - 128  # sel
 568     - 141  # sel
 569     - 142  # sel
 570     - 143  # sel
 571     - 145  # sel
 572     - 146  # sel
 573     - 157  # wrk
 574     - 158  # wrk
 575     - 159  # wrk
 576     - 160  # wrk
 577     - 161  # wrk
 578     - 162  # sel
 579     - 163  # sel
 580     - 164  # wrk
 581     - 165  # wrk
 582     - 166  # wrk
 583     - 167  # sel
 584     - 168  # wrk
 585     - 169  # wrk
 586     - 170  # wrk
 587     - 172  # sel acl only
 588     csit-vpp-perf-1804-all:
 589     - 1   # sel - dry run
 590     - 13  # sel - dry run
 591     - 14  # sel - dry run
 592     - 17  # sel - dry run
 593     - 19  # full
 594     - 22  # sel
 595     csit-vpp-perf-check-1801:
 596     - 1   # mrr
 597     - 2   # mrr
 598     - 3   # mrr
 599     - 4   # mrr
 600     - 5   # mrr
 601     - 6   # mrr
 602     - 7   # mrr
 603     - 8   # mrr
 604     - 9   # mrr
 605     - 11  # mrr
 606     - 12  # mrr
 607     - 13  # mrr
 608     csit-vpp-perf-check-1804:
 609     - 1   # mrr - dry run
 610     - 2   # mrr - dry run
 611     - 3   # mrr - dry run
 612     - 4   # mrr - dry run
 613     - 5   # mrr
 614 #    csit-ligato-perf-1710-all:
 615 #    - 5
 616 #    - 7
 617 #    - 8
 618 #    - 9
 619 #    - 10
 620 #    - 11
 621 #    - 12
 622 #    - 13
 623 #    - 16
 624 #    - 17
 625     csit-ligato-perf-1801-all:
 626     - 16  # sel
 627     - 17  # sel
 628     - 18  # sel
 629     - 19  # sel
 630     - 20  # sel
 631     - 21  # sel
 632     - 22  # sel
 633     - 23  # sel
 634     - 24  # sel
 635     - 25  # full
 636     csit-dpdk-perf-1804-all:
 637     - 4
 638     - 5
 639     - 6
 640     - 7
 641     - 8
 642     - 9
 643     - 10
 644     - 11
 645     - 12
 646     - 13
 647     csit-vpp-functional-1804-ubuntu1604-virl:
 648     - "lastSuccessfulBuild"
 649     csit-vpp-functional-1804-centos7-virl:
 650     - "lastSuccessfulBuild"
 651     csit-nsh_sfc-verify-func-1804-ubuntu1604-virl:
 652     - "lastSuccessfulBuild"
 653     csit-hc2vpp-verify-func-1804-ubuntu1604:
 654     - "lastSuccessfulBuild"
 655
 656 -
 657   type: "output"
 658   output: "report"
 659   format:
 660     html:
 661     - full
 662     pdf:
 663     - minimal
 664
 665 ################################################################################
 666 ###                               T A B L E S                                ###
 667 ################################################################################
 668
 669 #-
 670 #  type: "table"
 671 #  title: "Performance Impact of Meltdown Patches"
 672 #  algorithm: "table_performance_comparison"
 673 #  output-file-ext: ".csv"
 674 ## TODO: specify dir
 675 #  output-file: "{DIR[STATIC,VPP]}/meltdown-impact"
 676 #  reference:
 677 #    title: "No Meltdown"
 678 ## TODO: specify data sources
 679 #    data:
 680 #      csit-vpp-perf-1707-all:
 681 #      - 9
 682 #      - 10
 683 #      - 13
 684 #  compare:
 685 #    title: "Meltdown Patches Applied"
 686 ## TODO: specify data sources
 687 #    data:
 688 #      csit-vpp-perf-1710-all:
 689 #      - 11
 690 #      - 12
 691 #      - 13
 692 #  data:
 693 #    "vpp-meltdown-impact"
 694 #  filter: "all"
 695 #  parameters:
 696 #  - "name"
 697 #  - "parent"
 698 #  - "throughput"
 699 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
 700 #  # to present all tests.
 701 #  nr-of-tests-shown: 20
 702 #
 703 #-
 704 #  type: "table"
 705 #  title: "Performance Impact of Spectre Patches"
 706 #  algorithm: "table_performance_comparison"
 707 #  output-file-ext: ".csv"
 708 ## TODO: specify dir
 709 #  output-file: "{DIR[STATIC,VPP]}/meltdown-spectre-impact"
 710 #  reference:
 711 #    title: "No Spectre"
 712 ## TODO: specify data sources
 713 #    data:
 714 #      csit-vpp-perf-1707-all:
 715 #      - 9
 716 #      - 10
 717 #      - 13
 718 #  compare:
 719 #    title: "Spectre Patches Applied"
 720 ## TODO: specify data sources
 721 #    data:
 722 #      csit-vpp-perf-1710-all:
 723 #      - 11
 724 #      - 12
 725 #      - 13
 726 #  data:
 727 #    "vpp-spectre-impact"
 728 #  filter: "all"
 729 #  parameters:
 730 #  - "name"
 731 #  - "parent"
 732 #  - "throughput"
 733 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
 734 #  # to present all tests.
 735 #  nr-of-tests-shown: 20
 736
 737 -
 738   type: "table"
 739   title: "VPP Performance Changes"
 740   algorithm: "table_performance_comparison"
 741   output-file-ext: ".csv"
 742   output-file: "{DIR[STATIC,VPP]}/performance-changes"
 743   history:
 744     -
 745       title: "rls1710"
 746       data:
 747         csit-vpp-perf-1710-all:
 748         - 11
 749         - 12
 750         - 13
 751         - 14
 752         - 15
 753         - 16
 754         - 17
 755         - 18
 756         - 19
 757         - 20
 758   reference:
 759     title: "rls1801"
 760     data:
 761       csit-vpp-perf-1801-all:
 762       - 124  # sel
 763       - 127  # sel
 764       - 128  # sel
 765       - 141  # sel
 766       - 142  # sel
 767       - 143  # sel
 768       - 145  # sel
 769       - 146  # sel
 770       - 162  # sel
 771       - 163  # sel
 772       - 167  # sel
 773       - 172  # sel acl only
 774   compare:
 775     title: "rls1804"
 776     data:
 777       csit-vpp-perf-1804-all:
 778       - 1   # sel - dry run
 779       - 13  # sel - dry run
 780       - 14  # sel - dry run
 781       - 17  # sel - dry run
 782       - 22  # sel
 783   data: "vpp-performance-changes"
 784   filter: "all"
 785   parameters:
 786   - "name"
 787   - "parent"
 788   - "throughput"
 789   # Number of the best and the worst tests presented in the table. Use 0 (zero)
 790   # to present all tests.
 791   nr-of-tests-shown: 20
 792   outlier-const: 1.5
 793
 794 -
 795   type: "table"
 796   title: "VPP Performance Changes - MRR"
 797   algorithm: "table_performance_comparison_mrr"
 798   output-file-ext: ".csv"
 799   output-file: "{DIR[STATIC,VPP]}/performance-changes-mrr"
 800   reference:
 801     title: "Release 1801"
 802     data:
 803       csit-vpp-perf-check-1801:
 804       - 1
 805       - 2
 806       - 3
 807       - 4
 808       - 5
 809       - 6
 810       - 7
 811       - 8
 812       - 9
 813       - 11
 814       - 12
 815       - 13
 816   compare:
 817     title: "Release 1804"
 818     data:
 819       csit-vpp-perf-check-1804:
 820       - 1   # mrr - dry run
 821       - 2   # mrr - dry run
 822       - 3   # mrr - dry run
 823       - 4   # mrr - dry run
 824       - 5   # mrr
 825   data: "vpp-performance-changes-mrr"
 826   filter: "all"
 827   parameters:
 828   - "name"
 829   - "parent"
 830   - "result"
 831   # Number of the best and the worst tests presented in the table. Use 0 (zero)
 832   # to present all tests.
 833   nr-of-tests-shown: 20
 834   outlier-const: 1.5
 835
 836 #-
 837 #  type: "table"
 838 #  title: "Performance improvements"
 839 #  algorithm: "table_performance_improvements"
 840 #  template: "{DIR[DTR,PERF,VPP,IMPRV]}/tmpl_performance_improvements.csv"
 841 #  output-file-ext: ".csv"
 842 #  output-file: "{DIR[DTR,PERF,VPP,IMPRV]}/performance_improvements"
 843 #  columns:
 844 #  -
 845 #    title: "Test Name"
 846 #    data: "template 1"
 847 #  -
 848 #    title: "16.09 mean [Mpps]"
 849 #    data: "template 2"
 850 #  -
 851 #    title: "17.01 mean [Mpps]"
 852 #    data: "template 3"
 853 #  -
 854 #    title: "17.04 mean [Mpps]"
 855 #    data: "template 4"
 856 #  -
 857 #    title: "17.07 mean [Mpps]"
 858 #    data: "data csit-vpp-perf-1707-all mean"
 859 #  -
 860 #    title: "17.10 mean [Mpps]"
 861 #    data: "data csit-vpp-perf-1710-all csit-ligato-perf-1710-all mean"
 862 #  -
 863 #    title: "18.01 mean [Mpps]"
 864 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all mean"
 865 #  -
 866 #    title: "18.01 stdev [Mpps]"
 867 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all stdev"
 868 #  -
 869 #    title: "17.10 to 18.01 change [%]"
 870 #    data: "operation relative_change 5 6"
 871 #  rows: "generated"
 872 #  data:
 873 #    "performance-improvements"
 874 #  filter: "template"
 875 #  parameters:
 876 #  - "throughput"
 877
 878 -
 879   type: "table"
 880   title: "Detailed Test Results - VPP Performance Results"
 881   algorithm: "table_merged_details"
 882   output-file-ext: ".csv"
 883   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
 884   columns:
 885   -
 886     title: "Name"
 887     data: "data name"
 888   -
 889     title: "Documentation"
 890     data: "data doc"
 891   -
 892     title: "Status"
 893     data: "data msg"
 894   rows: "generated"
 895   data:
 896     "vpp-perf-results"
 897   filter: "not 'NDRCHK' and not 'PDRCHK'"
 898   parameters:
 899   - "name"
 900   - "parent"
 901   - "doc"
 902   - "msg"
 903
 904 -
 905   type: "table"
 906   title: "Test configuration - VPP Performance Test Configs"
 907   algorithm: "table_merged_details"
 908   output-file-ext: ".csv"
 909   output-file: "{DIR[DTC,PERF,VPP]}/vpp_test_configuration"
 910   columns:
 911   -
 912     title: "Name"
 913     data: "data name"
 914   -
 915     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
 916     data: "data vat-history"
 917   rows: "generated"
 918   data:
 919     "vpp-perf-results"
 920   filter: "not 'NDRCHK' and not 'PDRCHK'"
 921   parameters:
 922   - "parent"
 923   - "name"
 924   - "vat-history"
 925
 926 -
 927   type: "table"
 928   title: "Test Operational Data - VPP Performance Operational Data"
 929   algorithm: "table_merged_details"
 930   output-file-ext: ".csv"
 931   output-file: "{DIR[DTO,PERF,VPP]}/vpp_test_operational"
 932   columns:
 933   -
 934     title: "Name"
 935     data: "data name"
 936   -
 937     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
 938     data: "data show-run"
 939   rows: "generated"
 940   data:
 941     "vpp-perf-results"
 942   filter: "not 'NDRCHK' and not 'PDRCHK'"
 943   parameters:
 944   - "parent"
 945   - "name"
 946   - "show-run"
 947
 948 -
 949   type: "table"
 950   title: "Detailed Test Results - VPP Functional Results"
 951   algorithm: "table_details"
 952   output-file-ext: ".csv"
 953   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
 954   columns:
 955   -
 956     title: "Name"
 957     data: "data name"
 958   -
 959     title: "Documentation"
 960     data: "data doc"
 961   -
 962     title: "Status"
 963     data: "data status"
 964   rows: "generated"
 965   data:
 966     "vpp-func-results"
 967   filter: "all"
 968   parameters:
 969   - "name"
 970   - "parent"
 971   - "doc"
 972   - "status"
 973
 974 -
 975   type: "table"
 976   title: "Detailed Test Results - VPP Functional Results - CentOS"
 977   algorithm: "table_details"
 978   output-file-ext: ".csv"
 979   output-file: "{DIR[DTR,FUNC,VPP,CENTOS]}/vpp_functional_results_centos"
 980   columns:
 981   -
 982     title: "Name"
 983     data: "data name"
 984   -
 985     title: "Documentation"
 986     data: "data doc"
 987   -
 988     title: "Status"
 989     data: "data status"
 990   rows: "generated"
 991   data:
 992     "vpp-func-results-centos"
 993   filter: "all"
 994   parameters:
 995   - "name"
 996   - "parent"
 997   - "doc"
 998   - "status"
 999
1000 -
1001   type: "table"
1002   title: "Test configuration - VPP Functional Test Configs"
1003   algorithm: "table_details"
1004   output-file-ext: ".csv"
1005   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
1006   columns:
1007   -
1008     title: "Name"
1009     data: "data name"
1010   -
1011     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1012     data: "data vat-history"
1013   rows: "generated"
1014   data:
1015     "vpp-func-results"
1016   filter: "all"
1017   parameters:
1018   - "parent"
1019   - "name"
1020   - "vat-history"
1021
1022 -
1023   type: "table"
1024   title: "Test configuration - VPP Functional Test Configs - CentOS"
1025   algorithm: "table_details"
1026   output-file-ext: ".csv"
1027   output-file: "{DIR[DTC,FUNC,VPP,CENTOS]}/vpp_functional_configuration_centos"
1028   columns:
1029   -
1030     title: "Name"
1031     data: "data name"
1032   -
1033     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1034     data: "data vat-history"
1035   rows: "generated"
1036   data:
1037     "vpp-func-results-centos"
1038   filter: "all"
1039   parameters:
1040   - "parent"
1041   - "name"
1042   - "vat-history"
1043
1044 -
1045   type: "table"
1046   title: "Detailed Test Results - Container Orchestrated Topologies Performance Results"
1047   algorithm: "table_details"
1048   output-file-ext: ".csv"
1049   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
1050   columns:
1051   -
1052     title: "Name"
1053     data: "data name"
1054   -
1055     title: "Documentation"
1056     data: "data doc"
1057   -
1058     title: "Status"
1059     data: "data msg"
1060   rows: "generated"
1061   data:
1062     "ligato-perf-results"
1063   filter: "all"
1064   parameters:
1065   - "name"
1066   - "parent"
1067   - "doc"
1068   - "msg"
1069
1070 -
1071   type: "table"
1072   title: "Detailed Test Results - DPDK Performance Results"
1073   algorithm: "table_details"
1074   output-file-ext: ".csv"
1075   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
1076   columns:
1077   -
1078     title: "Name"
1079     data: "data name"
1080   -
1081     title: "Documentation"
1082     data: "data doc"
1083   -
1084     title: "Status"
1085     data: "data msg"
1086   rows: "generated"
1087   data:
1088     "dpdk-perf-results"
1089   filter: "all"
1090   parameters:
1091   - "name"
1092   - "parent"
1093   - "doc"
1094   - "msg"
1095
1096 -
1097   type: "table"
1098   title: "Detailed Test Results - Honeycomb Functional Results"
1099   algorithm: "table_details"
1100   output-file-ext: ".csv"
1101   output-file: "{DIR[DTR,FUNC,HC]}/hc_functional_results"
1102   columns:
1103   -
1104     title: "Name"
1105     data: "data name"
1106   -
1107     title: "Documentation"
1108     data: "data doc"
1109   -
1110     title: "Status"
1111     data: "data status"
1112   rows: "generated"
1113   data:
1114     "hc-func-results"
1115   filter: "all"
1116   parameters:
1117   - "name"
1118   - "parent"
1119   - "doc"
1120   - "status"
1121
1122 -
1123   type: "table"
1124   title: "Detailed Test Results - NSH SFC Functional Results"
1125   algorithm: "table_details"
1126   output-file-ext: ".csv"
1127   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nsh_sfc_functional_results"
1128   columns:
1129   -
1130     title: "Name"
1131     data: "data name"
1132   -
1133     title: "Documentation"
1134     data: "data doc"
1135   -
1136     title: "Status"
1137     data: "data status"
1138   rows: "generated"
1139   data:
1140     "nsh-func-results"
1141   filter: "all"
1142   parameters:
1143   - "name"
1144   - "parent"
1145   - "doc"
1146   - "status"
1147
1148 ################################################################################
1149 ###                                F I L E S                                 ###
1150 ################################################################################
1151
1152 -
1153   type: "file"
1154   title: "VPP Performance Results"
1155   algorithm: "file_merged_test_results"
1156   output-file-ext: ".rst"
1157   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
1158   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1159   dir-tables: "{DIR[DTR,PERF,VPP]}"
1160   data:
1161     "vpp-perf-results"
1162   filter: "not 'NDRCHK' and not 'PDRCHK'"
1163   parameters:
1164   - "name"
1165   - "doc"
1166   - "level"
1167   - "parent"
1168   data-start-level: 3  # 0, 1, 2, ...
1169   chapters-start-level: 2  # 0, 1, 2, ...
1170
1171 -
1172   type: "file"
1173   title: "VPP Performance Configuration"
1174   algorithm: "file_merged_test_results"
1175   output-file-ext: ".rst"
1176   output-file: "{DIR[DTC,PERF,VPP]}/vpp_performance_configuration"
1177   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1178   dir-tables: "{DIR[DTC,PERF,VPP]}"
1179   data:
1180     "vpp-perf-results"
1181   filter: "not 'NDRCHK' and not 'PDRCHK'"
1182   parameters:
1183   - "name"
1184   - "doc"
1185   - "level"
1186   - "parent"
1187   data-start-level: 3  # 0, 1, 2, ...
1188   chapters-start-level: 2  # 0, 1, 2, ...
1189
1190 -
1191   type: "file"
1192   title: "VPP Performance Operational Data"
1193   algorithm: "file_merged_test_results"
1194   output-file-ext: ".rst"
1195   output-file: "{DIR[DTO,PERF,VPP]}/vpp_performance_operational_data"
1196   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1197   dir-tables: "{DIR[DTO,PERF,VPP]}"
1198   data:
1199     "vpp-perf-results"
1200   filter: "not 'NDRCHK' and not 'PDRCHK'"
1201   parameters:
1202   - "name"
1203   - "doc"
1204   - "level"
1205   - "parent"
1206   data-start-level: 3  # 0, 1, 2, ...
1207   chapters-start-level: 2  # 0, 1, 2, ...
1208
1209 -
1210   type: "file"
1211   title: "VPP Functional Results"
1212   algorithm: "file_test_results"
1213   output-file-ext: ".rst"
1214   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
1215   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1216   dir-tables: "{DIR[DTR,FUNC,VPP]}"
1217   data:
1218     "vpp-func-results"
1219   filter: "all"
1220   parameters:
1221   - "name"
1222   - "doc"
1223   - "level"
1224   data-start-level: 3  # 0, 1, 2, ...
1225   chapters-start-level: 2  # 0, 1, 2, ...
1226
1227 -
1228   type: "file"
1229   title: "VPP Functional Results - CentOS"
1230   algorithm: "file_test_results"
1231   output-file-ext: ".rst"
1232   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results_centos"
1233   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1234   dir-tables: "{DIR[DTR,FUNC,VPP,CENTOS]}"
1235   data:
1236     "vpp-func-results-centos"
1237   filter: "all"
1238   parameters:
1239   - "name"
1240   - "doc"
1241   - "level"
1242   data-start-level: 3  # 0, 1, 2, ...
1243   chapters-start-level: 2  # 0, 1, 2, ...
1244
1245 -
1246   type: "file"
1247   title: "VPP Functional Configuration"
1248   algorithm: "file_test_results"
1249   output-file-ext: ".rst"
1250   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
1251   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1252   dir-tables: "{DIR[DTC,FUNC,VPP]}"
1253   data:
1254     "vpp-func-results"
1255   filter: "all"
1256   parameters:
1257   - "name"
1258   - "doc"
1259   - "level"
1260   data-start-level: 3  # 0, 1, 2, ...
1261   chapters-start-level: 2  # 0, 1, 2, ...
1262
1263 -
1264   type: "file"
1265   title: "VPP Functional Configuration - CentOS"
1266   algorithm: "file_test_results"
1267   output-file-ext: ".rst"
1268   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration_centos"
1269   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1270   dir-tables: "{DIR[DTC,FUNC,VPP,CENTOS]}"
1271   data:
1272     "vpp-func-results-centos"
1273   filter: "all"
1274   parameters:
1275   - "name"
1276   - "doc"
1277   - "level"
1278   data-start-level: 3  # 0, 1, 2, ...
1279   chapters-start-level: 2  # 0, 1, 2, ...
1280
1281 -
1282   type: "file"
1283   title: "Container Orchestrated Performance Results"
1284   algorithm: "file_test_results"
1285   output-file-ext: ".rst"
1286   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
1287   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1288   dir-tables: "{DIR[DTR,PERF,COT]}"
1289   data:
1290     "ligato-perf-results"
1291   filter: "all"
1292   parameters:
1293   - "name"
1294   - "doc"
1295   - "level"
1296   data-start-level: 2  # 0, 1, 2, ...
1297   chapters-start-level: 2  # 0, 1, 2, ...
1298
1299 -
1300   type: "file"
1301   title: "DPDK Performance Results"
1302   algorithm: "file_test_results"
1303   output-file-ext: ".rst"
1304   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
1305   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1306   dir-tables: "{DIR[DTR,PERF,DPDK]}"
1307   data:
1308     "dpdk-perf-results"
1309   filter: "all"
1310   parameters:
1311   - "name"
1312   - "doc"
1313   - "level"
1314   chapters:
1315   - "suites"
1316   data-start-level: 2  # 0, 1, 2, ...
1317   chapters-start-level: 2  # 0, 1, 2, ...
1318
1319 -
1320   type: "file"
1321   title: "Honeycomb Functional Results"
1322   algorithm: "file_test_results"
1323   output-file-ext: ".rst"
1324   output-file: "{DIR[DTR,FUNC,HC]}/honeycomb_functional_results"
1325   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1326   dir-tables: "{DIR[DTR,FUNC,HC]}"
1327   data:
1328     "hc-func-results"
1329   filter: "all"
1330   parameters:
1331   - "name"
1332   - "doc"
1333   - "level"
1334   chapters:
1335   - "suites"
1336   data-start-level: 3  # 0, 1, 2, ...
1337   chapters-start-level: 2  # 0, 1, 2, ...
1338
1339 -
1340   type: "file"
1341   title: "NSH SFC Functional Results"
1342   algorithm: "file_test_results"
1343   output-file-ext: ".rst"
1344   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nshsfc_functional_results"
1345   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1346   dir-tables: "{DIR[DTR,FUNC,NSHSFC]}"
1347   data:
1348     "nsh-func-results"
1349   filter: "all"
1350   parameters:
1351   - "name"
1352   - "doc"
1353   - "level"
1354   chapters:
1355   - "suites"
1356   data-start-level: 2  # 0, 1, 2, ...
1357   chapters-start-level: 2  # 0, 1, 2, ...
1358
1359 ################################################################################
1360 ###                                P L O T S                                 ###
1361 ################################################################################
1362
1363 # Plots VPP HTTP Server Performance
1364 -
1365   type: "plot"
1366   title: "VPP HTTP Server Performance"
1367   algorithm: "plot_http_server_performance_box"
1368   output-file-type: ".html"
1369   output-file: "{DIR[STATIC,VPP]}/http-server-performance-cps"
1370   data:
1371     "plot-vpp-http-server-performance"
1372   # Keep this formatting, the filter is enclosed with " (quotation mark) and
1373   # each tag is enclosed with ' (apostrophe).
1374   filter: "'HTTP' and 'TCP_CPS'"
1375   parameters:
1376   - "result"
1377   - "name"
1378   traces:
1379     hoverinfo: "x+y"
1380     boxpoints: "outliers"
1381     whiskerwidth: 0
1382   layout:
1383     title: "VPP HTTP Server Performance"
1384     layout:
1385       "plot-cps"
1386
1387 -
1388   type: "plot"
1389   title: "VPP HTTP Server Performance"
1390   algorithm: "plot_http_server_performance_box"
1391   output-file-type: ".html"
1392   output-file: "{DIR[STATIC,VPP]}/http-server-performance-rps"
1393   data:
1394     "plot-vpp-http-server-performance"
1395   filter: "'HTTP' and 'TCP_RPS'"
1396   parameters:
1397   - "result"
1398   - "name"
1399   traces:
1400     hoverinfo: "x+y"
1401     boxpoints: "outliers"
1402     whiskerwidth: 0
1403   layout:
1404     title: "VPP HTTP Server Performance"
1405     layout:
1406       "plot-rps"
1407
1408 # Plot Throughput Speedup Analysis
1409
1410 # L2 - 10ge2p1x520 - NDR
1411 -
1412   type: "plot"
1413   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1414   algorithm: "plot_throughput_speedup_analysis"
1415   output-file-type: ".html"
1416   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-ndrdisc"
1417   data:
1418     "plot-throughput-speedup-analysis"
1419   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1420   parameters:
1421   - "throughput"
1422   - "parent"
1423   - "tags"
1424   layout:
1425     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1426     layout:
1427       "plot-throughput-speedup-analysis"
1428
1429 # L2 - 40ge2p1xl710 - NDR
1430 -
1431   type: "plot"
1432   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1433   algorithm: "plot_throughput_speedup_analysis"
1434   output-file-type: ".html"
1435   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-l2-tsa-ndrdisc"
1436   data:
1437     "plot-throughput-speedup-analysis"
1438   filter: "'NIC_Intel-XL710' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1439   parameters:
1440   - "throughput"
1441   - "parent"
1442   - "tags"
1443   layout:
1444     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1445     layout:
1446       "plot-throughput-speedup-analysis"
1447
1448 # L2 - 10ge2p1x520 - PDR
1449 -
1450   type: "plot"
1451   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1452   algorithm: "plot_throughput_speedup_analysis"
1453   output-file-type: ".html"
1454   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-pdrdisc"
1455   data:
1456     "plot-throughput-speedup-analysis"
1457   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1458   parameters:
1459   - "throughput"
1460   - "parent"
1461   - "tags"
1462   layout:
1463     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1464     layout:
1465       "plot-throughput-speedup-analysis"
1466
1467 # IPv4 - 10ge2p1x520 - NDR
1468 -
1469   type: "plot"
1470   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1471   algorithm: "plot_throughput_speedup_analysis"
1472   output-file-type: ".html"
1473   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-ndrdisc"
1474   data:
1475     "plot-throughput-speedup-analysis"
1476   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1477   parameters:
1478   - "throughput"
1479   - "parent"
1480   - "tags"
1481   layout:
1482     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1483     layout:
1484       "plot-throughput-speedup-analysis"
1485
1486 # IPv4 - 40ge2p1xl710 - NDR
1487 -
1488   type: "plot"
1489   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1490   algorithm: "plot_throughput_speedup_analysis"
1491   output-file-type: ".html"
1492   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-ip4-tsa-ndrdisc"
1493   data:
1494     "plot-throughput-speedup-analysis"
1495   filter: "'NIC_Intel-XL710' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1496   parameters:
1497   - "throughput"
1498   - "parent"
1499   - "tags"
1500   layout:
1501     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1502     layout:
1503       "plot-throughput-speedup-analysis"
1504
1505 # IPv4 - 10ge2p1x520 - PDR
1506 -
1507   type: "plot"
1508   title: "TSA: 64B-*-ethip4-ip4(base|scale)*pdrdisc"
1509   algorithm: "plot_throughput_speedup_analysis"
1510   output-file-type: ".html"
1511   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-pdrdisc"
1512   data:
1513     "plot-throughput-speedup-analysis"
1514   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1515   parameters:
1516   - "throughput"
1517   - "parent"
1518   - "tags"
1519   layout:
1520     title: "64B-*-ethip4-ip4(base|scale)*pdrdisc"
1521     layout:
1522       "plot-throughput-speedup-analysis"
1523
1524 # IPv6 - 10ge2p1x520 - NDR
1525 -
1526   type: "plot"
1527   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1528   algorithm: "plot_throughput_speedup_analysis"
1529   output-file-type: ".html"
1530   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-ndrdisc"
1531   data:
1532     "plot-throughput-speedup-analysis"
1533   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1534   parameters:
1535   - "throughput"
1536   - "parent"
1537   - "tags"
1538   layout:
1539     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1540     layout:
1541       "plot-throughput-speedup-analysis"
1542
1543 # IPv6 - 40ge2p1xl710 - NDR
1544 -
1545   type: "plot"
1546   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1547   algorithm: "plot_throughput_speedup_analysis"
1548   output-file-type: ".html"
1549   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-78B-ip6-tsa-ndrdisc"
1550   data:
1551     "plot-throughput-speedup-analysis"
1552   filter: "'NIC_Intel-XL710' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1553   parameters:
1554   - "throughput"
1555   - "parent"
1556   - "tags"
1557   layout:
1558     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1559     layout:
1560       "plot-throughput-speedup-analysis"
1561
1562 # IPv6 - 10ge2p1x520 - PDR
1563 -
1564   type: "plot"
1565   title: "TSA: 78B-*-ethip6-ip6(base|scale)*pdrdisc"
1566   algorithm: "plot_throughput_speedup_analysis"
1567   output-file-type: ".html"
1568   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-pdrdisc"
1569   data:
1570     "plot-throughput-speedup-analysis"
1571   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST'"
1572   parameters:
1573   - "throughput"
1574   - "parent"
1575   - "tags"
1576   layout:
1577     title: "78B-*-ethip6-ip6(base|scale)*pdrdisc"
1578     layout:
1579       "plot-throughput-speedup-analysis"
1580
1581 # Plot packets per second
1582
1583 # VPP L2 sel1
1584 -
1585   type: "plot"
1586   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1587   algorithm: "plot_performance_box"
1588   output-file-type: ".html"
1589   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc"
1590   data:
1591     "plot-vpp-throughput-latency"
1592   # Keep this formatting, the filter is enclosed with " (quotation mark) and
1593   # each tag is enclosed with ' (apostrophe).
1594   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1595   parameters:
1596   - "throughput"
1597   - "parent"
1598   traces:
1599     hoverinfo: "x+y"
1600     boxpoints: "outliers"
1601     whiskerwidth: 0
1602   layout:
1603     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1604     layout:
1605       "plot-throughput"
1606
1607 -
1608   type: "plot"
1609   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1610   algorithm: "plot_performance_box"
1611   output-file-type: ".html"
1612   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc"
1613   data:
1614     "plot-vpp-throughput-latency"
1615   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1616   parameters:
1617   - "throughput"
1618   - "parent"
1619   traces:
1620     hoverinfo: "x+y"
1621     boxpoints: "outliers"
1622     whiskerwidth: 0
1623   layout:
1624     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1625     layout:
1626       "plot-throughput"
1627
1628 -
1629   type: "plot"
1630   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1631   algorithm: "plot_performance_box"
1632   output-file-type: ".html"
1633   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-pdrdisc"
1634   data:
1635     "plot-vpp-throughput-latency"
1636   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1637   parameters:
1638   - "throughput"
1639   - "parent"
1640   traces:
1641     hoverinfo: "x+y"
1642     boxpoints: "outliers"
1643     whiskerwidth: 0
1644   layout:
1645     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1646     layout:
1647       "plot-throughput"
1648
1649 -
1650   type: "plot"
1651   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1652   algorithm: "plot_performance_box"
1653   output-file-type: ".html"
1654   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-pdrdisc"
1655   data:
1656     "plot-vpp-throughput-latency"
1657   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1658   parameters:
1659   - "throughput"
1660   - "parent"
1661   traces:
1662     hoverinfo: "x+y"
1663     boxpoints: "outliers"
1664     whiskerwidth: 0
1665   layout:
1666     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1667     layout:
1668       "plot-throughput"
1669
1670 # VPP L2 sel2
1671 -
1672   type: "plot"
1673   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1674   algorithm: "plot_performance_box"
1675   output-file-type: ".html"
1676   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc"
1677   data:
1678     "plot-vpp-throughput-latency"
1679   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1680   parameters:
1681   - "throughput"
1682   - "parent"
1683   traces:
1684     hoverinfo: "x+y"
1685     boxpoints: "outliers"
1686     whiskerwidth: 0
1687   layout:
1688     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1689     layout:
1690       "plot-throughput"
1691
1692 -
1693   type: "plot"
1694   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1695   algorithm: "plot_performance_box"
1696   output-file-type: ".html"
1697   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc"
1698   data:
1699     "plot-vpp-throughput-latency"
1700   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1701   parameters:
1702   - "throughput"
1703   - "parent"
1704   traces:
1705     hoverinfo: "x+y"
1706     boxpoints: "outliers"
1707     whiskerwidth: 0
1708   layout:
1709     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1710     layout:
1711       "plot-throughput"
1712
1713 -
1714   type: "plot"
1715   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1716   algorithm: "plot_performance_box"
1717   output-file-type: ".html"
1718   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-pdrdisc"
1719   data:
1720     "plot-vpp-throughput-latency"
1721   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1722   parameters:
1723   - "throughput"
1724   - "parent"
1725   traces:
1726     hoverinfo: "x+y"
1727     boxpoints: "outliers"
1728     whiskerwidth: 0
1729   layout:
1730     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1731     layout:
1732       "plot-throughput"
1733
1734 -
1735   type: "plot"
1736   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1737   algorithm: "plot_performance_box"
1738   output-file-type: ".html"
1739   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-pdrdisc"
1740   data:
1741     "plot-vpp-throughput-latency"
1742   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1743   parameters:
1744   - "throughput"
1745   - "parent"
1746   traces:
1747     hoverinfo: "x+y"
1748     boxpoints: "outliers"
1749     whiskerwidth: 0
1750   layout:
1751     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1752     layout:
1753       "plot-throughput"
1754
1755 # VPP IP4
1756 -
1757   type: "plot"
1758   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1759   algorithm: "plot_performance_box"
1760   output-file-type: ".html"
1761   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc"
1762   data:
1763     "plot-vpp-throughput-latency"
1764   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
1765   parameters:
1766   - "throughput"
1767   - "parent"
1768   traces:
1769     hoverinfo: "x+y"
1770     boxpoints: "outliers"
1771     whiskerwidth: 0
1772   layout:
1773     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1774     layout:
1775       "plot-throughput"
1776
1777 -
1778   type: "plot"
1779   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1780   algorithm: "plot_performance_box"
1781   output-file-type: ".html"
1782   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc"
1783   data:
1784     "plot-vpp-throughput-latency"
1785   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
1786   parameters:
1787   - "throughput"
1788   - "parent"
1789   traces:
1790     hoverinfo: "x+y"
1791     boxpoints: "outliers"
1792     whiskerwidth: 0
1793   layout:
1794     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1795     layout:
1796       "plot-throughput"
1797
1798 -
1799   type: "plot"
1800   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1801   algorithm: "plot_performance_box"
1802   output-file-type: ".html"
1803   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-pdrdisc"
1804   data:
1805     "plot-vpp-throughput-latency"
1806   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
1807   parameters:
1808   - "throughput"
1809   - "parent"
1810   traces:
1811     hoverinfo: "x+y"
1812     boxpoints: "outliers"
1813     whiskerwidth: 0
1814   layout:
1815     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1816     layout:
1817       "plot-throughput"
1818
1819 -
1820   type: "plot"
1821   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1822   algorithm: "plot_performance_box"
1823   output-file-type: ".html"
1824   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-pdrdisc"
1825   data:
1826     "plot-vpp-throughput-latency"
1827   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
1828   parameters:
1829   - "throughput"
1830   - "parent"
1831   traces:
1832     hoverinfo: "x+y"
1833     boxpoints: "outliers"
1834     whiskerwidth: 0
1835   layout:
1836     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1837     layout:
1838       "plot-throughput"
1839
1840 # VPP IP6
1841 -
1842   type: "plot"
1843   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1844   algorithm: "plot_performance_box"
1845   output-file-type: ".html"
1846   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc"
1847   data:
1848     "plot-vpp-throughput-latency"
1849   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1850   parameters:
1851   - "throughput"
1852   - "parent"
1853   traces:
1854     hoverinfo: "x+y"
1855     boxpoints: "outliers"
1856     whiskerwidth: 0
1857   layout:
1858     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1859     layout:
1860       "plot-throughput"
1861
1862 -
1863   type: "plot"
1864   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1865   algorithm: "plot_performance_box"
1866   output-file-type: ".html"
1867   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc"
1868   data:
1869     "plot-vpp-throughput-latency"
1870   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1871   parameters:
1872   - "throughput"
1873   - "parent"
1874   traces:
1875     hoverinfo: "x+y"
1876     boxpoints: "outliers"
1877     whiskerwidth: 0
1878   layout:
1879     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1880     layout:
1881       "plot-throughput"
1882
1883 -
1884   type: "plot"
1885   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1886   algorithm: "plot_performance_box"
1887   output-file-type: ".html"
1888   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-pdrdisc"
1889   data:
1890     "plot-vpp-throughput-latency"
1891   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1892   parameters:
1893   - "throughput"
1894   - "parent"
1895   traces:
1896     hoverinfo: "x+y"
1897     boxpoints: "outliers"
1898     whiskerwidth: 0
1899   layout:
1900     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1901     layout:
1902       "plot-throughput"
1903
1904 -
1905   type: "plot"
1906   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1907   algorithm: "plot_performance_box"
1908   output-file-type: ".html"
1909   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-pdrdisc"
1910   data:
1911     "plot-vpp-throughput-latency"
1912   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1913   parameters:
1914   - "throughput"
1915   - "parent"
1916   traces:
1917     hoverinfo: "x+y"
1918     boxpoints: "outliers"
1919     whiskerwidth: 0
1920   layout:
1921     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1922     layout:
1923       "plot-throughput"
1924
1925 # VPP IP4_overlay
1926 -
1927   type: "plot"
1928   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1929   algorithm: "plot_performance_box"
1930   output-file-type: ".html"
1931   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc"
1932   data:
1933     "plot-vpp-throughput-latency"
1934   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1935   parameters:
1936   - "throughput"
1937   - "parent"
1938   traces:
1939     hoverinfo: "x+y"
1940     boxpoints: "outliers"
1941     whiskerwidth: 0
1942   layout:
1943     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1944     layout:
1945       "plot-throughput"
1946
1947 -
1948   type: "plot"
1949   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1950   algorithm: "plot_performance_box"
1951   output-file-type: ".html"
1952   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc"
1953   data:
1954     "plot-vpp-throughput-latency"
1955   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1956   parameters:
1957   - "throughput"
1958   - "parent"
1959   traces:
1960     hoverinfo: "x+y"
1961     boxpoints: "outliers"
1962     whiskerwidth: 0
1963   layout:
1964     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1965     layout:
1966       "plot-throughput"
1967
1968 -
1969   type: "plot"
1970   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1971   algorithm: "plot_performance_box"
1972   output-file-type: ".html"
1973   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-pdrdisc"
1974   data:
1975     "plot-vpp-throughput-latency"
1976   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1977   parameters:
1978   - "throughput"
1979   - "parent"
1980   traces:
1981     hoverinfo: "x+y"
1982     boxpoints: "outliers"
1983     whiskerwidth: 0
1984   layout:
1985     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1986     layout:
1987       "plot-throughput"
1988
1989 -
1990   type: "plot"
1991   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1992   algorithm: "plot_performance_box"
1993   output-file-type: ".html"
1994   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-pdrdisc"
1995   data:
1996     "plot-vpp-throughput-latency"
1997   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1998   parameters:
1999   - "throughput"
2000   - "parent"
2001   traces:
2002     hoverinfo: "x+y"
2003     boxpoints: "outliers"
2004     whiskerwidth: 0
2005   layout:
2006     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
2007     layout:
2008       "plot-throughput"
2009
2010 # VPP IP6_overlay
2011 -
2012   type: "plot"
2013   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2014   algorithm: "plot_performance_box"
2015   output-file-type: ".html"
2016   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc"
2017   data:
2018     "plot-vpp-throughput-latency"
2019   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2020   parameters:
2021   - "throughput"
2022   - "parent"
2023   traces:
2024     hoverinfo: "x+y"
2025     boxpoints: "outliers"
2026     whiskerwidth: 0
2027   layout:
2028     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2029     xaxis:
2030       autorange: True
2031       autotick: False
2032       fixedrange: False
2033       gridcolor: "rgb(238, 238, 238)"
2034       linecolor: "rgb(238, 238, 238)"
2035       linewidth: 1
2036       showgrid: True
2037       showline: True
2038       showticklabels: True
2039       tickcolor: "rgb(238, 238, 238)"
2040       tickmode: "linear"
2041       title: "Indexed Test Cases"
2042       zeroline: False
2043     yaxis:
2044       gridcolor: "rgb(238, 238, 238)'"
2045       hoverformat: ".4s"
2046       linecolor: "rgb(238, 238, 238)"
2047       linewidth: 1
2048       range: [2000000, 6000000]
2049       showgrid: True
2050       showline: True
2051       showticklabels: True
2052       tickcolor: "rgb(238, 238, 238)"
2053       title: "Packets Per Second [pps]"
2054       zeroline: False
2055     boxmode: "group"
2056     boxgroupgap: 0.5
2057     autosize: False
2058     margin:
2059       t: 50
2060       b: 20
2061       l: 50
2062       r: 20
2063     showlegend: True
2064     legend:
2065       orientation: "h"
2066     width: 700
2067     height: 1000
2068
2069 -
2070   type: "plot"
2071   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2072   algorithm: "plot_performance_box"
2073   output-file-type: ".html"
2074   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc"
2075   data:
2076     "plot-vpp-throughput-latency"
2077   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2078   parameters:
2079   - "throughput"
2080   - "parent"
2081   traces:
2082     hoverinfo: "x+y"
2083     boxpoints: "outliers"
2084     whiskerwidth: 0
2085   layout:
2086     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2087     layout:
2088       "plot-throughput"
2089
2090 -
2091   type: "plot"
2092   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2093   algorithm: "plot_performance_box"
2094   output-file-type: ".html"
2095   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-pdrdisc"
2096   data:
2097     "plot-vpp-throughput-latency"
2098   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2099   parameters:
2100   - "throughput"
2101   - "parent"
2102   traces:
2103     hoverinfo: "x+y"
2104     boxpoints: "outliers"
2105     whiskerwidth: 0
2106   layout:
2107     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2108     layout:
2109       "plot-throughput"
2110
2111 -
2112   type: "plot"
2113   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2114   algorithm: "plot_performance_box"
2115   output-file-type: ".html"
2116   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-pdrdisc"
2117   data:
2118     "plot-vpp-throughput-latency"
2119   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2120   parameters:
2121   - "throughput"
2122   - "parent"
2123   traces:
2124     hoverinfo: "x+y"
2125     boxpoints: "outliers"
2126     whiskerwidth: 0
2127   layout:
2128     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2129     xaxis:
2130       autorange: True
2131       autotick: False
2132       fixedrange: False
2133       gridcolor: "rgb(238, 238, 238)"
2134       linecolor: "rgb(238, 238, 238)"
2135       linewidth: 1
2136       showgrid: True
2137       showline: True
2138       showticklabels: True
2139       tickcolor: "rgb(238, 238, 238)"
2140       tickmode: "linear"
2141       title: "Indexed Test Cases"
2142       zeroline: False
2143     yaxis:
2144       gridcolor: "rgb(238, 238, 238)'"
2145       hoverformat: ".4s"
2146       linecolor: "rgb(238, 238, 238)"
2147       linewidth: 1
2148       range: [4000000, 12000000]
2149       showgrid: True
2150       showline: True
2151       showticklabels: True
2152       tickcolor: "rgb(238, 238, 238)"
2153       title: "Packets Per Second [pps]"
2154       zeroline: False
2155     boxmode: "group"
2156     boxgroupgap: 0.5
2157     autosize: False
2158     margin:
2159       t: 50
2160       b: 20
2161       l: 50
2162       r: 20
2163     showlegend: True
2164     legend:
2165       orientation: "h"
2166     width: 700
2167     height: 1000
2168
2169 # VPP VM VHOST
2170 -
2171   type: "plot"
2172   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2173   algorithm: "plot_performance_box"
2174   output-file-type: ".html"
2175   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc"
2176   data:
2177     "plot-vpp-throughput-latency"
2178   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2179   parameters:
2180   - "throughput"
2181   - "parent"
2182   traces:
2183     hoverinfo: "x+y"
2184     boxpoints: "outliers"
2185     whiskerwidth: 0
2186   layout:
2187     title: "64B-1t1c-.*vhost.*-ndrdisc"
2188     xaxis:
2189       autorange: True
2190       autotick: False
2191       fixedrange: False
2192       gridcolor: "rgb(238, 238, 238)"
2193       linecolor: "rgb(238, 238, 238)"
2194       linewidth: 1
2195       showgrid: True
2196       showline: True
2197       showticklabels: True
2198       tickcolor: "rgb(238, 238, 238)"
2199       tickmode: "linear"
2200       title: "Indexed Test Cases"
2201       zeroline: False
2202     yaxis:
2203       gridcolor: "rgb(238, 238, 238)'"
2204       hoverformat: ".4s"
2205       linecolor: "rgb(238, 238, 238)"
2206       linewidth: 1
2207       range: [0, 3500000]
2208       showgrid: True
2209       showline: True
2210       showticklabels: True
2211       tickcolor: "rgb(238, 238, 238)"
2212       title: "Packets Per Second [pps]"
2213       zeroline: False
2214     boxmode: "group"
2215     boxgroupgap: 0.5
2216     autosize: False
2217     margin:
2218       t: 50
2219       b: 20
2220       l: 50
2221       r: 20
2222     showlegend: True
2223     legend:
2224       orientation: "h"
2225     width: 700
2226     height: 1000
2227
2228 -
2229   type: "plot"
2230   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2231   algorithm: "plot_performance_box"
2232   output-file-type: ".html"
2233   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc"
2234   data:
2235     "plot-vpp-throughput-latency"
2236   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2237   parameters:
2238   - "throughput"
2239   - "parent"
2240   traces:
2241     hoverinfo: "x+y"
2242     boxpoints: "outliers"
2243     whiskerwidth: 0
2244   layout:
2245     title: "64B-2t2c-.*vhost.*-ndrdisc"
2246     layout:
2247       "plot-throughput"
2248
2249 -
2250   type: "plot"
2251   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2252   algorithm: "plot_performance_box"
2253   output-file-type: ".html"
2254   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-pdrdisc"
2255   data:
2256     "plot-vpp-throughput-latency"
2257   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2258   parameters:
2259   - "throughput"
2260   - "parent"
2261   traces:
2262     hoverinfo: "x+y"
2263     boxpoints: "outliers"
2264     whiskerwidth: 0
2265   layout:
2266     title: "64B-1t1c-.*vhost.*-pdrdisc"
2267     layout:
2268       "plot-throughput"
2269
2270 -
2271   type: "plot"
2272   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2273   algorithm: "plot_performance_box"
2274   output-file-type: ".html"
2275   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-pdrdisc"
2276   data:
2277     "plot-vpp-throughput-latency"
2278   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2279   parameters:
2280   - "throughput"
2281   - "parent"
2282   traces:
2283     hoverinfo: "x+y"
2284     boxpoints: "outliers"
2285     whiskerwidth: 0
2286   layout:
2287     title: "64B-2t2c-.*vhost.*-pdrdisc"
2288     layout:
2289       "plot-throughput"
2290
2291 # VPP VM VHOST SELECTION
2292 -
2293   type: "plot"
2294   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2295   algorithm: "plot_performance_box"
2296   output-file-type: ".html"
2297   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc"
2298   data:
2299     "plot-vpp-throughput-latency"
2300   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2301   parameters:
2302   - "throughput"
2303   - "parent"
2304   traces:
2305     hoverinfo: "x+y"
2306     boxpoints: "outliers"
2307     whiskerwidth: 0
2308   layout:
2309     title: "64B-1t1c-.*vhost.*-ndrdisc"
2310     layout:
2311       "plot-throughput"
2312
2313 -
2314   type: "plot"
2315   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2316   algorithm: "plot_performance_box"
2317   output-file-type: ".html"
2318   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc"
2319   data:
2320     "plot-vpp-throughput-latency"
2321   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2322   parameters:
2323   - "throughput"
2324   - "parent"
2325   traces:
2326     hoverinfo: "x+y"
2327     boxpoints: "outliers"
2328     whiskerwidth: 0
2329   layout:
2330     title: "64B-2t2c-.*vhost.*-ndrdisc"
2331     layout:
2332       "plot-throughput"
2333
2334 -
2335   type: "plot"
2336   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2337   algorithm: "plot_performance_box"
2338   output-file-type: ".html"
2339   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-pdrdisc"
2340   data:
2341     "plot-vpp-throughput-latency"
2342   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2343   parameters:
2344   - "throughput"
2345   - "parent"
2346   traces:
2347     hoverinfo: "x+y"
2348     boxpoints: "outliers"
2349     whiskerwidth: 0
2350   layout:
2351     title: "64B-1t1c-.*vhost.*-pdrdisc"
2352     layout:
2353       "plot-throughput"
2354
2355 -
2356   type: "plot"
2357   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2358   algorithm: "plot_performance_box"
2359   output-file-type: ".html"
2360   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-pdrdisc"
2361   data:
2362     "plot-vpp-throughput-latency"
2363   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2364   parameters:
2365   - "throughput"
2366   - "parent"
2367   traces:
2368     hoverinfo: "x+y"
2369     boxpoints: "outliers"
2370     whiskerwidth: 0
2371   layout:
2372     title: "64B-2t2c-.*vhost.*-pdrdisc"
2373     layout:
2374       "plot-throughput"
2375
2376 # VPP CRYPTO
2377 -
2378   type: "plot"
2379   title: "VPP Performance 64B-1t1c-.*ipsec.*-ndrdisc"
2380   algorithm: "plot_performance_box"
2381   output-file-type: ".html"
2382   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc"
2383   data:
2384     "plot-vpp-throughput-latency"
2385   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2386   parameters:
2387   - "throughput"
2388   - "parent"
2389   traces:
2390     hoverinfo: "x+y"
2391     boxpoints: "outliers"
2392     whiskerwidth: 0
2393   layout:
2394     title: "64B-1t1c-.*ipsec.*-ndrdisc"
2395     layout:
2396       "plot-throughput"
2397
2398 -
2399   type: "plot"
2400   title: "VPP Performance 64B-2t2c-.*ipsec.*-ndrdisc"
2401   algorithm: "plot_performance_box"
2402   output-file-type: ".html"
2403   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc"
2404   data:
2405     "plot-vpp-throughput-latency"
2406   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2407   parameters:
2408   - "throughput"
2409   - "parent"
2410   traces:
2411     hoverinfo: "x+y"
2412     boxpoints: "outliers"
2413     whiskerwidth: 0
2414   layout:
2415     title: "64B-2t2c-.*ipsec.*-ndrdisc"
2416     layout:
2417       "plot-throughput"
2418
2419 -
2420   type: "plot"
2421   title: "VPP Performance 64B-1t1c-.*ipsec.*-pdrdisc"
2422   algorithm: "plot_performance_box"
2423   output-file-type: ".html"
2424   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-pdrdisc"
2425   data:
2426     "plot-vpp-throughput-latency"
2427   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2428   parameters:
2429   - "throughput"
2430   - "parent"
2431   traces:
2432     hoverinfo: "x+y"
2433     boxpoints: "outliers"
2434     whiskerwidth: 0
2435   layout:
2436     title: "64B-1t1c-.*ipsec.*-pdrdisc"
2437     layout:
2438       "plot-throughput"
2439
2440 -
2441   type: "plot"
2442   title: "VPP Performance 64B-2t2c-.*ipsec.*-pdrdisc"
2443   algorithm: "plot_performance_box"
2444   output-file-type: ".html"
2445   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-pdrdisc"
2446   data:
2447     "plot-vpp-throughput-latency"
2448   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2449   parameters:
2450   - "throughput"
2451   - "parent"
2452   traces:
2453     hoverinfo: "x+y"
2454     boxpoints: "outliers"
2455     whiskerwidth: 0
2456   layout:
2457     title: "64B-2t2c-.*ipsec.*-pdrdisc"
2458     layout:
2459       "plot-throughput"
2460
2461 # DPDK
2462 -
2463   type: "plot"
2464   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2465   algorithm: "plot_performance_box"
2466   output-file-type: ".html"
2467   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc"
2468   data:
2469     "plot-dpdk-throughput-latency"
2470   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2471   parameters:
2472   - "throughput"
2473   - "parent"
2474   traces:
2475     hoverinfo: "x+y"
2476     boxpoints: "outliers"
2477     whiskerwidth: 0
2478   layout:
2479     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2480     layout:
2481       "plot-throughput"
2482
2483 -
2484   type: "plot"
2485   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2486   algorithm: "plot_performance_box"
2487   output-file-type: ".html"
2488   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc"
2489   data:
2490     "plot-dpdk-throughput-latency"
2491   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2492   parameters:
2493   - "throughput"
2494   - "parent"
2495   traces:
2496     hoverinfo: "x+y"
2497     boxpoints: "outliers"
2498     whiskerwidth: 0
2499   layout:
2500     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2501     layout:
2502       "plot-throughput"
2503
2504 -
2505   type: "plot"
2506   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2507   algorithm: "plot_performance_box"
2508   output-file-type: ".html"
2509   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc"
2510   data:
2511     "plot-dpdk-throughput-latency"
2512   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
2513   parameters:
2514   - "throughput"
2515   - "parent"
2516   traces:
2517     hoverinfo: "x+y"
2518     boxpoints: "outliers"
2519     whiskerwidth: 0
2520   layout:
2521     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2522     xaxis:
2523       autorange: True
2524       autotick: False
2525       fixedrange: False
2526       gridcolor: "rgb(238, 238, 238)"
2527       linecolor: "rgb(238, 238, 238)"
2528       linewidth: 1
2529       showgrid: True
2530       showline: True
2531       showticklabels: True
2532       tickcolor: "rgb(238, 238, 238)"
2533       tickmode: "linear"
2534       title: "Indexed Test Cases"
2535       zeroline: False
2536     yaxis:
2537       gridcolor: "rgb(238, 238, 238)'"
2538       hoverformat: ".4s"
2539       linecolor: "rgb(238, 238, 238)"
2540       linewidth: 1
2541       range: [2000000, 12000000]
2542       showgrid: True
2543       showline: True
2544       showticklabels: True
2545       tickcolor: "rgb(238, 238, 238)"
2546       title: "Packets Per Second [pps]"
2547       zeroline: False
2548     boxmode: "group"
2549     boxgroupgap: 0.5
2550     autosize: False
2551     margin:
2552       t: 50
2553       b: 20
2554       l: 50
2555       r: 20
2556     showlegend: True
2557     legend:
2558       orientation: "h"
2559     width: 700
2560     height: 1000
2561
2562 -
2563   type: "plot"
2564   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2565   algorithm: "plot_performance_box"
2566   output-file-type: ".html"
2567   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc"
2568   data:
2569     "plot-dpdk-throughput-latency"
2570   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
2571   parameters:
2572   - "throughput"
2573   - "parent"
2574   traces:
2575     hoverinfo: "x+y"
2576     boxpoints: "outliers"
2577     whiskerwidth: 0
2578   layout:
2579     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2580     xaxis:
2581       autorange: True
2582       autotick: False
2583       fixedrange: False
2584       gridcolor: "rgb(238, 238, 238)"
2585       linecolor: "rgb(238, 238, 238)"
2586       linewidth: 1
2587       showgrid: True
2588       showline: True
2589       showticklabels: True
2590       tickcolor: "rgb(238, 238, 238)"
2591       tickmode: "linear"
2592       title: "Indexed Test Cases"
2593       zeroline: False
2594     yaxis:
2595       gridcolor: "rgb(238, 238, 238)'"
2596       hoverformat: ".4s"
2597       linecolor: "rgb(238, 238, 238)"
2598       linewidth: 1
2599       range: [2000000, 12000000]
2600       showgrid: True
2601       showline: True
2602       showticklabels: True
2603       tickcolor: "rgb(238, 238, 238)"
2604       title: "Packets Per Second [pps]"
2605       zeroline: False
2606     boxmode: "group"
2607     boxgroupgap: 0.5
2608     autosize: False
2609     margin:
2610       t: 50
2611       b: 20
2612       l: 50
2613       r: 20
2614     showlegend: True
2615     legend:
2616       orientation: "h"
2617     width: 700
2618     height: 1000
2619
2620 -
2621   type: "plot"
2622   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2623   algorithm: "plot_performance_box"
2624   output-file-type: ".html"
2625   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-pdrdisc"
2626   data:
2627     "plot-dpdk-throughput-latency"
2628   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2629   parameters:
2630   - "throughput"
2631   - "parent"
2632   traces:
2633     hoverinfo: "x+y"
2634     boxpoints: "outliers"
2635     whiskerwidth: 0
2636   layout:
2637     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2638     layout:
2639       "plot-throughput"
2640
2641 -
2642   type: "plot"
2643   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2644   algorithm: "plot_performance_box"
2645   output-file-type: ".html"
2646   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-pdrdisc"
2647   data:
2648     "plot-dpdk-throughput-latency"
2649   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2650   parameters:
2651   - "throughput"
2652   - "parent"
2653   traces:
2654     hoverinfo: "x+y"
2655     boxpoints: "outliers"
2656     whiskerwidth: 0
2657   layout:
2658     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2659     layout:
2660       "plot-throughput"
2661
2662 -
2663   type: "plot"
2664   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
2665   algorithm: "plot_performance_box"
2666   output-file-type: ".html"
2667   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-pdrdisc"
2668   data:
2669     "plot-dpdk-throughput-latency"
2670   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD'"
2671   parameters:
2672   - "throughput"
2673   - "parent"
2674   traces:
2675     hoverinfo: "x+y"
2676     boxpoints: "outliers"
2677     whiskerwidth: 0
2678   layout:
2679     title: "64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
2680     xaxis:
2681       autorange: True
2682       autotick: False
2683       fixedrange: False
2684       gridcolor: "rgb(238, 238, 238)"
2685       linecolor: "rgb(238, 238, 238)"
2686       linewidth: 1
2687       showgrid: True
2688       showline: True
2689       showticklabels: True
2690       tickcolor: "rgb(238, 238, 238)"
2691       tickmode: "linear"
2692       title: "Indexed Test Cases"
2693       zeroline: False
2694     yaxis:
2695       gridcolor: "rgb(238, 238, 238)'"
2696       hoverformat: ".4s"
2697       linecolor: "rgb(238, 238, 238)"
2698       linewidth: 1
2699       range: [20000000, 30000000]
2700       showgrid: True
2701       showline: True
2702       showticklabels: True
2703       tickcolor: "rgb(238, 238, 238)"
2704       title: "Packets Per Second [pps]"
2705       zeroline: False
2706     boxmode: "group"
2707     boxgroupgap: 0.5
2708     autosize: False
2709     margin:
2710       t: 50
2711       b: 20
2712       l: 50
2713       r: 20
2714     showlegend: True
2715     legend:
2716       orientation: "h"
2717     width: 700
2718     height: 1000
2719
2720 -
2721   type: "plot"
2722   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
2723   algorithm: "plot_performance_box"
2724   output-file-type: ".html"
2725   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-pdrdisc"
2726   data:
2727     "plot-dpdk-throughput-latency"
2728   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD'"
2729   parameters:
2730   - "throughput"
2731   - "parent"
2732   traces:
2733     hoverinfo: "x+y"
2734     boxpoints: "outliers"
2735     whiskerwidth: 0
2736   layout:
2737     title: "64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
2738     xaxis:
2739       autorange: True
2740       autotick: False
2741       fixedrange: False
2742       gridcolor: "rgb(238, 238, 238)"
2743       linecolor: "rgb(238, 238, 238)"
2744       linewidth: 1
2745       showgrid: True
2746       showline: True
2747       showticklabels: True
2748       tickcolor: "rgb(238, 238, 238)"
2749       tickmode: "linear"
2750       title: "Indexed Test Cases"
2751       zeroline: False
2752     yaxis:
2753       gridcolor: "rgb(238, 238, 238)'"
2754       hoverformat: ".4s"
2755       linecolor: "rgb(238, 238, 238)"
2756       linewidth: 1
2757       range: [20000000, 30000000]
2758       showgrid: True
2759       showline: True
2760       showticklabels: True
2761       tickcolor: "rgb(238, 238, 238)"
2762       title: "Packets Per Second [pps]"
2763       zeroline: False
2764     boxmode: "group"
2765     boxgroupgap: 0.5
2766     autosize: False
2767     margin:
2768       t: 50
2769       b: 20
2770       l: 50
2771       r: 20
2772     showlegend: True
2773     legend:
2774       orientation: "h"
2775     width: 700
2776     height: 1000
2777
2778 # Plot latency
2779
2780 # VPP L2 sel1
2781 -
2782   type: "plot"
2783   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2784   algorithm: "plot_latency_box"
2785   output-file-type: ".html"
2786   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc-lat50"
2787   data:
2788     "plot-vpp-throughput-latency"
2789   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2790   parameters:
2791   - "latency"
2792   - "parent"
2793   traces:
2794     boxmean: False
2795   layout:
2796     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2797     layout:
2798       "plot-latency"
2799
2800 -
2801   type: "plot"
2802   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2803   algorithm: "plot_latency_box"
2804   output-file-type: ".html"
2805   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc-lat50"
2806   data:
2807     "plot-vpp-throughput-latency"
2808   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2809   parameters:
2810   - "latency"
2811   - "parent"
2812   traces:
2813     boxmean: False
2814   layout:
2815     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2816     layout:
2817       "plot-latency"
2818
2819 # VPP L2 sel2
2820 -
2821   type: "plot"
2822   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2823   algorithm: "plot_latency_box"
2824   output-file-type: ".html"
2825   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc-lat50"
2826   data:
2827     "plot-vpp-throughput-latency"
2828   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2829   parameters:
2830   - "latency"
2831   - "parent"
2832   traces:
2833     boxmean: False
2834   layout:
2835     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2836     layout:
2837       "plot-latency"
2838
2839 -
2840   type: "plot"
2841   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2842   algorithm: "plot_latency_box"
2843   output-file-type: ".html"
2844   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc-lat50"
2845   data:
2846     "plot-vpp-throughput-latency"
2847   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2848   parameters:
2849   - "latency"
2850   - "parent"
2851   traces:
2852     boxmean: False
2853   layout:
2854     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2855     layout:
2856       "plot-latency"
2857
2858 # VPP IP4
2859 -
2860   type: "plot"
2861   title: "VPP Latency 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2862   algorithm: "plot_latency_box"
2863   output-file-type: ".html"
2864   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc-lat50"
2865   data:
2866     "plot-vpp-throughput-latency"
2867   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
2868   parameters:
2869   - "latency"
2870   - "parent"
2871   traces:
2872     boxmean: False
2873   layout:
2874     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2875     layout:
2876       "plot-latency"
2877
2878 -
2879   type: "plot"
2880   title: "VPP Latency 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2881   algorithm: "plot_latency_box"
2882   output-file-type: ".html"
2883   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc-lat50"
2884   data:
2885     "plot-vpp-throughput-latency"
2886   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
2887   parameters:
2888   - "latency"
2889   - "parent"
2890   traces:
2891     boxmean: False
2892   layout:
2893     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2894     layout:
2895       "plot-latency"
2896
2897 # VPP IP6
2898 -
2899   type: "plot"
2900   title: "VPP Latency 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2901   algorithm: "plot_latency_box"
2902   output-file-type: ".html"
2903   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc-lat50"
2904   data:
2905     "plot-vpp-throughput-latency"
2906   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2907   parameters:
2908   - "latency"
2909   - "parent"
2910   traces:
2911     boxmean: False
2912   layout:
2913     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2914     layout:
2915       "plot-latency"
2916
2917 -
2918   type: "plot"
2919   title: "VPP Latency 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2920   algorithm: "plot_latency_box"
2921   output-file-type: ".html"
2922   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc-lat50"
2923   data:
2924     "plot-vpp-throughput-latency"
2925   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2926   parameters:
2927   - "latency"
2928   - "parent"
2929   traces:
2930     boxmean: False
2931   layout:
2932     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2933     layout:
2934       "plot-latency"
2935
2936 # VPP IP4_overlay
2937 -
2938   type: "plot"
2939   title: "VPP Latency 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2940   algorithm: "plot_latency_box"
2941   output-file-type: ".html"
2942   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc-lat50"
2943   data:
2944     "plot-vpp-throughput-latency"
2945   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2946   parameters:
2947   - "latency"
2948   - "parent"
2949   traces:
2950     boxmean: False
2951   layout:
2952     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2953     layout:
2954       "plot-latency"
2955
2956 -
2957   type: "plot"
2958   title: "VPP Latency 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2959   algorithm: "plot_latency_box"
2960   output-file-type: ".html"
2961   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc-lat50"
2962   data:
2963     "plot-vpp-throughput-latency"
2964   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2965   parameters:
2966   - "latency"
2967   - "parent"
2968   traces:
2969     boxmean: False
2970   layout:
2971     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2972     layout:
2973       "plot-latency"
2974
2975 # VPP IP6_overlay
2976 -
2977   type: "plot"
2978   title: "VPP Latency 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2979   algorithm: "plot_latency_box"
2980   output-file-type: ".html"
2981   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc-lat50"
2982   data:
2983     "plot-vpp-throughput-latency"
2984   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2985   parameters:
2986   - "latency"
2987   - "parent"
2988   traces:
2989     boxmean: False
2990   layout:
2991     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2992     layout:
2993       "plot-latency"
2994
2995 -
2996   type: "plot"
2997   title: "VPP Latency 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2998   algorithm: "plot_latency_box"
2999   output-file-type: ".html"
3000   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc-lat50"
3001   data:
3002     "plot-vpp-throughput-latency"
3003   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
3004   parameters:
3005   - "latency"
3006   - "parent"
3007   traces:
3008     boxmean: False
3009   layout:
3010     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
3011     layout:
3012       "plot-latency"
3013
3014 # VPP VM VHOST
3015 -
3016   type: "plot"
3017   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
3018   algorithm: "plot_latency_box"
3019   output-file-type: ".html"
3020   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc-lat50"
3021   data:
3022     "plot-vpp-throughput-latency"
3023   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
3024   parameters:
3025   - "latency"
3026   - "parent"
3027   traces:
3028     boxmean: False
3029   layout:
3030     title: "64B-1t1c-.*vhost.*-ndrdisc"
3031     layout:
3032       "plot-latency"
3033
3034 -
3035   type: "plot"
3036   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
3037   algorithm: "plot_latency_box"
3038   output-file-type: ".html"
3039   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc-lat50"
3040   data:
3041     "plot-vpp-throughput-latency"
3042   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
3043   parameters:
3044   - "latency"
3045   - "parent"
3046   traces:
3047     boxmean: False
3048   layout:
3049     title: "64B-2t2c-.*vhost.*-ndrdisc"
3050     layout:
3051       "plot-latency"
3052
3053 # VPP VM VHOST selection
3054 -
3055   type: "plot"
3056   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
3057   algorithm: "plot_latency_box"
3058   output-file-type: ".html"
3059   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc-lat50"
3060   data:
3061     "plot-vpp-throughput-latency"
3062   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
3063   parameters:
3064   - "latency"
3065   - "parent"
3066   traces:
3067     boxmean: False
3068   layout:
3069     title: "64B-1t1c-.*vhost.*-ndrdisc"
3070     layout:
3071       "plot-latency"
3072
3073 -
3074   type: "plot"
3075   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
3076   algorithm: "plot_latency_box"
3077   output-file-type: ".html"
3078   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc-lat50"
3079   data:
3080     "plot-vpp-throughput-latency"
3081   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
3082   parameters:
3083   - "latency"
3084   - "parent"
3085   traces:
3086     boxmean: False
3087   layout:
3088     title: "64B-2t2c-.*vhost.*-ndrdisc"
3089     layout:
3090       "plot-latency"
3091
3092 # VPP CRYPTO
3093 -
3094   type: "plot"
3095   title: "VPP Latency 64B-1t1c-.*ipsec.*-ndrdisc"
3096   algorithm: "plot_latency_box"
3097   output-file-type: ".html"
3098   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc-lat50"
3099   data:
3100     "plot-vpp-throughput-latency"
3101   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
3102   parameters:
3103   - "latency"
3104   - "parent"
3105   traces:
3106     boxmean: False
3107   layout:
3108     title: "64B-1t1c-.*ipsec.*-ndrdisc"
3109     layout:
3110       "plot-latency"
3111
3112 -
3113   type: "plot"
3114   title: "VPP Latency 64B-2t2c-.*ipsec.*-ndrdisc"
3115   algorithm: "plot_latency_box"
3116   output-file-type: ".html"
3117   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc-lat50"
3118   data:
3119     "plot-vpp-throughput-latency"
3120   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
3121   parameters:
3122   - "latency"
3123   - "parent"
3124   traces:
3125     boxmean: False
3126   layout:
3127     title: "64B-2t2c-.*ipsec.*-ndrdisc"
3128     layout:
3129       "plot-latency"
3130
3131 # DPDK
3132 -
3133   type: "plot"
3134   title: "DPDK Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3135   algorithm: "plot_latency_box"
3136   output-file-type: ".html"
3137   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc-lat50"
3138   data:
3139     "plot-dpdk-throughput-latency"
3140   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3141   parameters:
3142   - "latency"
3143   - "parent"
3144   traces:
3145     boxmean: False
3146   layout:
3147     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3148     layout:
3149       "plot-latency"
3150
3151 -
3152   type: "plot"
3153   title: "DPDK Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3154   algorithm: "plot_latency_box"
3155   output-file-type: ".html"
3156   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc-lat50"
3157   data:
3158     "plot-dpdk-throughput-latency"
3159   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3160   parameters:
3161   - "latency"
3162   - "parent"
3163   traces:
3164     boxmean: False
3165   layout:
3166     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3167     layout:
3168       "plot-latency"
3169
3170 -
3171   type: "plot"
3172   title: "DPDK Latency 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3173   algorithm: "plot_latency_box"
3174   output-file-type: ".html"
3175   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc-lat50"
3176   data:
3177     "plot-dpdk-throughput-latency"
3178   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
3179   parameters:
3180   - "latency"
3181   - "parent"
3182   traces:
3183     boxmean: False
3184   layout:
3185     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3186     layout:
3187       "plot-latency"
3188
3189 -
3190   type: "plot"
3191   title: "DPDK Latency 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3192   algorithm: "plot_latency_box"
3193   output-file-type: ".html"
3194   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc-lat50"
3195   data:
3196     "plot-dpdk-throughput-latency"
3197   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
3198   parameters:
3199   - "latency"
3200   - "parent"
3201   traces:
3202     boxmean: False
3203   layout:
3204     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3205     layout:
3206       "plot-latency"
3207
3208 # Ligato - Throughput
3209
3210 # Container memif
3211 -
3212   type: "plot"
3213   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3214   algorithm: "plot_performance_box"
3215   output-file-type: ".html"
3216   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc"
3217   data:
3218     "plot-vpp-throughput-latency"
3219   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3220   parameters:
3221   - "throughput"
3222   - "parent"
3223   traces:
3224     hoverinfo: "x+y"
3225     boxpoints: "outliers"
3226     whiskerwidth: 0
3227   layout:
3228     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3229     xaxis:
3230       autorange: True
3231       autotick: False
3232       fixedrange: False
3233       gridcolor: "rgb(238, 238, 238)"
3234       linecolor: "rgb(238, 238, 238)"
3235       linewidth: 1
3236       showgrid: True
3237       showline: True
3238       showticklabels: True
3239       tickcolor: "rgb(238, 238, 238)"
3240       tickmode: "linear"
3241       title: "Indexed Test Cases"
3242       zeroline: False
3243     yaxis:
3244       gridcolor: "rgb(238, 238, 238)'"
3245       hoverformat: ".4s"
3246       linecolor: "rgb(238, 238, 238)"
3247       linewidth: 1
3248       range: [0, 4500000]
3249       showgrid: True
3250       showline: True
3251       showticklabels: True
3252       tickcolor: "rgb(238, 238, 238)"
3253       title: "Packets Per Second [pps]"
3254       zeroline: False
3255     boxmode: "group"
3256     boxgroupgap: 0.5
3257     autosize: False
3258     margin:
3259       t: 50
3260       b: 20
3261       l: 50
3262       r: 20
3263     showlegend: True
3264     legend:
3265       orientation: "h"
3266     width: 700
3267     height: 1000
3268
3269 -
3270   type: "plot"
3271   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3272   algorithm: "plot_performance_box"
3273   output-file-type: ".html"
3274   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc"
3275   data:
3276     "plot-vpp-throughput-latency"
3277   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3278   parameters:
3279   - "throughput"
3280   - "parent"
3281   traces:
3282     hoverinfo: "x+y"
3283     boxpoints: "outliers"
3284     whiskerwidth: 0
3285   layout:
3286     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3287     xaxis:
3288       autorange: True
3289       autotick: False
3290       fixedrange: False
3291       gridcolor: "rgb(238, 238, 238)"
3292       linecolor: "rgb(238, 238, 238)"
3293       linewidth: 1
3294       showgrid: True
3295       showline: True
3296       showticklabels: True
3297       tickcolor: "rgb(238, 238, 238)"
3298       tickmode: "linear"
3299       title: "Indexed Test Cases"
3300       zeroline: False
3301     yaxis:
3302       gridcolor: "rgb(238, 238, 238)'"
3303       hoverformat: ".4s"
3304       linecolor: "rgb(238, 238, 238)"
3305       linewidth: 1
3306       range: [0, 8000000]
3307       showgrid: True
3308       showline: True
3309       showticklabels: True
3310       tickcolor: "rgb(238, 238, 238)"
3311       title: "Packets Per Second [pps]"
3312       zeroline: False
3313     boxmode: "group"
3314     boxgroupgap: 0.5
3315     autosize: False
3316     margin:
3317       t: 50
3318       b: 20
3319       l: 50
3320       r: 20
3321     showlegend: True
3322     legend:
3323       orientation: "h"
3324     width: 700
3325     height: 1000
3326
3327 -
3328   type: "plot"
3329   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3330   algorithm: "plot_performance_box"
3331   output-file-type: ".html"
3332   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-pdrdisc"
3333   data:
3334     "plot-vpp-throughput-latency"
3335   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3336   parameters:
3337   - "throughput"
3338   - "parent"
3339   traces:
3340     hoverinfo: "x+y"
3341     boxpoints: "outliers"
3342     whiskerwidth: 0
3343   layout:
3344     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3345     xaxis:
3346       autorange: True
3347       autotick: False
3348       fixedrange: False
3349       gridcolor: "rgb(238, 238, 238)"
3350       linecolor: "rgb(238, 238, 238)"
3351       linewidth: 1
3352       showgrid: True
3353       showline: True
3354       showticklabels: True
3355       tickcolor: "rgb(238, 238, 238)"
3356       tickmode: "linear"
3357       title: "Indexed Test Cases"
3358       zeroline: False
3359     yaxis:
3360       gridcolor: "rgb(238, 238, 238)'"
3361       hoverformat: ".4s"
3362       linecolor: "rgb(238, 238, 238)"
3363       linewidth: 1
3364       range: [0, 4500000]
3365       showgrid: True
3366       showline: True
3367       showticklabels: True
3368       tickcolor: "rgb(238, 238, 238)"
3369       title: "Packets Per Second [pps]"
3370       zeroline: False
3371     boxmode: "group"
3372     boxgroupgap: 0.5
3373     autosize: False
3374     margin:
3375       t: 50
3376       b: 20
3377       l: 50
3378       r: 20
3379     showlegend: True
3380     legend:
3381       orientation: "h"
3382     width: 700
3383     height: 1000
3384
3385 -
3386   type: "plot"
3387   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3388   algorithm: "plot_performance_box"
3389   output-file-type: ".html"
3390   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-pdrdisc"
3391   data:
3392     "plot-vpp-throughput-latency"
3393   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3394   parameters:
3395   - "throughput"
3396   - "parent"
3397   traces:
3398     hoverinfo: "x+y"
3399     boxpoints: "outliers"
3400     whiskerwidth: 0
3401   layout:
3402     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3403     xaxis:
3404       autorange: True
3405       autotick: False
3406       fixedrange: False
3407       gridcolor: "rgb(238, 238, 238)"
3408       linecolor: "rgb(238, 238, 238)"
3409       linewidth: 1
3410       showgrid: True
3411       showline: True
3412       showticklabels: True
3413       tickcolor: "rgb(238, 238, 238)"
3414       tickmode: "linear"
3415       title: "Indexed Test Cases"
3416       zeroline: False
3417     yaxis:
3418       gridcolor: "rgb(238, 238, 238)'"
3419       hoverformat: ".4s"
3420       linecolor: "rgb(238, 238, 238)"
3421       linewidth: 1
3422       range: [0, 8000000]
3423       showgrid: True
3424       showline: True
3425       showticklabels: True
3426       tickcolor: "rgb(238, 238, 238)"
3427       title: "Packets Per Second [pps]"
3428       zeroline: False
3429     boxmode: "group"
3430     boxgroupgap: 0.5
3431     autosize: False
3432     margin:
3433       t: 50
3434       b: 20
3435       l: 50
3436       r: 20
3437     showlegend: True
3438     legend:
3439       orientation: "h"
3440     width: 700
3441     height: 1000
3442
3443 # Container orchestrated
3444 -
3445   type: "plot"
3446   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3447   algorithm: "plot_performance_box"
3448   output-file-type: ".html"
3449   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc"
3450   data:
3451     "plot-ligato-throughput-latency"
3452   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3453   parameters:
3454   - "throughput"
3455   - "parent"
3456   traces:
3457     hoverinfo: "x+y"
3458     boxpoints: "outliers"
3459     whiskerwidth: 0
3460   layout:
3461     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3462     layout:
3463       "plot-throughput"
3464
3465 -
3466   type: "plot"
3467   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3468   algorithm: "plot_performance_box"
3469   output-file-type: ".html"
3470   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc"
3471   data:
3472     "plot-ligato-throughput-latency"
3473   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3474   parameters:
3475   - "throughput"
3476   - "parent"
3477   traces:
3478     hoverinfo: "x+y"
3479     boxpoints: "outliers"
3480     whiskerwidth: 0
3481   layout:
3482     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3483     layout:
3484       "plot-throughput"
3485
3486 -
3487   type: "plot"
3488   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3489   algorithm: "plot_performance_box"
3490   output-file-type: ".html"
3491   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-pdrdisc"
3492   data:
3493     "plot-ligato-throughput-latency"
3494   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3495   parameters:
3496   - "throughput"
3497   - "parent"
3498   traces:
3499     hoverinfo: "x+y"
3500     boxpoints: "outliers"
3501     whiskerwidth: 0
3502   layout:
3503     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3504     layout:
3505       "plot-throughput"
3506
3507 -
3508   type: "plot"
3509   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3510   algorithm: "plot_performance_box"
3511   output-file-type: ".html"
3512   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-pdrdisc"
3513   data:
3514     "plot-ligato-throughput-latency"
3515   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3516   parameters:
3517   - "throughput"
3518   - "parent"
3519   traces:
3520     hoverinfo: "x+y"
3521     boxpoints: "outliers"
3522     whiskerwidth: 0
3523   layout:
3524     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3525     layout:
3526       "plot-throughput"
3527
3528 # Ligato - Latency
3529
3530 # Container memif
3531 -
3532   type: "plot"
3533   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3534   algorithm: "plot_latency_box"
3535   output-file-type: ".html"
3536   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc-lat50"
3537   data:
3538     "plot-vpp-throughput-latency"
3539   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3540   parameters:
3541   - "latency"
3542   - "parent"
3543   traces:
3544     boxmean: False
3545   layout:
3546     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3547     layout:
3548       "plot-latency"
3549
3550 -
3551   type: "plot"
3552   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3553   algorithm: "plot_latency_box"
3554   output-file-type: ".html"
3555   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc-lat50"
3556   data:
3557     "plot-vpp-throughput-latency"
3558   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3559   parameters:
3560   - "latency"
3561   - "parent"
3562   traces:
3563     boxmean: False
3564   layout:
3565     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3566     layout:
3567       "plot-latency"
3568
3569 # Container orchestrated
3570 -
3571   type: "plot"
3572   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3573   algorithm: "plot_latency_box"
3574   output-file-type: ".html"
3575   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc-lat50"
3576   data:
3577     "plot-ligato-throughput-latency"
3578   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3579   parameters:
3580   - "latency"
3581   - "parent"
3582   traces:
3583     boxmean: False
3584   layout:
3585     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3586     layout:
3587       "plot-latency"
3588
3589 -
3590   type: "plot"
3591   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3592   algorithm: "plot_latency_box"
3593   output-file-type: ".html"
3594   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc-lat50"
3595   data:
3596     "plot-ligato-throughput-latency"
3597   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3598   parameters:
3599   - "latency"
3600   - "parent"
3601   traces:
3602     boxmean: False
3603   layout:
3604     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3605     layout:
3606       "plot-latency"