resources/tools/presentation/specification.yaml

   1 -
   2   type: "environment"
   3   configuration:
   4     # Debug mode:
   5     # - Skip:
   6     #   - Download of input data files
   7     # - Do:
   8     #   - Read data from given zip / xml files
   9     #   - Set the configuration as it is done in normal mode
  10     # If the section "type: debug" is missing, CFG[DEBUG] is set to 0.
  11     CFG[DEBUG]: 0
  12
  13   paths:
  14     # Top level directories:
  15     ## Working directory
  16     DIR[WORKING]: "_tmp"
  17     ## Build directories
  18     DIR[BUILD,HTML]: "_build"
  19     DIR[BUILD,LATEX]: "_build_latex"
  20
  21     # Static .rst files
  22     DIR[RST]: "../../../docs/report"
  23
  24     # Working directories
  25     ## Input data files (.zip, .xml)
  26     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
  27     ## Static source files from git
  28     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
  29     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
  30
  31     # Static html content
  32     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
  33     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
  34     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
  35     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
  36
  37     # Detailed test results
  38     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
  39     DIR[DTR,PERF,DPDK]: "{DIR[DTR]}/dpdk_performance_results"
  40     DIR[DTR,PERF,VPP]: "{DIR[DTR]}/vpp_performance_results"
  41     DIR[DTR,PERF,COT]: "{DIR[DTR]}/cot_performance_results"
  42     DIR[DTR,PERF,HC]: "{DIR[DTR]}/honeycomb_performance_results"
  43     DIR[DTR,FUNC,VPP]: "{DIR[DTR]}/vpp_functional_results"
  44     DIR[DTR,FUNC,HC]: "{DIR[DTR]}/honeycomb_functional_results"
  45     DIR[DTR,FUNC,NSHSFC]: "{DIR[DTR]}/nshsfc_functional_results"
  46     DIR[DTR,PERF,VPP,IMPRV]: "{DIR[WORKING,SRC]}/vpp_performance_tests/performance_improvements"
  47
  48     # Detailed test configurations
  49     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
  50     DIR[DTC,PERF,VPP]: "{DIR[DTC]}/vpp_performance_configuration"
  51     DIR[DTC,FUNC,VPP]: "{DIR[DTC]}/vpp_functional_configuration"
  52
  53     # Detailed tests operational data
  54     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
  55     DIR[DTO,PERF,VPP]: "{DIR[DTO]}/vpp_performance_operational_data"
  56
  57     # .css patch file to fix tables generated by Sphinx
  58     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
  59     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
  60
  61   urls:
  62     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
  63     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
  64     URL[NEXUS]: "https://docs.fd.io/csit"
  65     DIR[NEXUS]: "report/_static/archive"
  66
  67   make-dirs:
  68   # List the directories which are created while preparing the environment.
  69   # All directories MUST be defined in "paths" section.
  70   - "DIR[WORKING,DATA]"
  71   - "DIR[STATIC,VPP]"
  72   - "DIR[STATIC,DPDK]"
  73   - "DIR[STATIC,ARCH]"
  74   - "DIR[BUILD,LATEX]"
  75   - "DIR[WORKING,SRC]"
  76   - "DIR[WORKING,SRC,STATIC]"
  77
  78   remove-dirs:
  79   # List the directories which are deleted while cleaning the environment.
  80   # All directories MUST be defined in "paths" section.
  81   #- "DIR[BUILD,HTML]"
  82
  83   build-dirs:
  84   # List the directories where the results (build) is stored.
  85   # All directories MUST be defined in "paths" section.
  86   - "DIR[BUILD,HTML]"
  87   - "DIR[BUILD,LATEX]"
  88
  89 -
  90   type: "configuration"
  91   data-sets:
  92 # TODO: Add the data sources
  93     plot-vpp-http-server-performance:
  94       csit-vpp-perf-1801-all:
  95       - 157
  96       - 158
  97       - 159
  98       - 160
  99       - 161
 100 # TODO: Add the data sources
 101 #    vpp-meltdown-impact:
 102 #      csit-vpp-perf-1707-all:
 103 #      - 9
 104 #      - 10
 105 #      - 13
 106 #      csit-vpp-perf-1710-all:
 107 #      - 11l
 108 #      - 12
 109 #      - 13
 110 # TODO: Add the data sources
 111 #    vpp-spectre-impact:
 112 #      csit-vpp-perf-1707-all:
 113 #      - 9
 114 #      - 10
 115 #      - 13
 116 #      csit-vpp-perf-1710-all:
 117 #      - 11
 118 #      - 12
 119 #      - 13
 120     vpp-performance-changes:
 121       csit-vpp-perf-1710-all:
 122       - 11
 123       - 12
 124       - 13
 125       - 14
 126       - 15
 127       - 16
 128       - 17
 129       - 18
 130       - 19
 131       - 20
 132 # TODO: Add the data sources
 133       csit-vpp-perf-1801-all:
 134       - 124  # sel
 135       - 127  # sel
 136       - 128  # sel
 137       - 141  # sel
 138       - 142  # sel
 139       - 143  # sel
 140       - 145  # sel
 141       - 146  # sel
 142 # TODO: Add the data sources
 143     plot-throughput-speedup-analysis:
 144       csit-vpp-perf-1801-all:
 145       - 124  # sel
 146       - 127  # sel
 147       - 128  # sel
 148       - 141  # sel
 149       - 142  # sel
 150       - 143  # sel
 151       - 145  # sel
 152       - 146  # sel
 153 #    performance-improvements:
 154 #      csit-vpp-perf-1707-all:
 155 #      - 9
 156 #      - 10
 157 #      - 13
 158 #      - 14
 159 #      - 15
 160 #      - 16
 161 #      - 17
 162 #      - 18
 163 #      - 19
 164 #      - 21
 165 #      csit-vpp-perf-1710-all:
 166 #      - 11
 167 #      - 12
 168 #      - 13
 169 #      - 14
 170 #      - 15
 171 #      - 16
 172 #      - 17
 173 #      - 18
 174 #      - 19
 175 #      - 20
 176 #      csit-vpp-perf-1801-all:
 177 #      - 124
 178 #      - 127
 179 #      - 128
 180 #      csit-ligato-perf-1710-all:
 181 #      - 5
 182 #      - 7
 183 #      - 8
 184 #      - 9
 185 #      - 10
 186 #      - 11
 187 #      - 12
 188 #      - 13
 189 #      - 16
 190 #      - 17
 191 #      csit-ligato-perf-1801-all:
 192 #      - 16  # sel
 193 #      - 17  # sel
 194 #      - 18  # sel
 195 #      - 19  # sel
 196 #      - 20  # sel
 197 #      - 21  # sel
 198 # TODO: Add the data sources
 199     vpp-perf-results:
 200       csit-vpp-perf-1801-all:
 201       - 122
 202       - 126
 203       - 129
 204       - 140
 205     vpp-func-results:
 206       csit-vpp-functional-1801-ubuntu1604-virl:
 207       - "lastSuccessfulBuild"
 208 # TODO: Add the data sources
 209     ligato-perf-results:
 210       csit-ligato-perf-1801-all:
 211       - 19
 212     dpdk-perf-results:
 213       csit-dpdk-perf-1801-all:
 214       - 12
 215     hc-func-results:
 216       csit-hc2vpp-verify-func-1801-ubuntu1604:
 217       - "lastSuccessfulBuild"
 218     nsh-func-results:
 219       csit-nsh_sfc-verify-func-1801-ubuntu1604-virl:
 220       - 1
 221 # TODO: Add the data sources
 222     plot-vpp-throughput-latency:
 223       csit-vpp-perf-1801-all:
 224       - 124  # sel
 225       - 127  # sel
 226       - 128  # sel
 227       - 141  # sel
 228       - 142  # sel
 229       - 143  # sel
 230       - 145  # sel
 231       - 146  # sel
 232     plot-dpdk-throughput-latency:
 233       csit-dpdk-perf-1801-all:
 234       - 1
 235       - 3
 236       - 4
 237       - 5
 238       - 6
 239       - 7
 240       - 8
 241       - 10
 242       - 12
 243 # TODO: Add the data sources
 244     plot-ligato-throughput-latency:
 245       csit-ligato-perf-1801-all:
 246       - 16  # sel
 247       - 17  # sel
 248       - 18  # sel
 249       - 19  # sel
 250       - 20  # sel
 251       - 21  # sel
 252
 253   plot-layouts:
 254
 255     plot-cps:
 256       xaxis:
 257         autorange: True
 258         autotick: False
 259         fixedrange: False
 260         gridcolor: "rgb(238, 238, 238)"
 261         linecolor: "rgb(238, 238, 238)"
 262         linewidth: 1
 263         showgrid: True
 264         showline: True
 265         showticklabels: True
 266         tickcolor: "rgb(238, 238, 238)"
 267         tickmode: "linear"
 268         title: "Indexed Test Cases"
 269         zeroline: False
 270       yaxis:
 271         gridcolor: "rgb(238, 238, 238)'"
 272         hoverformat: ".4s"
 273         linecolor: "rgb(238, 238, 238)"
 274         linewidth: 1
 275         range: []
 276         rangemode: "tozero"
 277         showgrid: True
 278         showline: True
 279         showticklabels: True
 280         tickcolor: "rgb(238, 238, 238)"
 281         title: "Connections Per Second [cps]"
 282         zeroline: False
 283       boxmode: "group"
 284       boxgroupgap: 0.5
 285       autosize: False
 286       margin:
 287         t: 50
 288         b: 20
 289         l: 50
 290         r: 20
 291       showlegend: True
 292       legend:
 293         orientation: "h"
 294       width: 700
 295       height: 1000
 296
 297     plot-rps:
 298       xaxis:
 299         autorange: True
 300         autotick: False
 301         fixedrange: False
 302         gridcolor: "rgb(238, 238, 238)"
 303         linecolor: "rgb(238, 238, 238)"
 304         linewidth: 1
 305         showgrid: True
 306         showline: True
 307         showticklabels: True
 308         tickcolor: "rgb(238, 238, 238)"
 309         tickmode: "linear"
 310         title: "Indexed Test Cases"
 311         zeroline: False
 312       yaxis:
 313         gridcolor: "rgb(238, 238, 238)'"
 314         hoverformat: ".4s"
 315         linecolor: "rgb(238, 238, 238)"
 316         linewidth: 1
 317         range: []
 318         rangemode: "tozero"
 319         showgrid: True
 320         showline: True
 321         showticklabels: True
 322         tickcolor: "rgb(238, 238, 238)"
 323         title: "Requests Per Second [rps]"
 324         zeroline: False
 325       boxmode: "group"
 326       boxgroupgap: 0.5
 327       autosize: False
 328       margin:
 329         t: 50
 330         b: 20
 331         l: 50
 332         r: 20
 333       showlegend: True
 334       legend:
 335         orientation: "h"
 336       width: 700
 337       height: 1000
 338
 339     plot-throughput:
 340       xaxis:
 341         autorange: True
 342         autotick: False
 343         fixedrange: False
 344         gridcolor: "rgb(238, 238, 238)"
 345         linecolor: "rgb(238, 238, 238)"
 346         linewidth: 1
 347         showgrid: True
 348         showline: True
 349         showticklabels: True
 350         tickcolor: "rgb(238, 238, 238)"
 351         tickmode: "linear"
 352         title: "Indexed Test Cases"
 353         zeroline: False
 354       yaxis:
 355         gridcolor: "rgb(238, 238, 238)'"
 356         hoverformat: ".4s"
 357         linecolor: "rgb(238, 238, 238)"
 358         linewidth: 1
 359         range: []
 360         showgrid: True
 361         showline: True
 362         showticklabels: True
 363         tickcolor: "rgb(238, 238, 238)"
 364         title: "Packets Per Second [pps]"
 365         zeroline: False
 366       boxmode: "group"
 367       boxgroupgap: 0.5
 368       autosize: False
 369       margin:
 370         t: 50
 371         b: 20
 372         l: 50
 373         r: 20
 374       showlegend: True
 375       legend:
 376         orientation: "h"
 377       width: 700
 378       height: 1000
 379
 380     plot-latency:
 381       xaxis:
 382         autorange: True
 383         autotick: False
 384         fixedrange: False
 385         gridcolor: "rgb(238, 238, 238)"
 386         linecolor: "rgb(238, 238, 238)"
 387         linewidth: 1
 388         showgrid: True
 389         showline: True
 390         showticklabels: True
 391         tickcolor: "rgb(238, 238, 238)"
 392         tickmode: "linear"
 393         title: "Indexed Test Cases"
 394         zeroline: False
 395       yaxis:
 396         gridcolor: "rgb(238, 238, 238)'"
 397         hoverformat: ""
 398         linecolor: "rgb(238, 238, 238)"
 399         linewidth: 1
 400         range: []
 401         showgrid: True
 402         showline: True
 403         showticklabels: True
 404         tickcolor: "rgb(238, 238, 238)"
 405         title: "Latency min/avg/max [uSec]"
 406         zeroline: False
 407       boxmode: "group"
 408       boxgroupgap: 0.5
 409       autosize: False
 410       margin:
 411         t: 50
 412         b: 20
 413         l: 50
 414         r: 20
 415       showlegend: True
 416       legend:
 417         orientation: "h"
 418       width: 700
 419       height: 1000
 420
 421     plot-throughput-speedup-analysis:
 422       xaxis:
 423         autorange: True
 424         autotick: False
 425         fixedrange: False
 426         gridcolor: "rgb(238, 238, 238)"
 427         linecolor: "rgb(238, 238, 238)"
 428         linewidth: 1
 429         showgrid: True
 430         showline: True
 431         showticklabels: True
 432         tickcolor: "rgb(238, 238, 238)"
 433         tickmode: "linear"
 434         tickangle: 270
 435         zeroline: False
 436       yaxis:
 437         title: "Throughput speedup factor"
 438         gridcolor: "rgb(238, 238, 238)"
 439         hoverformat: ".4s"
 440         linecolor: "rgb(238, 238, 238)"
 441         linewidth: 1
 442         range: []
 443         showgrid: True
 444         showline: True
 445         showticklabels: True
 446         tickcolor: "rgb(238, 238, 238)"
 447         zeroline: False
 448       legend:
 449         orientation: "h"
 450         xanchor: "center"
 451         yanchor: "top"
 452         x: 0.5
 453         y: 1
 454         bgcolor: "rgba(255, 255, 255, 0)"
 455         bordercolor: "rgba(255, 255, 255, 0)"
 456       barmode: "group"
 457       bargap: 0.15
 458       bargroupgap: 0.1
 459       autosize: False
 460       margin:
 461           't': 50
 462           'b': 200
 463           'l': 50
 464           'r': 20
 465       showlegend: True
 466       width: 700
 467       height: 1000
 468
 469 -
 470   type: "debug"
 471   general:
 472     input-format: "xml"  # zip or xml
 473     extract: "robot-plugin/output.xml"  # Only for zip
 474   builds:
 475     # The files must be in the directory DIR[WORKING,DATA]
 476     csit-vpp-perf-1801-all:
 477     -
 478       build: 1
 479       file: "{DIR[WORKING,DATA]}/output.xml"
 480     -
 481       build: 2
 482       file: "{DIR[WORKING,DATA]}/output.xml"
 483     -
 484       build: 3
 485       file: "{DIR[WORKING,DATA]}/output.xml"
 486     -
 487       build: 4
 488       file: "{DIR[WORKING,DATA]}/output.xml"
 489
 490 -
 491   type: "static"
 492   src-path: "{DIR[RST]}"
 493   dst-path: "{DIR[WORKING,SRC]}"
 494
 495 -
 496   type: "input"  # Ignored in debug mode
 497   general:
 498     file-name: "robot-plugin.zip"
 499     file-format: ".zip"
 500     download-path: "{job}/{build}/robot/report/*zip*/{filename}"
 501     extract: "robot-plugin/output.xml"
 502   builds:
 503 #    csit-vpp-perf-1707-all:
 504 #    - 9
 505 #    - 10
 506 #    - 13
 507 #    - 14
 508 #    - 15
 509 #    - 16
 510 #    - 17
 511 #    - 18
 512 #    - 19
 513 #    - 21
 514     csit-vpp-perf-1710-all:
 515     - 11
 516     - 12
 517     - 13
 518     - 14
 519     - 15
 520     - 16
 521     - 17
 522     - 18
 523     - 19
 524     - 20
 525 # TODO:
 526     csit-vpp-perf-1801-all:
 527     - 122  # full
 528     - 126  # full
 529     - 129  # full
 530     - 140  # full
 531     - 124  # sel
 532     - 127  # sel
 533     - 128  # sel
 534     - 141  # sel
 535     - 142  # sel
 536     - 143  # sel
 537     - 145  # sel
 538     - 146  # sel
 539     - 157  # wrk
 540     - 158  # wrk
 541     - 159  # wrk
 542     - 160  # wrk
 543     - 161  # wrk
 544     csit-ligato-perf-1710-all:
 545     - 5
 546     - 7
 547     - 8
 548     - 9
 549     - 10
 550     - 11
 551     - 12
 552     - 13
 553     - 16
 554     - 17
 555     csit-dpdk-perf-1801-all:
 556     - 1
 557     - 4
 558     - 5
 559     - 7
 560     - 8
 561     - 10
 562     - 12
 563     - 16
 564     - 17
 565 # TODO:
 566     csit-ligato-perf-1801-all:
 567     - 16  # sel
 568     - 17  # sel
 569     - 18  # sel
 570     - 19  # sel
 571     - 20  # sel
 572     - 21  # sel
 573     csit-dpdk-perf-1801-all:
 574     - 1
 575     - 3
 576     - 4
 577     - 5
 578     - 6
 579     - 7
 580     - 8
 581     - 9
 582     - 10
 583     - 12
 584     csit-vpp-functional-1801-ubuntu1604-virl:
 585     - lastSuccessfulBuild
 586     csit-nsh_sfc-verify-func-1801-ubuntu1604-virl:
 587     - 1
 588     csit-hc2vpp-verify-func-1801-ubuntu1604:
 589     - lastSuccessfulBuild
 590
 591 -
 592   type: "output"
 593   format:
 594     html:
 595     - full
 596     pdf:
 597     - minimal
 598
 599 ################################################################################
 600 ###                               T A B L E S                                ###
 601 ################################################################################
 602
 603 #-
 604 #  type: "table"
 605 #  title: "Performance Impact of Meltdown Patches"
 606 #  algorithm: "table_performance_comparison"
 607 #  output-file-ext: ".csv"
 608 ## TODO: specify dir
 609 #  output-file: "{DIR[STATIC,VPP]}/meltdown-impact"
 610 #  reference:
 611 #    title: "No Meltdown"
 612 ## TODO: specify data sources
 613 #    data:
 614 #      csit-vpp-perf-1707-all:
 615 #      - 9
 616 #      - 10
 617 #      - 13
 618 #  compare:
 619 #    title: "Meltdown Patches Applied"
 620 ## TODO: specify data sources
 621 #    data:
 622 #      csit-vpp-perf-1710-all:
 623 #      - 11
 624 #      - 12
 625 #      - 13
 626 #  data:
 627 #    "vpp-meltdown-impact"
 628 #  filter: "all"
 629 #  parameters:
 630 #  - "name"
 631 #  - "parent"
 632 #  - "throughput"
 633 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
 634 #  # to present all tests.
 635 #  nr-of-tests-shown: 20
 636 #
 637 #-
 638 #  type: "table"
 639 #  title: "Performance Impact of Spectre Patches"
 640 #  algorithm: "table_performance_comparison"
 641 #  output-file-ext: ".csv"
 642 ## TODO: specify dir
 643 #  output-file: "{DIR[STATIC,VPP]}/meltdown-spectre-impact"
 644 #  reference:
 645 #    title: "No Spectre"
 646 ## TODO: specify data sources
 647 #    data:
 648 #      csit-vpp-perf-1707-all:
 649 #      - 9
 650 #      - 10
 651 #      - 13
 652 #  compare:
 653 #    title: "Spectre Patches Applied"
 654 ## TODO: specify data sources
 655 #    data:
 656 #      csit-vpp-perf-1710-all:
 657 #      - 11
 658 #      - 12
 659 #      - 13
 660 #  data:
 661 #    "vpp-spectre-impact"
 662 #  filter: "all"
 663 #  parameters:
 664 #  - "name"
 665 #  - "parent"
 666 #  - "throughput"
 667 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
 668 #  # to present all tests.
 669 #  nr-of-tests-shown: 20
 670
 671 -
 672   type: "table"
 673   title: "VPP Performance Changes"
 674   algorithm: "table_performance_comparison"
 675   output-file-ext: ".csv"
 676 # TODO: specify dir
 677   output-file: "{DIR[STATIC,VPP]}/performance-changes"
 678   reference:
 679     title: "Release 1710"
 680 # TODO: specify data sources
 681     data:
 682       csit-vpp-perf-1710-all:
 683       - 11
 684       - 12
 685       - 13
 686       - 14
 687       - 15
 688       - 16
 689       - 17
 690       - 18
 691       - 19
 692       - 20
 693   compare:
 694     title: "Release 1801"
 695 # TODO: specify data sources
 696     data:
 697       csit-vpp-perf-1801-all:
 698       - 124  # sel
 699       - 127  # sel
 700       - 128  # sel
 701       - 141  # sel
 702       - 142  # sel
 703       - 143  # sel
 704       - 145  # sel
 705       - 146  # sel
 706   data: "vpp-performance-changes"
 707   filter: "all"
 708   parameters:
 709   - "name"
 710   - "parent"
 711   - "throughput"
 712   # Number of the best and the worst tests presented in the table. Use 0 (zero)
 713   # to present all tests.
 714   nr-of-tests-shown: 20
 715   outlier-const: 1.5
 716
 717 #-
 718 #  type: "table"
 719 #  title: "Performance improvements"
 720 #  algorithm: "table_performance_improvements"
 721 #  template: "{DIR[DTR,PERF,VPP,IMPRV]}/tmpl_performance_improvements.csv"
 722 #  output-file-ext: ".csv"
 723 #  output-file: "{DIR[DTR,PERF,VPP,IMPRV]}/performance_improvements"
 724 #  columns:
 725 #  -
 726 #    title: "Test Name"
 727 #    data: "template 1"
 728 #  -
 729 #    title: "16.09 mean [Mpps]"
 730 #    data: "template 2"
 731 #  -
 732 #    title: "17.01 mean [Mpps]"
 733 #    data: "template 3"
 734 #  -
 735 #    title: "17.04 mean [Mpps]"
 736 #    data: "template 4"
 737 #  -
 738 #    title: "17.07 mean [Mpps]"
 739 #    data: "data csit-vpp-perf-1707-all mean"
 740 #  -
 741 #    title: "17.10 mean [Mpps]"
 742 #    data: "data csit-vpp-perf-1710-all csit-ligato-perf-1710-all mean"
 743 #  -
 744 #    title: "18.01 mean [Mpps]"
 745 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all mean"
 746 #  -
 747 #    title: "18.01 stdev [Mpps]"
 748 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all stdev"
 749 #  -
 750 #    title: "17.10 to 18.01 change [%]"
 751 #    data: "operation relative_change 5 6"
 752 #  rows: "generated"
 753 #  data:
 754 #    "performance-improvements"
 755 #  filter: "template"
 756 #  parameters:
 757 #  - "throughput"
 758
 759 -
 760   type: "table"
 761   title: "Detailed Test Results - VPP Performance Results"
 762   algorithm: "table_merged_details"
 763   output-file-ext: ".csv"
 764   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
 765   columns:
 766   -
 767     title: "Name"
 768     data: "data name"
 769   -
 770     title: "Documentation"
 771     data: "data doc"
 772   -
 773     title: "Status"
 774     data: "data msg"
 775   rows: "generated"
 776   data:
 777     "vpp-perf-results"
 778   filter: "not 'NDRCHK' and not 'PDRCHK'"
 779   parameters:
 780   - "name"
 781   - "parent"
 782   - "doc"
 783   - "msg"
 784
 785 -
 786   type: "table"
 787   title: "Test configuration - VPP Performance Test Configs"
 788   algorithm: "table_merged_details"
 789   output-file-ext: ".csv"
 790   output-file: "{DIR[DTC,PERF,VPP]}/vpp_test_configuration"
 791   columns:
 792   -
 793     title: "Name"
 794     data: "data name"
 795   -
 796     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
 797     data: "data vat-history"
 798   rows: "generated"
 799   data:
 800     "vpp-perf-results"
 801   filter: "not 'NDRCHK' and not 'PDRCHK'"
 802   parameters:
 803   - "parent"
 804   - "name"
 805   - "vat-history"
 806
 807 -
 808   type: "table"
 809   title: "Test Operational Data - VPP Performance Operational Data"
 810   algorithm: "table_merged_details"
 811   output-file-ext: ".csv"
 812   output-file: "{DIR[DTO,PERF,VPP]}/vpp_test_operational"
 813   columns:
 814   -
 815     title: "Name"
 816     data: "data name"
 817   -
 818     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
 819     data: "data show-run"
 820   rows: "generated"
 821   data:
 822     "vpp-perf-results"
 823   filter: "not 'NDRCHK' and not 'PDRCHK'"
 824   parameters:
 825   - "parent"
 826   - "name"
 827   - "show-run"
 828
 829 -
 830   type: "table"
 831   title: "Detailed Test Results - VPP Functional Results"
 832   algorithm: "table_details"
 833   output-file-ext: ".csv"
 834   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
 835   columns:
 836   -
 837     title: "Name"
 838     data: "data name"
 839   -
 840     title: "Documentation"
 841     data: "data doc"
 842   -
 843     title: "Status"
 844     data: "data status"
 845   rows: "generated"
 846   data:
 847     "vpp-func-results"
 848   filter: "all"
 849   parameters:
 850   - "name"
 851   - "parent"
 852   - "doc"
 853   - "status"
 854
 855 -
 856   type: "table"
 857   title: "Test configuration - VPP Functional Test Configs"
 858   algorithm: "table_details"
 859   output-file-ext: ".csv"
 860   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
 861   columns:
 862   -
 863     title: "Name"
 864     data: "data name"
 865   -
 866     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
 867     data: "data vat-history"
 868   rows: "generated"
 869   data:
 870     "vpp-func-results"
 871   filter: "all"
 872   parameters:
 873   - "parent"
 874   - "name"
 875   - "vat-history"
 876
 877 -
 878   type: "table"
 879   title: "Detailed Test Results - Container Orchestrated Topologies Performance Results"
 880   algorithm: "table_details"
 881   output-file-ext: ".csv"
 882   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
 883   columns:
 884   -
 885     title: "Name"
 886     data: "data name"
 887   -
 888     title: "Documentation"
 889     data: "data doc"
 890   -
 891     title: "Status"
 892     data: "data msg"
 893   rows: "generated"
 894   data:
 895     "ligato-perf-results"
 896   filter: "all"
 897   parameters:
 898   - "name"
 899   - "parent"
 900   - "doc"
 901   - "msg"
 902
 903 -
 904   type: "table"
 905   title: "Detailed Test Results - DPDK Performance Results"
 906   algorithm: "table_details"
 907   output-file-ext: ".csv"
 908   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
 909   columns:
 910   -
 911     title: "Name"
 912     data: "data name"
 913   -
 914     title: "Documentation"
 915     data: "data doc"
 916   -
 917     title: "Status"
 918     data: "data msg"
 919   rows: "generated"
 920   data:
 921     "dpdk-perf-results"
 922   filter: "all"
 923   parameters:
 924   - "name"
 925   - "parent"
 926   - "doc"
 927   - "msg"
 928
 929 -
 930   type: "table"
 931   title: "Detailed Test Results - Honeycomb Functional Results"
 932   algorithm: "table_details"
 933   output-file-ext: ".csv"
 934   output-file: "{DIR[DTR,FUNC,HC]}/hc_functional_results"
 935   columns:
 936   -
 937     title: "Name"
 938     data: "data name"
 939   -
 940     title: "Documentation"
 941     data: "data doc"
 942   -
 943     title: "Status"
 944     data: "data status"
 945   rows: "generated"
 946   data:
 947     "hc-func-results"
 948   filter: "all"
 949   parameters:
 950   - "name"
 951   - "parent"
 952   - "doc"
 953   - "status"
 954
 955 -
 956   type: "table"
 957   title: "Detailed Test Results - NSH SFC Functional Results"
 958   algorithm: "table_details"
 959   output-file-ext: ".csv"
 960   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nsh_sfc_functional_results"
 961   columns:
 962   -
 963     title: "Name"
 964     data: "data name"
 965   -
 966     title: "Documentation"
 967     data: "data doc"
 968   -
 969     title: "Status"
 970     data: "data status"
 971   rows: "generated"
 972   data:
 973     "nsh-func-results"
 974   filter: "all"
 975   parameters:
 976   - "name"
 977   - "parent"
 978   - "doc"
 979   - "status"
 980
 981 ################################################################################
 982 ###                                F I L E S                                 ###
 983 ################################################################################
 984
 985 -
 986   type: "file"
 987   title: "VPP Performance Results"
 988   algorithm: "file_merged_test_results"
 989   output-file-ext: ".rst"
 990   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
 991   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
 992   dir-tables: "{DIR[DTR,PERF,VPP]}"
 993   data:
 994     "vpp-perf-results"
 995   filter: "not 'NDRCHK' and not 'PDRCHK'"
 996   parameters:
 997   - "name"
 998   - "doc"
 999   - "level"
1000   - "parent"
1001   data-start-level: 3  # 0, 1, 2, ...
1002   chapters-start-level: 2  # 0, 1, 2, ...
1003
1004 -
1005   type: "file"
1006   title: "VPP Performance Configuration"
1007   algorithm: "file_merged_test_results"
1008   output-file-ext: ".rst"
1009   output-file: "{DIR[DTC,PERF,VPP]}/vpp_performance_configuration"
1010   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1011   dir-tables: "{DIR[DTC,PERF,VPP]}"
1012   data:
1013     "vpp-perf-results"
1014   filter: "not 'NDRCHK' and not 'PDRCHK'"
1015   parameters:
1016   - "name"
1017   - "doc"
1018   - "level"
1019   - "parent"
1020   data-start-level: 3  # 0, 1, 2, ...
1021   chapters-start-level: 2  # 0, 1, 2, ...
1022
1023 -
1024   type: "file"
1025   title: "VPP Performance Operational Data"
1026   algorithm: "file_merged_test_results"
1027   output-file-ext: ".rst"
1028   output-file: "{DIR[DTO,PERF,VPP]}/vpp_performance_operational_data"
1029   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1030   dir-tables: "{DIR[DTO,PERF,VPP]}"
1031   data:
1032     "vpp-perf-results"
1033   filter: "not 'NDRCHK' and not 'PDRCHK'"
1034   parameters:
1035   - "name"
1036   - "doc"
1037   - "level"
1038   - "parent"
1039   data-start-level: 3  # 0, 1, 2, ...
1040   chapters-start-level: 2  # 0, 1, 2, ...
1041
1042 -
1043   type: "file"
1044   title: "VPP Functional Results"
1045   algorithm: "file_test_results"
1046   output-file-ext: ".rst"
1047   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
1048   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1049   dir-tables: "{DIR[DTR,FUNC,VPP]}"
1050   data:
1051     "vpp-func-results"
1052   filter: "all"
1053   parameters:
1054   - "name"
1055   - "doc"
1056   - "level"
1057   data-start-level: 3  # 0, 1, 2, ...
1058   chapters-start-level: 2  # 0, 1, 2, ...
1059
1060 -
1061   type: "file"
1062   title: "VPP Functional Configuration"
1063   algorithm: "file_test_results"
1064   output-file-ext: ".rst"
1065   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
1066   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1067   dir-tables: "{DIR[DTC,FUNC,VPP]}"
1068   data:
1069     "vpp-func-results"
1070   filter: "all"
1071   parameters:
1072   - "name"
1073   - "doc"
1074   - "level"
1075   data-start-level: 3  # 0, 1, 2, ...
1076   chapters-start-level: 2  # 0, 1, 2, ...
1077
1078 -
1079   type: "file"
1080   title: "Container Orchestrated Performance Results"
1081   algorithm: "file_test_results"
1082   output-file-ext: ".rst"
1083   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
1084   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1085   dir-tables: "{DIR[DTR,PERF,COT]}"
1086   data:
1087     "ligato-perf-results"
1088   filter: "all"
1089   parameters:
1090   - "name"
1091   - "doc"
1092   - "level"
1093   data-start-level: 2  # 0, 1, 2, ...
1094   chapters-start-level: 2  # 0, 1, 2, ...
1095
1096 -
1097   type: "file"
1098   title: "DPDK Performance Results"
1099   algorithm: "file_test_results"
1100   output-file-ext: ".rst"
1101   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
1102   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1103   dir-tables: "{DIR[DTR,PERF,DPDK]}"
1104   data:
1105     "dpdk-perf-results"
1106   filter: "all"
1107   parameters:
1108   - "name"
1109   - "doc"
1110   - "level"
1111   chapters:
1112   - "suites"
1113   data-start-level: 2  # 0, 1, 2, ...
1114   chapters-start-level: 2  # 0, 1, 2, ...
1115
1116 -
1117   type: "file"
1118   title: "Honeycomb Functional Results"
1119   algorithm: "file_test_results"
1120   output-file-ext: ".rst"
1121   output-file: "{DIR[DTR,FUNC,HC]}/honeycomb_functional_results"
1122   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1123   dir-tables: "{DIR[DTR,FUNC,HC]}"
1124   data:
1125     "hc-func-results"
1126   filter: "all"
1127   parameters:
1128   - "name"
1129   - "doc"
1130   - "level"
1131   chapters:
1132   - "suites"
1133   data-start-level: 3  # 0, 1, 2, ...
1134   chapters-start-level: 2  # 0, 1, 2, ...
1135
1136 -
1137   type: "file"
1138   title: "NSH SFC Functional Results"
1139   algorithm: "file_test_results"
1140   output-file-ext: ".rst"
1141   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nshsfc_functional_results"
1142   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1143   dir-tables: "{DIR[DTR,FUNC,NSHSFC]}"
1144   data:
1145     "nsh-func-results"
1146   filter: "all"
1147   parameters:
1148   - "name"
1149   - "doc"
1150   - "level"
1151   chapters:
1152   - "suites"
1153   data-start-level: 2  # 0, 1, 2, ...
1154   chapters-start-level: 2  # 0, 1, 2, ...
1155
1156 ################################################################################
1157 ###                                P L O T S                                 ###
1158 ################################################################################
1159
1160 # Plots VPP HTTP Server Performance
1161 -
1162   type: "plot"
1163   title: "VPP HTTP Server Performance"
1164   algorithm: "plot_http_server_performance_box"
1165   output-file-type: ".html"
1166   output-file: "{DIR[STATIC,VPP]}/http-server-performance-cps"
1167   data:
1168     "plot-vpp-http-server-performance"
1169   # Keep this formatting, the filter is enclosed with " (quotation mark) and
1170   # each tag is enclosed with ' (apostrophe).
1171   filter: "'HTTP' and 'TCP_CPS'"
1172   parameters:
1173   - "result"
1174   - "name"
1175   traces:
1176     hoverinfo: "x+y"
1177     boxpoints: "outliers"
1178     whiskerwidth: 0
1179   layout:
1180     title: "VPP HTTP Server Performance"
1181     layout:
1182       "plot-cps"
1183
1184 -
1185   type: "plot"
1186   title: "VPP HTTP Server Performance"
1187   algorithm: "plot_http_server_performance_box"
1188   output-file-type: ".html"
1189   output-file: "{DIR[STATIC,VPP]}/http-server-performance-rps"
1190   data:
1191     "plot-vpp-http-server-performance"
1192   filter: "'HTTP' and 'TCP_RPS'"
1193   parameters:
1194   - "result"
1195   - "name"
1196   traces:
1197     hoverinfo: "x+y"
1198     boxpoints: "outliers"
1199     whiskerwidth: 0
1200   layout:
1201     title: "VPP HTTP Server Performance"
1202     layout:
1203       "plot-rps"
1204
1205 # Plot Throughput Speedup Analysis
1206
1207 # L2 - 10ge2p1x520 - NDR
1208 -
1209   type: "plot"
1210   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1211   algorithm: "plot_throughput_speedup_analysis"
1212   output-file-type: ".html"
1213   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-ndrdisc"
1214   data:
1215     "plot-throughput-speedup-analysis"
1216   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1217   parameters:
1218   - "throughput"
1219   - "parent"
1220   - "tags"
1221   layout:
1222     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1223     layout:
1224       "plot-throughput-speedup-analysis"
1225
1226 # L2 - 40ge2p1xl710 - NDR
1227 -
1228   type: "plot"
1229   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1230   algorithm: "plot_throughput_speedup_analysis"
1231   output-file-type: ".html"
1232   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-l2-tsa-ndrdisc"
1233   data:
1234     "plot-throughput-speedup-analysis"
1235   filter: "'NIC_Intel-XL710' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1236   parameters:
1237   - "throughput"
1238   - "parent"
1239   - "tags"
1240   layout:
1241     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1242     layout:
1243       "plot-throughput-speedup-analysis"
1244
1245 # L2 - 10ge2p1x520 - PDR
1246 -
1247   type: "plot"
1248   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1249   algorithm: "plot_throughput_speedup_analysis"
1250   output-file-type: ".html"
1251   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-pdrdisc"
1252   data:
1253     "plot-throughput-speedup-analysis"
1254   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1255   parameters:
1256   - "throughput"
1257   - "parent"
1258   - "tags"
1259   layout:
1260     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1261     layout:
1262       "plot-throughput-speedup-analysis"
1263
1264 # IPv4 - 10ge2p1x520 - NDR
1265 -
1266   type: "plot"
1267   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1268   algorithm: "plot_throughput_speedup_analysis"
1269   output-file-type: ".html"
1270   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-ndrdisc"
1271   data:
1272     "plot-throughput-speedup-analysis"
1273   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1274   parameters:
1275   - "throughput"
1276   - "parent"
1277   - "tags"
1278   layout:
1279     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1280     layout:
1281       "plot-throughput-speedup-analysis"
1282
1283 # IPv4 - 40ge2p1xl710 - NDR
1284 -
1285   type: "plot"
1286   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1287   algorithm: "plot_throughput_speedup_analysis"
1288   output-file-type: ".html"
1289   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-ip4-tsa-ndrdisc"
1290   data:
1291     "plot-throughput-speedup-analysis"
1292   filter: "'NIC_Intel-XL710' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1293   parameters:
1294   - "throughput"
1295   - "parent"
1296   - "tags"
1297   layout:
1298     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1299     layout:
1300       "plot-throughput-speedup-analysis"
1301
1302 # IPv4 - 10ge2p1x520 - PDR
1303 -
1304   type: "plot"
1305   title: "TSA: 64B-*-ethip4-ip4(base|scale)*pdrdisc"
1306   algorithm: "plot_throughput_speedup_analysis"
1307   output-file-type: ".html"
1308   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-pdrdisc"
1309   data:
1310     "plot-throughput-speedup-analysis"
1311   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1312   parameters:
1313   - "throughput"
1314   - "parent"
1315   - "tags"
1316   layout:
1317     title: "64B-*-ethip4-ip4(base|scale)*pdrdisc"
1318     layout:
1319       "plot-throughput-speedup-analysis"
1320
1321 # IPv6 - 10ge2p1x520 - NDR
1322 -
1323   type: "plot"
1324   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1325   algorithm: "plot_throughput_speedup_analysis"
1326   output-file-type: ".html"
1327   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-ndrdisc"
1328   data:
1329     "plot-throughput-speedup-analysis"
1330   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1331   parameters:
1332   - "throughput"
1333   - "parent"
1334   - "tags"
1335   layout:
1336     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1337     layout:
1338       "plot-throughput-speedup-analysis"
1339
1340 # IPv6 - 40ge2p1xl710 - NDR
1341 -
1342   type: "plot"
1343   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1344   algorithm: "plot_throughput_speedup_analysis"
1345   output-file-type: ".html"
1346   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-78B-ip6-tsa-ndrdisc"
1347   data:
1348     "plot-throughput-speedup-analysis"
1349   filter: "'NIC_Intel-XL710' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1350   parameters:
1351   - "throughput"
1352   - "parent"
1353   - "tags"
1354   layout:
1355     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1356     layout:
1357       "plot-throughput-speedup-analysis"
1358
1359 # IPv6 - 10ge2p1x520 - PDR
1360 -
1361   type: "plot"
1362   title: "TSA: 78B-*-ethip6-ip6(base|scale)*pdrdisc"
1363   algorithm: "plot_throughput_speedup_analysis"
1364   output-file-type: ".html"
1365   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-pdrdisc"
1366   data:
1367     "plot-throughput-speedup-analysis"
1368   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST'"
1369   parameters:
1370   - "throughput"
1371   - "parent"
1372   - "tags"
1373   layout:
1374     title: "78B-*-ethip6-ip6(base|scale)*pdrdisc"
1375     layout:
1376       "plot-throughput-speedup-analysis"
1377
1378 # Plot packets per second
1379
1380 # VPP L2 sel1
1381 -
1382   type: "plot"
1383   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1384   algorithm: "plot_performance_box"
1385   output-file-type: ".html"
1386   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc"
1387   data:
1388     "plot-vpp-throughput-latency"
1389   # Keep this formatting, the filter is enclosed with " (quotation mark) and
1390   # each tag is enclosed with ' (apostrophe).
1391   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1392   parameters:
1393   - "throughput"
1394   - "parent"
1395   traces:
1396     hoverinfo: "x+y"
1397     boxpoints: "outliers"
1398     whiskerwidth: 0
1399   layout:
1400     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1401     layout:
1402       "plot-throughput"
1403
1404 -
1405   type: "plot"
1406   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1407   algorithm: "plot_performance_box"
1408   output-file-type: ".html"
1409   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc"
1410   data:
1411     "plot-vpp-throughput-latency"
1412   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1413   parameters:
1414   - "throughput"
1415   - "parent"
1416   traces:
1417     hoverinfo: "x+y"
1418     boxpoints: "outliers"
1419     whiskerwidth: 0
1420   layout:
1421     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1422     layout:
1423       "plot-throughput"
1424
1425 -
1426   type: "plot"
1427   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1428   algorithm: "plot_performance_box"
1429   output-file-type: ".html"
1430   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-pdrdisc"
1431   data:
1432     "plot-vpp-throughput-latency"
1433   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1434   parameters:
1435   - "throughput"
1436   - "parent"
1437   traces:
1438     hoverinfo: "x+y"
1439     boxpoints: "outliers"
1440     whiskerwidth: 0
1441   layout:
1442     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1443     layout:
1444       "plot-throughput"
1445
1446 -
1447   type: "plot"
1448   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1449   algorithm: "plot_performance_box"
1450   output-file-type: ".html"
1451   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-pdrdisc"
1452   data:
1453     "plot-vpp-throughput-latency"
1454   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1455   parameters:
1456   - "throughput"
1457   - "parent"
1458   traces:
1459     hoverinfo: "x+y"
1460     boxpoints: "outliers"
1461     whiskerwidth: 0
1462   layout:
1463     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1464     layout:
1465       "plot-throughput"
1466
1467 # VPP L2 sel2
1468 -
1469   type: "plot"
1470   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1471   algorithm: "plot_performance_box"
1472   output-file-type: ".html"
1473   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc"
1474   data:
1475     "plot-vpp-throughput-latency"
1476   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1477   parameters:
1478   - "throughput"
1479   - "parent"
1480   traces:
1481     hoverinfo: "x+y"
1482     boxpoints: "outliers"
1483     whiskerwidth: 0
1484   layout:
1485     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1486     layout:
1487       "plot-throughput"
1488
1489 -
1490   type: "plot"
1491   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1492   algorithm: "plot_performance_box"
1493   output-file-type: ".html"
1494   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc"
1495   data:
1496     "plot-vpp-throughput-latency"
1497   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1498   parameters:
1499   - "throughput"
1500   - "parent"
1501   traces:
1502     hoverinfo: "x+y"
1503     boxpoints: "outliers"
1504     whiskerwidth: 0
1505   layout:
1506     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1507     layout:
1508       "plot-throughput"
1509
1510 -
1511   type: "plot"
1512   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1513   algorithm: "plot_performance_box"
1514   output-file-type: ".html"
1515   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-pdrdisc"
1516   data:
1517     "plot-vpp-throughput-latency"
1518   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1519   parameters:
1520   - "throughput"
1521   - "parent"
1522   traces:
1523     hoverinfo: "x+y"
1524     boxpoints: "outliers"
1525     whiskerwidth: 0
1526   layout:
1527     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1528     layout:
1529       "plot-throughput"
1530
1531 -
1532   type: "plot"
1533   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1534   algorithm: "plot_performance_box"
1535   output-file-type: ".html"
1536   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-pdrdisc"
1537   data:
1538     "plot-vpp-throughput-latency"
1539   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1540   parameters:
1541   - "throughput"
1542   - "parent"
1543   traces:
1544     hoverinfo: "x+y"
1545     boxpoints: "outliers"
1546     whiskerwidth: 0
1547   layout:
1548     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1549     layout:
1550       "plot-throughput"
1551
1552 # VPP IP4
1553 -
1554   type: "plot"
1555   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1556   algorithm: "plot_performance_box"
1557   output-file-type: ".html"
1558   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc"
1559   data:
1560     "plot-vpp-throughput-latency"
1561   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1562   parameters:
1563   - "throughput"
1564   - "parent"
1565   traces:
1566     hoverinfo: "x+y"
1567     boxpoints: "outliers"
1568     whiskerwidth: 0
1569   layout:
1570     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1571     layout:
1572       "plot-throughput"
1573
1574 -
1575   type: "plot"
1576   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1577   algorithm: "plot_performance_box"
1578   output-file-type: ".html"
1579   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc"
1580   data:
1581     "plot-vpp-throughput-latency"
1582   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1583   parameters:
1584   - "throughput"
1585   - "parent"
1586   traces:
1587     hoverinfo: "x+y"
1588     boxpoints: "outliers"
1589     whiskerwidth: 0
1590   layout:
1591     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1592     layout:
1593       "plot-throughput"
1594
1595 -
1596   type: "plot"
1597   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1598   algorithm: "plot_performance_box"
1599   output-file-type: ".html"
1600   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-pdrdisc"
1601   data:
1602     "plot-vpp-throughput-latency"
1603   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1604   parameters:
1605   - "throughput"
1606   - "parent"
1607   traces:
1608     hoverinfo: "x+y"
1609     boxpoints: "outliers"
1610     whiskerwidth: 0
1611   layout:
1612     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1613     layout:
1614       "plot-throughput"
1615
1616 -
1617   type: "plot"
1618   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1619   algorithm: "plot_performance_box"
1620   output-file-type: ".html"
1621   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-pdrdisc"
1622   data:
1623     "plot-vpp-throughput-latency"
1624   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1625   parameters:
1626   - "throughput"
1627   - "parent"
1628   traces:
1629     hoverinfo: "x+y"
1630     boxpoints: "outliers"
1631     whiskerwidth: 0
1632   layout:
1633     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1634     layout:
1635       "plot-throughput"
1636
1637 # VPP IP6
1638 -
1639   type: "plot"
1640   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1641   algorithm: "plot_performance_box"
1642   output-file-type: ".html"
1643   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc"
1644   data:
1645     "plot-vpp-throughput-latency"
1646   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1647   parameters:
1648   - "throughput"
1649   - "parent"
1650   traces:
1651     hoverinfo: "x+y"
1652     boxpoints: "outliers"
1653     whiskerwidth: 0
1654   layout:
1655     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1656     layout:
1657       "plot-throughput"
1658
1659 -
1660   type: "plot"
1661   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1662   algorithm: "plot_performance_box"
1663   output-file-type: ".html"
1664   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc"
1665   data:
1666     "plot-vpp-throughput-latency"
1667   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1668   parameters:
1669   - "throughput"
1670   - "parent"
1671   traces:
1672     hoverinfo: "x+y"
1673     boxpoints: "outliers"
1674     whiskerwidth: 0
1675   layout:
1676     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1677     layout:
1678       "plot-throughput"
1679
1680 -
1681   type: "plot"
1682   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1683   algorithm: "plot_performance_box"
1684   output-file-type: ".html"
1685   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-pdrdisc"
1686   data:
1687     "plot-vpp-throughput-latency"
1688   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1689   parameters:
1690   - "throughput"
1691   - "parent"
1692   traces:
1693     hoverinfo: "x+y"
1694     boxpoints: "outliers"
1695     whiskerwidth: 0
1696   layout:
1697     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1698     layout:
1699       "plot-throughput"
1700
1701 -
1702   type: "plot"
1703   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1704   algorithm: "plot_performance_box"
1705   output-file-type: ".html"
1706   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-pdrdisc"
1707   data:
1708     "plot-vpp-throughput-latency"
1709   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1710   parameters:
1711   - "throughput"
1712   - "parent"
1713   traces:
1714     hoverinfo: "x+y"
1715     boxpoints: "outliers"
1716     whiskerwidth: 0
1717   layout:
1718     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1719     layout:
1720       "plot-throughput"
1721
1722 # VPP IP4_overlay
1723 -
1724   type: "plot"
1725   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1726   algorithm: "plot_performance_box"
1727   output-file-type: ".html"
1728   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc"
1729   data:
1730     "plot-vpp-throughput-latency"
1731   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1732   parameters:
1733   - "throughput"
1734   - "parent"
1735   traces:
1736     hoverinfo: "x+y"
1737     boxpoints: "outliers"
1738     whiskerwidth: 0
1739   layout:
1740     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1741     layout:
1742       "plot-throughput"
1743
1744 -
1745   type: "plot"
1746   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1747   algorithm: "plot_performance_box"
1748   output-file-type: ".html"
1749   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc"
1750   data:
1751     "plot-vpp-throughput-latency"
1752   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1753   parameters:
1754   - "throughput"
1755   - "parent"
1756   traces:
1757     hoverinfo: "x+y"
1758     boxpoints: "outliers"
1759     whiskerwidth: 0
1760   layout:
1761     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1762     layout:
1763       "plot-throughput"
1764
1765 -
1766   type: "plot"
1767   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1768   algorithm: "plot_performance_box"
1769   output-file-type: ".html"
1770   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-pdrdisc"
1771   data:
1772     "plot-vpp-throughput-latency"
1773   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1774   parameters:
1775   - "throughput"
1776   - "parent"
1777   traces:
1778     hoverinfo: "x+y"
1779     boxpoints: "outliers"
1780     whiskerwidth: 0
1781   layout:
1782     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1783     layout:
1784       "plot-throughput"
1785
1786 -
1787   type: "plot"
1788   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1789   algorithm: "plot_performance_box"
1790   output-file-type: ".html"
1791   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-pdrdisc"
1792   data:
1793     "plot-vpp-throughput-latency"
1794   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1795   parameters:
1796   - "throughput"
1797   - "parent"
1798   traces:
1799     hoverinfo: "x+y"
1800     boxpoints: "outliers"
1801     whiskerwidth: 0
1802   layout:
1803     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1804     layout:
1805       "plot-throughput"
1806
1807 # VPP IP6_overlay
1808 -
1809   type: "plot"
1810   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1811   algorithm: "plot_performance_box"
1812   output-file-type: ".html"
1813   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc"
1814   data:
1815     "plot-vpp-throughput-latency"
1816   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1817   parameters:
1818   - "throughput"
1819   - "parent"
1820   traces:
1821     hoverinfo: "x+y"
1822     boxpoints: "outliers"
1823     whiskerwidth: 0
1824   layout:
1825     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1826     xaxis:
1827       autorange: True
1828       autotick: False
1829       fixedrange: False
1830       gridcolor: "rgb(238, 238, 238)"
1831       linecolor: "rgb(238, 238, 238)"
1832       linewidth: 1
1833       showgrid: True
1834       showline: True
1835       showticklabels: True
1836       tickcolor: "rgb(238, 238, 238)"
1837       tickmode: "linear"
1838       title: "Indexed Test Cases"
1839       zeroline: False
1840     yaxis:
1841       gridcolor: "rgb(238, 238, 238)'"
1842       hoverformat: ".4s"
1843       linecolor: "rgb(238, 238, 238)"
1844       linewidth: 1
1845       range: [2000000, 6000000]
1846       showgrid: True
1847       showline: True
1848       showticklabels: True
1849       tickcolor: "rgb(238, 238, 238)"
1850       title: "Packets Per Second [pps]"
1851       zeroline: False
1852     boxmode: "group"
1853     boxgroupgap: 0.5
1854     autosize: False
1855     margin:
1856       t: 50
1857       b: 20
1858       l: 50
1859       r: 20
1860     showlegend: True
1861     legend:
1862       orientation: "h"
1863     width: 700
1864     height: 1000
1865
1866 -
1867   type: "plot"
1868   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1869   algorithm: "plot_performance_box"
1870   output-file-type: ".html"
1871   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc"
1872   data:
1873     "plot-vpp-throughput-latency"
1874   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1875   parameters:
1876   - "throughput"
1877   - "parent"
1878   traces:
1879     hoverinfo: "x+y"
1880     boxpoints: "outliers"
1881     whiskerwidth: 0
1882   layout:
1883     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1884     layout:
1885       "plot-throughput"
1886
1887 -
1888   type: "plot"
1889   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1890   algorithm: "plot_performance_box"
1891   output-file-type: ".html"
1892   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-pdrdisc"
1893   data:
1894     "plot-vpp-throughput-latency"
1895   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1896   parameters:
1897   - "throughput"
1898   - "parent"
1899   traces:
1900     hoverinfo: "x+y"
1901     boxpoints: "outliers"
1902     whiskerwidth: 0
1903   layout:
1904     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1905     layout:
1906       "plot-throughput"
1907
1908 -
1909   type: "plot"
1910   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1911   algorithm: "plot_performance_box"
1912   output-file-type: ".html"
1913   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-pdrdisc"
1914   data:
1915     "plot-vpp-throughput-latency"
1916   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1917   parameters:
1918   - "throughput"
1919   - "parent"
1920   traces:
1921     hoverinfo: "x+y"
1922     boxpoints: "outliers"
1923     whiskerwidth: 0
1924   layout:
1925     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1926     xaxis:
1927       autorange: True
1928       autotick: False
1929       fixedrange: False
1930       gridcolor: "rgb(238, 238, 238)"
1931       linecolor: "rgb(238, 238, 238)"
1932       linewidth: 1
1933       showgrid: True
1934       showline: True
1935       showticklabels: True
1936       tickcolor: "rgb(238, 238, 238)"
1937       tickmode: "linear"
1938       title: "Indexed Test Cases"
1939       zeroline: False
1940     yaxis:
1941       gridcolor: "rgb(238, 238, 238)'"
1942       hoverformat: ".4s"
1943       linecolor: "rgb(238, 238, 238)"
1944       linewidth: 1
1945       range: [4000000, 12000000]
1946       showgrid: True
1947       showline: True
1948       showticklabels: True
1949       tickcolor: "rgb(238, 238, 238)"
1950       title: "Packets Per Second [pps]"
1951       zeroline: False
1952     boxmode: "group"
1953     boxgroupgap: 0.5
1954     autosize: False
1955     margin:
1956       t: 50
1957       b: 20
1958       l: 50
1959       r: 20
1960     showlegend: True
1961     legend:
1962       orientation: "h"
1963     width: 700
1964     height: 1000
1965
1966 # VPP VM VHOST
1967 -
1968   type: "plot"
1969   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
1970   algorithm: "plot_performance_box"
1971   output-file-type: ".html"
1972   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc"
1973   data:
1974     "plot-vpp-throughput-latency"
1975   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
1976   parameters:
1977   - "throughput"
1978   - "parent"
1979   traces:
1980     hoverinfo: "x+y"
1981     boxpoints: "outliers"
1982     whiskerwidth: 0
1983   layout:
1984     title: "64B-1t1c-.*vhost.*-ndrdisc"
1985     xaxis:
1986       autorange: True
1987       autotick: False
1988       fixedrange: False
1989       gridcolor: "rgb(238, 238, 238)"
1990       linecolor: "rgb(238, 238, 238)"
1991       linewidth: 1
1992       showgrid: True
1993       showline: True
1994       showticklabels: True
1995       tickcolor: "rgb(238, 238, 238)"
1996       tickmode: "linear"
1997       title: "Indexed Test Cases"
1998       zeroline: False
1999     yaxis:
2000       gridcolor: "rgb(238, 238, 238)'"
2001       hoverformat: ".4s"
2002       linecolor: "rgb(238, 238, 238)"
2003       linewidth: 1
2004       range: [0, 3500000]
2005       showgrid: True
2006       showline: True
2007       showticklabels: True
2008       tickcolor: "rgb(238, 238, 238)"
2009       title: "Packets Per Second [pps]"
2010       zeroline: False
2011     boxmode: "group"
2012     boxgroupgap: 0.5
2013     autosize: False
2014     margin:
2015       t: 50
2016       b: 20
2017       l: 50
2018       r: 20
2019     showlegend: True
2020     legend:
2021       orientation: "h"
2022     width: 700
2023     height: 1000
2024
2025 -
2026   type: "plot"
2027   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2028   algorithm: "plot_performance_box"
2029   output-file-type: ".html"
2030   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc"
2031   data:
2032     "plot-vpp-throughput-latency"
2033   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2034   parameters:
2035   - "throughput"
2036   - "parent"
2037   traces:
2038     hoverinfo: "x+y"
2039     boxpoints: "outliers"
2040     whiskerwidth: 0
2041   layout:
2042     title: "64B-2t2c-.*vhost.*-ndrdisc"
2043     layout:
2044       "plot-throughput"
2045
2046 -
2047   type: "plot"
2048   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2049   algorithm: "plot_performance_box"
2050   output-file-type: ".html"
2051   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-pdrdisc"
2052   data:
2053     "plot-vpp-throughput-latency"
2054   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2055   parameters:
2056   - "throughput"
2057   - "parent"
2058   traces:
2059     hoverinfo: "x+y"
2060     boxpoints: "outliers"
2061     whiskerwidth: 0
2062   layout:
2063     title: "64B-1t1c-.*vhost.*-pdrdisc"
2064     layout:
2065       "plot-throughput"
2066
2067 -
2068   type: "plot"
2069   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2070   algorithm: "plot_performance_box"
2071   output-file-type: ".html"
2072   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-pdrdisc"
2073   data:
2074     "plot-vpp-throughput-latency"
2075   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2076   parameters:
2077   - "throughput"
2078   - "parent"
2079   traces:
2080     hoverinfo: "x+y"
2081     boxpoints: "outliers"
2082     whiskerwidth: 0
2083   layout:
2084     title: "64B-2t2c-.*vhost.*-pdrdisc"
2085     layout:
2086       "plot-throughput"
2087
2088 # VPP VM VHOST SELECTION
2089 -
2090   type: "plot"
2091   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2092   algorithm: "plot_performance_box"
2093   output-file-type: ".html"
2094   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc"
2095   data:
2096     "plot-vpp-throughput-latency"
2097   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2098   parameters:
2099   - "throughput"
2100   - "parent"
2101   traces:
2102     hoverinfo: "x+y"
2103     boxpoints: "outliers"
2104     whiskerwidth: 0
2105   layout:
2106     title: "64B-1t1c-.*vhost.*-ndrdisc"
2107     layout:
2108       "plot-throughput"
2109
2110 -
2111   type: "plot"
2112   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2113   algorithm: "plot_performance_box"
2114   output-file-type: ".html"
2115   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc"
2116   data:
2117     "plot-vpp-throughput-latency"
2118   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2119   parameters:
2120   - "throughput"
2121   - "parent"
2122   traces:
2123     hoverinfo: "x+y"
2124     boxpoints: "outliers"
2125     whiskerwidth: 0
2126   layout:
2127     title: "64B-2t2c-.*vhost.*-ndrdisc"
2128     layout:
2129       "plot-throughput"
2130
2131 -
2132   type: "plot"
2133   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2134   algorithm: "plot_performance_box"
2135   output-file-type: ".html"
2136   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-pdrdisc"
2137   data:
2138     "plot-vpp-throughput-latency"
2139   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2140   parameters:
2141   - "throughput"
2142   - "parent"
2143   traces:
2144     hoverinfo: "x+y"
2145     boxpoints: "outliers"
2146     whiskerwidth: 0
2147   layout:
2148     title: "64B-1t1c-.*vhost.*-pdrdisc"
2149     layout:
2150       "plot-throughput"
2151
2152 -
2153   type: "plot"
2154   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2155   algorithm: "plot_performance_box"
2156   output-file-type: ".html"
2157   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-pdrdisc"
2158   data:
2159     "plot-vpp-throughput-latency"
2160   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2161   parameters:
2162   - "throughput"
2163   - "parent"
2164   traces:
2165     hoverinfo: "x+y"
2166     boxpoints: "outliers"
2167     whiskerwidth: 0
2168   layout:
2169     title: "64B-2t2c-.*vhost.*-pdrdisc"
2170     layout:
2171       "plot-throughput"
2172
2173 # VPP CRYPTO
2174 -
2175   type: "plot"
2176   title: "VPP Performance 64B-1t1c-.*ipsec.*-ndrdisc"
2177   algorithm: "plot_performance_box"
2178   output-file-type: ".html"
2179   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc"
2180   data:
2181     "plot-vpp-throughput-latency"
2182   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2183   parameters:
2184   - "throughput"
2185   - "parent"
2186   traces:
2187     hoverinfo: "x+y"
2188     boxpoints: "outliers"
2189     whiskerwidth: 0
2190   layout:
2191     title: "64B-1t1c-.*ipsec.*-ndrdisc"
2192     layout:
2193       "plot-throughput"
2194
2195 -
2196   type: "plot"
2197   title: "VPP Performance 64B-2t2c-.*ipsec.*-ndrdisc"
2198   algorithm: "plot_performance_box"
2199   output-file-type: ".html"
2200   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc"
2201   data:
2202     "plot-vpp-throughput-latency"
2203   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2204   parameters:
2205   - "throughput"
2206   - "parent"
2207   traces:
2208     hoverinfo: "x+y"
2209     boxpoints: "outliers"
2210     whiskerwidth: 0
2211   layout:
2212     title: "64B-2t2c-.*ipsec.*-ndrdisc"
2213     layout:
2214       "plot-throughput"
2215
2216 -
2217   type: "plot"
2218   title: "VPP Performance 64B-1t1c-.*ipsec.*-pdrdisc"
2219   algorithm: "plot_performance_box"
2220   output-file-type: ".html"
2221   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-pdrdisc"
2222   data:
2223     "plot-vpp-throughput-latency"
2224   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2225   parameters:
2226   - "throughput"
2227   - "parent"
2228   traces:
2229     hoverinfo: "x+y"
2230     boxpoints: "outliers"
2231     whiskerwidth: 0
2232   layout:
2233     title: "64B-1t1c-.*ipsec.*-pdrdisc"
2234     layout:
2235       "plot-throughput"
2236
2237 -
2238   type: "plot"
2239   title: "VPP Performance 64B-2t2c-.*ipsec.*-pdrdisc"
2240   algorithm: "plot_performance_box"
2241   output-file-type: ".html"
2242   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-pdrdisc"
2243   data:
2244     "plot-vpp-throughput-latency"
2245   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2246   parameters:
2247   - "throughput"
2248   - "parent"
2249   traces:
2250     hoverinfo: "x+y"
2251     boxpoints: "outliers"
2252     whiskerwidth: 0
2253   layout:
2254     title: "64B-2t2c-.*ipsec.*-pdrdisc"
2255     layout:
2256       "plot-throughput"
2257
2258 # DPDK
2259 -
2260   type: "plot"
2261   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2262   algorithm: "plot_performance_box"
2263   output-file-type: ".html"
2264   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc"
2265   data:
2266     "plot-dpdk-throughput-latency"
2267   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2268   parameters:
2269   - "throughput"
2270   - "parent"
2271   traces:
2272     hoverinfo: "x+y"
2273     boxpoints: "outliers"
2274     whiskerwidth: 0
2275   layout:
2276     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2277     layout:
2278       "plot-throughput"
2279
2280 -
2281   type: "plot"
2282   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2283   algorithm: "plot_performance_box"
2284   output-file-type: ".html"
2285   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc"
2286   data:
2287     "plot-dpdk-throughput-latency"
2288   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2289   parameters:
2290   - "throughput"
2291   - "parent"
2292   traces:
2293     hoverinfo: "x+y"
2294     boxpoints: "outliers"
2295     whiskerwidth: 0
2296   layout:
2297     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2298     layout:
2299       "plot-throughput"
2300
2301 -
2302   type: "plot"
2303   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2304   algorithm: "plot_performance_box"
2305   output-file-type: ".html"
2306   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc"
2307   data:
2308     "plot-dpdk-throughput-latency"
2309   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
2310   parameters:
2311   - "throughput"
2312   - "parent"
2313   traces:
2314     hoverinfo: "x+y"
2315     boxpoints: "outliers"
2316     whiskerwidth: 0
2317   layout:
2318     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2319     xaxis:
2320       autorange: True
2321       autotick: False
2322       fixedrange: False
2323       gridcolor: "rgb(238, 238, 238)"
2324       linecolor: "rgb(238, 238, 238)"
2325       linewidth: 1
2326       showgrid: True
2327       showline: True
2328       showticklabels: True
2329       tickcolor: "rgb(238, 238, 238)"
2330       tickmode: "linear"
2331       title: "Indexed Test Cases"
2332       zeroline: False
2333     yaxis:
2334       gridcolor: "rgb(238, 238, 238)'"
2335       hoverformat: ".4s"
2336       linecolor: "rgb(238, 238, 238)"
2337       linewidth: 1
2338       range: [2000000, 12000000]
2339       showgrid: True
2340       showline: True
2341       showticklabels: True
2342       tickcolor: "rgb(238, 238, 238)"
2343       title: "Packets Per Second [pps]"
2344       zeroline: False
2345     boxmode: "group"
2346     boxgroupgap: 0.5
2347     autosize: False
2348     margin:
2349       t: 50
2350       b: 20
2351       l: 50
2352       r: 20
2353     showlegend: True
2354     legend:
2355       orientation: "h"
2356     width: 700
2357     height: 1000
2358
2359 -
2360   type: "plot"
2361   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2362   algorithm: "plot_performance_box"
2363   output-file-type: ".html"
2364   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc"
2365   data:
2366     "plot-dpdk-throughput-latency"
2367   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
2368   parameters:
2369   - "throughput"
2370   - "parent"
2371   traces:
2372     hoverinfo: "x+y"
2373     boxpoints: "outliers"
2374     whiskerwidth: 0
2375   layout:
2376     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2377     xaxis:
2378       autorange: True
2379       autotick: False
2380       fixedrange: False
2381       gridcolor: "rgb(238, 238, 238)"
2382       linecolor: "rgb(238, 238, 238)"
2383       linewidth: 1
2384       showgrid: True
2385       showline: True
2386       showticklabels: True
2387       tickcolor: "rgb(238, 238, 238)"
2388       tickmode: "linear"
2389       title: "Indexed Test Cases"
2390       zeroline: False
2391     yaxis:
2392       gridcolor: "rgb(238, 238, 238)'"
2393       hoverformat: ".4s"
2394       linecolor: "rgb(238, 238, 238)"
2395       linewidth: 1
2396       range: [2000000, 12000000]
2397       showgrid: True
2398       showline: True
2399       showticklabels: True
2400       tickcolor: "rgb(238, 238, 238)"
2401       title: "Packets Per Second [pps]"
2402       zeroline: False
2403     boxmode: "group"
2404     boxgroupgap: 0.5
2405     autosize: False
2406     margin:
2407       t: 50
2408       b: 20
2409       l: 50
2410       r: 20
2411     showlegend: True
2412     legend:
2413       orientation: "h"
2414     width: 700
2415     height: 1000
2416
2417 -
2418   type: "plot"
2419   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2420   algorithm: "plot_performance_box"
2421   output-file-type: ".html"
2422   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-pdrdisc"
2423   data:
2424     "plot-dpdk-throughput-latency"
2425   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2426   parameters:
2427   - "throughput"
2428   - "parent"
2429   traces:
2430     hoverinfo: "x+y"
2431     boxpoints: "outliers"
2432     whiskerwidth: 0
2433   layout:
2434     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2435     layout:
2436       "plot-throughput"
2437
2438 -
2439   type: "plot"
2440   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2441   algorithm: "plot_performance_box"
2442   output-file-type: ".html"
2443   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-pdrdisc"
2444   data:
2445     "plot-dpdk-throughput-latency"
2446   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2447   parameters:
2448   - "throughput"
2449   - "parent"
2450   traces:
2451     hoverinfo: "x+y"
2452     boxpoints: "outliers"
2453     whiskerwidth: 0
2454   layout:
2455     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2456     layout:
2457       "plot-throughput"
2458
2459 -
2460   type: "plot"
2461   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
2462   algorithm: "plot_performance_box"
2463   output-file-type: ".html"
2464   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-pdrdisc"
2465   data:
2466     "plot-dpdk-throughput-latency"
2467   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD'"
2468   parameters:
2469   - "throughput"
2470   - "parent"
2471   traces:
2472     hoverinfo: "x+y"
2473     boxpoints: "outliers"
2474     whiskerwidth: 0
2475   layout:
2476     title: "64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
2477     xaxis:
2478       autorange: True
2479       autotick: False
2480       fixedrange: False
2481       gridcolor: "rgb(238, 238, 238)"
2482       linecolor: "rgb(238, 238, 238)"
2483       linewidth: 1
2484       showgrid: True
2485       showline: True
2486       showticklabels: True
2487       tickcolor: "rgb(238, 238, 238)"
2488       tickmode: "linear"
2489       title: "Indexed Test Cases"
2490       zeroline: False
2491     yaxis:
2492       gridcolor: "rgb(238, 238, 238)'"
2493       hoverformat: ".4s"
2494       linecolor: "rgb(238, 238, 238)"
2495       linewidth: 1
2496       range: [20000000, 30000000]
2497       showgrid: True
2498       showline: True
2499       showticklabels: True
2500       tickcolor: "rgb(238, 238, 238)"
2501       title: "Packets Per Second [pps]"
2502       zeroline: False
2503     boxmode: "group"
2504     boxgroupgap: 0.5
2505     autosize: False
2506     margin:
2507       t: 50
2508       b: 20
2509       l: 50
2510       r: 20
2511     showlegend: True
2512     legend:
2513       orientation: "h"
2514     width: 700
2515     height: 1000
2516
2517 -
2518   type: "plot"
2519   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
2520   algorithm: "plot_performance_box"
2521   output-file-type: ".html"
2522   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-pdrdisc"
2523   data:
2524     "plot-dpdk-throughput-latency"
2525   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD'"
2526   parameters:
2527   - "throughput"
2528   - "parent"
2529   traces:
2530     hoverinfo: "x+y"
2531     boxpoints: "outliers"
2532     whiskerwidth: 0
2533   layout:
2534     title: "64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
2535     xaxis:
2536       autorange: True
2537       autotick: False
2538       fixedrange: False
2539       gridcolor: "rgb(238, 238, 238)"
2540       linecolor: "rgb(238, 238, 238)"
2541       linewidth: 1
2542       showgrid: True
2543       showline: True
2544       showticklabels: True
2545       tickcolor: "rgb(238, 238, 238)"
2546       tickmode: "linear"
2547       title: "Indexed Test Cases"
2548       zeroline: False
2549     yaxis:
2550       gridcolor: "rgb(238, 238, 238)'"
2551       hoverformat: ".4s"
2552       linecolor: "rgb(238, 238, 238)"
2553       linewidth: 1
2554       range: [20000000, 30000000]
2555       showgrid: True
2556       showline: True
2557       showticklabels: True
2558       tickcolor: "rgb(238, 238, 238)"
2559       title: "Packets Per Second [pps]"
2560       zeroline: False
2561     boxmode: "group"
2562     boxgroupgap: 0.5
2563     autosize: False
2564     margin:
2565       t: 50
2566       b: 20
2567       l: 50
2568       r: 20
2569     showlegend: True
2570     legend:
2571       orientation: "h"
2572     width: 700
2573     height: 1000
2574
2575 # Plot latency
2576
2577 # VPP L2 sel1
2578 -
2579   type: "plot"
2580   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2581   algorithm: "plot_latency_box"
2582   output-file-type: ".html"
2583   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc-lat50"
2584   data:
2585     "plot-vpp-throughput-latency"
2586   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2587   parameters:
2588   - "latency"
2589   - "parent"
2590   traces:
2591     boxmean: False
2592   layout:
2593     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2594     layout:
2595       "plot-latency"
2596
2597 -
2598   type: "plot"
2599   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2600   algorithm: "plot_latency_box"
2601   output-file-type: ".html"
2602   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc-lat50"
2603   data:
2604     "plot-vpp-throughput-latency"
2605   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2606   parameters:
2607   - "latency"
2608   - "parent"
2609   traces:
2610     boxmean: False
2611   layout:
2612     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2613     layout:
2614       "plot-latency"
2615
2616 # VPP L2 sel2
2617 -
2618   type: "plot"
2619   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2620   algorithm: "plot_latency_box"
2621   output-file-type: ".html"
2622   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc-lat50"
2623   data:
2624     "plot-vpp-throughput-latency"
2625   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2626   parameters:
2627   - "latency"
2628   - "parent"
2629   traces:
2630     boxmean: False
2631   layout:
2632     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2633     layout:
2634       "plot-latency"
2635
2636 -
2637   type: "plot"
2638   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2639   algorithm: "plot_latency_box"
2640   output-file-type: ".html"
2641   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc-lat50"
2642   data:
2643     "plot-vpp-throughput-latency"
2644   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2645   parameters:
2646   - "latency"
2647   - "parent"
2648   traces:
2649     boxmean: False
2650   layout:
2651     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2652     layout:
2653       "plot-latency"
2654
2655 # VPP IP4
2656 -
2657   type: "plot"
2658   title: "VPP Latency 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2659   algorithm: "plot_latency_box"
2660   output-file-type: ".html"
2661   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc-lat50"
2662   data:
2663     "plot-vpp-throughput-latency"
2664   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
2665   parameters:
2666   - "latency"
2667   - "parent"
2668   traces:
2669     boxmean: False
2670   layout:
2671     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2672     layout:
2673       "plot-latency"
2674
2675 -
2676   type: "plot"
2677   title: "VPP Latency 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2678   algorithm: "plot_latency_box"
2679   output-file-type: ".html"
2680   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc-lat50"
2681   data:
2682     "plot-vpp-throughput-latency"
2683   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
2684   parameters:
2685   - "latency"
2686   - "parent"
2687   traces:
2688     boxmean: False
2689   layout:
2690     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2691     layout:
2692       "plot-latency"
2693
2694 # VPP IP6
2695 -
2696   type: "plot"
2697   title: "VPP Latency 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2698   algorithm: "plot_latency_box"
2699   output-file-type: ".html"
2700   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc-lat50"
2701   data:
2702     "plot-vpp-throughput-latency"
2703   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2704   parameters:
2705   - "latency"
2706   - "parent"
2707   traces:
2708     boxmean: False
2709   layout:
2710     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2711     layout:
2712       "plot-latency"
2713
2714 -
2715   type: "plot"
2716   title: "VPP Latency 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2717   algorithm: "plot_latency_box"
2718   output-file-type: ".html"
2719   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc-lat50"
2720   data:
2721     "plot-vpp-throughput-latency"
2722   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2723   parameters:
2724   - "latency"
2725   - "parent"
2726   traces:
2727     boxmean: False
2728   layout:
2729     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2730     layout:
2731       "plot-latency"
2732
2733 # VPP IP4_overlay
2734 -
2735   type: "plot"
2736   title: "VPP Latency 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2737   algorithm: "plot_latency_box"
2738   output-file-type: ".html"
2739   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc-lat50"
2740   data:
2741     "plot-vpp-throughput-latency"
2742   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2743   parameters:
2744   - "latency"
2745   - "parent"
2746   traces:
2747     boxmean: False
2748   layout:
2749     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2750     layout:
2751       "plot-latency"
2752
2753 -
2754   type: "plot"
2755   title: "VPP Latency 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2756   algorithm: "plot_latency_box"
2757   output-file-type: ".html"
2758   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc-lat50"
2759   data:
2760     "plot-vpp-throughput-latency"
2761   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2762   parameters:
2763   - "latency"
2764   - "parent"
2765   traces:
2766     boxmean: False
2767   layout:
2768     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2769     layout:
2770       "plot-latency"
2771
2772 # VPP IP6_overlay
2773 -
2774   type: "plot"
2775   title: "VPP Latency 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2776   algorithm: "plot_latency_box"
2777   output-file-type: ".html"
2778   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc-lat50"
2779   data:
2780     "plot-vpp-throughput-latency"
2781   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2782   parameters:
2783   - "latency"
2784   - "parent"
2785   traces:
2786     boxmean: False
2787   layout:
2788     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2789     layout:
2790       "plot-latency"
2791
2792 -
2793   type: "plot"
2794   title: "VPP Latency 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2795   algorithm: "plot_latency_box"
2796   output-file-type: ".html"
2797   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc-lat50"
2798   data:
2799     "plot-vpp-throughput-latency"
2800   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2801   parameters:
2802   - "latency"
2803   - "parent"
2804   traces:
2805     boxmean: False
2806   layout:
2807     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2808     layout:
2809       "plot-latency"
2810
2811 # VPP VM VHOST
2812 -
2813   type: "plot"
2814   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
2815   algorithm: "plot_latency_box"
2816   output-file-type: ".html"
2817   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc-lat50"
2818   data:
2819     "plot-vpp-throughput-latency"
2820   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2821   parameters:
2822   - "latency"
2823   - "parent"
2824   traces:
2825     boxmean: False
2826   layout:
2827     title: "64B-1t1c-.*vhost.*-ndrdisc"
2828     layout:
2829       "plot-latency"
2830
2831 -
2832   type: "plot"
2833   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
2834   algorithm: "plot_latency_box"
2835   output-file-type: ".html"
2836   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc-lat50"
2837   data:
2838     "plot-vpp-throughput-latency"
2839   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2840   parameters:
2841   - "latency"
2842   - "parent"
2843   traces:
2844     boxmean: False
2845   layout:
2846     title: "64B-2t2c-.*vhost.*-ndrdisc"
2847     layout:
2848       "plot-latency"
2849
2850 # VPP VM VHOST selection
2851 -
2852   type: "plot"
2853   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
2854   algorithm: "plot_latency_box"
2855   output-file-type: ".html"
2856   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc-lat50"
2857   data:
2858     "plot-vpp-throughput-latency"
2859   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2860   parameters:
2861   - "latency"
2862   - "parent"
2863   traces:
2864     boxmean: False
2865   layout:
2866     title: "64B-1t1c-.*vhost.*-ndrdisc"
2867     layout:
2868       "plot-latency"
2869
2870 -
2871   type: "plot"
2872   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
2873   algorithm: "plot_latency_box"
2874   output-file-type: ".html"
2875   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc-lat50"
2876   data:
2877     "plot-vpp-throughput-latency"
2878   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2879   parameters:
2880   - "latency"
2881   - "parent"
2882   traces:
2883     boxmean: False
2884   layout:
2885     title: "64B-2t2c-.*vhost.*-ndrdisc"
2886     layout:
2887       "plot-latency"
2888
2889 # VPP CRYPTO
2890 -
2891   type: "plot"
2892   title: "VPP Latency 64B-1t1c-.*ipsec.*-ndrdisc"
2893   algorithm: "plot_latency_box"
2894   output-file-type: ".html"
2895   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc-lat50"
2896   data:
2897     "plot-vpp-throughput-latency"
2898   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2899   parameters:
2900   - "latency"
2901   - "parent"
2902   traces:
2903     boxmean: False
2904   layout:
2905     title: "64B-1t1c-.*ipsec.*-ndrdisc"
2906     layout:
2907       "plot-latency"
2908
2909 -
2910   type: "plot"
2911   title: "VPP Latency 64B-2t2c-.*ipsec.*-ndrdisc"
2912   algorithm: "plot_latency_box"
2913   output-file-type: ".html"
2914   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc-lat50"
2915   data:
2916     "plot-vpp-throughput-latency"
2917   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2918   parameters:
2919   - "latency"
2920   - "parent"
2921   traces:
2922     boxmean: False
2923   layout:
2924     title: "64B-2t2c-.*ipsec.*-ndrdisc"
2925     layout:
2926       "plot-latency"
2927
2928 # DPDK
2929 -
2930   type: "plot"
2931   title: "DPDK Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2932   algorithm: "plot_latency_box"
2933   output-file-type: ".html"
2934   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc-lat50"
2935   data:
2936     "plot-dpdk-throughput-latency"
2937   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2938   parameters:
2939   - "latency"
2940   - "parent"
2941   traces:
2942     boxmean: False
2943   layout:
2944     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2945     layout:
2946       "plot-latency"
2947
2948 -
2949   type: "plot"
2950   title: "DPDK Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2951   algorithm: "plot_latency_box"
2952   output-file-type: ".html"
2953   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc-lat50"
2954   data:
2955     "plot-dpdk-throughput-latency"
2956   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2957   parameters:
2958   - "latency"
2959   - "parent"
2960   traces:
2961     boxmean: False
2962   layout:
2963     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2964     layout:
2965       "plot-latency"
2966
2967 -
2968   type: "plot"
2969   title: "DPDK Latency 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2970   algorithm: "plot_latency_box"
2971   output-file-type: ".html"
2972   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc-lat50"
2973   data:
2974     "plot-dpdk-throughput-latency"
2975   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
2976   parameters:
2977   - "latency"
2978   - "parent"
2979   traces:
2980     boxmean: False
2981   layout:
2982     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2983     layout:
2984       "plot-latency"
2985
2986 -
2987   type: "plot"
2988   title: "DPDK Latency 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2989   algorithm: "plot_latency_box"
2990   output-file-type: ".html"
2991   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc-lat50"
2992   data:
2993     "plot-dpdk-throughput-latency"
2994   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
2995   parameters:
2996   - "latency"
2997   - "parent"
2998   traces:
2999     boxmean: False
3000   layout:
3001     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3002     layout:
3003       "plot-latency"
3004
3005 # Ligato - Throughput
3006
3007 # Container memif
3008 -
3009   type: "plot"
3010   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3011   algorithm: "plot_performance_box"
3012   output-file-type: ".html"
3013   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc"
3014   data:
3015     "plot-vpp-throughput-latency"
3016   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3017   parameters:
3018   - "throughput"
3019   - "parent"
3020   traces:
3021     hoverinfo: "x+y"
3022     boxpoints: "outliers"
3023     whiskerwidth: 0
3024   layout:
3025     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3026     xaxis:
3027       autorange: True
3028       autotick: False
3029       fixedrange: False
3030       gridcolor: "rgb(238, 238, 238)"
3031       linecolor: "rgb(238, 238, 238)"
3032       linewidth: 1
3033       showgrid: True
3034       showline: True
3035       showticklabels: True
3036       tickcolor: "rgb(238, 238, 238)"
3037       tickmode: "linear"
3038       title: "Indexed Test Cases"
3039       zeroline: False
3040     yaxis:
3041       gridcolor: "rgb(238, 238, 238)'"
3042       hoverformat: ".4s"
3043       linecolor: "rgb(238, 238, 238)"
3044       linewidth: 1
3045       range: [0, 4500000]
3046       showgrid: True
3047       showline: True
3048       showticklabels: True
3049       tickcolor: "rgb(238, 238, 238)"
3050       title: "Packets Per Second [pps]"
3051       zeroline: False
3052     boxmode: "group"
3053     boxgroupgap: 0.5
3054     autosize: False
3055     margin:
3056       t: 50
3057       b: 20
3058       l: 50
3059       r: 20
3060     showlegend: True
3061     legend:
3062       orientation: "h"
3063     width: 700
3064     height: 1000
3065
3066 -
3067   type: "plot"
3068   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3069   algorithm: "plot_performance_box"
3070   output-file-type: ".html"
3071   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc"
3072   data:
3073     "plot-vpp-throughput-latency"
3074   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3075   parameters:
3076   - "throughput"
3077   - "parent"
3078   traces:
3079     hoverinfo: "x+y"
3080     boxpoints: "outliers"
3081     whiskerwidth: 0
3082   layout:
3083     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3084     xaxis:
3085       autorange: True
3086       autotick: False
3087       fixedrange: False
3088       gridcolor: "rgb(238, 238, 238)"
3089       linecolor: "rgb(238, 238, 238)"
3090       linewidth: 1
3091       showgrid: True
3092       showline: True
3093       showticklabels: True
3094       tickcolor: "rgb(238, 238, 238)"
3095       tickmode: "linear"
3096       title: "Indexed Test Cases"
3097       zeroline: False
3098     yaxis:
3099       gridcolor: "rgb(238, 238, 238)'"
3100       hoverformat: ".4s"
3101       linecolor: "rgb(238, 238, 238)"
3102       linewidth: 1
3103       range: [0, 8000000]
3104       showgrid: True
3105       showline: True
3106       showticklabels: True
3107       tickcolor: "rgb(238, 238, 238)"
3108       title: "Packets Per Second [pps]"
3109       zeroline: False
3110     boxmode: "group"
3111     boxgroupgap: 0.5
3112     autosize: False
3113     margin:
3114       t: 50
3115       b: 20
3116       l: 50
3117       r: 20
3118     showlegend: True
3119     legend:
3120       orientation: "h"
3121     width: 700
3122     height: 1000
3123
3124 -
3125   type: "plot"
3126   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3127   algorithm: "plot_performance_box"
3128   output-file-type: ".html"
3129   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-pdrdisc"
3130   data:
3131     "plot-vpp-throughput-latency"
3132   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3133   parameters:
3134   - "throughput"
3135   - "parent"
3136   traces:
3137     hoverinfo: "x+y"
3138     boxpoints: "outliers"
3139     whiskerwidth: 0
3140   layout:
3141     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3142     xaxis:
3143       autorange: True
3144       autotick: False
3145       fixedrange: False
3146       gridcolor: "rgb(238, 238, 238)"
3147       linecolor: "rgb(238, 238, 238)"
3148       linewidth: 1
3149       showgrid: True
3150       showline: True
3151       showticklabels: True
3152       tickcolor: "rgb(238, 238, 238)"
3153       tickmode: "linear"
3154       title: "Indexed Test Cases"
3155       zeroline: False
3156     yaxis:
3157       gridcolor: "rgb(238, 238, 238)'"
3158       hoverformat: ".4s"
3159       linecolor: "rgb(238, 238, 238)"
3160       linewidth: 1
3161       range: [0, 4500000]
3162       showgrid: True
3163       showline: True
3164       showticklabels: True
3165       tickcolor: "rgb(238, 238, 238)"
3166       title: "Packets Per Second [pps]"
3167       zeroline: False
3168     boxmode: "group"
3169     boxgroupgap: 0.5
3170     autosize: False
3171     margin:
3172       t: 50
3173       b: 20
3174       l: 50
3175       r: 20
3176     showlegend: True
3177     legend:
3178       orientation: "h"
3179     width: 700
3180     height: 1000
3181
3182 -
3183   type: "plot"
3184   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3185   algorithm: "plot_performance_box"
3186   output-file-type: ".html"
3187   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-pdrdisc"
3188   data:
3189     "plot-vpp-throughput-latency"
3190   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3191   parameters:
3192   - "throughput"
3193   - "parent"
3194   traces:
3195     hoverinfo: "x+y"
3196     boxpoints: "outliers"
3197     whiskerwidth: 0
3198   layout:
3199     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3200     xaxis:
3201       autorange: True
3202       autotick: False
3203       fixedrange: False
3204       gridcolor: "rgb(238, 238, 238)"
3205       linecolor: "rgb(238, 238, 238)"
3206       linewidth: 1
3207       showgrid: True
3208       showline: True
3209       showticklabels: True
3210       tickcolor: "rgb(238, 238, 238)"
3211       tickmode: "linear"
3212       title: "Indexed Test Cases"
3213       zeroline: False
3214     yaxis:
3215       gridcolor: "rgb(238, 238, 238)'"
3216       hoverformat: ".4s"
3217       linecolor: "rgb(238, 238, 238)"
3218       linewidth: 1
3219       range: [0, 8000000]
3220       showgrid: True
3221       showline: True
3222       showticklabels: True
3223       tickcolor: "rgb(238, 238, 238)"
3224       title: "Packets Per Second [pps]"
3225       zeroline: False
3226     boxmode: "group"
3227     boxgroupgap: 0.5
3228     autosize: False
3229     margin:
3230       t: 50
3231       b: 20
3232       l: 50
3233       r: 20
3234     showlegend: True
3235     legend:
3236       orientation: "h"
3237     width: 700
3238     height: 1000
3239
3240 # Container orchestrated
3241 -
3242   type: "plot"
3243   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3244   algorithm: "plot_performance_box"
3245   output-file-type: ".html"
3246   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc"
3247   data:
3248     "plot-ligato-throughput-latency"
3249   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3250   parameters:
3251   - "throughput"
3252   - "parent"
3253   traces:
3254     hoverinfo: "x+y"
3255     boxpoints: "outliers"
3256     whiskerwidth: 0
3257   layout:
3258     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3259     layout:
3260       "plot-throughput"
3261
3262 -
3263   type: "plot"
3264   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3265   algorithm: "plot_performance_box"
3266   output-file-type: ".html"
3267   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc"
3268   data:
3269     "plot-ligato-throughput-latency"
3270   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3271   parameters:
3272   - "throughput"
3273   - "parent"
3274   traces:
3275     hoverinfo: "x+y"
3276     boxpoints: "outliers"
3277     whiskerwidth: 0
3278   layout:
3279     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3280     layout:
3281       "plot-throughput"
3282
3283 -
3284   type: "plot"
3285   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3286   algorithm: "plot_performance_box"
3287   output-file-type: ".html"
3288   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-pdrdisc"
3289   data:
3290     "plot-ligato-throughput-latency"
3291   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3292   parameters:
3293   - "throughput"
3294   - "parent"
3295   traces:
3296     hoverinfo: "x+y"
3297     boxpoints: "outliers"
3298     whiskerwidth: 0
3299   layout:
3300     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3301     layout:
3302       "plot-throughput"
3303
3304 -
3305   type: "plot"
3306   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3307   algorithm: "plot_performance_box"
3308   output-file-type: ".html"
3309   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-pdrdisc"
3310   data:
3311     "plot-ligato-throughput-latency"
3312   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3313   parameters:
3314   - "throughput"
3315   - "parent"
3316   traces:
3317     hoverinfo: "x+y"
3318     boxpoints: "outliers"
3319     whiskerwidth: 0
3320   layout:
3321     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3322     layout:
3323       "plot-throughput"
3324
3325 # Ligato - Latency
3326
3327 # Container memif
3328 -
3329   type: "plot"
3330   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3331   algorithm: "plot_latency_box"
3332   output-file-type: ".html"
3333   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc-lat50"
3334   data:
3335     "plot-vpp-throughput-latency"
3336   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3337   parameters:
3338   - "latency"
3339   - "parent"
3340   traces:
3341     boxmean: False
3342   layout:
3343     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3344     layout:
3345       "plot-latency"
3346
3347 -
3348   type: "plot"
3349   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3350   algorithm: "plot_latency_box"
3351   output-file-type: ".html"
3352   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc-lat50"
3353   data:
3354     "plot-vpp-throughput-latency"
3355   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3356   parameters:
3357   - "latency"
3358   - "parent"
3359   traces:
3360     boxmean: False
3361   layout:
3362     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3363     layout:
3364       "plot-latency"
3365
3366 # Container orchestrated
3367 -
3368   type: "plot"
3369   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3370   algorithm: "plot_latency_box"
3371   output-file-type: ".html"
3372   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc-lat50"
3373   data:
3374     "plot-ligato-throughput-latency"
3375   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3376   parameters:
3377   - "latency"
3378   - "parent"
3379   traces:
3380     boxmean: False
3381   layout:
3382     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3383     layout:
3384       "plot-latency"
3385
3386 -
3387   type: "plot"
3388   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3389   algorithm: "plot_latency_box"
3390   output-file-type: ".html"
3391   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc-lat50"
3392   data:
3393     "plot-ligato-throughput-latency"
3394   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3395   parameters:
3396   - "latency"
3397   - "parent"
3398   traces:
3399     boxmean: False
3400   layout:
3401     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3402     layout:
3403       "plot-latency"