resources/tools/presentation/specification.yaml

   1 -
   2   type: "environment"
   3   configuration:
   4     # Debug mode:
   5     # - Skip:
   6     #   - Download of input data files
   7     # - Do:
   8     #   - Read data from given zip / xml files
   9     #   - Set the configuration as it is done in normal mode
  10     # If the section "type: debug" is missing, CFG[DEBUG] is set to 0.
  11     CFG[DEBUG]: 0
  12
  13   paths:
  14     # Top level directories:
  15     ## Working directory
  16     DIR[WORKING]: "_tmp"
  17     ## Build directories
  18     DIR[BUILD,HTML]: "_build"
  19     DIR[BUILD,LATEX]: "_build_latex"
  20
  21     # Static .rst files
  22     DIR[RST]: "../../../docs/report"
  23
  24     # Working directories
  25     ## Input data files (.zip, .xml)
  26     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
  27     ## Static source files from git
  28     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
  29     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
  30
  31     # Static html content
  32     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
  33     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
  34     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
  35     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
  36
  37     # Detailed test results
  38     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
  39     DIR[DTR,PERF,DPDK]: "{DIR[DTR]}/dpdk_performance_results"
  40     DIR[DTR,PERF,VPP]: "{DIR[DTR]}/vpp_performance_results"
  41     DIR[DTR,PERF,COT]: "{DIR[DTR]}/cot_performance_results"
  42     DIR[DTR,PERF,HC]: "{DIR[DTR]}/honeycomb_performance_results"
  43     DIR[DTR,FUNC,VPP]: "{DIR[DTR]}/vpp_functional_results"
  44     DIR[DTR,FUNC,HC]: "{DIR[DTR]}/honeycomb_functional_results"
  45     DIR[DTR,FUNC,NSHSFC]: "{DIR[DTR]}/nshsfc_functional_results"
  46     DIR[DTR,PERF,VPP,IMPRV]: "{DIR[WORKING,SRC]}/vpp_performance_tests/performance_improvements"
  47
  48     # Detailed test configurations
  49     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
  50     DIR[DTC,PERF,VPP]: "{DIR[DTC]}/vpp_performance_configuration"
  51     DIR[DTC,FUNC,VPP]: "{DIR[DTC]}/vpp_functional_configuration"
  52
  53     # Detailed tests operational data
  54     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
  55     DIR[DTO,PERF,VPP]: "{DIR[DTO]}/vpp_performance_operational_data"
  56
  57     # .css patch file to fix tables generated by Sphinx
  58     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
  59     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
  60
  61   urls:
  62     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
  63     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
  64     URL[NEXUS]: "https://docs.fd.io/csit"
  65     DIR[NEXUS]: "report/_static/archive"
  66
  67   make-dirs:
  68   # List the directories which are created while preparing the environment.
  69   # All directories MUST be defined in "paths" section.
  70   - "DIR[WORKING,DATA]"
  71   - "DIR[STATIC,VPP]"
  72   - "DIR[STATIC,DPDK]"
  73   - "DIR[STATIC,ARCH]"
  74   - "DIR[BUILD,LATEX]"
  75   - "DIR[WORKING,SRC]"
  76   - "DIR[WORKING,SRC,STATIC]"
  77
  78   remove-dirs:
  79   # List the directories which are deleted while cleaning the environment.
  80   # All directories MUST be defined in "paths" section.
  81   #- "DIR[BUILD,HTML]"
  82
  83   build-dirs:
  84   # List the directories where the results (build) is stored.
  85   # All directories MUST be defined in "paths" section.
  86   - "DIR[BUILD,HTML]"
  87   - "DIR[BUILD,LATEX]"
  88
  89 -
  90   type: "configuration"
  91   data-sets:
  92 # TODO: Add the data sources
  93 #    plot-vpp-http-server-performance:
  94 #      csit-vpp-perf-1801-all:
  95 #      - 1
  96 #      - 2
  97 #      - 3
  98 #      - 4
  99 # TODO: Add the data sources
 100 #    vpp-meltdown-impact:
 101 #      csit-vpp-perf-1707-all:
 102 #      - 9
 103 #      - 10
 104 #      - 13
 105 #      csit-vpp-perf-1710-all:
 106 #      - 11l
 107 #      - 12
 108 #      - 13
 109 # TODO: Add the data sources
 110 #    vpp-spectre-impact:
 111 #      csit-vpp-perf-1707-all:
 112 #      - 9
 113 #      - 10
 114 #      - 13
 115 #      csit-vpp-perf-1710-all:
 116 #      - 11
 117 #      - 12
 118 #      - 13
 119     vpp-performance-changes:
 120       csit-vpp-perf-1710-all:
 121       - 11
 122       - 12
 123       - 13
 124       - 14
 125       - 15
 126       - 16
 127       - 17
 128       - 18
 129       - 19
 130       - 20
 131 # TODO: Add the data sources
 132       csit-vpp-perf-1801-all:
 133       - 124  # sel
 134       - 127  # sel
 135       - 128  # sel
 136       - 141  # sel
 137       - 142  # sel
 138       - 143  # sel
 139       - 145  # sel
 140       - 146  # sel
 141 # TODO: Add the data sources
 142     plot-throughput-speedup-analysis:
 143       csit-vpp-perf-1801-all:
 144       - 124  # sel
 145       - 127  # sel
 146       - 128  # sel
 147       - 141  # sel
 148       - 142  # sel
 149       - 143  # sel
 150       - 145  # sel
 151       - 146  # sel
 152 #    performance-improvements:
 153 #      csit-vpp-perf-1707-all:
 154 #      - 9
 155 #      - 10
 156 #      - 13
 157 #      - 14
 158 #      - 15
 159 #      - 16
 160 #      - 17
 161 #      - 18
 162 #      - 19
 163 #      - 21
 164 #      csit-vpp-perf-1710-all:
 165 #      - 11
 166 #      - 12
 167 #      - 13
 168 #      - 14
 169 #      - 15
 170 #      - 16
 171 #      - 17
 172 #      - 18
 173 #      - 19
 174 #      - 20
 175 ## TODO: Add the data sources
 176 #      csit-vpp-perf-1801-all:
 177 #      - 124
 178 #      - 127
 179 #      - 128
 180 #      csit-ligato-perf-1710-all:
 181 #      - 5
 182 #      - 7
 183 #      - 8
 184 #      - 9
 185 #      - 10
 186 #      - 11
 187 #      - 12
 188 #      - 13
 189 #      - 16
 190 #      - 17
 191 #      csit-ligato-perf-1801-all:
 192 #      - 1
 193 #      - 3
 194 #      - 7
 195 # TODO: Add the data sources
 196     vpp-perf-results:
 197       csit-vpp-perf-1801-all:
 198       - 122
 199       - 126
 200       - 129
 201       - 140
 202     vpp-func-results:
 203       csit-vpp-functional-1801-ubuntu1604-virl:
 204       - "lastSuccessfulBuild"
 205 # TODO: Add the data sources
 206     ligato-perf-results:
 207       csit-ligato-perf-1801-all:
 208       - 1
 209     dpdk-perf-results:
 210       csit-dpdk-perf-1801-all:
 211       - 12
 212     hc-func-results:
 213       csit-hc2vpp-verify-func-1801-ubuntu1604:
 214       - "lastSuccessfulBuild"
 215     nsh-func-results:
 216       csit-nsh_sfc-verify-func-1801-ubuntu1604-virl:
 217       - 1
 218 # TODO: Add the data sources
 219     plot-vpp-throughput-latency:
 220       csit-vpp-perf-1801-all:
 221       - 124  # sel
 222       - 127  # sel
 223       - 128  # sel
 224       - 141  # sel
 225       - 142  # sel
 226       - 143  # sel
 227       - 145  # sel
 228       - 146  # sel
 229     plot-dpdk-throughput-latency:
 230       csit-dpdk-perf-1801-all:
 231       - 1
 232       - 3
 233       - 4
 234       - 5
 235       - 6
 236       - 7
 237       - 8
 238       - 10
 239       - 12
 240 # TODO: Add the data sources
 241     plot-ligato-throughput-latency:
 242       csit-ligato-perf-1801-all:
 243       - 1
 244       - 3
 245       - 7
 246
 247   plot-layouts:
 248
 249     plot-cps:
 250       xaxis:
 251         autorange: True
 252         autotick: False
 253         fixedrange: False
 254         gridcolor: "rgb(238, 238, 238)"
 255         linecolor: "rgb(238, 238, 238)"
 256         linewidth: 1
 257         showgrid: True
 258         showline: True
 259         showticklabels: True
 260         tickcolor: "rgb(238, 238, 238)"
 261         tickmode: "linear"
 262         title: "Indexed Test Cases"
 263         zeroline: False
 264       yaxis:
 265         gridcolor: "rgb(238, 238, 238)'"
 266         hoverformat: ".4s"
 267         linecolor: "rgb(238, 238, 238)"
 268         linewidth: 1
 269         range: []
 270         rangemode: "tozero"
 271         showgrid: True
 272         showline: True
 273         showticklabels: True
 274         tickcolor: "rgb(238, 238, 238)"
 275         title: "Connections Per Second [cps]"
 276         zeroline: False
 277       boxmode: "group"
 278       boxgroupgap: 0.5
 279       autosize: False
 280       margin:
 281         t: 50
 282         b: 20
 283         l: 50
 284         r: 20
 285       showlegend: True
 286       legend:
 287         orientation: "h"
 288       width: 700
 289       height: 1000
 290
 291     plot-rps:
 292       xaxis:
 293         autorange: True
 294         autotick: False
 295         fixedrange: False
 296         gridcolor: "rgb(238, 238, 238)"
 297         linecolor: "rgb(238, 238, 238)"
 298         linewidth: 1
 299         showgrid: True
 300         showline: True
 301         showticklabels: True
 302         tickcolor: "rgb(238, 238, 238)"
 303         tickmode: "linear"
 304         title: "Indexed Test Cases"
 305         zeroline: False
 306       yaxis:
 307         gridcolor: "rgb(238, 238, 238)'"
 308         hoverformat: ".4s"
 309         linecolor: "rgb(238, 238, 238)"
 310         linewidth: 1
 311         range: []
 312         rangemode: "tozero"
 313         showgrid: True
 314         showline: True
 315         showticklabels: True
 316         tickcolor: "rgb(238, 238, 238)"
 317         title: "Requests Per Second [rps]"
 318         zeroline: False
 319       boxmode: "group"
 320       boxgroupgap: 0.5
 321       autosize: False
 322       margin:
 323         t: 50
 324         b: 20
 325         l: 50
 326         r: 20
 327       showlegend: True
 328       legend:
 329         orientation: "h"
 330       width: 700
 331       height: 1000
 332
 333     plot-throughput:
 334       xaxis:
 335         autorange: True
 336         autotick: False
 337         fixedrange: False
 338         gridcolor: "rgb(238, 238, 238)"
 339         linecolor: "rgb(238, 238, 238)"
 340         linewidth: 1
 341         showgrid: True
 342         showline: True
 343         showticklabels: True
 344         tickcolor: "rgb(238, 238, 238)"
 345         tickmode: "linear"
 346         title: "Indexed Test Cases"
 347         zeroline: False
 348       yaxis:
 349         gridcolor: "rgb(238, 238, 238)'"
 350         hoverformat: ".4s"
 351         linecolor: "rgb(238, 238, 238)"
 352         linewidth: 1
 353         range: []
 354         showgrid: True
 355         showline: True
 356         showticklabels: True
 357         tickcolor: "rgb(238, 238, 238)"
 358         title: "Packets Per Second [pps]"
 359         zeroline: False
 360       boxmode: "group"
 361       boxgroupgap: 0.5
 362       autosize: False
 363       margin:
 364         t: 50
 365         b: 20
 366         l: 50
 367         r: 20
 368       showlegend: True
 369       legend:
 370         orientation: "h"
 371       width: 700
 372       height: 1000
 373
 374     plot-latency:
 375       xaxis:
 376         autorange: True
 377         autotick: False
 378         fixedrange: False
 379         gridcolor: "rgb(238, 238, 238)"
 380         linecolor: "rgb(238, 238, 238)"
 381         linewidth: 1
 382         showgrid: True
 383         showline: True
 384         showticklabels: True
 385         tickcolor: "rgb(238, 238, 238)"
 386         tickmode: "linear"
 387         title: "Indexed Test Cases"
 388         zeroline: False
 389       yaxis:
 390         gridcolor: "rgb(238, 238, 238)'"
 391         hoverformat: ""
 392         linecolor: "rgb(238, 238, 238)"
 393         linewidth: 1
 394         range: []
 395         showgrid: True
 396         showline: True
 397         showticklabels: True
 398         tickcolor: "rgb(238, 238, 238)"
 399         title: "Latency min/avg/max [uSec]"
 400         zeroline: False
 401       boxmode: "group"
 402       boxgroupgap: 0.5
 403       autosize: False
 404       margin:
 405         t: 50
 406         b: 20
 407         l: 50
 408         r: 20
 409       showlegend: True
 410       legend:
 411         orientation: "h"
 412       width: 700
 413       height: 1000
 414
 415     plot-throughput-speedup-analysis:
 416       xaxis:
 417         autorange: True
 418         autotick: False
 419         fixedrange: False
 420         gridcolor: "rgb(238, 238, 238)"
 421         linecolor: "rgb(238, 238, 238)"
 422         linewidth: 1
 423         showgrid: True
 424         showline: True
 425         showticklabels: True
 426         tickcolor: "rgb(238, 238, 238)"
 427         tickmode: "linear"
 428         tickangle: 270
 429         zeroline: False
 430       yaxis:
 431         title: "Throughput speedup factor"
 432         gridcolor: "rgb(238, 238, 238)"
 433         hoverformat: ".4s"
 434         linecolor: "rgb(238, 238, 238)"
 435         linewidth: 1
 436         range: []
 437         showgrid: True
 438         showline: True
 439         showticklabels: True
 440         tickcolor: "rgb(238, 238, 238)"
 441         zeroline: False
 442       legend:
 443         orientation: "h"
 444         xanchor: "center"
 445         yanchor: "top"
 446         x: 0.5
 447         y: 1
 448         bgcolor: "rgba(255, 255, 255, 0)"
 449         bordercolor: "rgba(255, 255, 255, 0)"
 450       barmode: "group"
 451       bargap: 0.15
 452       bargroupgap: 0.1
 453       autosize: False
 454       margin:
 455           't': 50
 456           'b': 200
 457           'l': 50
 458           'r': 20
 459       showlegend: True
 460       width: 700
 461       height: 1000
 462
 463 -
 464   type: "debug"
 465   general:
 466     input-format: "xml"  # zip or xml
 467     extract: "robot-plugin/output.xml"  # Only for zip
 468   builds:
 469     # The files must be in the directory DIR[WORKING,DATA]
 470     csit-vpp-perf-1801-all:
 471     -
 472       build: 1
 473       file: "{DIR[WORKING,DATA]}/output.xml"
 474     -
 475       build: 2
 476       file: "{DIR[WORKING,DATA]}/output.xml"
 477     -
 478       build: 3
 479       file: "{DIR[WORKING,DATA]}/output.xml"
 480     -
 481       build: 4
 482       file: "{DIR[WORKING,DATA]}/output.xml"
 483
 484 -
 485   type: "static"
 486   src-path: "{DIR[RST]}"
 487   dst-path: "{DIR[WORKING,SRC]}"
 488
 489 -
 490   type: "input"  # Ignored in debug mode
 491   general:
 492     file-name: "robot-plugin.zip"
 493     file-format: ".zip"
 494     download-path: "{job}/{build}/robot/report/*zip*/{filename}"
 495     extract: "robot-plugin/output.xml"
 496   builds:
 497 #    csit-vpp-perf-1707-all:
 498 #    - 9
 499 #    - 10
 500 #    - 13
 501 #    - 14
 502 #    - 15
 503 #    - 16
 504 #    - 17
 505 #    - 18
 506 #    - 19
 507 #    - 21
 508     csit-vpp-perf-1710-all:
 509     - 11
 510     - 12
 511     - 13
 512     - 14
 513     - 15
 514     - 16
 515     - 17
 516     - 18
 517     - 19
 518     - 20
 519 # TODO:
 520     csit-vpp-perf-1801-all:
 521     - 122  # full
 522     - 126  # full
 523     - 129  # full
 524     - 140  # full
 525     - 124  # sel
 526     - 127  # sel
 527     - 128  # sel
 528     - 141  # sel
 529     - 142  # sel
 530     - 143  # sel
 531     - 145  # sel
 532     - 146  # sel
 533     csit-ligato-perf-1710-all:
 534     - 5
 535     - 7
 536     - 8
 537     - 9
 538     - 10
 539     - 11
 540     - 12
 541     - 13
 542     - 16
 543     - 17
 544     csit-dpdk-perf-1801-all:
 545     - 1
 546     - 4
 547     - 5
 548     - 7
 549     - 8
 550     - 10
 551     - 12
 552     - 16
 553     - 17
 554 # TODO:
 555     csit-ligato-perf-1801-all:
 556     - 1
 557     - 3
 558     - 7
 559     csit-dpdk-perf-1801-all:
 560     - 1
 561     - 3
 562     - 4
 563     - 5
 564     - 6
 565     - 7
 566     - 8
 567     - 9
 568     - 10
 569     - 12
 570     csit-vpp-functional-1801-ubuntu1604-virl:
 571     - lastSuccessfulBuild
 572     csit-nsh_sfc-verify-func-1801-ubuntu1604-virl:
 573     - 1
 574     csit-hc2vpp-verify-func-1801-ubuntu1604:
 575     - lastSuccessfulBuild
 576
 577 -
 578   type: "output"
 579   format:
 580     html:
 581     - full
 582     pdf:
 583     - minimal
 584
 585 ################################################################################
 586 ###                               T A B L E S                                ###
 587 ################################################################################
 588
 589 #-
 590 #  type: "table"
 591 #  title: "Performance Impact of Meltdown Patches"
 592 #  algorithm: "table_performance_comparison"
 593 #  output-file-ext: ".csv"
 594 ## TODO: specify dir
 595 #  output-file: "{DIR[STATIC,VPP]}/meltdown-impact"
 596 #  reference:
 597 #    title: "No Meltdown"
 598 ## TODO: specify data sources
 599 #    data:
 600 #      csit-vpp-perf-1707-all:
 601 #      - 9
 602 #      - 10
 603 #      - 13
 604 #  compare:
 605 #    title: "Meltdown Patches Applied"
 606 ## TODO: specify data sources
 607 #    data:
 608 #      csit-vpp-perf-1710-all:
 609 #      - 11
 610 #      - 12
 611 #      - 13
 612 #  data:
 613 #    "vpp-meltdown-impact"
 614 #  filter: "all"
 615 #  parameters:
 616 #  - "name"
 617 #  - "parent"
 618 #  - "throughput"
 619 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
 620 #  # to present all tests.
 621 #  nr-of-tests-shown: 20
 622 #
 623 #-
 624 #  type: "table"
 625 #  title: "Performance Impact of Spectre Patches"
 626 #  algorithm: "table_performance_comparison"
 627 #  output-file-ext: ".csv"
 628 ## TODO: specify dir
 629 #  output-file: "{DIR[STATIC,VPP]}/meltdown-spectre-impact"
 630 #  reference:
 631 #    title: "No Spectre"
 632 ## TODO: specify data sources
 633 #    data:
 634 #      csit-vpp-perf-1707-all:
 635 #      - 9
 636 #      - 10
 637 #      - 13
 638 #  compare:
 639 #    title: "Spectre Patches Applied"
 640 ## TODO: specify data sources
 641 #    data:
 642 #      csit-vpp-perf-1710-all:
 643 #      - 11
 644 #      - 12
 645 #      - 13
 646 #  data:
 647 #    "vpp-spectre-impact"
 648 #  filter: "all"
 649 #  parameters:
 650 #  - "name"
 651 #  - "parent"
 652 #  - "throughput"
 653 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
 654 #  # to present all tests.
 655 #  nr-of-tests-shown: 20
 656
 657 -
 658   type: "table"
 659   title: "VPP Performance Changes"
 660   algorithm: "table_performance_comparison"
 661   output-file-ext: ".csv"
 662 # TODO: specify dir
 663   output-file: "{DIR[STATIC,VPP]}/performance-changes"
 664   reference:
 665     title: "Release 1710"
 666 # TODO: specify data sources
 667     data:
 668       csit-vpp-perf-1710-all:
 669       - 11
 670       - 12
 671       - 13
 672       - 14
 673       - 15
 674       - 16
 675       - 17
 676       - 18
 677       - 19
 678       - 20
 679   compare:
 680     title: "Release 1801"
 681 # TODO: specify data sources
 682     data:
 683       csit-vpp-perf-1801-all:
 684       - 124  # sel
 685       - 127  # sel
 686       - 128  # sel
 687       - 141  # sel
 688       - 142  # sel
 689       - 143  # sel
 690       - 145  # sel
 691       - 146  # sel
 692   data: "vpp-performance-changes"
 693   filter: "all"
 694   parameters:
 695   - "name"
 696   - "parent"
 697   - "throughput"
 698   # Number of the best and the worst tests presented in the table. Use 0 (zero)
 699   # to present all tests.
 700   nr-of-tests-shown: 20
 701   outlier-const: 1.5
 702
 703 #-
 704 #  type: "table"
 705 #  title: "Performance improvements"
 706 #  algorithm: "table_performance_improvements"
 707 #  template: "{DIR[DTR,PERF,VPP,IMPRV]}/tmpl_performance_improvements.csv"
 708 #  output-file-ext: ".csv"
 709 #  output-file: "{DIR[DTR,PERF,VPP,IMPRV]}/performance_improvements"
 710 #  columns:
 711 #  -
 712 #    title: "Test Name"
 713 #    data: "template 1"
 714 #  -
 715 #    title: "16.09 mean [Mpps]"
 716 #    data: "template 2"
 717 #  -
 718 #    title: "17.01 mean [Mpps]"
 719 #    data: "template 3"
 720 #  -
 721 #    title: "17.04 mean [Mpps]"
 722 #    data: "template 4"
 723 #  -
 724 #    title: "17.07 mean [Mpps]"
 725 #    data: "data csit-vpp-perf-1707-all mean"
 726 #  -
 727 #    title: "17.10 mean [Mpps]"
 728 #    data: "data csit-vpp-perf-1710-all csit-ligato-perf-1710-all mean"
 729 #  -
 730 #    title: "18.01 mean [Mpps]"
 731 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all mean"
 732 #  -
 733 #    title: "18.01 stdev [Mpps]"
 734 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all stdev"
 735 #  -
 736 #    title: "17.10 to 18.01 change [%]"
 737 #    data: "operation relative_change 5 6"
 738 #  rows: "generated"
 739 #  data:
 740 #    "performance-improvements"
 741 #  filter: "template"
 742 #  parameters:
 743 #  - "throughput"
 744
 745 -
 746   type: "table"
 747   title: "Detailed Test Results - VPP Performance Results"
 748   algorithm: "table_merged_details"
 749   output-file-ext: ".csv"
 750   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
 751   columns:
 752   -
 753     title: "Name"
 754     data: "data name"
 755   -
 756     title: "Documentation"
 757     data: "data doc"
 758   -
 759     title: "Status"
 760     data: "data msg"
 761   rows: "generated"
 762   data:
 763     "vpp-perf-results"
 764   filter: "not 'NDRCHK' and not 'PDRCHK'"
 765   parameters:
 766   - "name"
 767   - "parent"
 768   - "doc"
 769   - "msg"
 770
 771 -
 772   type: "table"
 773   title: "Test configuration - VPP Performance Test Configs"
 774   algorithm: "table_merged_details"
 775   output-file-ext: ".csv"
 776   output-file: "{DIR[DTC,PERF,VPP]}/vpp_test_configuration"
 777   columns:
 778   -
 779     title: "Name"
 780     data: "data name"
 781   -
 782     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
 783     data: "data vat-history"
 784   rows: "generated"
 785   data:
 786     "vpp-perf-results"
 787   filter: "not 'NDRCHK' and not 'PDRCHK'"
 788   parameters:
 789   - "parent"
 790   - "name"
 791   - "vat-history"
 792
 793 -
 794   type: "table"
 795   title: "Test Operational Data - VPP Performance Operational Data"
 796   algorithm: "table_merged_details"
 797   output-file-ext: ".csv"
 798   output-file: "{DIR[DTO,PERF,VPP]}/vpp_test_operational"
 799   columns:
 800   -
 801     title: "Name"
 802     data: "data name"
 803   -
 804     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
 805     data: "data show-run"
 806   rows: "generated"
 807   data:
 808     "vpp-perf-results"
 809   filter: "not 'NDRCHK' and not 'PDRCHK'"
 810   parameters:
 811   - "parent"
 812   - "name"
 813   - "show-run"
 814
 815 -
 816   type: "table"
 817   title: "Detailed Test Results - VPP Functional Results"
 818   algorithm: "table_details"
 819   output-file-ext: ".csv"
 820   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
 821   columns:
 822   -
 823     title: "Name"
 824     data: "data name"
 825   -
 826     title: "Documentation"
 827     data: "data doc"
 828   -
 829     title: "Status"
 830     data: "data status"
 831   rows: "generated"
 832   data:
 833     "vpp-func-results"
 834   filter: "all"
 835   parameters:
 836   - "name"
 837   - "parent"
 838   - "doc"
 839   - "status"
 840
 841 -
 842   type: "table"
 843   title: "Test configuration - VPP Functional Test Configs"
 844   algorithm: "table_details"
 845   output-file-ext: ".csv"
 846   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
 847   columns:
 848   -
 849     title: "Name"
 850     data: "data name"
 851   -
 852     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
 853     data: "data vat-history"
 854   rows: "generated"
 855   data:
 856     "vpp-func-results"
 857   filter: "all"
 858   parameters:
 859   - "parent"
 860   - "name"
 861   - "vat-history"
 862
 863 -
 864   type: "table"
 865   title: "Detailed Test Results - Container Orchestrated Topologies Performance Results"
 866   algorithm: "table_details"
 867   output-file-ext: ".csv"
 868   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
 869   columns:
 870   -
 871     title: "Name"
 872     data: "data name"
 873   -
 874     title: "Documentation"
 875     data: "data doc"
 876   -
 877     title: "Status"
 878     data: "data msg"
 879   rows: "generated"
 880   data:
 881     "ligato-perf-results"
 882   filter: "all"
 883   parameters:
 884   - "name"
 885   - "parent"
 886   - "doc"
 887   - "msg"
 888
 889 -
 890   type: "table"
 891   title: "Detailed Test Results - DPDK Performance Results"
 892   algorithm: "table_details"
 893   output-file-ext: ".csv"
 894   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
 895   columns:
 896   -
 897     title: "Name"
 898     data: "data name"
 899   -
 900     title: "Documentation"
 901     data: "data doc"
 902   -
 903     title: "Status"
 904     data: "data msg"
 905   rows: "generated"
 906   data:
 907     "dpdk-perf-results"
 908   filter: "all"
 909   parameters:
 910   - "name"
 911   - "parent"
 912   - "doc"
 913   - "msg"
 914
 915 -
 916   type: "table"
 917   title: "Detailed Test Results - Honeycomb Functional Results"
 918   algorithm: "table_details"
 919   output-file-ext: ".csv"
 920   output-file: "{DIR[DTR,FUNC,HC]}/hc_functional_results"
 921   columns:
 922   -
 923     title: "Name"
 924     data: "data name"
 925   -
 926     title: "Documentation"
 927     data: "data doc"
 928   -
 929     title: "Status"
 930     data: "data status"
 931   rows: "generated"
 932   data:
 933     "hc-func-results"
 934   filter: "all"
 935   parameters:
 936   - "name"
 937   - "parent"
 938   - "doc"
 939   - "status"
 940
 941 -
 942   type: "table"
 943   title: "Detailed Test Results - NSH SFC Functional Results"
 944   algorithm: "table_details"
 945   output-file-ext: ".csv"
 946   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nsh_sfc_functional_results"
 947   columns:
 948   -
 949     title: "Name"
 950     data: "data name"
 951   -
 952     title: "Documentation"
 953     data: "data doc"
 954   -
 955     title: "Status"
 956     data: "data status"
 957   rows: "generated"
 958   data:
 959     "nsh-func-results"
 960   filter: "all"
 961   parameters:
 962   - "name"
 963   - "parent"
 964   - "doc"
 965   - "status"
 966
 967 ################################################################################
 968 ###                                F I L E S                                 ###
 969 ################################################################################
 970
 971 -
 972   type: "file"
 973   title: "VPP Performance Results"
 974   algorithm: "file_merged_test_results"
 975   output-file-ext: ".rst"
 976   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
 977   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
 978   dir-tables: "{DIR[DTR,PERF,VPP]}"
 979   data:
 980     "vpp-perf-results"
 981   filter: "not 'NDRCHK' and not 'PDRCHK'"
 982   parameters:
 983   - "name"
 984   - "doc"
 985   - "level"
 986   - "parent"
 987   data-start-level: 3  # 0, 1, 2, ...
 988   chapters-start-level: 2  # 0, 1, 2, ...
 989
 990 -
 991   type: "file"
 992   title: "VPP Performance Configuration"
 993   algorithm: "file_merged_test_results"
 994   output-file-ext: ".rst"
 995   output-file: "{DIR[DTC,PERF,VPP]}/vpp_performance_configuration"
 996   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
 997   dir-tables: "{DIR[DTC,PERF,VPP]}"
 998   data:
 999     "vpp-perf-results"
1000   filter: "not 'NDRCHK' and not 'PDRCHK'"
1001   parameters:
1002   - "name"
1003   - "doc"
1004   - "level"
1005   - "parent"
1006   data-start-level: 3  # 0, 1, 2, ...
1007   chapters-start-level: 2  # 0, 1, 2, ...
1008
1009 -
1010   type: "file"
1011   title: "VPP Performance Operational Data"
1012   algorithm: "file_merged_test_results"
1013   output-file-ext: ".rst"
1014   output-file: "{DIR[DTO,PERF,VPP]}/vpp_performance_operational_data"
1015   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1016   dir-tables: "{DIR[DTO,PERF,VPP]}"
1017   data:
1018     "vpp-perf-results"
1019   filter: "not 'NDRCHK' and not 'PDRCHK'"
1020   parameters:
1021   - "name"
1022   - "doc"
1023   - "level"
1024   - "parent"
1025   data-start-level: 3  # 0, 1, 2, ...
1026   chapters-start-level: 2  # 0, 1, 2, ...
1027
1028 -
1029   type: "file"
1030   title: "VPP Functional Results"
1031   algorithm: "file_test_results"
1032   output-file-ext: ".rst"
1033   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
1034   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1035   dir-tables: "{DIR[DTR,FUNC,VPP]}"
1036   data:
1037     "vpp-func-results"
1038   filter: "all"
1039   parameters:
1040   - "name"
1041   - "doc"
1042   - "level"
1043   data-start-level: 3  # 0, 1, 2, ...
1044   chapters-start-level: 2  # 0, 1, 2, ...
1045
1046 -
1047   type: "file"
1048   title: "VPP Functional Configuration"
1049   algorithm: "file_test_results"
1050   output-file-ext: ".rst"
1051   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
1052   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1053   dir-tables: "{DIR[DTC,FUNC,VPP]}"
1054   data:
1055     "vpp-func-results"
1056   filter: "all"
1057   parameters:
1058   - "name"
1059   - "doc"
1060   - "level"
1061   data-start-level: 3  # 0, 1, 2, ...
1062   chapters-start-level: 2  # 0, 1, 2, ...
1063
1064 -
1065   type: "file"
1066   title: "Container Orchestrated Performance Results"
1067   algorithm: "file_test_results"
1068   output-file-ext: ".rst"
1069   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
1070   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1071   dir-tables: "{DIR[DTR,PERF,COT]}"
1072   data:
1073     "ligato-perf-results"
1074   filter: "all"
1075   parameters:
1076   - "name"
1077   - "doc"
1078   - "level"
1079   data-start-level: 2  # 0, 1, 2, ...
1080   chapters-start-level: 2  # 0, 1, 2, ...
1081
1082 -
1083   type: "file"
1084   title: "DPDK Performance Results"
1085   algorithm: "file_test_results"
1086   output-file-ext: ".rst"
1087   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
1088   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1089   dir-tables: "{DIR[DTR,PERF,DPDK]}"
1090   data:
1091     "dpdk-perf-results"
1092   filter: "all"
1093   parameters:
1094   - "name"
1095   - "doc"
1096   - "level"
1097   chapters:
1098   - "suites"
1099   data-start-level: 2  # 0, 1, 2, ...
1100   chapters-start-level: 2  # 0, 1, 2, ...
1101
1102 -
1103   type: "file"
1104   title: "Honeycomb Functional Results"
1105   algorithm: "file_test_results"
1106   output-file-ext: ".rst"
1107   output-file: "{DIR[DTR,FUNC,HC]}/honeycomb_functional_results"
1108   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1109   dir-tables: "{DIR[DTR,FUNC,HC]}"
1110   data:
1111     "hc-func-results"
1112   filter: "all"
1113   parameters:
1114   - "name"
1115   - "doc"
1116   - "level"
1117   chapters:
1118   - "suites"
1119   data-start-level: 3  # 0, 1, 2, ...
1120   chapters-start-level: 2  # 0, 1, 2, ...
1121
1122 -
1123   type: "file"
1124   title: "NSH SFC Functional Results"
1125   algorithm: "file_test_results"
1126   output-file-ext: ".rst"
1127   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nshsfc_functional_results"
1128   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1129   dir-tables: "{DIR[DTR,FUNC,NSHSFC]}"
1130   data:
1131     "nsh-func-results"
1132   filter: "all"
1133   parameters:
1134   - "name"
1135   - "doc"
1136   - "level"
1137   chapters:
1138   - "suites"
1139   data-start-level: 2  # 0, 1, 2, ...
1140   chapters-start-level: 2  # 0, 1, 2, ...
1141
1142 ################################################################################
1143 ###                                P L O T S                                 ###
1144 ################################################################################
1145
1146 # Plots VPP HTTP Server Performance
1147 #-
1148 #  type: "plot"
1149 #  title: "VPP HTTP Server Performance"
1150 #  algorithm: "plot_http_server_performance_box"
1151 #  output-file-type: ".html"
1152 #  output-file: "{DIR[STATIC,VPP]}/http-server-performance-cps"
1153 #  data:
1154 #    "plot-vpp-http-server-performance"
1155 #  # Keep this formatting, the filter is enclosed with " (quotation mark) and
1156 #  # each tag is enclosed with ' (apostrophe).
1157 #  filter: "'HTTP' and 'TCP_CPS'"
1158 #  parameters:
1159 #  - "result"
1160 #  - "name"
1161 #  traces:
1162 #    hoverinfo: "x+y"
1163 #    boxpoints: "outliers"
1164 #    whiskerwidth: 0
1165 #  layout:
1166 #    title: "VPP HTTP Server Performance"
1167 #    layout:
1168 #      "plot-cps"
1169 #
1170 #-
1171 #  type: "plot"
1172 #  title: "VPP HTTP Server Performance"
1173 #  algorithm: "plot_http_server_performance_box"
1174 #  output-file-type: ".html"
1175 #  output-file: "{DIR[STATIC,VPP]}/http-server-performance-rps"
1176 #  data:
1177 #    "plot-vpp-http-server-performance"
1178 #  filter: "'HTTP' and 'TCP_RPS'"
1179 #  parameters:
1180 #  - "result"
1181 #  - "name"
1182 #  traces:
1183 #    hoverinfo: "x+y"
1184 #    boxpoints: "outliers"
1185 #    whiskerwidth: 0
1186 #  layout:
1187 #    title: "VPP HTTP Server Performance"
1188 #    layout:
1189 #      "plot-rps"
1190
1191 # Plot Throughput Speedup Analysis
1192
1193 # L2 - 10ge2p1x520 - NDR
1194 -
1195   type: "plot"
1196   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1197   algorithm: "plot_throughput_speedup_analysis"
1198   output-file-type: ".html"
1199   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-ndrdisc"
1200   data:
1201     "plot-throughput-speedup-analysis"
1202   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1203   parameters:
1204   - "throughput"
1205   - "parent"
1206   - "tags"
1207   layout:
1208     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1209     layout:
1210       "plot-throughput-speedup-analysis"
1211
1212 # L2 - 40ge2p1xl710 - NDR
1213 -
1214   type: "plot"
1215   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1216   algorithm: "plot_throughput_speedup_analysis"
1217   output-file-type: ".html"
1218   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-l2-tsa-ndrdisc"
1219   data:
1220     "plot-throughput-speedup-analysis"
1221   filter: "'NIC_Intel-XL710' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1222   parameters:
1223   - "throughput"
1224   - "parent"
1225   - "tags"
1226   layout:
1227     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1228     layout:
1229       "plot-throughput-speedup-analysis"
1230
1231 # L2 - 10ge2p1x520 - PDR
1232 -
1233   type: "plot"
1234   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1235   algorithm: "plot_throughput_speedup_analysis"
1236   output-file-type: ".html"
1237   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-pdrdisc"
1238   data:
1239     "plot-throughput-speedup-analysis"
1240   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1241   parameters:
1242   - "throughput"
1243   - "parent"
1244   - "tags"
1245   layout:
1246     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1247     layout:
1248       "plot-throughput-speedup-analysis"
1249
1250 # IPv4 - 10ge2p1x520 - NDR
1251 -
1252   type: "plot"
1253   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1254   algorithm: "plot_throughput_speedup_analysis"
1255   output-file-type: ".html"
1256   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-ndrdisc"
1257   data:
1258     "plot-throughput-speedup-analysis"
1259   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1260   parameters:
1261   - "throughput"
1262   - "parent"
1263   - "tags"
1264   layout:
1265     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1266     layout:
1267       "plot-throughput-speedup-analysis"
1268
1269 # IPv4 - 40ge2p1xl710 - NDR
1270 -
1271   type: "plot"
1272   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1273   algorithm: "plot_throughput_speedup_analysis"
1274   output-file-type: ".html"
1275   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-ip4-tsa-ndrdisc"
1276   data:
1277     "plot-throughput-speedup-analysis"
1278   filter: "'NIC_Intel-XL710' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1279   parameters:
1280   - "throughput"
1281   - "parent"
1282   - "tags"
1283   layout:
1284     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1285     layout:
1286       "plot-throughput-speedup-analysis"
1287
1288 # IPv4 - 10ge2p1x520 - PDR
1289 -
1290   type: "plot"
1291   title: "TSA: 64B-*-ethip4-ip4(base|scale)*pdrdisc"
1292   algorithm: "plot_throughput_speedup_analysis"
1293   output-file-type: ".html"
1294   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-pdrdisc"
1295   data:
1296     "plot-throughput-speedup-analysis"
1297   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1298   parameters:
1299   - "throughput"
1300   - "parent"
1301   - "tags"
1302   layout:
1303     title: "64B-*-ethip4-ip4(base|scale)*pdrdisc"
1304     layout:
1305       "plot-throughput-speedup-analysis"
1306
1307 # IPv6 - 10ge2p1x520 - NDR
1308 -
1309   type: "plot"
1310   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1311   algorithm: "plot_throughput_speedup_analysis"
1312   output-file-type: ".html"
1313   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-ndrdisc"
1314   data:
1315     "plot-throughput-speedup-analysis"
1316   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1317   parameters:
1318   - "throughput"
1319   - "parent"
1320   - "tags"
1321   layout:
1322     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1323     layout:
1324       "plot-throughput-speedup-analysis"
1325
1326 # IPv6 - 40ge2p1xl710 - NDR
1327 -
1328   type: "plot"
1329   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1330   algorithm: "plot_throughput_speedup_analysis"
1331   output-file-type: ".html"
1332   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-78B-ip6-tsa-ndrdisc"
1333   data:
1334     "plot-throughput-speedup-analysis"
1335   filter: "'NIC_Intel-XL710' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1336   parameters:
1337   - "throughput"
1338   - "parent"
1339   - "tags"
1340   layout:
1341     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1342     layout:
1343       "plot-throughput-speedup-analysis"
1344
1345 # IPv6 - 10ge2p1x520 - PDR
1346 -
1347   type: "plot"
1348   title: "TSA: 78B-*-ethip6-ip6(base|scale)*pdrdisc"
1349   algorithm: "plot_throughput_speedup_analysis"
1350   output-file-type: ".html"
1351   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-pdrdisc"
1352   data:
1353     "plot-throughput-speedup-analysis"
1354   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST'"
1355   parameters:
1356   - "throughput"
1357   - "parent"
1358   - "tags"
1359   layout:
1360     title: "78B-*-ethip6-ip6(base|scale)*pdrdisc"
1361     layout:
1362       "plot-throughput-speedup-analysis"
1363
1364 # Plot packets per second
1365
1366 # VPP L2 sel1
1367 -
1368   type: "plot"
1369   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1370   algorithm: "plot_performance_box"
1371   output-file-type: ".html"
1372   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc"
1373   data:
1374     "plot-vpp-throughput-latency"
1375   # Keep this formatting, the filter is enclosed with " (quotation mark) and
1376   # each tag is enclosed with ' (apostrophe).
1377   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1378   parameters:
1379   - "throughput"
1380   - "parent"
1381   traces:
1382     hoverinfo: "x+y"
1383     boxpoints: "outliers"
1384     whiskerwidth: 0
1385   layout:
1386     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1387     layout:
1388       "plot-throughput"
1389
1390 -
1391   type: "plot"
1392   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1393   algorithm: "plot_performance_box"
1394   output-file-type: ".html"
1395   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc"
1396   data:
1397     "plot-vpp-throughput-latency"
1398   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1399   parameters:
1400   - "throughput"
1401   - "parent"
1402   traces:
1403     hoverinfo: "x+y"
1404     boxpoints: "outliers"
1405     whiskerwidth: 0
1406   layout:
1407     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1408     layout:
1409       "plot-throughput"
1410
1411 -
1412   type: "plot"
1413   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1414   algorithm: "plot_performance_box"
1415   output-file-type: ".html"
1416   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-pdrdisc"
1417   data:
1418     "plot-vpp-throughput-latency"
1419   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1420   parameters:
1421   - "throughput"
1422   - "parent"
1423   traces:
1424     hoverinfo: "x+y"
1425     boxpoints: "outliers"
1426     whiskerwidth: 0
1427   layout:
1428     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1429     layout:
1430       "plot-throughput"
1431
1432 -
1433   type: "plot"
1434   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1435   algorithm: "plot_performance_box"
1436   output-file-type: ".html"
1437   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-pdrdisc"
1438   data:
1439     "plot-vpp-throughput-latency"
1440   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1441   parameters:
1442   - "throughput"
1443   - "parent"
1444   traces:
1445     hoverinfo: "x+y"
1446     boxpoints: "outliers"
1447     whiskerwidth: 0
1448   layout:
1449     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1450     layout:
1451       "plot-throughput"
1452
1453 # VPP L2 sel2
1454 -
1455   type: "plot"
1456   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1457   algorithm: "plot_performance_box"
1458   output-file-type: ".html"
1459   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc"
1460   data:
1461     "plot-vpp-throughput-latency"
1462   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1463   parameters:
1464   - "throughput"
1465   - "parent"
1466   traces:
1467     hoverinfo: "x+y"
1468     boxpoints: "outliers"
1469     whiskerwidth: 0
1470   layout:
1471     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1472     layout:
1473       "plot-throughput"
1474
1475 -
1476   type: "plot"
1477   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1478   algorithm: "plot_performance_box"
1479   output-file-type: ".html"
1480   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc"
1481   data:
1482     "plot-vpp-throughput-latency"
1483   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1484   parameters:
1485   - "throughput"
1486   - "parent"
1487   traces:
1488     hoverinfo: "x+y"
1489     boxpoints: "outliers"
1490     whiskerwidth: 0
1491   layout:
1492     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1493     layout:
1494       "plot-throughput"
1495
1496 -
1497   type: "plot"
1498   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1499   algorithm: "plot_performance_box"
1500   output-file-type: ".html"
1501   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-pdrdisc"
1502   data:
1503     "plot-vpp-throughput-latency"
1504   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1505   parameters:
1506   - "throughput"
1507   - "parent"
1508   traces:
1509     hoverinfo: "x+y"
1510     boxpoints: "outliers"
1511     whiskerwidth: 0
1512   layout:
1513     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1514     layout:
1515       "plot-throughput"
1516
1517 -
1518   type: "plot"
1519   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1520   algorithm: "plot_performance_box"
1521   output-file-type: ".html"
1522   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-pdrdisc"
1523   data:
1524     "plot-vpp-throughput-latency"
1525   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1526   parameters:
1527   - "throughput"
1528   - "parent"
1529   traces:
1530     hoverinfo: "x+y"
1531     boxpoints: "outliers"
1532     whiskerwidth: 0
1533   layout:
1534     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1535     layout:
1536       "plot-throughput"
1537
1538 # VPP IP4
1539 -
1540   type: "plot"
1541   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1542   algorithm: "plot_performance_box"
1543   output-file-type: ".html"
1544   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc"
1545   data:
1546     "plot-vpp-throughput-latency"
1547   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1548   parameters:
1549   - "throughput"
1550   - "parent"
1551   traces:
1552     hoverinfo: "x+y"
1553     boxpoints: "outliers"
1554     whiskerwidth: 0
1555   layout:
1556     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1557     layout:
1558       "plot-throughput"
1559
1560 -
1561   type: "plot"
1562   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1563   algorithm: "plot_performance_box"
1564   output-file-type: ".html"
1565   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc"
1566   data:
1567     "plot-vpp-throughput-latency"
1568   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1569   parameters:
1570   - "throughput"
1571   - "parent"
1572   traces:
1573     hoverinfo: "x+y"
1574     boxpoints: "outliers"
1575     whiskerwidth: 0
1576   layout:
1577     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1578     layout:
1579       "plot-throughput"
1580
1581 -
1582   type: "plot"
1583   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1584   algorithm: "plot_performance_box"
1585   output-file-type: ".html"
1586   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-pdrdisc"
1587   data:
1588     "plot-vpp-throughput-latency"
1589   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1590   parameters:
1591   - "throughput"
1592   - "parent"
1593   traces:
1594     hoverinfo: "x+y"
1595     boxpoints: "outliers"
1596     whiskerwidth: 0
1597   layout:
1598     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1599     layout:
1600       "plot-throughput"
1601
1602 -
1603   type: "plot"
1604   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1605   algorithm: "plot_performance_box"
1606   output-file-type: ".html"
1607   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-pdrdisc"
1608   data:
1609     "plot-vpp-throughput-latency"
1610   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1611   parameters:
1612   - "throughput"
1613   - "parent"
1614   traces:
1615     hoverinfo: "x+y"
1616     boxpoints: "outliers"
1617     whiskerwidth: 0
1618   layout:
1619     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1620     layout:
1621       "plot-throughput"
1622
1623 # VPP IP6
1624 -
1625   type: "plot"
1626   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1627   algorithm: "plot_performance_box"
1628   output-file-type: ".html"
1629   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc"
1630   data:
1631     "plot-vpp-throughput-latency"
1632   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1633   parameters:
1634   - "throughput"
1635   - "parent"
1636   traces:
1637     hoverinfo: "x+y"
1638     boxpoints: "outliers"
1639     whiskerwidth: 0
1640   layout:
1641     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1642     layout:
1643       "plot-throughput"
1644
1645 -
1646   type: "plot"
1647   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1648   algorithm: "plot_performance_box"
1649   output-file-type: ".html"
1650   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc"
1651   data:
1652     "plot-vpp-throughput-latency"
1653   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1654   parameters:
1655   - "throughput"
1656   - "parent"
1657   traces:
1658     hoverinfo: "x+y"
1659     boxpoints: "outliers"
1660     whiskerwidth: 0
1661   layout:
1662     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1663     layout:
1664       "plot-throughput"
1665
1666 -
1667   type: "plot"
1668   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1669   algorithm: "plot_performance_box"
1670   output-file-type: ".html"
1671   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-pdrdisc"
1672   data:
1673     "plot-vpp-throughput-latency"
1674   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1675   parameters:
1676   - "throughput"
1677   - "parent"
1678   traces:
1679     hoverinfo: "x+y"
1680     boxpoints: "outliers"
1681     whiskerwidth: 0
1682   layout:
1683     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1684     layout:
1685       "plot-throughput"
1686
1687 -
1688   type: "plot"
1689   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1690   algorithm: "plot_performance_box"
1691   output-file-type: ".html"
1692   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-pdrdisc"
1693   data:
1694     "plot-vpp-throughput-latency"
1695   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1696   parameters:
1697   - "throughput"
1698   - "parent"
1699   traces:
1700     hoverinfo: "x+y"
1701     boxpoints: "outliers"
1702     whiskerwidth: 0
1703   layout:
1704     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1705     layout:
1706       "plot-throughput"
1707
1708 # VPP IP4_overlay
1709 -
1710   type: "plot"
1711   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1712   algorithm: "plot_performance_box"
1713   output-file-type: ".html"
1714   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc"
1715   data:
1716     "plot-vpp-throughput-latency"
1717   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1718   parameters:
1719   - "throughput"
1720   - "parent"
1721   traces:
1722     hoverinfo: "x+y"
1723     boxpoints: "outliers"
1724     whiskerwidth: 0
1725   layout:
1726     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1727     layout:
1728       "plot-throughput"
1729
1730 -
1731   type: "plot"
1732   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1733   algorithm: "plot_performance_box"
1734   output-file-type: ".html"
1735   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc"
1736   data:
1737     "plot-vpp-throughput-latency"
1738   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1739   parameters:
1740   - "throughput"
1741   - "parent"
1742   traces:
1743     hoverinfo: "x+y"
1744     boxpoints: "outliers"
1745     whiskerwidth: 0
1746   layout:
1747     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1748     layout:
1749       "plot-throughput"
1750
1751 -
1752   type: "plot"
1753   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1754   algorithm: "plot_performance_box"
1755   output-file-type: ".html"
1756   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-pdrdisc"
1757   data:
1758     "plot-vpp-throughput-latency"
1759   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1760   parameters:
1761   - "throughput"
1762   - "parent"
1763   traces:
1764     hoverinfo: "x+y"
1765     boxpoints: "outliers"
1766     whiskerwidth: 0
1767   layout:
1768     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1769     layout:
1770       "plot-throughput"
1771
1772 -
1773   type: "plot"
1774   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1775   algorithm: "plot_performance_box"
1776   output-file-type: ".html"
1777   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-pdrdisc"
1778   data:
1779     "plot-vpp-throughput-latency"
1780   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1781   parameters:
1782   - "throughput"
1783   - "parent"
1784   traces:
1785     hoverinfo: "x+y"
1786     boxpoints: "outliers"
1787     whiskerwidth: 0
1788   layout:
1789     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1790     layout:
1791       "plot-throughput"
1792
1793 # VPP IP6_overlay
1794 -
1795   type: "plot"
1796   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1797   algorithm: "plot_performance_box"
1798   output-file-type: ".html"
1799   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc"
1800   data:
1801     "plot-vpp-throughput-latency"
1802   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1803   parameters:
1804   - "throughput"
1805   - "parent"
1806   traces:
1807     hoverinfo: "x+y"
1808     boxpoints: "outliers"
1809     whiskerwidth: 0
1810   layout:
1811     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1812     xaxis:
1813       autorange: True
1814       autotick: False
1815       fixedrange: False
1816       gridcolor: "rgb(238, 238, 238)"
1817       linecolor: "rgb(238, 238, 238)"
1818       linewidth: 1
1819       showgrid: True
1820       showline: True
1821       showticklabels: True
1822       tickcolor: "rgb(238, 238, 238)"
1823       tickmode: "linear"
1824       title: "Indexed Test Cases"
1825       zeroline: False
1826     yaxis:
1827       gridcolor: "rgb(238, 238, 238)'"
1828       hoverformat: ".4s"
1829       linecolor: "rgb(238, 238, 238)"
1830       linewidth: 1
1831       range: [2000000, 6000000]
1832       showgrid: True
1833       showline: True
1834       showticklabels: True
1835       tickcolor: "rgb(238, 238, 238)"
1836       title: "Packets Per Second [pps]"
1837       zeroline: False
1838     boxmode: "group"
1839     boxgroupgap: 0.5
1840     autosize: False
1841     margin:
1842       t: 50
1843       b: 20
1844       l: 50
1845       r: 20
1846     showlegend: True
1847     legend:
1848       orientation: "h"
1849     width: 700
1850     height: 1000
1851
1852 -
1853   type: "plot"
1854   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1855   algorithm: "plot_performance_box"
1856   output-file-type: ".html"
1857   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc"
1858   data:
1859     "plot-vpp-throughput-latency"
1860   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1861   parameters:
1862   - "throughput"
1863   - "parent"
1864   traces:
1865     hoverinfo: "x+y"
1866     boxpoints: "outliers"
1867     whiskerwidth: 0
1868   layout:
1869     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1870     layout:
1871       "plot-throughput"
1872
1873 -
1874   type: "plot"
1875   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1876   algorithm: "plot_performance_box"
1877   output-file-type: ".html"
1878   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-pdrdisc"
1879   data:
1880     "plot-vpp-throughput-latency"
1881   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1882   parameters:
1883   - "throughput"
1884   - "parent"
1885   traces:
1886     hoverinfo: "x+y"
1887     boxpoints: "outliers"
1888     whiskerwidth: 0
1889   layout:
1890     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1891     layout:
1892       "plot-throughput"
1893
1894 -
1895   type: "plot"
1896   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1897   algorithm: "plot_performance_box"
1898   output-file-type: ".html"
1899   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-pdrdisc"
1900   data:
1901     "plot-vpp-throughput-latency"
1902   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1903   parameters:
1904   - "throughput"
1905   - "parent"
1906   traces:
1907     hoverinfo: "x+y"
1908     boxpoints: "outliers"
1909     whiskerwidth: 0
1910   layout:
1911     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1912     xaxis:
1913       autorange: True
1914       autotick: False
1915       fixedrange: False
1916       gridcolor: "rgb(238, 238, 238)"
1917       linecolor: "rgb(238, 238, 238)"
1918       linewidth: 1
1919       showgrid: True
1920       showline: True
1921       showticklabels: True
1922       tickcolor: "rgb(238, 238, 238)"
1923       tickmode: "linear"
1924       title: "Indexed Test Cases"
1925       zeroline: False
1926     yaxis:
1927       gridcolor: "rgb(238, 238, 238)'"
1928       hoverformat: ".4s"
1929       linecolor: "rgb(238, 238, 238)"
1930       linewidth: 1
1931       range: [4000000, 12000000]
1932       showgrid: True
1933       showline: True
1934       showticklabels: True
1935       tickcolor: "rgb(238, 238, 238)"
1936       title: "Packets Per Second [pps]"
1937       zeroline: False
1938     boxmode: "group"
1939     boxgroupgap: 0.5
1940     autosize: False
1941     margin:
1942       t: 50
1943       b: 20
1944       l: 50
1945       r: 20
1946     showlegend: True
1947     legend:
1948       orientation: "h"
1949     width: 700
1950     height: 1000
1951
1952 # VPP VM VHOST
1953 -
1954   type: "plot"
1955   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
1956   algorithm: "plot_performance_box"
1957   output-file-type: ".html"
1958   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc"
1959   data:
1960     "plot-vpp-throughput-latency"
1961   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
1962   parameters:
1963   - "throughput"
1964   - "parent"
1965   traces:
1966     hoverinfo: "x+y"
1967     boxpoints: "outliers"
1968     whiskerwidth: 0
1969   layout:
1970     title: "64B-1t1c-.*vhost.*-ndrdisc"
1971     xaxis:
1972       autorange: True
1973       autotick: False
1974       fixedrange: False
1975       gridcolor: "rgb(238, 238, 238)"
1976       linecolor: "rgb(238, 238, 238)"
1977       linewidth: 1
1978       showgrid: True
1979       showline: True
1980       showticklabels: True
1981       tickcolor: "rgb(238, 238, 238)"
1982       tickmode: "linear"
1983       title: "Indexed Test Cases"
1984       zeroline: False
1985     yaxis:
1986       gridcolor: "rgb(238, 238, 238)'"
1987       hoverformat: ".4s"
1988       linecolor: "rgb(238, 238, 238)"
1989       linewidth: 1
1990       range: [0, 3500000]
1991       showgrid: True
1992       showline: True
1993       showticklabels: True
1994       tickcolor: "rgb(238, 238, 238)"
1995       title: "Packets Per Second [pps]"
1996       zeroline: False
1997     boxmode: "group"
1998     boxgroupgap: 0.5
1999     autosize: False
2000     margin:
2001       t: 50
2002       b: 20
2003       l: 50
2004       r: 20
2005     showlegend: True
2006     legend:
2007       orientation: "h"
2008     width: 700
2009     height: 1000
2010
2011 -
2012   type: "plot"
2013   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2014   algorithm: "plot_performance_box"
2015   output-file-type: ".html"
2016   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc"
2017   data:
2018     "plot-vpp-throughput-latency"
2019   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2020   parameters:
2021   - "throughput"
2022   - "parent"
2023   traces:
2024     hoverinfo: "x+y"
2025     boxpoints: "outliers"
2026     whiskerwidth: 0
2027   layout:
2028     title: "64B-2t2c-.*vhost.*-ndrdisc"
2029     layout:
2030       "plot-throughput"
2031
2032 -
2033   type: "plot"
2034   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2035   algorithm: "plot_performance_box"
2036   output-file-type: ".html"
2037   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-pdrdisc"
2038   data:
2039     "plot-vpp-throughput-latency"
2040   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2041   parameters:
2042   - "throughput"
2043   - "parent"
2044   traces:
2045     hoverinfo: "x+y"
2046     boxpoints: "outliers"
2047     whiskerwidth: 0
2048   layout:
2049     title: "64B-1t1c-.*vhost.*-pdrdisc"
2050     layout:
2051       "plot-throughput"
2052
2053 -
2054   type: "plot"
2055   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2056   algorithm: "plot_performance_box"
2057   output-file-type: ".html"
2058   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-pdrdisc"
2059   data:
2060     "plot-vpp-throughput-latency"
2061   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2062   parameters:
2063   - "throughput"
2064   - "parent"
2065   traces:
2066     hoverinfo: "x+y"
2067     boxpoints: "outliers"
2068     whiskerwidth: 0
2069   layout:
2070     title: "64B-2t2c-.*vhost.*-pdrdisc"
2071     layout:
2072       "plot-throughput"
2073
2074 # VPP VM VHOST SELECTION
2075 -
2076   type: "plot"
2077   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2078   algorithm: "plot_performance_box"
2079   output-file-type: ".html"
2080   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc"
2081   data:
2082     "plot-vpp-throughput-latency"
2083   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2084   parameters:
2085   - "throughput"
2086   - "parent"
2087   traces:
2088     hoverinfo: "x+y"
2089     boxpoints: "outliers"
2090     whiskerwidth: 0
2091   layout:
2092     title: "64B-1t1c-.*vhost.*-ndrdisc"
2093     layout:
2094       "plot-throughput"
2095
2096 -
2097   type: "plot"
2098   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2099   algorithm: "plot_performance_box"
2100   output-file-type: ".html"
2101   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc"
2102   data:
2103     "plot-vpp-throughput-latency"
2104   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2105   parameters:
2106   - "throughput"
2107   - "parent"
2108   traces:
2109     hoverinfo: "x+y"
2110     boxpoints: "outliers"
2111     whiskerwidth: 0
2112   layout:
2113     title: "64B-2t2c-.*vhost.*-ndrdisc"
2114     layout:
2115       "plot-throughput"
2116
2117 -
2118   type: "plot"
2119   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2120   algorithm: "plot_performance_box"
2121   output-file-type: ".html"
2122   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-pdrdisc"
2123   data:
2124     "plot-vpp-throughput-latency"
2125   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2126   parameters:
2127   - "throughput"
2128   - "parent"
2129   traces:
2130     hoverinfo: "x+y"
2131     boxpoints: "outliers"
2132     whiskerwidth: 0
2133   layout:
2134     title: "64B-1t1c-.*vhost.*-pdrdisc"
2135     layout:
2136       "plot-throughput"
2137
2138 -
2139   type: "plot"
2140   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2141   algorithm: "plot_performance_box"
2142   output-file-type: ".html"
2143   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-pdrdisc"
2144   data:
2145     "plot-vpp-throughput-latency"
2146   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2147   parameters:
2148   - "throughput"
2149   - "parent"
2150   traces:
2151     hoverinfo: "x+y"
2152     boxpoints: "outliers"
2153     whiskerwidth: 0
2154   layout:
2155     title: "64B-2t2c-.*vhost.*-pdrdisc"
2156     layout:
2157       "plot-throughput"
2158
2159 # VPP CRYPTO
2160 -
2161   type: "plot"
2162   title: "VPP Performance 64B-1t1c-.*ipsec.*-ndrdisc"
2163   algorithm: "plot_performance_box"
2164   output-file-type: ".html"
2165   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc"
2166   data:
2167     "plot-vpp-throughput-latency"
2168   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2169   parameters:
2170   - "throughput"
2171   - "parent"
2172   traces:
2173     hoverinfo: "x+y"
2174     boxpoints: "outliers"
2175     whiskerwidth: 0
2176   layout:
2177     title: "64B-1t1c-.*ipsec.*-ndrdisc"
2178     layout:
2179       "plot-throughput"
2180
2181 -
2182   type: "plot"
2183   title: "VPP Performance 64B-2t2c-.*ipsec.*-ndrdisc"
2184   algorithm: "plot_performance_box"
2185   output-file-type: ".html"
2186   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc"
2187   data:
2188     "plot-vpp-throughput-latency"
2189   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2190   parameters:
2191   - "throughput"
2192   - "parent"
2193   traces:
2194     hoverinfo: "x+y"
2195     boxpoints: "outliers"
2196     whiskerwidth: 0
2197   layout:
2198     title: "64B-2t2c-.*ipsec.*-ndrdisc"
2199     layout:
2200       "plot-throughput"
2201
2202 -
2203   type: "plot"
2204   title: "VPP Performance 64B-1t1c-.*ipsec.*-pdrdisc"
2205   algorithm: "plot_performance_box"
2206   output-file-type: ".html"
2207   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-pdrdisc"
2208   data:
2209     "plot-vpp-throughput-latency"
2210   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2211   parameters:
2212   - "throughput"
2213   - "parent"
2214   traces:
2215     hoverinfo: "x+y"
2216     boxpoints: "outliers"
2217     whiskerwidth: 0
2218   layout:
2219     title: "64B-1t1c-.*ipsec.*-pdrdisc"
2220     layout:
2221       "plot-throughput"
2222
2223 -
2224   type: "plot"
2225   title: "VPP Performance 64B-2t2c-.*ipsec.*-pdrdisc"
2226   algorithm: "plot_performance_box"
2227   output-file-type: ".html"
2228   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-pdrdisc"
2229   data:
2230     "plot-vpp-throughput-latency"
2231   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2232   parameters:
2233   - "throughput"
2234   - "parent"
2235   traces:
2236     hoverinfo: "x+y"
2237     boxpoints: "outliers"
2238     whiskerwidth: 0
2239   layout:
2240     title: "64B-2t2c-.*ipsec.*-pdrdisc"
2241     layout:
2242       "plot-throughput"
2243
2244 # DPDK
2245 -
2246   type: "plot"
2247   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2248   algorithm: "plot_performance_box"
2249   output-file-type: ".html"
2250   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc"
2251   data:
2252     "plot-dpdk-throughput-latency"
2253   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2254   parameters:
2255   - "throughput"
2256   - "parent"
2257   traces:
2258     hoverinfo: "x+y"
2259     boxpoints: "outliers"
2260     whiskerwidth: 0
2261   layout:
2262     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2263     layout:
2264       "plot-throughput"
2265
2266 -
2267   type: "plot"
2268   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2269   algorithm: "plot_performance_box"
2270   output-file-type: ".html"
2271   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc"
2272   data:
2273     "plot-dpdk-throughput-latency"
2274   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2275   parameters:
2276   - "throughput"
2277   - "parent"
2278   traces:
2279     hoverinfo: "x+y"
2280     boxpoints: "outliers"
2281     whiskerwidth: 0
2282   layout:
2283     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2284     layout:
2285       "plot-throughput"
2286
2287 -
2288   type: "plot"
2289   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2290   algorithm: "plot_performance_box"
2291   output-file-type: ".html"
2292   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc"
2293   data:
2294     "plot-dpdk-throughput-latency"
2295   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
2296   parameters:
2297   - "throughput"
2298   - "parent"
2299   traces:
2300     hoverinfo: "x+y"
2301     boxpoints: "outliers"
2302     whiskerwidth: 0
2303   layout:
2304     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2305     xaxis:
2306       autorange: True
2307       autotick: False
2308       fixedrange: False
2309       gridcolor: "rgb(238, 238, 238)"
2310       linecolor: "rgb(238, 238, 238)"
2311       linewidth: 1
2312       showgrid: True
2313       showline: True
2314       showticklabels: True
2315       tickcolor: "rgb(238, 238, 238)"
2316       tickmode: "linear"
2317       title: "Indexed Test Cases"
2318       zeroline: False
2319     yaxis:
2320       gridcolor: "rgb(238, 238, 238)'"
2321       hoverformat: ".4s"
2322       linecolor: "rgb(238, 238, 238)"
2323       linewidth: 1
2324       range: [2000000, 12000000]
2325       showgrid: True
2326       showline: True
2327       showticklabels: True
2328       tickcolor: "rgb(238, 238, 238)"
2329       title: "Packets Per Second [pps]"
2330       zeroline: False
2331     boxmode: "group"
2332     boxgroupgap: 0.5
2333     autosize: False
2334     margin:
2335       t: 50
2336       b: 20
2337       l: 50
2338       r: 20
2339     showlegend: True
2340     legend:
2341       orientation: "h"
2342     width: 700
2343     height: 1000
2344
2345 -
2346   type: "plot"
2347   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2348   algorithm: "plot_performance_box"
2349   output-file-type: ".html"
2350   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc"
2351   data:
2352     "plot-dpdk-throughput-latency"
2353   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
2354   parameters:
2355   - "throughput"
2356   - "parent"
2357   traces:
2358     hoverinfo: "x+y"
2359     boxpoints: "outliers"
2360     whiskerwidth: 0
2361   layout:
2362     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2363     xaxis:
2364       autorange: True
2365       autotick: False
2366       fixedrange: False
2367       gridcolor: "rgb(238, 238, 238)"
2368       linecolor: "rgb(238, 238, 238)"
2369       linewidth: 1
2370       showgrid: True
2371       showline: True
2372       showticklabels: True
2373       tickcolor: "rgb(238, 238, 238)"
2374       tickmode: "linear"
2375       title: "Indexed Test Cases"
2376       zeroline: False
2377     yaxis:
2378       gridcolor: "rgb(238, 238, 238)'"
2379       hoverformat: ".4s"
2380       linecolor: "rgb(238, 238, 238)"
2381       linewidth: 1
2382       range: [2000000, 12000000]
2383       showgrid: True
2384       showline: True
2385       showticklabels: True
2386       tickcolor: "rgb(238, 238, 238)"
2387       title: "Packets Per Second [pps]"
2388       zeroline: False
2389     boxmode: "group"
2390     boxgroupgap: 0.5
2391     autosize: False
2392     margin:
2393       t: 50
2394       b: 20
2395       l: 50
2396       r: 20
2397     showlegend: True
2398     legend:
2399       orientation: "h"
2400     width: 700
2401     height: 1000
2402
2403 -
2404   type: "plot"
2405   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2406   algorithm: "plot_performance_box"
2407   output-file-type: ".html"
2408   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-pdrdisc"
2409   data:
2410     "plot-dpdk-throughput-latency"
2411   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2412   parameters:
2413   - "throughput"
2414   - "parent"
2415   traces:
2416     hoverinfo: "x+y"
2417     boxpoints: "outliers"
2418     whiskerwidth: 0
2419   layout:
2420     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2421     layout:
2422       "plot-throughput"
2423
2424 -
2425   type: "plot"
2426   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2427   algorithm: "plot_performance_box"
2428   output-file-type: ".html"
2429   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-pdrdisc"
2430   data:
2431     "plot-dpdk-throughput-latency"
2432   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2433   parameters:
2434   - "throughput"
2435   - "parent"
2436   traces:
2437     hoverinfo: "x+y"
2438     boxpoints: "outliers"
2439     whiskerwidth: 0
2440   layout:
2441     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2442     layout:
2443       "plot-throughput"
2444
2445 -
2446   type: "plot"
2447   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
2448   algorithm: "plot_performance_box"
2449   output-file-type: ".html"
2450   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-pdrdisc"
2451   data:
2452     "plot-dpdk-throughput-latency"
2453   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD'"
2454   parameters:
2455   - "throughput"
2456   - "parent"
2457   traces:
2458     hoverinfo: "x+y"
2459     boxpoints: "outliers"
2460     whiskerwidth: 0
2461   layout:
2462     title: "64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
2463     xaxis:
2464       autorange: True
2465       autotick: False
2466       fixedrange: False
2467       gridcolor: "rgb(238, 238, 238)"
2468       linecolor: "rgb(238, 238, 238)"
2469       linewidth: 1
2470       showgrid: True
2471       showline: True
2472       showticklabels: True
2473       tickcolor: "rgb(238, 238, 238)"
2474       tickmode: "linear"
2475       title: "Indexed Test Cases"
2476       zeroline: False
2477     yaxis:
2478       gridcolor: "rgb(238, 238, 238)'"
2479       hoverformat: ".4s"
2480       linecolor: "rgb(238, 238, 238)"
2481       linewidth: 1
2482       range: [20000000, 30000000]
2483       showgrid: True
2484       showline: True
2485       showticklabels: True
2486       tickcolor: "rgb(238, 238, 238)"
2487       title: "Packets Per Second [pps]"
2488       zeroline: False
2489     boxmode: "group"
2490     boxgroupgap: 0.5
2491     autosize: False
2492     margin:
2493       t: 50
2494       b: 20
2495       l: 50
2496       r: 20
2497     showlegend: True
2498     legend:
2499       orientation: "h"
2500     width: 700
2501     height: 1000
2502
2503 -
2504   type: "plot"
2505   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
2506   algorithm: "plot_performance_box"
2507   output-file-type: ".html"
2508   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-pdrdisc"
2509   data:
2510     "plot-dpdk-throughput-latency"
2511   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD'"
2512   parameters:
2513   - "throughput"
2514   - "parent"
2515   traces:
2516     hoverinfo: "x+y"
2517     boxpoints: "outliers"
2518     whiskerwidth: 0
2519   layout:
2520     title: "64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
2521     xaxis:
2522       autorange: True
2523       autotick: False
2524       fixedrange: False
2525       gridcolor: "rgb(238, 238, 238)"
2526       linecolor: "rgb(238, 238, 238)"
2527       linewidth: 1
2528       showgrid: True
2529       showline: True
2530       showticklabels: True
2531       tickcolor: "rgb(238, 238, 238)"
2532       tickmode: "linear"
2533       title: "Indexed Test Cases"
2534       zeroline: False
2535     yaxis:
2536       gridcolor: "rgb(238, 238, 238)'"
2537       hoverformat: ".4s"
2538       linecolor: "rgb(238, 238, 238)"
2539       linewidth: 1
2540       range: [20000000, 30000000]
2541       showgrid: True
2542       showline: True
2543       showticklabels: True
2544       tickcolor: "rgb(238, 238, 238)"
2545       title: "Packets Per Second [pps]"
2546       zeroline: False
2547     boxmode: "group"
2548     boxgroupgap: 0.5
2549     autosize: False
2550     margin:
2551       t: 50
2552       b: 20
2553       l: 50
2554       r: 20
2555     showlegend: True
2556     legend:
2557       orientation: "h"
2558     width: 700
2559     height: 1000
2560
2561 # Plot latency
2562
2563 # VPP L2 sel1
2564 -
2565   type: "plot"
2566   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2567   algorithm: "plot_latency_box"
2568   output-file-type: ".html"
2569   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc-lat50"
2570   data:
2571     "plot-vpp-throughput-latency"
2572   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2573   parameters:
2574   - "latency"
2575   - "parent"
2576   traces:
2577     boxmean: False
2578   layout:
2579     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2580     layout:
2581       "plot-latency"
2582
2583 -
2584   type: "plot"
2585   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2586   algorithm: "plot_latency_box"
2587   output-file-type: ".html"
2588   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc-lat50"
2589   data:
2590     "plot-vpp-throughput-latency"
2591   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2592   parameters:
2593   - "latency"
2594   - "parent"
2595   traces:
2596     boxmean: False
2597   layout:
2598     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2599     layout:
2600       "plot-latency"
2601
2602 # VPP L2 sel2
2603 -
2604   type: "plot"
2605   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2606   algorithm: "plot_latency_box"
2607   output-file-type: ".html"
2608   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc-lat50"
2609   data:
2610     "plot-vpp-throughput-latency"
2611   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2612   parameters:
2613   - "latency"
2614   - "parent"
2615   traces:
2616     boxmean: False
2617   layout:
2618     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2619     layout:
2620       "plot-latency"
2621
2622 -
2623   type: "plot"
2624   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2625   algorithm: "plot_latency_box"
2626   output-file-type: ".html"
2627   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc-lat50"
2628   data:
2629     "plot-vpp-throughput-latency"
2630   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2631   parameters:
2632   - "latency"
2633   - "parent"
2634   traces:
2635     boxmean: False
2636   layout:
2637     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2638     layout:
2639       "plot-latency"
2640
2641 # VPP IP4
2642 -
2643   type: "plot"
2644   title: "VPP Latency 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2645   algorithm: "plot_latency_box"
2646   output-file-type: ".html"
2647   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc-lat50"
2648   data:
2649     "plot-vpp-throughput-latency"
2650   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
2651   parameters:
2652   - "latency"
2653   - "parent"
2654   traces:
2655     boxmean: False
2656   layout:
2657     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2658     layout:
2659       "plot-latency"
2660
2661 -
2662   type: "plot"
2663   title: "VPP Latency 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2664   algorithm: "plot_latency_box"
2665   output-file-type: ".html"
2666   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc-lat50"
2667   data:
2668     "plot-vpp-throughput-latency"
2669   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
2670   parameters:
2671   - "latency"
2672   - "parent"
2673   traces:
2674     boxmean: False
2675   layout:
2676     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2677     layout:
2678       "plot-latency"
2679
2680 # VPP IP6
2681 -
2682   type: "plot"
2683   title: "VPP Latency 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2684   algorithm: "plot_latency_box"
2685   output-file-type: ".html"
2686   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc-lat50"
2687   data:
2688     "plot-vpp-throughput-latency"
2689   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2690   parameters:
2691   - "latency"
2692   - "parent"
2693   traces:
2694     boxmean: False
2695   layout:
2696     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2697     layout:
2698       "plot-latency"
2699
2700 -
2701   type: "plot"
2702   title: "VPP Latency 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2703   algorithm: "plot_latency_box"
2704   output-file-type: ".html"
2705   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc-lat50"
2706   data:
2707     "plot-vpp-throughput-latency"
2708   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2709   parameters:
2710   - "latency"
2711   - "parent"
2712   traces:
2713     boxmean: False
2714   layout:
2715     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2716     layout:
2717       "plot-latency"
2718
2719 # VPP IP4_overlay
2720 -
2721   type: "plot"
2722   title: "VPP Latency 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2723   algorithm: "plot_latency_box"
2724   output-file-type: ".html"
2725   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc-lat50"
2726   data:
2727     "plot-vpp-throughput-latency"
2728   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2729   parameters:
2730   - "latency"
2731   - "parent"
2732   traces:
2733     boxmean: False
2734   layout:
2735     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2736     layout:
2737       "plot-latency"
2738
2739 -
2740   type: "plot"
2741   title: "VPP Latency 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2742   algorithm: "plot_latency_box"
2743   output-file-type: ".html"
2744   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc-lat50"
2745   data:
2746     "plot-vpp-throughput-latency"
2747   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2748   parameters:
2749   - "latency"
2750   - "parent"
2751   traces:
2752     boxmean: False
2753   layout:
2754     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2755     layout:
2756       "plot-latency"
2757
2758 # VPP IP6_overlay
2759 -
2760   type: "plot"
2761   title: "VPP Latency 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2762   algorithm: "plot_latency_box"
2763   output-file-type: ".html"
2764   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc-lat50"
2765   data:
2766     "plot-vpp-throughput-latency"
2767   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2768   parameters:
2769   - "latency"
2770   - "parent"
2771   traces:
2772     boxmean: False
2773   layout:
2774     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2775     layout:
2776       "plot-latency"
2777
2778 -
2779   type: "plot"
2780   title: "VPP Latency 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2781   algorithm: "plot_latency_box"
2782   output-file-type: ".html"
2783   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc-lat50"
2784   data:
2785     "plot-vpp-throughput-latency"
2786   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2787   parameters:
2788   - "latency"
2789   - "parent"
2790   traces:
2791     boxmean: False
2792   layout:
2793     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2794     layout:
2795       "plot-latency"
2796
2797 # VPP VM VHOST
2798 -
2799   type: "plot"
2800   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
2801   algorithm: "plot_latency_box"
2802   output-file-type: ".html"
2803   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc-lat50"
2804   data:
2805     "plot-vpp-throughput-latency"
2806   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2807   parameters:
2808   - "latency"
2809   - "parent"
2810   traces:
2811     boxmean: False
2812   layout:
2813     title: "64B-1t1c-.*vhost.*-ndrdisc"
2814     layout:
2815       "plot-latency"
2816
2817 -
2818   type: "plot"
2819   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
2820   algorithm: "plot_latency_box"
2821   output-file-type: ".html"
2822   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc-lat50"
2823   data:
2824     "plot-vpp-throughput-latency"
2825   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2826   parameters:
2827   - "latency"
2828   - "parent"
2829   traces:
2830     boxmean: False
2831   layout:
2832     title: "64B-2t2c-.*vhost.*-ndrdisc"
2833     layout:
2834       "plot-latency"
2835
2836 # VPP VM VHOST selection
2837 -
2838   type: "plot"
2839   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
2840   algorithm: "plot_latency_box"
2841   output-file-type: ".html"
2842   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc-lat50"
2843   data:
2844     "plot-vpp-throughput-latency"
2845   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2846   parameters:
2847   - "latency"
2848   - "parent"
2849   traces:
2850     boxmean: False
2851   layout:
2852     title: "64B-1t1c-.*vhost.*-ndrdisc"
2853     layout:
2854       "plot-latency"
2855
2856 -
2857   type: "plot"
2858   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
2859   algorithm: "plot_latency_box"
2860   output-file-type: ".html"
2861   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc-lat50"
2862   data:
2863     "plot-vpp-throughput-latency"
2864   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2865   parameters:
2866   - "latency"
2867   - "parent"
2868   traces:
2869     boxmean: False
2870   layout:
2871     title: "64B-2t2c-.*vhost.*-ndrdisc"
2872     layout:
2873       "plot-latency"
2874
2875 # VPP CRYPTO
2876 -
2877   type: "plot"
2878   title: "VPP Latency 64B-1t1c-.*ipsec.*-ndrdisc"
2879   algorithm: "plot_latency_box"
2880   output-file-type: ".html"
2881   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc-lat50"
2882   data:
2883     "plot-vpp-throughput-latency"
2884   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2885   parameters:
2886   - "latency"
2887   - "parent"
2888   traces:
2889     boxmean: False
2890   layout:
2891     title: "64B-1t1c-.*ipsec.*-ndrdisc"
2892     layout:
2893       "plot-latency"
2894
2895 -
2896   type: "plot"
2897   title: "VPP Latency 64B-2t2c-.*ipsec.*-ndrdisc"
2898   algorithm: "plot_latency_box"
2899   output-file-type: ".html"
2900   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc-lat50"
2901   data:
2902     "plot-vpp-throughput-latency"
2903   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2904   parameters:
2905   - "latency"
2906   - "parent"
2907   traces:
2908     boxmean: False
2909   layout:
2910     title: "64B-2t2c-.*ipsec.*-ndrdisc"
2911     layout:
2912       "plot-latency"
2913
2914 # DPDK
2915 -
2916   type: "plot"
2917   title: "DPDK Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2918   algorithm: "plot_latency_box"
2919   output-file-type: ".html"
2920   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc-lat50"
2921   data:
2922     "plot-dpdk-throughput-latency"
2923   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2924   parameters:
2925   - "latency"
2926   - "parent"
2927   traces:
2928     boxmean: False
2929   layout:
2930     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2931     layout:
2932       "plot-latency"
2933
2934 -
2935   type: "plot"
2936   title: "DPDK Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2937   algorithm: "plot_latency_box"
2938   output-file-type: ".html"
2939   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc-lat50"
2940   data:
2941     "plot-dpdk-throughput-latency"
2942   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2943   parameters:
2944   - "latency"
2945   - "parent"
2946   traces:
2947     boxmean: False
2948   layout:
2949     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2950     layout:
2951       "plot-latency"
2952
2953 -
2954   type: "plot"
2955   title: "DPDK Latency 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2956   algorithm: "plot_latency_box"
2957   output-file-type: ".html"
2958   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc-lat50"
2959   data:
2960     "plot-dpdk-throughput-latency"
2961   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
2962   parameters:
2963   - "latency"
2964   - "parent"
2965   traces:
2966     boxmean: False
2967   layout:
2968     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2969     layout:
2970       "plot-latency"
2971
2972 -
2973   type: "plot"
2974   title: "DPDK Latency 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2975   algorithm: "plot_latency_box"
2976   output-file-type: ".html"
2977   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc-lat50"
2978   data:
2979     "plot-dpdk-throughput-latency"
2980   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
2981   parameters:
2982   - "latency"
2983   - "parent"
2984   traces:
2985     boxmean: False
2986   layout:
2987     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2988     layout:
2989       "plot-latency"
2990
2991 # Ligato - Throughput
2992
2993 # Container memif
2994 -
2995   type: "plot"
2996   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2997   algorithm: "plot_performance_box"
2998   output-file-type: ".html"
2999   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc"
3000   data:
3001     "plot-vpp-throughput-latency"
3002   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3003   parameters:
3004   - "throughput"
3005   - "parent"
3006   traces:
3007     hoverinfo: "x+y"
3008     boxpoints: "outliers"
3009     whiskerwidth: 0
3010   layout:
3011     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3012     xaxis:
3013       autorange: True
3014       autotick: False
3015       fixedrange: False
3016       gridcolor: "rgb(238, 238, 238)"
3017       linecolor: "rgb(238, 238, 238)"
3018       linewidth: 1
3019       showgrid: True
3020       showline: True
3021       showticklabels: True
3022       tickcolor: "rgb(238, 238, 238)"
3023       tickmode: "linear"
3024       title: "Indexed Test Cases"
3025       zeroline: False
3026     yaxis:
3027       gridcolor: "rgb(238, 238, 238)'"
3028       hoverformat: ".4s"
3029       linecolor: "rgb(238, 238, 238)"
3030       linewidth: 1
3031       range: [0, 4500000]
3032       showgrid: True
3033       showline: True
3034       showticklabels: True
3035       tickcolor: "rgb(238, 238, 238)"
3036       title: "Packets Per Second [pps]"
3037       zeroline: False
3038     boxmode: "group"
3039     boxgroupgap: 0.5
3040     autosize: False
3041     margin:
3042       t: 50
3043       b: 20
3044       l: 50
3045       r: 20
3046     showlegend: True
3047     legend:
3048       orientation: "h"
3049     width: 700
3050     height: 1000
3051
3052 -
3053   type: "plot"
3054   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3055   algorithm: "plot_performance_box"
3056   output-file-type: ".html"
3057   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc"
3058   data:
3059     "plot-vpp-throughput-latency"
3060   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3061   parameters:
3062   - "throughput"
3063   - "parent"
3064   traces:
3065     hoverinfo: "x+y"
3066     boxpoints: "outliers"
3067     whiskerwidth: 0
3068   layout:
3069     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3070     xaxis:
3071       autorange: True
3072       autotick: False
3073       fixedrange: False
3074       gridcolor: "rgb(238, 238, 238)"
3075       linecolor: "rgb(238, 238, 238)"
3076       linewidth: 1
3077       showgrid: True
3078       showline: True
3079       showticklabels: True
3080       tickcolor: "rgb(238, 238, 238)"
3081       tickmode: "linear"
3082       title: "Indexed Test Cases"
3083       zeroline: False
3084     yaxis:
3085       gridcolor: "rgb(238, 238, 238)'"
3086       hoverformat: ".4s"
3087       linecolor: "rgb(238, 238, 238)"
3088       linewidth: 1
3089       range: [0, 8000000]
3090       showgrid: True
3091       showline: True
3092       showticklabels: True
3093       tickcolor: "rgb(238, 238, 238)"
3094       title: "Packets Per Second [pps]"
3095       zeroline: False
3096     boxmode: "group"
3097     boxgroupgap: 0.5
3098     autosize: False
3099     margin:
3100       t: 50
3101       b: 20
3102       l: 50
3103       r: 20
3104     showlegend: True
3105     legend:
3106       orientation: "h"
3107     width: 700
3108     height: 1000
3109
3110 -
3111   type: "plot"
3112   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3113   algorithm: "plot_performance_box"
3114   output-file-type: ".html"
3115   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-pdrdisc"
3116   data:
3117     "plot-vpp-throughput-latency"
3118   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3119   parameters:
3120   - "throughput"
3121   - "parent"
3122   traces:
3123     hoverinfo: "x+y"
3124     boxpoints: "outliers"
3125     whiskerwidth: 0
3126   layout:
3127     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3128     xaxis:
3129       autorange: True
3130       autotick: False
3131       fixedrange: False
3132       gridcolor: "rgb(238, 238, 238)"
3133       linecolor: "rgb(238, 238, 238)"
3134       linewidth: 1
3135       showgrid: True
3136       showline: True
3137       showticklabels: True
3138       tickcolor: "rgb(238, 238, 238)"
3139       tickmode: "linear"
3140       title: "Indexed Test Cases"
3141       zeroline: False
3142     yaxis:
3143       gridcolor: "rgb(238, 238, 238)'"
3144       hoverformat: ".4s"
3145       linecolor: "rgb(238, 238, 238)"
3146       linewidth: 1
3147       range: [0, 4500000]
3148       showgrid: True
3149       showline: True
3150       showticklabels: True
3151       tickcolor: "rgb(238, 238, 238)"
3152       title: "Packets Per Second [pps]"
3153       zeroline: False
3154     boxmode: "group"
3155     boxgroupgap: 0.5
3156     autosize: False
3157     margin:
3158       t: 50
3159       b: 20
3160       l: 50
3161       r: 20
3162     showlegend: True
3163     legend:
3164       orientation: "h"
3165     width: 700
3166     height: 1000
3167
3168 -
3169   type: "plot"
3170   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3171   algorithm: "plot_performance_box"
3172   output-file-type: ".html"
3173   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-pdrdisc"
3174   data:
3175     "plot-vpp-throughput-latency"
3176   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3177   parameters:
3178   - "throughput"
3179   - "parent"
3180   traces:
3181     hoverinfo: "x+y"
3182     boxpoints: "outliers"
3183     whiskerwidth: 0
3184   layout:
3185     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3186     xaxis:
3187       autorange: True
3188       autotick: False
3189       fixedrange: False
3190       gridcolor: "rgb(238, 238, 238)"
3191       linecolor: "rgb(238, 238, 238)"
3192       linewidth: 1
3193       showgrid: True
3194       showline: True
3195       showticklabels: True
3196       tickcolor: "rgb(238, 238, 238)"
3197       tickmode: "linear"
3198       title: "Indexed Test Cases"
3199       zeroline: False
3200     yaxis:
3201       gridcolor: "rgb(238, 238, 238)'"
3202       hoverformat: ".4s"
3203       linecolor: "rgb(238, 238, 238)"
3204       linewidth: 1
3205       range: [0, 8000000]
3206       showgrid: True
3207       showline: True
3208       showticklabels: True
3209       tickcolor: "rgb(238, 238, 238)"
3210       title: "Packets Per Second [pps]"
3211       zeroline: False
3212     boxmode: "group"
3213     boxgroupgap: 0.5
3214     autosize: False
3215     margin:
3216       t: 50
3217       b: 20
3218       l: 50
3219       r: 20
3220     showlegend: True
3221     legend:
3222       orientation: "h"
3223     width: 700
3224     height: 1000
3225
3226 # Container orchestrated
3227 -
3228   type: "plot"
3229   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3230   algorithm: "plot_performance_box"
3231   output-file-type: ".html"
3232   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc"
3233   data:
3234     "plot-ligato-throughput-latency"
3235   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3236   parameters:
3237   - "throughput"
3238   - "parent"
3239   traces:
3240     hoverinfo: "x+y"
3241     boxpoints: "outliers"
3242     whiskerwidth: 0
3243   layout:
3244     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3245     layout:
3246       "plot-throughput"
3247
3248 -
3249   type: "plot"
3250   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3251   algorithm: "plot_performance_box"
3252   output-file-type: ".html"
3253   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc"
3254   data:
3255     "plot-ligato-throughput-latency"
3256   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3257   parameters:
3258   - "throughput"
3259   - "parent"
3260   traces:
3261     hoverinfo: "x+y"
3262     boxpoints: "outliers"
3263     whiskerwidth: 0
3264   layout:
3265     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3266     layout:
3267       "plot-throughput"
3268
3269 -
3270   type: "plot"
3271   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3272   algorithm: "plot_performance_box"
3273   output-file-type: ".html"
3274   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-pdrdisc"
3275   data:
3276     "plot-ligato-throughput-latency"
3277   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3278   parameters:
3279   - "throughput"
3280   - "parent"
3281   traces:
3282     hoverinfo: "x+y"
3283     boxpoints: "outliers"
3284     whiskerwidth: 0
3285   layout:
3286     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3287     layout:
3288       "plot-throughput"
3289
3290 -
3291   type: "plot"
3292   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3293   algorithm: "plot_performance_box"
3294   output-file-type: ".html"
3295   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-pdrdisc"
3296   data:
3297     "plot-ligato-throughput-latency"
3298   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3299   parameters:
3300   - "throughput"
3301   - "parent"
3302   traces:
3303     hoverinfo: "x+y"
3304     boxpoints: "outliers"
3305     whiskerwidth: 0
3306   layout:
3307     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3308     layout:
3309       "plot-throughput"
3310
3311 # Ligato - Latency
3312
3313 # Container memif
3314 -
3315   type: "plot"
3316   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3317   algorithm: "plot_latency_box"
3318   output-file-type: ".html"
3319   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc-lat50"
3320   data:
3321     "plot-vpp-throughput-latency"
3322   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3323   parameters:
3324   - "latency"
3325   - "parent"
3326   traces:
3327     boxmean: False
3328   layout:
3329     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3330     layout:
3331       "plot-latency"
3332
3333 -
3334   type: "plot"
3335   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3336   algorithm: "plot_latency_box"
3337   output-file-type: ".html"
3338   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc-lat50"
3339   data:
3340     "plot-vpp-throughput-latency"
3341   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3342   parameters:
3343   - "latency"
3344   - "parent"
3345   traces:
3346     boxmean: False
3347   layout:
3348     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3349     layout:
3350       "plot-latency"
3351
3352 # Container orchestrated
3353 -
3354   type: "plot"
3355   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3356   algorithm: "plot_latency_box"
3357   output-file-type: ".html"
3358   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc-lat50"
3359   data:
3360     "plot-ligato-throughput-latency"
3361   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3362   parameters:
3363   - "latency"
3364   - "parent"
3365   traces:
3366     boxmean: False
3367   layout:
3368     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3369     layout:
3370       "plot-latency"
3371
3372 -
3373   type: "plot"
3374   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3375   algorithm: "plot_latency_box"
3376   output-file-type: ".html"
3377   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc-lat50"
3378   data:
3379     "plot-ligato-throughput-latency"
3380   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3381   parameters:
3382   - "latency"
3383   - "parent"
3384   traces:
3385     boxmean: False
3386   layout:
3387     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3388     layout:
3389       "plot-latency"