resources/tools/presentation/specification.yaml

   1 -
   2   type: "environment"
   3   configuration:
   4     # Debug mode:
   5     # - Skip:
   6     #   - Download of input data files
   7     # - Do:
   8     #   - Read data from given zip / xml files
   9     #   - Set the configuration as it is done in normal mode
  10     # If the section "type: debug" is missing, CFG[DEBUG] is set to 0.
  11     CFG[DEBUG]: 0
  12
  13   paths:
  14     # Top level directories:
  15     ## Working directory
  16     DIR[WORKING]: "_tmp"
  17     ## Build directories
  18     DIR[BUILD,HTML]: "_build"
  19     DIR[BUILD,LATEX]: "_build_latex"
  20
  21     # Static .rst files
  22     DIR[RST]: "../../../docs/report"
  23
  24     # Working directories
  25     ## Input data files (.zip, .xml)
  26     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
  27     ## Static source files from git
  28     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
  29     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
  30
  31     # Static html content
  32     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
  33     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
  34     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
  35     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
  36
  37     # Detailed test results
  38     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
  39     DIR[DTR,PERF,DPDK]: "{DIR[DTR]}/dpdk_performance_results"
  40     DIR[DTR,PERF,VPP]: "{DIR[DTR]}/vpp_performance_results"
  41     DIR[DTR,PERF,COT]: "{DIR[DTR]}/cot_performance_results"
  42     DIR[DTR,PERF,HC]: "{DIR[DTR]}/honeycomb_performance_results"
  43     DIR[DTR,FUNC,VPP]: "{DIR[DTR]}/vpp_functional_results"
  44     DIR[DTR,FUNC,HC]: "{DIR[DTR]}/honeycomb_functional_results"
  45     DIR[DTR,FUNC,NSHSFC]: "{DIR[DTR]}/nshsfc_functional_results"
  46     DIR[DTR,PERF,VPP,IMPRV]: "{DIR[WORKING,SRC]}/vpp_performance_tests/performance_improvements"
  47
  48     # Detailed test configurations
  49     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
  50     DIR[DTC,PERF,VPP]: "{DIR[DTC]}/vpp_performance_configuration"
  51     DIR[DTC,FUNC,VPP]: "{DIR[DTC]}/vpp_functional_configuration"
  52
  53     # Detailed tests operational data
  54     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
  55     DIR[DTO,PERF,VPP]: "{DIR[DTO]}/vpp_performance_operational_data"
  56
  57     # .css patch file to fix tables generated by Sphinx
  58     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
  59     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
  60
  61   urls:
  62     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
  63     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
  64     URL[NEXUS]: "https://docs.fd.io/csit"
  65     DIR[NEXUS]: "report/_static/archive"
  66
  67   make-dirs:
  68   # List the directories which are created while preparing the environment.
  69   # All directories MUST be defined in "paths" section.
  70   - "DIR[WORKING,DATA]"
  71   - "DIR[STATIC,VPP]"
  72   - "DIR[STATIC,DPDK]"
  73   - "DIR[STATIC,ARCH]"
  74   - "DIR[BUILD,LATEX]"
  75   - "DIR[WORKING,SRC]"
  76   - "DIR[WORKING,SRC,STATIC]"
  77
  78   remove-dirs:
  79   # List the directories which are deleted while cleaning the environment.
  80   # All directories MUST be defined in "paths" section.
  81   #- "DIR[BUILD,HTML]"
  82
  83   build-dirs:
  84   # List the directories where the results (build) is stored.
  85   # All directories MUST be defined in "paths" section.
  86   - "DIR[BUILD,HTML]"
  87   - "DIR[BUILD,LATEX]"
  88
  89 -
  90   type: "configuration"
  91   data-sets:
  92 # TODO: Add the data sources
  93 #    plot-vpp-http-server-performance:
  94 #      csit-vpp-perf-1801-all:
  95 #      - 1
  96 #      - 2
  97 #      - 3
  98 #      - 4
  99 # TODO: Add the data sources
 100 #    vpp-meltdown-impact:
 101 #      csit-vpp-perf-1707-all:
 102 #      - 9
 103 #      - 10
 104 #      - 13
 105 #      csit-vpp-perf-1710-all:
 106 #      - 11l
 107 #      - 12
 108 #      - 13
 109 # TODO: Add the data sources
 110 #    vpp-spectre-impact:
 111 #      csit-vpp-perf-1707-all:
 112 #      - 9
 113 #      - 10
 114 #      - 13
 115 #      csit-vpp-perf-1710-all:
 116 #      - 11
 117 #      - 12
 118 #      - 13
 119     vpp-performance-changes:
 120       csit-vpp-perf-1710-all:
 121       - 11
 122       - 12
 123       - 13
 124       - 14
 125       - 15
 126       - 16
 127       - 17
 128       - 18
 129       - 19
 130       - 20
 131 # TODO: Add the data sources
 132       csit-vpp-perf-1801-all:
 133       - 124  # sel
 134       - 127  # sel
 135       - 128  # sel
 136       - 141  # sel
 137       - 142  # sel
 138 # TODO: Add the data sources
 139     plot-throughput-speedup-analysis:
 140       csit-vpp-perf-1801-all:
 141       - 124  # sel
 142       - 127  # sel
 143       - 128  # sel
 144       - 141  # sel
 145       - 142  # sel
 146 #    performance-improvements:
 147 #      csit-vpp-perf-1707-all:
 148 #      - 9
 149 #      - 10
 150 #      - 13
 151 #      - 14
 152 #      - 15
 153 #      - 16
 154 #      - 17
 155 #      - 18
 156 #      - 19
 157 #      - 21
 158 #      csit-vpp-perf-1710-all:
 159 #      - 11
 160 #      - 12
 161 #      - 13
 162 #      - 14
 163 #      - 15
 164 #      - 16
 165 #      - 17
 166 #      - 18
 167 #      - 19
 168 #      - 20
 169 ## TODO: Add the data sources
 170 #      csit-vpp-perf-1801-all:
 171 #      - 124
 172 #      - 127
 173 #      - 128
 174 #      csit-ligato-perf-1710-all:
 175 #      - 5
 176 #      - 7
 177 #      - 8
 178 #      - 9
 179 #      - 10
 180 #      - 11
 181 #      - 12
 182 #      - 13
 183 #      - 16
 184 #      - 17
 185 #      csit-ligato-perf-1801-all:
 186 #      - 1
 187 #      - 3
 188 #      - 7
 189 # TODO: Add the data sources
 190     vpp-perf-results:
 191       csit-vpp-perf-1801-all:
 192       - 122
 193       - 126
 194       - 129
 195       - 140
 196     vpp-func-results:
 197       csit-vpp-functional-1801-ubuntu1604-virl:
 198       - "lastSuccessfulBuild"
 199 # TODO: Add the data sources
 200     ligato-perf-results:
 201       csit-ligato-perf-1801-all:
 202       - 1
 203     dpdk-perf-results:
 204       csit-dpdk-perf-1801-all:
 205       - 12
 206     hc-func-results:
 207       csit-hc2vpp-verify-func-1801-ubuntu1604:
 208       - "lastSuccessfulBuild"
 209     nsh-func-results:
 210       csit-nsh_sfc-verify-func-1801-ubuntu1604-virl:
 211       - 1
 212 # TODO: Add the data sources
 213     plot-vpp-throughput-latency:
 214       csit-vpp-perf-1801-all:
 215       - 124  # sel
 216       - 127  # sel
 217       - 128  # sel
 218       - 141  # sel
 219       - 142  # sel
 220     plot-dpdk-throughput-latency:
 221       csit-dpdk-perf-1801-all:
 222       - 1
 223       - 3
 224       - 4
 225       - 5
 226       - 6
 227       - 7
 228       - 8
 229       - 10
 230       - 12
 231 # TODO: Add the data sources
 232     plot-ligato-throughput-latency:
 233       csit-ligato-perf-1801-all:
 234       - 1
 235       - 3
 236       - 7
 237
 238   plot-layouts:
 239
 240     plot-cps:
 241       xaxis:
 242         autorange: True
 243         autotick: False
 244         fixedrange: False
 245         gridcolor: "rgb(238, 238, 238)"
 246         linecolor: "rgb(238, 238, 238)"
 247         linewidth: 1
 248         showgrid: True
 249         showline: True
 250         showticklabels: True
 251         tickcolor: "rgb(238, 238, 238)"
 252         tickmode: "linear"
 253         title: "Indexed Test Cases"
 254         zeroline: False
 255       yaxis:
 256         gridcolor: "rgb(238, 238, 238)'"
 257         hoverformat: ".4s"
 258         linecolor: "rgb(238, 238, 238)"
 259         linewidth: 1
 260         range: []
 261         rangemode: "tozero"
 262         showgrid: True
 263         showline: True
 264         showticklabels: True
 265         tickcolor: "rgb(238, 238, 238)"
 266         title: "Connections Per Second [cps]"
 267         zeroline: False
 268       boxmode: "group"
 269       boxgroupgap: 0.5
 270       autosize: False
 271       margin:
 272         t: 50
 273         b: 20
 274         l: 50
 275         r: 20
 276       showlegend: True
 277       legend:
 278         orientation: "h"
 279       width: 700
 280       height: 1000
 281
 282     plot-rps:
 283       xaxis:
 284         autorange: True
 285         autotick: False
 286         fixedrange: False
 287         gridcolor: "rgb(238, 238, 238)"
 288         linecolor: "rgb(238, 238, 238)"
 289         linewidth: 1
 290         showgrid: True
 291         showline: True
 292         showticklabels: True
 293         tickcolor: "rgb(238, 238, 238)"
 294         tickmode: "linear"
 295         title: "Indexed Test Cases"
 296         zeroline: False
 297       yaxis:
 298         gridcolor: "rgb(238, 238, 238)'"
 299         hoverformat: ".4s"
 300         linecolor: "rgb(238, 238, 238)"
 301         linewidth: 1
 302         range: []
 303         rangemode: "tozero"
 304         showgrid: True
 305         showline: True
 306         showticklabels: True
 307         tickcolor: "rgb(238, 238, 238)"
 308         title: "Requests Per Second [rps]"
 309         zeroline: False
 310       boxmode: "group"
 311       boxgroupgap: 0.5
 312       autosize: False
 313       margin:
 314         t: 50
 315         b: 20
 316         l: 50
 317         r: 20
 318       showlegend: True
 319       legend:
 320         orientation: "h"
 321       width: 700
 322       height: 1000
 323
 324     plot-throughput:
 325       xaxis:
 326         autorange: True
 327         autotick: False
 328         fixedrange: False
 329         gridcolor: "rgb(238, 238, 238)"
 330         linecolor: "rgb(238, 238, 238)"
 331         linewidth: 1
 332         showgrid: True
 333         showline: True
 334         showticklabels: True
 335         tickcolor: "rgb(238, 238, 238)"
 336         tickmode: "linear"
 337         title: "Indexed Test Cases"
 338         zeroline: False
 339       yaxis:
 340         gridcolor: "rgb(238, 238, 238)'"
 341         hoverformat: ".4s"
 342         linecolor: "rgb(238, 238, 238)"
 343         linewidth: 1
 344         range: []
 345         showgrid: True
 346         showline: True
 347         showticklabels: True
 348         tickcolor: "rgb(238, 238, 238)"
 349         title: "Packets Per Second [pps]"
 350         zeroline: False
 351       boxmode: "group"
 352       boxgroupgap: 0.5
 353       autosize: False
 354       margin:
 355         t: 50
 356         b: 20
 357         l: 50
 358         r: 20
 359       showlegend: True
 360       legend:
 361         orientation: "h"
 362       width: 700
 363       height: 1000
 364
 365     plot-latency:
 366       xaxis:
 367         autorange: True
 368         autotick: False
 369         fixedrange: False
 370         gridcolor: "rgb(238, 238, 238)"
 371         linecolor: "rgb(238, 238, 238)"
 372         linewidth: 1
 373         showgrid: True
 374         showline: True
 375         showticklabels: True
 376         tickcolor: "rgb(238, 238, 238)"
 377         tickmode: "linear"
 378         title: "Indexed Test Cases"
 379         zeroline: False
 380       yaxis:
 381         gridcolor: "rgb(238, 238, 238)'"
 382         hoverformat: ""
 383         linecolor: "rgb(238, 238, 238)"
 384         linewidth: 1
 385         range: []
 386         showgrid: True
 387         showline: True
 388         showticklabels: True
 389         tickcolor: "rgb(238, 238, 238)"
 390         title: "Latency min/avg/max [uSec]"
 391         zeroline: False
 392       boxmode: "group"
 393       boxgroupgap: 0.5
 394       autosize: False
 395       margin:
 396         t: 50
 397         b: 20
 398         l: 50
 399         r: 20
 400       showlegend: True
 401       legend:
 402         orientation: "h"
 403       width: 700
 404       height: 1000
 405
 406     plot-throughput-speedup-analysis:
 407       xaxis:
 408         autorange: True
 409         autotick: False
 410         fixedrange: False
 411         gridcolor: "rgb(238, 238, 238)"
 412         linecolor: "rgb(238, 238, 238)"
 413         linewidth: 1
 414         showgrid: True
 415         showline: True
 416         showticklabels: True
 417         tickcolor: "rgb(238, 238, 238)"
 418         tickmode: "linear"
 419         tickangle: 270
 420         zeroline: False
 421       yaxis:
 422         title: "Throughput speedup factor"
 423         gridcolor: "rgb(238, 238, 238)"
 424         hoverformat: ".4s"
 425         linecolor: "rgb(238, 238, 238)"
 426         linewidth: 1
 427         range: []
 428         showgrid: True
 429         showline: True
 430         showticklabels: True
 431         tickcolor: "rgb(238, 238, 238)"
 432         zeroline: False
 433       legend:
 434         orientation: "h"
 435         xanchor: "center"
 436         yanchor: "top"
 437         x: 0.5
 438         y: 1
 439         bgcolor: "rgba(255, 255, 255, 0)"
 440         bordercolor: "rgba(255, 255, 255, 0)"
 441       barmode: "group"
 442       bargap: 0.15
 443       bargroupgap: 0.1
 444       autosize: False
 445       margin:
 446           't': 50
 447           'b': 200
 448           'l': 50
 449           'r': 20
 450       showlegend: True
 451       width: 700
 452       height: 1000
 453
 454 -
 455   type: "debug"
 456   general:
 457     input-format: "xml"  # zip or xml
 458     extract: "robot-plugin/output.xml"  # Only for zip
 459   builds:
 460     # The files must be in the directory DIR[WORKING,DATA]
 461     csit-vpp-perf-1801-all:
 462     -
 463       build: 1
 464       file: "{DIR[WORKING,DATA]}/output.xml"
 465     -
 466       build: 2
 467       file: "{DIR[WORKING,DATA]}/output.xml"
 468     -
 469       build: 3
 470       file: "{DIR[WORKING,DATA]}/output.xml"
 471     -
 472       build: 4
 473       file: "{DIR[WORKING,DATA]}/output.xml"
 474
 475 -
 476   type: "static"
 477   src-path: "{DIR[RST]}"
 478   dst-path: "{DIR[WORKING,SRC]}"
 479
 480 -
 481   type: "input"  # Ignored in debug mode
 482   general:
 483     file-name: "robot-plugin.zip"
 484     file-format: ".zip"
 485     download-path: "{job}/{build}/robot/report/*zip*/{filename}"
 486     extract: "robot-plugin/output.xml"
 487   builds:
 488 #    csit-vpp-perf-1707-all:
 489 #    - 9
 490 #    - 10
 491 #    - 13
 492 #    - 14
 493 #    - 15
 494 #    - 16
 495 #    - 17
 496 #    - 18
 497 #    - 19
 498 #    - 21
 499     csit-vpp-perf-1710-all:
 500     - 11
 501     - 12
 502     - 13
 503     - 14
 504     - 15
 505     - 16
 506     - 17
 507     - 18
 508     - 19
 509     - 20
 510 # TODO:
 511     csit-vpp-perf-1801-all:
 512     - 122  # full
 513     - 126  # full
 514     - 129  # full
 515     - 140  # full
 516     - 124  # sel
 517     - 127  # sel
 518     - 128  # sel
 519     - 141  # sel
 520     - 142  # sel
 521     csit-ligato-perf-1710-all:
 522     - 5
 523     - 7
 524     - 8
 525     - 9
 526     - 10
 527     - 11
 528     - 12
 529     - 13
 530     - 16
 531     - 17
 532     csit-dpdk-perf-1801-all:
 533     - 1
 534     - 4
 535     - 5
 536     - 7
 537     - 8
 538     - 10
 539     - 12
 540     - 16
 541     - 17
 542 # TODO:
 543     csit-ligato-perf-1801-all:
 544     - 1
 545     - 3
 546     - 7
 547     csit-dpdk-perf-1801-all:
 548     - 1
 549     - 3
 550     - 4
 551     - 5
 552     - 6
 553     - 7
 554     - 8
 555     - 9
 556     - 10
 557     - 12
 558     csit-vpp-functional-1801-ubuntu1604-virl:
 559     - lastSuccessfulBuild
 560     csit-nsh_sfc-verify-func-1801-ubuntu1604-virl:
 561     - 1
 562     csit-hc2vpp-verify-func-1801-ubuntu1604:
 563     - lastSuccessfulBuild
 564
 565 -
 566   type: "output"
 567   format:
 568     html:
 569     - full
 570     pdf:
 571     - minimal
 572
 573 ################################################################################
 574 ###                               T A B L E S                                ###
 575 ################################################################################
 576
 577 #-
 578 #  type: "table"
 579 #  title: "Performance Impact of Meltdown Patches"
 580 #  algorithm: "table_performance_comparison"
 581 #  output-file-ext: ".csv"
 582 ## TODO: specify dir
 583 #  output-file: "{DIR[STATIC,VPP]}/meltdown-impact"
 584 #  reference:
 585 #    title: "No Meltdown"
 586 ## TODO: specify data sources
 587 #    data:
 588 #      csit-vpp-perf-1707-all:
 589 #      - 9
 590 #      - 10
 591 #      - 13
 592 #  compare:
 593 #    title: "Meltdown Patches Applied"
 594 ## TODO: specify data sources
 595 #    data:
 596 #      csit-vpp-perf-1710-all:
 597 #      - 11
 598 #      - 12
 599 #      - 13
 600 #  data:
 601 #    "vpp-meltdown-impact"
 602 #  filter: "all"
 603 #  parameters:
 604 #  - "name"
 605 #  - "parent"
 606 #  - "throughput"
 607 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
 608 #  # to present all tests.
 609 #  nr-of-tests-shown: 20
 610 #
 611 #-
 612 #  type: "table"
 613 #  title: "Performance Impact of Spectre Patches"
 614 #  algorithm: "table_performance_comparison"
 615 #  output-file-ext: ".csv"
 616 ## TODO: specify dir
 617 #  output-file: "{DIR[STATIC,VPP]}/meltdown-spectre-impact"
 618 #  reference:
 619 #    title: "No Spectre"
 620 ## TODO: specify data sources
 621 #    data:
 622 #      csit-vpp-perf-1707-all:
 623 #      - 9
 624 #      - 10
 625 #      - 13
 626 #  compare:
 627 #    title: "Spectre Patches Applied"
 628 ## TODO: specify data sources
 629 #    data:
 630 #      csit-vpp-perf-1710-all:
 631 #      - 11
 632 #      - 12
 633 #      - 13
 634 #  data:
 635 #    "vpp-spectre-impact"
 636 #  filter: "all"
 637 #  parameters:
 638 #  - "name"
 639 #  - "parent"
 640 #  - "throughput"
 641 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
 642 #  # to present all tests.
 643 #  nr-of-tests-shown: 20
 644
 645 -
 646   type: "table"
 647   title: "VPP Performance Changes"
 648   algorithm: "table_performance_comparison"
 649   output-file-ext: ".csv"
 650 # TODO: specify dir
 651   output-file: "{DIR[STATIC,VPP]}/performance-changes"
 652   reference:
 653     title: "Release 1710"
 654 # TODO: specify data sources
 655     data:
 656       csit-vpp-perf-1710-all:
 657       - 11
 658       - 12
 659       - 13
 660       - 14
 661       - 15
 662       - 16
 663       - 17
 664       - 18
 665       - 19
 666       - 20
 667   compare:
 668     title: "Release 1801"
 669 # TODO: specify data sources
 670     data:
 671       csit-vpp-perf-1801-all:
 672       - 124
 673       - 127
 674       - 128
 675   data: "vpp-performance-changes"
 676   filter: "all"
 677   parameters:
 678   - "name"
 679   - "parent"
 680   - "throughput"
 681   # Number of the best and the worst tests presented in the table. Use 0 (zero)
 682   # to present all tests.
 683   nr-of-tests-shown: 20
 684
 685 #-
 686 #  type: "table"
 687 #  title: "Performance improvements"
 688 #  algorithm: "table_performance_improvements"
 689 #  template: "{DIR[DTR,PERF,VPP,IMPRV]}/tmpl_performance_improvements.csv"
 690 #  output-file-ext: ".csv"
 691 #  output-file: "{DIR[DTR,PERF,VPP,IMPRV]}/performance_improvements"
 692 #  columns:
 693 #  -
 694 #    title: "Test Name"
 695 #    data: "template 1"
 696 #  -
 697 #    title: "16.09 mean [Mpps]"
 698 #    data: "template 2"
 699 #  -
 700 #    title: "17.01 mean [Mpps]"
 701 #    data: "template 3"
 702 #  -
 703 #    title: "17.04 mean [Mpps]"
 704 #    data: "template 4"
 705 #  -
 706 #    title: "17.07 mean [Mpps]"
 707 #    data: "data csit-vpp-perf-1707-all mean"
 708 #  -
 709 #    title: "17.10 mean [Mpps]"
 710 #    data: "data csit-vpp-perf-1710-all csit-ligato-perf-1710-all mean"
 711 #  -
 712 #    title: "18.01 mean [Mpps]"
 713 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all mean"
 714 #  -
 715 #    title: "18.01 stdev [Mpps]"
 716 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all stdev"
 717 #  -
 718 #    title: "17.10 to 18.01 change [%]"
 719 #    data: "operation relative_change 5 6"
 720 #  rows: "generated"
 721 #  data:
 722 #    "performance-improvements"
 723 #  filter: "template"
 724 #  parameters:
 725 #  - "throughput"
 726
 727 -
 728   type: "table"
 729   title: "Detailed Test Results - VPP Performance Results"
 730   algorithm: "table_merged_details"
 731   output-file-ext: ".csv"
 732   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
 733   columns:
 734   -
 735     title: "Name"
 736     data: "data name"
 737   -
 738     title: "Documentation"
 739     data: "data doc"
 740   -
 741     title: "Status"
 742     data: "data msg"
 743   rows: "generated"
 744   data:
 745     "vpp-perf-results"
 746   filter: "not 'NDRCHK' and not 'PDRCHK'"
 747   parameters:
 748   - "name"
 749   - "parent"
 750   - "doc"
 751   - "msg"
 752
 753 -
 754   type: "table"
 755   title: "Test configuration - VPP Performance Test Configs"
 756   algorithm: "table_merged_details"
 757   output-file-ext: ".csv"
 758   output-file: "{DIR[DTC,PERF,VPP]}/vpp_test_configuration"
 759   columns:
 760   -
 761     title: "Name"
 762     data: "data name"
 763   -
 764     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
 765     data: "data vat-history"
 766   rows: "generated"
 767   data:
 768     "vpp-perf-results"
 769   filter: "not 'NDRCHK' and not 'PDRCHK'"
 770   parameters:
 771   - "parent"
 772   - "name"
 773   - "vat-history"
 774
 775 -
 776   type: "table"
 777   title: "Test Operational Data - VPP Performance Operational Data"
 778   algorithm: "table_merged_details"
 779   output-file-ext: ".csv"
 780   output-file: "{DIR[DTO,PERF,VPP]}/vpp_test_operational"
 781   columns:
 782   -
 783     title: "Name"
 784     data: "data name"
 785   -
 786     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
 787     data: "data show-run"
 788   rows: "generated"
 789   data:
 790     "vpp-perf-results"
 791   filter: "not 'NDRCHK' and not 'PDRCHK'"
 792   parameters:
 793   - "parent"
 794   - "name"
 795   - "show-run"
 796
 797 -
 798   type: "table"
 799   title: "Detailed Test Results - VPP Functional Results"
 800   algorithm: "table_details"
 801   output-file-ext: ".csv"
 802   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
 803   columns:
 804   -
 805     title: "Name"
 806     data: "data name"
 807   -
 808     title: "Documentation"
 809     data: "data doc"
 810   -
 811     title: "Status"
 812     data: "data status"
 813   rows: "generated"
 814   data:
 815     "vpp-func-results"
 816   filter: "all"
 817   parameters:
 818   - "name"
 819   - "parent"
 820   - "doc"
 821   - "status"
 822
 823 -
 824   type: "table"
 825   title: "Test configuration - VPP Functional Test Configs"
 826   algorithm: "table_details"
 827   output-file-ext: ".csv"
 828   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
 829   columns:
 830   -
 831     title: "Name"
 832     data: "data name"
 833   -
 834     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
 835     data: "data vat-history"
 836   rows: "generated"
 837   data:
 838     "vpp-func-results"
 839   filter: "all"
 840   parameters:
 841   - "parent"
 842   - "name"
 843   - "vat-history"
 844
 845 -
 846   type: "table"
 847   title: "Detailed Test Results - Container Orchestrated Topologies Performance Results"
 848   algorithm: "table_details"
 849   output-file-ext: ".csv"
 850   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
 851   columns:
 852   -
 853     title: "Name"
 854     data: "data name"
 855   -
 856     title: "Documentation"
 857     data: "data doc"
 858   -
 859     title: "Status"
 860     data: "data msg"
 861   rows: "generated"
 862   data:
 863     "ligato-perf-results"
 864   filter: "all"
 865   parameters:
 866   - "name"
 867   - "parent"
 868   - "doc"
 869   - "msg"
 870
 871 -
 872   type: "table"
 873   title: "Detailed Test Results - DPDK Performance Results"
 874   algorithm: "table_details"
 875   output-file-ext: ".csv"
 876   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
 877   columns:
 878   -
 879     title: "Name"
 880     data: "data name"
 881   -
 882     title: "Documentation"
 883     data: "data doc"
 884   -
 885     title: "Status"
 886     data: "data msg"
 887   rows: "generated"
 888   data:
 889     "dpdk-perf-results"
 890   filter: "all"
 891   parameters:
 892   - "name"
 893   - "parent"
 894   - "doc"
 895   - "msg"
 896
 897 -
 898   type: "table"
 899   title: "Detailed Test Results - Honeycomb Functional Results"
 900   algorithm: "table_details"
 901   output-file-ext: ".csv"
 902   output-file: "{DIR[DTR,FUNC,HC]}/hc_functional_results"
 903   columns:
 904   -
 905     title: "Name"
 906     data: "data name"
 907   -
 908     title: "Documentation"
 909     data: "data doc"
 910   -
 911     title: "Status"
 912     data: "data status"
 913   rows: "generated"
 914   data:
 915     "hc-func-results"
 916   filter: "all"
 917   parameters:
 918   - "name"
 919   - "parent"
 920   - "doc"
 921   - "status"
 922
 923 -
 924   type: "table"
 925   title: "Detailed Test Results - NSH SFC Functional Results"
 926   algorithm: "table_details"
 927   output-file-ext: ".csv"
 928   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nsh_sfc_functional_results"
 929   columns:
 930   -
 931     title: "Name"
 932     data: "data name"
 933   -
 934     title: "Documentation"
 935     data: "data doc"
 936   -
 937     title: "Status"
 938     data: "data status"
 939   rows: "generated"
 940   data:
 941     "nsh-func-results"
 942   filter: "all"
 943   parameters:
 944   - "name"
 945   - "parent"
 946   - "doc"
 947   - "status"
 948
 949 ################################################################################
 950 ###                                F I L E S                                 ###
 951 ################################################################################
 952
 953 -
 954   type: "file"
 955   title: "VPP Performance Results"
 956   algorithm: "file_merged_test_results"
 957   output-file-ext: ".rst"
 958   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
 959   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
 960   dir-tables: "{DIR[DTR,PERF,VPP]}"
 961   data:
 962     "vpp-perf-results"
 963   filter: "not 'NDRCHK' and not 'PDRCHK'"
 964   parameters:
 965   - "name"
 966   - "doc"
 967   - "level"
 968   - "parent"
 969   data-start-level: 3  # 0, 1, 2, ...
 970   chapters-start-level: 2  # 0, 1, 2, ...
 971
 972 -
 973   type: "file"
 974   title: "VPP Performance Configuration"
 975   algorithm: "file_merged_test_results"
 976   output-file-ext: ".rst"
 977   output-file: "{DIR[DTC,PERF,VPP]}/vpp_performance_configuration"
 978   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
 979   dir-tables: "{DIR[DTC,PERF,VPP]}"
 980   data:
 981     "vpp-perf-results"
 982   filter: "not 'NDRCHK' and not 'PDRCHK'"
 983   parameters:
 984   - "name"
 985   - "doc"
 986   - "level"
 987   - "parent"
 988   data-start-level: 3  # 0, 1, 2, ...
 989   chapters-start-level: 2  # 0, 1, 2, ...
 990
 991 -
 992   type: "file"
 993   title: "VPP Performance Operational Data"
 994   algorithm: "file_merged_test_results"
 995   output-file-ext: ".rst"
 996   output-file: "{DIR[DTO,PERF,VPP]}/vpp_performance_operational_data"
 997   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
 998   dir-tables: "{DIR[DTO,PERF,VPP]}"
 999   data:
1000     "vpp-perf-results"
1001   filter: "not 'NDRCHK' and not 'PDRCHK'"
1002   parameters:
1003   - "name"
1004   - "doc"
1005   - "level"
1006   - "parent"
1007   data-start-level: 3  # 0, 1, 2, ...
1008   chapters-start-level: 2  # 0, 1, 2, ...
1009
1010 -
1011   type: "file"
1012   title: "VPP Functional Results"
1013   algorithm: "file_test_results"
1014   output-file-ext: ".rst"
1015   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
1016   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1017   dir-tables: "{DIR[DTR,FUNC,VPP]}"
1018   data:
1019     "vpp-func-results"
1020   filter: "all"
1021   parameters:
1022   - "name"
1023   - "doc"
1024   - "level"
1025   data-start-level: 3  # 0, 1, 2, ...
1026   chapters-start-level: 2  # 0, 1, 2, ...
1027
1028 -
1029   type: "file"
1030   title: "VPP Functional Configuration"
1031   algorithm: "file_test_results"
1032   output-file-ext: ".rst"
1033   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
1034   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1035   dir-tables: "{DIR[DTC,FUNC,VPP]}"
1036   data:
1037     "vpp-func-results"
1038   filter: "all"
1039   parameters:
1040   - "name"
1041   - "doc"
1042   - "level"
1043   data-start-level: 3  # 0, 1, 2, ...
1044   chapters-start-level: 2  # 0, 1, 2, ...
1045
1046 -
1047   type: "file"
1048   title: "Container Orchestrated Performance Results"
1049   algorithm: "file_test_results"
1050   output-file-ext: ".rst"
1051   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
1052   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1053   dir-tables: "{DIR[DTR,PERF,COT]}"
1054   data:
1055     "ligato-perf-results"
1056   filter: "all"
1057   parameters:
1058   - "name"
1059   - "doc"
1060   - "level"
1061   data-start-level: 2  # 0, 1, 2, ...
1062   chapters-start-level: 2  # 0, 1, 2, ...
1063
1064 -
1065   type: "file"
1066   title: "DPDK Performance Results"
1067   algorithm: "file_test_results"
1068   output-file-ext: ".rst"
1069   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
1070   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1071   dir-tables: "{DIR[DTR,PERF,DPDK]}"
1072   data:
1073     "dpdk-perf-results"
1074   filter: "all"
1075   parameters:
1076   - "name"
1077   - "doc"
1078   - "level"
1079   chapters:
1080   - "suites"
1081   data-start-level: 2  # 0, 1, 2, ...
1082   chapters-start-level: 2  # 0, 1, 2, ...
1083
1084 -
1085   type: "file"
1086   title: "Honeycomb Functional Results"
1087   algorithm: "file_test_results"
1088   output-file-ext: ".rst"
1089   output-file: "{DIR[DTR,FUNC,HC]}/honeycomb_functional_results"
1090   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1091   dir-tables: "{DIR[DTR,FUNC,HC]}"
1092   data:
1093     "hc-func-results"
1094   filter: "all"
1095   parameters:
1096   - "name"
1097   - "doc"
1098   - "level"
1099   chapters:
1100   - "suites"
1101   data-start-level: 3  # 0, 1, 2, ...
1102   chapters-start-level: 2  # 0, 1, 2, ...
1103
1104 -
1105   type: "file"
1106   title: "NSH SFC Functional Results"
1107   algorithm: "file_test_results"
1108   output-file-ext: ".rst"
1109   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nshsfc_functional_results"
1110   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1111   dir-tables: "{DIR[DTR,FUNC,NSHSFC]}"
1112   data:
1113     "nsh-func-results"
1114   filter: "all"
1115   parameters:
1116   - "name"
1117   - "doc"
1118   - "level"
1119   chapters:
1120   - "suites"
1121   data-start-level: 2  # 0, 1, 2, ...
1122   chapters-start-level: 2  # 0, 1, 2, ...
1123
1124 ################################################################################
1125 ###                                P L O T S                                 ###
1126 ################################################################################
1127
1128 # Plots VPP HTTP Server Performance
1129 #-
1130 #  type: "plot"
1131 #  title: "VPP HTTP Server Performance"
1132 #  algorithm: "plot_http_server_performance_box"
1133 #  output-file-type: ".html"
1134 #  output-file: "{DIR[STATIC,VPP]}/http-server-performance-cps"
1135 #  data:
1136 #    "plot-vpp-http-server-performance"
1137 #  # Keep this formatting, the filter is enclosed with " (quotation mark) and
1138 #  # each tag is enclosed with ' (apostrophe).
1139 #  filter: "'HTTP' and 'TCP_CPS'"
1140 #  parameters:
1141 #  - "result"
1142 #  - "name"
1143 #  traces:
1144 #    hoverinfo: "x+y"
1145 #    boxpoints: "outliers"
1146 #    whiskerwidth: 0
1147 #  layout:
1148 #    title: "VPP HTTP Server Performance"
1149 #    layout:
1150 #      "plot-cps"
1151 #
1152 #-
1153 #  type: "plot"
1154 #  title: "VPP HTTP Server Performance"
1155 #  algorithm: "plot_http_server_performance_box"
1156 #  output-file-type: ".html"
1157 #  output-file: "{DIR[STATIC,VPP]}/http-server-performance-rps"
1158 #  data:
1159 #    "plot-vpp-http-server-performance"
1160 #  filter: "'HTTP' and 'TCP_RPS'"
1161 #  parameters:
1162 #  - "result"
1163 #  - "name"
1164 #  traces:
1165 #    hoverinfo: "x+y"
1166 #    boxpoints: "outliers"
1167 #    whiskerwidth: 0
1168 #  layout:
1169 #    title: "VPP HTTP Server Performance"
1170 #    layout:
1171 #      "plot-rps"
1172
1173 # Plot Throughput Speedup Analysis
1174
1175 # L2 - 10ge2p1x520 - NDR
1176 -
1177   type: "plot"
1178   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1179   algorithm: "plot_throughput_speedup_analysis"
1180   output-file-type: ".html"
1181   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-ndrdisc"
1182   data:
1183     "plot-throughput-speedup-analysis"
1184   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1185   parameters:
1186   - "throughput"
1187   - "parent"
1188   - "tags"
1189   layout:
1190     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1191     layout:
1192       "plot-throughput-speedup-analysis"
1193
1194 # L2 - 40ge2p1xl710 - NDR
1195 -
1196   type: "plot"
1197   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1198   algorithm: "plot_throughput_speedup_analysis"
1199   output-file-type: ".html"
1200   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-l2-tsa-ndrdisc"
1201   data:
1202     "plot-throughput-speedup-analysis"
1203   filter: "'NIC_Intel-XL710' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1204   parameters:
1205   - "throughput"
1206   - "parent"
1207   - "tags"
1208   layout:
1209     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1210     layout:
1211       "plot-throughput-speedup-analysis"
1212
1213 # L2 - 10ge2p1x520 - PDR
1214 -
1215   type: "plot"
1216   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1217   algorithm: "plot_throughput_speedup_analysis"
1218   output-file-type: ".html"
1219   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-pdrdisc"
1220   data:
1221     "plot-throughput-speedup-analysis"
1222   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1223   parameters:
1224   - "throughput"
1225   - "parent"
1226   - "tags"
1227   layout:
1228     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1229     layout:
1230       "plot-throughput-speedup-analysis"
1231
1232 # IPv4 - 10ge2p1x520 - NDR
1233 -
1234   type: "plot"
1235   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1236   algorithm: "plot_throughput_speedup_analysis"
1237   output-file-type: ".html"
1238   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-ndrdisc"
1239   data:
1240     "plot-throughput-speedup-analysis"
1241   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1242   parameters:
1243   - "throughput"
1244   - "parent"
1245   - "tags"
1246   layout:
1247     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1248     layout:
1249       "plot-throughput-speedup-analysis"
1250
1251 # IPv4 - 40ge2p1xl710 - NDR
1252 -
1253   type: "plot"
1254   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1255   algorithm: "plot_throughput_speedup_analysis"
1256   output-file-type: ".html"
1257   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-ip4-tsa-ndrdisc"
1258   data:
1259     "plot-throughput-speedup-analysis"
1260   filter: "'NIC_Intel-XL710' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1261   parameters:
1262   - "throughput"
1263   - "parent"
1264   - "tags"
1265   layout:
1266     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1267     layout:
1268       "plot-throughput-speedup-analysis"
1269
1270 # IPv4 - 10ge2p1x520 - PDR
1271 -
1272   type: "plot"
1273   title: "TSA: 64B-*-ethip4-ip4(base|scale)*pdrdisc"
1274   algorithm: "plot_throughput_speedup_analysis"
1275   output-file-type: ".html"
1276   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-pdrdisc"
1277   data:
1278     "plot-throughput-speedup-analysis"
1279   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1280   parameters:
1281   - "throughput"
1282   - "parent"
1283   - "tags"
1284   layout:
1285     title: "64B-*-ethip4-ip4(base|scale)*pdrdisc"
1286     layout:
1287       "plot-throughput-speedup-analysis"
1288
1289 # IPv6 - 10ge2p1x520 - NDR
1290 -
1291   type: "plot"
1292   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1293   algorithm: "plot_throughput_speedup_analysis"
1294   output-file-type: ".html"
1295   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-ndrdisc"
1296   data:
1297     "plot-throughput-speedup-analysis"
1298   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1299   parameters:
1300   - "throughput"
1301   - "parent"
1302   - "tags"
1303   layout:
1304     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1305     layout:
1306       "plot-throughput-speedup-analysis"
1307
1308 # IPv6 - 40ge2p1xl710 - NDR
1309 -
1310   type: "plot"
1311   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1312   algorithm: "plot_throughput_speedup_analysis"
1313   output-file-type: ".html"
1314   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-78B-ip6-tsa-ndrdisc"
1315   data:
1316     "plot-throughput-speedup-analysis"
1317   filter: "'NIC_Intel-XL710' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1318   parameters:
1319   - "throughput"
1320   - "parent"
1321   - "tags"
1322   layout:
1323     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1324     layout:
1325       "plot-throughput-speedup-analysis"
1326
1327 # IPv6 - 10ge2p1x520 - PDR
1328 -
1329   type: "plot"
1330   title: "TSA: 78B-*-ethip6-ip6(base|scale)*pdrdisc"
1331   algorithm: "plot_throughput_speedup_analysis"
1332   output-file-type: ".html"
1333   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-pdrdisc"
1334   data:
1335     "plot-throughput-speedup-analysis"
1336   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST'"
1337   parameters:
1338   - "throughput"
1339   - "parent"
1340   - "tags"
1341   layout:
1342     title: "78B-*-ethip6-ip6(base|scale)*pdrdisc"
1343     layout:
1344       "plot-throughput-speedup-analysis"
1345
1346 # Plot packets per second
1347
1348 # VPP L2 sel1
1349 -
1350   type: "plot"
1351   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1352   algorithm: "plot_performance_box"
1353   output-file-type: ".html"
1354   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc"
1355   data:
1356     "plot-vpp-throughput-latency"
1357   # Keep this formatting, the filter is enclosed with " (quotation mark) and
1358   # each tag is enclosed with ' (apostrophe).
1359   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1360   parameters:
1361   - "throughput"
1362   - "parent"
1363   traces:
1364     hoverinfo: "x+y"
1365     boxpoints: "outliers"
1366     whiskerwidth: 0
1367   layout:
1368     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1369     layout:
1370       "plot-throughput"
1371
1372 -
1373   type: "plot"
1374   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1375   algorithm: "plot_performance_box"
1376   output-file-type: ".html"
1377   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc"
1378   data:
1379     "plot-vpp-throughput-latency"
1380   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1381   parameters:
1382   - "throughput"
1383   - "parent"
1384   traces:
1385     hoverinfo: "x+y"
1386     boxpoints: "outliers"
1387     whiskerwidth: 0
1388   layout:
1389     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1390     layout:
1391       "plot-throughput"
1392
1393 -
1394   type: "plot"
1395   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1396   algorithm: "plot_performance_box"
1397   output-file-type: ".html"
1398   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-pdrdisc"
1399   data:
1400     "plot-vpp-throughput-latency"
1401   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1402   parameters:
1403   - "throughput"
1404   - "parent"
1405   traces:
1406     hoverinfo: "x+y"
1407     boxpoints: "outliers"
1408     whiskerwidth: 0
1409   layout:
1410     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1411     layout:
1412       "plot-throughput"
1413
1414 -
1415   type: "plot"
1416   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1417   algorithm: "plot_performance_box"
1418   output-file-type: ".html"
1419   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-pdrdisc"
1420   data:
1421     "plot-vpp-throughput-latency"
1422   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1423   parameters:
1424   - "throughput"
1425   - "parent"
1426   traces:
1427     hoverinfo: "x+y"
1428     boxpoints: "outliers"
1429     whiskerwidth: 0
1430   layout:
1431     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1432     layout:
1433       "plot-throughput"
1434
1435 # VPP L2 sel2
1436 -
1437   type: "plot"
1438   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1439   algorithm: "plot_performance_box"
1440   output-file-type: ".html"
1441   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc"
1442   data:
1443     "plot-vpp-throughput-latency"
1444   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1445   parameters:
1446   - "throughput"
1447   - "parent"
1448   traces:
1449     hoverinfo: "x+y"
1450     boxpoints: "outliers"
1451     whiskerwidth: 0
1452   layout:
1453     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1454     layout:
1455       "plot-throughput"
1456
1457 -
1458   type: "plot"
1459   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1460   algorithm: "plot_performance_box"
1461   output-file-type: ".html"
1462   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc"
1463   data:
1464     "plot-vpp-throughput-latency"
1465   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1466   parameters:
1467   - "throughput"
1468   - "parent"
1469   traces:
1470     hoverinfo: "x+y"
1471     boxpoints: "outliers"
1472     whiskerwidth: 0
1473   layout:
1474     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1475     layout:
1476       "plot-throughput"
1477
1478 -
1479   type: "plot"
1480   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1481   algorithm: "plot_performance_box"
1482   output-file-type: ".html"
1483   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-pdrdisc"
1484   data:
1485     "plot-vpp-throughput-latency"
1486   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1487   parameters:
1488   - "throughput"
1489   - "parent"
1490   traces:
1491     hoverinfo: "x+y"
1492     boxpoints: "outliers"
1493     whiskerwidth: 0
1494   layout:
1495     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1496     layout:
1497       "plot-throughput"
1498
1499 -
1500   type: "plot"
1501   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1502   algorithm: "plot_performance_box"
1503   output-file-type: ".html"
1504   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-pdrdisc"
1505   data:
1506     "plot-vpp-throughput-latency"
1507   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1508   parameters:
1509   - "throughput"
1510   - "parent"
1511   traces:
1512     hoverinfo: "x+y"
1513     boxpoints: "outliers"
1514     whiskerwidth: 0
1515   layout:
1516     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1517     layout:
1518       "plot-throughput"
1519
1520 # VPP IP4
1521 -
1522   type: "plot"
1523   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1524   algorithm: "plot_performance_box"
1525   output-file-type: ".html"
1526   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc"
1527   data:
1528     "plot-vpp-throughput-latency"
1529   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1530   parameters:
1531   - "throughput"
1532   - "parent"
1533   traces:
1534     hoverinfo: "x+y"
1535     boxpoints: "outliers"
1536     whiskerwidth: 0
1537   layout:
1538     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1539     layout:
1540       "plot-throughput"
1541
1542 -
1543   type: "plot"
1544   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1545   algorithm: "plot_performance_box"
1546   output-file-type: ".html"
1547   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc"
1548   data:
1549     "plot-vpp-throughput-latency"
1550   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1551   parameters:
1552   - "throughput"
1553   - "parent"
1554   traces:
1555     hoverinfo: "x+y"
1556     boxpoints: "outliers"
1557     whiskerwidth: 0
1558   layout:
1559     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1560     layout:
1561       "plot-throughput"
1562
1563 -
1564   type: "plot"
1565   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1566   algorithm: "plot_performance_box"
1567   output-file-type: ".html"
1568   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-pdrdisc"
1569   data:
1570     "plot-vpp-throughput-latency"
1571   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1572   parameters:
1573   - "throughput"
1574   - "parent"
1575   traces:
1576     hoverinfo: "x+y"
1577     boxpoints: "outliers"
1578     whiskerwidth: 0
1579   layout:
1580     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1581     layout:
1582       "plot-throughput"
1583
1584 -
1585   type: "plot"
1586   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1587   algorithm: "plot_performance_box"
1588   output-file-type: ".html"
1589   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-pdrdisc"
1590   data:
1591     "plot-vpp-throughput-latency"
1592   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1593   parameters:
1594   - "throughput"
1595   - "parent"
1596   traces:
1597     hoverinfo: "x+y"
1598     boxpoints: "outliers"
1599     whiskerwidth: 0
1600   layout:
1601     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1602     layout:
1603       "plot-throughput"
1604
1605 # VPP IP6
1606 -
1607   type: "plot"
1608   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1609   algorithm: "plot_performance_box"
1610   output-file-type: ".html"
1611   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc"
1612   data:
1613     "plot-vpp-throughput-latency"
1614   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1615   parameters:
1616   - "throughput"
1617   - "parent"
1618   traces:
1619     hoverinfo: "x+y"
1620     boxpoints: "outliers"
1621     whiskerwidth: 0
1622   layout:
1623     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1624     layout:
1625       "plot-throughput"
1626
1627 -
1628   type: "plot"
1629   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1630   algorithm: "plot_performance_box"
1631   output-file-type: ".html"
1632   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc"
1633   data:
1634     "plot-vpp-throughput-latency"
1635   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1636   parameters:
1637   - "throughput"
1638   - "parent"
1639   traces:
1640     hoverinfo: "x+y"
1641     boxpoints: "outliers"
1642     whiskerwidth: 0
1643   layout:
1644     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1645     layout:
1646       "plot-throughput"
1647
1648 -
1649   type: "plot"
1650   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1651   algorithm: "plot_performance_box"
1652   output-file-type: ".html"
1653   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-pdrdisc"
1654   data:
1655     "plot-vpp-throughput-latency"
1656   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1657   parameters:
1658   - "throughput"
1659   - "parent"
1660   traces:
1661     hoverinfo: "x+y"
1662     boxpoints: "outliers"
1663     whiskerwidth: 0
1664   layout:
1665     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1666     layout:
1667       "plot-throughput"
1668
1669 -
1670   type: "plot"
1671   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1672   algorithm: "plot_performance_box"
1673   output-file-type: ".html"
1674   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-pdrdisc"
1675   data:
1676     "plot-vpp-throughput-latency"
1677   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1678   parameters:
1679   - "throughput"
1680   - "parent"
1681   traces:
1682     hoverinfo: "x+y"
1683     boxpoints: "outliers"
1684     whiskerwidth: 0
1685   layout:
1686     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1687     layout:
1688       "plot-throughput"
1689
1690 # VPP IP4_overlay
1691 -
1692   type: "plot"
1693   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1694   algorithm: "plot_performance_box"
1695   output-file-type: ".html"
1696   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc"
1697   data:
1698     "plot-vpp-throughput-latency"
1699   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1700   parameters:
1701   - "throughput"
1702   - "parent"
1703   traces:
1704     hoverinfo: "x+y"
1705     boxpoints: "outliers"
1706     whiskerwidth: 0
1707   layout:
1708     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1709     layout:
1710       "plot-throughput"
1711
1712 -
1713   type: "plot"
1714   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1715   algorithm: "plot_performance_box"
1716   output-file-type: ".html"
1717   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc"
1718   data:
1719     "plot-vpp-throughput-latency"
1720   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1721   parameters:
1722   - "throughput"
1723   - "parent"
1724   traces:
1725     hoverinfo: "x+y"
1726     boxpoints: "outliers"
1727     whiskerwidth: 0
1728   layout:
1729     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1730     layout:
1731       "plot-throughput"
1732
1733 -
1734   type: "plot"
1735   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1736   algorithm: "plot_performance_box"
1737   output-file-type: ".html"
1738   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-pdrdisc"
1739   data:
1740     "plot-vpp-throughput-latency"
1741   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1742   parameters:
1743   - "throughput"
1744   - "parent"
1745   traces:
1746     hoverinfo: "x+y"
1747     boxpoints: "outliers"
1748     whiskerwidth: 0
1749   layout:
1750     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1751     layout:
1752       "plot-throughput"
1753
1754 -
1755   type: "plot"
1756   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1757   algorithm: "plot_performance_box"
1758   output-file-type: ".html"
1759   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-pdrdisc"
1760   data:
1761     "plot-vpp-throughput-latency"
1762   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1763   parameters:
1764   - "throughput"
1765   - "parent"
1766   traces:
1767     hoverinfo: "x+y"
1768     boxpoints: "outliers"
1769     whiskerwidth: 0
1770   layout:
1771     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1772     layout:
1773       "plot-throughput"
1774
1775 # VPP IP6_overlay
1776 -
1777   type: "plot"
1778   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1779   algorithm: "plot_performance_box"
1780   output-file-type: ".html"
1781   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc"
1782   data:
1783     "plot-vpp-throughput-latency"
1784   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1785   parameters:
1786   - "throughput"
1787   - "parent"
1788   traces:
1789     hoverinfo: "x+y"
1790     boxpoints: "outliers"
1791     whiskerwidth: 0
1792   layout:
1793     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1794     xaxis:
1795       autorange: True
1796       autotick: False
1797       fixedrange: False
1798       gridcolor: "rgb(238, 238, 238)"
1799       linecolor: "rgb(238, 238, 238)"
1800       linewidth: 1
1801       showgrid: True
1802       showline: True
1803       showticklabels: True
1804       tickcolor: "rgb(238, 238, 238)"
1805       tickmode: "linear"
1806       title: "Indexed Test Cases"
1807       zeroline: False
1808     yaxis:
1809       gridcolor: "rgb(238, 238, 238)'"
1810       hoverformat: ".4s"
1811       linecolor: "rgb(238, 238, 238)"
1812       linewidth: 1
1813       range: [2000000, 6000000]
1814       showgrid: True
1815       showline: True
1816       showticklabels: True
1817       tickcolor: "rgb(238, 238, 238)"
1818       title: "Packets Per Second [pps]"
1819       zeroline: False
1820     boxmode: "group"
1821     boxgroupgap: 0.5
1822     autosize: False
1823     margin:
1824       t: 50
1825       b: 20
1826       l: 50
1827       r: 20
1828     showlegend: True
1829     legend:
1830       orientation: "h"
1831     width: 700
1832     height: 1000
1833
1834 -
1835   type: "plot"
1836   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1837   algorithm: "plot_performance_box"
1838   output-file-type: ".html"
1839   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc"
1840   data:
1841     "plot-vpp-throughput-latency"
1842   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1843   parameters:
1844   - "throughput"
1845   - "parent"
1846   traces:
1847     hoverinfo: "x+y"
1848     boxpoints: "outliers"
1849     whiskerwidth: 0
1850   layout:
1851     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1852     layout:
1853       "plot-throughput"
1854
1855 -
1856   type: "plot"
1857   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1858   algorithm: "plot_performance_box"
1859   output-file-type: ".html"
1860   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-pdrdisc"
1861   data:
1862     "plot-vpp-throughput-latency"
1863   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1864   parameters:
1865   - "throughput"
1866   - "parent"
1867   traces:
1868     hoverinfo: "x+y"
1869     boxpoints: "outliers"
1870     whiskerwidth: 0
1871   layout:
1872     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1873     layout:
1874       "plot-throughput"
1875
1876 -
1877   type: "plot"
1878   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1879   algorithm: "plot_performance_box"
1880   output-file-type: ".html"
1881   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-pdrdisc"
1882   data:
1883     "plot-vpp-throughput-latency"
1884   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1885   parameters:
1886   - "throughput"
1887   - "parent"
1888   traces:
1889     hoverinfo: "x+y"
1890     boxpoints: "outliers"
1891     whiskerwidth: 0
1892   layout:
1893     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1894     xaxis:
1895       autorange: True
1896       autotick: False
1897       fixedrange: False
1898       gridcolor: "rgb(238, 238, 238)"
1899       linecolor: "rgb(238, 238, 238)"
1900       linewidth: 1
1901       showgrid: True
1902       showline: True
1903       showticklabels: True
1904       tickcolor: "rgb(238, 238, 238)"
1905       tickmode: "linear"
1906       title: "Indexed Test Cases"
1907       zeroline: False
1908     yaxis:
1909       gridcolor: "rgb(238, 238, 238)'"
1910       hoverformat: ".4s"
1911       linecolor: "rgb(238, 238, 238)"
1912       linewidth: 1
1913       range: [4000000, 12000000]
1914       showgrid: True
1915       showline: True
1916       showticklabels: True
1917       tickcolor: "rgb(238, 238, 238)"
1918       title: "Packets Per Second [pps]"
1919       zeroline: False
1920     boxmode: "group"
1921     boxgroupgap: 0.5
1922     autosize: False
1923     margin:
1924       t: 50
1925       b: 20
1926       l: 50
1927       r: 20
1928     showlegend: True
1929     legend:
1930       orientation: "h"
1931     width: 700
1932     height: 1000
1933
1934 # VPP VM VHOST
1935 -
1936   type: "plot"
1937   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
1938   algorithm: "plot_performance_box"
1939   output-file-type: ".html"
1940   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc"
1941   data:
1942     "plot-vpp-throughput-latency"
1943   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
1944   parameters:
1945   - "throughput"
1946   - "parent"
1947   traces:
1948     hoverinfo: "x+y"
1949     boxpoints: "outliers"
1950     whiskerwidth: 0
1951   layout:
1952     title: "64B-1t1c-.*vhost.*-ndrdisc"
1953     xaxis:
1954       autorange: True
1955       autotick: False
1956       fixedrange: False
1957       gridcolor: "rgb(238, 238, 238)"
1958       linecolor: "rgb(238, 238, 238)"
1959       linewidth: 1
1960       showgrid: True
1961       showline: True
1962       showticklabels: True
1963       tickcolor: "rgb(238, 238, 238)"
1964       tickmode: "linear"
1965       title: "Indexed Test Cases"
1966       zeroline: False
1967     yaxis:
1968       gridcolor: "rgb(238, 238, 238)'"
1969       hoverformat: ".4s"
1970       linecolor: "rgb(238, 238, 238)"
1971       linewidth: 1
1972       range: [0, 3500000]
1973       showgrid: True
1974       showline: True
1975       showticklabels: True
1976       tickcolor: "rgb(238, 238, 238)"
1977       title: "Packets Per Second [pps]"
1978       zeroline: False
1979     boxmode: "group"
1980     boxgroupgap: 0.5
1981     autosize: False
1982     margin:
1983       t: 50
1984       b: 20
1985       l: 50
1986       r: 20
1987     showlegend: True
1988     legend:
1989       orientation: "h"
1990     width: 700
1991     height: 1000
1992
1993 -
1994   type: "plot"
1995   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
1996   algorithm: "plot_performance_box"
1997   output-file-type: ".html"
1998   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc"
1999   data:
2000     "plot-vpp-throughput-latency"
2001   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2002   parameters:
2003   - "throughput"
2004   - "parent"
2005   traces:
2006     hoverinfo: "x+y"
2007     boxpoints: "outliers"
2008     whiskerwidth: 0
2009   layout:
2010     title: "64B-2t2c-.*vhost.*-ndrdisc"
2011     layout:
2012       "plot-throughput"
2013
2014 -
2015   type: "plot"
2016   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2017   algorithm: "plot_performance_box"
2018   output-file-type: ".html"
2019   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-pdrdisc"
2020   data:
2021     "plot-vpp-throughput-latency"
2022   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2023   parameters:
2024   - "throughput"
2025   - "parent"
2026   traces:
2027     hoverinfo: "x+y"
2028     boxpoints: "outliers"
2029     whiskerwidth: 0
2030   layout:
2031     title: "64B-1t1c-.*vhost.*-pdrdisc"
2032     layout:
2033       "plot-throughput"
2034
2035 -
2036   type: "plot"
2037   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2038   algorithm: "plot_performance_box"
2039   output-file-type: ".html"
2040   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-pdrdisc"
2041   data:
2042     "plot-vpp-throughput-latency"
2043   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2044   parameters:
2045   - "throughput"
2046   - "parent"
2047   traces:
2048     hoverinfo: "x+y"
2049     boxpoints: "outliers"
2050     whiskerwidth: 0
2051   layout:
2052     title: "64B-2t2c-.*vhost.*-pdrdisc"
2053     layout:
2054       "plot-throughput"
2055
2056 # VPP VM VHOST SELECTION
2057 -
2058   type: "plot"
2059   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2060   algorithm: "plot_performance_box"
2061   output-file-type: ".html"
2062   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc"
2063   data:
2064     "plot-vpp-throughput-latency"
2065   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2066   parameters:
2067   - "throughput"
2068   - "parent"
2069   traces:
2070     hoverinfo: "x+y"
2071     boxpoints: "outliers"
2072     whiskerwidth: 0
2073   layout:
2074     title: "64B-1t1c-.*vhost.*-ndrdisc"
2075     layout:
2076       "plot-throughput"
2077
2078 -
2079   type: "plot"
2080   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2081   algorithm: "plot_performance_box"
2082   output-file-type: ".html"
2083   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc"
2084   data:
2085     "plot-vpp-throughput-latency"
2086   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2087   parameters:
2088   - "throughput"
2089   - "parent"
2090   traces:
2091     hoverinfo: "x+y"
2092     boxpoints: "outliers"
2093     whiskerwidth: 0
2094   layout:
2095     title: "64B-2t2c-.*vhost.*-ndrdisc"
2096     layout:
2097       "plot-throughput"
2098
2099 -
2100   type: "plot"
2101   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2102   algorithm: "plot_performance_box"
2103   output-file-type: ".html"
2104   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-pdrdisc"
2105   data:
2106     "plot-vpp-throughput-latency"
2107   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2108   parameters:
2109   - "throughput"
2110   - "parent"
2111   traces:
2112     hoverinfo: "x+y"
2113     boxpoints: "outliers"
2114     whiskerwidth: 0
2115   layout:
2116     title: "64B-1t1c-.*vhost.*-pdrdisc"
2117     layout:
2118       "plot-throughput"
2119
2120 -
2121   type: "plot"
2122   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2123   algorithm: "plot_performance_box"
2124   output-file-type: ".html"
2125   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-pdrdisc"
2126   data:
2127     "plot-vpp-throughput-latency"
2128   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2129   parameters:
2130   - "throughput"
2131   - "parent"
2132   traces:
2133     hoverinfo: "x+y"
2134     boxpoints: "outliers"
2135     whiskerwidth: 0
2136   layout:
2137     title: "64B-2t2c-.*vhost.*-pdrdisc"
2138     layout:
2139       "plot-throughput"
2140
2141 # VPP CRYPTO
2142 -
2143   type: "plot"
2144   title: "VPP Performance 64B-1t1c-.*ipsec.*-ndrdisc"
2145   algorithm: "plot_performance_box"
2146   output-file-type: ".html"
2147   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc"
2148   data:
2149     "plot-vpp-throughput-latency"
2150   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2151   parameters:
2152   - "throughput"
2153   - "parent"
2154   traces:
2155     hoverinfo: "x+y"
2156     boxpoints: "outliers"
2157     whiskerwidth: 0
2158   layout:
2159     title: "64B-1t1c-.*ipsec.*-ndrdisc"
2160     layout:
2161       "plot-throughput"
2162
2163 -
2164   type: "plot"
2165   title: "VPP Performance 64B-2t2c-.*ipsec.*-ndrdisc"
2166   algorithm: "plot_performance_box"
2167   output-file-type: ".html"
2168   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc"
2169   data:
2170     "plot-vpp-throughput-latency"
2171   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2172   parameters:
2173   - "throughput"
2174   - "parent"
2175   traces:
2176     hoverinfo: "x+y"
2177     boxpoints: "outliers"
2178     whiskerwidth: 0
2179   layout:
2180     title: "64B-2t2c-.*ipsec.*-ndrdisc"
2181     layout:
2182       "plot-throughput"
2183
2184 -
2185   type: "plot"
2186   title: "VPP Performance 64B-1t1c-.*ipsec.*-pdrdisc"
2187   algorithm: "plot_performance_box"
2188   output-file-type: ".html"
2189   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-pdrdisc"
2190   data:
2191     "plot-vpp-throughput-latency"
2192   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2193   parameters:
2194   - "throughput"
2195   - "parent"
2196   traces:
2197     hoverinfo: "x+y"
2198     boxpoints: "outliers"
2199     whiskerwidth: 0
2200   layout:
2201     title: "64B-1t1c-.*ipsec.*-pdrdisc"
2202     layout:
2203       "plot-throughput"
2204
2205 -
2206   type: "plot"
2207   title: "VPP Performance 64B-2t2c-.*ipsec.*-pdrdisc"
2208   algorithm: "plot_performance_box"
2209   output-file-type: ".html"
2210   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-pdrdisc"
2211   data:
2212     "plot-vpp-throughput-latency"
2213   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2214   parameters:
2215   - "throughput"
2216   - "parent"
2217   traces:
2218     hoverinfo: "x+y"
2219     boxpoints: "outliers"
2220     whiskerwidth: 0
2221   layout:
2222     title: "64B-2t2c-.*ipsec.*-pdrdisc"
2223     layout:
2224       "plot-throughput"
2225
2226 # DPDK
2227 -
2228   type: "plot"
2229   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2230   algorithm: "plot_performance_box"
2231   output-file-type: ".html"
2232   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc"
2233   data:
2234     "plot-dpdk-throughput-latency"
2235   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2236   parameters:
2237   - "throughput"
2238   - "parent"
2239   traces:
2240     hoverinfo: "x+y"
2241     boxpoints: "outliers"
2242     whiskerwidth: 0
2243   layout:
2244     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2245     layout:
2246       "plot-throughput"
2247
2248 -
2249   type: "plot"
2250   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2251   algorithm: "plot_performance_box"
2252   output-file-type: ".html"
2253   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc"
2254   data:
2255     "plot-dpdk-throughput-latency"
2256   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2257   parameters:
2258   - "throughput"
2259   - "parent"
2260   traces:
2261     hoverinfo: "x+y"
2262     boxpoints: "outliers"
2263     whiskerwidth: 0
2264   layout:
2265     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2266     layout:
2267       "plot-throughput"
2268
2269 -
2270   type: "plot"
2271   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2272   algorithm: "plot_performance_box"
2273   output-file-type: ".html"
2274   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc"
2275   data:
2276     "plot-dpdk-throughput-latency"
2277   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
2278   parameters:
2279   - "throughput"
2280   - "parent"
2281   traces:
2282     hoverinfo: "x+y"
2283     boxpoints: "outliers"
2284     whiskerwidth: 0
2285   layout:
2286     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2287     xaxis:
2288       autorange: True
2289       autotick: False
2290       fixedrange: False
2291       gridcolor: "rgb(238, 238, 238)"
2292       linecolor: "rgb(238, 238, 238)"
2293       linewidth: 1
2294       showgrid: True
2295       showline: True
2296       showticklabels: True
2297       tickcolor: "rgb(238, 238, 238)"
2298       tickmode: "linear"
2299       title: "Indexed Test Cases"
2300       zeroline: False
2301     yaxis:
2302       gridcolor: "rgb(238, 238, 238)'"
2303       hoverformat: ".4s"
2304       linecolor: "rgb(238, 238, 238)"
2305       linewidth: 1
2306       range: [2000000, 12000000]
2307       showgrid: True
2308       showline: True
2309       showticklabels: True
2310       tickcolor: "rgb(238, 238, 238)"
2311       title: "Packets Per Second [pps]"
2312       zeroline: False
2313     boxmode: "group"
2314     boxgroupgap: 0.5
2315     autosize: False
2316     margin:
2317       t: 50
2318       b: 20
2319       l: 50
2320       r: 20
2321     showlegend: True
2322     legend:
2323       orientation: "h"
2324     width: 700
2325     height: 1000
2326
2327 -
2328   type: "plot"
2329   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2330   algorithm: "plot_performance_box"
2331   output-file-type: ".html"
2332   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc"
2333   data:
2334     "plot-dpdk-throughput-latency"
2335   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
2336   parameters:
2337   - "throughput"
2338   - "parent"
2339   traces:
2340     hoverinfo: "x+y"
2341     boxpoints: "outliers"
2342     whiskerwidth: 0
2343   layout:
2344     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2345     xaxis:
2346       autorange: True
2347       autotick: False
2348       fixedrange: False
2349       gridcolor: "rgb(238, 238, 238)"
2350       linecolor: "rgb(238, 238, 238)"
2351       linewidth: 1
2352       showgrid: True
2353       showline: True
2354       showticklabels: True
2355       tickcolor: "rgb(238, 238, 238)"
2356       tickmode: "linear"
2357       title: "Indexed Test Cases"
2358       zeroline: False
2359     yaxis:
2360       gridcolor: "rgb(238, 238, 238)'"
2361       hoverformat: ".4s"
2362       linecolor: "rgb(238, 238, 238)"
2363       linewidth: 1
2364       range: [2000000, 12000000]
2365       showgrid: True
2366       showline: True
2367       showticklabels: True
2368       tickcolor: "rgb(238, 238, 238)"
2369       title: "Packets Per Second [pps]"
2370       zeroline: False
2371     boxmode: "group"
2372     boxgroupgap: 0.5
2373     autosize: False
2374     margin:
2375       t: 50
2376       b: 20
2377       l: 50
2378       r: 20
2379     showlegend: True
2380     legend:
2381       orientation: "h"
2382     width: 700
2383     height: 1000
2384
2385 -
2386   type: "plot"
2387   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2388   algorithm: "plot_performance_box"
2389   output-file-type: ".html"
2390   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-pdrdisc"
2391   data:
2392     "plot-dpdk-throughput-latency"
2393   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2394   parameters:
2395   - "throughput"
2396   - "parent"
2397   traces:
2398     hoverinfo: "x+y"
2399     boxpoints: "outliers"
2400     whiskerwidth: 0
2401   layout:
2402     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2403     layout:
2404       "plot-throughput"
2405
2406 -
2407   type: "plot"
2408   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2409   algorithm: "plot_performance_box"
2410   output-file-type: ".html"
2411   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-pdrdisc"
2412   data:
2413     "plot-dpdk-throughput-latency"
2414   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2415   parameters:
2416   - "throughput"
2417   - "parent"
2418   traces:
2419     hoverinfo: "x+y"
2420     boxpoints: "outliers"
2421     whiskerwidth: 0
2422   layout:
2423     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2424     layout:
2425       "plot-throughput"
2426
2427 -
2428   type: "plot"
2429   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
2430   algorithm: "plot_performance_box"
2431   output-file-type: ".html"
2432   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-pdrdisc"
2433   data:
2434     "plot-dpdk-throughput-latency"
2435   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD'"
2436   parameters:
2437   - "throughput"
2438   - "parent"
2439   traces:
2440     hoverinfo: "x+y"
2441     boxpoints: "outliers"
2442     whiskerwidth: 0
2443   layout:
2444     title: "64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
2445     xaxis:
2446       autorange: True
2447       autotick: False
2448       fixedrange: False
2449       gridcolor: "rgb(238, 238, 238)"
2450       linecolor: "rgb(238, 238, 238)"
2451       linewidth: 1
2452       showgrid: True
2453       showline: True
2454       showticklabels: True
2455       tickcolor: "rgb(238, 238, 238)"
2456       tickmode: "linear"
2457       title: "Indexed Test Cases"
2458       zeroline: False
2459     yaxis:
2460       gridcolor: "rgb(238, 238, 238)'"
2461       hoverformat: ".4s"
2462       linecolor: "rgb(238, 238, 238)"
2463       linewidth: 1
2464       range: [20000000, 30000000]
2465       showgrid: True
2466       showline: True
2467       showticklabels: True
2468       tickcolor: "rgb(238, 238, 238)"
2469       title: "Packets Per Second [pps]"
2470       zeroline: False
2471     boxmode: "group"
2472     boxgroupgap: 0.5
2473     autosize: False
2474     margin:
2475       t: 50
2476       b: 20
2477       l: 50
2478       r: 20
2479     showlegend: True
2480     legend:
2481       orientation: "h"
2482     width: 700
2483     height: 1000
2484
2485 -
2486   type: "plot"
2487   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
2488   algorithm: "plot_performance_box"
2489   output-file-type: ".html"
2490   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-pdrdisc"
2491   data:
2492     "plot-dpdk-throughput-latency"
2493   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD'"
2494   parameters:
2495   - "throughput"
2496   - "parent"
2497   traces:
2498     hoverinfo: "x+y"
2499     boxpoints: "outliers"
2500     whiskerwidth: 0
2501   layout:
2502     title: "64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
2503     xaxis:
2504       autorange: True
2505       autotick: False
2506       fixedrange: False
2507       gridcolor: "rgb(238, 238, 238)"
2508       linecolor: "rgb(238, 238, 238)"
2509       linewidth: 1
2510       showgrid: True
2511       showline: True
2512       showticklabels: True
2513       tickcolor: "rgb(238, 238, 238)"
2514       tickmode: "linear"
2515       title: "Indexed Test Cases"
2516       zeroline: False
2517     yaxis:
2518       gridcolor: "rgb(238, 238, 238)'"
2519       hoverformat: ".4s"
2520       linecolor: "rgb(238, 238, 238)"
2521       linewidth: 1
2522       range: [20000000, 30000000]
2523       showgrid: True
2524       showline: True
2525       showticklabels: True
2526       tickcolor: "rgb(238, 238, 238)"
2527       title: "Packets Per Second [pps]"
2528       zeroline: False
2529     boxmode: "group"
2530     boxgroupgap: 0.5
2531     autosize: False
2532     margin:
2533       t: 50
2534       b: 20
2535       l: 50
2536       r: 20
2537     showlegend: True
2538     legend:
2539       orientation: "h"
2540     width: 700
2541     height: 1000
2542
2543 # Plot latency
2544
2545 # VPP L2 sel1
2546 -
2547   type: "plot"
2548   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2549   algorithm: "plot_latency_box"
2550   output-file-type: ".html"
2551   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc-lat50"
2552   data:
2553     "plot-vpp-throughput-latency"
2554   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2555   parameters:
2556   - "latency"
2557   - "parent"
2558   traces:
2559     boxmean: False
2560   layout:
2561     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2562     layout:
2563       "plot-latency"
2564
2565 -
2566   type: "plot"
2567   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2568   algorithm: "plot_latency_box"
2569   output-file-type: ".html"
2570   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc-lat50"
2571   data:
2572     "plot-vpp-throughput-latency"
2573   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2574   parameters:
2575   - "latency"
2576   - "parent"
2577   traces:
2578     boxmean: False
2579   layout:
2580     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2581     layout:
2582       "plot-latency"
2583
2584 # VPP L2 sel2
2585 -
2586   type: "plot"
2587   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2588   algorithm: "plot_latency_box"
2589   output-file-type: ".html"
2590   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc-lat50"
2591   data:
2592     "plot-vpp-throughput-latency"
2593   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2594   parameters:
2595   - "latency"
2596   - "parent"
2597   traces:
2598     boxmean: False
2599   layout:
2600     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2601     layout:
2602       "plot-latency"
2603
2604 -
2605   type: "plot"
2606   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2607   algorithm: "plot_latency_box"
2608   output-file-type: ".html"
2609   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc-lat50"
2610   data:
2611     "plot-vpp-throughput-latency"
2612   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2613   parameters:
2614   - "latency"
2615   - "parent"
2616   traces:
2617     boxmean: False
2618   layout:
2619     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2620     layout:
2621       "plot-latency"
2622
2623 # VPP IP4
2624 -
2625   type: "plot"
2626   title: "VPP Latency 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2627   algorithm: "plot_latency_box"
2628   output-file-type: ".html"
2629   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc-lat50"
2630   data:
2631     "plot-vpp-throughput-latency"
2632   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
2633   parameters:
2634   - "latency"
2635   - "parent"
2636   traces:
2637     boxmean: False
2638   layout:
2639     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2640     layout:
2641       "plot-latency"
2642
2643 -
2644   type: "plot"
2645   title: "VPP Latency 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2646   algorithm: "plot_latency_box"
2647   output-file-type: ".html"
2648   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc-lat50"
2649   data:
2650     "plot-vpp-throughput-latency"
2651   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
2652   parameters:
2653   - "latency"
2654   - "parent"
2655   traces:
2656     boxmean: False
2657   layout:
2658     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2659     layout:
2660       "plot-latency"
2661
2662 # VPP IP6
2663 -
2664   type: "plot"
2665   title: "VPP Latency 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2666   algorithm: "plot_latency_box"
2667   output-file-type: ".html"
2668   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc-lat50"
2669   data:
2670     "plot-vpp-throughput-latency"
2671   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2672   parameters:
2673   - "latency"
2674   - "parent"
2675   traces:
2676     boxmean: False
2677   layout:
2678     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2679     layout:
2680       "plot-latency"
2681
2682 -
2683   type: "plot"
2684   title: "VPP Latency 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2685   algorithm: "plot_latency_box"
2686   output-file-type: ".html"
2687   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc-lat50"
2688   data:
2689     "plot-vpp-throughput-latency"
2690   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2691   parameters:
2692   - "latency"
2693   - "parent"
2694   traces:
2695     boxmean: False
2696   layout:
2697     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2698     layout:
2699       "plot-latency"
2700
2701 # VPP IP4_overlay
2702 -
2703   type: "plot"
2704   title: "VPP Latency 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2705   algorithm: "plot_latency_box"
2706   output-file-type: ".html"
2707   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc-lat50"
2708   data:
2709     "plot-vpp-throughput-latency"
2710   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2711   parameters:
2712   - "latency"
2713   - "parent"
2714   traces:
2715     boxmean: False
2716   layout:
2717     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2718     layout:
2719       "plot-latency"
2720
2721 -
2722   type: "plot"
2723   title: "VPP Latency 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2724   algorithm: "plot_latency_box"
2725   output-file-type: ".html"
2726   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc-lat50"
2727   data:
2728     "plot-vpp-throughput-latency"
2729   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2730   parameters:
2731   - "latency"
2732   - "parent"
2733   traces:
2734     boxmean: False
2735   layout:
2736     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2737     layout:
2738       "plot-latency"
2739
2740 # VPP IP6_overlay
2741 -
2742   type: "plot"
2743   title: "VPP Latency 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2744   algorithm: "plot_latency_box"
2745   output-file-type: ".html"
2746   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc-lat50"
2747   data:
2748     "plot-vpp-throughput-latency"
2749   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2750   parameters:
2751   - "latency"
2752   - "parent"
2753   traces:
2754     boxmean: False
2755   layout:
2756     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2757     layout:
2758       "plot-latency"
2759
2760 -
2761   type: "plot"
2762   title: "VPP Latency 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2763   algorithm: "plot_latency_box"
2764   output-file-type: ".html"
2765   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc-lat50"
2766   data:
2767     "plot-vpp-throughput-latency"
2768   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2769   parameters:
2770   - "latency"
2771   - "parent"
2772   traces:
2773     boxmean: False
2774   layout:
2775     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2776     layout:
2777       "plot-latency"
2778
2779 # VPP VM VHOST
2780 -
2781   type: "plot"
2782   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
2783   algorithm: "plot_latency_box"
2784   output-file-type: ".html"
2785   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc-lat50"
2786   data:
2787     "plot-vpp-throughput-latency"
2788   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2789   parameters:
2790   - "latency"
2791   - "parent"
2792   traces:
2793     boxmean: False
2794   layout:
2795     title: "64B-1t1c-.*vhost.*-ndrdisc"
2796     layout:
2797       "plot-latency"
2798
2799 -
2800   type: "plot"
2801   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
2802   algorithm: "plot_latency_box"
2803   output-file-type: ".html"
2804   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc-lat50"
2805   data:
2806     "plot-vpp-throughput-latency"
2807   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2808   parameters:
2809   - "latency"
2810   - "parent"
2811   traces:
2812     boxmean: False
2813   layout:
2814     title: "64B-2t2c-.*vhost.*-ndrdisc"
2815     layout:
2816       "plot-latency"
2817
2818 # VPP VM VHOST selection
2819 -
2820   type: "plot"
2821   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
2822   algorithm: "plot_latency_box"
2823   output-file-type: ".html"
2824   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc-lat50"
2825   data:
2826     "plot-vpp-throughput-latency"
2827   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2828   parameters:
2829   - "latency"
2830   - "parent"
2831   traces:
2832     boxmean: False
2833   layout:
2834     title: "64B-1t1c-.*vhost.*-ndrdisc"
2835     layout:
2836       "plot-latency"
2837
2838 -
2839   type: "plot"
2840   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
2841   algorithm: "plot_latency_box"
2842   output-file-type: ".html"
2843   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc-lat50"
2844   data:
2845     "plot-vpp-throughput-latency"
2846   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2847   parameters:
2848   - "latency"
2849   - "parent"
2850   traces:
2851     boxmean: False
2852   layout:
2853     title: "64B-2t2c-.*vhost.*-ndrdisc"
2854     layout:
2855       "plot-latency"
2856
2857 # VPP CRYPTO
2858 -
2859   type: "plot"
2860   title: "VPP Latency 64B-1t1c-.*ipsec.*-ndrdisc"
2861   algorithm: "plot_latency_box"
2862   output-file-type: ".html"
2863   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc-lat50"
2864   data:
2865     "plot-vpp-throughput-latency"
2866   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2867   parameters:
2868   - "latency"
2869   - "parent"
2870   traces:
2871     boxmean: False
2872   layout:
2873     title: "64B-1t1c-.*ipsec.*-ndrdisc"
2874     layout:
2875       "plot-latency"
2876
2877 -
2878   type: "plot"
2879   title: "VPP Latency 64B-2t2c-.*ipsec.*-ndrdisc"
2880   algorithm: "plot_latency_box"
2881   output-file-type: ".html"
2882   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc-lat50"
2883   data:
2884     "plot-vpp-throughput-latency"
2885   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2886   parameters:
2887   - "latency"
2888   - "parent"
2889   traces:
2890     boxmean: False
2891   layout:
2892     title: "64B-2t2c-.*ipsec.*-ndrdisc"
2893     layout:
2894       "plot-latency"
2895
2896 # DPDK
2897 -
2898   type: "plot"
2899   title: "DPDK Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2900   algorithm: "plot_latency_box"
2901   output-file-type: ".html"
2902   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc-lat50"
2903   data:
2904     "plot-dpdk-throughput-latency"
2905   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2906   parameters:
2907   - "latency"
2908   - "parent"
2909   traces:
2910     boxmean: False
2911   layout:
2912     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2913     layout:
2914       "plot-latency"
2915
2916 -
2917   type: "plot"
2918   title: "DPDK Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2919   algorithm: "plot_latency_box"
2920   output-file-type: ".html"
2921   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc-lat50"
2922   data:
2923     "plot-dpdk-throughput-latency"
2924   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2925   parameters:
2926   - "latency"
2927   - "parent"
2928   traces:
2929     boxmean: False
2930   layout:
2931     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2932     layout:
2933       "plot-latency"
2934
2935 -
2936   type: "plot"
2937   title: "DPDK Latency 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2938   algorithm: "plot_latency_box"
2939   output-file-type: ".html"
2940   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc-lat50"
2941   data:
2942     "plot-dpdk-throughput-latency"
2943   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
2944   parameters:
2945   - "latency"
2946   - "parent"
2947   traces:
2948     boxmean: False
2949   layout:
2950     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2951     layout:
2952       "plot-latency"
2953
2954 -
2955   type: "plot"
2956   title: "DPDK Latency 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2957   algorithm: "plot_latency_box"
2958   output-file-type: ".html"
2959   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc-lat50"
2960   data:
2961     "plot-dpdk-throughput-latency"
2962   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
2963   parameters:
2964   - "latency"
2965   - "parent"
2966   traces:
2967     boxmean: False
2968   layout:
2969     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2970     layout:
2971       "plot-latency"
2972
2973 # Ligato - Throughput
2974
2975 # Container memif
2976 -
2977   type: "plot"
2978   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2979   algorithm: "plot_performance_box"
2980   output-file-type: ".html"
2981   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc"
2982   data:
2983     "plot-vpp-throughput-latency"
2984   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2985   parameters:
2986   - "throughput"
2987   - "parent"
2988   traces:
2989     hoverinfo: "x+y"
2990     boxpoints: "outliers"
2991     whiskerwidth: 0
2992   layout:
2993     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2994     xaxis:
2995       autorange: True
2996       autotick: False
2997       fixedrange: False
2998       gridcolor: "rgb(238, 238, 238)"
2999       linecolor: "rgb(238, 238, 238)"
3000       linewidth: 1
3001       showgrid: True
3002       showline: True
3003       showticklabels: True
3004       tickcolor: "rgb(238, 238, 238)"
3005       tickmode: "linear"
3006       title: "Indexed Test Cases"
3007       zeroline: False
3008     yaxis:
3009       gridcolor: "rgb(238, 238, 238)'"
3010       hoverformat: ".4s"
3011       linecolor: "rgb(238, 238, 238)"
3012       linewidth: 1
3013       range: [0, 4500000]
3014       showgrid: True
3015       showline: True
3016       showticklabels: True
3017       tickcolor: "rgb(238, 238, 238)"
3018       title: "Packets Per Second [pps]"
3019       zeroline: False
3020     boxmode: "group"
3021     boxgroupgap: 0.5
3022     autosize: False
3023     margin:
3024       t: 50
3025       b: 20
3026       l: 50
3027       r: 20
3028     showlegend: True
3029     legend:
3030       orientation: "h"
3031     width: 700
3032     height: 1000
3033
3034 -
3035   type: "plot"
3036   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3037   algorithm: "plot_performance_box"
3038   output-file-type: ".html"
3039   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc"
3040   data:
3041     "plot-vpp-throughput-latency"
3042   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3043   parameters:
3044   - "throughput"
3045   - "parent"
3046   traces:
3047     hoverinfo: "x+y"
3048     boxpoints: "outliers"
3049     whiskerwidth: 0
3050   layout:
3051     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3052     xaxis:
3053       autorange: True
3054       autotick: False
3055       fixedrange: False
3056       gridcolor: "rgb(238, 238, 238)"
3057       linecolor: "rgb(238, 238, 238)"
3058       linewidth: 1
3059       showgrid: True
3060       showline: True
3061       showticklabels: True
3062       tickcolor: "rgb(238, 238, 238)"
3063       tickmode: "linear"
3064       title: "Indexed Test Cases"
3065       zeroline: False
3066     yaxis:
3067       gridcolor: "rgb(238, 238, 238)'"
3068       hoverformat: ".4s"
3069       linecolor: "rgb(238, 238, 238)"
3070       linewidth: 1
3071       range: [0, 8000000]
3072       showgrid: True
3073       showline: True
3074       showticklabels: True
3075       tickcolor: "rgb(238, 238, 238)"
3076       title: "Packets Per Second [pps]"
3077       zeroline: False
3078     boxmode: "group"
3079     boxgroupgap: 0.5
3080     autosize: False
3081     margin:
3082       t: 50
3083       b: 20
3084       l: 50
3085       r: 20
3086     showlegend: True
3087     legend:
3088       orientation: "h"
3089     width: 700
3090     height: 1000
3091
3092 -
3093   type: "plot"
3094   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3095   algorithm: "plot_performance_box"
3096   output-file-type: ".html"
3097   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-pdrdisc"
3098   data:
3099     "plot-vpp-throughput-latency"
3100   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3101   parameters:
3102   - "throughput"
3103   - "parent"
3104   traces:
3105     hoverinfo: "x+y"
3106     boxpoints: "outliers"
3107     whiskerwidth: 0
3108   layout:
3109     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3110     xaxis:
3111       autorange: True
3112       autotick: False
3113       fixedrange: False
3114       gridcolor: "rgb(238, 238, 238)"
3115       linecolor: "rgb(238, 238, 238)"
3116       linewidth: 1
3117       showgrid: True
3118       showline: True
3119       showticklabels: True
3120       tickcolor: "rgb(238, 238, 238)"
3121       tickmode: "linear"
3122       title: "Indexed Test Cases"
3123       zeroline: False
3124     yaxis:
3125       gridcolor: "rgb(238, 238, 238)'"
3126       hoverformat: ".4s"
3127       linecolor: "rgb(238, 238, 238)"
3128       linewidth: 1
3129       range: [0, 4500000]
3130       showgrid: True
3131       showline: True
3132       showticklabels: True
3133       tickcolor: "rgb(238, 238, 238)"
3134       title: "Packets Per Second [pps]"
3135       zeroline: False
3136     boxmode: "group"
3137     boxgroupgap: 0.5
3138     autosize: False
3139     margin:
3140       t: 50
3141       b: 20
3142       l: 50
3143       r: 20
3144     showlegend: True
3145     legend:
3146       orientation: "h"
3147     width: 700
3148     height: 1000
3149
3150 -
3151   type: "plot"
3152   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3153   algorithm: "plot_performance_box"
3154   output-file-type: ".html"
3155   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-pdrdisc"
3156   data:
3157     "plot-vpp-throughput-latency"
3158   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3159   parameters:
3160   - "throughput"
3161   - "parent"
3162   traces:
3163     hoverinfo: "x+y"
3164     boxpoints: "outliers"
3165     whiskerwidth: 0
3166   layout:
3167     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3168     xaxis:
3169       autorange: True
3170       autotick: False
3171       fixedrange: False
3172       gridcolor: "rgb(238, 238, 238)"
3173       linecolor: "rgb(238, 238, 238)"
3174       linewidth: 1
3175       showgrid: True
3176       showline: True
3177       showticklabels: True
3178       tickcolor: "rgb(238, 238, 238)"
3179       tickmode: "linear"
3180       title: "Indexed Test Cases"
3181       zeroline: False
3182     yaxis:
3183       gridcolor: "rgb(238, 238, 238)'"
3184       hoverformat: ".4s"
3185       linecolor: "rgb(238, 238, 238)"
3186       linewidth: 1
3187       range: [0, 8000000]
3188       showgrid: True
3189       showline: True
3190       showticklabels: True
3191       tickcolor: "rgb(238, 238, 238)"
3192       title: "Packets Per Second [pps]"
3193       zeroline: False
3194     boxmode: "group"
3195     boxgroupgap: 0.5
3196     autosize: False
3197     margin:
3198       t: 50
3199       b: 20
3200       l: 50
3201       r: 20
3202     showlegend: True
3203     legend:
3204       orientation: "h"
3205     width: 700
3206     height: 1000
3207
3208 # Container orchestrated
3209 -
3210   type: "plot"
3211   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3212   algorithm: "plot_performance_box"
3213   output-file-type: ".html"
3214   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc"
3215   data:
3216     "plot-ligato-throughput-latency"
3217   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3218   parameters:
3219   - "throughput"
3220   - "parent"
3221   traces:
3222     hoverinfo: "x+y"
3223     boxpoints: "outliers"
3224     whiskerwidth: 0
3225   layout:
3226     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3227     layout:
3228       "plot-throughput"
3229
3230 -
3231   type: "plot"
3232   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3233   algorithm: "plot_performance_box"
3234   output-file-type: ".html"
3235   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc"
3236   data:
3237     "plot-ligato-throughput-latency"
3238   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3239   parameters:
3240   - "throughput"
3241   - "parent"
3242   traces:
3243     hoverinfo: "x+y"
3244     boxpoints: "outliers"
3245     whiskerwidth: 0
3246   layout:
3247     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3248     layout:
3249       "plot-throughput"
3250
3251 -
3252   type: "plot"
3253   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3254   algorithm: "plot_performance_box"
3255   output-file-type: ".html"
3256   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-pdrdisc"
3257   data:
3258     "plot-ligato-throughput-latency"
3259   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3260   parameters:
3261   - "throughput"
3262   - "parent"
3263   traces:
3264     hoverinfo: "x+y"
3265     boxpoints: "outliers"
3266     whiskerwidth: 0
3267   layout:
3268     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3269     layout:
3270       "plot-throughput"
3271
3272 -
3273   type: "plot"
3274   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3275   algorithm: "plot_performance_box"
3276   output-file-type: ".html"
3277   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-pdrdisc"
3278   data:
3279     "plot-ligato-throughput-latency"
3280   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3281   parameters:
3282   - "throughput"
3283   - "parent"
3284   traces:
3285     hoverinfo: "x+y"
3286     boxpoints: "outliers"
3287     whiskerwidth: 0
3288   layout:
3289     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3290     layout:
3291       "plot-throughput"
3292
3293 # Ligato - Latency
3294
3295 # Container memif
3296 -
3297   type: "plot"
3298   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3299   algorithm: "plot_latency_box"
3300   output-file-type: ".html"
3301   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc-lat50"
3302   data:
3303     "plot-vpp-throughput-latency"
3304   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3305   parameters:
3306   - "latency"
3307   - "parent"
3308   traces:
3309     boxmean: False
3310   layout:
3311     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3312     layout:
3313       "plot-latency"
3314
3315 -
3316   type: "plot"
3317   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3318   algorithm: "plot_latency_box"
3319   output-file-type: ".html"
3320   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc-lat50"
3321   data:
3322     "plot-vpp-throughput-latency"
3323   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3324   parameters:
3325   - "latency"
3326   - "parent"
3327   traces:
3328     boxmean: False
3329   layout:
3330     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3331     layout:
3332       "plot-latency"
3333
3334 # Container orchestrated
3335 -
3336   type: "plot"
3337   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3338   algorithm: "plot_latency_box"
3339   output-file-type: ".html"
3340   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc-lat50"
3341   data:
3342     "plot-ligato-throughput-latency"
3343   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3344   parameters:
3345   - "latency"
3346   - "parent"
3347   traces:
3348     boxmean: False
3349   layout:
3350     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3351     layout:
3352       "plot-latency"
3353
3354 -
3355   type: "plot"
3356   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3357   algorithm: "plot_latency_box"
3358   output-file-type: ".html"
3359   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc-lat50"
3360   data:
3361     "plot-ligato-throughput-latency"
3362   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3363   parameters:
3364   - "latency"
3365   - "parent"
3366   traces:
3367     boxmean: False
3368   layout:
3369     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3370     layout:
3371       "plot-latency"