resources/tools/presentation/specification.yaml

   1 -
   2   type: "environment"
   3   configuration:
   4     # Debug mode:
   5     # - Skip:
   6     #   - Download of input data files
   7     # - Do:
   8     #   - Read data from given zip / xml files
   9     #   - Set the configuration as it is done in normal mode
  10     # If the section "type: debug" is missing, CFG[DEBUG] is set to 0.
  11     CFG[DEBUG]: 0
  12
  13   paths:
  14     # Top level directories:
  15     ## Working directory
  16     DIR[WORKING]: "_tmp"
  17     ## Build directories
  18     DIR[BUILD,HTML]: "_build"
  19     DIR[BUILD,LATEX]: "_build_latex"
  20
  21     # Static .rst files
  22     DIR[RST]: "../../../docs/report"
  23
  24     # Working directories
  25     ## Input data files (.zip, .xml)
  26     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
  27     ## Static source files from git
  28     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
  29     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
  30
  31     # Static html content
  32     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
  33     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
  34     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
  35     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
  36
  37     # Detailed test results
  38     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
  39     DIR[DTR,PERF,DPDK]: "{DIR[DTR]}/dpdk_performance_results"
  40     DIR[DTR,PERF,VPP]: "{DIR[DTR]}/vpp_performance_results"
  41     DIR[DTR,PERF,COT]: "{DIR[DTR]}/cot_performance_results"
  42     DIR[DTR,PERF,HC]: "{DIR[DTR]}/honeycomb_performance_results"
  43     DIR[DTR,FUNC,VPP]: "{DIR[DTR]}/vpp_functional_results"
  44     DIR[DTR,FUNC,HC]: "{DIR[DTR]}/honeycomb_functional_results"
  45     DIR[DTR,FUNC,NSHSFC]: "{DIR[DTR]}/nshsfc_functional_results"
  46     DIR[DTR,PERF,VPP,IMPRV]: "{DIR[WORKING,SRC]}/vpp_performance_tests/performance_improvements"
  47
  48     # Detailed test configurations
  49     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
  50     DIR[DTC,PERF,VPP]: "{DIR[DTC]}/vpp_performance_configuration"
  51     DIR[DTC,FUNC,VPP]: "{DIR[DTC]}/vpp_functional_configuration"
  52
  53     # Detailed tests operational data
  54     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
  55     DIR[DTO,PERF,VPP]: "{DIR[DTO]}/vpp_performance_operational_data"
  56
  57     # .css patch file to fix tables generated by Sphinx
  58     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
  59     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
  60
  61   urls:
  62     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
  63     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
  64
  65   make-dirs:
  66   # List the directories which are created while preparing the environment.
  67   # All directories MUST be defined in "paths" section.
  68   - "DIR[WORKING,DATA]"
  69   - "DIR[STATIC,VPP]"
  70   - "DIR[STATIC,DPDK]"
  71   - "DIR[STATIC,ARCH]"
  72   - "DIR[BUILD,LATEX]"
  73   - "DIR[WORKING,SRC]"
  74   - "DIR[WORKING,SRC,STATIC]"
  75
  76   remove-dirs:
  77   # List the directories which are deleted while cleaning the environment.
  78   # All directories MUST be defined in "paths" section.
  79   #- "DIR[BUILD,HTML]"
  80
  81   build-dirs:
  82   # List the directories where the results (build) is stored.
  83   # All directories MUST be defined in "paths" section.
  84   - "DIR[BUILD,HTML]"
  85   - "DIR[BUILD,LATEX]"
  86
  87 -
  88   type: "configuration"
  89   data-sets:
  90     vpp-meltdown-impact:
  91       csit-vpp-perf-1707-all:
  92       - 9
  93       - 10
  94       - 13
  95       csit-vpp-perf-1710-all:
  96       - 11
  97       - 12
  98       - 13
  99     vpp-spectre-impact:
 100       csit-vpp-perf-1707-all:
 101       - 9
 102       - 10
 103       - 13
 104       csit-vpp-perf-1710-all:
 105       - 11
 106       - 12
 107       - 13
 108 # TODO: Add the data sources
 109     plot-throughput-speedup-analysis:
 110       csit-vpp-perf-1801-all:
 111       - 12
 112     performance-improvements:
 113       csit-vpp-perf-1707-all:
 114       - 9
 115       - 10
 116       - 13
 117       - 14
 118       - 15
 119       - 16
 120       - 17
 121       - 18
 122       - 19
 123       - 21
 124       csit-vpp-perf-1710-all:
 125       - 11
 126       - 12
 127       - 13
 128       - 14
 129       - 15
 130       - 16
 131       - 17
 132       - 18
 133       - 19
 134       - 20
 135 # TODO:
 136       csit-vpp-perf-1801-all:
 137       - 13
 138       - 14
 139       csit-ligato-perf-1710-all:
 140       - 5
 141       - 7
 142       - 8
 143       - 9
 144       - 10
 145       - 11
 146       - 12
 147       - 13
 148       - 16
 149       - 17
 150       csit-ligato-perf-1801-all:
 151       - 1
 152       - 3
 153       - 7
 154 # TODO:
 155     vpp-perf-results:
 156       csit-vpp-perf-1801-all:
 157       - 12
 158     vpp-func-results:
 159       csit-vpp-functional-1801-ubuntu1604-virl:
 160       - "lastSuccessfulBuild"
 161 # TODO:
 162     ligato-perf-results:
 163       csit-ligato-perf-1801-all:
 164       - 1
 165     dpdk-perf-results:
 166       csit-dpdk-perf-1801-all:
 167       - 12
 168     hc-func-results:
 169       csit-hc2vpp-verify-func-1801-ubuntu1604:
 170       - "lastSuccessfulBuild"
 171 # TODO: Will we use this one?
 172 #      hc2vpp-csit-integration-odl-carbon-1801-ubuntu1604:
 173 #      - lastSuccessfulBuild
 174     nsh-func-results:
 175       csit-nsh_sfc-verify-func-1801-ubuntu1604-virl:
 176       - 1
 177 # TODO:
 178     plot-vpp-throughput-latency:
 179       csit-vpp-perf-1801-all:
 180       - 13
 181       - 14
 182     plot-dpdk-throughput-latency:
 183       csit-dpdk-perf-1801-all:
 184       - 1
 185       - 3
 186       - 4
 187       - 5
 188       - 6
 189       - 7
 190       - 8
 191       - 9
 192       - 10
 193       - 12
 194 # TODO:
 195     plot-ligato-throughput-latency:
 196       csit-ligato-perf-1801-all:
 197       - 1
 198       - 3
 199       - 7
 200   plot-layouts:
 201     plot-throughput:
 202       xaxis:
 203         autorange: True
 204         autotick: False
 205         fixedrange: False
 206         gridcolor: "rgb(238, 238, 238)"
 207         linecolor: "rgb(238, 238, 238)"
 208         linewidth: 1
 209         showgrid: True
 210         showline: True
 211         showticklabels: True
 212         tickcolor: "rgb(238, 238, 238)"
 213         tickmode: "linear"
 214         title: "Indexed Test Cases"
 215         zeroline: False
 216       yaxis:
 217         gridcolor: "rgb(238, 238, 238)'"
 218         hoverformat: ".4s"
 219         linecolor: "rgb(238, 238, 238)"
 220         linewidth: 1
 221         range: []
 222         showgrid: True
 223         showline: True
 224         showticklabels: True
 225         tickcolor: "rgb(238, 238, 238)"
 226         title: "Packets Per Second [pps]"
 227         zeroline: False
 228       boxmode: "group"
 229       boxgroupgap: 0.5
 230       autosize: False
 231       margin:
 232         t: 50
 233         b: 20
 234         l: 50
 235         r: 20
 236       showlegend: True
 237       legend:
 238         orientation: "h"
 239       width: 700
 240       height: 1000
 241     plot-latency:
 242       xaxis:
 243         autorange: True
 244         autotick: False
 245         fixedrange: False
 246         gridcolor: "rgb(238, 238, 238)"
 247         linecolor: "rgb(238, 238, 238)"
 248         linewidth: 1
 249         showgrid: True
 250         showline: True
 251         showticklabels: True
 252         tickcolor: "rgb(238, 238, 238)"
 253         tickmode: "linear"
 254         title: "Indexed Test Cases"
 255         zeroline: False
 256       yaxis:
 257         gridcolor: "rgb(238, 238, 238)'"
 258         hoverformat: ""
 259         linecolor: "rgb(238, 238, 238)"
 260         linewidth: 1
 261         range: []
 262         showgrid: True
 263         showline: True
 264         showticklabels: True
 265         tickcolor: "rgb(238, 238, 238)"
 266         title: "Latency min/avg/max [uSec]"
 267         zeroline: False
 268       boxmode: "group"
 269       boxgroupgap: 0.5
 270       autosize: False
 271       margin:
 272         t: 50
 273         b: 20
 274         l: 50
 275         r: 20
 276       showlegend: True
 277       legend:
 278         orientation: "h"
 279       width: 700
 280       height: 1000
 281     plot-throughput-speedup-analysis:
 282       xaxis:
 283         autorange: True
 284         autotick: False
 285         fixedrange: False
 286         gridcolor: "rgb(238, 238, 238)"
 287         linecolor: "rgb(238, 238, 238)"
 288         linewidth: 1
 289         showgrid: True
 290         showline: True
 291         showticklabels: True
 292         tickcolor: "rgb(238, 238, 238)"
 293         tickmode: "linear"
 294         tickangle: 270
 295         zeroline: False
 296       yaxis:
 297         title: "Throughput speedup factor"
 298         gridcolor: "rgb(238, 238, 238)"
 299         hoverformat: ".4s"
 300         linecolor: "rgb(238, 238, 238)"
 301         linewidth: 1
 302         range: []
 303         showgrid: True
 304         showline: True
 305         showticklabels: True
 306         tickcolor: "rgb(238, 238, 238)"
 307         zeroline: False
 308       legend:
 309         orientation: "h"
 310         xanchor: "center"
 311         yanchor: "top"
 312         x: 0.5
 313         y: 1
 314         bgcolor: "rgba(255, 255, 255, 0)"
 315         bordercolor: "rgba(255, 255, 255, 0)"
 316       barmode: "group"
 317       bargap: 0.15
 318       bargroupgap: 0.1
 319       autosize: False
 320       margin:
 321           't': 50
 322           'b': 200
 323           'l': 50
 324           'r': 20
 325       showlegend: True
 326       width: 700
 327       height: 1000
 328
 329 -
 330   type: "debug"
 331   general:
 332     input-format: "xml"  # zip or xml
 333     extract: "robot-plugin/output.xml"  # Only for zip
 334   builds:
 335     # The files must be in the directory DIR[WORKING,DATA]
 336     csit-vpp-perf-1801-all:
 337     -
 338       build: 1
 339       file: "{DIR[WORKING,DATA]}/output.xml"
 340     -
 341       build: 2
 342       file: "{DIR[WORKING,DATA]}/output.xml"
 343
 344 -
 345   type: "static"
 346   src-path: "{DIR[RST]}"
 347   dst-path: "{DIR[WORKING,SRC]}"
 348
 349 -
 350   type: "input"  # Ignored in debug mode
 351   general:
 352     file-name: "robot-plugin.zip"
 353     file-format: ".zip"
 354     download-path: "{job}/{build}/robot/report/*zip*/{filename}"
 355     extract: "robot-plugin/output.xml"
 356   builds:
 357     csit-vpp-perf-1707-all:
 358     - 9
 359     - 10
 360     - 13
 361     - 14
 362     - 15
 363     - 16
 364     - 17
 365     - 18
 366     - 19
 367     - 21
 368     csit-vpp-perf-1710-all:
 369     - 11
 370     - 12
 371     - 13
 372     - 14
 373     - 15
 374     - 16
 375     - 17
 376     - 18
 377     - 19
 378     - 20
 379     - 23
 380 # TODO:
 381     csit-vpp-perf-1801-all:
 382     - 12
 383     - 13
 384     - 14
 385     csit-ligato-perf-1710-all:
 386     - 5
 387     - 7
 388     - 8
 389     - 9
 390     - 10
 391     - 11
 392     - 12
 393     - 13
 394     - 16
 395     - 17
 396 # TODO:
 397     csit-ligato-perf-1801-all:
 398     - 1
 399     - 3
 400     - 7
 401     csit-dpdk-perf-1801-all:
 402     - 1
 403     - 3
 404     - 4
 405     - 5
 406     - 6
 407     - 7
 408     - 8
 409     - 9
 410     - 10
 411     - 12
 412     csit-vpp-functional-1801-ubuntu1604-virl:
 413     - lastSuccessfulBuild
 414     csit-nsh_sfc-verify-func-1801-ubuntu1604-virl:
 415     - 1
 416     csit-hc2vpp-verify-func-1801-ubuntu1604:
 417     - lastSuccessfulBuild
 418 # TODO: Will we use this one?
 419 #    hc2vpp-csit-integration-odl-carbon-1801-ubuntu1604:
 420 #    - lastSuccessfulBuild
 421
 422 -
 423   type: "output"
 424   format:
 425     html:
 426     - full
 427     pdf:
 428     - minimal
 429
 430 ################################################################################
 431 ###                               T A B L E S                                ###
 432 ################################################################################
 433
 434 -
 435   type: "table"
 436   title: "Performance Impact of Meltdown Patches"
 437   algorithm: "table_performance_comparison"
 438   output-file-ext: ".csv"
 439 # TODO: specify dir
 440   output-file: "{DIR[STATIC,VPP]}/meltdown-impact"
 441   reference:
 442     title: "No Meltdown"
 443 # TODO: specify data sources
 444     data:
 445       csit-vpp-perf-1707-all:
 446       - 9
 447       - 10
 448       - 13
 449   compare:
 450     title: "Meltdown Patches Applied"
 451 # TODO: specify data sources
 452     data:
 453       csit-vpp-perf-1710-all:
 454       - 11
 455       - 12
 456       - 13
 457   data:
 458     "vpp-meltdown-impact"
 459   filter: "all"
 460   parameters:
 461   - "name"
 462   - "parent"
 463   - "throughput"
 464   # Number of the best and the worst tests presented in the table. Use 0 (zero)
 465   # to present all tests.
 466   nr-of-tests-shown: 20
 467
 468 -
 469   type: "table"
 470   title: "Performance Impact of Spectre Patches"
 471   algorithm: "table_performance_comparison"
 472   output-file-ext: ".csv"
 473 # TODO: specify dir
 474   output-file: "{DIR[STATIC,VPP]}/meltdown-spectre-impact"
 475   reference:
 476     title: "No Spectre"
 477 # TODO: specify data sources
 478     data:
 479       csit-vpp-perf-1707-all:
 480       - 9
 481       - 10
 482       - 13
 483   compare:
 484     title: "Spectre Patches Applied"
 485 # TODO: specify data sources
 486     data:
 487       csit-vpp-perf-1710-all:
 488       - 11
 489       - 12
 490       - 13
 491   data:
 492     "vpp-spectre-impact"
 493   filter: "all"
 494   parameters:
 495   - "name"
 496   - "parent"
 497   - "throughput"
 498   # Number of the best and the worst tests presented in the table. Use 0 (zero)
 499   # to present all tests.
 500   nr-of-tests-shown: 20
 501
 502 -
 503   type: "table"
 504   title: "Performance improvements"
 505   algorithm: "table_performance_improvements"
 506   template: "{DIR[DTR,PERF,VPP,IMPRV]}/tmpl_performance_improvements.csv"
 507   output-file-ext: ".csv"
 508   output-file: "{DIR[DTR,PERF,VPP,IMPRV]}/performance_improvements"
 509   columns:
 510   -
 511     title: "Test Name"
 512     data: "template 1"
 513   -
 514     title: "16.09 mean [Mpps]"
 515     data: "template 2"
 516   -
 517     title: "17.01 mean [Mpps]"
 518     data: "template 3"
 519   -
 520     title: "17.04 mean [Mpps]"
 521     data: "template 4"
 522   -
 523     title: "17.07 mean [Mpps]"
 524     data: "data csit-vpp-perf-1707-all mean"
 525   -
 526     title: "17.10 mean [Mpps]"
 527     data: "data csit-vpp-perf-1710-all csit-ligato-perf-1710-all mean"
 528   -
 529     title: "18.01 mean [Mpps]"
 530     data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all mean"
 531   -
 532     title: "18.01 stdev [Mpps]"
 533     data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all stdev"
 534   -
 535     title: "17.10 to 18.01 change [%]"
 536     data: "operation relative_change 5 6"
 537   rows: "generated"
 538   data:
 539     "performance-improvements"
 540   filter: "template"
 541   parameters:
 542   - "throughput"
 543
 544 -
 545   type: "table"
 546   title: "Detailed Test Results - VPP Performance Results"
 547   algorithm: "table_merged_details"
 548   output-file-ext: ".csv"
 549   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
 550   columns:
 551   -
 552     title: "Name"
 553     data: "data name"
 554   -
 555     title: "Documentation"
 556     data: "data doc"
 557   -
 558     title: "Status"
 559     data: "data msg"
 560   rows: "generated"
 561   data:
 562     "vpp-perf-results"
 563   filter: "not 'NDRCHK' and not 'PDRCHK'"
 564   parameters:
 565   - "name"
 566   - "parent"
 567   - "doc"
 568   - "msg"
 569
 570 -
 571   type: "table"
 572   title: "Test configuration - VPP Performance Test Configs"
 573   algorithm: "table_merged_details"
 574   output-file-ext: ".csv"
 575   output-file: "{DIR[DTC,PERF,VPP]}/vpp_test_configuration"
 576   columns:
 577   -
 578     title: "Name"
 579     data: "data name"
 580   -
 581     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
 582     data: "data vat-history"
 583   rows: "generated"
 584   data:
 585     "vpp-perf-results"
 586   filter: "not 'NDRCHK' and not 'PDRCHK'"
 587   parameters:
 588   - "parent"
 589   - "name"
 590   - "vat-history"
 591
 592 -
 593   type: "table"
 594   title: "Test Operational Data - VPP Performance Operational Data"
 595   algorithm: "table_merged_details"
 596   output-file-ext: ".csv"
 597   output-file: "{DIR[DTO,PERF,VPP]}/vpp_test_operational"
 598   columns:
 599   -
 600     title: "Name"
 601     data: "data name"
 602   -
 603     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
 604     data: "data show-run"
 605   rows: "generated"
 606   data:
 607     "vpp-perf-results"
 608   filter: "not 'NDRCHK' and not 'PDRCHK'"
 609   parameters:
 610   - "parent"
 611   - "name"
 612   - "show-run"
 613
 614 -
 615   type: "table"
 616   title: "Detailed Test Results - VPP Functional Results"
 617   algorithm: "table_details"
 618   output-file-ext: ".csv"
 619   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
 620   columns:
 621   -
 622     title: "Name"
 623     data: "data name"
 624   -
 625     title: "Documentation"
 626     data: "data doc"
 627   -
 628     title: "Status"
 629     data: "data status"
 630   rows: "generated"
 631   data:
 632     "vpp-func-results"
 633   filter: "all"
 634   parameters:
 635   - "name"
 636   - "parent"
 637   - "doc"
 638   - "status"
 639
 640 -
 641   type: "table"
 642   title: "Test configuration - VPP Functional Test Configs"
 643   algorithm: "table_details"
 644   output-file-ext: ".csv"
 645   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
 646   columns:
 647   -
 648     title: "Name"
 649     data: "data name"
 650   -
 651     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
 652     data: "data vat-history"
 653   rows: "generated"
 654   data:
 655     "vpp-func-results"
 656   filter: "all"
 657   parameters:
 658   - "parent"
 659   - "name"
 660   - "vat-history"
 661
 662 -
 663   type: "table"
 664   title: "Detailed Test Results - Container Orchestrated Topologies Performance Results"
 665   algorithm: "table_details"
 666   output-file-ext: ".csv"
 667   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
 668   columns:
 669   -
 670     title: "Name"
 671     data: "data name"
 672   -
 673     title: "Documentation"
 674     data: "data doc"
 675   -
 676     title: "Status"
 677     data: "data msg"
 678   rows: "generated"
 679   data:
 680     "ligato-perf-results"
 681   filter: "all"
 682   parameters:
 683   - "name"
 684   - "parent"
 685   - "doc"
 686   - "msg"
 687
 688 -
 689   type: "table"
 690   title: "Detailed Test Results - DPDK Performance Results"
 691   algorithm: "table_details"
 692   output-file-ext: ".csv"
 693   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
 694   columns:
 695   -
 696     title: "Name"
 697     data: "data name"
 698   -
 699     title: "Documentation"
 700     data: "data doc"
 701   -
 702     title: "Status"
 703     data: "data msg"
 704   rows: "generated"
 705   data:
 706     "dpdk-perf-results"
 707   filter: "all"
 708   parameters:
 709   - "name"
 710   - "parent"
 711   - "doc"
 712   - "msg"
 713
 714 -
 715   type: "table"
 716   title: "Detailed Test Results - Honeycomb Functional Results"
 717   algorithm: "table_details"
 718   output-file-ext: ".csv"
 719   output-file: "{DIR[DTR,FUNC,HC]}/hc_functional_results"
 720   columns:
 721   -
 722     title: "Name"
 723     data: "data name"
 724   -
 725     title: "Documentation"
 726     data: "data doc"
 727   -
 728     title: "Status"
 729     data: "data status"
 730   rows: "generated"
 731   data:
 732     "hc-func-results"
 733   filter: "all"
 734   parameters:
 735   - "name"
 736   - "parent"
 737   - "doc"
 738   - "status"
 739
 740 -
 741   type: "table"
 742   title: "Detailed Test Results - NSH SFC Functional Results"
 743   algorithm: "table_details"
 744   output-file-ext: ".csv"
 745   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nsh_sfc_functional_results"
 746   columns:
 747   -
 748     title: "Name"
 749     data: "data name"
 750   -
 751     title: "Documentation"
 752     data: "data doc"
 753   -
 754     title: "Status"
 755     data: "data status"
 756   rows: "generated"
 757   data:
 758     "nsh-func-results"
 759   filter: "all"
 760   parameters:
 761   - "name"
 762   - "parent"
 763   - "doc"
 764   - "status"
 765
 766 ################################################################################
 767 ###                                F I L E S                                 ###
 768 ################################################################################
 769
 770 -
 771   type: "file"
 772   title: "VPP Performance Results"
 773   algorithm: "file_merged_test_results"
 774   output-file-ext: ".rst"
 775   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
 776   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
 777   dir-tables: "{DIR[DTR,PERF,VPP]}"
 778   data:
 779     "vpp-perf-results"
 780   filter: "not 'NDRCHK' and not 'PDRCHK'"
 781   parameters:
 782   - "name"
 783   - "doc"
 784   - "level"
 785   - "parent"
 786   data-start-level: 3  # 0, 1, 2, ...
 787   chapters-start-level: 2  # 0, 1, 2, ...
 788
 789 -
 790   type: "file"
 791   title: "VPP Performance Configuration"
 792   algorithm: "file_merged_test_results"
 793   output-file-ext: ".rst"
 794   output-file: "{DIR[DTC,PERF,VPP]}/vpp_performance_configuration"
 795   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
 796   dir-tables: "{DIR[DTC,PERF,VPP]}"
 797   data:
 798     "vpp-perf-results"
 799   filter: "not 'NDRCHK' and not 'PDRCHK'"
 800   parameters:
 801   - "name"
 802   - "doc"
 803   - "level"
 804   - "parent"
 805   data-start-level: 3  # 0, 1, 2, ...
 806   chapters-start-level: 2  # 0, 1, 2, ...
 807
 808 -
 809   type: "file"
 810   title: "VPP Performance Operational Data"
 811   algorithm: "file_merged_test_results"
 812   output-file-ext: ".rst"
 813   output-file: "{DIR[DTO,PERF,VPP]}/vpp_performance_operational_data"
 814   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
 815   dir-tables: "{DIR[DTO,PERF,VPP]}"
 816   data:
 817     "vpp-perf-results"
 818   filter: "not 'NDRCHK' and not 'PDRCHK'"
 819   parameters:
 820   - "name"
 821   - "doc"
 822   - "level"
 823   - "parent"
 824   data-start-level: 3  # 0, 1, 2, ...
 825   chapters-start-level: 2  # 0, 1, 2, ...
 826
 827 -
 828   type: "file"
 829   title: "VPP Functional Results"
 830   algorithm: "file_test_results"
 831   output-file-ext: ".rst"
 832   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
 833   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
 834   dir-tables: "{DIR[DTR,FUNC,VPP]}"
 835   data:
 836     "vpp-func-results"
 837   filter: "all"
 838   parameters:
 839   - "name"
 840   - "doc"
 841   - "level"
 842   data-start-level: 3  # 0, 1, 2, ...
 843   chapters-start-level: 2  # 0, 1, 2, ...
 844
 845 -
 846   type: "file"
 847   title: "VPP Functional Configuration"
 848   algorithm: "file_test_results"
 849   output-file-ext: ".rst"
 850   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
 851   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
 852   dir-tables: "{DIR[DTC,FUNC,VPP]}"
 853   data:
 854     "vpp-func-results"
 855   filter: "all"
 856   parameters:
 857   - "name"
 858   - "doc"
 859   - "level"
 860   data-start-level: 3  # 0, 1, 2, ...
 861   chapters-start-level: 2  # 0, 1, 2, ...
 862
 863 -
 864   type: "file"
 865   title: "Container Orchestrated Performance Results"
 866   algorithm: "file_test_results"
 867   output-file-ext: ".rst"
 868   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
 869   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
 870   dir-tables: "{DIR[DTR,PERF,COT]}"
 871   data:
 872     "ligato-perf-results"
 873   filter: "all"
 874   parameters:
 875   - "name"
 876   - "doc"
 877   - "level"
 878   data-start-level: 2  # 0, 1, 2, ...
 879   chapters-start-level: 2  # 0, 1, 2, ...
 880
 881 -
 882   type: "file"
 883   title: "DPDK Performance Results"
 884   algorithm: "file_test_results"
 885   output-file-ext: ".rst"
 886   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
 887   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
 888   dir-tables: "{DIR[DTR,PERF,DPDK]}"
 889   data:
 890     "dpdk-perf-results"
 891   filter: "all"
 892   parameters:
 893   - "name"
 894   - "doc"
 895   - "level"
 896   chapters:
 897   - "suites"
 898   data-start-level: 2  # 0, 1, 2, ...
 899   chapters-start-level: 2  # 0, 1, 2, ...
 900
 901 -
 902   type: "file"
 903   title: "Honeycomb Functional Results"
 904   algorithm: "file_test_results"
 905   output-file-ext: ".rst"
 906   output-file: "{DIR[DTR,FUNC,HC]}/honeycomb_functional_results"
 907   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
 908   dir-tables: "{DIR[DTR,FUNC,HC]}"
 909   data:
 910     "hc-func-results"
 911   filter: "all"
 912   parameters:
 913   - "name"
 914   - "doc"
 915   - "level"
 916   chapters:
 917   - "suites"
 918   data-start-level: 3  # 0, 1, 2, ...
 919   chapters-start-level: 2  # 0, 1, 2, ...
 920
 921 -
 922   type: "file"
 923   title: "NSH SFC Functional Results"
 924   algorithm: "file_test_results"
 925   output-file-ext: ".rst"
 926   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nshsfc_functional_results"
 927   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
 928   dir-tables: "{DIR[DTR,FUNC,NSHSFC]}"
 929   data:
 930     "nsh-func-results"
 931   filter: "all"
 932   parameters:
 933   - "name"
 934   - "doc"
 935   - "level"
 936   chapters:
 937   - "suites"
 938   data-start-level: 2  # 0, 1, 2, ...
 939   chapters-start-level: 2  # 0, 1, 2, ...
 940
 941 ################################################################################
 942 ###                                P L O T S                                 ###
 943 ################################################################################
 944
 945 # Plot Throughput Speedup Analysis
 946
 947 # L2 - 10ge2p1x520 - NDR
 948 -
 949   type: "plot"
 950   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
 951   algorithm: "plot_throughput_speedup_analysis"
 952   output-file-type: ".html"
 953   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-ndrdisc"
 954   data:
 955     "plot-throughput-speedup-analysis"
 956   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
 957   parameters:
 958   - "throughput"
 959   - "parent"
 960   - "tags"
 961   layout:
 962     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
 963     layout:
 964       "plot-throughput-speedup-analysis"
 965
 966 # L2 - 40ge2p1xl710 - NDR
 967 -
 968   type: "plot"
 969   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
 970   algorithm: "plot_throughput_speedup_analysis"
 971   output-file-type: ".html"
 972   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-l2-tsa-ndrdisc"
 973   data:
 974     "plot-throughput-speedup-analysis"
 975   filter: "'NIC_Intel-XL710' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
 976   parameters:
 977   - "throughput"
 978   - "parent"
 979   - "tags"
 980   layout:
 981     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
 982     layout:
 983       "plot-throughput-speedup-analysis"
 984
 985 # L2 - 10ge2p1x520 - PDR
 986 -
 987   type: "plot"
 988   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
 989   algorithm: "plot_throughput_speedup_analysis"
 990   output-file-type: ".html"
 991   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-pdrdisc"
 992   data:
 993     "plot-throughput-speedup-analysis"
 994   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
 995   parameters:
 996   - "throughput"
 997   - "parent"
 998   - "tags"
 999   layout:
1000     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1001     layout:
1002       "plot-throughput-speedup-analysis"
1003
1004 # IPv4 - 10ge2p1x520 - NDR
1005 -
1006   type: "plot"
1007   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1008   algorithm: "plot_throughput_speedup_analysis"
1009   output-file-type: ".html"
1010   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-ndrdisc"
1011   data:
1012     "plot-throughput-speedup-analysis"
1013   filter: "'NIC_Intel-X520-DA2' and '64B' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1014   parameters:
1015   - "throughput"
1016   - "parent"
1017   - "tags"
1018   layout:
1019     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1020     layout:
1021       "plot-throughput-speedup-analysis"
1022
1023 # IPv4 - 40ge2p1xl710 - NDR
1024 -
1025   type: "plot"
1026   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1027   algorithm: "plot_throughput_speedup_analysis"
1028   output-file-type: ".html"
1029   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-ip4-tsa-ndrdisc"
1030   data:
1031     "plot-throughput-speedup-analysis"
1032   filter: "'NIC_Intel-XL710' and '64B' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1033   parameters:
1034   - "throughput"
1035   - "parent"
1036   - "tags"
1037   layout:
1038     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1039     layout:
1040       "plot-throughput-speedup-analysis"
1041
1042 # IPv4 - 10ge2p1x520 - PDR
1043 -
1044   type: "plot"
1045   title: "TSA: 64B-*-ethip4-ip4(base|scale)*pdrdisc"
1046   algorithm: "plot_throughput_speedup_analysis"
1047   output-file-type: ".html"
1048   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-pdrdisc"
1049   data:
1050     "plot-throughput-speedup-analysis"
1051   filter: "'NIC_Intel-X520-DA2' and '64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST'"
1052   parameters:
1053   - "throughput"
1054   - "parent"
1055   - "tags"
1056   layout:
1057     title: "64B-*-ethip4-ip4(base|scale)*pdrdisc"
1058     layout:
1059       "plot-throughput-speedup-analysis"
1060
1061 # IPv6 - 10ge2p1x520 - NDR
1062 -
1063   type: "plot"
1064   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1065   algorithm: "plot_throughput_speedup_analysis"
1066   output-file-type: ".html"
1067   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-ndrdisc"
1068   data:
1069     "plot-throughput-speedup-analysis"
1070   filter: "'NIC_Intel-X520-DA2' and '78B' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1071   parameters:
1072   - "throughput"
1073   - "parent"
1074   - "tags"
1075   layout:
1076     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1077     layout:
1078       "plot-throughput-speedup-analysis"
1079
1080 # IPv6 - 40ge2p1xl710 - NDR
1081 -
1082   type: "plot"
1083   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1084   algorithm: "plot_throughput_speedup_analysis"
1085   output-file-type: ".html"
1086   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-78B-ip6-tsa-ndrdisc"
1087   data:
1088     "plot-throughput-speedup-analysis"
1089   filter: "'NIC_Intel-XL710' and '78B' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1090   parameters:
1091   - "throughput"
1092   - "parent"
1093   - "tags"
1094   layout:
1095     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1096     layout:
1097       "plot-throughput-speedup-analysis"
1098
1099 # IPv6 - 10ge2p1x520 - PDR
1100 -
1101   type: "plot"
1102   title: "TSA: 78B-*-ethip6-ip6(base|scale)*pdrdisc"
1103   algorithm: "plot_throughput_speedup_analysis"
1104   output-file-type: ".html"
1105   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-pdrdisc"
1106   data:
1107     "plot-throughput-speedup-analysis"
1108   filter: "'NIC_Intel-X520-DA2' and '78B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST'"
1109   parameters:
1110   - "throughput"
1111   - "parent"
1112   - "tags"
1113   layout:
1114     title: "78B-*-ethip6-ip6(base|scale)*pdrdisc"
1115     layout:
1116       "plot-throughput-speedup-analysis"
1117
1118 # Plot packets per second
1119
1120 # VPP L2 sel1
1121 -
1122   type: "plot"
1123   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1124   algorithm: "plot_performance_box"
1125   output-file-type: ".html"
1126   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc"
1127   data:
1128     "plot-vpp-throughput-latency"
1129   # Keep this formatting, the filter is enclosed with " (quotation mark) and
1130   # each tag is enclosed with ' (apostrophe).
1131   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1132   parameters:
1133   - "throughput"
1134   - "parent"
1135   traces:
1136     hoverinfo: "x+y"
1137     boxpoints: "outliers"
1138     whiskerwidth: 0
1139   layout:
1140     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1141     layout:
1142       "plot-throughput"
1143
1144 -
1145   type: "plot"
1146   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1147   algorithm: "plot_performance_box"
1148   output-file-type: ".html"
1149   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc"
1150   data:
1151     "plot-vpp-throughput-latency"
1152   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1153   parameters:
1154   - "throughput"
1155   - "parent"
1156   traces:
1157     hoverinfo: "x+y"
1158     boxpoints: "outliers"
1159     whiskerwidth: 0
1160   layout:
1161     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1162     layout:
1163       "plot-throughput"
1164
1165 -
1166   type: "plot"
1167   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1168   algorithm: "plot_performance_box"
1169   output-file-type: ".html"
1170   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-pdrdisc"
1171   data:
1172     "plot-vpp-throughput-latency"
1173   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1174   parameters:
1175   - "throughput"
1176   - "parent"
1177   traces:
1178     hoverinfo: "x+y"
1179     boxpoints: "outliers"
1180     whiskerwidth: 0
1181   layout:
1182     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1183     layout:
1184       "plot-throughput"
1185
1186 -
1187   type: "plot"
1188   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1189   algorithm: "plot_performance_box"
1190   output-file-type: ".html"
1191   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-pdrdisc"
1192   data:
1193     "plot-vpp-throughput-latency"
1194   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1195   parameters:
1196   - "throughput"
1197   - "parent"
1198   traces:
1199     hoverinfo: "x+y"
1200     boxpoints: "outliers"
1201     whiskerwidth: 0
1202   layout:
1203     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1204     layout:
1205       "plot-throughput"
1206
1207 # VPP L2 sel2
1208 -
1209   type: "plot"
1210   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1211   algorithm: "plot_performance_box"
1212   output-file-type: ".html"
1213   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc"
1214   data:
1215     "plot-vpp-throughput-latency"
1216   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1217   parameters:
1218   - "throughput"
1219   - "parent"
1220   traces:
1221     hoverinfo: "x+y"
1222     boxpoints: "outliers"
1223     whiskerwidth: 0
1224   layout:
1225     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1226     layout:
1227       "plot-throughput"
1228
1229 -
1230   type: "plot"
1231   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1232   algorithm: "plot_performance_box"
1233   output-file-type: ".html"
1234   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc"
1235   data:
1236     "plot-vpp-throughput-latency"
1237   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1238   parameters:
1239   - "throughput"
1240   - "parent"
1241   traces:
1242     hoverinfo: "x+y"
1243     boxpoints: "outliers"
1244     whiskerwidth: 0
1245   layout:
1246     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1247     layout:
1248       "plot-throughput"
1249
1250 -
1251   type: "plot"
1252   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1253   algorithm: "plot_performance_box"
1254   output-file-type: ".html"
1255   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-pdrdisc"
1256   data:
1257     "plot-vpp-throughput-latency"
1258   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1259   parameters:
1260   - "throughput"
1261   - "parent"
1262   traces:
1263     hoverinfo: "x+y"
1264     boxpoints: "outliers"
1265     whiskerwidth: 0
1266   layout:
1267     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1268     layout:
1269       "plot-throughput"
1270
1271 -
1272   type: "plot"
1273   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1274   algorithm: "plot_performance_box"
1275   output-file-type: ".html"
1276   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-pdrdisc"
1277   data:
1278     "plot-vpp-throughput-latency"
1279   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1280   parameters:
1281   - "throughput"
1282   - "parent"
1283   traces:
1284     hoverinfo: "x+y"
1285     boxpoints: "outliers"
1286     whiskerwidth: 0
1287   layout:
1288     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1289     layout:
1290       "plot-throughput"
1291
1292 # VPP IP4
1293 -
1294   type: "plot"
1295   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1296   algorithm: "plot_performance_box"
1297   output-file-type: ".html"
1298   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc"
1299   data:
1300     "plot-vpp-throughput-latency"
1301   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1302   parameters:
1303   - "throughput"
1304   - "parent"
1305   traces:
1306     hoverinfo: "x+y"
1307     boxpoints: "outliers"
1308     whiskerwidth: 0
1309   layout:
1310     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1311     layout:
1312       "plot-throughput"
1313
1314 -
1315   type: "plot"
1316   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1317   algorithm: "plot_performance_box"
1318   output-file-type: ".html"
1319   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc"
1320   data:
1321     "plot-vpp-throughput-latency"
1322   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1323   parameters:
1324   - "throughput"
1325   - "parent"
1326   traces:
1327     hoverinfo: "x+y"
1328     boxpoints: "outliers"
1329     whiskerwidth: 0
1330   layout:
1331     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1332     layout:
1333       "plot-throughput"
1334
1335 -
1336   type: "plot"
1337   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1338   algorithm: "plot_performance_box"
1339   output-file-type: ".html"
1340   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-pdrdisc"
1341   data:
1342     "plot-vpp-throughput-latency"
1343   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1344   parameters:
1345   - "throughput"
1346   - "parent"
1347   traces:
1348     hoverinfo: "x+y"
1349     boxpoints: "outliers"
1350     whiskerwidth: 0
1351   layout:
1352     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1353     layout:
1354       "plot-throughput"
1355
1356 -
1357   type: "plot"
1358   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1359   algorithm: "plot_performance_box"
1360   output-file-type: ".html"
1361   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-pdrdisc"
1362   data:
1363     "plot-vpp-throughput-latency"
1364   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1365   parameters:
1366   - "throughput"
1367   - "parent"
1368   traces:
1369     hoverinfo: "x+y"
1370     boxpoints: "outliers"
1371     whiskerwidth: 0
1372   layout:
1373     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1374     layout:
1375       "plot-throughput"
1376
1377 # VPP IP6
1378 -
1379   type: "plot"
1380   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1381   algorithm: "plot_performance_box"
1382   output-file-type: ".html"
1383   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc"
1384   data:
1385     "plot-vpp-throughput-latency"
1386   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1387   parameters:
1388   - "throughput"
1389   - "parent"
1390   traces:
1391     hoverinfo: "x+y"
1392     boxpoints: "outliers"
1393     whiskerwidth: 0
1394   layout:
1395     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1396     layout:
1397       "plot-throughput"
1398
1399 -
1400   type: "plot"
1401   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1402   algorithm: "plot_performance_box"
1403   output-file-type: ".html"
1404   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc"
1405   data:
1406     "plot-vpp-throughput-latency"
1407   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1408   parameters:
1409   - "throughput"
1410   - "parent"
1411   traces:
1412     hoverinfo: "x+y"
1413     boxpoints: "outliers"
1414     whiskerwidth: 0
1415   layout:
1416     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1417     layout:
1418       "plot-throughput"
1419
1420 -
1421   type: "plot"
1422   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1423   algorithm: "plot_performance_box"
1424   output-file-type: ".html"
1425   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-pdrdisc"
1426   data:
1427     "plot-vpp-throughput-latency"
1428   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1429   parameters:
1430   - "throughput"
1431   - "parent"
1432   traces:
1433     hoverinfo: "x+y"
1434     boxpoints: "outliers"
1435     whiskerwidth: 0
1436   layout:
1437     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1438     layout:
1439       "plot-throughput"
1440
1441 -
1442   type: "plot"
1443   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1444   algorithm: "plot_performance_box"
1445   output-file-type: ".html"
1446   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-pdrdisc"
1447   data:
1448     "plot-vpp-throughput-latency"
1449   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1450   parameters:
1451   - "throughput"
1452   - "parent"
1453   traces:
1454     hoverinfo: "x+y"
1455     boxpoints: "outliers"
1456     whiskerwidth: 0
1457   layout:
1458     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1459     layout:
1460       "plot-throughput"
1461
1462 # VPP IP4_overlay
1463 -
1464   type: "plot"
1465   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1466   algorithm: "plot_performance_box"
1467   output-file-type: ".html"
1468   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc"
1469   data:
1470     "plot-vpp-throughput-latency"
1471   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1472   parameters:
1473   - "throughput"
1474   - "parent"
1475   traces:
1476     hoverinfo: "x+y"
1477     boxpoints: "outliers"
1478     whiskerwidth: 0
1479   layout:
1480     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1481     layout:
1482       "plot-throughput"
1483
1484 -
1485   type: "plot"
1486   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1487   algorithm: "plot_performance_box"
1488   output-file-type: ".html"
1489   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc"
1490   data:
1491     "plot-vpp-throughput-latency"
1492   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1493   parameters:
1494   - "throughput"
1495   - "parent"
1496   traces:
1497     hoverinfo: "x+y"
1498     boxpoints: "outliers"
1499     whiskerwidth: 0
1500   layout:
1501     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1502     layout:
1503       "plot-throughput"
1504
1505 -
1506   type: "plot"
1507   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1508   algorithm: "plot_performance_box"
1509   output-file-type: ".html"
1510   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-pdrdisc"
1511   data:
1512     "plot-vpp-throughput-latency"
1513   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1514   parameters:
1515   - "throughput"
1516   - "parent"
1517   traces:
1518     hoverinfo: "x+y"
1519     boxpoints: "outliers"
1520     whiskerwidth: 0
1521   layout:
1522     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1523     layout:
1524       "plot-throughput"
1525
1526 -
1527   type: "plot"
1528   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1529   algorithm: "plot_performance_box"
1530   output-file-type: ".html"
1531   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-pdrdisc"
1532   data:
1533     "plot-vpp-throughput-latency"
1534   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1535   parameters:
1536   - "throughput"
1537   - "parent"
1538   traces:
1539     hoverinfo: "x+y"
1540     boxpoints: "outliers"
1541     whiskerwidth: 0
1542   layout:
1543     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1544     layout:
1545       "plot-throughput"
1546
1547 # VPP IP6_overlay
1548 -
1549   type: "plot"
1550   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1551   algorithm: "plot_performance_box"
1552   output-file-type: ".html"
1553   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc"
1554   data:
1555     "plot-vpp-throughput-latency"
1556   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1557   parameters:
1558   - "throughput"
1559   - "parent"
1560   traces:
1561     hoverinfo: "x+y"
1562     boxpoints: "outliers"
1563     whiskerwidth: 0
1564   layout:
1565     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1566     layout:
1567       "plot-throughput"
1568
1569 -
1570   type: "plot"
1571   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1572   algorithm: "plot_performance_box"
1573   output-file-type: ".html"
1574   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc"
1575   data:
1576     "plot-vpp-throughput-latency"
1577   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1578   parameters:
1579   - "throughput"
1580   - "parent"
1581   traces:
1582     hoverinfo: "x+y"
1583     boxpoints: "outliers"
1584     whiskerwidth: 0
1585   layout:
1586     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1587     layout:
1588       "plot-throughput"
1589
1590 -
1591   type: "plot"
1592   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1593   algorithm: "plot_performance_box"
1594   output-file-type: ".html"
1595   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-pdrdisc"
1596   data:
1597     "plot-vpp-throughput-latency"
1598   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1599   parameters:
1600   - "throughput"
1601   - "parent"
1602   traces:
1603     hoverinfo: "x+y"
1604     boxpoints: "outliers"
1605     whiskerwidth: 0
1606   layout:
1607     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1608     layout:
1609       "plot-throughput"
1610
1611 -
1612   type: "plot"
1613   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1614   algorithm: "plot_performance_box"
1615   output-file-type: ".html"
1616   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-pdrdisc"
1617   data:
1618     "plot-vpp-throughput-latency"
1619   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1620   parameters:
1621   - "throughput"
1622   - "parent"
1623   traces:
1624     hoverinfo: "x+y"
1625     boxpoints: "outliers"
1626     whiskerwidth: 0
1627   layout:
1628     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1629     layout:
1630       "plot-throughput"
1631
1632 # VPP VM VHOST
1633 -
1634   type: "plot"
1635   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
1636   algorithm: "plot_performance_box"
1637   output-file-type: ".html"
1638   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc"
1639   data:
1640     "plot-vpp-throughput-latency"
1641   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
1642   parameters:
1643   - "throughput"
1644   - "parent"
1645   traces:
1646     hoverinfo: "x+y"
1647     boxpoints: "outliers"
1648     whiskerwidth: 0
1649   layout:
1650     title: "64B-1t1c-.*vhost.*-ndrdisc"
1651     layout:
1652       "plot-throughput"
1653
1654 -
1655   type: "plot"
1656   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
1657   algorithm: "plot_performance_box"
1658   output-file-type: ".html"
1659   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc"
1660   data:
1661     "plot-vpp-throughput-latency"
1662   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
1663   parameters:
1664   - "throughput"
1665   - "parent"
1666   traces:
1667     hoverinfo: "x+y"
1668     boxpoints: "outliers"
1669     whiskerwidth: 0
1670   layout:
1671     title: "64B-2t2c-.*vhost.*-ndrdisc"
1672     layout:
1673       "plot-throughput"
1674
1675 -
1676   type: "plot"
1677   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
1678   algorithm: "plot_performance_box"
1679   output-file-type: ".html"
1680   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-pdrdisc"
1681   data:
1682     "plot-vpp-throughput-latency"
1683   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
1684   parameters:
1685   - "throughput"
1686   - "parent"
1687   traces:
1688     hoverinfo: "x+y"
1689     boxpoints: "outliers"
1690     whiskerwidth: 0
1691   layout:
1692     title: "64B-1t1c-.*vhost.*-pdrdisc"
1693     layout:
1694       "plot-throughput"
1695
1696 -
1697   type: "plot"
1698   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
1699   algorithm: "plot_performance_box"
1700   output-file-type: ".html"
1701   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-pdrdisc"
1702   data:
1703     "plot-vpp-throughput-latency"
1704   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
1705   parameters:
1706   - "throughput"
1707   - "parent"
1708   traces:
1709     hoverinfo: "x+y"
1710     boxpoints: "outliers"
1711     whiskerwidth: 0
1712   layout:
1713     title: "64B-2t2c-.*vhost.*-pdrdisc"
1714     layout:
1715       "plot-throughput"
1716
1717 # VPP VM VHOST SELECTION
1718 -
1719   type: "plot"
1720   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
1721   algorithm: "plot_performance_box"
1722   output-file-type: ".html"
1723   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc"
1724   data:
1725     "plot-vpp-throughput-latency"
1726   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
1727   parameters:
1728   - "throughput"
1729   - "parent"
1730   traces:
1731     hoverinfo: "x+y"
1732     boxpoints: "outliers"
1733     whiskerwidth: 0
1734   layout:
1735     title: "64B-1t1c-.*vhost.*-ndrdisc"
1736     layout:
1737       "plot-throughput"
1738
1739 -
1740   type: "plot"
1741   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
1742   algorithm: "plot_performance_box"
1743   output-file-type: ".html"
1744   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc"
1745   data:
1746     "plot-vpp-throughput-latency"
1747   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
1748   parameters:
1749   - "throughput"
1750   - "parent"
1751   traces:
1752     hoverinfo: "x+y"
1753     boxpoints: "outliers"
1754     whiskerwidth: 0
1755   layout:
1756     title: "64B-2t2c-.*vhost.*-ndrdisc"
1757     layout:
1758       "plot-throughput"
1759
1760 -
1761   type: "plot"
1762   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
1763   algorithm: "plot_performance_box"
1764   output-file-type: ".html"
1765   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-pdrdisc"
1766   data:
1767     "plot-vpp-throughput-latency"
1768   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
1769   parameters:
1770   - "throughput"
1771   - "parent"
1772   traces:
1773     hoverinfo: "x+y"
1774     boxpoints: "outliers"
1775     whiskerwidth: 0
1776   layout:
1777     title: "64B-1t1c-.*vhost.*-pdrdisc"
1778     layout:
1779       "plot-throughput"
1780
1781 -
1782   type: "plot"
1783   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
1784   algorithm: "plot_performance_box"
1785   output-file-type: ".html"
1786   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-pdrdisc"
1787   data:
1788     "plot-vpp-throughput-latency"
1789   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
1790   parameters:
1791   - "throughput"
1792   - "parent"
1793   traces:
1794     hoverinfo: "x+y"
1795     boxpoints: "outliers"
1796     whiskerwidth: 0
1797   layout:
1798     title: "64B-2t2c-.*vhost.*-pdrdisc"
1799     layout:
1800       "plot-throughput"
1801
1802 # VPP CRYPTO
1803 -
1804   type: "plot"
1805   title: "VPP Performance 64B-1t1c-.*ipsec.*-ndrdisc"
1806   algorithm: "plot_performance_box"
1807   output-file-type: ".html"
1808   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc"
1809   data:
1810     "plot-vpp-throughput-latency"
1811   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
1812   parameters:
1813   - "throughput"
1814   - "parent"
1815   traces:
1816     hoverinfo: "x+y"
1817     boxpoints: "outliers"
1818     whiskerwidth: 0
1819   layout:
1820     title: "64B-1t1c-.*ipsec.*-ndrdisc"
1821     layout:
1822       "plot-throughput"
1823
1824 -
1825   type: "plot"
1826   title: "VPP Performance 64B-2t2c-.*ipsec.*-ndrdisc"
1827   algorithm: "plot_performance_box"
1828   output-file-type: ".html"
1829   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc"
1830   data:
1831     "plot-vpp-throughput-latency"
1832   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
1833   parameters:
1834   - "throughput"
1835   - "parent"
1836   traces:
1837     hoverinfo: "x+y"
1838     boxpoints: "outliers"
1839     whiskerwidth: 0
1840   layout:
1841     title: "64B-2t2c-.*ipsec.*-ndrdisc"
1842     layout:
1843       "plot-throughput"
1844
1845 -
1846   type: "plot"
1847   title: "VPP Performance 64B-1t1c-.*ipsec.*-pdrdisc"
1848   algorithm: "plot_performance_box"
1849   output-file-type: ".html"
1850   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-pdrdisc"
1851   data:
1852     "plot-vpp-throughput-latency"
1853   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
1854   parameters:
1855   - "throughput"
1856   - "parent"
1857   traces:
1858     hoverinfo: "x+y"
1859     boxpoints: "outliers"
1860     whiskerwidth: 0
1861   layout:
1862     title: "64B-1t1c-.*ipsec.*-pdrdisc"
1863     layout:
1864       "plot-throughput"
1865
1866 -
1867   type: "plot"
1868   title: "VPP Performance 64B-2t2c-.*ipsec.*-pdrdisc"
1869   algorithm: "plot_performance_box"
1870   output-file-type: ".html"
1871   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-pdrdisc"
1872   data:
1873     "plot-vpp-throughput-latency"
1874   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
1875   parameters:
1876   - "throughput"
1877   - "parent"
1878   traces:
1879     hoverinfo: "x+y"
1880     boxpoints: "outliers"
1881     whiskerwidth: 0
1882   layout:
1883     title: "64B-2t2c-.*ipsec.*-pdrdisc"
1884     layout:
1885       "plot-throughput"
1886
1887 # DPDK
1888 -
1889   type: "plot"
1890   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1891   algorithm: "plot_performance_box"
1892   output-file-type: ".html"
1893   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc"
1894   data:
1895     "plot-dpdk-throughput-latency"
1896   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
1897   parameters:
1898   - "throughput"
1899   - "parent"
1900   traces:
1901     hoverinfo: "x+y"
1902     boxpoints: "outliers"
1903     whiskerwidth: 0
1904   layout:
1905     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1906     layout:
1907       "plot-throughput"
1908
1909 -
1910   type: "plot"
1911   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1912   algorithm: "plot_performance_box"
1913   output-file-type: ".html"
1914   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc"
1915   data:
1916     "plot-dpdk-throughput-latency"
1917   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
1918   parameters:
1919   - "throughput"
1920   - "parent"
1921   traces:
1922     hoverinfo: "x+y"
1923     boxpoints: "outliers"
1924     whiskerwidth: 0
1925   layout:
1926     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1927     layout:
1928       "plot-throughput"
1929
1930 -
1931   type: "plot"
1932   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
1933   algorithm: "plot_performance_box"
1934   output-file-type: ".html"
1935   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc"
1936   data:
1937     "plot-dpdk-throughput-latency"
1938   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
1939   parameters:
1940   - "throughput"
1941   - "parent"
1942   traces:
1943     hoverinfo: "x+y"
1944     boxpoints: "outliers"
1945     whiskerwidth: 0
1946   layout:
1947     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
1948     xaxis:
1949       autorange: True
1950       autotick: False
1951       fixedrange: False
1952       gridcolor: "rgb(238, 238, 238)"
1953       linecolor: "rgb(238, 238, 238)"
1954       linewidth: 1
1955       showgrid: True
1956       showline: True
1957       showticklabels: True
1958       tickcolor: "rgb(238, 238, 238)"
1959       tickmode: "linear"
1960       title: "Indexed Test Cases"
1961       zeroline: False
1962     yaxis:
1963       gridcolor: "rgb(238, 238, 238)'"
1964       hoverformat: ".4s"
1965       linecolor: "rgb(238, 238, 238)"
1966       linewidth: 1
1967       range: [2000000, 12000000]
1968       showgrid: True
1969       showline: True
1970       showticklabels: True
1971       tickcolor: "rgb(238, 238, 238)"
1972       title: "Packets Per Second [pps]"
1973       zeroline: False
1974     boxmode: "group"
1975     boxgroupgap: 0.5
1976     autosize: False
1977     margin:
1978       t: 50
1979       b: 20
1980       l: 50
1981       r: 20
1982     showlegend: True
1983     legend:
1984       orientation: "h"
1985     width: 700
1986     height: 1000
1987
1988 -
1989   type: "plot"
1990   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
1991   algorithm: "plot_performance_box"
1992   output-file-type: ".html"
1993   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc"
1994   data:
1995     "plot-dpdk-throughput-latency"
1996   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
1997   parameters:
1998   - "throughput"
1999   - "parent"
2000   traces:
2001     hoverinfo: "x+y"
2002     boxpoints: "outliers"
2003     whiskerwidth: 0
2004   layout:
2005     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2006     xaxis:
2007       autorange: True
2008       autotick: False
2009       fixedrange: False
2010       gridcolor: "rgb(238, 238, 238)"
2011       linecolor: "rgb(238, 238, 238)"
2012       linewidth: 1
2013       showgrid: True
2014       showline: True
2015       showticklabels: True
2016       tickcolor: "rgb(238, 238, 238)"
2017       tickmode: "linear"
2018       title: "Indexed Test Cases"
2019       zeroline: False
2020     yaxis:
2021       gridcolor: "rgb(238, 238, 238)'"
2022       hoverformat: ".4s"
2023       linecolor: "rgb(238, 238, 238)"
2024       linewidth: 1
2025       range: [2000000, 12000000]
2026       showgrid: True
2027       showline: True
2028       showticklabels: True
2029       tickcolor: "rgb(238, 238, 238)"
2030       title: "Packets Per Second [pps]"
2031       zeroline: False
2032     boxmode: "group"
2033     boxgroupgap: 0.5
2034     autosize: False
2035     margin:
2036       t: 50
2037       b: 20
2038       l: 50
2039       r: 20
2040     showlegend: True
2041     legend:
2042       orientation: "h"
2043     width: 700
2044     height: 1000
2045
2046 -
2047   type: "plot"
2048   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2049   algorithm: "plot_performance_box"
2050   output-file-type: ".html"
2051   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-pdrdisc"
2052   data:
2053     "plot-dpdk-throughput-latency"
2054   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2055   parameters:
2056   - "throughput"
2057   - "parent"
2058   traces:
2059     hoverinfo: "x+y"
2060     boxpoints: "outliers"
2061     whiskerwidth: 0
2062   layout:
2063     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2064     layout:
2065       "plot-throughput"
2066
2067 -
2068   type: "plot"
2069   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2070   algorithm: "plot_performance_box"
2071   output-file-type: ".html"
2072   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-pdrdisc"
2073   data:
2074     "plot-dpdk-throughput-latency"
2075   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2076   parameters:
2077   - "throughput"
2078   - "parent"
2079   traces:
2080     hoverinfo: "x+y"
2081     boxpoints: "outliers"
2082     whiskerwidth: 0
2083   layout:
2084     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2085     layout:
2086       "plot-throughput"
2087
2088 -
2089   type: "plot"
2090   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
2091   algorithm: "plot_performance_box"
2092   output-file-type: ".html"
2093   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-pdrdisc"
2094   data:
2095     "plot-dpdk-throughput-latency"
2096   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD'"
2097   parameters:
2098   - "throughput"
2099   - "parent"
2100   traces:
2101     hoverinfo: "x+y"
2102     boxpoints: "outliers"
2103     whiskerwidth: 0
2104   layout:
2105     title: "64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
2106     xaxis:
2107       autorange: True
2108       autotick: False
2109       fixedrange: False
2110       gridcolor: "rgb(238, 238, 238)"
2111       linecolor: "rgb(238, 238, 238)"
2112       linewidth: 1
2113       showgrid: True
2114       showline: True
2115       showticklabels: True
2116       tickcolor: "rgb(238, 238, 238)"
2117       tickmode: "linear"
2118       title: "Indexed Test Cases"
2119       zeroline: False
2120     yaxis:
2121       gridcolor: "rgb(238, 238, 238)'"
2122       hoverformat: ".4s"
2123       linecolor: "rgb(238, 238, 238)"
2124       linewidth: 1
2125       range: [20000000, 30000000]
2126       showgrid: True
2127       showline: True
2128       showticklabels: True
2129       tickcolor: "rgb(238, 238, 238)"
2130       title: "Packets Per Second [pps]"
2131       zeroline: False
2132     boxmode: "group"
2133     boxgroupgap: 0.5
2134     autosize: False
2135     margin:
2136       t: 50
2137       b: 20
2138       l: 50
2139       r: 20
2140     showlegend: True
2141     legend:
2142       orientation: "h"
2143     width: 700
2144     height: 1000
2145
2146 -
2147   type: "plot"
2148   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
2149   algorithm: "plot_performance_box"
2150   output-file-type: ".html"
2151   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-pdrdisc"
2152   data:
2153     "plot-dpdk-throughput-latency"
2154   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD'"
2155   parameters:
2156   - "throughput"
2157   - "parent"
2158   traces:
2159     hoverinfo: "x+y"
2160     boxpoints: "outliers"
2161     whiskerwidth: 0
2162   layout:
2163     title: "64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
2164     xaxis:
2165       autorange: True
2166       autotick: False
2167       fixedrange: False
2168       gridcolor: "rgb(238, 238, 238)"
2169       linecolor: "rgb(238, 238, 238)"
2170       linewidth: 1
2171       showgrid: True
2172       showline: True
2173       showticklabels: True
2174       tickcolor: "rgb(238, 238, 238)"
2175       tickmode: "linear"
2176       title: "Indexed Test Cases"
2177       zeroline: False
2178     yaxis:
2179       gridcolor: "rgb(238, 238, 238)'"
2180       hoverformat: ".4s"
2181       linecolor: "rgb(238, 238, 238)"
2182       linewidth: 1
2183       range: [20000000, 30000000]
2184       showgrid: True
2185       showline: True
2186       showticklabels: True
2187       tickcolor: "rgb(238, 238, 238)"
2188       title: "Packets Per Second [pps]"
2189       zeroline: False
2190     boxmode: "group"
2191     boxgroupgap: 0.5
2192     autosize: False
2193     margin:
2194       t: 50
2195       b: 20
2196       l: 50
2197       r: 20
2198     showlegend: True
2199     legend:
2200       orientation: "h"
2201     width: 700
2202     height: 1000
2203
2204 # Plot latency
2205
2206 # VPP L2 sel1
2207 -
2208   type: "plot"
2209   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2210   algorithm: "plot_latency_box"
2211   output-file-type: ".html"
2212   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc-lat50"
2213   data:
2214     "plot-vpp-throughput-latency"
2215   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2216   parameters:
2217   - "latency"
2218   - "parent"
2219   traces:
2220     boxmean: False
2221   layout:
2222     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2223     layout:
2224       "plot-latency"
2225
2226 -
2227   type: "plot"
2228   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2229   algorithm: "plot_latency_box"
2230   output-file-type: ".html"
2231   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc-lat50"
2232   data:
2233     "plot-vpp-throughput-latency"
2234   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2235   parameters:
2236   - "latency"
2237   - "parent"
2238   traces:
2239     boxmean: False
2240   layout:
2241     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2242     layout:
2243       "plot-latency"
2244
2245 # VPP L2 sel2
2246 -
2247   type: "plot"
2248   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2249   algorithm: "plot_latency_box"
2250   output-file-type: ".html"
2251   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc-lat50"
2252   data:
2253     "plot-vpp-throughput-latency"
2254   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2255   parameters:
2256   - "latency"
2257   - "parent"
2258   traces:
2259     boxmean: False
2260   layout:
2261     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2262     layout:
2263       "plot-latency"
2264
2265 -
2266   type: "plot"
2267   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2268   algorithm: "plot_latency_box"
2269   output-file-type: ".html"
2270   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc-lat50"
2271   data:
2272     "plot-vpp-throughput-latency"
2273   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2274   parameters:
2275   - "latency"
2276   - "parent"
2277   traces:
2278     boxmean: False
2279   layout:
2280     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2281     layout:
2282       "plot-latency"
2283
2284 # VPP IP4
2285 -
2286   type: "plot"
2287   title: "VPP Latency 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2288   algorithm: "plot_latency_box"
2289   output-file-type: ".html"
2290   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc-lat50"
2291   data:
2292     "plot-vpp-throughput-latency"
2293   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
2294   parameters:
2295   - "latency"
2296   - "parent"
2297   traces:
2298     boxmean: False
2299   layout:
2300     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2301     layout:
2302       "plot-latency"
2303
2304 -
2305   type: "plot"
2306   title: "VPP Latency 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2307   algorithm: "plot_latency_box"
2308   output-file-type: ".html"
2309   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc-lat50"
2310   data:
2311     "plot-vpp-throughput-latency"
2312   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
2313   parameters:
2314   - "latency"
2315   - "parent"
2316   traces:
2317     boxmean: False
2318   layout:
2319     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2320     layout:
2321       "plot-latency"
2322
2323 # VPP IP6
2324 -
2325   type: "plot"
2326   title: "VPP Latency 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2327   algorithm: "plot_latency_box"
2328   output-file-type: ".html"
2329   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc-lat50"
2330   data:
2331     "plot-vpp-throughput-latency"
2332   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2333   parameters:
2334   - "latency"
2335   - "parent"
2336   traces:
2337     boxmean: False
2338   layout:
2339     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2340     layout:
2341       "plot-latency"
2342
2343 -
2344   type: "plot"
2345   title: "VPP Latency 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2346   algorithm: "plot_latency_box"
2347   output-file-type: ".html"
2348   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc-lat50"
2349   data:
2350     "plot-vpp-throughput-latency"
2351   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2352   parameters:
2353   - "latency"
2354   - "parent"
2355   traces:
2356     boxmean: False
2357   layout:
2358     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2359     layout:
2360       "plot-latency"
2361
2362 # VPP IP4_overlay
2363 -
2364   type: "plot"
2365   title: "VPP Latency 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2366   algorithm: "plot_latency_box"
2367   output-file-type: ".html"
2368   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc-lat50"
2369   data:
2370     "plot-vpp-throughput-latency"
2371   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2372   parameters:
2373   - "latency"
2374   - "parent"
2375   traces:
2376     boxmean: False
2377   layout:
2378     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2379     layout:
2380       "plot-latency"
2381
2382 -
2383   type: "plot"
2384   title: "VPP Latency 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2385   algorithm: "plot_latency_box"
2386   output-file-type: ".html"
2387   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc-lat50"
2388   data:
2389     "plot-vpp-throughput-latency"
2390   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2391   parameters:
2392   - "latency"
2393   - "parent"
2394   traces:
2395     boxmean: False
2396   layout:
2397     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2398     layout:
2399       "plot-latency"
2400
2401 # VPP IP6_overlay
2402 -
2403   type: "plot"
2404   title: "VPP Latency 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2405   algorithm: "plot_latency_box"
2406   output-file-type: ".html"
2407   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc-lat50"
2408   data:
2409     "plot-vpp-throughput-latency"
2410   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2411   parameters:
2412   - "latency"
2413   - "parent"
2414   traces:
2415     boxmean: False
2416   layout:
2417     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2418     layout:
2419       "plot-latency"
2420
2421 -
2422   type: "plot"
2423   title: "VPP Latency 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2424   algorithm: "plot_latency_box"
2425   output-file-type: ".html"
2426   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc-lat50"
2427   data:
2428     "plot-vpp-throughput-latency"
2429   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2430   parameters:
2431   - "latency"
2432   - "parent"
2433   traces:
2434     boxmean: False
2435   layout:
2436     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2437     layout:
2438       "plot-latency"
2439
2440 # VPP VM VHOST
2441 -
2442   type: "plot"
2443   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
2444   algorithm: "plot_latency_box"
2445   output-file-type: ".html"
2446   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc-lat50"
2447   data:
2448     "plot-vpp-throughput-latency"
2449   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2450   parameters:
2451   - "latency"
2452   - "parent"
2453   traces:
2454     boxmean: False
2455   layout:
2456     title: "64B-1t1c-.*vhost.*-ndrdisc"
2457     layout:
2458       "plot-latency"
2459
2460 -
2461   type: "plot"
2462   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
2463   algorithm: "plot_latency_box"
2464   output-file-type: ".html"
2465   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc-lat50"
2466   data:
2467     "plot-vpp-throughput-latency"
2468   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2469   parameters:
2470   - "latency"
2471   - "parent"
2472   traces:
2473     boxmean: False
2474   layout:
2475     title: "64B-2t2c-.*vhost.*-ndrdisc"
2476     layout:
2477       "plot-latency"
2478
2479 # VPP VM VHOST selection
2480 -
2481   type: "plot"
2482   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
2483   algorithm: "plot_latency_box"
2484   output-file-type: ".html"
2485   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc-lat50"
2486   data:
2487     "plot-vpp-throughput-latency"
2488   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2489   parameters:
2490   - "latency"
2491   - "parent"
2492   traces:
2493     boxmean: False
2494   layout:
2495     title: "64B-1t1c-.*vhost.*-ndrdisc"
2496     layout:
2497       "plot-latency"
2498
2499 -
2500   type: "plot"
2501   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
2502   algorithm: "plot_latency_box"
2503   output-file-type: ".html"
2504   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc-lat50"
2505   data:
2506     "plot-vpp-throughput-latency"
2507   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2508   parameters:
2509   - "latency"
2510   - "parent"
2511   traces:
2512     boxmean: False
2513   layout:
2514     title: "64B-2t2c-.*vhost.*-ndrdisc"
2515     layout:
2516       "plot-latency"
2517
2518 # VPP CRYPTO
2519 -
2520   type: "plot"
2521   title: "VPP Latency 64B-1t1c-.*ipsec.*-ndrdisc"
2522   algorithm: "plot_latency_box"
2523   output-file-type: ".html"
2524   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc-lat50"
2525   data:
2526     "plot-vpp-throughput-latency"
2527   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2528   parameters:
2529   - "latency"
2530   - "parent"
2531   traces:
2532     boxmean: False
2533   layout:
2534     title: "64B-1t1c-.*ipsec.*-ndrdisc"
2535     layout:
2536       "plot-latency"
2537
2538 -
2539   type: "plot"
2540   title: "VPP Latency 64B-2t2c-.*ipsec.*-ndrdisc"
2541   algorithm: "plot_latency_box"
2542   output-file-type: ".html"
2543   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc-lat50"
2544   data:
2545     "plot-vpp-throughput-latency"
2546   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2547   parameters:
2548   - "latency"
2549   - "parent"
2550   traces:
2551     boxmean: False
2552   layout:
2553     title: "64B-2t2c-.*ipsec.*-ndrdisc"
2554     layout:
2555       "plot-latency"
2556
2557 # DPDK
2558 -
2559   type: "plot"
2560   title: "DPDK Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2561   algorithm: "plot_latency_box"
2562   output-file-type: ".html"
2563   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc-lat50"
2564   data:
2565     "plot-dpdk-throughput-latency"
2566   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2567   parameters:
2568   - "latency"
2569   - "parent"
2570   traces:
2571     boxmean: False
2572   layout:
2573     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2574     layout:
2575       "plot-latency"
2576
2577 -
2578   type: "plot"
2579   title: "DPDK Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2580   algorithm: "plot_latency_box"
2581   output-file-type: ".html"
2582   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc-lat50"
2583   data:
2584     "plot-dpdk-throughput-latency"
2585   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2586   parameters:
2587   - "latency"
2588   - "parent"
2589   traces:
2590     boxmean: False
2591   layout:
2592     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2593     layout:
2594       "plot-latency"
2595
2596 -
2597   type: "plot"
2598   title: "DPDK Latency 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2599   algorithm: "plot_latency_box"
2600   output-file-type: ".html"
2601   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc-lat50"
2602   data:
2603     "plot-dpdk-throughput-latency"
2604   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
2605   parameters:
2606   - "latency"
2607   - "parent"
2608   traces:
2609     boxmean: False
2610   layout:
2611     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2612     layout:
2613       "plot-latency"
2614
2615 -
2616   type: "plot"
2617   title: "DPDK Latency 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2618   algorithm: "plot_latency_box"
2619   output-file-type: ".html"
2620   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc-lat50"
2621   data:
2622     "plot-dpdk-throughput-latency"
2623   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
2624   parameters:
2625   - "latency"
2626   - "parent"
2627   traces:
2628     boxmean: False
2629   layout:
2630     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2631     layout:
2632       "plot-latency"
2633
2634 # Ligato - Throughput
2635
2636 # Container memif
2637 -
2638   type: "plot"
2639   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2640   algorithm: "plot_performance_box"
2641   output-file-type: ".html"
2642   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc"
2643   data:
2644     "plot-vpp-throughput-latency"
2645   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2646   parameters:
2647   - "throughput"
2648   - "parent"
2649   traces:
2650     hoverinfo: "x+y"
2651     boxpoints: "outliers"
2652     whiskerwidth: 0
2653   layout:
2654     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2655     layout:
2656       "plot-throughput"
2657
2658 -
2659   type: "plot"
2660   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2661   algorithm: "plot_performance_box"
2662   output-file-type: ".html"
2663   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc"
2664   data:
2665     "plot-vpp-throughput-latency"
2666   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2667   parameters:
2668   - "throughput"
2669   - "parent"
2670   traces:
2671     hoverinfo: "x+y"
2672     boxpoints: "outliers"
2673     whiskerwidth: 0
2674   layout:
2675     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2676     layout:
2677       "plot-throughput"
2678
2679 -
2680   type: "plot"
2681   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
2682   algorithm: "plot_performance_box"
2683   output-file-type: ".html"
2684   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-pdrdisc"
2685   data:
2686     "plot-vpp-throughput-latency"
2687   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2688   parameters:
2689   - "throughput"
2690   - "parent"
2691   traces:
2692     hoverinfo: "x+y"
2693     boxpoints: "outliers"
2694     whiskerwidth: 0
2695   layout:
2696     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
2697     layout:
2698       "plot-throughput"
2699
2700 -
2701   type: "plot"
2702   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
2703   algorithm: "plot_performance_box"
2704   output-file-type: ".html"
2705   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-pdrdisc"
2706   data:
2707     "plot-vpp-throughput-latency"
2708   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2709   parameters:
2710   - "throughput"
2711   - "parent"
2712   traces:
2713     hoverinfo: "x+y"
2714     boxpoints: "outliers"
2715     whiskerwidth: 0
2716   layout:
2717     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
2718     layout:
2719       "plot-throughput"
2720
2721 # Container orchestrated
2722 -
2723   type: "plot"
2724   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2725   algorithm: "plot_performance_box"
2726   output-file-type: ".html"
2727   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc"
2728   data:
2729     "plot-ligato-throughput-latency"
2730   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2731   parameters:
2732   - "throughput"
2733   - "parent"
2734   traces:
2735     hoverinfo: "x+y"
2736     boxpoints: "outliers"
2737     whiskerwidth: 0
2738   layout:
2739     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2740     layout:
2741       "plot-throughput"
2742
2743 -
2744   type: "plot"
2745   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2746   algorithm: "plot_performance_box"
2747   output-file-type: ".html"
2748   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc"
2749   data:
2750     "plot-ligato-throughput-latency"
2751   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2752   parameters:
2753   - "throughput"
2754   - "parent"
2755   traces:
2756     hoverinfo: "x+y"
2757     boxpoints: "outliers"
2758     whiskerwidth: 0
2759   layout:
2760     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2761     layout:
2762       "plot-throughput"
2763
2764 -
2765   type: "plot"
2766   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
2767   algorithm: "plot_performance_box"
2768   output-file-type: ".html"
2769   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-pdrdisc"
2770   data:
2771     "plot-ligato-throughput-latency"
2772   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2773   parameters:
2774   - "throughput"
2775   - "parent"
2776   traces:
2777     hoverinfo: "x+y"
2778     boxpoints: "outliers"
2779     whiskerwidth: 0
2780   layout:
2781     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
2782     layout:
2783       "plot-throughput"
2784
2785 -
2786   type: "plot"
2787   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
2788   algorithm: "plot_performance_box"
2789   output-file-type: ".html"
2790   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-pdrdisc"
2791   data:
2792     "plot-ligato-throughput-latency"
2793   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2794   parameters:
2795   - "throughput"
2796   - "parent"
2797   traces:
2798     hoverinfo: "x+y"
2799     boxpoints: "outliers"
2800     whiskerwidth: 0
2801   layout:
2802     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
2803     layout:
2804       "plot-throughput"
2805
2806 # Ligato - Latency
2807
2808 # Container memif
2809 -
2810   type: "plot"
2811   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2812   algorithm: "plot_latency_box"
2813   output-file-type: ".html"
2814   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc-lat50"
2815   data:
2816     "plot-vpp-throughput-latency"
2817   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2818   parameters:
2819   - "latency"
2820   - "parent"
2821   traces:
2822     boxmean: False
2823   layout:
2824     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2825     layout:
2826       "plot-latency"
2827
2828 -
2829   type: "plot"
2830   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2831   algorithm: "plot_latency_box"
2832   output-file-type: ".html"
2833   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc-lat50"
2834   data:
2835     "plot-vpp-throughput-latency"
2836   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2837   parameters:
2838   - "latency"
2839   - "parent"
2840   traces:
2841     boxmean: False
2842   layout:
2843     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2844     layout:
2845       "plot-latency"
2846
2847 # Container orchestrated
2848 -
2849   type: "plot"
2850   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2851   algorithm: "plot_latency_box"
2852   output-file-type: ".html"
2853   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc-lat50"
2854   data:
2855     "plot-ligato-throughput-latency"
2856   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2857   parameters:
2858   - "latency"
2859   - "parent"
2860   traces:
2861     boxmean: False
2862   layout:
2863     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2864     layout:
2865       "plot-latency"
2866
2867 -
2868   type: "plot"
2869   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2870   algorithm: "plot_latency_box"
2871   output-file-type: ".html"
2872   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc-lat50"
2873   data:
2874     "plot-ligato-throughput-latency"
2875   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2876   parameters:
2877   - "latency"
2878   - "parent"
2879   traces:
2880     boxmean: False
2881   layout:
2882     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2883     layout:
2884       "plot-latency"