resources/tools/presentation/specification.yaml

   1 -
   2   type: "environment"
   3   configuration:
   4     # Debug mode:
   5     # - Skip:
   6     #   - Download of input data files
   7     # - Do:
   8     #   - Read data from given zip / xml files
   9     #   - Set the configuration as it is done in normal mode
  10     # If the section "type: debug" is missing, CFG[DEBUG] is set to 0.
  11     CFG[DEBUG]: 0
  12
  13   paths:
  14     # Top level directories:
  15     ## Working directory
  16     DIR[WORKING]: "_tmp"
  17     ## Build directories
  18     DIR[BUILD,HTML]: "_build"
  19     DIR[BUILD,LATEX]: "_build_latex"
  20
  21     # Static .rst files
  22     DIR[RST]: "../../../docs/report"
  23
  24     # Working directories
  25     ## Input data files (.zip, .xml)
  26     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
  27     ## Static source files from git
  28     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
  29     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
  30
  31     # Static html content
  32     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
  33     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
  34     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
  35     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
  36
  37     # Detailed test results
  38     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
  39     DIR[DTR,PERF,DPDK]: "{DIR[DTR]}/dpdk_performance_results"
  40     DIR[DTR,PERF,VPP]: "{DIR[DTR]}/vpp_performance_results"
  41     DIR[DTR,PERF,COT]: "{DIR[DTR]}/cot_performance_results"
  42     DIR[DTR,PERF,HC]: "{DIR[DTR]}/honeycomb_performance_results"
  43     DIR[DTR,FUNC,VPP]: "{DIR[DTR]}/vpp_functional_results"
  44     DIR[DTR,FUNC,HC]: "{DIR[DTR]}/honeycomb_functional_results"
  45     DIR[DTR,FUNC,NSHSFC]: "{DIR[DTR]}/nshsfc_functional_results"
  46     DIR[DTR,PERF,VPP,IMPRV]: "{DIR[WORKING,SRC]}/vpp_performance_tests/performance_improvements"
  47
  48     # Detailed test configurations
  49     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
  50     DIR[DTC,PERF,VPP]: "{DIR[DTC]}/vpp_performance_configuration"
  51     DIR[DTC,FUNC,VPP]: "{DIR[DTC]}/vpp_functional_configuration"
  52
  53     # Detailed tests operational data
  54     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
  55     DIR[DTO,PERF,VPP]: "{DIR[DTO]}/vpp_performance_operational_data"
  56
  57     # .css patch file to fix tables generated by Sphinx
  58     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
  59     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
  60
  61   urls:
  62     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
  63     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
  64
  65   make-dirs:
  66   # List the directories which are created while preparing the environment.
  67   # All directories MUST be defined in "paths" section.
  68   - "DIR[WORKING,DATA]"
  69   - "DIR[STATIC,VPP]"
  70   - "DIR[STATIC,DPDK]"
  71   - "DIR[STATIC,ARCH]"
  72   - "DIR[BUILD,LATEX]"
  73   - "DIR[WORKING,SRC]"
  74   - "DIR[WORKING,SRC,STATIC]"
  75
  76   remove-dirs:
  77   # List the directories which are deleted while cleaning the environment.
  78   # All directories MUST be defined in "paths" section.
  79   #- "DIR[BUILD,HTML]"
  80
  81   build-dirs:
  82   # List the directories where the results (build) is stored.
  83   # All directories MUST be defined in "paths" section.
  84   - "DIR[BUILD,HTML]"
  85   - "DIR[BUILD,LATEX]"
  86
  87 -
  88   type: "configuration"
  89   data-sets:
  90     vpp-meltdown-impact:
  91       csit-vpp-perf-1707-all:
  92       - 9
  93       - 10
  94       - 13
  95       csit-vpp-perf-1710-all:
  96       - 11
  97       - 12
  98       - 13
  99     vpp-spectre-impact:
 100       csit-vpp-perf-1707-all:
 101       - 9
 102       - 10
 103       - 13
 104       csit-vpp-perf-1710-all:
 105       - 11
 106       - 12
 107       - 13
 108 # TODO: Add the data sources
 109     plot-throughput-speedup-analysis:
 110       csit-vpp-perf-1801-all:
 111       - 12
 112     performance-improvements:
 113       csit-vpp-perf-1707-all:
 114       - 9
 115       - 10
 116       - 13
 117       - 14
 118       - 15
 119       - 16
 120       - 17
 121       - 18
 122       - 19
 123       - 21
 124       csit-vpp-perf-1710-all:
 125       - 11
 126       - 12
 127       - 13
 128       - 14
 129       - 15
 130       - 16
 131       - 17
 132       - 18
 133       - 19
 134       - 20
 135 # TODO:
 136       csit-vpp-perf-1801-all:
 137       - 13
 138       - 14
 139       csit-ligato-perf-1710-all:
 140       - 5
 141       - 7
 142       - 8
 143       - 9
 144       - 10
 145       - 11
 146       - 12
 147       - 13
 148       - 16
 149       - 17
 150       csit-ligato-perf-1801-all:
 151       - 1
 152       - 3
 153       - 7
 154 # TODO:
 155     vpp-perf-results:
 156       csit-vpp-perf-1801-all:
 157       - 12
 158     vpp-func-results:
 159       csit-vpp-functional-1801-ubuntu1604-virl:
 160       - "lastSuccessfulBuild"
 161 # TODO:
 162     ligato-perf-results:
 163       csit-ligato-perf-1801-all:
 164       - 1
 165     dpdk-perf-results:
 166       csit-dpdk-perf-1801-all:
 167       - 12
 168     hc-func-results:
 169       csit-hc2vpp-verify-func-1801-ubuntu1604:
 170       - "lastSuccessfulBuild"
 171 # TODO: Will we use this one?
 172 #      hc2vpp-csit-integration-odl-carbon-1801-ubuntu1604:
 173 #      - lastSuccessfulBuild
 174     nsh-func-results:
 175       csit-nsh_sfc-verify-func-1801-ubuntu1604-virl:
 176       - 1
 177 # TODO:
 178     plot-vpp-throughput-latency:
 179       csit-vpp-perf-1801-all:
 180       - 13
 181       - 14
 182     plot-dpdk-throughput-latency:
 183       csit-dpdk-perf-1801-all:
 184       - 1
 185       - 3
 186       - 4
 187       - 5
 188       - 6
 189       - 7
 190       - 8
 191       - 9
 192       - 10
 193       - 12
 194 # TODO:
 195     plot-ligato-throughput-latency:
 196       csit-ligato-perf-1801-all:
 197       - 1
 198       - 3
 199       - 7
 200   plot-layouts:
 201     plot-throughput:
 202       xaxis:
 203         autorange: True
 204         autotick: False
 205         fixedrange: False
 206         gridcolor: "rgb(238, 238, 238)"
 207         linecolor: "rgb(238, 238, 238)"
 208         linewidth: 1
 209         showgrid: True
 210         showline: True
 211         showticklabels: True
 212         tickcolor: "rgb(238, 238, 238)"
 213         tickmode: "linear"
 214         title: "Indexed Test Cases"
 215         zeroline: False
 216       yaxis:
 217         gridcolor: "rgb(238, 238, 238)'"
 218         hoverformat: ".4s"
 219         linecolor: "rgb(238, 238, 238)"
 220         linewidth: 1
 221         range: []
 222         showgrid: True
 223         showline: True
 224         showticklabels: True
 225         tickcolor: "rgb(238, 238, 238)"
 226         title: "Packets Per Second [pps]"
 227         zeroline: False
 228       boxmode: "group"
 229       boxgroupgap: 0.5
 230       autosize: False
 231       margin:
 232         t: 50
 233         b: 20
 234         l: 50
 235         r: 20
 236       showlegend: True
 237       legend:
 238         orientation: "h"
 239       width: 700
 240       height: 1000
 241     plot-latency:
 242       xaxis:
 243         autorange: True
 244         autotick: False
 245         fixedrange: False
 246         gridcolor: "rgb(238, 238, 238)"
 247         linecolor: "rgb(238, 238, 238)"
 248         linewidth: 1
 249         showgrid: True
 250         showline: True
 251         showticklabels: True
 252         tickcolor: "rgb(238, 238, 238)"
 253         tickmode: "linear"
 254         title: "Indexed Test Cases"
 255         zeroline: False
 256       yaxis:
 257         gridcolor: "rgb(238, 238, 238)'"
 258         hoverformat: ""
 259         linecolor: "rgb(238, 238, 238)"
 260         linewidth: 1
 261         range: []
 262         showgrid: True
 263         showline: True
 264         showticklabels: True
 265         tickcolor: "rgb(238, 238, 238)"
 266         title: "Latency min/avg/max [uSec]"
 267         zeroline: False
 268       boxmode: "group"
 269       boxgroupgap: 0.5
 270       autosize: False
 271       margin:
 272         t: 50
 273         b: 20
 274         l: 50
 275         r: 20
 276       showlegend: True
 277       legend:
 278         orientation: "h"
 279       width: 700
 280       height: 1000
 281     plot-throughput-speedup-analysis:
 282       xaxis:
 283         autorange: True
 284         autotick: False
 285         fixedrange: False
 286         gridcolor: "rgb(238, 238, 238)"
 287         linecolor: "rgb(238, 238, 238)"
 288         linewidth: 1
 289         showgrid: True
 290         showline: True
 291         showticklabels: True
 292         tickcolor: "rgb(238, 238, 238)"
 293         tickmode: "linear"
 294         tickangle: 270
 295         zeroline: False
 296       yaxis:
 297         title: "Throughput speedup factor"
 298         gridcolor: "rgb(238, 238, 238)"
 299         hoverformat: ".4s"
 300         linecolor: "rgb(238, 238, 238)"
 301         linewidth: 1
 302         range: []
 303         showgrid: True
 304         showline: True
 305         showticklabels: True
 306         tickcolor: "rgb(238, 238, 238)"
 307         zeroline: False
 308       legend:
 309         orientation: "h"
 310         xanchor: "center"
 311         yanchor: "top"
 312         x: 0.5
 313         y: 1
 314         bgcolor: "rgba(255, 255, 255, 0)"
 315         bordercolor: "rgba(255, 255, 255, 0)"
 316       barmode: "group"
 317       bargap: 0.15
 318       bargroupgap: 0.1
 319       autosize: False
 320       margin:
 321           't': 50
 322           'b': 200
 323           'l': 50
 324           'r': 20
 325       showlegend: True
 326       width: 700
 327       height: 1000
 328
 329 -
 330   type: "debug"
 331   general:
 332     input-format: "xml"  # zip or xml
 333     extract: "robot-plugin/output.xml"  # Only for zip
 334   builds:
 335     # The files must be in the directory DIR[WORKING,DATA]
 336     csit-vpp-perf-1801-all:
 337     -
 338       build: 1
 339       file: "{DIR[WORKING,DATA]}/output.xml"
 340     -
 341       build: 2
 342       file: "{DIR[WORKING,DATA]}/output.xml"
 343
 344 -
 345   type: "static"
 346   src-path: "{DIR[RST]}"
 347   dst-path: "{DIR[WORKING,SRC]}"
 348
 349 -
 350   type: "input"  # Ignored in debug mode
 351   general:
 352     file-name: "robot-plugin.zip"
 353     file-format: ".zip"
 354     download-path: "{job}/{build}/robot/report/*zip*/{filename}"
 355     extract: "robot-plugin/output.xml"
 356   builds:
 357     csit-vpp-perf-1707-all:
 358     - 9
 359     - 10
 360     - 13
 361     - 14
 362     - 15
 363     - 16
 364     - 17
 365     - 18
 366     - 19
 367     - 21
 368     csit-vpp-perf-1710-all:
 369     - 11
 370     - 12
 371     - 13
 372     - 14
 373     - 15
 374     - 16
 375     - 17
 376     - 18
 377     - 19
 378     - 20
 379     - 23
 380 # TODO:
 381     csit-vpp-perf-1801-all:
 382     - 12
 383     - 13
 384     - 14
 385     csit-ligato-perf-1710-all:
 386     - 5
 387     - 7
 388     - 8
 389     - 9
 390     - 10
 391     - 11
 392     - 12
 393     - 13
 394     - 16
 395     - 17
 396 # TODO:
 397     csit-ligato-perf-1801-all:
 398     - 1
 399     - 3
 400     - 7
 401     csit-dpdk-perf-1801-all:
 402     - 1
 403     - 3
 404     - 4
 405     - 5
 406     - 6
 407     - 7
 408     - 8
 409     - 9
 410     - 10
 411     - 12
 412     csit-vpp-functional-1801-ubuntu1604-virl:
 413     - lastSuccessfulBuild
 414     csit-nsh_sfc-verify-func-1801-ubuntu1604-virl:
 415     - 1
 416     csit-hc2vpp-verify-func-1801-ubuntu1604:
 417     - lastSuccessfulBuild
 418 # TODO: Will we use this one?
 419 #    hc2vpp-csit-integration-odl-carbon-1801-ubuntu1604:
 420 #    - lastSuccessfulBuild
 421
 422 -
 423   type: "output"
 424   format:
 425     html:
 426     - full
 427     pdf:
 428     - minimal
 429
 430 ################################################################################
 431 ###                               T A B L E S                                ###
 432 ################################################################################
 433
 434 -
 435   type: "table"
 436   title: "Performance Impact of Meltdown Patches"
 437   algorithm: "table_performance_comparison"
 438   output-file-ext: ".csv"
 439 # TODO: specify dir
 440   output-file: "{DIR[STATIC,VPP]}/meltdown-impact"
 441   reference:
 442     title: "No Meltdown"
 443 # TODO: specify data sources
 444     data:
 445       csit-vpp-perf-1707-all:
 446       - 9
 447       - 10
 448       - 13
 449   compare:
 450     title: "Meltdown Patches Applied"
 451 # TODO: specify data sources
 452     data:
 453       csit-vpp-perf-1710-all:
 454       - 11
 455       - 12
 456       - 13
 457   data:
 458     "vpp-meltdown-impact"
 459   filter: "all"
 460   parameters:
 461   - "name"
 462   - "parent"
 463   - "throughput"
 464   # Number of the best and the worst tests presented in the table. Use 0 (zero)
 465   # to present all tests.
 466   nr-of-tests-shown: 20
 467
 468 -
 469   type: "table"
 470   title: "Performance Impact of Spectre Patches"
 471   algorithm: "table_performance_comparison"
 472   output-file-ext: ".csv"
 473 # TODO: specify dir
 474   output-file: "{DIR[STATIC,VPP]}/meltdown-spectre-impact"
 475   reference:
 476     title: "No Spectre"
 477 # TODO: specify data sources
 478     data:
 479       csit-vpp-perf-1707-all:
 480       - 9
 481       - 10
 482       - 13
 483   compare:
 484     title: "Spectre Patches Applied"
 485 # TODO: specify data sources
 486     data:
 487       csit-vpp-perf-1710-all:
 488       - 11
 489       - 12
 490       - 13
 491   data:
 492     "vpp-spectre-impact"
 493   filter: "all"
 494   parameters:
 495   - "name"
 496   - "parent"
 497   - "throughput"
 498   # Number of the best and the worst tests presented in the table. Use 0 (zero)
 499   # to present all tests.
 500   nr-of-tests-shown: 20
 501
 502 -
 503   type: "table"
 504   title: "Performance improvements"
 505   algorithm: "table_performance_improvements"
 506   template: "{DIR[DTR,PERF,VPP,IMPRV]}/tmpl_performance_improvements.csv"
 507   output-file-ext: ".csv"
 508   output-file: "{DIR[DTR,PERF,VPP,IMPRV]}/performance_improvements"
 509   columns:
 510   -
 511     title: "Functionality"
 512     data: "template 1"
 513   -
 514     title: "Test Name"
 515     data: "template 2"
 516   -
 517     title: "16.09 mean [Mpps]"
 518     data: "template 3"
 519   -
 520     title: "17.01 mean [Mpps]"
 521     data: "template 4"
 522   -
 523     title: "17.04 mean [Mpps]"
 524     data: "template 5"
 525   -
 526     title: "17.07 mean [Mpps]"
 527     data: "data csit-vpp-perf-1707-all mean"
 528   -
 529     title: "17.10 mean [Mpps]"
 530     data: "data csit-vpp-perf-1710-all csit-ligato-perf-1710-all mean"
 531   -
 532     title: "18.01 mean [Mpps]"
 533     data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all mean"
 534   -
 535     title: "18.01 stdev [Mpps]"
 536     data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all stdev"
 537   -
 538     title: "17.10 to 18.01 change [%]"
 539     data: "operation relative_change 6 7"
 540   rows: "generated"
 541   data:
 542     "performance-improvements"
 543   filter: "template"
 544   parameters:
 545   - "throughput"
 546
 547 -
 548   type: "table"
 549   title: "Detailed Test Results - VPP Performance Results"
 550   algorithm: "table_merged_details"
 551   output-file-ext: ".csv"
 552   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
 553   columns:
 554   -
 555     title: "Name"
 556     data: "data name"
 557   -
 558     title: "Documentation"
 559     data: "data doc"
 560   -
 561     title: "Status"
 562     data: "data msg"
 563   rows: "generated"
 564   data:
 565     "vpp-perf-results"
 566   filter: "not 'NDRCHK' and not 'PDRCHK'"
 567   parameters:
 568   - "name"
 569   - "parent"
 570   - "doc"
 571   - "msg"
 572
 573 -
 574   type: "table"
 575   title: "Test configuration - VPP Performance Test Configs"
 576   algorithm: "table_merged_details"
 577   output-file-ext: ".csv"
 578   output-file: "{DIR[DTC,PERF,VPP]}/vpp_test_configuration"
 579   columns:
 580   -
 581     title: "Name"
 582     data: "data name"
 583   -
 584     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
 585     data: "data vat-history"
 586   rows: "generated"
 587   data:
 588     "vpp-perf-results"
 589   filter: "not 'NDRCHK' and not 'PDRCHK'"
 590   parameters:
 591   - "parent"
 592   - "name"
 593   - "vat-history"
 594
 595 -
 596   type: "table"
 597   title: "Test Operational Data - VPP Performance Operational Data"
 598   algorithm: "table_merged_details"
 599   output-file-ext: ".csv"
 600   output-file: "{DIR[DTO,PERF,VPP]}/vpp_test_operational"
 601   columns:
 602   -
 603     title: "Name"
 604     data: "data name"
 605   -
 606     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
 607     data: "data show-run"
 608   rows: "generated"
 609   data:
 610     "vpp-perf-results"
 611   filter: "not 'NDRCHK' and not 'PDRCHK'"
 612   parameters:
 613   - "parent"
 614   - "name"
 615   - "show-run"
 616
 617 -
 618   type: "table"
 619   title: "Detailed Test Results - VPP Functional Results"
 620   algorithm: "table_details"
 621   output-file-ext: ".csv"
 622   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
 623   columns:
 624   -
 625     title: "Name"
 626     data: "data name"
 627   -
 628     title: "Documentation"
 629     data: "data doc"
 630   -
 631     title: "Status"
 632     data: "data status"
 633   rows: "generated"
 634   data:
 635     "vpp-func-results"
 636   filter: "all"
 637   parameters:
 638   - "name"
 639   - "parent"
 640   - "doc"
 641   - "status"
 642
 643 -
 644   type: "table"
 645   title: "Test configuration - VPP Functional Test Configs"
 646   algorithm: "table_details"
 647   output-file-ext: ".csv"
 648   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
 649   columns:
 650   -
 651     title: "Name"
 652     data: "data name"
 653   -
 654     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
 655     data: "data vat-history"
 656   rows: "generated"
 657   data:
 658     "vpp-func-results"
 659   filter: "all"
 660   parameters:
 661   - "parent"
 662   - "name"
 663   - "vat-history"
 664
 665 -
 666   type: "table"
 667   title: "Detailed Test Results - Container Orchestrated Topologies Performance Results"
 668   algorithm: "table_details"
 669   output-file-ext: ".csv"
 670   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
 671   columns:
 672   -
 673     title: "Name"
 674     data: "data name"
 675   -
 676     title: "Documentation"
 677     data: "data doc"
 678   -
 679     title: "Status"
 680     data: "data msg"
 681   rows: "generated"
 682   data:
 683     "ligato-perf-results"
 684   filter: "all"
 685   parameters:
 686   - "name"
 687   - "parent"
 688   - "doc"
 689   - "msg"
 690
 691 -
 692   type: "table"
 693   title: "Detailed Test Results - DPDK Performance Results"
 694   algorithm: "table_details"
 695   output-file-ext: ".csv"
 696   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
 697   columns:
 698   -
 699     title: "Name"
 700     data: "data name"
 701   -
 702     title: "Documentation"
 703     data: "data doc"
 704   -
 705     title: "Status"
 706     data: "data msg"
 707   rows: "generated"
 708   data:
 709     "dpdk-perf-results"
 710   filter: "all"
 711   parameters:
 712   - "name"
 713   - "parent"
 714   - "doc"
 715   - "msg"
 716
 717 -
 718   type: "table"
 719   title: "Detailed Test Results - Honeycomb Functional Results"
 720   algorithm: "table_details"
 721   output-file-ext: ".csv"
 722   output-file: "{DIR[DTR,FUNC,HC]}/hc_functional_results"
 723   columns:
 724   -
 725     title: "Name"
 726     data: "data name"
 727   -
 728     title: "Documentation"
 729     data: "data doc"
 730   -
 731     title: "Status"
 732     data: "data status"
 733   rows: "generated"
 734   data:
 735     "hc-func-results"
 736   filter: "all"
 737   parameters:
 738   - "name"
 739   - "parent"
 740   - "doc"
 741   - "status"
 742
 743 -
 744   type: "table"
 745   title: "Detailed Test Results - NSH SFC Functional Results"
 746   algorithm: "table_details"
 747   output-file-ext: ".csv"
 748   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nsh_sfc_functional_results"
 749   columns:
 750   -
 751     title: "Name"
 752     data: "data name"
 753   -
 754     title: "Documentation"
 755     data: "data doc"
 756   -
 757     title: "Status"
 758     data: "data status"
 759   rows: "generated"
 760   data:
 761     "nsh-func-results"
 762   filter: "all"
 763   parameters:
 764   - "name"
 765   - "parent"
 766   - "doc"
 767   - "status"
 768
 769 ################################################################################
 770 ###                                F I L E S                                 ###
 771 ################################################################################
 772
 773 -
 774   type: "file"
 775   title: "VPP Performance Results"
 776   algorithm: "file_merged_test_results"
 777   output-file-ext: ".rst"
 778   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
 779   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
 780   dir-tables: "{DIR[DTR,PERF,VPP]}"
 781   data:
 782     "vpp-perf-results"
 783   filter: "not 'NDRCHK' and not 'PDRCHK'"
 784   parameters:
 785   - "name"
 786   - "doc"
 787   - "level"
 788   - "parent"
 789   data-start-level: 3  # 0, 1, 2, ...
 790   chapters-start-level: 2  # 0, 1, 2, ...
 791
 792 -
 793   type: "file"
 794   title: "VPP Performance Configuration"
 795   algorithm: "file_merged_test_results"
 796   output-file-ext: ".rst"
 797   output-file: "{DIR[DTC,PERF,VPP]}/vpp_performance_configuration"
 798   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
 799   dir-tables: "{DIR[DTC,PERF,VPP]}"
 800   data:
 801     "vpp-perf-results"
 802   filter: "not 'NDRCHK' and not 'PDRCHK'"
 803   parameters:
 804   - "name"
 805   - "doc"
 806   - "level"
 807   - "parent"
 808   data-start-level: 3  # 0, 1, 2, ...
 809   chapters-start-level: 2  # 0, 1, 2, ...
 810
 811 -
 812   type: "file"
 813   title: "VPP Performance Operational Data"
 814   algorithm: "file_merged_test_results"
 815   output-file-ext: ".rst"
 816   output-file: "{DIR[DTO,PERF,VPP]}/vpp_performance_operational_data"
 817   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
 818   dir-tables: "{DIR[DTO,PERF,VPP]}"
 819   data:
 820     "vpp-perf-results"
 821   filter: "not 'NDRCHK' and not 'PDRCHK'"
 822   parameters:
 823   - "name"
 824   - "doc"
 825   - "level"
 826   - "parent"
 827   data-start-level: 3  # 0, 1, 2, ...
 828   chapters-start-level: 2  # 0, 1, 2, ...
 829
 830 -
 831   type: "file"
 832   title: "VPP Functional Results"
 833   algorithm: "file_test_results"
 834   output-file-ext: ".rst"
 835   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
 836   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
 837   dir-tables: "{DIR[DTR,FUNC,VPP]}"
 838   data:
 839     "vpp-func-results"
 840   filter: "all"
 841   parameters:
 842   - "name"
 843   - "doc"
 844   - "level"
 845   data-start-level: 3  # 0, 1, 2, ...
 846   chapters-start-level: 2  # 0, 1, 2, ...
 847
 848 -
 849   type: "file"
 850   title: "VPP Functional Configuration"
 851   algorithm: "file_test_results"
 852   output-file-ext: ".rst"
 853   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
 854   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
 855   dir-tables: "{DIR[DTC,FUNC,VPP]}"
 856   data:
 857     "vpp-func-results"
 858   filter: "all"
 859   parameters:
 860   - "name"
 861   - "doc"
 862   - "level"
 863   data-start-level: 3  # 0, 1, 2, ...
 864   chapters-start-level: 2  # 0, 1, 2, ...
 865
 866 -
 867   type: "file"
 868   title: "Container Orchestrated Performance Results"
 869   algorithm: "file_test_results"
 870   output-file-ext: ".rst"
 871   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
 872   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
 873   dir-tables: "{DIR[DTR,PERF,COT]}"
 874   data:
 875     "ligato-perf-results"
 876   filter: "all"
 877   parameters:
 878   - "name"
 879   - "doc"
 880   - "level"
 881   data-start-level: 2  # 0, 1, 2, ...
 882   chapters-start-level: 2  # 0, 1, 2, ...
 883
 884 -
 885   type: "file"
 886   title: "DPDK Performance Results"
 887   algorithm: "file_test_results"
 888   output-file-ext: ".rst"
 889   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
 890   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
 891   dir-tables: "{DIR[DTR,PERF,DPDK]}"
 892   data:
 893     "dpdk-perf-results"
 894   filter: "all"
 895   parameters:
 896   - "name"
 897   - "doc"
 898   - "level"
 899   chapters:
 900   - "suites"
 901   data-start-level: 2  # 0, 1, 2, ...
 902   chapters-start-level: 2  # 0, 1, 2, ...
 903
 904 -
 905   type: "file"
 906   title: "Honeycomb Functional Results"
 907   algorithm: "file_test_results"
 908   output-file-ext: ".rst"
 909   output-file: "{DIR[DTR,FUNC,HC]}/honeycomb_functional_results"
 910   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
 911   dir-tables: "{DIR[DTR,FUNC,HC]}"
 912   data:
 913     "hc-func-results"
 914   filter: "all"
 915   parameters:
 916   - "name"
 917   - "doc"
 918   - "level"
 919   chapters:
 920   - "suites"
 921   data-start-level: 3  # 0, 1, 2, ...
 922   chapters-start-level: 2  # 0, 1, 2, ...
 923
 924 -
 925   type: "file"
 926   title: "NSH SFC Functional Results"
 927   algorithm: "file_test_results"
 928   output-file-ext: ".rst"
 929   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nshsfc_functional_results"
 930   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
 931   dir-tables: "{DIR[DTR,FUNC,NSHSFC]}"
 932   data:
 933     "nsh-func-results"
 934   filter: "all"
 935   parameters:
 936   - "name"
 937   - "doc"
 938   - "level"
 939   chapters:
 940   - "suites"
 941   data-start-level: 2  # 0, 1, 2, ...
 942   chapters-start-level: 2  # 0, 1, 2, ...
 943
 944 ################################################################################
 945 ###                                P L O T S                                 ###
 946 ################################################################################
 947
 948 # Plot Throughput Speedup Analysis
 949
 950 # L2 - 10ge2p1x520 - NDR
 951 -
 952   type: "plot"
 953   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
 954   algorithm: "plot_throughput_speedup_analysis"
 955   output-file-type: ".html"
 956   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-ndrdisc"
 957   data:
 958     "plot-throughput-speedup-analysis"
 959   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
 960   parameters:
 961   - "throughput"
 962   - "parent"
 963   - "tags"
 964   layout:
 965     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
 966     layout:
 967       "plot-throughput-speedup-analysis"
 968
 969 # L2 - 40ge2p1xl710 - NDR
 970 -
 971   type: "plot"
 972   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
 973   algorithm: "plot_throughput_speedup_analysis"
 974   output-file-type: ".html"
 975   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-l2-tsa-ndrdisc"
 976   data:
 977     "plot-throughput-speedup-analysis"
 978   filter: "'NIC_Intel-XL710' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
 979   parameters:
 980   - "throughput"
 981   - "parent"
 982   - "tags"
 983   layout:
 984     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
 985     layout:
 986       "plot-throughput-speedup-analysis"
 987
 988 # L2 - 10ge2p1x520 - PDR
 989 -
 990   type: "plot"
 991   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
 992   algorithm: "plot_throughput_speedup_analysis"
 993   output-file-type: ".html"
 994   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-pdrdisc"
 995   data:
 996     "plot-throughput-speedup-analysis"
 997   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
 998   parameters:
 999   - "throughput"
1000   - "parent"
1001   - "tags"
1002   layout:
1003     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1004     layout:
1005       "plot-throughput-speedup-analysis"
1006
1007 # IPv4 - 10ge2p1x520 - NDR
1008 -
1009   type: "plot"
1010   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1011   algorithm: "plot_throughput_speedup_analysis"
1012   output-file-type: ".html"
1013   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-ndrdisc"
1014   data:
1015     "plot-throughput-speedup-analysis"
1016   filter: "'NIC_Intel-X520-DA2' and '64B' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1017   parameters:
1018   - "throughput"
1019   - "parent"
1020   - "tags"
1021   layout:
1022     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1023     layout:
1024       "plot-throughput-speedup-analysis"
1025
1026 # IPv4 - 40ge2p1xl710 - NDR
1027 -
1028   type: "plot"
1029   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1030   algorithm: "plot_throughput_speedup_analysis"
1031   output-file-type: ".html"
1032   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-ip4-tsa-ndrdisc"
1033   data:
1034     "plot-throughput-speedup-analysis"
1035   filter: "'NIC_Intel-XL710' and '64B' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1036   parameters:
1037   - "throughput"
1038   - "parent"
1039   - "tags"
1040   layout:
1041     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1042     layout:
1043       "plot-throughput-speedup-analysis"
1044
1045 # IPv4 - 10ge2p1x520 - PDR
1046 -
1047   type: "plot"
1048   title: "TSA: 64B-*-ethip4-ip4(base|scale)*pdrdisc"
1049   algorithm: "plot_throughput_speedup_analysis"
1050   output-file-type: ".html"
1051   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-pdrdisc"
1052   data:
1053     "plot-throughput-speedup-analysis"
1054   filter: "'NIC_Intel-X520-DA2' and '64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST'"
1055   parameters:
1056   - "throughput"
1057   - "parent"
1058   - "tags"
1059   layout:
1060     title: "64B-*-ethip4-ip4(base|scale)*pdrdisc"
1061     layout:
1062       "plot-throughput-speedup-analysis"
1063
1064 # IPv6 - 10ge2p1x520 - NDR
1065 -
1066   type: "plot"
1067   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1068   algorithm: "plot_throughput_speedup_analysis"
1069   output-file-type: ".html"
1070   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-ndrdisc"
1071   data:
1072     "plot-throughput-speedup-analysis"
1073   filter: "'NIC_Intel-X520-DA2' and '78B' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1074   parameters:
1075   - "throughput"
1076   - "parent"
1077   - "tags"
1078   layout:
1079     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1080     layout:
1081       "plot-throughput-speedup-analysis"
1082
1083 # IPv6 - 40ge2p1xl710 - NDR
1084 -
1085   type: "plot"
1086   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1087   algorithm: "plot_throughput_speedup_analysis"
1088   output-file-type: ".html"
1089   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-78B-ip6-tsa-ndrdisc"
1090   data:
1091     "plot-throughput-speedup-analysis"
1092   filter: "'NIC_Intel-XL710' and '78B' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1093   parameters:
1094   - "throughput"
1095   - "parent"
1096   - "tags"
1097   layout:
1098     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1099     layout:
1100       "plot-throughput-speedup-analysis"
1101
1102 # IPv6 - 10ge2p1x520 - PDR
1103 -
1104   type: "plot"
1105   title: "TSA: 78B-*-ethip6-ip6(base|scale)*pdrdisc"
1106   algorithm: "plot_throughput_speedup_analysis"
1107   output-file-type: ".html"
1108   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-pdrdisc"
1109   data:
1110     "plot-throughput-speedup-analysis"
1111   filter: "'NIC_Intel-X520-DA2' and '78B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST'"
1112   parameters:
1113   - "throughput"
1114   - "parent"
1115   - "tags"
1116   layout:
1117     title: "78B-*-ethip6-ip6(base|scale)*pdrdisc"
1118     layout:
1119       "plot-throughput-speedup-analysis"
1120
1121 # Plot packets per second
1122
1123 # VPP L2 sel1
1124 -
1125   type: "plot"
1126   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1127   algorithm: "plot_performance_box"
1128   output-file-type: ".html"
1129   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc"
1130   data:
1131     "plot-vpp-throughput-latency"
1132   # Keep this formatting, the filter is enclosed with " (quotation mark) and
1133   # each tag is enclosed with ' (apostrophe).
1134   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1135   parameters:
1136   - "throughput"
1137   - "parent"
1138   traces:
1139     hoverinfo: "x+y"
1140     boxpoints: "outliers"
1141     whiskerwidth: 0
1142   layout:
1143     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1144     layout:
1145       "plot-throughput"
1146
1147 -
1148   type: "plot"
1149   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1150   algorithm: "plot_performance_box"
1151   output-file-type: ".html"
1152   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc"
1153   data:
1154     "plot-vpp-throughput-latency"
1155   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1156   parameters:
1157   - "throughput"
1158   - "parent"
1159   traces:
1160     hoverinfo: "x+y"
1161     boxpoints: "outliers"
1162     whiskerwidth: 0
1163   layout:
1164     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1165     layout:
1166       "plot-throughput"
1167
1168 -
1169   type: "plot"
1170   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1171   algorithm: "plot_performance_box"
1172   output-file-type: ".html"
1173   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-pdrdisc"
1174   data:
1175     "plot-vpp-throughput-latency"
1176   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1177   parameters:
1178   - "throughput"
1179   - "parent"
1180   traces:
1181     hoverinfo: "x+y"
1182     boxpoints: "outliers"
1183     whiskerwidth: 0
1184   layout:
1185     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1186     layout:
1187       "plot-throughput"
1188
1189 -
1190   type: "plot"
1191   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1192   algorithm: "plot_performance_box"
1193   output-file-type: ".html"
1194   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-pdrdisc"
1195   data:
1196     "plot-vpp-throughput-latency"
1197   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1198   parameters:
1199   - "throughput"
1200   - "parent"
1201   traces:
1202     hoverinfo: "x+y"
1203     boxpoints: "outliers"
1204     whiskerwidth: 0
1205   layout:
1206     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1207     layout:
1208       "plot-throughput"
1209
1210 # VPP L2 sel2
1211 -
1212   type: "plot"
1213   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1214   algorithm: "plot_performance_box"
1215   output-file-type: ".html"
1216   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc"
1217   data:
1218     "plot-vpp-throughput-latency"
1219   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1220   parameters:
1221   - "throughput"
1222   - "parent"
1223   traces:
1224     hoverinfo: "x+y"
1225     boxpoints: "outliers"
1226     whiskerwidth: 0
1227   layout:
1228     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1229     layout:
1230       "plot-throughput"
1231
1232 -
1233   type: "plot"
1234   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1235   algorithm: "plot_performance_box"
1236   output-file-type: ".html"
1237   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc"
1238   data:
1239     "plot-vpp-throughput-latency"
1240   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1241   parameters:
1242   - "throughput"
1243   - "parent"
1244   traces:
1245     hoverinfo: "x+y"
1246     boxpoints: "outliers"
1247     whiskerwidth: 0
1248   layout:
1249     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1250     layout:
1251       "plot-throughput"
1252
1253 -
1254   type: "plot"
1255   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1256   algorithm: "plot_performance_box"
1257   output-file-type: ".html"
1258   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-pdrdisc"
1259   data:
1260     "plot-vpp-throughput-latency"
1261   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1262   parameters:
1263   - "throughput"
1264   - "parent"
1265   traces:
1266     hoverinfo: "x+y"
1267     boxpoints: "outliers"
1268     whiskerwidth: 0
1269   layout:
1270     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1271     layout:
1272       "plot-throughput"
1273
1274 -
1275   type: "plot"
1276   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1277   algorithm: "plot_performance_box"
1278   output-file-type: ".html"
1279   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-pdrdisc"
1280   data:
1281     "plot-vpp-throughput-latency"
1282   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1283   parameters:
1284   - "throughput"
1285   - "parent"
1286   traces:
1287     hoverinfo: "x+y"
1288     boxpoints: "outliers"
1289     whiskerwidth: 0
1290   layout:
1291     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1292     layout:
1293       "plot-throughput"
1294
1295 # VPP IP4
1296 -
1297   type: "plot"
1298   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1299   algorithm: "plot_performance_box"
1300   output-file-type: ".html"
1301   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc"
1302   data:
1303     "plot-vpp-throughput-latency"
1304   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1305   parameters:
1306   - "throughput"
1307   - "parent"
1308   traces:
1309     hoverinfo: "x+y"
1310     boxpoints: "outliers"
1311     whiskerwidth: 0
1312   layout:
1313     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1314     layout:
1315       "plot-throughput"
1316
1317 -
1318   type: "plot"
1319   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1320   algorithm: "plot_performance_box"
1321   output-file-type: ".html"
1322   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc"
1323   data:
1324     "plot-vpp-throughput-latency"
1325   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1326   parameters:
1327   - "throughput"
1328   - "parent"
1329   traces:
1330     hoverinfo: "x+y"
1331     boxpoints: "outliers"
1332     whiskerwidth: 0
1333   layout:
1334     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1335     layout:
1336       "plot-throughput"
1337
1338 -
1339   type: "plot"
1340   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1341   algorithm: "plot_performance_box"
1342   output-file-type: ".html"
1343   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-pdrdisc"
1344   data:
1345     "plot-vpp-throughput-latency"
1346   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1347   parameters:
1348   - "throughput"
1349   - "parent"
1350   traces:
1351     hoverinfo: "x+y"
1352     boxpoints: "outliers"
1353     whiskerwidth: 0
1354   layout:
1355     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1356     layout:
1357       "plot-throughput"
1358
1359 -
1360   type: "plot"
1361   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1362   algorithm: "plot_performance_box"
1363   output-file-type: ".html"
1364   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-pdrdisc"
1365   data:
1366     "plot-vpp-throughput-latency"
1367   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1368   parameters:
1369   - "throughput"
1370   - "parent"
1371   traces:
1372     hoverinfo: "x+y"
1373     boxpoints: "outliers"
1374     whiskerwidth: 0
1375   layout:
1376     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1377     layout:
1378       "plot-throughput"
1379
1380 # VPP IP6
1381 -
1382   type: "plot"
1383   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1384   algorithm: "plot_performance_box"
1385   output-file-type: ".html"
1386   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc"
1387   data:
1388     "plot-vpp-throughput-latency"
1389   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1390   parameters:
1391   - "throughput"
1392   - "parent"
1393   traces:
1394     hoverinfo: "x+y"
1395     boxpoints: "outliers"
1396     whiskerwidth: 0
1397   layout:
1398     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1399     layout:
1400       "plot-throughput"
1401
1402 -
1403   type: "plot"
1404   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1405   algorithm: "plot_performance_box"
1406   output-file-type: ".html"
1407   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc"
1408   data:
1409     "plot-vpp-throughput-latency"
1410   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1411   parameters:
1412   - "throughput"
1413   - "parent"
1414   traces:
1415     hoverinfo: "x+y"
1416     boxpoints: "outliers"
1417     whiskerwidth: 0
1418   layout:
1419     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1420     layout:
1421       "plot-throughput"
1422
1423 -
1424   type: "plot"
1425   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1426   algorithm: "plot_performance_box"
1427   output-file-type: ".html"
1428   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-pdrdisc"
1429   data:
1430     "plot-vpp-throughput-latency"
1431   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1432   parameters:
1433   - "throughput"
1434   - "parent"
1435   traces:
1436     hoverinfo: "x+y"
1437     boxpoints: "outliers"
1438     whiskerwidth: 0
1439   layout:
1440     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1441     layout:
1442       "plot-throughput"
1443
1444 -
1445   type: "plot"
1446   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1447   algorithm: "plot_performance_box"
1448   output-file-type: ".html"
1449   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-pdrdisc"
1450   data:
1451     "plot-vpp-throughput-latency"
1452   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1453   parameters:
1454   - "throughput"
1455   - "parent"
1456   traces:
1457     hoverinfo: "x+y"
1458     boxpoints: "outliers"
1459     whiskerwidth: 0
1460   layout:
1461     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1462     layout:
1463       "plot-throughput"
1464
1465 # VPP IP4_overlay
1466 -
1467   type: "plot"
1468   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1469   algorithm: "plot_performance_box"
1470   output-file-type: ".html"
1471   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc"
1472   data:
1473     "plot-vpp-throughput-latency"
1474   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1475   parameters:
1476   - "throughput"
1477   - "parent"
1478   traces:
1479     hoverinfo: "x+y"
1480     boxpoints: "outliers"
1481     whiskerwidth: 0
1482   layout:
1483     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1484     layout:
1485       "plot-throughput"
1486
1487 -
1488   type: "plot"
1489   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1490   algorithm: "plot_performance_box"
1491   output-file-type: ".html"
1492   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc"
1493   data:
1494     "plot-vpp-throughput-latency"
1495   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1496   parameters:
1497   - "throughput"
1498   - "parent"
1499   traces:
1500     hoverinfo: "x+y"
1501     boxpoints: "outliers"
1502     whiskerwidth: 0
1503   layout:
1504     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1505     layout:
1506       "plot-throughput"
1507
1508 -
1509   type: "plot"
1510   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1511   algorithm: "plot_performance_box"
1512   output-file-type: ".html"
1513   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-pdrdisc"
1514   data:
1515     "plot-vpp-throughput-latency"
1516   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1517   parameters:
1518   - "throughput"
1519   - "parent"
1520   traces:
1521     hoverinfo: "x+y"
1522     boxpoints: "outliers"
1523     whiskerwidth: 0
1524   layout:
1525     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1526     layout:
1527       "plot-throughput"
1528
1529 -
1530   type: "plot"
1531   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1532   algorithm: "plot_performance_box"
1533   output-file-type: ".html"
1534   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-pdrdisc"
1535   data:
1536     "plot-vpp-throughput-latency"
1537   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1538   parameters:
1539   - "throughput"
1540   - "parent"
1541   traces:
1542     hoverinfo: "x+y"
1543     boxpoints: "outliers"
1544     whiskerwidth: 0
1545   layout:
1546     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1547     layout:
1548       "plot-throughput"
1549
1550 # VPP IP6_overlay
1551 -
1552   type: "plot"
1553   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1554   algorithm: "plot_performance_box"
1555   output-file-type: ".html"
1556   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc"
1557   data:
1558     "plot-vpp-throughput-latency"
1559   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1560   parameters:
1561   - "throughput"
1562   - "parent"
1563   traces:
1564     hoverinfo: "x+y"
1565     boxpoints: "outliers"
1566     whiskerwidth: 0
1567   layout:
1568     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1569     layout:
1570       "plot-throughput"
1571
1572 -
1573   type: "plot"
1574   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1575   algorithm: "plot_performance_box"
1576   output-file-type: ".html"
1577   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc"
1578   data:
1579     "plot-vpp-throughput-latency"
1580   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1581   parameters:
1582   - "throughput"
1583   - "parent"
1584   traces:
1585     hoverinfo: "x+y"
1586     boxpoints: "outliers"
1587     whiskerwidth: 0
1588   layout:
1589     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1590     layout:
1591       "plot-throughput"
1592
1593 -
1594   type: "plot"
1595   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1596   algorithm: "plot_performance_box"
1597   output-file-type: ".html"
1598   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-pdrdisc"
1599   data:
1600     "plot-vpp-throughput-latency"
1601   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1602   parameters:
1603   - "throughput"
1604   - "parent"
1605   traces:
1606     hoverinfo: "x+y"
1607     boxpoints: "outliers"
1608     whiskerwidth: 0
1609   layout:
1610     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1611     layout:
1612       "plot-throughput"
1613
1614 -
1615   type: "plot"
1616   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1617   algorithm: "plot_performance_box"
1618   output-file-type: ".html"
1619   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-pdrdisc"
1620   data:
1621     "plot-vpp-throughput-latency"
1622   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1623   parameters:
1624   - "throughput"
1625   - "parent"
1626   traces:
1627     hoverinfo: "x+y"
1628     boxpoints: "outliers"
1629     whiskerwidth: 0
1630   layout:
1631     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1632     layout:
1633       "plot-throughput"
1634
1635 # VPP VM VHOST
1636 -
1637   type: "plot"
1638   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
1639   algorithm: "plot_performance_box"
1640   output-file-type: ".html"
1641   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc"
1642   data:
1643     "plot-vpp-throughput-latency"
1644   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
1645   parameters:
1646   - "throughput"
1647   - "parent"
1648   traces:
1649     hoverinfo: "x+y"
1650     boxpoints: "outliers"
1651     whiskerwidth: 0
1652   layout:
1653     title: "64B-1t1c-.*vhost.*-ndrdisc"
1654     layout:
1655       "plot-throughput"
1656
1657 -
1658   type: "plot"
1659   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
1660   algorithm: "plot_performance_box"
1661   output-file-type: ".html"
1662   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc"
1663   data:
1664     "plot-vpp-throughput-latency"
1665   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
1666   parameters:
1667   - "throughput"
1668   - "parent"
1669   traces:
1670     hoverinfo: "x+y"
1671     boxpoints: "outliers"
1672     whiskerwidth: 0
1673   layout:
1674     title: "64B-2t2c-.*vhost.*-ndrdisc"
1675     layout:
1676       "plot-throughput"
1677
1678 -
1679   type: "plot"
1680   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
1681   algorithm: "plot_performance_box"
1682   output-file-type: ".html"
1683   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-pdrdisc"
1684   data:
1685     "plot-vpp-throughput-latency"
1686   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
1687   parameters:
1688   - "throughput"
1689   - "parent"
1690   traces:
1691     hoverinfo: "x+y"
1692     boxpoints: "outliers"
1693     whiskerwidth: 0
1694   layout:
1695     title: "64B-1t1c-.*vhost.*-pdrdisc"
1696     layout:
1697       "plot-throughput"
1698
1699 -
1700   type: "plot"
1701   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
1702   algorithm: "plot_performance_box"
1703   output-file-type: ".html"
1704   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-pdrdisc"
1705   data:
1706     "plot-vpp-throughput-latency"
1707   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
1708   parameters:
1709   - "throughput"
1710   - "parent"
1711   traces:
1712     hoverinfo: "x+y"
1713     boxpoints: "outliers"
1714     whiskerwidth: 0
1715   layout:
1716     title: "64B-2t2c-.*vhost.*-pdrdisc"
1717     layout:
1718       "plot-throughput"
1719
1720 # VPP VM VHOST SELECTION
1721 -
1722   type: "plot"
1723   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
1724   algorithm: "plot_performance_box"
1725   output-file-type: ".html"
1726   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc"
1727   data:
1728     "plot-vpp-throughput-latency"
1729   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
1730   parameters:
1731   - "throughput"
1732   - "parent"
1733   traces:
1734     hoverinfo: "x+y"
1735     boxpoints: "outliers"
1736     whiskerwidth: 0
1737   layout:
1738     title: "64B-1t1c-.*vhost.*-ndrdisc"
1739     layout:
1740       "plot-throughput"
1741
1742 -
1743   type: "plot"
1744   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
1745   algorithm: "plot_performance_box"
1746   output-file-type: ".html"
1747   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc"
1748   data:
1749     "plot-vpp-throughput-latency"
1750   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
1751   parameters:
1752   - "throughput"
1753   - "parent"
1754   traces:
1755     hoverinfo: "x+y"
1756     boxpoints: "outliers"
1757     whiskerwidth: 0
1758   layout:
1759     title: "64B-2t2c-.*vhost.*-ndrdisc"
1760     layout:
1761       "plot-throughput"
1762
1763 -
1764   type: "plot"
1765   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
1766   algorithm: "plot_performance_box"
1767   output-file-type: ".html"
1768   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-pdrdisc"
1769   data:
1770     "plot-vpp-throughput-latency"
1771   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
1772   parameters:
1773   - "throughput"
1774   - "parent"
1775   traces:
1776     hoverinfo: "x+y"
1777     boxpoints: "outliers"
1778     whiskerwidth: 0
1779   layout:
1780     title: "64B-1t1c-.*vhost.*-pdrdisc"
1781     layout:
1782       "plot-throughput"
1783
1784 -
1785   type: "plot"
1786   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
1787   algorithm: "plot_performance_box"
1788   output-file-type: ".html"
1789   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-pdrdisc"
1790   data:
1791     "plot-vpp-throughput-latency"
1792   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
1793   parameters:
1794   - "throughput"
1795   - "parent"
1796   traces:
1797     hoverinfo: "x+y"
1798     boxpoints: "outliers"
1799     whiskerwidth: 0
1800   layout:
1801     title: "64B-2t2c-.*vhost.*-pdrdisc"
1802     layout:
1803       "plot-throughput"
1804
1805 # VPP CRYPTO
1806 -
1807   type: "plot"
1808   title: "VPP Performance 64B-1t1c-.*ipsec.*-ndrdisc"
1809   algorithm: "plot_performance_box"
1810   output-file-type: ".html"
1811   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc"
1812   data:
1813     "plot-vpp-throughput-latency"
1814   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
1815   parameters:
1816   - "throughput"
1817   - "parent"
1818   traces:
1819     hoverinfo: "x+y"
1820     boxpoints: "outliers"
1821     whiskerwidth: 0
1822   layout:
1823     title: "64B-1t1c-.*ipsec.*-ndrdisc"
1824     layout:
1825       "plot-throughput"
1826
1827 -
1828   type: "plot"
1829   title: "VPP Performance 64B-2t2c-.*ipsec.*-ndrdisc"
1830   algorithm: "plot_performance_box"
1831   output-file-type: ".html"
1832   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc"
1833   data:
1834     "plot-vpp-throughput-latency"
1835   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
1836   parameters:
1837   - "throughput"
1838   - "parent"
1839   traces:
1840     hoverinfo: "x+y"
1841     boxpoints: "outliers"
1842     whiskerwidth: 0
1843   layout:
1844     title: "64B-2t2c-.*ipsec.*-ndrdisc"
1845     layout:
1846       "plot-throughput"
1847
1848 -
1849   type: "plot"
1850   title: "VPP Performance 64B-1t1c-.*ipsec.*-pdrdisc"
1851   algorithm: "plot_performance_box"
1852   output-file-type: ".html"
1853   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-pdrdisc"
1854   data:
1855     "plot-vpp-throughput-latency"
1856   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
1857   parameters:
1858   - "throughput"
1859   - "parent"
1860   traces:
1861     hoverinfo: "x+y"
1862     boxpoints: "outliers"
1863     whiskerwidth: 0
1864   layout:
1865     title: "64B-1t1c-.*ipsec.*-pdrdisc"
1866     layout:
1867       "plot-throughput"
1868
1869 -
1870   type: "plot"
1871   title: "VPP Performance 64B-2t2c-.*ipsec.*-pdrdisc"
1872   algorithm: "plot_performance_box"
1873   output-file-type: ".html"
1874   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-pdrdisc"
1875   data:
1876     "plot-vpp-throughput-latency"
1877   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
1878   parameters:
1879   - "throughput"
1880   - "parent"
1881   traces:
1882     hoverinfo: "x+y"
1883     boxpoints: "outliers"
1884     whiskerwidth: 0
1885   layout:
1886     title: "64B-2t2c-.*ipsec.*-pdrdisc"
1887     layout:
1888       "plot-throughput"
1889
1890 # DPDK
1891 -
1892   type: "plot"
1893   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1894   algorithm: "plot_performance_box"
1895   output-file-type: ".html"
1896   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc"
1897   data:
1898     "plot-dpdk-throughput-latency"
1899   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
1900   parameters:
1901   - "throughput"
1902   - "parent"
1903   traces:
1904     hoverinfo: "x+y"
1905     boxpoints: "outliers"
1906     whiskerwidth: 0
1907   layout:
1908     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1909     layout:
1910       "plot-throughput"
1911
1912 -
1913   type: "plot"
1914   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1915   algorithm: "plot_performance_box"
1916   output-file-type: ".html"
1917   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc"
1918   data:
1919     "plot-dpdk-throughput-latency"
1920   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
1921   parameters:
1922   - "throughput"
1923   - "parent"
1924   traces:
1925     hoverinfo: "x+y"
1926     boxpoints: "outliers"
1927     whiskerwidth: 0
1928   layout:
1929     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1930     layout:
1931       "plot-throughput"
1932
1933 -
1934   type: "plot"
1935   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
1936   algorithm: "plot_performance_box"
1937   output-file-type: ".html"
1938   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc"
1939   data:
1940     "plot-dpdk-throughput-latency"
1941   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
1942   parameters:
1943   - "throughput"
1944   - "parent"
1945   traces:
1946     hoverinfo: "x+y"
1947     boxpoints: "outliers"
1948     whiskerwidth: 0
1949   layout:
1950     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
1951     xaxis:
1952       autorange: True
1953       autotick: False
1954       fixedrange: False
1955       gridcolor: "rgb(238, 238, 238)"
1956       linecolor: "rgb(238, 238, 238)"
1957       linewidth: 1
1958       showgrid: True
1959       showline: True
1960       showticklabels: True
1961       tickcolor: "rgb(238, 238, 238)"
1962       tickmode: "linear"
1963       title: "Indexed Test Cases"
1964       zeroline: False
1965     yaxis:
1966       gridcolor: "rgb(238, 238, 238)'"
1967       hoverformat: ".4s"
1968       linecolor: "rgb(238, 238, 238)"
1969       linewidth: 1
1970       range: [2000000, 12000000]
1971       showgrid: True
1972       showline: True
1973       showticklabels: True
1974       tickcolor: "rgb(238, 238, 238)"
1975       title: "Packets Per Second [pps]"
1976       zeroline: False
1977     boxmode: "group"
1978     boxgroupgap: 0.5
1979     autosize: False
1980     margin:
1981       t: 50
1982       b: 20
1983       l: 50
1984       r: 20
1985     showlegend: True
1986     legend:
1987       orientation: "h"
1988     width: 700
1989     height: 1000
1990
1991 -
1992   type: "plot"
1993   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
1994   algorithm: "plot_performance_box"
1995   output-file-type: ".html"
1996   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc"
1997   data:
1998     "plot-dpdk-throughput-latency"
1999   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
2000   parameters:
2001   - "throughput"
2002   - "parent"
2003   traces:
2004     hoverinfo: "x+y"
2005     boxpoints: "outliers"
2006     whiskerwidth: 0
2007   layout:
2008     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2009     xaxis:
2010       autorange: True
2011       autotick: False
2012       fixedrange: False
2013       gridcolor: "rgb(238, 238, 238)"
2014       linecolor: "rgb(238, 238, 238)"
2015       linewidth: 1
2016       showgrid: True
2017       showline: True
2018       showticklabels: True
2019       tickcolor: "rgb(238, 238, 238)"
2020       tickmode: "linear"
2021       title: "Indexed Test Cases"
2022       zeroline: False
2023     yaxis:
2024       gridcolor: "rgb(238, 238, 238)'"
2025       hoverformat: ".4s"
2026       linecolor: "rgb(238, 238, 238)"
2027       linewidth: 1
2028       range: [2000000, 12000000]
2029       showgrid: True
2030       showline: True
2031       showticklabels: True
2032       tickcolor: "rgb(238, 238, 238)"
2033       title: "Packets Per Second [pps]"
2034       zeroline: False
2035     boxmode: "group"
2036     boxgroupgap: 0.5
2037     autosize: False
2038     margin:
2039       t: 50
2040       b: 20
2041       l: 50
2042       r: 20
2043     showlegend: True
2044     legend:
2045       orientation: "h"
2046     width: 700
2047     height: 1000
2048
2049 -
2050   type: "plot"
2051   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2052   algorithm: "plot_performance_box"
2053   output-file-type: ".html"
2054   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-pdrdisc"
2055   data:
2056     "plot-dpdk-throughput-latency"
2057   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2058   parameters:
2059   - "throughput"
2060   - "parent"
2061   traces:
2062     hoverinfo: "x+y"
2063     boxpoints: "outliers"
2064     whiskerwidth: 0
2065   layout:
2066     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2067     layout:
2068       "plot-throughput"
2069
2070 -
2071   type: "plot"
2072   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2073   algorithm: "plot_performance_box"
2074   output-file-type: ".html"
2075   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-pdrdisc"
2076   data:
2077     "plot-dpdk-throughput-latency"
2078   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2079   parameters:
2080   - "throughput"
2081   - "parent"
2082   traces:
2083     hoverinfo: "x+y"
2084     boxpoints: "outliers"
2085     whiskerwidth: 0
2086   layout:
2087     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2088     layout:
2089       "plot-throughput"
2090
2091 -
2092   type: "plot"
2093   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
2094   algorithm: "plot_performance_box"
2095   output-file-type: ".html"
2096   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-pdrdisc"
2097   data:
2098     "plot-dpdk-throughput-latency"
2099   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD'"
2100   parameters:
2101   - "throughput"
2102   - "parent"
2103   traces:
2104     hoverinfo: "x+y"
2105     boxpoints: "outliers"
2106     whiskerwidth: 0
2107   layout:
2108     title: "64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
2109     xaxis:
2110       autorange: True
2111       autotick: False
2112       fixedrange: False
2113       gridcolor: "rgb(238, 238, 238)"
2114       linecolor: "rgb(238, 238, 238)"
2115       linewidth: 1
2116       showgrid: True
2117       showline: True
2118       showticklabels: True
2119       tickcolor: "rgb(238, 238, 238)"
2120       tickmode: "linear"
2121       title: "Indexed Test Cases"
2122       zeroline: False
2123     yaxis:
2124       gridcolor: "rgb(238, 238, 238)'"
2125       hoverformat: ".4s"
2126       linecolor: "rgb(238, 238, 238)"
2127       linewidth: 1
2128       range: [20000000, 30000000]
2129       showgrid: True
2130       showline: True
2131       showticklabels: True
2132       tickcolor: "rgb(238, 238, 238)"
2133       title: "Packets Per Second [pps]"
2134       zeroline: False
2135     boxmode: "group"
2136     boxgroupgap: 0.5
2137     autosize: False
2138     margin:
2139       t: 50
2140       b: 20
2141       l: 50
2142       r: 20
2143     showlegend: True
2144     legend:
2145       orientation: "h"
2146     width: 700
2147     height: 1000
2148
2149 -
2150   type: "plot"
2151   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
2152   algorithm: "plot_performance_box"
2153   output-file-type: ".html"
2154   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-pdrdisc"
2155   data:
2156     "plot-dpdk-throughput-latency"
2157   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD'"
2158   parameters:
2159   - "throughput"
2160   - "parent"
2161   traces:
2162     hoverinfo: "x+y"
2163     boxpoints: "outliers"
2164     whiskerwidth: 0
2165   layout:
2166     title: "64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
2167     xaxis:
2168       autorange: True
2169       autotick: False
2170       fixedrange: False
2171       gridcolor: "rgb(238, 238, 238)"
2172       linecolor: "rgb(238, 238, 238)"
2173       linewidth: 1
2174       showgrid: True
2175       showline: True
2176       showticklabels: True
2177       tickcolor: "rgb(238, 238, 238)"
2178       tickmode: "linear"
2179       title: "Indexed Test Cases"
2180       zeroline: False
2181     yaxis:
2182       gridcolor: "rgb(238, 238, 238)'"
2183       hoverformat: ".4s"
2184       linecolor: "rgb(238, 238, 238)"
2185       linewidth: 1
2186       range: [20000000, 30000000]
2187       showgrid: True
2188       showline: True
2189       showticklabels: True
2190       tickcolor: "rgb(238, 238, 238)"
2191       title: "Packets Per Second [pps]"
2192       zeroline: False
2193     boxmode: "group"
2194     boxgroupgap: 0.5
2195     autosize: False
2196     margin:
2197       t: 50
2198       b: 20
2199       l: 50
2200       r: 20
2201     showlegend: True
2202     legend:
2203       orientation: "h"
2204     width: 700
2205     height: 1000
2206
2207 # Plot latency
2208
2209 # VPP L2 sel1
2210 -
2211   type: "plot"
2212   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2213   algorithm: "plot_latency_box"
2214   output-file-type: ".html"
2215   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc-lat50"
2216   data:
2217     "plot-vpp-throughput-latency"
2218   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2219   parameters:
2220   - "latency"
2221   - "parent"
2222   traces:
2223     boxmean: False
2224   layout:
2225     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2226     layout:
2227       "plot-latency"
2228
2229 -
2230   type: "plot"
2231   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2232   algorithm: "plot_latency_box"
2233   output-file-type: ".html"
2234   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc-lat50"
2235   data:
2236     "plot-vpp-throughput-latency"
2237   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2238   parameters:
2239   - "latency"
2240   - "parent"
2241   traces:
2242     boxmean: False
2243   layout:
2244     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2245     layout:
2246       "plot-latency"
2247
2248 # VPP L2 sel2
2249 -
2250   type: "plot"
2251   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2252   algorithm: "plot_latency_box"
2253   output-file-type: ".html"
2254   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc-lat50"
2255   data:
2256     "plot-vpp-throughput-latency"
2257   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2258   parameters:
2259   - "latency"
2260   - "parent"
2261   traces:
2262     boxmean: False
2263   layout:
2264     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2265     layout:
2266       "plot-latency"
2267
2268 -
2269   type: "plot"
2270   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2271   algorithm: "plot_latency_box"
2272   output-file-type: ".html"
2273   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc-lat50"
2274   data:
2275     "plot-vpp-throughput-latency"
2276   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2277   parameters:
2278   - "latency"
2279   - "parent"
2280   traces:
2281     boxmean: False
2282   layout:
2283     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2284     layout:
2285       "plot-latency"
2286
2287 # VPP IP4
2288 -
2289   type: "plot"
2290   title: "VPP Latency 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2291   algorithm: "plot_latency_box"
2292   output-file-type: ".html"
2293   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc-lat50"
2294   data:
2295     "plot-vpp-throughput-latency"
2296   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
2297   parameters:
2298   - "latency"
2299   - "parent"
2300   traces:
2301     boxmean: False
2302   layout:
2303     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2304     layout:
2305       "plot-latency"
2306
2307 -
2308   type: "plot"
2309   title: "VPP Latency 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2310   algorithm: "plot_latency_box"
2311   output-file-type: ".html"
2312   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc-lat50"
2313   data:
2314     "plot-vpp-throughput-latency"
2315   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
2316   parameters:
2317   - "latency"
2318   - "parent"
2319   traces:
2320     boxmean: False
2321   layout:
2322     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2323     layout:
2324       "plot-latency"
2325
2326 # VPP IP6
2327 -
2328   type: "plot"
2329   title: "VPP Latency 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2330   algorithm: "plot_latency_box"
2331   output-file-type: ".html"
2332   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc-lat50"
2333   data:
2334     "plot-vpp-throughput-latency"
2335   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2336   parameters:
2337   - "latency"
2338   - "parent"
2339   traces:
2340     boxmean: False
2341   layout:
2342     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2343     layout:
2344       "plot-latency"
2345
2346 -
2347   type: "plot"
2348   title: "VPP Latency 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2349   algorithm: "plot_latency_box"
2350   output-file-type: ".html"
2351   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc-lat50"
2352   data:
2353     "plot-vpp-throughput-latency"
2354   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2355   parameters:
2356   - "latency"
2357   - "parent"
2358   traces:
2359     boxmean: False
2360   layout:
2361     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2362     layout:
2363       "plot-latency"
2364
2365 # VPP IP4_overlay
2366 -
2367   type: "plot"
2368   title: "VPP Latency 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2369   algorithm: "plot_latency_box"
2370   output-file-type: ".html"
2371   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc-lat50"
2372   data:
2373     "plot-vpp-throughput-latency"
2374   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2375   parameters:
2376   - "latency"
2377   - "parent"
2378   traces:
2379     boxmean: False
2380   layout:
2381     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2382     layout:
2383       "plot-latency"
2384
2385 -
2386   type: "plot"
2387   title: "VPP Latency 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2388   algorithm: "plot_latency_box"
2389   output-file-type: ".html"
2390   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc-lat50"
2391   data:
2392     "plot-vpp-throughput-latency"
2393   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2394   parameters:
2395   - "latency"
2396   - "parent"
2397   traces:
2398     boxmean: False
2399   layout:
2400     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2401     layout:
2402       "plot-latency"
2403
2404 # VPP IP6_overlay
2405 -
2406   type: "plot"
2407   title: "VPP Latency 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2408   algorithm: "plot_latency_box"
2409   output-file-type: ".html"
2410   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc-lat50"
2411   data:
2412     "plot-vpp-throughput-latency"
2413   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2414   parameters:
2415   - "latency"
2416   - "parent"
2417   traces:
2418     boxmean: False
2419   layout:
2420     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2421     layout:
2422       "plot-latency"
2423
2424 -
2425   type: "plot"
2426   title: "VPP Latency 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2427   algorithm: "plot_latency_box"
2428   output-file-type: ".html"
2429   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc-lat50"
2430   data:
2431     "plot-vpp-throughput-latency"
2432   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2433   parameters:
2434   - "latency"
2435   - "parent"
2436   traces:
2437     boxmean: False
2438   layout:
2439     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2440     layout:
2441       "plot-latency"
2442
2443 # VPP VM VHOST
2444 -
2445   type: "plot"
2446   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
2447   algorithm: "plot_latency_box"
2448   output-file-type: ".html"
2449   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc-lat50"
2450   data:
2451     "plot-vpp-throughput-latency"
2452   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2453   parameters:
2454   - "latency"
2455   - "parent"
2456   traces:
2457     boxmean: False
2458   layout:
2459     title: "64B-1t1c-.*vhost.*-ndrdisc"
2460     layout:
2461       "plot-latency"
2462
2463 -
2464   type: "plot"
2465   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
2466   algorithm: "plot_latency_box"
2467   output-file-type: ".html"
2468   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc-lat50"
2469   data:
2470     "plot-vpp-throughput-latency"
2471   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2472   parameters:
2473   - "latency"
2474   - "parent"
2475   traces:
2476     boxmean: False
2477   layout:
2478     title: "64B-2t2c-.*vhost.*-ndrdisc"
2479     layout:
2480       "plot-latency"
2481
2482 # VPP VM VHOST selection
2483 -
2484   type: "plot"
2485   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
2486   algorithm: "plot_latency_box"
2487   output-file-type: ".html"
2488   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc-lat50"
2489   data:
2490     "plot-vpp-throughput-latency"
2491   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2492   parameters:
2493   - "latency"
2494   - "parent"
2495   traces:
2496     boxmean: False
2497   layout:
2498     title: "64B-1t1c-.*vhost.*-ndrdisc"
2499     layout:
2500       "plot-latency"
2501
2502 -
2503   type: "plot"
2504   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
2505   algorithm: "plot_latency_box"
2506   output-file-type: ".html"
2507   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc-lat50"
2508   data:
2509     "plot-vpp-throughput-latency"
2510   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2511   parameters:
2512   - "latency"
2513   - "parent"
2514   traces:
2515     boxmean: False
2516   layout:
2517     title: "64B-2t2c-.*vhost.*-ndrdisc"
2518     layout:
2519       "plot-latency"
2520
2521 # VPP CRYPTO
2522 -
2523   type: "plot"
2524   title: "VPP Latency 64B-1t1c-.*ipsec.*-ndrdisc"
2525   algorithm: "plot_latency_box"
2526   output-file-type: ".html"
2527   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc-lat50"
2528   data:
2529     "plot-vpp-throughput-latency"
2530   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2531   parameters:
2532   - "latency"
2533   - "parent"
2534   traces:
2535     boxmean: False
2536   layout:
2537     title: "64B-1t1c-.*ipsec.*-ndrdisc"
2538     layout:
2539       "plot-latency"
2540
2541 -
2542   type: "plot"
2543   title: "VPP Latency 64B-2t2c-.*ipsec.*-ndrdisc"
2544   algorithm: "plot_latency_box"
2545   output-file-type: ".html"
2546   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc-lat50"
2547   data:
2548     "plot-vpp-throughput-latency"
2549   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2550   parameters:
2551   - "latency"
2552   - "parent"
2553   traces:
2554     boxmean: False
2555   layout:
2556     title: "64B-2t2c-.*ipsec.*-ndrdisc"
2557     layout:
2558       "plot-latency"
2559
2560 # DPDK
2561 -
2562   type: "plot"
2563   title: "DPDK Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2564   algorithm: "plot_latency_box"
2565   output-file-type: ".html"
2566   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc-lat50"
2567   data:
2568     "plot-dpdk-throughput-latency"
2569   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2570   parameters:
2571   - "latency"
2572   - "parent"
2573   traces:
2574     boxmean: False
2575   layout:
2576     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2577     layout:
2578       "plot-latency"
2579
2580 -
2581   type: "plot"
2582   title: "DPDK Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2583   algorithm: "plot_latency_box"
2584   output-file-type: ".html"
2585   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc-lat50"
2586   data:
2587     "plot-dpdk-throughput-latency"
2588   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2589   parameters:
2590   - "latency"
2591   - "parent"
2592   traces:
2593     boxmean: False
2594   layout:
2595     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2596     layout:
2597       "plot-latency"
2598
2599 -
2600   type: "plot"
2601   title: "DPDK Latency 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2602   algorithm: "plot_latency_box"
2603   output-file-type: ".html"
2604   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc-lat50"
2605   data:
2606     "plot-dpdk-throughput-latency"
2607   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
2608   parameters:
2609   - "latency"
2610   - "parent"
2611   traces:
2612     boxmean: False
2613   layout:
2614     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2615     layout:
2616       "plot-latency"
2617
2618 -
2619   type: "plot"
2620   title: "DPDK Latency 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2621   algorithm: "plot_latency_box"
2622   output-file-type: ".html"
2623   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc-lat50"
2624   data:
2625     "plot-dpdk-throughput-latency"
2626   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
2627   parameters:
2628   - "latency"
2629   - "parent"
2630   traces:
2631     boxmean: False
2632   layout:
2633     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2634     layout:
2635       "plot-latency"
2636
2637 # Ligato - Throughput
2638
2639 # Container memif
2640 -
2641   type: "plot"
2642   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2643   algorithm: "plot_performance_box"
2644   output-file-type: ".html"
2645   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc"
2646   data:
2647     "plot-vpp-throughput-latency"
2648   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2649   parameters:
2650   - "throughput"
2651   - "parent"
2652   traces:
2653     hoverinfo: "x+y"
2654     boxpoints: "outliers"
2655     whiskerwidth: 0
2656   layout:
2657     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2658     layout:
2659       "plot-throughput"
2660
2661 -
2662   type: "plot"
2663   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2664   algorithm: "plot_performance_box"
2665   output-file-type: ".html"
2666   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc"
2667   data:
2668     "plot-vpp-throughput-latency"
2669   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2670   parameters:
2671   - "throughput"
2672   - "parent"
2673   traces:
2674     hoverinfo: "x+y"
2675     boxpoints: "outliers"
2676     whiskerwidth: 0
2677   layout:
2678     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2679     layout:
2680       "plot-throughput"
2681
2682 -
2683   type: "plot"
2684   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
2685   algorithm: "plot_performance_box"
2686   output-file-type: ".html"
2687   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-pdrdisc"
2688   data:
2689     "plot-vpp-throughput-latency"
2690   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2691   parameters:
2692   - "throughput"
2693   - "parent"
2694   traces:
2695     hoverinfo: "x+y"
2696     boxpoints: "outliers"
2697     whiskerwidth: 0
2698   layout:
2699     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
2700     layout:
2701       "plot-throughput"
2702
2703 -
2704   type: "plot"
2705   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
2706   algorithm: "plot_performance_box"
2707   output-file-type: ".html"
2708   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-pdrdisc"
2709   data:
2710     "plot-vpp-throughput-latency"
2711   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2712   parameters:
2713   - "throughput"
2714   - "parent"
2715   traces:
2716     hoverinfo: "x+y"
2717     boxpoints: "outliers"
2718     whiskerwidth: 0
2719   layout:
2720     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
2721     layout:
2722       "plot-throughput"
2723
2724 # Container orchestrated
2725 -
2726   type: "plot"
2727   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2728   algorithm: "plot_performance_box"
2729   output-file-type: ".html"
2730   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc"
2731   data:
2732     "plot-ligato-throughput-latency"
2733   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2734   parameters:
2735   - "throughput"
2736   - "parent"
2737   traces:
2738     hoverinfo: "x+y"
2739     boxpoints: "outliers"
2740     whiskerwidth: 0
2741   layout:
2742     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2743     layout:
2744       "plot-throughput"
2745
2746 -
2747   type: "plot"
2748   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2749   algorithm: "plot_performance_box"
2750   output-file-type: ".html"
2751   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc"
2752   data:
2753     "plot-ligato-throughput-latency"
2754   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2755   parameters:
2756   - "throughput"
2757   - "parent"
2758   traces:
2759     hoverinfo: "x+y"
2760     boxpoints: "outliers"
2761     whiskerwidth: 0
2762   layout:
2763     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2764     layout:
2765       "plot-throughput"
2766
2767 -
2768   type: "plot"
2769   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
2770   algorithm: "plot_performance_box"
2771   output-file-type: ".html"
2772   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-pdrdisc"
2773   data:
2774     "plot-ligato-throughput-latency"
2775   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2776   parameters:
2777   - "throughput"
2778   - "parent"
2779   traces:
2780     hoverinfo: "x+y"
2781     boxpoints: "outliers"
2782     whiskerwidth: 0
2783   layout:
2784     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
2785     layout:
2786       "plot-throughput"
2787
2788 -
2789   type: "plot"
2790   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
2791   algorithm: "plot_performance_box"
2792   output-file-type: ".html"
2793   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-pdrdisc"
2794   data:
2795     "plot-ligato-throughput-latency"
2796   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2797   parameters:
2798   - "throughput"
2799   - "parent"
2800   traces:
2801     hoverinfo: "x+y"
2802     boxpoints: "outliers"
2803     whiskerwidth: 0
2804   layout:
2805     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
2806     layout:
2807       "plot-throughput"
2808
2809 # Ligato - Latency
2810
2811 # Container memif
2812 -
2813   type: "plot"
2814   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2815   algorithm: "plot_latency_box"
2816   output-file-type: ".html"
2817   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc-lat50"
2818   data:
2819     "plot-vpp-throughput-latency"
2820   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2821   parameters:
2822   - "latency"
2823   - "parent"
2824   traces:
2825     boxmean: False
2826   layout:
2827     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2828     layout:
2829       "plot-latency"
2830
2831 -
2832   type: "plot"
2833   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2834   algorithm: "plot_latency_box"
2835   output-file-type: ".html"
2836   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc-lat50"
2837   data:
2838     "plot-vpp-throughput-latency"
2839   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2840   parameters:
2841   - "latency"
2842   - "parent"
2843   traces:
2844     boxmean: False
2845   layout:
2846     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2847     layout:
2848       "plot-latency"
2849
2850 # Container orchestrated
2851 -
2852   type: "plot"
2853   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2854   algorithm: "plot_latency_box"
2855   output-file-type: ".html"
2856   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc-lat50"
2857   data:
2858     "plot-ligato-throughput-latency"
2859   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2860   parameters:
2861   - "latency"
2862   - "parent"
2863   traces:
2864     boxmean: False
2865   layout:
2866     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2867     layout:
2868       "plot-latency"
2869
2870 -
2871   type: "plot"
2872   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2873   algorithm: "plot_latency_box"
2874   output-file-type: ".html"
2875   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc-lat50"
2876   data:
2877     "plot-ligato-throughput-latency"
2878   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2879   parameters:
2880   - "latency"
2881   - "parent"
2882   traces:
2883     boxmean: False
2884   layout:
2885     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2886     layout:
2887       "plot-latency"