resources/tools/presentation/specification.yaml

   1 -
   2   type: "environment"
   3   configuration:
   4     # Debug mode:
   5     # - Skip:
   6     #   - Download of input data files
   7     # - Do:
   8     #   - Read data from given zip / xml files
   9     #   - Set the configuration as it is done in normal mode
  10     # If the section "type: debug" is missing, CFG[DEBUG] is set to 0.
  11     CFG[DEBUG]: 0
  12
  13   paths:
  14     # Top level directories:
  15     ## Working directory
  16     DIR[WORKING]: "_tmp"
  17     ## Build directories
  18     DIR[BUILD,HTML]: "_build"
  19     DIR[BUILD,LATEX]: "_build_latex"
  20
  21     # Static .rst files
  22     DIR[RST]: "../../../docs/report"
  23
  24     # Working directories
  25     ## Input data files (.zip, .xml)
  26     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
  27     ## Static source files from git
  28     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
  29     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
  30
  31     # Static html content
  32     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
  33     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
  34     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
  35     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
  36
  37     # Detailed test results
  38     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
  39     DIR[DTR,PERF,DPDK]: "{DIR[DTR]}/dpdk_performance_results"
  40     DIR[DTR,PERF,VPP]: "{DIR[DTR]}/vpp_performance_results"
  41     DIR[DTR,PERF,COT]: "{DIR[DTR]}/cot_performance_results"
  42     DIR[DTR,PERF,HC]: "{DIR[DTR]}/honeycomb_performance_results"
  43     DIR[DTR,FUNC,VPP]: "{DIR[DTR]}/vpp_functional_results"
  44     DIR[DTR,FUNC,HC]: "{DIR[DTR]}/honeycomb_functional_results"
  45     DIR[DTR,FUNC,NSHSFC]: "{DIR[DTR]}/nshsfc_functional_results"
  46     DIR[DTR,PERF,VPP,IMPRV]: "{DIR[WORKING,SRC]}/vpp_performance_tests/performance_improvements"
  47     DIR[DTR,PERF,VPP,IMPACT,SPECTRE]: "{DIR[WORKING,SRC]}/vpp_performance_tests/performance_impact_spectre"
  48     DIR[DTR,PERF,VPP,IMPACT,MELTDOWN]: "{DIR[WORKING,SRC]}/vpp_performance_tests/performance_impact_meltdown"
  49
  50     # Detailed test configurations
  51     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
  52     DIR[DTC,PERF,VPP]: "{DIR[DTC]}/vpp_performance_configuration"
  53     DIR[DTC,FUNC,VPP]: "{DIR[DTC]}/vpp_functional_configuration"
  54
  55     # Detailed tests operational data
  56     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
  57     DIR[DTO,PERF,VPP]: "{DIR[DTO]}/vpp_performance_operational_data"
  58
  59     # .css patch file to fix tables generated by Sphinx
  60     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
  61     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
  62
  63   urls:
  64     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
  65     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
  66
  67   make-dirs:
  68   # List the directories which are created while preparing the environment.
  69   # All directories MUST be defined in "paths" section.
  70   - "DIR[WORKING,DATA]"
  71   - "DIR[STATIC,VPP]"
  72   - "DIR[STATIC,DPDK]"
  73   - "DIR[STATIC,ARCH]"
  74   - "DIR[BUILD,LATEX]"
  75   - "DIR[WORKING,SRC]"
  76   - "DIR[WORKING,SRC,STATIC]"
  77
  78   remove-dirs:
  79   # List the directories which are deleted while cleaning the environment.
  80   # All directories MUST be defined in "paths" section.
  81   #- "DIR[BUILD,HTML]"
  82
  83   build-dirs:
  84   # List the directories where the results (build) is stored.
  85   # All directories MUST be defined in "paths" section.
  86   - "DIR[BUILD,HTML]"
  87   - "DIR[BUILD,LATEX]"
  88
  89 -
  90   type: "configuration"
  91   data-sets:
  92     vpp-meltdown-impact:
  93       csit-vpp-perf-1707-all:
  94       - 9
  95       - 10
  96       - 13
  97       csit-vpp-perf-1710-all:
  98       - 11
  99       - 12
 100       - 13
 101     vpp-spectre-impact:
 102       csit-vpp-perf-1707-all:
 103       - 9
 104       - 10
 105       - 13
 106       csit-vpp-perf-1710-all:
 107       - 11
 108       - 12
 109       - 13
 110 # TODO: Add the data sources
 111     plot-throughput-speedup-analysis:
 112       csit-vpp-perf-1801-all:
 113       - 12
 114     performance-improvements:
 115       csit-vpp-perf-1707-all:
 116       - 9
 117       - 10
 118       - 13
 119       - 14
 120       - 15
 121       - 16
 122       - 17
 123       - 18
 124       - 19
 125       - 21
 126       csit-vpp-perf-1710-all:
 127       - 11
 128       - 12
 129       - 13
 130       - 14
 131       - 15
 132       - 16
 133       - 17
 134       - 18
 135       - 19
 136       - 20
 137 # TODO:
 138       csit-vpp-perf-1801-all:
 139       - 13
 140       - 14
 141       csit-ligato-perf-1710-all:
 142       - 5
 143       - 7
 144       - 8
 145       - 9
 146       - 10
 147       - 11
 148       - 12
 149       - 13
 150       - 16
 151       - 17
 152       csit-ligato-perf-1801-all:
 153       - 1
 154       - 3
 155       - 7
 156 # TODO:
 157     vpp-perf-results:
 158       csit-vpp-perf-1801-all:
 159       - 12
 160     vpp-func-results:
 161       csit-vpp-functional-1801-ubuntu1604-virl:
 162       - "lastSuccessfulBuild"
 163 # TODO:
 164     ligato-perf-results:
 165       csit-ligato-perf-1801-all:
 166       - 1
 167     dpdk-perf-results:
 168       csit-dpdk-perf-1801-all:
 169       - 12
 170     hc-func-results:
 171       csit-hc2vpp-verify-func-1801-ubuntu1604:
 172       - "lastSuccessfulBuild"
 173 # TODO: Will we use this one?
 174 #      hc2vpp-csit-integration-odl-carbon-1801-ubuntu1604:
 175 #      - lastSuccessfulBuild
 176     nsh-func-results:
 177       csit-nsh_sfc-verify-func-1801-ubuntu1604-virl:
 178       - 1
 179 # TODO:
 180     plot-vpp-throughput-latency:
 181       csit-vpp-perf-1801-all:
 182       - 13
 183       - 14
 184     plot-dpdk-throughput-latency:
 185       csit-dpdk-perf-1801-all:
 186       - 1
 187       - 3
 188       - 4
 189       - 5
 190       - 6
 191       - 7
 192       - 8
 193       - 9
 194       - 10
 195       - 12
 196 # TODO:
 197     plot-ligato-throughput-latency:
 198       csit-ligato-perf-1801-all:
 199       - 1
 200       - 3
 201       - 7
 202   plot-layouts:
 203     plot-throughput:
 204       xaxis:
 205         autorange: True
 206         autotick: False
 207         fixedrange: False
 208         gridcolor: "rgb(238, 238, 238)"
 209         linecolor: "rgb(238, 238, 238)"
 210         linewidth: 1
 211         showgrid: True
 212         showline: True
 213         showticklabels: True
 214         tickcolor: "rgb(238, 238, 238)"
 215         tickmode: "linear"
 216         title: "Indexed Test Cases"
 217         zeroline: False
 218       yaxis:
 219         gridcolor: "rgb(238, 238, 238)'"
 220         hoverformat: ".4s"
 221         linecolor: "rgb(238, 238, 238)"
 222         linewidth: 1
 223         range: []
 224         showgrid: True
 225         showline: True
 226         showticklabels: True
 227         tickcolor: "rgb(238, 238, 238)"
 228         title: "Packets Per Second [pps]"
 229         zeroline: False
 230       boxmode: "group"
 231       boxgroupgap: 0.5
 232       autosize: False
 233       margin:
 234         t: 50
 235         b: 20
 236         l: 50
 237         r: 20
 238       showlegend: True
 239       legend:
 240         orientation: "h"
 241       width: 700
 242       height: 1000
 243     plot-latency:
 244       xaxis:
 245         autorange: True
 246         autotick: False
 247         fixedrange: False
 248         gridcolor: "rgb(238, 238, 238)"
 249         linecolor: "rgb(238, 238, 238)"
 250         linewidth: 1
 251         showgrid: True
 252         showline: True
 253         showticklabels: True
 254         tickcolor: "rgb(238, 238, 238)"
 255         tickmode: "linear"
 256         title: "Indexed Test Cases"
 257         zeroline: False
 258       yaxis:
 259         gridcolor: "rgb(238, 238, 238)'"
 260         hoverformat: ""
 261         linecolor: "rgb(238, 238, 238)"
 262         linewidth: 1
 263         range: []
 264         showgrid: True
 265         showline: True
 266         showticklabels: True
 267         tickcolor: "rgb(238, 238, 238)"
 268         title: "Latency min/avg/max [uSec]"
 269         zeroline: False
 270       boxmode: "group"
 271       boxgroupgap: 0.5
 272       autosize: False
 273       margin:
 274         t: 50
 275         b: 20
 276         l: 50
 277         r: 20
 278       showlegend: True
 279       legend:
 280         orientation: "h"
 281       width: 700
 282       height: 1000
 283     plot-throughput-speedup-analysis:
 284       xaxis:
 285         autorange: True
 286         autotick: False
 287         fixedrange: False
 288         gridcolor: "rgb(238, 238, 238)"
 289         linecolor: "rgb(238, 238, 238)"
 290         linewidth: 1
 291         showgrid: True
 292         showline: True
 293         showticklabels: True
 294         tickcolor: "rgb(238, 238, 238)"
 295         tickmode: "linear"
 296         tickangle: 270
 297         zeroline: False
 298       yaxis:
 299         title: "Throughput speedup factor"
 300         gridcolor: "rgb(238, 238, 238)"
 301         hoverformat: ".4s"
 302         linecolor: "rgb(238, 238, 238)"
 303         linewidth: 1
 304         range: []
 305         showgrid: True
 306         showline: True
 307         showticklabels: True
 308         tickcolor: "rgb(238, 238, 238)"
 309         zeroline: False
 310       legend:
 311         orientation: "h"
 312         xanchor: "center"
 313         yanchor: "top"
 314         x: 0.5
 315         y: 1
 316         bgcolor: "rgba(255, 255, 255, 0)"
 317         bordercolor: "rgba(255, 255, 255, 0)"
 318       barmode: "group"
 319       bargap: 0.15
 320       bargroupgap: 0.1
 321       autosize: False
 322       margin:
 323           't': 50
 324           'b': 200
 325           'l': 50
 326           'r': 20
 327       showlegend: True
 328       width: 700
 329       height: 1000
 330
 331 -
 332   type: "debug"
 333   general:
 334     input-format: "xml"  # zip or xml
 335     extract: "robot-plugin/output.xml"  # Only for zip
 336   builds:
 337     # The files must be in the directory DIR[WORKING,DATA]
 338     csit-vpp-perf-1801-all:
 339     -
 340       build: 1
 341       file: "{DIR[WORKING,DATA]}/output.xml"
 342     -
 343       build: 2
 344       file: "{DIR[WORKING,DATA]}/output.xml"
 345
 346 -
 347   type: "static"
 348   src-path: "{DIR[RST]}"
 349   dst-path: "{DIR[WORKING,SRC]}"
 350
 351 -
 352   type: "input"  # Ignored in debug mode
 353   general:
 354     file-name: "robot-plugin.zip"
 355     file-format: ".zip"
 356     download-path: "{job}/{build}/robot/report/*zip*/{filename}"
 357     extract: "robot-plugin/output.xml"
 358   builds:
 359     csit-vpp-perf-1707-all:
 360     - 9
 361     - 10
 362     - 13
 363     - 14
 364     - 15
 365     - 16
 366     - 17
 367     - 18
 368     - 19
 369     - 21
 370     csit-vpp-perf-1710-all:
 371     - 11
 372     - 12
 373     - 13
 374     - 14
 375     - 15
 376     - 16
 377     - 17
 378     - 18
 379     - 19
 380     - 20
 381     - 23
 382 # TODO:
 383     csit-vpp-perf-1801-all:
 384     - 12
 385     - 13
 386     - 14
 387     csit-ligato-perf-1710-all:
 388     - 5
 389     - 7
 390     - 8
 391     - 9
 392     - 10
 393     - 11
 394     - 12
 395     - 13
 396     - 16
 397     - 17
 398 # TODO:
 399     csit-ligato-perf-1801-all:
 400     - 1
 401     - 3
 402     - 7
 403     csit-dpdk-perf-1801-all:
 404     - 1
 405     - 3
 406     - 4
 407     - 5
 408     - 6
 409     - 7
 410     - 8
 411     - 9
 412     - 10
 413     - 12
 414     csit-vpp-functional-1801-ubuntu1604-virl:
 415     - lastSuccessfulBuild
 416     csit-nsh_sfc-verify-func-1801-ubuntu1604-virl:
 417     - 1
 418     csit-hc2vpp-verify-func-1801-ubuntu1604:
 419     - lastSuccessfulBuild
 420 # TODO: Will we use this one?
 421 #    hc2vpp-csit-integration-odl-carbon-1801-ubuntu1604:
 422 #    - lastSuccessfulBuild
 423
 424 -
 425   type: "output"
 426   format:
 427     html:
 428     - full
 429     pdf:
 430     - minimal
 431
 432 ################################################################################
 433 ###                               T A B L E S                                ###
 434 ################################################################################
 435
 436 -
 437   type: "table"
 438   title: "Performance Impact of Meltdown Patches"
 439   algorithm: "table_performance_comparison"
 440   output-file-ext: ".csv"
 441 # TODO: specify dir
 442   output-file: "{DIR[DTR,PERF,VPP,IMPACT,MELTDOWN]}/meltdown-impact"
 443   reference:
 444     title: "No Meltdown"
 445 # TODO: specify data sources
 446     data:
 447       csit-vpp-perf-1707-all:
 448       - 9
 449       - 10
 450       - 13
 451   compare:
 452     title: "Meltdown Patches Applied"
 453 # TODO: specify data sources
 454     data:
 455       csit-vpp-perf-1710-all:
 456       - 11
 457       - 12
 458       - 13
 459   data:
 460     "vpp-meltdown-impact"
 461   filter: "all"
 462   parameters:
 463   - "name"
 464   - "parent"
 465   - "throughput"
 466   # Number of the best and the worst tests presented in the table. Use 0 (zero)
 467   # to present all tests.
 468   nr-of-tests-shown: 20
 469
 470 -
 471   type: "table"
 472   title: "Performance Impact of Spectre Patches"
 473   algorithm: "table_performance_comparison"
 474   output-file-ext: ".csv"
 475 # TODO: specify dir
 476   output-file: "{DIR[DTR,PERF,VPP,IMPACT,SPECTRE]}/meltdown-spectre-impact"
 477   reference:
 478     title: "No Spectre"
 479 # TODO: specify data sources
 480     data:
 481       csit-vpp-perf-1707-all:
 482       - 9
 483       - 10
 484       - 13
 485   compare:
 486     title: "Spectre Patches Applied"
 487 # TODO: specify data sources
 488     data:
 489       csit-vpp-perf-1710-all:
 490       - 11
 491       - 12
 492       - 13
 493   data:
 494     "vpp-spectre-impact"
 495   filter: "all"
 496   parameters:
 497   - "name"
 498   - "parent"
 499   - "throughput"
 500   # Number of the best and the worst tests presented in the table. Use 0 (zero)
 501   # to present all tests.
 502   nr-of-tests-shown: 20
 503
 504 -
 505   type: "table"
 506   title: "Performance improvements"
 507   algorithm: "table_performance_improvements"
 508   template: "{DIR[DTR,PERF,VPP,IMPRV]}/tmpl_performance_improvements.csv"
 509   output-file-ext: ".csv"
 510   output-file: "{DIR[DTR,PERF,VPP,IMPRV]}/performance_improvements"
 511   columns:
 512   -
 513     title: "Functionality"
 514     data: "template 1"
 515   -
 516     title: "Test Name"
 517     data: "template 2"
 518   -
 519     title: "16.09 mean [Mpps]"
 520     data: "template 3"
 521   -
 522     title: "17.01 mean [Mpps]"
 523     data: "template 4"
 524   -
 525     title: "17.04 mean [Mpps]"
 526     data: "template 5"
 527   -
 528     title: "17.07 mean [Mpps]"
 529     data: "data csit-vpp-perf-1707-all mean"
 530   -
 531     title: "17.10 mean [Mpps]"
 532     data: "data csit-vpp-perf-1710-all csit-ligato-perf-1710-all mean"
 533   -
 534     title: "18.01 mean [Mpps]"
 535     data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all mean"
 536   -
 537     title: "18.01 stdev [Mpps]"
 538     data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all stdev"
 539   -
 540     title: "17.10 to 18.01 change [%]"
 541     data: "operation relative_change 6 7"
 542   rows: "generated"
 543   data:
 544     "performance-improvements"
 545   filter: "template"
 546   parameters:
 547   - "throughput"
 548
 549 -
 550   type: "table"
 551   title: "Detailed Test Results - VPP Performance Results"
 552   algorithm: "table_merged_details"
 553   output-file-ext: ".csv"
 554   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
 555   columns:
 556   -
 557     title: "Name"
 558     data: "data name"
 559   -
 560     title: "Documentation"
 561     data: "data doc"
 562   -
 563     title: "Status"
 564     data: "data msg"
 565   rows: "generated"
 566   data:
 567     "vpp-perf-results"
 568   filter: "not 'NDRCHK' and not 'PDRCHK'"
 569   parameters:
 570   - "name"
 571   - "parent"
 572   - "doc"
 573   - "msg"
 574
 575 -
 576   type: "table"
 577   title: "Test configuration - VPP Performance Test Configs"
 578   algorithm: "table_merged_details"
 579   output-file-ext: ".csv"
 580   output-file: "{DIR[DTC,PERF,VPP]}/vpp_test_configuration"
 581   columns:
 582   -
 583     title: "Name"
 584     data: "data name"
 585   -
 586     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
 587     data: "data vat-history"
 588   rows: "generated"
 589   data:
 590     "vpp-perf-results"
 591   filter: "not 'NDRCHK' and not 'PDRCHK'"
 592   parameters:
 593   - "parent"
 594   - "name"
 595   - "vat-history"
 596
 597 -
 598   type: "table"
 599   title: "Test Operational Data - VPP Performance Operational Data"
 600   algorithm: "table_merged_details"
 601   output-file-ext: ".csv"
 602   output-file: "{DIR[DTO,PERF,VPP]}/vpp_test_operational"
 603   columns:
 604   -
 605     title: "Name"
 606     data: "data name"
 607   -
 608     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
 609     data: "data show-run"
 610   rows: "generated"
 611   data:
 612     "vpp-perf-results"
 613   filter: "not 'NDRCHK' and not 'PDRCHK'"
 614   parameters:
 615   - "parent"
 616   - "name"
 617   - "show-run"
 618
 619 -
 620   type: "table"
 621   title: "Detailed Test Results - VPP Functional Results"
 622   algorithm: "table_details"
 623   output-file-ext: ".csv"
 624   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
 625   columns:
 626   -
 627     title: "Name"
 628     data: "data name"
 629   -
 630     title: "Documentation"
 631     data: "data doc"
 632   -
 633     title: "Status"
 634     data: "data status"
 635   rows: "generated"
 636   data:
 637     "vpp-func-results"
 638   filter: "all"
 639   parameters:
 640   - "name"
 641   - "parent"
 642   - "doc"
 643   - "status"
 644
 645 -
 646   type: "table"
 647   title: "Test configuration - VPP Functional Test Configs"
 648   algorithm: "table_details"
 649   output-file-ext: ".csv"
 650   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
 651   columns:
 652   -
 653     title: "Name"
 654     data: "data name"
 655   -
 656     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
 657     data: "data vat-history"
 658   rows: "generated"
 659   data:
 660     "vpp-func-results"
 661   filter: "all"
 662   parameters:
 663   - "parent"
 664   - "name"
 665   - "vat-history"
 666
 667 -
 668   type: "table"
 669   title: "Detailed Test Results - Container Orchestrated Topologies Performance Results"
 670   algorithm: "table_details"
 671   output-file-ext: ".csv"
 672   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
 673   columns:
 674   -
 675     title: "Name"
 676     data: "data name"
 677   -
 678     title: "Documentation"
 679     data: "data doc"
 680   -
 681     title: "Status"
 682     data: "data msg"
 683   rows: "generated"
 684   data:
 685     "ligato-perf-results"
 686   filter: "all"
 687   parameters:
 688   - "name"
 689   - "parent"
 690   - "doc"
 691   - "msg"
 692
 693 -
 694   type: "table"
 695   title: "Detailed Test Results - DPDK Performance Results"
 696   algorithm: "table_details"
 697   output-file-ext: ".csv"
 698   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
 699   columns:
 700   -
 701     title: "Name"
 702     data: "data name"
 703   -
 704     title: "Documentation"
 705     data: "data doc"
 706   -
 707     title: "Status"
 708     data: "data msg"
 709   rows: "generated"
 710   data:
 711     "dpdk-perf-results"
 712   filter: "all"
 713   parameters:
 714   - "name"
 715   - "parent"
 716   - "doc"
 717   - "msg"
 718
 719 -
 720   type: "table"
 721   title: "Detailed Test Results - Honeycomb Functional Results"
 722   algorithm: "table_details"
 723   output-file-ext: ".csv"
 724   output-file: "{DIR[DTR,FUNC,HC]}/hc_functional_results"
 725   columns:
 726   -
 727     title: "Name"
 728     data: "data name"
 729   -
 730     title: "Documentation"
 731     data: "data doc"
 732   -
 733     title: "Status"
 734     data: "data status"
 735   rows: "generated"
 736   data:
 737     "hc-func-results"
 738   filter: "all"
 739   parameters:
 740   - "name"
 741   - "parent"
 742   - "doc"
 743   - "status"
 744
 745 -
 746   type: "table"
 747   title: "Detailed Test Results - NSH SFC Functional Results"
 748   algorithm: "table_details"
 749   output-file-ext: ".csv"
 750   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nsh_sfc_functional_results"
 751   columns:
 752   -
 753     title: "Name"
 754     data: "data name"
 755   -
 756     title: "Documentation"
 757     data: "data doc"
 758   -
 759     title: "Status"
 760     data: "data status"
 761   rows: "generated"
 762   data:
 763     "nsh-func-results"
 764   filter: "all"
 765   parameters:
 766   - "name"
 767   - "parent"
 768   - "doc"
 769   - "status"
 770
 771 ################################################################################
 772 ###                                F I L E S                                 ###
 773 ################################################################################
 774
 775 -
 776   type: "file"
 777   title: "VPP Performance Results"
 778   algorithm: "file_merged_test_results"
 779   output-file-ext: ".rst"
 780   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
 781   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
 782   dir-tables: "{DIR[DTR,PERF,VPP]}"
 783   data:
 784     "vpp-perf-results"
 785   filter: "not 'NDRCHK' and not 'PDRCHK'"
 786   parameters:
 787   - "name"
 788   - "doc"
 789   - "level"
 790   - "parent"
 791   data-start-level: 3  # 0, 1, 2, ...
 792   chapters-start-level: 2  # 0, 1, 2, ...
 793
 794 -
 795   type: "file"
 796   title: "VPP Performance Configuration"
 797   algorithm: "file_merged_test_results"
 798   output-file-ext: ".rst"
 799   output-file: "{DIR[DTC,PERF,VPP]}/vpp_performance_configuration"
 800   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
 801   dir-tables: "{DIR[DTC,PERF,VPP]}"
 802   data:
 803     "vpp-perf-results"
 804   filter: "not 'NDRCHK' and not 'PDRCHK'"
 805   parameters:
 806   - "name"
 807   - "doc"
 808   - "level"
 809   - "parent"
 810   data-start-level: 3  # 0, 1, 2, ...
 811   chapters-start-level: 2  # 0, 1, 2, ...
 812
 813 -
 814   type: "file"
 815   title: "VPP Performance Operational Data"
 816   algorithm: "file_merged_test_results"
 817   output-file-ext: ".rst"
 818   output-file: "{DIR[DTO,PERF,VPP]}/vpp_performance_operational_data"
 819   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
 820   dir-tables: "{DIR[DTO,PERF,VPP]}"
 821   data:
 822     "vpp-perf-results"
 823   filter: "not 'NDRCHK' and not 'PDRCHK'"
 824   parameters:
 825   - "name"
 826   - "doc"
 827   - "level"
 828   - "parent"
 829   data-start-level: 3  # 0, 1, 2, ...
 830   chapters-start-level: 2  # 0, 1, 2, ...
 831
 832 -
 833   type: "file"
 834   title: "VPP Functional Results"
 835   algorithm: "file_test_results"
 836   output-file-ext: ".rst"
 837   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
 838   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
 839   dir-tables: "{DIR[DTR,FUNC,VPP]}"
 840   data:
 841     "vpp-func-results"
 842   filter: "all"
 843   parameters:
 844   - "name"
 845   - "doc"
 846   - "level"
 847   data-start-level: 3  # 0, 1, 2, ...
 848   chapters-start-level: 2  # 0, 1, 2, ...
 849
 850 -
 851   type: "file"
 852   title: "VPP Functional Configuration"
 853   algorithm: "file_test_results"
 854   output-file-ext: ".rst"
 855   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
 856   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
 857   dir-tables: "{DIR[DTC,FUNC,VPP]}"
 858   data:
 859     "vpp-func-results"
 860   filter: "all"
 861   parameters:
 862   - "name"
 863   - "doc"
 864   - "level"
 865   data-start-level: 3  # 0, 1, 2, ...
 866   chapters-start-level: 2  # 0, 1, 2, ...
 867
 868 -
 869   type: "file"
 870   title: "Container Orchestrated Performance Results"
 871   algorithm: "file_test_results"
 872   output-file-ext: ".rst"
 873   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
 874   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
 875   dir-tables: "{DIR[DTR,PERF,COT]}"
 876   data:
 877     "ligato-perf-results"
 878   filter: "all"
 879   parameters:
 880   - "name"
 881   - "doc"
 882   - "level"
 883   data-start-level: 2  # 0, 1, 2, ...
 884   chapters-start-level: 2  # 0, 1, 2, ...
 885
 886 -
 887   type: "file"
 888   title: "DPDK Performance Results"
 889   algorithm: "file_test_results"
 890   output-file-ext: ".rst"
 891   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
 892   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
 893   dir-tables: "{DIR[DTR,PERF,DPDK]}"
 894   data:
 895     "dpdk-perf-results"
 896   filter: "all"
 897   parameters:
 898   - "name"
 899   - "doc"
 900   - "level"
 901   chapters:
 902   - "suites"
 903   data-start-level: 2  # 0, 1, 2, ...
 904   chapters-start-level: 2  # 0, 1, 2, ...
 905
 906 -
 907   type: "file"
 908   title: "Honeycomb Functional Results"
 909   algorithm: "file_test_results"
 910   output-file-ext: ".rst"
 911   output-file: "{DIR[DTR,FUNC,HC]}/honeycomb_functional_results"
 912   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
 913   dir-tables: "{DIR[DTR,FUNC,HC]}"
 914   data:
 915     "hc-func-results"
 916   filter: "all"
 917   parameters:
 918   - "name"
 919   - "doc"
 920   - "level"
 921   chapters:
 922   - "suites"
 923   data-start-level: 3  # 0, 1, 2, ...
 924   chapters-start-level: 2  # 0, 1, 2, ...
 925
 926 -
 927   type: "file"
 928   title: "NSH SFC Functional Results"
 929   algorithm: "file_test_results"
 930   output-file-ext: ".rst"
 931   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nshsfc_functional_results"
 932   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
 933   dir-tables: "{DIR[DTR,FUNC,NSHSFC]}"
 934   data:
 935     "nsh-func-results"
 936   filter: "all"
 937   parameters:
 938   - "name"
 939   - "doc"
 940   - "level"
 941   chapters:
 942   - "suites"
 943   data-start-level: 2  # 0, 1, 2, ...
 944   chapters-start-level: 2  # 0, 1, 2, ...
 945
 946 ################################################################################
 947 ###                                P L O T S                                 ###
 948 ################################################################################
 949
 950 # Plot Throughput Speedup Analysis
 951
 952 # L2 - 10ge2p1x520 - NDR
 953 -
 954   type: "plot"
 955   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
 956   algorithm: "plot_throughput_speedup_analysis"
 957   output-file-type: ".html"
 958   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-ndrdisc"
 959   data:
 960     "plot-throughput-speedup-analysis"
 961   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
 962   parameters:
 963   - "throughput"
 964   - "parent"
 965   - "tags"
 966   layout:
 967     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
 968     layout:
 969       "plot-throughput-speedup-analysis"
 970
 971 # L2 - 40ge2p1xl710 - NDR
 972 -
 973   type: "plot"
 974   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
 975   algorithm: "plot_throughput_speedup_analysis"
 976   output-file-type: ".html"
 977   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-l2-tsa-ndrdisc"
 978   data:
 979     "plot-throughput-speedup-analysis"
 980   filter: "'NIC_Intel-XL710' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
 981   parameters:
 982   - "throughput"
 983   - "parent"
 984   - "tags"
 985   layout:
 986     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
 987     layout:
 988       "plot-throughput-speedup-analysis"
 989
 990 # L2 - 10ge2p1x520 - PDR
 991 -
 992   type: "plot"
 993   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
 994   algorithm: "plot_throughput_speedup_analysis"
 995   output-file-type: ".html"
 996   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-pdrdisc"
 997   data:
 998     "plot-throughput-speedup-analysis"
 999   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
1000   parameters:
1001   - "throughput"
1002   - "parent"
1003   - "tags"
1004   layout:
1005     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1006     layout:
1007       "plot-throughput-speedup-analysis"
1008
1009 # IPv4 - 10ge2p1x520 - NDR
1010 -
1011   type: "plot"
1012   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1013   algorithm: "plot_throughput_speedup_analysis"
1014   output-file-type: ".html"
1015   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-ndrdisc"
1016   data:
1017     "plot-throughput-speedup-analysis"
1018   filter: "'NIC_Intel-X520-DA2' and '64B' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1019   parameters:
1020   - "throughput"
1021   - "parent"
1022   - "tags"
1023   layout:
1024     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1025     layout:
1026       "plot-throughput-speedup-analysis"
1027
1028 # IPv4 - 40ge2p1xl710 - NDR
1029 -
1030   type: "plot"
1031   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1032   algorithm: "plot_throughput_speedup_analysis"
1033   output-file-type: ".html"
1034   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-ip4-tsa-ndrdisc"
1035   data:
1036     "plot-throughput-speedup-analysis"
1037   filter: "'NIC_Intel-XL710' and '64B' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1038   parameters:
1039   - "throughput"
1040   - "parent"
1041   - "tags"
1042   layout:
1043     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1044     layout:
1045       "plot-throughput-speedup-analysis"
1046
1047 # IPv4 - 10ge2p1x520 - PDR
1048 -
1049   type: "plot"
1050   title: "TSA: 64B-*-ethip4-ip4(base|scale)*pdrdisc"
1051   algorithm: "plot_throughput_speedup_analysis"
1052   output-file-type: ".html"
1053   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-pdrdisc"
1054   data:
1055     "plot-throughput-speedup-analysis"
1056   filter: "'NIC_Intel-X520-DA2' and '64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST'"
1057   parameters:
1058   - "throughput"
1059   - "parent"
1060   - "tags"
1061   layout:
1062     title: "64B-*-ethip4-ip4(base|scale)*pdrdisc"
1063     layout:
1064       "plot-throughput-speedup-analysis"
1065
1066 # IPv6 - 10ge2p1x520 - NDR
1067 -
1068   type: "plot"
1069   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1070   algorithm: "plot_throughput_speedup_analysis"
1071   output-file-type: ".html"
1072   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-ndrdisc"
1073   data:
1074     "plot-throughput-speedup-analysis"
1075   filter: "'NIC_Intel-X520-DA2' and '78B' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1076   parameters:
1077   - "throughput"
1078   - "parent"
1079   - "tags"
1080   layout:
1081     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1082     layout:
1083       "plot-throughput-speedup-analysis"
1084
1085 # IPv6 - 40ge2p1xl710 - NDR
1086 -
1087   type: "plot"
1088   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1089   algorithm: "plot_throughput_speedup_analysis"
1090   output-file-type: ".html"
1091   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-78B-ip6-tsa-ndrdisc"
1092   data:
1093     "plot-throughput-speedup-analysis"
1094   filter: "'NIC_Intel-XL710' and '78B' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1095   parameters:
1096   - "throughput"
1097   - "parent"
1098   - "tags"
1099   layout:
1100     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1101     layout:
1102       "plot-throughput-speedup-analysis"
1103
1104 # IPv6 - 10ge2p1x520 - PDR
1105 -
1106   type: "plot"
1107   title: "TSA: 78B-*-ethip6-ip6(base|scale)*pdrdisc"
1108   algorithm: "plot_throughput_speedup_analysis"
1109   output-file-type: ".html"
1110   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-pdrdisc"
1111   data:
1112     "plot-throughput-speedup-analysis"
1113   filter: "'NIC_Intel-X520-DA2' and '78B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST'"
1114   parameters:
1115   - "throughput"
1116   - "parent"
1117   - "tags"
1118   layout:
1119     title: "78B-*-ethip6-ip6(base|scale)*pdrdisc"
1120     layout:
1121       "plot-throughput-speedup-analysis"
1122
1123 # Plot packets per second
1124
1125 # VPP L2 sel1
1126 -
1127   type: "plot"
1128   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1129   algorithm: "plot_performance_box"
1130   output-file-type: ".html"
1131   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc"
1132   data:
1133     "plot-vpp-throughput-latency"
1134   # Keep this formatting, the filter is enclosed with " (quotation mark) and
1135   # each tag is enclosed with ' (apostrophe).
1136   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
1137   parameters:
1138   - "throughput"
1139   - "parent"
1140   traces:
1141     hoverinfo: "x+y"
1142     boxpoints: "outliers"
1143     whiskerwidth: 0
1144   layout:
1145     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1146     layout:
1147       "plot-throughput"
1148
1149 -
1150   type: "plot"
1151   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1152   algorithm: "plot_performance_box"
1153   output-file-type: ".html"
1154   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc"
1155   data:
1156     "plot-vpp-throughput-latency"
1157   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
1158   parameters:
1159   - "throughput"
1160   - "parent"
1161   traces:
1162     hoverinfo: "x+y"
1163     boxpoints: "outliers"
1164     whiskerwidth: 0
1165   layout:
1166     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1167     layout:
1168       "plot-throughput"
1169
1170 -
1171   type: "plot"
1172   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1173   algorithm: "plot_performance_box"
1174   output-file-type: ".html"
1175   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-pdrdisc"
1176   data:
1177     "plot-vpp-throughput-latency"
1178   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
1179   parameters:
1180   - "throughput"
1181   - "parent"
1182   traces:
1183     hoverinfo: "x+y"
1184     boxpoints: "outliers"
1185     whiskerwidth: 0
1186   layout:
1187     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1188     layout:
1189       "plot-throughput"
1190
1191 -
1192   type: "plot"
1193   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1194   algorithm: "plot_performance_box"
1195   output-file-type: ".html"
1196   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-pdrdisc"
1197   data:
1198     "plot-vpp-throughput-latency"
1199   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
1200   parameters:
1201   - "throughput"
1202   - "parent"
1203   traces:
1204     hoverinfo: "x+y"
1205     boxpoints: "outliers"
1206     whiskerwidth: 0
1207   layout:
1208     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1209     layout:
1210       "plot-throughput"
1211
1212 # VPP L2 sel2
1213 -
1214   type: "plot"
1215   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1216   algorithm: "plot_performance_box"
1217   output-file-type: ".html"
1218   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc"
1219   data:
1220     "plot-vpp-throughput-latency"
1221   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
1222   parameters:
1223   - "throughput"
1224   - "parent"
1225   traces:
1226     hoverinfo: "x+y"
1227     boxpoints: "outliers"
1228     whiskerwidth: 0
1229   layout:
1230     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1231     layout:
1232       "plot-throughput"
1233
1234 -
1235   type: "plot"
1236   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1237   algorithm: "plot_performance_box"
1238   output-file-type: ".html"
1239   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc"
1240   data:
1241     "plot-vpp-throughput-latency"
1242   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
1243   parameters:
1244   - "throughput"
1245   - "parent"
1246   traces:
1247     hoverinfo: "x+y"
1248     boxpoints: "outliers"
1249     whiskerwidth: 0
1250   layout:
1251     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1252     layout:
1253       "plot-throughput"
1254
1255 -
1256   type: "plot"
1257   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1258   algorithm: "plot_performance_box"
1259   output-file-type: ".html"
1260   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-pdrdisc"
1261   data:
1262     "plot-vpp-throughput-latency"
1263   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
1264   parameters:
1265   - "throughput"
1266   - "parent"
1267   traces:
1268     hoverinfo: "x+y"
1269     boxpoints: "outliers"
1270     whiskerwidth: 0
1271   layout:
1272     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1273     layout:
1274       "plot-throughput"
1275
1276 -
1277   type: "plot"
1278   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1279   algorithm: "plot_performance_box"
1280   output-file-type: ".html"
1281   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-pdrdisc"
1282   data:
1283     "plot-vpp-throughput-latency"
1284   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
1285   parameters:
1286   - "throughput"
1287   - "parent"
1288   traces:
1289     hoverinfo: "x+y"
1290     boxpoints: "outliers"
1291     whiskerwidth: 0
1292   layout:
1293     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1294     layout:
1295       "plot-throughput"
1296
1297 # VPP IP4
1298 -
1299   type: "plot"
1300   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1301   algorithm: "plot_performance_box"
1302   output-file-type: ".html"
1303   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc"
1304   data:
1305     "plot-vpp-throughput-latency"
1306   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1307   parameters:
1308   - "throughput"
1309   - "parent"
1310   traces:
1311     hoverinfo: "x+y"
1312     boxpoints: "outliers"
1313     whiskerwidth: 0
1314   layout:
1315     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1316     layout:
1317       "plot-throughput"
1318
1319 -
1320   type: "plot"
1321   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1322   algorithm: "plot_performance_box"
1323   output-file-type: ".html"
1324   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc"
1325   data:
1326     "plot-vpp-throughput-latency"
1327   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1328   parameters:
1329   - "throughput"
1330   - "parent"
1331   traces:
1332     hoverinfo: "x+y"
1333     boxpoints: "outliers"
1334     whiskerwidth: 0
1335   layout:
1336     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1337     layout:
1338       "plot-throughput"
1339
1340 -
1341   type: "plot"
1342   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1343   algorithm: "plot_performance_box"
1344   output-file-type: ".html"
1345   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-pdrdisc"
1346   data:
1347     "plot-vpp-throughput-latency"
1348   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1349   parameters:
1350   - "throughput"
1351   - "parent"
1352   traces:
1353     hoverinfo: "x+y"
1354     boxpoints: "outliers"
1355     whiskerwidth: 0
1356   layout:
1357     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1358     layout:
1359       "plot-throughput"
1360
1361 -
1362   type: "plot"
1363   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1364   algorithm: "plot_performance_box"
1365   output-file-type: ".html"
1366   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-pdrdisc"
1367   data:
1368     "plot-vpp-throughput-latency"
1369   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1370   parameters:
1371   - "throughput"
1372   - "parent"
1373   traces:
1374     hoverinfo: "x+y"
1375     boxpoints: "outliers"
1376     whiskerwidth: 0
1377   layout:
1378     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1379     layout:
1380       "plot-throughput"
1381
1382 # VPP IP6
1383 -
1384   type: "plot"
1385   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1386   algorithm: "plot_performance_box"
1387   output-file-type: ".html"
1388   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc"
1389   data:
1390     "plot-vpp-throughput-latency"
1391   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1392   parameters:
1393   - "throughput"
1394   - "parent"
1395   traces:
1396     hoverinfo: "x+y"
1397     boxpoints: "outliers"
1398     whiskerwidth: 0
1399   layout:
1400     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1401     layout:
1402       "plot-throughput"
1403
1404 -
1405   type: "plot"
1406   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1407   algorithm: "plot_performance_box"
1408   output-file-type: ".html"
1409   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc"
1410   data:
1411     "plot-vpp-throughput-latency"
1412   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1413   parameters:
1414   - "throughput"
1415   - "parent"
1416   traces:
1417     hoverinfo: "x+y"
1418     boxpoints: "outliers"
1419     whiskerwidth: 0
1420   layout:
1421     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1422     layout:
1423       "plot-throughput"
1424
1425 -
1426   type: "plot"
1427   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1428   algorithm: "plot_performance_box"
1429   output-file-type: ".html"
1430   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-pdrdisc"
1431   data:
1432     "plot-vpp-throughput-latency"
1433   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1434   parameters:
1435   - "throughput"
1436   - "parent"
1437   traces:
1438     hoverinfo: "x+y"
1439     boxpoints: "outliers"
1440     whiskerwidth: 0
1441   layout:
1442     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1443     layout:
1444       "plot-throughput"
1445
1446 -
1447   type: "plot"
1448   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1449   algorithm: "plot_performance_box"
1450   output-file-type: ".html"
1451   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-pdrdisc"
1452   data:
1453     "plot-vpp-throughput-latency"
1454   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1455   parameters:
1456   - "throughput"
1457   - "parent"
1458   traces:
1459     hoverinfo: "x+y"
1460     boxpoints: "outliers"
1461     whiskerwidth: 0
1462   layout:
1463     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1464     layout:
1465       "plot-throughput"
1466
1467 # VPP IP4_overlay
1468 -
1469   type: "plot"
1470   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1471   algorithm: "plot_performance_box"
1472   output-file-type: ".html"
1473   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc"
1474   data:
1475     "plot-vpp-throughput-latency"
1476   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1477   parameters:
1478   - "throughput"
1479   - "parent"
1480   traces:
1481     hoverinfo: "x+y"
1482     boxpoints: "outliers"
1483     whiskerwidth: 0
1484   layout:
1485     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1486     layout:
1487       "plot-throughput"
1488
1489 -
1490   type: "plot"
1491   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1492   algorithm: "plot_performance_box"
1493   output-file-type: ".html"
1494   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc"
1495   data:
1496     "plot-vpp-throughput-latency"
1497   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1498   parameters:
1499   - "throughput"
1500   - "parent"
1501   traces:
1502     hoverinfo: "x+y"
1503     boxpoints: "outliers"
1504     whiskerwidth: 0
1505   layout:
1506     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1507     layout:
1508       "plot-throughput"
1509
1510 -
1511   type: "plot"
1512   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1513   algorithm: "plot_performance_box"
1514   output-file-type: ".html"
1515   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-pdrdisc"
1516   data:
1517     "plot-vpp-throughput-latency"
1518   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1519   parameters:
1520   - "throughput"
1521   - "parent"
1522   traces:
1523     hoverinfo: "x+y"
1524     boxpoints: "outliers"
1525     whiskerwidth: 0
1526   layout:
1527     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1528     layout:
1529       "plot-throughput"
1530
1531 -
1532   type: "plot"
1533   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1534   algorithm: "plot_performance_box"
1535   output-file-type: ".html"
1536   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-pdrdisc"
1537   data:
1538     "plot-vpp-throughput-latency"
1539   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1540   parameters:
1541   - "throughput"
1542   - "parent"
1543   traces:
1544     hoverinfo: "x+y"
1545     boxpoints: "outliers"
1546     whiskerwidth: 0
1547   layout:
1548     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1549     layout:
1550       "plot-throughput"
1551
1552 # VPP IP6_overlay
1553 -
1554   type: "plot"
1555   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1556   algorithm: "plot_performance_box"
1557   output-file-type: ".html"
1558   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc"
1559   data:
1560     "plot-vpp-throughput-latency"
1561   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1562   parameters:
1563   - "throughput"
1564   - "parent"
1565   traces:
1566     hoverinfo: "x+y"
1567     boxpoints: "outliers"
1568     whiskerwidth: 0
1569   layout:
1570     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1571     layout:
1572       "plot-throughput"
1573
1574 -
1575   type: "plot"
1576   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1577   algorithm: "plot_performance_box"
1578   output-file-type: ".html"
1579   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc"
1580   data:
1581     "plot-vpp-throughput-latency"
1582   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1583   parameters:
1584   - "throughput"
1585   - "parent"
1586   traces:
1587     hoverinfo: "x+y"
1588     boxpoints: "outliers"
1589     whiskerwidth: 0
1590   layout:
1591     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1592     layout:
1593       "plot-throughput"
1594
1595 -
1596   type: "plot"
1597   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1598   algorithm: "plot_performance_box"
1599   output-file-type: ".html"
1600   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-pdrdisc"
1601   data:
1602     "plot-vpp-throughput-latency"
1603   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1604   parameters:
1605   - "throughput"
1606   - "parent"
1607   traces:
1608     hoverinfo: "x+y"
1609     boxpoints: "outliers"
1610     whiskerwidth: 0
1611   layout:
1612     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1613     layout:
1614       "plot-throughput"
1615
1616 -
1617   type: "plot"
1618   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1619   algorithm: "plot_performance_box"
1620   output-file-type: ".html"
1621   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-pdrdisc"
1622   data:
1623     "plot-vpp-throughput-latency"
1624   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1625   parameters:
1626   - "throughput"
1627   - "parent"
1628   traces:
1629     hoverinfo: "x+y"
1630     boxpoints: "outliers"
1631     whiskerwidth: 0
1632   layout:
1633     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1634     layout:
1635       "plot-throughput"
1636
1637 # VPP VM VHOST
1638 -
1639   type: "plot"
1640   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
1641   algorithm: "plot_performance_box"
1642   output-file-type: ".html"
1643   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc"
1644   data:
1645     "plot-vpp-throughput-latency"
1646   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
1647   parameters:
1648   - "throughput"
1649   - "parent"
1650   traces:
1651     hoverinfo: "x+y"
1652     boxpoints: "outliers"
1653     whiskerwidth: 0
1654   layout:
1655     title: "64B-1t1c-.*vhost.*-ndrdisc"
1656     layout:
1657       "plot-throughput"
1658
1659 -
1660   type: "plot"
1661   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
1662   algorithm: "plot_performance_box"
1663   output-file-type: ".html"
1664   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc"
1665   data:
1666     "plot-vpp-throughput-latency"
1667   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
1668   parameters:
1669   - "throughput"
1670   - "parent"
1671   traces:
1672     hoverinfo: "x+y"
1673     boxpoints: "outliers"
1674     whiskerwidth: 0
1675   layout:
1676     title: "64B-2t2c-.*vhost.*-ndrdisc"
1677     layout:
1678       "plot-throughput"
1679
1680 -
1681   type: "plot"
1682   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
1683   algorithm: "plot_performance_box"
1684   output-file-type: ".html"
1685   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-pdrdisc"
1686   data:
1687     "plot-vpp-throughput-latency"
1688   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
1689   parameters:
1690   - "throughput"
1691   - "parent"
1692   traces:
1693     hoverinfo: "x+y"
1694     boxpoints: "outliers"
1695     whiskerwidth: 0
1696   layout:
1697     title: "64B-1t1c-.*vhost.*-pdrdisc"
1698     layout:
1699       "plot-throughput"
1700
1701 -
1702   type: "plot"
1703   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
1704   algorithm: "plot_performance_box"
1705   output-file-type: ".html"
1706   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-pdrdisc"
1707   data:
1708     "plot-vpp-throughput-latency"
1709   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
1710   parameters:
1711   - "throughput"
1712   - "parent"
1713   traces:
1714     hoverinfo: "x+y"
1715     boxpoints: "outliers"
1716     whiskerwidth: 0
1717   layout:
1718     title: "64B-2t2c-.*vhost.*-pdrdisc"
1719     layout:
1720       "plot-throughput"
1721
1722 # VPP VM VHOST SELECTION
1723 -
1724   type: "plot"
1725   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
1726   algorithm: "plot_performance_box"
1727   output-file-type: ".html"
1728   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc"
1729   data:
1730     "plot-vpp-throughput-latency"
1731   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
1732   parameters:
1733   - "throughput"
1734   - "parent"
1735   traces:
1736     hoverinfo: "x+y"
1737     boxpoints: "outliers"
1738     whiskerwidth: 0
1739   layout:
1740     title: "64B-1t1c-.*vhost.*-ndrdisc"
1741     layout:
1742       "plot-throughput"
1743
1744 -
1745   type: "plot"
1746   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
1747   algorithm: "plot_performance_box"
1748   output-file-type: ".html"
1749   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc"
1750   data:
1751     "plot-vpp-throughput-latency"
1752   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
1753   parameters:
1754   - "throughput"
1755   - "parent"
1756   traces:
1757     hoverinfo: "x+y"
1758     boxpoints: "outliers"
1759     whiskerwidth: 0
1760   layout:
1761     title: "64B-2t2c-.*vhost.*-ndrdisc"
1762     layout:
1763       "plot-throughput"
1764
1765 -
1766   type: "plot"
1767   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
1768   algorithm: "plot_performance_box"
1769   output-file-type: ".html"
1770   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-pdrdisc"
1771   data:
1772     "plot-vpp-throughput-latency"
1773   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
1774   parameters:
1775   - "throughput"
1776   - "parent"
1777   traces:
1778     hoverinfo: "x+y"
1779     boxpoints: "outliers"
1780     whiskerwidth: 0
1781   layout:
1782     title: "64B-1t1c-.*vhost.*-pdrdisc"
1783     layout:
1784       "plot-throughput"
1785
1786 -
1787   type: "plot"
1788   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
1789   algorithm: "plot_performance_box"
1790   output-file-type: ".html"
1791   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-pdrdisc"
1792   data:
1793     "plot-vpp-throughput-latency"
1794   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
1795   parameters:
1796   - "throughput"
1797   - "parent"
1798   traces:
1799     hoverinfo: "x+y"
1800     boxpoints: "outliers"
1801     whiskerwidth: 0
1802   layout:
1803     title: "64B-2t2c-.*vhost.*-pdrdisc"
1804     layout:
1805       "plot-throughput"
1806
1807 # VPP CRYPTO
1808 -
1809   type: "plot"
1810   title: "VPP Performance 64B-1t1c-.*ipsec.*-ndrdisc"
1811   algorithm: "plot_performance_box"
1812   output-file-type: ".html"
1813   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc"
1814   data:
1815     "plot-vpp-throughput-latency"
1816   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
1817   parameters:
1818   - "throughput"
1819   - "parent"
1820   traces:
1821     hoverinfo: "x+y"
1822     boxpoints: "outliers"
1823     whiskerwidth: 0
1824   layout:
1825     title: "64B-1t1c-.*ipsec.*-ndrdisc"
1826     layout:
1827       "plot-throughput"
1828
1829 -
1830   type: "plot"
1831   title: "VPP Performance 64B-2t2c-.*ipsec.*-ndrdisc"
1832   algorithm: "plot_performance_box"
1833   output-file-type: ".html"
1834   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc"
1835   data:
1836     "plot-vpp-throughput-latency"
1837   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
1838   parameters:
1839   - "throughput"
1840   - "parent"
1841   traces:
1842     hoverinfo: "x+y"
1843     boxpoints: "outliers"
1844     whiskerwidth: 0
1845   layout:
1846     title: "64B-2t2c-.*ipsec.*-ndrdisc"
1847     layout:
1848       "plot-throughput"
1849
1850 -
1851   type: "plot"
1852   title: "VPP Performance 64B-1t1c-.*ipsec.*-pdrdisc"
1853   algorithm: "plot_performance_box"
1854   output-file-type: ".html"
1855   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-pdrdisc"
1856   data:
1857     "plot-vpp-throughput-latency"
1858   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
1859   parameters:
1860   - "throughput"
1861   - "parent"
1862   traces:
1863     hoverinfo: "x+y"
1864     boxpoints: "outliers"
1865     whiskerwidth: 0
1866   layout:
1867     title: "64B-1t1c-.*ipsec.*-pdrdisc"
1868     layout:
1869       "plot-throughput"
1870
1871 -
1872   type: "plot"
1873   title: "VPP Performance 64B-2t2c-.*ipsec.*-pdrdisc"
1874   algorithm: "plot_performance_box"
1875   output-file-type: ".html"
1876   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-pdrdisc"
1877   data:
1878     "plot-vpp-throughput-latency"
1879   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
1880   parameters:
1881   - "throughput"
1882   - "parent"
1883   traces:
1884     hoverinfo: "x+y"
1885     boxpoints: "outliers"
1886     whiskerwidth: 0
1887   layout:
1888     title: "64B-2t2c-.*ipsec.*-pdrdisc"
1889     layout:
1890       "plot-throughput"
1891
1892 # DPDK
1893 -
1894   type: "plot"
1895   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1896   algorithm: "plot_performance_box"
1897   output-file-type: ".html"
1898   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc"
1899   data:
1900     "plot-dpdk-throughput-latency"
1901   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
1902   parameters:
1903   - "throughput"
1904   - "parent"
1905   traces:
1906     hoverinfo: "x+y"
1907     boxpoints: "outliers"
1908     whiskerwidth: 0
1909   layout:
1910     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1911     layout:
1912       "plot-throughput"
1913
1914 -
1915   type: "plot"
1916   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1917   algorithm: "plot_performance_box"
1918   output-file-type: ".html"
1919   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc"
1920   data:
1921     "plot-dpdk-throughput-latency"
1922   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
1923   parameters:
1924   - "throughput"
1925   - "parent"
1926   traces:
1927     hoverinfo: "x+y"
1928     boxpoints: "outliers"
1929     whiskerwidth: 0
1930   layout:
1931     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1932     layout:
1933       "plot-throughput"
1934
1935 -
1936   type: "plot"
1937   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
1938   algorithm: "plot_performance_box"
1939   output-file-type: ".html"
1940   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc"
1941   data:
1942     "plot-dpdk-throughput-latency"
1943   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
1944   parameters:
1945   - "throughput"
1946   - "parent"
1947   traces:
1948     hoverinfo: "x+y"
1949     boxpoints: "outliers"
1950     whiskerwidth: 0
1951   layout:
1952     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
1953     xaxis:
1954       autorange: True
1955       autotick: False
1956       fixedrange: False
1957       gridcolor: "rgb(238, 238, 238)"
1958       linecolor: "rgb(238, 238, 238)"
1959       linewidth: 1
1960       showgrid: True
1961       showline: True
1962       showticklabels: True
1963       tickcolor: "rgb(238, 238, 238)"
1964       tickmode: "linear"
1965       title: "Indexed Test Cases"
1966       zeroline: False
1967     yaxis:
1968       gridcolor: "rgb(238, 238, 238)'"
1969       hoverformat: ".4s"
1970       linecolor: "rgb(238, 238, 238)"
1971       linewidth: 1
1972       range: [2000000, 12000000]
1973       showgrid: True
1974       showline: True
1975       showticklabels: True
1976       tickcolor: "rgb(238, 238, 238)"
1977       title: "Packets Per Second [pps]"
1978       zeroline: False
1979     boxmode: "group"
1980     boxgroupgap: 0.5
1981     autosize: False
1982     margin:
1983       t: 50
1984       b: 20
1985       l: 50
1986       r: 20
1987     showlegend: True
1988     legend:
1989       orientation: "h"
1990     width: 700
1991     height: 1000
1992
1993 -
1994   type: "plot"
1995   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
1996   algorithm: "plot_performance_box"
1997   output-file-type: ".html"
1998   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc"
1999   data:
2000     "plot-dpdk-throughput-latency"
2001   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
2002   parameters:
2003   - "throughput"
2004   - "parent"
2005   traces:
2006     hoverinfo: "x+y"
2007     boxpoints: "outliers"
2008     whiskerwidth: 0
2009   layout:
2010     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2011     xaxis:
2012       autorange: True
2013       autotick: False
2014       fixedrange: False
2015       gridcolor: "rgb(238, 238, 238)"
2016       linecolor: "rgb(238, 238, 238)"
2017       linewidth: 1
2018       showgrid: True
2019       showline: True
2020       showticklabels: True
2021       tickcolor: "rgb(238, 238, 238)"
2022       tickmode: "linear"
2023       title: "Indexed Test Cases"
2024       zeroline: False
2025     yaxis:
2026       gridcolor: "rgb(238, 238, 238)'"
2027       hoverformat: ".4s"
2028       linecolor: "rgb(238, 238, 238)"
2029       linewidth: 1
2030       range: [2000000, 12000000]
2031       showgrid: True
2032       showline: True
2033       showticklabels: True
2034       tickcolor: "rgb(238, 238, 238)"
2035       title: "Packets Per Second [pps]"
2036       zeroline: False
2037     boxmode: "group"
2038     boxgroupgap: 0.5
2039     autosize: False
2040     margin:
2041       t: 50
2042       b: 20
2043       l: 50
2044       r: 20
2045     showlegend: True
2046     legend:
2047       orientation: "h"
2048     width: 700
2049     height: 1000
2050
2051 -
2052   type: "plot"
2053   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2054   algorithm: "plot_performance_box"
2055   output-file-type: ".html"
2056   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-pdrdisc"
2057   data:
2058     "plot-dpdk-throughput-latency"
2059   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2060   parameters:
2061   - "throughput"
2062   - "parent"
2063   traces:
2064     hoverinfo: "x+y"
2065     boxpoints: "outliers"
2066     whiskerwidth: 0
2067   layout:
2068     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2069     layout:
2070       "plot-throughput"
2071
2072 -
2073   type: "plot"
2074   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2075   algorithm: "plot_performance_box"
2076   output-file-type: ".html"
2077   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-pdrdisc"
2078   data:
2079     "plot-dpdk-throughput-latency"
2080   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2081   parameters:
2082   - "throughput"
2083   - "parent"
2084   traces:
2085     hoverinfo: "x+y"
2086     boxpoints: "outliers"
2087     whiskerwidth: 0
2088   layout:
2089     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2090     layout:
2091       "plot-throughput"
2092
2093 -
2094   type: "plot"
2095   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
2096   algorithm: "plot_performance_box"
2097   output-file-type: ".html"
2098   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-pdrdisc"
2099   data:
2100     "plot-dpdk-throughput-latency"
2101   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD'"
2102   parameters:
2103   - "throughput"
2104   - "parent"
2105   traces:
2106     hoverinfo: "x+y"
2107     boxpoints: "outliers"
2108     whiskerwidth: 0
2109   layout:
2110     title: "64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
2111     xaxis:
2112       autorange: True
2113       autotick: False
2114       fixedrange: False
2115       gridcolor: "rgb(238, 238, 238)"
2116       linecolor: "rgb(238, 238, 238)"
2117       linewidth: 1
2118       showgrid: True
2119       showline: True
2120       showticklabels: True
2121       tickcolor: "rgb(238, 238, 238)"
2122       tickmode: "linear"
2123       title: "Indexed Test Cases"
2124       zeroline: False
2125     yaxis:
2126       gridcolor: "rgb(238, 238, 238)'"
2127       hoverformat: ".4s"
2128       linecolor: "rgb(238, 238, 238)"
2129       linewidth: 1
2130       range: [20000000, 30000000]
2131       showgrid: True
2132       showline: True
2133       showticklabels: True
2134       tickcolor: "rgb(238, 238, 238)"
2135       title: "Packets Per Second [pps]"
2136       zeroline: False
2137     boxmode: "group"
2138     boxgroupgap: 0.5
2139     autosize: False
2140     margin:
2141       t: 50
2142       b: 20
2143       l: 50
2144       r: 20
2145     showlegend: True
2146     legend:
2147       orientation: "h"
2148     width: 700
2149     height: 1000
2150
2151 -
2152   type: "plot"
2153   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
2154   algorithm: "plot_performance_box"
2155   output-file-type: ".html"
2156   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-pdrdisc"
2157   data:
2158     "plot-dpdk-throughput-latency"
2159   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD'"
2160   parameters:
2161   - "throughput"
2162   - "parent"
2163   traces:
2164     hoverinfo: "x+y"
2165     boxpoints: "outliers"
2166     whiskerwidth: 0
2167   layout:
2168     title: "64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
2169     xaxis:
2170       autorange: True
2171       autotick: False
2172       fixedrange: False
2173       gridcolor: "rgb(238, 238, 238)"
2174       linecolor: "rgb(238, 238, 238)"
2175       linewidth: 1
2176       showgrid: True
2177       showline: True
2178       showticklabels: True
2179       tickcolor: "rgb(238, 238, 238)"
2180       tickmode: "linear"
2181       title: "Indexed Test Cases"
2182       zeroline: False
2183     yaxis:
2184       gridcolor: "rgb(238, 238, 238)'"
2185       hoverformat: ".4s"
2186       linecolor: "rgb(238, 238, 238)"
2187       linewidth: 1
2188       range: [20000000, 30000000]
2189       showgrid: True
2190       showline: True
2191       showticklabels: True
2192       tickcolor: "rgb(238, 238, 238)"
2193       title: "Packets Per Second [pps]"
2194       zeroline: False
2195     boxmode: "group"
2196     boxgroupgap: 0.5
2197     autosize: False
2198     margin:
2199       t: 50
2200       b: 20
2201       l: 50
2202       r: 20
2203     showlegend: True
2204     legend:
2205       orientation: "h"
2206     width: 700
2207     height: 1000
2208
2209 # Plot latency
2210
2211 # VPP L2 sel1
2212 -
2213   type: "plot"
2214   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2215   algorithm: "plot_latency_box"
2216   output-file-type: ".html"
2217   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc-lat50"
2218   data:
2219     "plot-vpp-throughput-latency"
2220   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2221   parameters:
2222   - "latency"
2223   - "parent"
2224   traces:
2225     boxmean: False
2226   layout:
2227     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2228     layout:
2229       "plot-latency"
2230
2231 -
2232   type: "plot"
2233   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2234   algorithm: "plot_latency_box"
2235   output-file-type: ".html"
2236   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc-lat50"
2237   data:
2238     "plot-vpp-throughput-latency"
2239   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2240   parameters:
2241   - "latency"
2242   - "parent"
2243   traces:
2244     boxmean: False
2245   layout:
2246     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2247     layout:
2248       "plot-latency"
2249
2250 # VPP L2 sel2
2251 -
2252   type: "plot"
2253   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2254   algorithm: "plot_latency_box"
2255   output-file-type: ".html"
2256   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc-lat50"
2257   data:
2258     "plot-vpp-throughput-latency"
2259   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2260   parameters:
2261   - "latency"
2262   - "parent"
2263   traces:
2264     boxmean: False
2265   layout:
2266     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2267     layout:
2268       "plot-latency"
2269
2270 -
2271   type: "plot"
2272   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2273   algorithm: "plot_latency_box"
2274   output-file-type: ".html"
2275   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc-lat50"
2276   data:
2277     "plot-vpp-throughput-latency"
2278   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2279   parameters:
2280   - "latency"
2281   - "parent"
2282   traces:
2283     boxmean: False
2284   layout:
2285     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2286     layout:
2287       "plot-latency"
2288
2289 # VPP IP4
2290 -
2291   type: "plot"
2292   title: "VPP Latency 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2293   algorithm: "plot_latency_box"
2294   output-file-type: ".html"
2295   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc-lat50"
2296   data:
2297     "plot-vpp-throughput-latency"
2298   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
2299   parameters:
2300   - "latency"
2301   - "parent"
2302   traces:
2303     boxmean: False
2304   layout:
2305     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2306     layout:
2307       "plot-latency"
2308
2309 -
2310   type: "plot"
2311   title: "VPP Latency 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2312   algorithm: "plot_latency_box"
2313   output-file-type: ".html"
2314   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc-lat50"
2315   data:
2316     "plot-vpp-throughput-latency"
2317   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
2318   parameters:
2319   - "latency"
2320   - "parent"
2321   traces:
2322     boxmean: False
2323   layout:
2324     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2325     layout:
2326       "plot-latency"
2327
2328 # VPP IP6
2329 -
2330   type: "plot"
2331   title: "VPP Latency 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2332   algorithm: "plot_latency_box"
2333   output-file-type: ".html"
2334   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc-lat50"
2335   data:
2336     "plot-vpp-throughput-latency"
2337   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2338   parameters:
2339   - "latency"
2340   - "parent"
2341   traces:
2342     boxmean: False
2343   layout:
2344     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2345     layout:
2346       "plot-latency"
2347
2348 -
2349   type: "plot"
2350   title: "VPP Latency 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2351   algorithm: "plot_latency_box"
2352   output-file-type: ".html"
2353   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc-lat50"
2354   data:
2355     "plot-vpp-throughput-latency"
2356   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2357   parameters:
2358   - "latency"
2359   - "parent"
2360   traces:
2361     boxmean: False
2362   layout:
2363     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2364     layout:
2365       "plot-latency"
2366
2367 # VPP IP4_overlay
2368 -
2369   type: "plot"
2370   title: "VPP Latency 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2371   algorithm: "plot_latency_box"
2372   output-file-type: ".html"
2373   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc-lat50"
2374   data:
2375     "plot-vpp-throughput-latency"
2376   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2377   parameters:
2378   - "latency"
2379   - "parent"
2380   traces:
2381     boxmean: False
2382   layout:
2383     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2384     layout:
2385       "plot-latency"
2386
2387 -
2388   type: "plot"
2389   title: "VPP Latency 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2390   algorithm: "plot_latency_box"
2391   output-file-type: ".html"
2392   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc-lat50"
2393   data:
2394     "plot-vpp-throughput-latency"
2395   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2396   parameters:
2397   - "latency"
2398   - "parent"
2399   traces:
2400     boxmean: False
2401   layout:
2402     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2403     layout:
2404       "plot-latency"
2405
2406 # VPP IP6_overlay
2407 -
2408   type: "plot"
2409   title: "VPP Latency 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2410   algorithm: "plot_latency_box"
2411   output-file-type: ".html"
2412   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc-lat50"
2413   data:
2414     "plot-vpp-throughput-latency"
2415   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2416   parameters:
2417   - "latency"
2418   - "parent"
2419   traces:
2420     boxmean: False
2421   layout:
2422     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2423     layout:
2424       "plot-latency"
2425
2426 -
2427   type: "plot"
2428   title: "VPP Latency 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2429   algorithm: "plot_latency_box"
2430   output-file-type: ".html"
2431   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc-lat50"
2432   data:
2433     "plot-vpp-throughput-latency"
2434   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2435   parameters:
2436   - "latency"
2437   - "parent"
2438   traces:
2439     boxmean: False
2440   layout:
2441     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2442     layout:
2443       "plot-latency"
2444
2445 # VPP VM VHOST
2446 -
2447   type: "plot"
2448   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
2449   algorithm: "plot_latency_box"
2450   output-file-type: ".html"
2451   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc-lat50"
2452   data:
2453     "plot-vpp-throughput-latency"
2454   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2455   parameters:
2456   - "latency"
2457   - "parent"
2458   traces:
2459     boxmean: False
2460   layout:
2461     title: "64B-1t1c-.*vhost.*-ndrdisc"
2462     layout:
2463       "plot-latency"
2464
2465 -
2466   type: "plot"
2467   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
2468   algorithm: "plot_latency_box"
2469   output-file-type: ".html"
2470   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc-lat50"
2471   data:
2472     "plot-vpp-throughput-latency"
2473   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2474   parameters:
2475   - "latency"
2476   - "parent"
2477   traces:
2478     boxmean: False
2479   layout:
2480     title: "64B-2t2c-.*vhost.*-ndrdisc"
2481     layout:
2482       "plot-latency"
2483
2484 # VPP VM VHOST selection
2485 -
2486   type: "plot"
2487   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
2488   algorithm: "plot_latency_box"
2489   output-file-type: ".html"
2490   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc-lat50"
2491   data:
2492     "plot-vpp-throughput-latency"
2493   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2494   parameters:
2495   - "latency"
2496   - "parent"
2497   traces:
2498     boxmean: False
2499   layout:
2500     title: "64B-1t1c-.*vhost.*-ndrdisc"
2501     layout:
2502       "plot-latency"
2503
2504 -
2505   type: "plot"
2506   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
2507   algorithm: "plot_latency_box"
2508   output-file-type: ".html"
2509   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc-lat50"
2510   data:
2511     "plot-vpp-throughput-latency"
2512   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2513   parameters:
2514   - "latency"
2515   - "parent"
2516   traces:
2517     boxmean: False
2518   layout:
2519     title: "64B-2t2c-.*vhost.*-ndrdisc"
2520     layout:
2521       "plot-latency"
2522
2523 # VPP CRYPTO
2524 -
2525   type: "plot"
2526   title: "VPP Latency 64B-1t1c-.*ipsec.*-ndrdisc"
2527   algorithm: "plot_latency_box"
2528   output-file-type: ".html"
2529   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc-lat50"
2530   data:
2531     "plot-vpp-throughput-latency"
2532   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2533   parameters:
2534   - "latency"
2535   - "parent"
2536   traces:
2537     boxmean: False
2538   layout:
2539     title: "64B-1t1c-.*ipsec.*-ndrdisc"
2540     layout:
2541       "plot-latency"
2542
2543 -
2544   type: "plot"
2545   title: "VPP Latency 64B-2t2c-.*ipsec.*-ndrdisc"
2546   algorithm: "plot_latency_box"
2547   output-file-type: ".html"
2548   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc-lat50"
2549   data:
2550     "plot-vpp-throughput-latency"
2551   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2552   parameters:
2553   - "latency"
2554   - "parent"
2555   traces:
2556     boxmean: False
2557   layout:
2558     title: "64B-2t2c-.*ipsec.*-ndrdisc"
2559     layout:
2560       "plot-latency"
2561
2562 # DPDK
2563 -
2564   type: "plot"
2565   title: "DPDK Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2566   algorithm: "plot_latency_box"
2567   output-file-type: ".html"
2568   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc-lat50"
2569   data:
2570     "plot-dpdk-throughput-latency"
2571   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2572   parameters:
2573   - "latency"
2574   - "parent"
2575   traces:
2576     boxmean: False
2577   layout:
2578     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2579     layout:
2580       "plot-latency"
2581
2582 -
2583   type: "plot"
2584   title: "DPDK Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2585   algorithm: "plot_latency_box"
2586   output-file-type: ".html"
2587   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc-lat50"
2588   data:
2589     "plot-dpdk-throughput-latency"
2590   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2591   parameters:
2592   - "latency"
2593   - "parent"
2594   traces:
2595     boxmean: False
2596   layout:
2597     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2598     layout:
2599       "plot-latency"
2600
2601 -
2602   type: "plot"
2603   title: "DPDK Latency 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2604   algorithm: "plot_latency_box"
2605   output-file-type: ".html"
2606   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc-lat50"
2607   data:
2608     "plot-dpdk-throughput-latency"
2609   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
2610   parameters:
2611   - "latency"
2612   - "parent"
2613   traces:
2614     boxmean: False
2615   layout:
2616     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2617     layout:
2618       "plot-latency"
2619
2620 -
2621   type: "plot"
2622   title: "DPDK Latency 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2623   algorithm: "plot_latency_box"
2624   output-file-type: ".html"
2625   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc-lat50"
2626   data:
2627     "plot-dpdk-throughput-latency"
2628   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
2629   parameters:
2630   - "latency"
2631   - "parent"
2632   traces:
2633     boxmean: False
2634   layout:
2635     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2636     layout:
2637       "plot-latency"
2638
2639 # Ligato - Throughput
2640
2641 # Container memif
2642 -
2643   type: "plot"
2644   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2645   algorithm: "plot_performance_box"
2646   output-file-type: ".html"
2647   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc"
2648   data:
2649     "plot-vpp-throughput-latency"
2650   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2651   parameters:
2652   - "throughput"
2653   - "parent"
2654   traces:
2655     hoverinfo: "x+y"
2656     boxpoints: "outliers"
2657     whiskerwidth: 0
2658   layout:
2659     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2660     layout:
2661       "plot-throughput"
2662
2663 -
2664   type: "plot"
2665   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2666   algorithm: "plot_performance_box"
2667   output-file-type: ".html"
2668   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc"
2669   data:
2670     "plot-vpp-throughput-latency"
2671   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2672   parameters:
2673   - "throughput"
2674   - "parent"
2675   traces:
2676     hoverinfo: "x+y"
2677     boxpoints: "outliers"
2678     whiskerwidth: 0
2679   layout:
2680     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2681     layout:
2682       "plot-throughput"
2683
2684 -
2685   type: "plot"
2686   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
2687   algorithm: "plot_performance_box"
2688   output-file-type: ".html"
2689   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-pdrdisc"
2690   data:
2691     "plot-vpp-throughput-latency"
2692   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2693   parameters:
2694   - "throughput"
2695   - "parent"
2696   traces:
2697     hoverinfo: "x+y"
2698     boxpoints: "outliers"
2699     whiskerwidth: 0
2700   layout:
2701     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
2702     layout:
2703       "plot-throughput"
2704
2705 -
2706   type: "plot"
2707   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
2708   algorithm: "plot_performance_box"
2709   output-file-type: ".html"
2710   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-pdrdisc"
2711   data:
2712     "plot-vpp-throughput-latency"
2713   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2714   parameters:
2715   - "throughput"
2716   - "parent"
2717   traces:
2718     hoverinfo: "x+y"
2719     boxpoints: "outliers"
2720     whiskerwidth: 0
2721   layout:
2722     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
2723     layout:
2724       "plot-throughput"
2725
2726 # Container orchestrated
2727 -
2728   type: "plot"
2729   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2730   algorithm: "plot_performance_box"
2731   output-file-type: ".html"
2732   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc"
2733   data:
2734     "plot-ligato-throughput-latency"
2735   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2736   parameters:
2737   - "throughput"
2738   - "parent"
2739   traces:
2740     hoverinfo: "x+y"
2741     boxpoints: "outliers"
2742     whiskerwidth: 0
2743   layout:
2744     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2745     layout:
2746       "plot-throughput"
2747
2748 -
2749   type: "plot"
2750   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2751   algorithm: "plot_performance_box"
2752   output-file-type: ".html"
2753   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc"
2754   data:
2755     "plot-ligato-throughput-latency"
2756   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2757   parameters:
2758   - "throughput"
2759   - "parent"
2760   traces:
2761     hoverinfo: "x+y"
2762     boxpoints: "outliers"
2763     whiskerwidth: 0
2764   layout:
2765     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2766     layout:
2767       "plot-throughput"
2768
2769 -
2770   type: "plot"
2771   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
2772   algorithm: "plot_performance_box"
2773   output-file-type: ".html"
2774   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-pdrdisc"
2775   data:
2776     "plot-ligato-throughput-latency"
2777   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2778   parameters:
2779   - "throughput"
2780   - "parent"
2781   traces:
2782     hoverinfo: "x+y"
2783     boxpoints: "outliers"
2784     whiskerwidth: 0
2785   layout:
2786     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
2787     layout:
2788       "plot-throughput"
2789
2790 -
2791   type: "plot"
2792   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
2793   algorithm: "plot_performance_box"
2794   output-file-type: ".html"
2795   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-pdrdisc"
2796   data:
2797     "plot-ligato-throughput-latency"
2798   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2799   parameters:
2800   - "throughput"
2801   - "parent"
2802   traces:
2803     hoverinfo: "x+y"
2804     boxpoints: "outliers"
2805     whiskerwidth: 0
2806   layout:
2807     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
2808     layout:
2809       "plot-throughput"
2810
2811 # Ligato - Latency
2812
2813 # Container memif
2814 -
2815   type: "plot"
2816   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2817   algorithm: "plot_latency_box"
2818   output-file-type: ".html"
2819   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc-lat50"
2820   data:
2821     "plot-vpp-throughput-latency"
2822   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2823   parameters:
2824   - "latency"
2825   - "parent"
2826   traces:
2827     boxmean: False
2828   layout:
2829     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2830     layout:
2831       "plot-latency"
2832
2833 -
2834   type: "plot"
2835   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2836   algorithm: "plot_latency_box"
2837   output-file-type: ".html"
2838   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc-lat50"
2839   data:
2840     "plot-vpp-throughput-latency"
2841   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2842   parameters:
2843   - "latency"
2844   - "parent"
2845   traces:
2846     boxmean: False
2847   layout:
2848     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2849     layout:
2850       "plot-latency"
2851
2852 # Container orchestrated
2853 -
2854   type: "plot"
2855   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2856   algorithm: "plot_latency_box"
2857   output-file-type: ".html"
2858   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc-lat50"
2859   data:
2860     "plot-ligato-throughput-latency"
2861   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2862   parameters:
2863   - "latency"
2864   - "parent"
2865   traces:
2866     boxmean: False
2867   layout:
2868     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2869     layout:
2870       "plot-latency"
2871
2872 -
2873   type: "plot"
2874   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2875   algorithm: "plot_latency_box"
2876   output-file-type: ".html"
2877   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc-lat50"
2878   data:
2879     "plot-ligato-throughput-latency"
2880   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2881   parameters:
2882   - "latency"
2883   - "parent"
2884   traces:
2885     boxmean: False
2886   layout:
2887     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2888     layout:
2889       "plot-latency"