resources/tools/presentation/specification.yaml

   1 -
   2   type: "environment"
   3   configuration:
   4     # Debug mode:
   5     # - Skip:
   6     #   - Download of input data files
   7     # - Do:
   8     #   - Read data from given zip / xml files
   9     #   - Set the configuration as it is done in normal mode
  10     # If the section "type: debug" is missing, CFG[DEBUG] is set to 0.
  11     CFG[DEBUG]: 0
  12
  13   paths:
  14     # Top level directories:
  15     ## Working directory
  16     DIR[WORKING]: "_tmp"
  17     ## Build directories
  18     DIR[BUILD,HTML]: "_build"
  19     DIR[BUILD,LATEX]: "_build_latex"
  20
  21     # Static .rst files
  22     DIR[RST]: "../../../docs/report"
  23
  24     # Working directories
  25     ## Input data files (.zip, .xml)
  26     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
  27     ## Static source files from git
  28     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
  29     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
  30
  31     # Static html content
  32     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
  33     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
  34     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
  35     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
  36
  37     # Detailed test results
  38     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
  39     DIR[DTR,PERF,DPDK]: "{DIR[DTR]}/dpdk_performance_results"
  40     DIR[DTR,PERF,VPP]: "{DIR[DTR]}/vpp_performance_results"
  41     DIR[DTR,MRR,VPP]: "{DIR[DTR]}/vpp_mrr_results"
  42     DIR[DTR,PERF,COT]: "{DIR[DTR]}/cot_performance_results"
  43     DIR[DTR,PERF,HC]: "{DIR[DTR]}/honeycomb_performance_results"
  44     DIR[DTR,FUNC,VPP]: "{DIR[DTR]}/vpp_functional_results"
  45     DIR[DTR,FUNC,VPP,CENTOS]: "{DIR[DTR]}/vpp_functional_results_centos"
  46     DIR[DTR,FUNC,HC]: "{DIR[DTR]}/honeycomb_functional_results"
  47     DIR[DTR,FUNC,NSHSFC]: "{DIR[DTR]}/nshsfc_functional_results"
  48     DIR[DTR,PERF,VPP,IMPRV]: "{DIR[WORKING,SRC]}/vpp_performance_tests/performance_improvements"
  49
  50     # Detailed test configurations
  51     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
  52     DIR[DTC,PERF,VPP]: "{DIR[DTC]}/vpp_performance_configuration"
  53     DIR[DTC,MRR,VPP]: "{DIR[DTC]}/vpp_mrr_configuration"
  54     DIR[DTC,FUNC,VPP]: "{DIR[DTC]}/vpp_functional_configuration"
  55     DIR[DTC,FUNC,VPP,CENTOS]: "{DIR[DTC]}/vpp_functional_configuration_centos"
  56
  57     # Detailed tests operational data
  58     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
  59     DIR[DTO,PERF,VPP]: "{DIR[DTO]}/vpp_performance_operational_data"
  60
  61     # .css patch file to fix tables generated by Sphinx
  62     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
  63     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
  64
  65   urls:
  66     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
  67     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
  68     URL[NEXUS]: "https://docs.fd.io/csit"
  69     DIR[NEXUS]: "report/_static/archive"
  70
  71   make-dirs:
  72   # List the directories which are created while preparing the environment.
  73   # All directories MUST be defined in "paths" section.
  74   - "DIR[WORKING,DATA]"
  75   - "DIR[STATIC,VPP]"
  76   - "DIR[STATIC,DPDK]"
  77   - "DIR[STATIC,ARCH]"
  78   - "DIR[BUILD,LATEX]"
  79   - "DIR[WORKING,SRC]"
  80   - "DIR[WORKING,SRC,STATIC]"
  81
  82   remove-dirs:
  83   # List the directories which are deleted while cleaning the environment.
  84   # All directories MUST be defined in "paths" section.
  85   #- "DIR[BUILD,HTML]"
  86   - "DIR[WORKING,DATA]"
  87
  88   build-dirs:
  89   # List the directories where the results (build) is stored.
  90   # All directories MUST be defined in "paths" section.
  91   - "DIR[BUILD,HTML]"
  92   - "DIR[BUILD,LATEX]"
  93
  94 -
  95   type: "configuration"
  96   data-sets:
  97     plot-vpp-http-server-performance:
  98 # TODO: Add the data sources
  99       csit-vpp-perf-1804-all:
 100       - 39  # wrk
 101       - 40  # wrk
 102       - 41  # wrk
 103       - 42  # wrk
 104       - 43  # wrk
 105       - 44  # wrk
 106       - 45  # wrk
 107       - 46  # wrk
 108       - 47  # wrk
 109       - 48  # wrk
 110 # TODO: Add the data sources
 111 #    vpp-meltdown-impact:
 112 #      csit-vpp-perf-1707-all:
 113 #      - 9
 114 #      - 10
 115 #      - 13
 116 #      csit-vpp-perf-1710-all:
 117 #      - 11l
 118 #      - 12
 119 #      - 13
 120 # TODO: Add the data sources
 121 #    vpp-spectre-impact:
 122 #      csit-vpp-perf-1707-all:
 123 #      - 9
 124 #      - 10
 125 #      - 13
 126 #      csit-vpp-perf-1710-all:
 127 #      - 11
 128 #      - 12
 129 #      - 13
 130     vpp-performance-changes:
 131       csit-vpp-perf-1710-all:
 132       - 11
 133       - 12
 134       - 13
 135       - 14
 136       - 15
 137       - 16
 138       - 17
 139       - 18
 140       - 19
 141       - 20
 142       csit-vpp-perf-1801-all:
 143       - 124  # sel
 144       - 127  # sel
 145       - 128  # sel
 146       - 141  # sel
 147       - 142  # sel
 148       - 143  # sel
 149       - 145  # sel
 150       - 146  # sel
 151       - 162  # sel
 152       - 163  # sel
 153       - 167  # sel
 154       - 172  # sel acl only
 155       csit-vpp-perf-1804-all:
 156       - 21  # sel
 157       - 22  # sel
 158       - 23  # sel
 159       - 24  # sel
 160       - 27  # sel
 161       - 28  # sel
 162       - 29  # sel
 163       - 30  # sel
 164       - 31  # sel
 165       - 35  # sel
 166     vpp-performance-changes-mrr:
 167       csit-vpp-perf-check-1801:
 168       - 3
 169       - 4
 170       - 5
 171       - 6
 172       - 7
 173       - 8
 174       - 9
 175       - 11
 176       - 12
 177       - 13
 178       csit-vpp-perf-check-1804:
 179       - 6   # mrr - sel
 180       - 7   # mrr - sel
 181       - 8   # mrr - sel
 182       - 9   # mrr - sel
 183       - 10  # mrr - sel
 184       - 11  # mrr - sel
 185       - 12  # mrr - sel
 186       - 13  # mrr - sel
 187       - 14  # mrr - sel
 188       - 15  # mrr - sel
 189     plot-throughput-speedup-analysis:
 190       csit-vpp-perf-1804-all:
 191       - 19  # full
 192       - 20  # full
 193       - 25  # full
 194       - 26  # full
 195       - 21  # sel
 196       - 22  # sel
 197       - 23  # sel
 198       - 24  # sel
 199       - 27  # sel
 200       - 28  # sel
 201       - 29  # sel
 202       - 30  # sel
 203       - 31  # sel
 204       - 35  # sel
 205     plot-ligato-throughput-speedup-analysis:
 206       csit-ligato-perf-1804-all:
 207       - 5   # sel
 208       - 6   # sel
 209       - 7   # sel
 210       - 8   # sel
 211       - 9   # sel
 212       - 10  # sel
 213       - 11  # sel
 214       - 12  # sel
 215       - 13  # sel
 216       - 14  # sel
 217 #    performance-improvements:
 218 #      csit-vpp-perf-1707-all:
 219 #      - 9
 220 #      - 10
 221 #      - 13
 222 #      - 14
 223 #      - 15
 224 #      - 16
 225 #      - 17
 226 #      - 18
 227 #      - 19
 228 #      - 21
 229 #      csit-vpp-perf-1710-all:
 230 #      - 11
 231 #      - 12
 232 #      - 13
 233 #      - 14
 234 #      - 15
 235 #      - 16
 236 #      - 17
 237 #      - 18
 238 #      - 19
 239 #      - 20
 240 #      csit-vpp-perf-1801-all:
 241 #      - 124
 242 #      - 127
 243 #      - 128
 244 #      csit-ligato-perf-1710-all:
 245 #      - 5
 246 #      - 7
 247 #      - 8
 248 #      - 9
 249 #      - 10
 250 #      - 11
 251 #      - 12
 252 #      - 13
 253 #      - 16
 254 #      - 17
 255 #      csit-ligato-perf-1801-all:
 256 #      - 16  # sel
 257 #      - 17  # sel
 258 #      - 18  # sel
 259 #      - 19  # sel
 260 #      - 20  # sel
 261 #      - 21  # sel
 262 #      - 22  # sel
 263 #      - 23  # sel
 264 #      - 24  # sel
 265     vpp-perf-results:
 266       csit-vpp-perf-1804-all:
 267       - 19  # full
 268       - 20  # full
 269       - 25  # full
 270       - 26  # full
 271     vpp-func-results:
 272       csit-vpp-functional-1804-ubuntu1604-virl:
 273       - 199
 274     vpp-func-results-centos:
 275       csit-vpp-functional-1804-centos7-virl:
 276       - 207
 277     vpp-mrr-results:
 278       csit-vpp-perf-check-1804:
 279       - 5   # mrr - full
 280     ligato-perf-results:
 281       csit-ligato-perf-1804-all:
 282       - 4  # full
 283     dpdk-perf-results:
 284       csit-dpdk-perf-1804-all:
 285       - 13
 286     hc-func-results:
 287       csit-hc2vpp-verify-func-1804-ubuntu1604:
 288       - 3
 289     nsh-func-results:
 290       csit-nsh_sfc-verify-func-1804-ubuntu1604-virl:
 291       - 7
 292     plot-vpp-throughput-latency:
 293       csit-vpp-perf-1804-all:
 294       - 19  # full
 295       - 20  # full
 296       - 25  # full
 297       - 26  # full
 298       - 21  # sel
 299       - 22  # sel
 300       - 23  # sel
 301       - 24  # sel
 302       - 27  # sel
 303       - 28  # sel
 304       - 29  # sel
 305       - 30  # sel
 306       - 31  # sel
 307       - 35  # sel
 308     plot-dpdk-throughput-latency:
 309       csit-dpdk-perf-1804-all:
 310       - 4
 311       - 5
 312       - 6
 313       - 7
 314       - 8
 315       - 9
 316       - 10
 317       - 11
 318       - 12
 319       - 13
 320     plot-ligato-throughput-latency:
 321       csit-ligato-perf-1804-all:
 322       - 5   # sel
 323       - 6   # sel
 324       - 7   # sel
 325       - 8   # sel
 326       - 9   # sel
 327       - 10  # sel
 328       - 11  # sel
 329       - 12  # sel
 330       - 13  # sel
 331       - 14  # sel
 332
 333   plot-layouts:
 334
 335     plot-cps:
 336       xaxis:
 337         autorange: True
 338         autotick: False
 339         fixedrange: False
 340         gridcolor: "rgb(238, 238, 238)"
 341         linecolor: "rgb(238, 238, 238)"
 342         linewidth: 1
 343         showgrid: True
 344         showline: True
 345         showticklabels: True
 346         tickcolor: "rgb(238, 238, 238)"
 347         tickmode: "linear"
 348         title: "Indexed Test Cases"
 349         zeroline: False
 350       yaxis:
 351         gridcolor: "rgb(238, 238, 238)'"
 352         hoverformat: ".4s"
 353         linecolor: "rgb(238, 238, 238)"
 354         linewidth: 1
 355         range: []
 356         rangemode: "tozero"
 357         showgrid: True
 358         showline: True
 359         showticklabels: True
 360         tickcolor: "rgb(238, 238, 238)"
 361         title: "Connections Per Second [cps]"
 362         zeroline: False
 363       boxmode: "group"
 364       boxgroupgap: 0.5
 365       autosize: False
 366       margin:
 367         t: 50
 368         b: 20
 369         l: 50
 370         r: 20
 371       showlegend: True
 372       legend:
 373         orientation: "h"
 374       width: 700
 375       height: 1000
 376
 377     plot-rps:
 378       xaxis:
 379         autorange: True
 380         autotick: False
 381         fixedrange: False
 382         gridcolor: "rgb(238, 238, 238)"
 383         linecolor: "rgb(238, 238, 238)"
 384         linewidth: 1
 385         showgrid: True
 386         showline: True
 387         showticklabels: True
 388         tickcolor: "rgb(238, 238, 238)"
 389         tickmode: "linear"
 390         title: "Indexed Test Cases"
 391         zeroline: False
 392       yaxis:
 393         gridcolor: "rgb(238, 238, 238)'"
 394         hoverformat: ".4s"
 395         linecolor: "rgb(238, 238, 238)"
 396         linewidth: 1
 397         range: []
 398         rangemode: "tozero"
 399         showgrid: True
 400         showline: True
 401         showticklabels: True
 402         tickcolor: "rgb(238, 238, 238)"
 403         title: "Requests Per Second [rps]"
 404         zeroline: False
 405       boxmode: "group"
 406       boxgroupgap: 0.5
 407       autosize: False
 408       margin:
 409         t: 50
 410         b: 20
 411         l: 50
 412         r: 20
 413       showlegend: True
 414       legend:
 415         orientation: "h"
 416       width: 700
 417       height: 1000
 418
 419     plot-throughput:
 420       xaxis:
 421         autorange: True
 422         autotick: False
 423         fixedrange: False
 424         gridcolor: "rgb(238, 238, 238)"
 425         linecolor: "rgb(238, 238, 238)"
 426         linewidth: 1
 427         showgrid: True
 428         showline: True
 429         showticklabels: True
 430         tickcolor: "rgb(238, 238, 238)"
 431         tickmode: "linear"
 432         title: "Indexed Test Cases"
 433         zeroline: False
 434       yaxis:
 435         gridcolor: "rgb(238, 238, 238)'"
 436         hoverformat: ".4s"
 437         linecolor: "rgb(238, 238, 238)"
 438         linewidth: 1
 439         range: []
 440         showgrid: True
 441         showline: True
 442         showticklabels: True
 443         tickcolor: "rgb(238, 238, 238)"
 444         title: "Packets Per Second [pps]"
 445         zeroline: False
 446       boxmode: "group"
 447       boxgroupgap: 0.5
 448       autosize: False
 449       margin:
 450         t: 50
 451         b: 20
 452         l: 50
 453         r: 20
 454       showlegend: True
 455       legend:
 456         orientation: "h"
 457       width: 700
 458       height: 1000
 459
 460     plot-latency:
 461       xaxis:
 462         autorange: True
 463         autotick: False
 464         fixedrange: False
 465         gridcolor: "rgb(238, 238, 238)"
 466         linecolor: "rgb(238, 238, 238)"
 467         linewidth: 1
 468         showgrid: True
 469         showline: True
 470         showticklabels: True
 471         tickcolor: "rgb(238, 238, 238)"
 472         tickmode: "linear"
 473         title: "Indexed Test Cases"
 474         zeroline: False
 475       yaxis:
 476         gridcolor: "rgb(238, 238, 238)'"
 477         hoverformat: ""
 478         linecolor: "rgb(238, 238, 238)"
 479         linewidth: 1
 480         range: []
 481         showgrid: True
 482         showline: True
 483         showticklabels: True
 484         tickcolor: "rgb(238, 238, 238)"
 485         title: "Latency min/avg/max [uSec]"
 486         zeroline: False
 487       boxmode: "group"
 488       boxgroupgap: 0.5
 489       autosize: False
 490       margin:
 491         t: 50
 492         b: 20
 493         l: 50
 494         r: 20
 495       showlegend: True
 496       legend:
 497         orientation: "h"
 498       width: 700
 499       height: 1000
 500
 501     plot-throughput-speedup-analysis:
 502       xaxis:
 503         autorange: True
 504         autotick: False
 505         fixedrange: False
 506         gridcolor: "rgb(238, 238, 238)"
 507         linecolor: "rgb(238, 238, 238)"
 508         linewidth: 1
 509         showgrid: True
 510         showline: True
 511         showticklabels: True
 512         tickcolor: "rgb(238, 238, 238)"
 513         tickmode: "linear"
 514         tickangle: 270
 515         zeroline: False
 516       yaxis:
 517         title: "Throughput speedup factor"
 518         gridcolor: "rgb(238, 238, 238)"
 519         hoverformat: ".4s"
 520         linecolor: "rgb(238, 238, 238)"
 521         linewidth: 1
 522         range: []
 523         showgrid: True
 524         showline: True
 525         showticklabels: True
 526         tickcolor: "rgb(238, 238, 238)"
 527         zeroline: False
 528       legend:
 529         orientation: "h"
 530         xanchor: "center"
 531         yanchor: "top"
 532         x: 0.5
 533         y: 1
 534         bgcolor: "rgba(255, 255, 255, 0)"
 535         bordercolor: "rgba(255, 255, 255, 0)"
 536       barmode: "group"
 537       bargap: 0.15
 538       bargroupgap: 0.1
 539       autosize: False
 540       margin:
 541           't': 50
 542           'b': 300
 543           'l': 50
 544           'r': 20
 545       showlegend: True
 546       width: 700
 547       height: 1000
 548
 549 -
 550   type: "debug"
 551   general:
 552     input-format: "xml"  # zip or xml
 553     extract: "robot-plugin/output.xml"  # Only for zip
 554   builds:
 555     # The files must be in the directory DIR[WORKING,DATA]
 556     csit-vpp-perf-1801-all:
 557     -
 558       build: 1
 559       file: "{DIR[WORKING,DATA]}/output.xml"
 560     -
 561       build: 2
 562       file: "{DIR[WORKING,DATA]}/output.xml"
 563     -
 564       build: 3
 565       file: "{DIR[WORKING,DATA]}/output.xml"
 566     -
 567       build: 4
 568       file: "{DIR[WORKING,DATA]}/output.xml"
 569
 570 -
 571   type: "static"
 572   src-path: "{DIR[RST]}"
 573   dst-path: "{DIR[WORKING,SRC]}"
 574
 575 -
 576   type: "input"  # Ignored in debug mode
 577   general:
 578     file-name: "robot-plugin.zip"
 579     file-format: ".zip"
 580     download-path: "{job}/{build}/robot/report/*zip*/{filename}"
 581     extract: "robot-plugin/output.xml"
 582   builds:
 583 #    csit-vpp-perf-1707-all:
 584 #    - 9
 585 #    - 10
 586 #    - 13
 587 #    - 14
 588 #    - 15
 589 #    - 16
 590 #    - 17
 591 #    - 18
 592 #    - 19
 593 #    - 21
 594     csit-vpp-perf-1710-all:
 595     - 11
 596     - 12
 597     - 13
 598     - 14
 599     - 15
 600     - 16
 601     - 17
 602     - 18
 603     - 19
 604     - 20
 605     csit-vpp-perf-1801-all:
 606 #    - 122  # full
 607 #    - 126  # full
 608 #    - 129  # full
 609 #    - 140  # full
 610     - 124  # sel
 611     - 127  # sel
 612     - 128  # sel
 613     - 141  # sel
 614     - 142  # sel
 615     - 143  # sel
 616     - 145  # sel
 617     - 146  # sel
 618     - 162  # sel
 619     - 163  # sel
 620     - 167  # sel
 621     - 172  # sel acl only
 622     csit-vpp-perf-1804-all:
 623     - 19  # full
 624     - 20  # full
 625     - 25  # full
 626     - 26  # full
 627     - 21  # sel
 628     - 22  # sel
 629     - 23  # sel
 630     - 24  # sel
 631     - 27  # sel
 632     - 28  # sel
 633     - 29  # sel
 634     - 30  # sel
 635     - 31  # sel
 636     - 35  # sel
 637     - 39  # wrk
 638     - 40  # wrk
 639     - 41  # wrk
 640     - 42  # wrk
 641     - 43  # wrk
 642     - 44  # wrk
 643     - 45  # wrk
 644     - 46  # wrk
 645     - 47  # wrk
 646     - 48  # wrk
 647     csit-vpp-perf-check-1801:
 648     - 3   # mrr
 649     - 4   # mrr
 650     - 5   # mrr
 651     - 6   # mrr
 652     - 7   # mrr
 653     - 8   # mrr
 654     - 9   # mrr
 655     - 11  # mrr
 656     - 12  # mrr
 657     - 13  # mrr
 658     csit-vpp-perf-check-1804:
 659     - 5   # mrr - full
 660     - 6   # mrr - sel
 661     - 7   # mrr - sel
 662     - 8   # mrr - sel
 663     - 9   # mrr - sel
 664     - 10  # mrr - sel
 665     - 11  # mrr - sel
 666     - 12  # mrr - sel
 667     - 13  # mrr - sel
 668     - 14  # mrr - sel
 669     - 15  # mrr - sel
 670 #    csit-ligato-perf-1710-all:
 671 #    - 5
 672 #    - 7
 673 #    - 8
 674 #    - 9
 675 #    - 10
 676 #    - 11
 677 #    - 12
 678 #    - 13
 679 #    - 16
 680 #    - 17
 681 #    csit-ligato-perf-1801-all:
 682 #    - 16  # sel
 683 #    - 17  # sel
 684 #    - 18  # sel
 685 #    - 19  # sel
 686 #    - 20  # sel
 687 #    - 21  # sel
 688 #    - 22  # sel
 689 #    - 23  # sel
 690 #    - 24  # sel
 691 #    - 25  # full
 692     csit-ligato-perf-1804-all:
 693     - 4   # full
 694     - 5   # sel
 695     - 6   # sel
 696     - 7   # sel
 697     - 8   # sel
 698     - 9   # sel
 699     - 10  # sel
 700     - 11  # sel
 701     - 12  # sel
 702     - 13  # sel
 703     - 14  # sel
 704     csit-dpdk-perf-1804-all:
 705     - 4
 706     - 5
 707     - 6
 708     - 7
 709     - 8
 710     - 9
 711     - 10
 712     - 11
 713     - 12
 714     - 13
 715     csit-vpp-functional-1804-ubuntu1604-virl:
 716     - 199
 717     csit-vpp-functional-1804-centos7-virl:
 718     - 207
 719     csit-nsh_sfc-verify-func-1804-ubuntu1604-virl:
 720     - 7
 721     csit-hc2vpp-verify-func-1804-ubuntu1604:
 722     - 3
 723
 724 -
 725   type: "output"
 726   output: "report"
 727   format:
 728     html:
 729     - full
 730     pdf:
 731     - minimal
 732
 733 ################################################################################
 734 ###                               T A B L E S                                ###
 735 ################################################################################
 736
 737 #-
 738 #  type: "table"
 739 #  title: "Performance Impact of Meltdown Patches"
 740 #  algorithm: "table_performance_comparison"
 741 #  output-file-ext: ".csv"
 742 ## TODO: specify dir
 743 #  output-file: "{DIR[STATIC,VPP]}/meltdown-impact"
 744 #  reference:
 745 #    title: "No Meltdown"
 746 ## TODO: specify data sources
 747 #    data:
 748 #      csit-vpp-perf-1707-all:
 749 #      - 9
 750 #      - 10
 751 #      - 13
 752 #  compare:
 753 #    title: "Meltdown Patches Applied"
 754 ## TODO: specify data sources
 755 #    data:
 756 #      csit-vpp-perf-1710-all:
 757 #      - 11
 758 #      - 12
 759 #      - 13
 760 #  data:
 761 #    "vpp-meltdown-impact"
 762 #  filter: "all"
 763 #  parameters:
 764 #  - "name"
 765 #  - "parent"
 766 #  - "throughput"
 767 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
 768 #  # to present all tests.
 769 #  nr-of-tests-shown: 20
 770 #
 771 #-
 772 #  type: "table"
 773 #  title: "Performance Impact of Spectre Patches"
 774 #  algorithm: "table_performance_comparison"
 775 #  output-file-ext: ".csv"
 776 ## TODO: specify dir
 777 #  output-file: "{DIR[STATIC,VPP]}/meltdown-spectre-impact"
 778 #  reference:
 779 #    title: "No Spectre"
 780 ## TODO: specify data sources
 781 #    data:
 782 #      csit-vpp-perf-1707-all:
 783 #      - 9
 784 #      - 10
 785 #      - 13
 786 #  compare:
 787 #    title: "Spectre Patches Applied"
 788 ## TODO: specify data sources
 789 #    data:
 790 #      csit-vpp-perf-1710-all:
 791 #      - 11
 792 #      - 12
 793 #      - 13
 794 #  data:
 795 #    "vpp-spectre-impact"
 796 #  filter: "all"
 797 #  parameters:
 798 #  - "name"
 799 #  - "parent"
 800 #  - "throughput"
 801 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
 802 #  # to present all tests.
 803 #  nr-of-tests-shown: 20
 804
 805 -
 806   type: "table"
 807   title: "VPP Performance Changes"
 808   algorithm: "table_performance_comparison"
 809   output-file-ext: ".csv"
 810   output-file: "{DIR[STATIC,VPP]}/performance-changes"
 811   history:
 812     -
 813       title: "rls1710"
 814       data:
 815         csit-vpp-perf-1710-all:
 816         - 11
 817         - 12
 818         - 13
 819         - 14
 820         - 15
 821         - 16
 822         - 17
 823         - 18
 824         - 19
 825         - 20
 826   reference:
 827     title: "rls1801"
 828     data:
 829       csit-vpp-perf-1801-all:
 830       - 124  # sel
 831       - 127  # sel
 832       - 128  # sel
 833       - 141  # sel
 834       - 142  # sel
 835       - 143  # sel
 836       - 145  # sel
 837       - 146  # sel
 838       - 162  # sel
 839       - 163  # sel
 840       - 167  # sel
 841       - 172  # sel acl only
 842   compare:
 843     title: "rls1804"
 844     data:
 845       csit-vpp-perf-1804-all:
 846       - 21  # sel
 847       - 22  # sel
 848       - 23  # sel
 849       - 24  # sel
 850       - 27  # sel
 851       - 28  # sel
 852       - 29  # sel
 853       - 30  # sel
 854       - 31  # sel
 855       - 35  # sel
 856   data: "vpp-performance-changes"
 857   filter: "all"
 858   parameters:
 859   - "name"
 860   - "parent"
 861   - "throughput"
 862   # Number of the best and the worst tests presented in the table. Use 0 (zero)
 863   # to present all tests.
 864   nr-of-tests-shown: 20
 865   outlier-const: 1.5
 866
 867 -
 868   type: "table"
 869   title: "VPP Performance Changes - MRR"
 870   algorithm: "table_performance_comparison_mrr"
 871   output-file-ext: ".csv"
 872   output-file: "{DIR[STATIC,VPP]}/performance-changes-mrr"
 873   reference:
 874     title: "Release 1801"
 875     data:
 876       csit-vpp-perf-check-1801:
 877       - 3
 878       - 4
 879       - 5
 880       - 6
 881       - 7
 882       - 8
 883       - 9
 884       - 11
 885       - 12
 886       - 13
 887   compare:
 888     title: "Release 1804"
 889     data:
 890       csit-vpp-perf-check-1804:
 891       - 6   # mrr - sel
 892       - 7   # mrr - sel
 893       - 8   # mrr - sel
 894       - 9   # mrr - sel
 895       - 10  # mrr - sel
 896       - 11  # mrr - sel
 897       - 12  # mrr - sel
 898       - 13  # mrr - sel
 899       - 14  # mrr - sel
 900       - 15  # mrr - sel
 901   data: "vpp-performance-changes-mrr"
 902   filter: "all"
 903   parameters:
 904   - "name"
 905   - "parent"
 906   - "result"
 907   # Number of the best and the worst tests presented in the table. Use 0 (zero)
 908   # to present all tests.
 909   nr-of-tests-shown: 20
 910   outlier-const: 1.5
 911
 912 #-
 913 #  type: "table"
 914 #  title: "Performance improvements"
 915 #  algorithm: "table_performance_improvements"
 916 #  template: "{DIR[DTR,PERF,VPP,IMPRV]}/tmpl_performance_improvements.csv"
 917 #  output-file-ext: ".csv"
 918 #  output-file: "{DIR[DTR,PERF,VPP,IMPRV]}/performance_improvements"
 919 #  columns:
 920 #  -
 921 #    title: "Test Name"
 922 #    data: "template 1"
 923 #  -
 924 #    title: "16.09 mean [Mpps]"
 925 #    data: "template 2"
 926 #  -
 927 #    title: "17.01 mean [Mpps]"
 928 #    data: "template 3"
 929 #  -
 930 #    title: "17.04 mean [Mpps]"
 931 #    data: "template 4"
 932 #  -
 933 #    title: "17.07 mean [Mpps]"
 934 #    data: "data csit-vpp-perf-1707-all mean"
 935 #  -
 936 #    title: "17.10 mean [Mpps]"
 937 #    data: "data csit-vpp-perf-1710-all csit-ligato-perf-1710-all mean"
 938 #  -
 939 #    title: "18.01 mean [Mpps]"
 940 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all mean"
 941 #  -
 942 #    title: "18.01 stdev [Mpps]"
 943 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all stdev"
 944 #  -
 945 #    title: "17.10 to 18.01 change [%]"
 946 #    data: "operation relative_change 5 6"
 947 #  rows: "generated"
 948 #  data:
 949 #    "performance-improvements"
 950 #  filter: "template"
 951 #  parameters:
 952 #  - "throughput"
 953
 954 -
 955   type: "table"
 956   title: "Detailed Test Results - VPP Performance Results"
 957   algorithm: "table_merged_details"
 958   output-file-ext: ".csv"
 959   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
 960   columns:
 961   -
 962     title: "Name"
 963     data: "data name"
 964   -
 965     title: "Documentation"
 966     data: "data doc"
 967   -
 968     title: "Status"
 969     data: "data msg"
 970   rows: "generated"
 971   data:
 972     "vpp-perf-results"
 973   filter: "not 'NDRCHK' and not 'PDRCHK'"
 974   parameters:
 975   - "name"
 976   - "parent"
 977   - "doc"
 978   - "msg"
 979
 980 -
 981   type: "table"
 982   title: "Test configuration - VPP Performance Test Configs"
 983   algorithm: "table_merged_details"
 984   output-file-ext: ".csv"
 985   output-file: "{DIR[DTC,PERF,VPP]}/vpp_test_configuration"
 986   columns:
 987   -
 988     title: "Name"
 989     data: "data name"
 990   -
 991     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
 992     data: "data vat-history"
 993   rows: "generated"
 994   data:
 995     "vpp-perf-results"
 996   filter: "not 'NDRCHK' and not 'PDRCHK'"
 997   parameters:
 998   - "parent"
 999   - "name"
1000   - "vat-history"
1001
1002 -
1003   type: "table"
1004   title: "Test Operational Data - VPP Performance Operational Data"
1005   algorithm: "table_merged_details"
1006   output-file-ext: ".csv"
1007   output-file: "{DIR[DTO,PERF,VPP]}/vpp_test_operational"
1008   columns:
1009   -
1010     title: "Name"
1011     data: "data name"
1012   -
1013     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
1014     data: "data show-run"
1015   rows: "generated"
1016   data:
1017     "vpp-perf-results"
1018   filter: "not 'NDRCHK' and not 'PDRCHK'"
1019   parameters:
1020   - "parent"
1021   - "name"
1022   - "show-run"
1023
1024 -
1025   type: "table"
1026   title: "Detailed Test Results - VPP MRR Results"
1027   algorithm: "table_details"
1028   output-file-ext: ".csv"
1029   output-file: "{DIR[DTR,MRR,VPP]}/vpp_mrr_results"
1030   columns:
1031   -
1032     title: "Name"
1033     data: "data name"
1034   -
1035     title: "Documentation"
1036     data: "data doc"
1037   -
1038     title: "Status"
1039     data: "data msg"
1040   rows: "generated"
1041   data:
1042     "vpp-mrr-results"
1043   filter: "'MRR'"
1044   parameters:
1045   - "name"
1046   - "parent"
1047   - "doc"
1048   - "msg"
1049
1050 -
1051   type: "table"
1052   title: "Test configuration - VPP MRR Test Configs"
1053   algorithm: "table_details"
1054   output-file-ext: ".csv"
1055   output-file: "{DIR[DTC,MRR,VPP]}/vpp_mrr_test_configuration"
1056   columns:
1057   -
1058     title: "Name"
1059     data: "data name"
1060   -
1061     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1062     data: "data vat-history"
1063   rows: "generated"
1064   data:
1065     "vpp-mrr-results"
1066   filter: "'MRR'"
1067   parameters:
1068   - "parent"
1069   - "name"
1070   - "vat-history"
1071
1072 -
1073   type: "table"
1074   title: "Detailed Test Results - VPP Functional Results"
1075   algorithm: "table_details"
1076   output-file-ext: ".csv"
1077   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
1078   columns:
1079   -
1080     title: "Name"
1081     data: "data name"
1082   -
1083     title: "Documentation"
1084     data: "data doc"
1085   -
1086     title: "Status"
1087     data: "data status"
1088   rows: "generated"
1089   data:
1090     "vpp-func-results"
1091   filter: "all"
1092   parameters:
1093   - "name"
1094   - "parent"
1095   - "doc"
1096   - "status"
1097
1098 -
1099   type: "table"
1100   title: "Detailed Test Results - VPP Functional Results - CentOS"
1101   algorithm: "table_details"
1102   output-file-ext: ".csv"
1103   output-file: "{DIR[DTR,FUNC,VPP,CENTOS]}/vpp_functional_results_centos"
1104   columns:
1105   -
1106     title: "Name"
1107     data: "data name"
1108   -
1109     title: "Documentation"
1110     data: "data doc"
1111   -
1112     title: "Status"
1113     data: "data status"
1114   rows: "generated"
1115   data:
1116     "vpp-func-results-centos"
1117   filter: "all"
1118   parameters:
1119   - "name"
1120   - "parent"
1121   - "doc"
1122   - "status"
1123
1124 -
1125   type: "table"
1126   title: "Test configuration - VPP Functional Test Configs"
1127   algorithm: "table_details"
1128   output-file-ext: ".csv"
1129   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
1130   columns:
1131   -
1132     title: "Name"
1133     data: "data name"
1134   -
1135     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1136     data: "data vat-history"
1137   rows: "generated"
1138   data:
1139     "vpp-func-results"
1140   filter: "all"
1141   parameters:
1142   - "parent"
1143   - "name"
1144   - "vat-history"
1145
1146 -
1147   type: "table"
1148   title: "Test configuration - VPP Functional Test Configs - CentOS"
1149   algorithm: "table_details"
1150   output-file-ext: ".csv"
1151   output-file: "{DIR[DTC,FUNC,VPP,CENTOS]}/vpp_functional_configuration_centos"
1152   columns:
1153   -
1154     title: "Name"
1155     data: "data name"
1156   -
1157     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1158     data: "data vat-history"
1159   rows: "generated"
1160   data:
1161     "vpp-func-results-centos"
1162   filter: "all"
1163   parameters:
1164   - "parent"
1165   - "name"
1166   - "vat-history"
1167
1168 -
1169   type: "table"
1170   title: "Detailed Test Results - Container Orchestrated Topologies Performance Results"
1171   algorithm: "table_details"
1172   output-file-ext: ".csv"
1173   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
1174   columns:
1175   -
1176     title: "Name"
1177     data: "data name"
1178   -
1179     title: "Documentation"
1180     data: "data doc"
1181   -
1182     title: "Status"
1183     data: "data msg"
1184   rows: "generated"
1185   data:
1186     "ligato-perf-results"
1187   filter: "all"
1188   parameters:
1189   - "name"
1190   - "parent"
1191   - "doc"
1192   - "msg"
1193
1194 -
1195   type: "table"
1196   title: "Detailed Test Results - DPDK Performance Results"
1197   algorithm: "table_details"
1198   output-file-ext: ".csv"
1199   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
1200   columns:
1201   -
1202     title: "Name"
1203     data: "data name"
1204   -
1205     title: "Documentation"
1206     data: "data doc"
1207   -
1208     title: "Status"
1209     data: "data msg"
1210   rows: "generated"
1211   data:
1212     "dpdk-perf-results"
1213   filter: "all"
1214   parameters:
1215   - "name"
1216   - "parent"
1217   - "doc"
1218   - "msg"
1219
1220 -
1221   type: "table"
1222   title: "Detailed Test Results - Honeycomb Functional Results"
1223   algorithm: "table_details"
1224   output-file-ext: ".csv"
1225   output-file: "{DIR[DTR,FUNC,HC]}/hc_functional_results"
1226   columns:
1227   -
1228     title: "Name"
1229     data: "data name"
1230   -
1231     title: "Documentation"
1232     data: "data doc"
1233   -
1234     title: "Status"
1235     data: "data status"
1236   rows: "generated"
1237   data:
1238     "hc-func-results"
1239   filter: "all"
1240   parameters:
1241   - "name"
1242   - "parent"
1243   - "doc"
1244   - "status"
1245
1246 -
1247   type: "table"
1248   title: "Detailed Test Results - NSH SFC Functional Results"
1249   algorithm: "table_details"
1250   output-file-ext: ".csv"
1251   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nsh_sfc_functional_results"
1252   columns:
1253   -
1254     title: "Name"
1255     data: "data name"
1256   -
1257     title: "Documentation"
1258     data: "data doc"
1259   -
1260     title: "Status"
1261     data: "data status"
1262   rows: "generated"
1263   data:
1264     "nsh-func-results"
1265   filter: "all"
1266   parameters:
1267   - "name"
1268   - "parent"
1269   - "doc"
1270   - "status"
1271
1272 ################################################################################
1273 ###                                F I L E S                                 ###
1274 ################################################################################
1275
1276 -
1277   type: "file"
1278   title: "VPP Performance Results"
1279   algorithm: "file_merged_test_results"
1280   output-file-ext: ".rst"
1281   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
1282   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1283   dir-tables: "{DIR[DTR,PERF,VPP]}"
1284   data:
1285     "vpp-perf-results"
1286   filter: "not 'NDRCHK' and not 'PDRCHK'"
1287   parameters:
1288   - "name"
1289   - "doc"
1290   - "level"
1291   - "parent"
1292   data-start-level: 3  # 0, 1, 2, ...
1293   chapters-start-level: 2  # 0, 1, 2, ...
1294
1295 -
1296   type: "file"
1297   title: "VPP Performance Configuration"
1298   algorithm: "file_merged_test_results"
1299   output-file-ext: ".rst"
1300   output-file: "{DIR[DTC,PERF,VPP]}/vpp_performance_configuration"
1301   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1302   dir-tables: "{DIR[DTC,PERF,VPP]}"
1303   data:
1304     "vpp-perf-results"
1305   filter: "not 'NDRCHK' and not 'PDRCHK'"
1306   parameters:
1307   - "name"
1308   - "doc"
1309   - "level"
1310   - "parent"
1311   data-start-level: 3  # 0, 1, 2, ...
1312   chapters-start-level: 2  # 0, 1, 2, ...
1313
1314 -
1315   type: "file"
1316   title: "VPP Performance Operational Data"
1317   algorithm: "file_merged_test_results"
1318   output-file-ext: ".rst"
1319   output-file: "{DIR[DTO,PERF,VPP]}/vpp_performance_operational_data"
1320   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1321   dir-tables: "{DIR[DTO,PERF,VPP]}"
1322   data:
1323     "vpp-perf-results"
1324   filter: "not 'NDRCHK' and not 'PDRCHK'"
1325   parameters:
1326   - "name"
1327   - "doc"
1328   - "level"
1329   - "parent"
1330   data-start-level: 3  # 0, 1, 2, ...
1331   chapters-start-level: 2  # 0, 1, 2, ...
1332
1333 -
1334   type: "file"
1335   title: "VPP MRR Results"
1336   algorithm: "file_test_results"
1337   output-file-ext: ".rst"
1338   output-file: "{DIR[DTR,MRR,VPP]}/vpp_mrr_results"
1339   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1340   dir-tables: "{DIR[DTR,MRR,VPP]}"
1341   data:
1342     "vpp-mrr-results"
1343   filter: "'MRR'"
1344   parameters:
1345   - "name"
1346   - "doc"
1347   - "level"
1348   - "parent"
1349   data-start-level: 2  # 0, 1, 2, ...
1350   chapters-start-level: 2  # 0, 1, 2, ...
1351
1352 -
1353   type: "file"
1354   title: "VPP MRR Configuration"
1355   algorithm: "file_test_results"
1356   output-file-ext: ".rst"
1357   output-file: "{DIR[DTC,MRR,VPP]}/vpp_mrr_configuration"
1358   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1359   dir-tables: "{DIR[DTC,MRR,VPP]}"
1360   data:
1361     "vpp-mrr-results"
1362   filter: "'MRR'"
1363   parameters:
1364   - "name"
1365   - "doc"
1366   - "level"
1367   - "parent"
1368   data-start-level: 2  # 0, 1, 2, ...
1369   chapters-start-level: 2  # 0, 1, 2, ...
1370
1371 -
1372   type: "file"
1373   title: "VPP Functional Results"
1374   algorithm: "file_test_results"
1375   output-file-ext: ".rst"
1376   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
1377   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1378   dir-tables: "{DIR[DTR,FUNC,VPP]}"
1379   data:
1380     "vpp-func-results"
1381   filter: "all"
1382   parameters:
1383   - "name"
1384   - "doc"
1385   - "level"
1386   data-start-level: 3  # 0, 1, 2, ...
1387   chapters-start-level: 2  # 0, 1, 2, ...
1388
1389 -
1390   type: "file"
1391   title: "VPP Functional Results - CentOS"
1392   algorithm: "file_test_results"
1393   output-file-ext: ".rst"
1394   output-file: "{DIR[DTR,FUNC,VPP,CENTOS]}/vpp_functional_results_centos"
1395   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1396   dir-tables: "{DIR[DTR,FUNC,VPP,CENTOS]}"
1397   data:
1398     "vpp-func-results-centos"
1399   filter: "all"
1400   parameters:
1401   - "name"
1402   - "doc"
1403   - "level"
1404   data-start-level: 3  # 0, 1, 2, ...
1405   chapters-start-level: 2  # 0, 1, 2, ...
1406
1407 -
1408   type: "file"
1409   title: "VPP Functional Configuration"
1410   algorithm: "file_test_results"
1411   output-file-ext: ".rst"
1412   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
1413   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1414   dir-tables: "{DIR[DTC,FUNC,VPP]}"
1415   data:
1416     "vpp-func-results"
1417   filter: "all"
1418   parameters:
1419   - "name"
1420   - "doc"
1421   - "level"
1422   data-start-level: 3  # 0, 1, 2, ...
1423   chapters-start-level: 2  # 0, 1, 2, ...
1424
1425 -
1426   type: "file"
1427   title: "VPP Functional Configuration - CentOS"
1428   algorithm: "file_test_results"
1429   output-file-ext: ".rst"
1430   output-file: "{DIR[DTC,FUNC,VPP,CENTOS]}/vpp_functional_configuration_centos"
1431   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1432   dir-tables: "{DIR[DTC,FUNC,VPP,CENTOS]}"
1433   data:
1434     "vpp-func-results-centos"
1435   filter: "all"
1436   parameters:
1437   - "name"
1438   - "doc"
1439   - "level"
1440   data-start-level: 3  # 0, 1, 2, ...
1441   chapters-start-level: 2  # 0, 1, 2, ...
1442
1443 -
1444   type: "file"
1445   title: "Container Orchestrated Performance Results"
1446   algorithm: "file_test_results"
1447   output-file-ext: ".rst"
1448   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
1449   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1450   dir-tables: "{DIR[DTR,PERF,COT]}"
1451   data:
1452     "ligato-perf-results"
1453   filter: "all"
1454   parameters:
1455   - "name"
1456   - "doc"
1457   - "level"
1458   data-start-level: 2  # 0, 1, 2, ...
1459   chapters-start-level: 2  # 0, 1, 2, ...
1460
1461 -
1462   type: "file"
1463   title: "DPDK Performance Results"
1464   algorithm: "file_test_results"
1465   output-file-ext: ".rst"
1466   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
1467   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1468   dir-tables: "{DIR[DTR,PERF,DPDK]}"
1469   data:
1470     "dpdk-perf-results"
1471   filter: "all"
1472   parameters:
1473   - "name"
1474   - "doc"
1475   - "level"
1476   chapters:
1477   - "suites"
1478   data-start-level: 2  # 0, 1, 2, ...
1479   chapters-start-level: 2  # 0, 1, 2, ...
1480
1481 -
1482   type: "file"
1483   title: "Honeycomb Functional Results"
1484   algorithm: "file_test_results"
1485   output-file-ext: ".rst"
1486   output-file: "{DIR[DTR,FUNC,HC]}/honeycomb_functional_results"
1487   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1488   dir-tables: "{DIR[DTR,FUNC,HC]}"
1489   data:
1490     "hc-func-results"
1491   filter: "all"
1492   parameters:
1493   - "name"
1494   - "doc"
1495   - "level"
1496   chapters:
1497   - "suites"
1498   data-start-level: 3  # 0, 1, 2, ...
1499   chapters-start-level: 2  # 0, 1, 2, ...
1500
1501 -
1502   type: "file"
1503   title: "NSH SFC Functional Results"
1504   algorithm: "file_test_results"
1505   output-file-ext: ".rst"
1506   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nshsfc_functional_results"
1507   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1508   dir-tables: "{DIR[DTR,FUNC,NSHSFC]}"
1509   data:
1510     "nsh-func-results"
1511   filter: "all"
1512   parameters:
1513   - "name"
1514   - "doc"
1515   - "level"
1516   chapters:
1517   - "suites"
1518   data-start-level: 2  # 0, 1, 2, ...
1519   chapters-start-level: 2  # 0, 1, 2, ...
1520
1521 ################################################################################
1522 ###                                P L O T S                                 ###
1523 ################################################################################
1524
1525 # Plots VPP HTTP Server Performance
1526 -
1527   type: "plot"
1528   title: "VPP HTTP Server Performance"
1529   algorithm: "plot_http_server_performance_box"
1530   output-file-type: ".html"
1531   output-file: "{DIR[STATIC,VPP]}/http-server-performance-cps"
1532   data:
1533     "plot-vpp-http-server-performance"
1534   # Keep this formatting, the filter is enclosed with " (quotation mark) and
1535   # each tag is enclosed with ' (apostrophe).
1536   filter: "'HTTP' and 'TCP_CPS'"
1537   parameters:
1538   - "result"
1539   - "name"
1540   traces:
1541     hoverinfo: "x+y"
1542     boxpoints: "outliers"
1543     whiskerwidth: 0
1544   layout:
1545     title: "VPP HTTP Server Performance"
1546     layout:
1547       "plot-cps"
1548
1549 -
1550   type: "plot"
1551   title: "VPP HTTP Server Performance"
1552   algorithm: "plot_http_server_performance_box"
1553   output-file-type: ".html"
1554   output-file: "{DIR[STATIC,VPP]}/http-server-performance-rps"
1555   data:
1556     "plot-vpp-http-server-performance"
1557   filter: "'HTTP' and 'TCP_RPS'"
1558   parameters:
1559   - "result"
1560   - "name"
1561   traces:
1562     hoverinfo: "x+y"
1563     boxpoints: "outliers"
1564     whiskerwidth: 0
1565   layout:
1566     title: "VPP HTTP Server Performance"
1567     layout:
1568       "plot-rps"
1569
1570 # Plot Throughput Speedup Analysis
1571
1572 # L2 - 10ge2p1x520 - NDR
1573 -
1574   type: "plot"
1575   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1576   algorithm: "plot_throughput_speedup_analysis"
1577   output-file-type: ".html"
1578   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-ndrdisc"
1579   data:
1580     "plot-throughput-speedup-analysis"
1581   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1582   parameters:
1583   - "throughput"
1584   - "parent"
1585   - "tags"
1586   layout:
1587     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1588     layout:
1589       "plot-throughput-speedup-analysis"
1590
1591 # L2 - 40ge2p1xl710 - NDR
1592 -
1593   type: "plot"
1594   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1595   algorithm: "plot_throughput_speedup_analysis"
1596   output-file-type: ".html"
1597   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-l2-tsa-ndrdisc"
1598   data:
1599     "plot-throughput-speedup-analysis"
1600   filter: "'NIC_Intel-XL710' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1601   parameters:
1602   - "throughput"
1603   - "parent"
1604   - "tags"
1605   layout:
1606     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1607     layout:
1608       "plot-throughput-speedup-analysis"
1609
1610 # L2 - 10ge2p1x520 - PDR
1611 -
1612   type: "plot"
1613   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1614   algorithm: "plot_throughput_speedup_analysis"
1615   output-file-type: ".html"
1616   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-pdrdisc"
1617   data:
1618     "plot-throughput-speedup-analysis"
1619   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1620   parameters:
1621   - "throughput"
1622   - "parent"
1623   - "tags"
1624   layout:
1625     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1626     layout:
1627       "plot-throughput-speedup-analysis"
1628
1629 # IPv4 - 10ge2p1x520 - NDR
1630 -
1631   type: "plot"
1632   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1633   algorithm: "plot_throughput_speedup_analysis"
1634   output-file-type: ".html"
1635   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-ndrdisc"
1636   data:
1637     "plot-throughput-speedup-analysis"
1638   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1639   parameters:
1640   - "throughput"
1641   - "parent"
1642   - "tags"
1643   layout:
1644     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1645     layout:
1646       "plot-throughput-speedup-analysis"
1647
1648 # IPv4 - 40ge2p1xl710 - NDR
1649 -
1650   type: "plot"
1651   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1652   algorithm: "plot_throughput_speedup_analysis"
1653   output-file-type: ".html"
1654   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-ip4-tsa-ndrdisc"
1655   data:
1656     "plot-throughput-speedup-analysis"
1657   filter: "'NIC_Intel-XL710' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1658   parameters:
1659   - "throughput"
1660   - "parent"
1661   - "tags"
1662   layout:
1663     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1664     layout:
1665       "plot-throughput-speedup-analysis"
1666
1667 # IPv4 - 10ge2p1x520 - PDR
1668 -
1669   type: "plot"
1670   title: "TSA: 64B-*-ethip4-ip4(base|scale)*pdrdisc"
1671   algorithm: "plot_throughput_speedup_analysis"
1672   output-file-type: ".html"
1673   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-pdrdisc"
1674   data:
1675     "plot-throughput-speedup-analysis"
1676   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1677   parameters:
1678   - "throughput"
1679   - "parent"
1680   - "tags"
1681   layout:
1682     title: "64B-*-ethip4-ip4(base|scale)*pdrdisc"
1683     layout:
1684       "plot-throughput-speedup-analysis"
1685
1686 # IPv6 - 10ge2p1x520 - NDR
1687 -
1688   type: "plot"
1689   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1690   algorithm: "plot_throughput_speedup_analysis"
1691   output-file-type: ".html"
1692   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-ndrdisc"
1693   data:
1694     "plot-throughput-speedup-analysis"
1695   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1696   parameters:
1697   - "throughput"
1698   - "parent"
1699   - "tags"
1700   layout:
1701     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1702     layout:
1703       "plot-throughput-speedup-analysis"
1704
1705 # IPv6 - 40ge2p1xl710 - NDR
1706 -
1707   type: "plot"
1708   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1709   algorithm: "plot_throughput_speedup_analysis"
1710   output-file-type: ".html"
1711   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-78B-ip6-tsa-ndrdisc"
1712   data:
1713     "plot-throughput-speedup-analysis"
1714   filter: "'NIC_Intel-XL710' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1715   parameters:
1716   - "throughput"
1717   - "parent"
1718   - "tags"
1719   layout:
1720     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1721     layout:
1722       "plot-throughput-speedup-analysis"
1723
1724 # IPv6 - 10ge2p1x520 - PDR
1725 -
1726   type: "plot"
1727   title: "TSA: 78B-*-ethip6-ip6(base|scale)*pdrdisc"
1728   algorithm: "plot_throughput_speedup_analysis"
1729   output-file-type: ".html"
1730   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-pdrdisc"
1731   data:
1732     "plot-throughput-speedup-analysis"
1733   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST'"
1734   parameters:
1735   - "throughput"
1736   - "parent"
1737   - "tags"
1738   layout:
1739     title: "78B-*-ethip6-ip6(base|scale)*pdrdisc"
1740     layout:
1741       "plot-throughput-speedup-analysis"
1742
1743 # IP4_overlay - NDR
1744 -
1745   type: "plot"
1746   title: "TSA: 64B-*-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1747   algorithm: "plot_throughput_speedup_analysis"
1748   output-file-type: ".html"
1749   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ethip4-tsa-ndrdisc"
1750   data:
1751     "plot-throughput-speedup-analysis"
1752   filter: "'NIC_Intel-X520-DA2' and '64B' and 'ENCAP' and 'NDRDISC' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1753   parameters:
1754   - "throughput"
1755   - "parent"
1756   - "tags"
1757   layout:
1758     title: "64B-*-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1759     layout:
1760       "plot-throughput-speedup-analysis"
1761
1762 # IP4_overlay - PDR
1763 -
1764   type: "plot"
1765   title: "TSA: 64B-*-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1766   algorithm: "plot_throughput_speedup_analysis"
1767   output-file-type: ".html"
1768   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ethip4-tsa-pdrdisc"
1769   data:
1770     "plot-throughput-speedup-analysis"
1771   filter: "'NIC_Intel-X520-DA2' and '64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1772   parameters:
1773   - "throughput"
1774   - "parent"
1775   - "tags"
1776   layout:
1777     title: "64B-*-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1778     layout:
1779       "plot-throughput-speedup-analysis"
1780
1781 # IP6_overlay - NDR
1782 -
1783   type: "plot"
1784   title: "TSA: 78B-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1785   algorithm: "plot_throughput_speedup_analysis"
1786   output-file-type: ".html"
1787   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ethip6-tsa-ndrdisc"
1788   data:
1789     "plot-throughput-speedup-analysis"
1790   filter: "'NIC_Intel-X520-DA2' and '78B' and 'ENCAP' and 'NDRDISC' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1791   parameters:
1792   - "throughput"
1793   - "parent"
1794   - "tags"
1795   layout:
1796     title: "78B-*-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1797     layout:
1798       "plot-throughput-speedup-analysis"
1799
1800 # IP6_overlay - PDR
1801 -
1802   type: "plot"
1803   title: "TSA: 78B-*-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1804   algorithm: "plot_throughput_speedup_analysis"
1805   output-file-type: ".html"
1806   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ethip6-tsa-pdrdisc"
1807   data:
1808     "plot-throughput-speedup-analysis"
1809   filter: "'NIC_Intel-X520-DA2' and '78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1810   parameters:
1811   - "throughput"
1812   - "parent"
1813   - "tags"
1814   layout:
1815     title: "78B-*-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1816     layout:
1817       "plot-throughput-speedup-analysis"
1818
1819 # VM VHOST - NDR
1820 -
1821   type: "plot"
1822   title: "TSA: 64B-*-.*vhost.*-ndrdisc"
1823   algorithm: "plot_throughput_speedup_analysis"
1824   output-file-type: ".html"
1825   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-vhost-sel1-tsa-ndrdisc"
1826   data:
1827     "plot-throughput-speedup-analysis"
1828   filter: "'NIC_Intel-X520-DA2' and '64B' and 'NDRDISC' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
1829   parameters:
1830   - "throughput"
1831   - "parent"
1832   - "tags"
1833   layout:
1834     title: "64B-*-.*vhost.*-ndrdisc"
1835     layout:
1836       "plot-throughput-speedup-analysis"
1837
1838 -
1839   type: "plot"
1840   title: "TSA: 64B-*-.*vhost.*-ndrdisc"
1841   algorithm: "plot_throughput_speedup_analysis"
1842   output-file-type: ".html"
1843   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-vhost-sel1-tsa-ndrdisc"
1844   data:
1845     "plot-throughput-speedup-analysis"
1846   filter: "'NIC_Intel-XL710' and '64B' and 'NDRDISC' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
1847   parameters:
1848   - "throughput"
1849   - "parent"
1850   - "tags"
1851   layout:
1852     title: "64B-*-.*vhost.*-ndrdisc"
1853     layout:
1854       "plot-throughput-speedup-analysis"
1855
1856 -
1857   type: "plot"
1858   title: "TSA: 64B-*-.*vhost.*-ndrdisc"
1859   algorithm: "plot_throughput_speedup_analysis"
1860   output-file-type: ".html"
1861   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-vhost-sel2-tsa-ndrdisc"
1862   data:
1863     "plot-throughput-speedup-analysis"
1864   filter: "'NIC_Intel-X520-DA2' and '64B' and 'NDRDISC' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
1865   parameters:
1866   - "throughput"
1867   - "parent"
1868   - "tags"
1869   layout:
1870     title: "64B-*-.*vhost.*-ndrdisc"
1871     layout:
1872       "plot-throughput-speedup-analysis"
1873
1874 -
1875   type: "plot"
1876   title: "TSA: 64B-*-.*vhost.*-ndrdisc"
1877   algorithm: "plot_throughput_speedup_analysis"
1878   output-file-type: ".html"
1879   output-file: "{DIR[STATIC,VPP]}/10ge2p1x710-64B-vhost-sel2-tsa-ndrdisc"
1880   data:
1881     "plot-throughput-speedup-analysis"
1882   filter: "'NIC_Intel-X710' and '64B' and 'NDRDISC' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q'"
1883   parameters:
1884   - "throughput"
1885   - "parent"
1886   - "tags"
1887   layout:
1888     title: "64B-*-.*vhost.*-ndrdisc"
1889     layout:
1890       "plot-throughput-speedup-analysis"
1891
1892 -
1893   type: "plot"
1894   title: "TSA: 64B-*-.*vhost.*-ndrdisc"
1895   algorithm: "plot_throughput_speedup_analysis"
1896   output-file-type: ".html"
1897   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-vhost-sel2-tsa-ndrdisc"
1898   data:
1899     "plot-throughput-speedup-analysis"
1900   filter: "'NIC_Intel-XL710' and '64B' and 'NDRDISC' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
1901   parameters:
1902   - "throughput"
1903   - "parent"
1904   - "tags"
1905   layout:
1906     title: "64B-*-.*vhost.*-ndrdisc"
1907     layout:
1908       "plot-throughput-speedup-analysis"
1909
1910 # VM VHOST - PDR
1911 -
1912   type: "plot"
1913   title: "TSA: 64B-*-.*vhost.*-pdrdisc"
1914   algorithm: "plot_throughput_speedup_analysis"
1915   output-file-type: ".html"
1916   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-vhost-sel1-tsa-pdrdisc"
1917   data:
1918     "plot-throughput-speedup-analysis"
1919   filter: "'NIC_Intel-X520-DA2' and '64B' and 'PDRDISC' and not 'NDRDISC' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
1920   parameters:
1921   - "throughput"
1922   - "parent"
1923   - "tags"
1924   layout:
1925     title: "64B-*-.*vhost.*-pdrdisc"
1926     layout:
1927       "plot-throughput-speedup-analysis"
1928
1929 -
1930   type: "plot"
1931   title: "TSA: 64B-*-.*vhost.*-pdrdisc"
1932   algorithm: "plot_throughput_speedup_analysis"
1933   output-file-type: ".html"
1934   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-vhost-sel1-tsa-pdrdisc"
1935   data:
1936     "plot-throughput-speedup-analysis"
1937   filter: "'NIC_Intel-XL710' and '64B' and 'PDRDISC' and not 'NDRDISC' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
1938   parameters:
1939   - "throughput"
1940   - "parent"
1941   - "tags"
1942   layout:
1943     title: "64B-*-.*vhost.*-pdrdisc"
1944     layout:
1945       "plot-throughput-speedup-analysis"
1946
1947 -
1948   type: "plot"
1949   title: "TSA: 64B-*-.*vhost.*-pdrdisc"
1950   algorithm: "plot_throughput_speedup_analysis"
1951   output-file-type: ".html"
1952   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-vhost-sel2-tsa-pdrdisc"
1953   data:
1954     "plot-throughput-speedup-analysis"
1955   filter: "'NIC_Intel-X520-DA2' and '64B' and 'PDRDISC' and not 'NDRDISC' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
1956   parameters:
1957   - "throughput"
1958   - "parent"
1959   - "tags"
1960   layout:
1961     title: "64B-*-.*vhost.*-pdrdisc"
1962     layout:
1963       "plot-throughput-speedup-analysis"
1964
1965 -
1966   type: "plot"
1967   title: "TSA: 64B-*-.*vhost.*-pdrdisc"
1968   algorithm: "plot_throughput_speedup_analysis"
1969   output-file-type: ".html"
1970   output-file: "{DIR[STATIC,VPP]}/10ge2p1x710-64B-vhost-sel2-tsa-pdrdisc"
1971   data:
1972     "plot-throughput-speedup-analysis"
1973   filter: "'NIC_Intel-X710' and '64B' and 'PDRDISC' and not 'NDRDISC' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q'"
1974   parameters:
1975   - "throughput"
1976   - "parent"
1977   - "tags"
1978   layout:
1979     title: "64B-*-.*vhost.*-pdrdisc"
1980     layout:
1981       "plot-throughput-speedup-analysis"
1982
1983 -
1984   type: "plot"
1985   title: "TSA: 64B-*-.*vhost.*-pdrdisc"
1986   algorithm: "plot_throughput_speedup_analysis"
1987   output-file-type: ".html"
1988   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-vhost-sel2-tsa-pdrdisc"
1989   data:
1990     "plot-throughput-speedup-analysis"
1991   filter: "'NIC_Intel-XL710' and '64B' and 'PDRDISC' and not 'NDRDISC' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
1992   parameters:
1993   - "throughput"
1994   - "parent"
1995   - "tags"
1996   layout:
1997     title: "64B-*-.*vhost.*-pdrdisc"
1998     layout:
1999       "plot-throughput-speedup-analysis"
2000
2001 # CRYPTO - NDR
2002 -
2003   type: "plot"
2004   title: "TSA: 64B-*-.*ipsec.*-ndrdisc"
2005   algorithm: "plot_throughput_speedup_analysis"
2006   output-file-type: ".html"
2007   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-ipsechw-tsa-ndrdisc"
2008   data:
2009     "plot-throughput-speedup-analysis"
2010   filter: "'NIC_Intel-XL710' and '64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2011   parameters:
2012   - "throughput"
2013   - "parent"
2014   - "tags"
2015   layout:
2016     title: "64B-*-.*ipsec.*-ndrdisc"
2017     layout:
2018       "plot-throughput-speedup-analysis"
2019
2020 # CRYPTO - PDR
2021 -
2022   type: "plot"
2023   title: "TSA: 64B-*-.*ipsec.*-pdrdisc"
2024   algorithm: "plot_throughput_speedup_analysis"
2025   output-file-type: ".html"
2026   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-ipsechw-tsa-pdrdisc"
2027   data:
2028     "plot-throughput-speedup-analysis"
2029   filter: "'NIC_Intel-XL710' and '64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2030   parameters:
2031   - "throughput"
2032   - "parent"
2033   - "tags"
2034   layout:
2035     title: "64B-*-.*ipsec.*-pdrdisc"
2036     layout:
2037       "plot-throughput-speedup-analysis"
2038
2039 # Container memif - NDR
2040 -
2041   type: "plot"
2042   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2043   algorithm: "plot_throughput_speedup_analysis"
2044   output-file-type: ".html"
2045   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-container-memif-tsa-ndrdisc"
2046   data:
2047     "plot-throughput-speedup-analysis"
2048   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'NDRDISC' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2049   parameters:
2050   - "throughput"
2051   - "parent"
2052   - "tags"
2053   layout:
2054     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2055     layout:
2056       "plot-throughput-speedup-analysis"
2057
2058 # Container memif - PDR
2059 -
2060   type: "plot"
2061   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
2062   algorithm: "plot_throughput_speedup_analysis"
2063   output-file-type: ".html"
2064   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-container-memif-tsa-pdrdisc"
2065   data:
2066     "plot-throughput-speedup-analysis"
2067   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2068   parameters:
2069   - "throughput"
2070   - "parent"
2071   - "tags"
2072   layout:
2073     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
2074     layout:
2075       "plot-throughput-speedup-analysis"
2076
2077 # Container orchestrated - NDR
2078 -
2079   type: "plot"
2080   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2081   algorithm: "plot_throughput_speedup_analysis"
2082   output-file-type: ".html"
2083   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-container-orchestrated-tsa-ndrdisc"
2084   data:
2085     "plot-ligato-throughput-speedup-analysis"
2086   filter: "'NIC_Intel-X520-DA2' and '64B' and ('BASE' or 'SCALE') and 'NDRDISC' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2087   parameters:
2088   - "throughput"
2089   - "parent"
2090   - "tags"
2091   layout:
2092     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2093     layout:
2094       "plot-throughput-speedup-analysis"
2095
2096 -
2097   type: "plot"
2098   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2099   algorithm: "plot_throughput_speedup_analysis"
2100   output-file-type: ".html"
2101   output-file: "{DIR[STATIC,VPP]}/10ge2p1x710-64B-container-orchestrated-tsa-ndrdisc"
2102   data:
2103     "plot-ligato-throughput-speedup-analysis"
2104   filter: "'NIC_Intel-X710' and '64B' and ('BASE' or 'SCALE') and 'NDRDISC' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2105   parameters:
2106   - "throughput"
2107   - "parent"
2108   - "tags"
2109   layout:
2110     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2111     layout:
2112       "plot-throughput-speedup-analysis"
2113
2114 # Container orchestrated - PDR
2115 -
2116   type: "plot"
2117   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
2118   algorithm: "plot_throughput_speedup_analysis"
2119   output-file-type: ".html"
2120   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-container-orchestrated-tsa-pdrdisc"
2121   data:
2122     "plot-ligato-throughput-speedup-analysis"
2123   filter: "'NIC_Intel-X520-DA2' and '64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2124   parameters:
2125   - "throughput"
2126   - "parent"
2127   - "tags"
2128   layout:
2129     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
2130     layout:
2131       "plot-throughput-speedup-analysis"
2132
2133 -
2134   type: "plot"
2135   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
2136   algorithm: "plot_throughput_speedup_analysis"
2137   output-file-type: ".html"
2138   output-file: "{DIR[STATIC,VPP]}/10ge2p1x710-64B-container-orchestrated-tsa-pdrdisc"
2139   data:
2140     "plot-ligato-throughput-speedup-analysis"
2141   filter: "'NIC_Intel-X710' and '64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2142   parameters:
2143   - "throughput"
2144   - "parent"
2145   - "tags"
2146   layout:
2147     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
2148     layout:
2149       "plot-throughput-speedup-analysis"
2150
2151 # Plot packets per second
2152
2153 # VPP L2 sel1
2154 -
2155   type: "plot"
2156   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2157   algorithm: "plot_performance_box"
2158   output-file-type: ".html"
2159   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc"
2160   data:
2161     "plot-vpp-throughput-latency"
2162   # Keep this formatting, the filter is enclosed with " (quotation mark) and
2163   # each tag is enclosed with ' (apostrophe).
2164   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2165   parameters:
2166   - "throughput"
2167   - "parent"
2168   traces:
2169     hoverinfo: "x+y"
2170     boxpoints: "outliers"
2171     whiskerwidth: 0
2172   layout:
2173     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2174     layout:
2175       "plot-throughput"
2176
2177 -
2178   type: "plot"
2179   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2180   algorithm: "plot_performance_box"
2181   output-file-type: ".html"
2182   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc"
2183   data:
2184     "plot-vpp-throughput-latency"
2185   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2186   parameters:
2187   - "throughput"
2188   - "parent"
2189   traces:
2190     hoverinfo: "x+y"
2191     boxpoints: "outliers"
2192     whiskerwidth: 0
2193   layout:
2194     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2195     layout:
2196       "plot-throughput"
2197
2198 -
2199   type: "plot"
2200   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2201   algorithm: "plot_performance_box"
2202   output-file-type: ".html"
2203   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-pdrdisc"
2204   data:
2205     "plot-vpp-throughput-latency"
2206   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2207   parameters:
2208   - "throughput"
2209   - "parent"
2210   traces:
2211     hoverinfo: "x+y"
2212     boxpoints: "outliers"
2213     whiskerwidth: 0
2214   layout:
2215     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2216     layout:
2217       "plot-throughput"
2218
2219 -
2220   type: "plot"
2221   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2222   algorithm: "plot_performance_box"
2223   output-file-type: ".html"
2224   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-pdrdisc"
2225   data:
2226     "plot-vpp-throughput-latency"
2227   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2228   parameters:
2229   - "throughput"
2230   - "parent"
2231   traces:
2232     hoverinfo: "x+y"
2233     boxpoints: "outliers"
2234     whiskerwidth: 0
2235   layout:
2236     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2237     layout:
2238       "plot-throughput"
2239
2240 # VPP L2 sel2
2241 -
2242   type: "plot"
2243   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2244   algorithm: "plot_performance_box"
2245   output-file-type: ".html"
2246   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc"
2247   data:
2248     "plot-vpp-throughput-latency"
2249   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2250   parameters:
2251   - "throughput"
2252   - "parent"
2253   traces:
2254     hoverinfo: "x+y"
2255     boxpoints: "outliers"
2256     whiskerwidth: 0
2257   layout:
2258     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2259     layout:
2260       "plot-throughput"
2261
2262 -
2263   type: "plot"
2264   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2265   algorithm: "plot_performance_box"
2266   output-file-type: ".html"
2267   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc"
2268   data:
2269     "plot-vpp-throughput-latency"
2270   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2271   parameters:
2272   - "throughput"
2273   - "parent"
2274   traces:
2275     hoverinfo: "x+y"
2276     boxpoints: "outliers"
2277     whiskerwidth: 0
2278   layout:
2279     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2280     layout:
2281       "plot-throughput"
2282
2283 -
2284   type: "plot"
2285   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2286   algorithm: "plot_performance_box"
2287   output-file-type: ".html"
2288   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-pdrdisc"
2289   data:
2290     "plot-vpp-throughput-latency"
2291   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2292   parameters:
2293   - "throughput"
2294   - "parent"
2295   traces:
2296     hoverinfo: "x+y"
2297     boxpoints: "outliers"
2298     whiskerwidth: 0
2299   layout:
2300     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2301     layout:
2302       "plot-throughput"
2303
2304 -
2305   type: "plot"
2306   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2307   algorithm: "plot_performance_box"
2308   output-file-type: ".html"
2309   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-pdrdisc"
2310   data:
2311     "plot-vpp-throughput-latency"
2312   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2313   parameters:
2314   - "throughput"
2315   - "parent"
2316   traces:
2317     hoverinfo: "x+y"
2318     boxpoints: "outliers"
2319     whiskerwidth: 0
2320   layout:
2321     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2322     layout:
2323       "plot-throughput"
2324
2325 # VPP IP4
2326 -
2327   type: "plot"
2328   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2329   algorithm: "plot_performance_box"
2330   output-file-type: ".html"
2331   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc"
2332   data:
2333     "plot-vpp-throughput-latency"
2334   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
2335   parameters:
2336   - "throughput"
2337   - "parent"
2338   traces:
2339     hoverinfo: "x+y"
2340     boxpoints: "outliers"
2341     whiskerwidth: 0
2342   layout:
2343     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2344     layout:
2345       "plot-throughput"
2346
2347 -
2348   type: "plot"
2349   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2350   algorithm: "plot_performance_box"
2351   output-file-type: ".html"
2352   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc"
2353   data:
2354     "plot-vpp-throughput-latency"
2355   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
2356   parameters:
2357   - "throughput"
2358   - "parent"
2359   traces:
2360     hoverinfo: "x+y"
2361     boxpoints: "outliers"
2362     whiskerwidth: 0
2363   layout:
2364     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2365     layout:
2366       "plot-throughput"
2367
2368 -
2369   type: "plot"
2370   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
2371   algorithm: "plot_performance_box"
2372   output-file-type: ".html"
2373   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-pdrdisc"
2374   data:
2375     "plot-vpp-throughput-latency"
2376   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
2377   parameters:
2378   - "throughput"
2379   - "parent"
2380   traces:
2381     hoverinfo: "x+y"
2382     boxpoints: "outliers"
2383     whiskerwidth: 0
2384   layout:
2385     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
2386     layout:
2387       "plot-throughput"
2388
2389 -
2390   type: "plot"
2391   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
2392   algorithm: "plot_performance_box"
2393   output-file-type: ".html"
2394   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-pdrdisc"
2395   data:
2396     "plot-vpp-throughput-latency"
2397   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
2398   parameters:
2399   - "throughput"
2400   - "parent"
2401   traces:
2402     hoverinfo: "x+y"
2403     boxpoints: "outliers"
2404     whiskerwidth: 0
2405   layout:
2406     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
2407     layout:
2408       "plot-throughput"
2409
2410 # VPP IP6
2411 -
2412   type: "plot"
2413   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2414   algorithm: "plot_performance_box"
2415   output-file-type: ".html"
2416   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc"
2417   data:
2418     "plot-vpp-throughput-latency"
2419   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST' and not 'SRv6'"
2420   parameters:
2421   - "throughput"
2422   - "parent"
2423   traces:
2424     hoverinfo: "x+y"
2425     boxpoints: "outliers"
2426     whiskerwidth: 0
2427   layout:
2428     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2429     layout:
2430       "plot-throughput"
2431
2432 -
2433   type: "plot"
2434   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2435   algorithm: "plot_performance_box"
2436   output-file-type: ".html"
2437   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc"
2438   data:
2439     "plot-vpp-throughput-latency"
2440   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST' and not 'SRv6'"
2441   parameters:
2442   - "throughput"
2443   - "parent"
2444   traces:
2445     hoverinfo: "x+y"
2446     boxpoints: "outliers"
2447     whiskerwidth: 0
2448   layout:
2449     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2450     layout:
2451       "plot-throughput"
2452
2453 -
2454   type: "plot"
2455   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
2456   algorithm: "plot_performance_box"
2457   output-file-type: ".html"
2458   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-pdrdisc"
2459   data:
2460     "plot-vpp-throughput-latency"
2461   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST' and not 'SRv6'"
2462   parameters:
2463   - "throughput"
2464   - "parent"
2465   traces:
2466     hoverinfo: "x+y"
2467     boxpoints: "outliers"
2468     whiskerwidth: 0
2469   layout:
2470     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
2471     layout:
2472       "plot-throughput"
2473
2474 -
2475   type: "plot"
2476   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
2477   algorithm: "plot_performance_box"
2478   output-file-type: ".html"
2479   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-pdrdisc"
2480   data:
2481     "plot-vpp-throughput-latency"
2482   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST' and not 'SRv6'"
2483   parameters:
2484   - "throughput"
2485   - "parent"
2486   traces:
2487     hoverinfo: "x+y"
2488     boxpoints: "outliers"
2489     whiskerwidth: 0
2490   layout:
2491     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
2492     layout:
2493       "plot-throughput"
2494
2495 # VPP SRv6
2496 -
2497   type: "plot"
2498   title: "VPP Performance 78B-1t1c-ethip6*srv6*ndrdisc"
2499   algorithm: "plot_performance_box"
2500   output-file-type: ".html"
2501   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-srv6-ndrdisc"
2502   data:
2503     "plot-vpp-throughput-latency"
2504   filter: "'78B' and 'FEATURE' and 'NDRDISC' and '1T1C' and 'IP6FWD' and 'SRv6'"
2505   parameters:
2506   - "throughput"
2507   - "parent"
2508   traces:
2509     hoverinfo: "x+y"
2510     boxpoints: "outliers"
2511     whiskerwidth: 0
2512   layout:
2513     title: "78B-1t1c-ethip6*srv6*ndrdisc"
2514     layout:
2515       "plot-throughput"
2516
2517 -
2518   type: "plot"
2519   title: "VPP Performance 78B-2t2c-ethip6*srv6*ndrdisc"
2520   algorithm: "plot_performance_box"
2521   output-file-type: ".html"
2522   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-srv6-ndrdisc"
2523   data:
2524     "plot-vpp-throughput-latency"
2525   filter: "'78B' and 'FEATURE' and 'NDRDISC' and '2T2C' and 'IP6FWD' and 'SRv6'"
2526   parameters:
2527   - "throughput"
2528   - "parent"
2529   traces:
2530     hoverinfo: "x+y"
2531     boxpoints: "outliers"
2532     whiskerwidth: 0
2533   layout:
2534     title: "78B-2t2c-ethip6*srv6*ndrdisc"
2535     layout:
2536       "plot-throughput"
2537
2538 -
2539   type: "plot"
2540   title: "VPP Performance 78B-1t1c-ethip6*srv6*pdrdisc"
2541   algorithm: "plot_performance_box"
2542   output-file-type: ".html"
2543   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-srv6-pdrdisc"
2544   data:
2545     "plot-vpp-throughput-latency"
2546   filter: "'78B' and 'FEATURE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP6FWD' and 'SRv6'"
2547   parameters:
2548   - "throughput"
2549   - "parent"
2550   traces:
2551     hoverinfo: "x+y"
2552     boxpoints: "outliers"
2553     whiskerwidth: 0
2554   layout:
2555     title: "78B-1t1c-ethip6*srv6*pdrdisc"
2556     layout:
2557       "plot-throughput"
2558
2559 -
2560   type: "plot"
2561   title: "VPP Performance 78B-2t2c-ethip6*srv6*pdrdisc"
2562   algorithm: "plot_performance_box"
2563   output-file-type: ".html"
2564   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-srv6-pdrdisc"
2565   data:
2566     "plot-vpp-throughput-latency"
2567   filter: "'78B' and 'FEATURE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP6FWD' 'SRv6'"
2568   parameters:
2569   - "throughput"
2570   - "parent"
2571   traces:
2572     hoverinfo: "x+y"
2573     boxpoints: "outliers"
2574     whiskerwidth: 0
2575   layout:
2576     title: "78B-2t2c-ethip6*srv6*pdrdisc"
2577     layout:
2578       "plot-throughput"
2579
2580 # VPP IP4_overlay
2581 -
2582   type: "plot"
2583   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2584   algorithm: "plot_performance_box"
2585   output-file-type: ".html"
2586   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc"
2587   data:
2588     "plot-vpp-throughput-latency"
2589   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2590   parameters:
2591   - "throughput"
2592   - "parent"
2593   traces:
2594     hoverinfo: "x+y"
2595     boxpoints: "outliers"
2596     whiskerwidth: 0
2597   layout:
2598     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2599     layout:
2600       "plot-throughput"
2601
2602 -
2603   type: "plot"
2604   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2605   algorithm: "plot_performance_box"
2606   output-file-type: ".html"
2607   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc"
2608   data:
2609     "plot-vpp-throughput-latency"
2610   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2611   parameters:
2612   - "throughput"
2613   - "parent"
2614   traces:
2615     hoverinfo: "x+y"
2616     boxpoints: "outliers"
2617     whiskerwidth: 0
2618   layout:
2619     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2620     layout:
2621       "plot-throughput"
2622
2623 -
2624   type: "plot"
2625   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
2626   algorithm: "plot_performance_box"
2627   output-file-type: ".html"
2628   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-pdrdisc"
2629   data:
2630     "plot-vpp-throughput-latency"
2631   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2632   parameters:
2633   - "throughput"
2634   - "parent"
2635   traces:
2636     hoverinfo: "x+y"
2637     boxpoints: "outliers"
2638     whiskerwidth: 0
2639   layout:
2640     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
2641     layout:
2642       "plot-throughput"
2643
2644 -
2645   type: "plot"
2646   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
2647   algorithm: "plot_performance_box"
2648   output-file-type: ".html"
2649   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-pdrdisc"
2650   data:
2651     "plot-vpp-throughput-latency"
2652   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2653   parameters:
2654   - "throughput"
2655   - "parent"
2656   traces:
2657     hoverinfo: "x+y"
2658     boxpoints: "outliers"
2659     whiskerwidth: 0
2660   layout:
2661     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
2662     layout:
2663       "plot-throughput"
2664
2665 # VPP IP6_overlay
2666 -
2667   type: "plot"
2668   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2669   algorithm: "plot_performance_box"
2670   output-file-type: ".html"
2671   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc"
2672   data:
2673     "plot-vpp-throughput-latency"
2674   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2675   parameters:
2676   - "throughput"
2677   - "parent"
2678   traces:
2679     hoverinfo: "x+y"
2680     boxpoints: "outliers"
2681     whiskerwidth: 0
2682   layout:
2683     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2684     layout:
2685       "plot-throughput"
2686
2687 -
2688   type: "plot"
2689   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2690   algorithm: "plot_performance_box"
2691   output-file-type: ".html"
2692   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc"
2693   data:
2694     "plot-vpp-throughput-latency"
2695   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2696   parameters:
2697   - "throughput"
2698   - "parent"
2699   traces:
2700     hoverinfo: "x+y"
2701     boxpoints: "outliers"
2702     whiskerwidth: 0
2703   layout:
2704     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2705     layout:
2706       "plot-throughput"
2707
2708 -
2709   type: "plot"
2710   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2711   algorithm: "plot_performance_box"
2712   output-file-type: ".html"
2713   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-pdrdisc"
2714   data:
2715     "plot-vpp-throughput-latency"
2716   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2717   parameters:
2718   - "throughput"
2719   - "parent"
2720   traces:
2721     hoverinfo: "x+y"
2722     boxpoints: "outliers"
2723     whiskerwidth: 0
2724   layout:
2725     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2726     layout:
2727       "plot-throughput"
2728
2729 -
2730   type: "plot"
2731   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2732   algorithm: "plot_performance_box"
2733   output-file-type: ".html"
2734   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-pdrdisc"
2735   data:
2736     "plot-vpp-throughput-latency"
2737   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2738   parameters:
2739   - "throughput"
2740   - "parent"
2741   traces:
2742     hoverinfo: "x+y"
2743     boxpoints: "outliers"
2744     whiskerwidth: 0
2745   layout:
2746     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2747     layout:
2748       "plot-throughput"
2749
2750 # VPP VM VHOST
2751 -
2752   type: "plot"
2753   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2754   algorithm: "plot_performance_box"
2755   output-file-type: ".html"
2756   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc"
2757   data:
2758     "plot-vpp-throughput-latency"
2759   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2760   parameters:
2761   - "throughput"
2762   - "parent"
2763   traces:
2764     hoverinfo: "x+y"
2765     boxpoints: "outliers"
2766     whiskerwidth: 0
2767   layout:
2768     title: "64B-1t1c-.*vhost.*-ndrdisc"
2769     layout:
2770       "plot-throughput"
2771
2772 -
2773   type: "plot"
2774   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2775   algorithm: "plot_performance_box"
2776   output-file-type: ".html"
2777   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc"
2778   data:
2779     "plot-vpp-throughput-latency"
2780   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2781   parameters:
2782   - "throughput"
2783   - "parent"
2784   traces:
2785     hoverinfo: "x+y"
2786     boxpoints: "outliers"
2787     whiskerwidth: 0
2788   layout:
2789     title: "64B-2t2c-.*vhost.*-ndrdisc"
2790     layout:
2791       "plot-throughput"
2792
2793 -
2794   type: "plot"
2795   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2796   algorithm: "plot_performance_box"
2797   output-file-type: ".html"
2798   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-pdrdisc"
2799   data:
2800     "plot-vpp-throughput-latency"
2801   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2802   parameters:
2803   - "throughput"
2804   - "parent"
2805   traces:
2806     hoverinfo: "x+y"
2807     boxpoints: "outliers"
2808     whiskerwidth: 0
2809   layout:
2810     title: "64B-1t1c-.*vhost.*-pdrdisc"
2811     layout:
2812       "plot-throughput"
2813
2814 -
2815   type: "plot"
2816   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2817   algorithm: "plot_performance_box"
2818   output-file-type: ".html"
2819   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-pdrdisc"
2820   data:
2821     "plot-vpp-throughput-latency"
2822   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2823   parameters:
2824   - "throughput"
2825   - "parent"
2826   traces:
2827     hoverinfo: "x+y"
2828     boxpoints: "outliers"
2829     whiskerwidth: 0
2830   layout:
2831     title: "64B-2t2c-.*vhost.*-pdrdisc"
2832     layout:
2833       "plot-throughput"
2834
2835 # VPP VM VHOST SELECTION
2836 -
2837   type: "plot"
2838   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2839   algorithm: "plot_performance_box"
2840   output-file-type: ".html"
2841   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc"
2842   data:
2843     "plot-vpp-throughput-latency"
2844   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2845   parameters:
2846   - "throughput"
2847   - "parent"
2848   traces:
2849     hoverinfo: "x+y"
2850     boxpoints: "outliers"
2851     whiskerwidth: 0
2852   layout:
2853     title: "64B-1t1c-.*vhost.*-ndrdisc"
2854     layout:
2855       "plot-throughput"
2856
2857 -
2858   type: "plot"
2859   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2860   algorithm: "plot_performance_box"
2861   output-file-type: ".html"
2862   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc"
2863   data:
2864     "plot-vpp-throughput-latency"
2865   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2866   parameters:
2867   - "throughput"
2868   - "parent"
2869   traces:
2870     hoverinfo: "x+y"
2871     boxpoints: "outliers"
2872     whiskerwidth: 0
2873   layout:
2874     title: "64B-2t2c-.*vhost.*-ndrdisc"
2875     layout:
2876       "plot-throughput"
2877
2878 -
2879   type: "plot"
2880   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2881   algorithm: "plot_performance_box"
2882   output-file-type: ".html"
2883   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-pdrdisc"
2884   data:
2885     "plot-vpp-throughput-latency"
2886   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2887   parameters:
2888   - "throughput"
2889   - "parent"
2890   traces:
2891     hoverinfo: "x+y"
2892     boxpoints: "outliers"
2893     whiskerwidth: 0
2894   layout:
2895     title: "64B-1t1c-.*vhost.*-pdrdisc"
2896     layout:
2897       "plot-throughput"
2898
2899 -
2900   type: "plot"
2901   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2902   algorithm: "plot_performance_box"
2903   output-file-type: ".html"
2904   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-pdrdisc"
2905   data:
2906     "plot-vpp-throughput-latency"
2907   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2908   parameters:
2909   - "throughput"
2910   - "parent"
2911   traces:
2912     hoverinfo: "x+y"
2913     boxpoints: "outliers"
2914     whiskerwidth: 0
2915   layout:
2916     title: "64B-2t2c-.*vhost.*-pdrdisc"
2917     layout:
2918       "plot-throughput"
2919
2920 # VPP CRYPTO
2921 -
2922   type: "plot"
2923   title: "VPP Performance 64B-1t1c-.*ipsec.*-ndrdisc"
2924   algorithm: "plot_performance_box"
2925   output-file-type: ".html"
2926   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc"
2927   data:
2928     "plot-vpp-throughput-latency"
2929   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2930   parameters:
2931   - "throughput"
2932   - "parent"
2933   traces:
2934     hoverinfo: "x+y"
2935     boxpoints: "outliers"
2936     whiskerwidth: 0
2937   layout:
2938     title: "64B-1t1c-.*ipsec.*-ndrdisc"
2939     layout:
2940       "plot-throughput"
2941
2942 -
2943   type: "plot"
2944   title: "VPP Performance 64B-2t2c-.*ipsec.*-ndrdisc"
2945   algorithm: "plot_performance_box"
2946   output-file-type: ".html"
2947   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc"
2948   data:
2949     "plot-vpp-throughput-latency"
2950   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2951   parameters:
2952   - "throughput"
2953   - "parent"
2954   traces:
2955     hoverinfo: "x+y"
2956     boxpoints: "outliers"
2957     whiskerwidth: 0
2958   layout:
2959     title: "64B-2t2c-.*ipsec.*-ndrdisc"
2960     layout:
2961       "plot-throughput"
2962
2963 -
2964   type: "plot"
2965   title: "VPP Performance 64B-1t1c-.*ipsec.*-pdrdisc"
2966   algorithm: "plot_performance_box"
2967   output-file-type: ".html"
2968   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-pdrdisc"
2969   data:
2970     "plot-vpp-throughput-latency"
2971   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2972   parameters:
2973   - "throughput"
2974   - "parent"
2975   traces:
2976     hoverinfo: "x+y"
2977     boxpoints: "outliers"
2978     whiskerwidth: 0
2979   layout:
2980     title: "64B-1t1c-.*ipsec.*-pdrdisc"
2981     layout:
2982       "plot-throughput"
2983
2984 -
2985   type: "plot"
2986   title: "VPP Performance 64B-2t2c-.*ipsec.*-pdrdisc"
2987   algorithm: "plot_performance_box"
2988   output-file-type: ".html"
2989   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-pdrdisc"
2990   data:
2991     "plot-vpp-throughput-latency"
2992   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2993   parameters:
2994   - "throughput"
2995   - "parent"
2996   traces:
2997     hoverinfo: "x+y"
2998     boxpoints: "outliers"
2999     whiskerwidth: 0
3000   layout:
3001     title: "64B-2t2c-.*ipsec.*-pdrdisc"
3002     layout:
3003       "plot-throughput"
3004
3005 # DPDK
3006 -
3007   type: "plot"
3008   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3009   algorithm: "plot_performance_box"
3010   output-file-type: ".html"
3011   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc"
3012   data:
3013     "plot-dpdk-throughput-latency"
3014   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3015   parameters:
3016   - "throughput"
3017   - "parent"
3018   traces:
3019     hoverinfo: "x+y"
3020     boxpoints: "outliers"
3021     whiskerwidth: 0
3022   layout:
3023     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3024     layout:
3025       "plot-throughput"
3026
3027 -
3028   type: "plot"
3029   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3030   algorithm: "plot_performance_box"
3031   output-file-type: ".html"
3032   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc"
3033   data:
3034     "plot-dpdk-throughput-latency"
3035   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3036   parameters:
3037   - "throughput"
3038   - "parent"
3039   traces:
3040     hoverinfo: "x+y"
3041     boxpoints: "outliers"
3042     whiskerwidth: 0
3043   layout:
3044     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3045     layout:
3046       "plot-throughput"
3047
3048 -
3049   type: "plot"
3050   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3051   algorithm: "plot_performance_box"
3052   output-file-type: ".html"
3053   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc"
3054   data:
3055     "plot-dpdk-throughput-latency"
3056   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
3057   parameters:
3058   - "throughput"
3059   - "parent"
3060   traces:
3061     hoverinfo: "x+y"
3062     boxpoints: "outliers"
3063     whiskerwidth: 0
3064   layout:
3065     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3066     layout:
3067       "plot-throughput"
3068
3069 -
3070   type: "plot"
3071   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3072   algorithm: "plot_performance_box"
3073   output-file-type: ".html"
3074   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc"
3075   data:
3076     "plot-dpdk-throughput-latency"
3077   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
3078   parameters:
3079   - "throughput"
3080   - "parent"
3081   traces:
3082     hoverinfo: "x+y"
3083     boxpoints: "outliers"
3084     whiskerwidth: 0
3085   layout:
3086     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3087     layout:
3088       "plot-throughput"
3089
3090 -
3091   type: "plot"
3092   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
3093   algorithm: "plot_performance_box"
3094   output-file-type: ".html"
3095   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-pdrdisc"
3096   data:
3097     "plot-dpdk-throughput-latency"
3098   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3099   parameters:
3100   - "throughput"
3101   - "parent"
3102   traces:
3103     hoverinfo: "x+y"
3104     boxpoints: "outliers"
3105     whiskerwidth: 0
3106   layout:
3107     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
3108     layout:
3109       "plot-throughput"
3110
3111 -
3112   type: "plot"
3113   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
3114   algorithm: "plot_performance_box"
3115   output-file-type: ".html"
3116   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-pdrdisc"
3117   data:
3118     "plot-dpdk-throughput-latency"
3119   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3120   parameters:
3121   - "throughput"
3122   - "parent"
3123   traces:
3124     hoverinfo: "x+y"
3125     boxpoints: "outliers"
3126     whiskerwidth: 0
3127   layout:
3128     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
3129     layout:
3130       "plot-throughput"
3131
3132 -
3133   type: "plot"
3134   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
3135   algorithm: "plot_performance_box"
3136   output-file-type: ".html"
3137   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-pdrdisc"
3138   data:
3139     "plot-dpdk-throughput-latency"
3140   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD'"
3141   parameters:
3142   - "throughput"
3143   - "parent"
3144   traces:
3145     hoverinfo: "x+y"
3146     boxpoints: "outliers"
3147     whiskerwidth: 0
3148   layout:
3149     title: "64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
3150     layout:
3151       "plot-throughput"
3152
3153 -
3154   type: "plot"
3155   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
3156   algorithm: "plot_performance_box"
3157   output-file-type: ".html"
3158   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-pdrdisc"
3159   data:
3160     "plot-dpdk-throughput-latency"
3161   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD'"
3162   parameters:
3163   - "throughput"
3164   - "parent"
3165   traces:
3166     hoverinfo: "x+y"
3167     boxpoints: "outliers"
3168     whiskerwidth: 0
3169   layout:
3170     title: "64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
3171     layout:
3172       "plot-throughput"
3173
3174 # Plot latency
3175
3176 # VPP L2 sel1
3177 -
3178   type: "plot"
3179   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3180   algorithm: "plot_latency_box"
3181   output-file-type: ".html"
3182   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc-lat50"
3183   data:
3184     "plot-vpp-throughput-latency"
3185   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
3186   parameters:
3187   - "latency"
3188   - "parent"
3189   traces:
3190     boxmean: False
3191   layout:
3192     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3193     layout:
3194       "plot-latency"
3195
3196 -
3197   type: "plot"
3198   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3199   algorithm: "plot_latency_box"
3200   output-file-type: ".html"
3201   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc-lat50"
3202   data:
3203     "plot-vpp-throughput-latency"
3204   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
3205   parameters:
3206   - "latency"
3207   - "parent"
3208   traces:
3209     boxmean: False
3210   layout:
3211     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3212     layout:
3213       "plot-latency"
3214
3215 # VPP L2 sel2
3216 -
3217   type: "plot"
3218   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3219   algorithm: "plot_latency_box"
3220   output-file-type: ".html"
3221   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc-lat50"
3222   data:
3223     "plot-vpp-throughput-latency"
3224   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
3225   parameters:
3226   - "latency"
3227   - "parent"
3228   traces:
3229     boxmean: False
3230   layout:
3231     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3232     layout:
3233       "plot-latency"
3234
3235 -
3236   type: "plot"
3237   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3238   algorithm: "plot_latency_box"
3239   output-file-type: ".html"
3240   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc-lat50"
3241   data:
3242     "plot-vpp-throughput-latency"
3243   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
3244   parameters:
3245   - "latency"
3246   - "parent"
3247   traces:
3248     boxmean: False
3249   layout:
3250     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3251     layout:
3252       "plot-latency"
3253
3254 # VPP IP4
3255 -
3256   type: "plot"
3257   title: "VPP Latency 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
3258   algorithm: "plot_latency_box"
3259   output-file-type: ".html"
3260   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc-lat50"
3261   data:
3262     "plot-vpp-throughput-latency"
3263   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
3264   parameters:
3265   - "latency"
3266   - "parent"
3267   traces:
3268     boxmean: False
3269   layout:
3270     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
3271     layout:
3272       "plot-latency"
3273
3274 -
3275   type: "plot"
3276   title: "VPP Latency 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
3277   algorithm: "plot_latency_box"
3278   output-file-type: ".html"
3279   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc-lat50"
3280   data:
3281     "plot-vpp-throughput-latency"
3282   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
3283   parameters:
3284   - "latency"
3285   - "parent"
3286   traces:
3287     boxmean: False
3288   layout:
3289     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
3290     layout:
3291       "plot-latency"
3292
3293 # VPP IP6
3294 -
3295   type: "plot"
3296   title: "VPP Latency 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
3297   algorithm: "plot_latency_box"
3298   output-file-type: ".html"
3299   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc-lat50"
3300   data:
3301     "plot-vpp-throughput-latency"
3302   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST' and not 'SRv6'"
3303   parameters:
3304   - "latency"
3305   - "parent"
3306   traces:
3307     boxmean: False
3308   layout:
3309     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
3310     layout:
3311       "plot-latency"
3312
3313 -
3314   type: "plot"
3315   title: "VPP Latency 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
3316   algorithm: "plot_latency_box"
3317   output-file-type: ".html"
3318   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc-lat50"
3319   data:
3320     "plot-vpp-throughput-latency"
3321   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST' and not 'SRv6'"
3322   parameters:
3323   - "latency"
3324   - "parent"
3325   traces:
3326     boxmean: False
3327   layout:
3328     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
3329     layout:
3330       "plot-latency"
3331
3332 # VPP SRv6
3333 -
3334   type: "plot"
3335   title: "VPP Latency 78B-1t1c-ethip6*srv6*ndrdisc"
3336   algorithm: "plot_latency_box"
3337   output-file-type: ".html"
3338   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-srv6-ndrdisc-lat50"
3339   data:
3340     "plot-vpp-throughput-latency"
3341   filter: "'78B' and 'FEATURE' and 'NDRDISC' and '1T1C' and 'IP6FWD' and 'SRv6'"
3342   parameters:
3343   - "latency"
3344   - "parent"
3345   traces:
3346     boxmean: False
3347   layout:
3348     title: "78B-1t1c-ethip6*srv6*ndrdisc"
3349     layout:
3350       "plot-latency"
3351
3352 -
3353   type: "plot"
3354   title: "VPP Latency 78B-2t2c-ethip6*srv6*ndrdisc"
3355   algorithm: "plot_latency_box"
3356   output-file-type: ".html"
3357   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-srv6-ndrdisc-lat50"
3358   data:
3359     "plot-vpp-throughput-latency"
3360   filter: "'78B' and 'FEATURE' and 'NDRDISC' and '2T2C' and 'IP6FWD' and 'SRv6'"
3361   parameters:
3362   - "latency"
3363   - "parent"
3364   traces:
3365     boxmean: False
3366   layout:
3367     title: "78B-2t2c-ethip6*srv6*ndrdisc"
3368     layout:
3369       "plot-latency"
3370
3371 # VPP IP4_overlay
3372 -
3373   type: "plot"
3374   title: "VPP Latency 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
3375   algorithm: "plot_latency_box"
3376   output-file-type: ".html"
3377   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc-lat50"
3378   data:
3379     "plot-vpp-throughput-latency"
3380   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
3381   parameters:
3382   - "latency"
3383   - "parent"
3384   traces:
3385     boxmean: False
3386   layout:
3387     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
3388     layout:
3389       "plot-latency"
3390
3391 -
3392   type: "plot"
3393   title: "VPP Latency 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
3394   algorithm: "plot_latency_box"
3395   output-file-type: ".html"
3396   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc-lat50"
3397   data:
3398     "plot-vpp-throughput-latency"
3399   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
3400   parameters:
3401   - "latency"
3402   - "parent"
3403   traces:
3404     boxmean: False
3405   layout:
3406     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
3407     layout:
3408       "plot-latency"
3409
3410 # VPP IP6_overlay
3411 -
3412   type: "plot"
3413   title: "VPP Latency 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
3414   algorithm: "plot_latency_box"
3415   output-file-type: ".html"
3416   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc-lat50"
3417   data:
3418     "plot-vpp-throughput-latency"
3419   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
3420   parameters:
3421   - "latency"
3422   - "parent"
3423   traces:
3424     boxmean: False
3425   layout:
3426     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
3427     layout:
3428       "plot-latency"
3429
3430 -
3431   type: "plot"
3432   title: "VPP Latency 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
3433   algorithm: "plot_latency_box"
3434   output-file-type: ".html"
3435   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc-lat50"
3436   data:
3437     "plot-vpp-throughput-latency"
3438   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
3439   parameters:
3440   - "latency"
3441   - "parent"
3442   traces:
3443     boxmean: False
3444   layout:
3445     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
3446     layout:
3447       "plot-latency"
3448
3449 # VPP VM VHOST
3450 -
3451   type: "plot"
3452   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
3453   algorithm: "plot_latency_box"
3454   output-file-type: ".html"
3455   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc-lat50"
3456   data:
3457     "plot-vpp-throughput-latency"
3458   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
3459   parameters:
3460   - "latency"
3461   - "parent"
3462   traces:
3463     boxmean: False
3464   layout:
3465     title: "64B-1t1c-.*vhost.*-ndrdisc"
3466     layout:
3467       "plot-latency"
3468
3469 -
3470   type: "plot"
3471   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
3472   algorithm: "plot_latency_box"
3473   output-file-type: ".html"
3474   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc-lat50"
3475   data:
3476     "plot-vpp-throughput-latency"
3477   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
3478   parameters:
3479   - "latency"
3480   - "parent"
3481   traces:
3482     boxmean: False
3483   layout:
3484     title: "64B-2t2c-.*vhost.*-ndrdisc"
3485     layout:
3486       "plot-latency"
3487
3488 # VPP VM VHOST selection
3489 -
3490   type: "plot"
3491   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
3492   algorithm: "plot_latency_box"
3493   output-file-type: ".html"
3494   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc-lat50"
3495   data:
3496     "plot-vpp-throughput-latency"
3497   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
3498   parameters:
3499   - "latency"
3500   - "parent"
3501   traces:
3502     boxmean: False
3503   layout:
3504     title: "64B-1t1c-.*vhost.*-ndrdisc"
3505     layout:
3506       "plot-latency"
3507
3508 -
3509   type: "plot"
3510   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
3511   algorithm: "plot_latency_box"
3512   output-file-type: ".html"
3513   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc-lat50"
3514   data:
3515     "plot-vpp-throughput-latency"
3516   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
3517   parameters:
3518   - "latency"
3519   - "parent"
3520   traces:
3521     boxmean: False
3522   layout:
3523     title: "64B-2t2c-.*vhost.*-ndrdisc"
3524     layout:
3525       "plot-latency"
3526
3527 # VPP CRYPTO
3528 -
3529   type: "plot"
3530   title: "VPP Latency 64B-1t1c-.*ipsec.*-ndrdisc"
3531   algorithm: "plot_latency_box"
3532   output-file-type: ".html"
3533   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc-lat50"
3534   data:
3535     "plot-vpp-throughput-latency"
3536   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
3537   parameters:
3538   - "latency"
3539   - "parent"
3540   traces:
3541     boxmean: False
3542   layout:
3543     title: "64B-1t1c-.*ipsec.*-ndrdisc"
3544     layout:
3545       "plot-latency"
3546
3547 -
3548   type: "plot"
3549   title: "VPP Latency 64B-2t2c-.*ipsec.*-ndrdisc"
3550   algorithm: "plot_latency_box"
3551   output-file-type: ".html"
3552   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc-lat50"
3553   data:
3554     "plot-vpp-throughput-latency"
3555   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
3556   parameters:
3557   - "latency"
3558   - "parent"
3559   traces:
3560     boxmean: False
3561   layout:
3562     title: "64B-2t2c-.*ipsec.*-ndrdisc"
3563     layout:
3564       "plot-latency"
3565
3566 # DPDK
3567 -
3568   type: "plot"
3569   title: "DPDK Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3570   algorithm: "plot_latency_box"
3571   output-file-type: ".html"
3572   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc-lat50"
3573   data:
3574     "plot-dpdk-throughput-latency"
3575   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3576   parameters:
3577   - "latency"
3578   - "parent"
3579   traces:
3580     boxmean: False
3581   layout:
3582     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3583     layout:
3584       "plot-latency"
3585
3586 -
3587   type: "plot"
3588   title: "DPDK Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3589   algorithm: "plot_latency_box"
3590   output-file-type: ".html"
3591   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc-lat50"
3592   data:
3593     "plot-dpdk-throughput-latency"
3594   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3595   parameters:
3596   - "latency"
3597   - "parent"
3598   traces:
3599     boxmean: False
3600   layout:
3601     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3602     layout:
3603       "plot-latency"
3604
3605 -
3606   type: "plot"
3607   title: "DPDK Latency 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3608   algorithm: "plot_latency_box"
3609   output-file-type: ".html"
3610   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc-lat50"
3611   data:
3612     "plot-dpdk-throughput-latency"
3613   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
3614   parameters:
3615   - "latency"
3616   - "parent"
3617   traces:
3618     boxmean: False
3619   layout:
3620     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3621     layout:
3622       "plot-latency"
3623
3624 -
3625   type: "plot"
3626   title: "DPDK Latency 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3627   algorithm: "plot_latency_box"
3628   output-file-type: ".html"
3629   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc-lat50"
3630   data:
3631     "plot-dpdk-throughput-latency"
3632   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
3633   parameters:
3634   - "latency"
3635   - "parent"
3636   traces:
3637     boxmean: False
3638   layout:
3639     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3640     layout:
3641       "plot-latency"
3642
3643 # Ligato - Throughput
3644
3645 # Container memif
3646 -
3647   type: "plot"
3648   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3649   algorithm: "plot_performance_box"
3650   output-file-type: ".html"
3651   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc"
3652   data:
3653     "plot-vpp-throughput-latency"
3654   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3655   parameters:
3656   - "throughput"
3657   - "parent"
3658   traces:
3659     hoverinfo: "x+y"
3660     boxpoints: "outliers"
3661     whiskerwidth: 0
3662   layout:
3663     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3664     layout:
3665       "plot-throughput"
3666
3667 -
3668   type: "plot"
3669   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3670   algorithm: "plot_performance_box"
3671   output-file-type: ".html"
3672   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc"
3673   data:
3674     "plot-vpp-throughput-latency"
3675   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3676   parameters:
3677   - "throughput"
3678   - "parent"
3679   traces:
3680     hoverinfo: "x+y"
3681     boxpoints: "outliers"
3682     whiskerwidth: 0
3683   layout:
3684     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3685     layout:
3686       "plot-throughput"
3687
3688 -
3689   type: "plot"
3690   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3691   algorithm: "plot_performance_box"
3692   output-file-type: ".html"
3693   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-pdrdisc"
3694   data:
3695     "plot-vpp-throughput-latency"
3696   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3697   parameters:
3698   - "throughput"
3699   - "parent"
3700   traces:
3701     hoverinfo: "x+y"
3702     boxpoints: "outliers"
3703     whiskerwidth: 0
3704   layout:
3705     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3706     layout:
3707       "plot-throughput"
3708
3709 -
3710   type: "plot"
3711   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3712   algorithm: "plot_performance_box"
3713   output-file-type: ".html"
3714   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-pdrdisc"
3715   data:
3716     "plot-vpp-throughput-latency"
3717   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3718   parameters:
3719   - "throughput"
3720   - "parent"
3721   traces:
3722     hoverinfo: "x+y"
3723     boxpoints: "outliers"
3724     whiskerwidth: 0
3725   layout:
3726     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3727     layout:
3728       "plot-throughput"
3729
3730 # Container orchestrated
3731 -
3732   type: "plot"
3733   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3734   algorithm: "plot_performance_box"
3735   output-file-type: ".html"
3736   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc"
3737   data:
3738     "plot-ligato-throughput-latency"
3739   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3740   parameters:
3741   - "throughput"
3742   - "parent"
3743   traces:
3744     hoverinfo: "x+y"
3745     boxpoints: "outliers"
3746     whiskerwidth: 0
3747   layout:
3748     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3749     layout:
3750       "plot-throughput"
3751
3752 -
3753   type: "plot"
3754   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3755   algorithm: "plot_performance_box"
3756   output-file-type: ".html"
3757   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc"
3758   data:
3759     "plot-ligato-throughput-latency"
3760   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3761   parameters:
3762   - "throughput"
3763   - "parent"
3764   traces:
3765     hoverinfo: "x+y"
3766     boxpoints: "outliers"
3767     whiskerwidth: 0
3768   layout:
3769     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3770     layout:
3771       "plot-throughput"
3772
3773 -
3774   type: "plot"
3775   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3776   algorithm: "plot_performance_box"
3777   output-file-type: ".html"
3778   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-pdrdisc"
3779   data:
3780     "plot-ligato-throughput-latency"
3781   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3782   parameters:
3783   - "throughput"
3784   - "parent"
3785   traces:
3786     hoverinfo: "x+y"
3787     boxpoints: "outliers"
3788     whiskerwidth: 0
3789   layout:
3790     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3791     layout:
3792       "plot-throughput"
3793
3794 -
3795   type: "plot"
3796   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3797   algorithm: "plot_performance_box"
3798   output-file-type: ".html"
3799   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-pdrdisc"
3800   data:
3801     "plot-ligato-throughput-latency"
3802   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3803   parameters:
3804   - "throughput"
3805   - "parent"
3806   traces:
3807     hoverinfo: "x+y"
3808     boxpoints: "outliers"
3809     whiskerwidth: 0
3810   layout:
3811     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3812     layout:
3813       "plot-throughput"
3814
3815 # Ligato - Latency
3816
3817 # Container memif
3818 -
3819   type: "plot"
3820   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3821   algorithm: "plot_latency_box"
3822   output-file-type: ".html"
3823   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc-lat50"
3824   data:
3825     "plot-vpp-throughput-latency"
3826   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3827   parameters:
3828   - "latency"
3829   - "parent"
3830   traces:
3831     boxmean: False
3832   layout:
3833     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3834     layout:
3835       "plot-latency"
3836
3837 -
3838   type: "plot"
3839   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3840   algorithm: "plot_latency_box"
3841   output-file-type: ".html"
3842   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc-lat50"
3843   data:
3844     "plot-vpp-throughput-latency"
3845   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3846   parameters:
3847   - "latency"
3848   - "parent"
3849   traces:
3850     boxmean: False
3851   layout:
3852     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3853     layout:
3854       "plot-latency"
3855
3856 # Container orchestrated
3857 -
3858   type: "plot"
3859   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3860   algorithm: "plot_latency_box"
3861   output-file-type: ".html"
3862   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc-lat50"
3863   data:
3864     "plot-ligato-throughput-latency"
3865   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3866   parameters:
3867   - "latency"
3868   - "parent"
3869   traces:
3870     boxmean: False
3871   layout:
3872     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3873     layout:
3874       "plot-latency"
3875
3876 -
3877   type: "plot"
3878   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3879   algorithm: "plot_latency_box"
3880   output-file-type: ".html"
3881   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc-lat50"
3882   data:
3883     "plot-ligato-throughput-latency"
3884   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3885   parameters:
3886   - "latency"
3887   - "parent"
3888   traces:
3889     boxmean: False
3890   layout:
3891     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3892     layout:
3893       "plot-latency"