resources/tools/presentation/specification.yaml

   1 -
   2   type: "environment"
   3   configuration:
   4     # Debug mode:
   5     # - Skip:
   6     #   - Download of input data files
   7     # - Do:
   8     #   - Read data from given zip / xml files
   9     #   - Set the configuration as it is done in normal mode
  10     # If the section "type: debug" is missing, CFG[DEBUG] is set to 0.
  11     CFG[DEBUG]: 0
  12
  13   paths:
  14     # Top level directories:
  15     ## Working directory
  16     DIR[WORKING]: "_tmp"
  17     ## Build directories
  18     DIR[BUILD,HTML]: "_build"
  19     DIR[BUILD,LATEX]: "_build_latex"
  20
  21     # Static .rst files
  22     DIR[RST]: "../../../docs/report"
  23
  24     # Working directories
  25     ## Input data files (.zip, .xml)
  26     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
  27     ## Static source files from git
  28     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
  29     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
  30
  31     # Static html content
  32     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
  33     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
  34     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
  35     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
  36
  37     # Detailed test results
  38     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
  39     DIR[DTR,PERF,DPDK]: "{DIR[DTR]}/dpdk_performance_results"
  40     DIR[DTR,PERF,VPP]: "{DIR[DTR]}/vpp_performance_results"
  41     DIR[DTR,MRR,VPP]: "{DIR[DTR]}/vpp_mrr_results"
  42     DIR[DTR,PERF,COT]: "{DIR[DTR]}/cot_performance_results"
  43     DIR[DTR,PERF,HC]: "{DIR[DTR]}/honeycomb_performance_results"
  44     DIR[DTR,FUNC,VPP]: "{DIR[DTR]}/vpp_functional_results"
  45     DIR[DTR,FUNC,VPP,CENTOS]: "{DIR[DTR]}/vpp_functional_results_centos"
  46     DIR[DTR,FUNC,HC]: "{DIR[DTR]}/honeycomb_functional_results"
  47     DIR[DTR,FUNC,NSHSFC]: "{DIR[DTR]}/nshsfc_functional_results"
  48     DIR[DTR,PERF,VPP,IMPRV]: "{DIR[WORKING,SRC]}/vpp_performance_tests/performance_improvements"
  49
  50     # Detailed test configurations
  51     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
  52     DIR[DTC,PERF,VPP]: "{DIR[DTC]}/vpp_performance_configuration"
  53     DIR[DTC,MRR,VPP]: "{DIR[DTC]}/vpp_mrr_configuration"
  54     DIR[DTC,FUNC,VPP]: "{DIR[DTC]}/vpp_functional_configuration"
  55     DIR[DTC,FUNC,VPP,CENTOS]: "{DIR[DTC]}/vpp_functional_configuration_centos"
  56
  57     # Detailed tests operational data
  58     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
  59     DIR[DTO,PERF,VPP]: "{DIR[DTO]}/vpp_performance_operational_data"
  60
  61     # .css patch file to fix tables generated by Sphinx
  62     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
  63     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
  64
  65   urls:
  66     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
  67     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
  68     URL[NEXUS]: "https://docs.fd.io/csit"
  69     DIR[NEXUS]: "report/_static/archive"
  70
  71   make-dirs:
  72   # List the directories which are created while preparing the environment.
  73   # All directories MUST be defined in "paths" section.
  74   - "DIR[WORKING,DATA]"
  75   - "DIR[STATIC,VPP]"
  76   - "DIR[STATIC,DPDK]"
  77   - "DIR[STATIC,ARCH]"
  78   - "DIR[BUILD,LATEX]"
  79   - "DIR[WORKING,SRC]"
  80   - "DIR[WORKING,SRC,STATIC]"
  81
  82   remove-dirs:
  83   # List the directories which are deleted while cleaning the environment.
  84   # All directories MUST be defined in "paths" section.
  85   #- "DIR[BUILD,HTML]"
  86   - "DIR[WORKING,DATA]"
  87
  88   build-dirs:
  89   # List the directories where the results (build) is stored.
  90   # All directories MUST be defined in "paths" section.
  91   - "DIR[BUILD,HTML]"
  92   - "DIR[BUILD,LATEX]"
  93
  94 -
  95   type: "configuration"
  96   data-sets:
  97     plot-vpp-http-server-performance:
  98 # TODO: Add the data sources
  99       csit-vpp-perf-1804-all:
 100       - 39  # wrk
 101       - 40  # wrk
 102       - 41  # wrk
 103       - 42  # wrk
 104       - 43  # wrk
 105       - 44  # wrk
 106       - 45  # wrk
 107       - 46  # wrk
 108       - 47  # wrk
 109       - 48  # wrk
 110 # TODO: Add the data sources
 111 #    vpp-meltdown-impact:
 112 #      csit-vpp-perf-1707-all:
 113 #      - 9
 114 #      - 10
 115 #      - 13
 116 #      csit-vpp-perf-1710-all:
 117 #      - 11l
 118 #      - 12
 119 #      - 13
 120 # TODO: Add the data sources
 121 #    vpp-spectre-impact:
 122 #      csit-vpp-perf-1707-all:
 123 #      - 9
 124 #      - 10
 125 #      - 13
 126 #      csit-vpp-perf-1710-all:
 127 #      - 11
 128 #      - 12
 129 #      - 13
 130     vpp-performance-changes:
 131       csit-vpp-perf-1710-all:
 132       - 11
 133       - 12
 134       - 13
 135       - 14
 136       - 15
 137       - 16
 138       - 17
 139       - 18
 140       - 19
 141       - 20
 142       csit-vpp-perf-1801-all:
 143       - 124  # sel
 144       - 127  # sel
 145       - 128  # sel
 146       - 141  # sel
 147       - 142  # sel
 148       - 143  # sel
 149       - 145  # sel
 150       - 146  # sel
 151       - 162  # sel
 152       - 163  # sel
 153       - 167  # sel
 154       - 172  # sel acl only
 155       csit-vpp-perf-1804-all:
 156       - 21  # sel
 157       - 22  # sel
 158       - 23  # sel
 159       - 24  # sel
 160       - 27  # sel
 161       - 28  # sel
 162       - 29  # sel
 163       - 30  # sel
 164       - 31  # sel
 165       - 35  # sel
 166     vpp-performance-changes-mrr:
 167       csit-vpp-perf-check-1801:
 168       - 3
 169       - 4
 170       - 5
 171       - 6
 172       - 7
 173       - 8
 174       - 9
 175       - 11
 176       - 12
 177       - 13
 178       csit-vpp-perf-check-1804:
 179       - 6   # mrr - sel
 180       - 7   # mrr - sel
 181       - 8   # mrr - sel
 182       - 9   # mrr - sel
 183       - 10  # mrr - sel
 184       - 11  # mrr - sel
 185       - 12  # mrr - sel
 186       - 13  # mrr - sel
 187       - 14  # mrr - sel
 188       - 15  # mrr - sel
 189     plot-throughput-speedup-analysis:
 190       csit-vpp-perf-1804-all:
 191       - 19  # full
 192       - 20  # full
 193       - 25  # full
 194       - 26  # full
 195       - 21  # sel
 196       - 22  # sel
 197       - 23  # sel
 198       - 24  # sel
 199       - 27  # sel
 200       - 28  # sel
 201       - 29  # sel
 202       - 30  # sel
 203       - 31  # sel
 204       - 35  # sel
 205     plot-ligato-throughput-speedup-analysis:
 206       csit-ligato-perf-1804-all:
 207       - 5   # sel
 208       - 6   # sel
 209       - 7   # sel
 210       - 8   # sel
 211       - 9   # sel
 212       - 10  # sel
 213       - 11  # sel
 214       - 12  # sel
 215       - 13  # sel
 216       - 14  # sel
 217 #    performance-improvements:
 218 #      csit-vpp-perf-1707-all:
 219 #      - 9
 220 #      - 10
 221 #      - 13
 222 #      - 14
 223 #      - 15
 224 #      - 16
 225 #      - 17
 226 #      - 18
 227 #      - 19
 228 #      - 21
 229 #      csit-vpp-perf-1710-all:
 230 #      - 11
 231 #      - 12
 232 #      - 13
 233 #      - 14
 234 #      - 15
 235 #      - 16
 236 #      - 17
 237 #      - 18
 238 #      - 19
 239 #      - 20
 240 #      csit-vpp-perf-1801-all:
 241 #      - 124
 242 #      - 127
 243 #      - 128
 244 #      csit-ligato-perf-1710-all:
 245 #      - 5
 246 #      - 7
 247 #      - 8
 248 #      - 9
 249 #      - 10
 250 #      - 11
 251 #      - 12
 252 #      - 13
 253 #      - 16
 254 #      - 17
 255 #      csit-ligato-perf-1801-all:
 256 #      - 16  # sel
 257 #      - 17  # sel
 258 #      - 18  # sel
 259 #      - 19  # sel
 260 #      - 20  # sel
 261 #      - 21  # sel
 262 #      - 22  # sel
 263 #      - 23  # sel
 264 #      - 24  # sel
 265     vpp-perf-results:
 266       csit-vpp-perf-1804-all:
 267       - 19  # full
 268       - 20  # full
 269       - 25  # full
 270       - 26  # full
 271     vpp-func-results:
 272       csit-vpp-functional-1804-ubuntu1604-virl:
 273       - 199
 274     vpp-func-results-centos:
 275       csit-vpp-functional-1804-centos7-virl:
 276       - 207
 277     vpp-mrr-results:
 278       csit-vpp-perf-check-1804:
 279       - 5   # mrr - full
 280     ligato-perf-results:
 281       csit-ligato-perf-1804-all:
 282       - 4  # full
 283     dpdk-perf-results:
 284       csit-dpdk-perf-1804-all:
 285       - 13
 286     hc-func-results:
 287       csit-hc2vpp-verify-func-1804-ubuntu1604:
 288       - 3
 289     nsh-func-results:
 290       csit-nsh_sfc-verify-func-1804-ubuntu1604-virl:
 291       - 7
 292     plot-vpp-throughput-latency:
 293       csit-vpp-perf-1804-all:
 294       - 19  # full
 295       - 20  # full
 296       - 25  # full
 297       - 26  # full
 298       - 21  # sel
 299       - 22  # sel
 300       - 23  # sel
 301       - 24  # sel
 302       - 27  # sel
 303       - 28  # sel
 304       - 29  # sel
 305       - 30  # sel
 306       - 31  # sel
 307       - 35  # sel
 308     plot-dpdk-throughput-latency:
 309       csit-dpdk-perf-1804-all:
 310       - 4
 311       - 5
 312       - 6
 313       - 7
 314       - 8
 315       - 9
 316       - 10
 317       - 11
 318       - 12
 319       - 13
 320     plot-ligato-throughput-latency:
 321       csit-ligato-perf-1804-all:
 322       - 5   # sel
 323       - 6   # sel
 324       - 7   # sel
 325       - 8   # sel
 326       - 9   # sel
 327       - 10  # sel
 328       - 11  # sel
 329       - 12  # sel
 330       - 13  # sel
 331       - 14  # sel
 332
 333   plot-layouts:
 334
 335     plot-cps:
 336       xaxis:
 337         autorange: True
 338         autotick: False
 339         fixedrange: False
 340         gridcolor: "rgb(238, 238, 238)"
 341         linecolor: "rgb(238, 238, 238)"
 342         linewidth: 1
 343         showgrid: True
 344         showline: True
 345         showticklabels: True
 346         tickcolor: "rgb(238, 238, 238)"
 347         tickmode: "linear"
 348         title: "Indexed Test Cases"
 349         zeroline: False
 350       yaxis:
 351         gridcolor: "rgb(238, 238, 238)'"
 352         hoverformat: ".4s"
 353         linecolor: "rgb(238, 238, 238)"
 354         linewidth: 1
 355         range: []
 356         rangemode: "tozero"
 357         showgrid: True
 358         showline: True
 359         showticklabels: True
 360         tickcolor: "rgb(238, 238, 238)"
 361         title: "Connections Per Second [cps]"
 362         zeroline: False
 363       boxmode: "group"
 364       boxgroupgap: 0.5
 365       autosize: False
 366       margin:
 367         t: 50
 368         b: 20
 369         l: 50
 370         r: 20
 371       showlegend: True
 372       legend:
 373         orientation: "h"
 374       width: 700
 375       height: 1000
 376
 377     plot-rps:
 378       xaxis:
 379         autorange: True
 380         autotick: False
 381         fixedrange: False
 382         gridcolor: "rgb(238, 238, 238)"
 383         linecolor: "rgb(238, 238, 238)"
 384         linewidth: 1
 385         showgrid: True
 386         showline: True
 387         showticklabels: True
 388         tickcolor: "rgb(238, 238, 238)"
 389         tickmode: "linear"
 390         title: "Indexed Test Cases"
 391         zeroline: False
 392       yaxis:
 393         gridcolor: "rgb(238, 238, 238)'"
 394         hoverformat: ".4s"
 395         linecolor: "rgb(238, 238, 238)"
 396         linewidth: 1
 397         range: []
 398         rangemode: "tozero"
 399         showgrid: True
 400         showline: True
 401         showticklabels: True
 402         tickcolor: "rgb(238, 238, 238)"
 403         title: "Requests Per Second [rps]"
 404         zeroline: False
 405       boxmode: "group"
 406       boxgroupgap: 0.5
 407       autosize: False
 408       margin:
 409         t: 50
 410         b: 20
 411         l: 50
 412         r: 20
 413       showlegend: True
 414       legend:
 415         orientation: "h"
 416       width: 700
 417       height: 1000
 418
 419     plot-throughput:
 420       xaxis:
 421         autorange: True
 422         autotick: False
 423         fixedrange: False
 424         gridcolor: "rgb(238, 238, 238)"
 425         linecolor: "rgb(238, 238, 238)"
 426         linewidth: 1
 427         showgrid: True
 428         showline: True
 429         showticklabels: True
 430         tickcolor: "rgb(238, 238, 238)"
 431         tickmode: "linear"
 432         title: "Indexed Test Cases"
 433         zeroline: False
 434       yaxis:
 435         gridcolor: "rgb(238, 238, 238)'"
 436         hoverformat: ".4s"
 437         linecolor: "rgb(238, 238, 238)"
 438         linewidth: 1
 439         range: []
 440         showgrid: True
 441         showline: True
 442         showticklabels: True
 443         tickcolor: "rgb(238, 238, 238)"
 444         title: "Packets Per Second [pps]"
 445         zeroline: False
 446       boxmode: "group"
 447       boxgroupgap: 0.5
 448       autosize: False
 449       margin:
 450         t: 50
 451         b: 20
 452         l: 50
 453         r: 20
 454       showlegend: True
 455       legend:
 456         orientation: "h"
 457       width: 700
 458       height: 1000
 459
 460     plot-latency:
 461       xaxis:
 462         autorange: True
 463         autotick: False
 464         fixedrange: False
 465         gridcolor: "rgb(238, 238, 238)"
 466         linecolor: "rgb(238, 238, 238)"
 467         linewidth: 1
 468         showgrid: True
 469         showline: True
 470         showticklabels: True
 471         tickcolor: "rgb(238, 238, 238)"
 472         tickmode: "linear"
 473         title: "Indexed Test Cases"
 474         zeroline: False
 475       yaxis:
 476         gridcolor: "rgb(238, 238, 238)'"
 477         hoverformat: ""
 478         linecolor: "rgb(238, 238, 238)"
 479         linewidth: 1
 480         range: []
 481         showgrid: True
 482         showline: True
 483         showticklabels: True
 484         tickcolor: "rgb(238, 238, 238)"
 485         title: "Latency min/avg/max [uSec]"
 486         zeroline: False
 487       boxmode: "group"
 488       boxgroupgap: 0.5
 489       autosize: False
 490       margin:
 491         t: 50
 492         b: 20
 493         l: 50
 494         r: 20
 495       showlegend: True
 496       legend:
 497         orientation: "h"
 498       width: 700
 499       height: 1000
 500
 501     plot-throughput-speedup-analysis:
 502       xaxis:
 503         autorange: True
 504         autotick: False
 505         fixedrange: False
 506         gridcolor: "rgb(238, 238, 238)"
 507         linecolor: "rgb(238, 238, 238)"
 508         linewidth: 1
 509         showgrid: True
 510         showline: True
 511         showticklabels: True
 512         tickcolor: "rgb(238, 238, 238)"
 513         tickmode: "linear"
 514         tickangle: 270
 515         zeroline: False
 516       yaxis:
 517         title: "Throughput speedup factor"
 518         gridcolor: "rgb(238, 238, 238)"
 519         hoverformat: ".4s"
 520         linecolor: "rgb(238, 238, 238)"
 521         linewidth: 1
 522         range: []
 523         showgrid: True
 524         showline: True
 525         showticklabels: True
 526         tickcolor: "rgb(238, 238, 238)"
 527         zeroline: False
 528       legend:
 529         orientation: "h"
 530         xanchor: "center"
 531         yanchor: "top"
 532         x: 0.5
 533         y: 1
 534         bgcolor: "rgba(255, 255, 255, 0)"
 535         bordercolor: "rgba(255, 255, 255, 0)"
 536       barmode: "group"
 537       bargap: 0.15
 538       bargroupgap: 0.1
 539       autosize: False
 540       margin:
 541           't': 50
 542           'b': 200
 543           'l': 50
 544           'r': 20
 545       showlegend: True
 546       width: 700
 547       height: 1000
 548
 549 -
 550   type: "debug"
 551   general:
 552     input-format: "xml"  # zip or xml
 553     extract: "robot-plugin/output.xml"  # Only for zip
 554   builds:
 555     # The files must be in the directory DIR[WORKING,DATA]
 556     csit-vpp-perf-1801-all:
 557     -
 558       build: 1
 559       file: "{DIR[WORKING,DATA]}/output.xml"
 560     -
 561       build: 2
 562       file: "{DIR[WORKING,DATA]}/output.xml"
 563     -
 564       build: 3
 565       file: "{DIR[WORKING,DATA]}/output.xml"
 566     -
 567       build: 4
 568       file: "{DIR[WORKING,DATA]}/output.xml"
 569
 570 -
 571   type: "static"
 572   src-path: "{DIR[RST]}"
 573   dst-path: "{DIR[WORKING,SRC]}"
 574
 575 -
 576   type: "input"  # Ignored in debug mode
 577   general:
 578     file-name: "robot-plugin.zip"
 579     file-format: ".zip"
 580     download-path: "{job}/{build}/robot/report/*zip*/{filename}"
 581     extract: "robot-plugin/output.xml"
 582   builds:
 583 #    csit-vpp-perf-1707-all:
 584 #    - 9
 585 #    - 10
 586 #    - 13
 587 #    - 14
 588 #    - 15
 589 #    - 16
 590 #    - 17
 591 #    - 18
 592 #    - 19
 593 #    - 21
 594     csit-vpp-perf-1710-all:
 595     - 11
 596     - 12
 597     - 13
 598     - 14
 599     - 15
 600     - 16
 601     - 17
 602     - 18
 603     - 19
 604     - 20
 605     csit-vpp-perf-1801-all:
 606 #    - 122  # full
 607 #    - 126  # full
 608 #    - 129  # full
 609 #    - 140  # full
 610     - 124  # sel
 611     - 127  # sel
 612     - 128  # sel
 613     - 141  # sel
 614     - 142  # sel
 615     - 143  # sel
 616     - 145  # sel
 617     - 146  # sel
 618     - 162  # sel
 619     - 163  # sel
 620     - 167  # sel
 621     - 172  # sel acl only
 622     csit-vpp-perf-1804-all:
 623     - 19  # full
 624     - 20  # full
 625     - 25  # full
 626     - 26  # full
 627     - 21  # sel
 628     - 22  # sel
 629     - 23  # sel
 630     - 24  # sel
 631     - 27  # sel
 632     - 28  # sel
 633     - 29  # sel
 634     - 30  # sel
 635     - 31  # sel
 636     - 35  # sel
 637     - 39  # wrk
 638     - 40  # wrk
 639     - 41  # wrk
 640     - 42  # wrk
 641     - 43  # wrk
 642     - 44  # wrk
 643     - 45  # wrk
 644     - 46  # wrk
 645     - 47  # wrk
 646     - 48  # wrk
 647     csit-vpp-perf-check-1801:
 648     - 3   # mrr
 649     - 4   # mrr
 650     - 5   # mrr
 651     - 6   # mrr
 652     - 7   # mrr
 653     - 8   # mrr
 654     - 9   # mrr
 655     - 11  # mrr
 656     - 12  # mrr
 657     - 13  # mrr
 658     csit-vpp-perf-check-1804:
 659     - 5   # mrr - full
 660     - 6   # mrr - sel
 661     - 7   # mrr - sel
 662     - 8   # mrr - sel
 663     - 9   # mrr - sel
 664     - 10  # mrr - sel
 665     - 11  # mrr - sel
 666     - 12  # mrr - sel
 667     - 13  # mrr - sel
 668     - 14  # mrr - sel
 669     - 15  # mrr - sel
 670 #    csit-ligato-perf-1710-all:
 671 #    - 5
 672 #    - 7
 673 #    - 8
 674 #    - 9
 675 #    - 10
 676 #    - 11
 677 #    - 12
 678 #    - 13
 679 #    - 16
 680 #    - 17
 681 #    csit-ligato-perf-1801-all:
 682 #    - 16  # sel
 683 #    - 17  # sel
 684 #    - 18  # sel
 685 #    - 19  # sel
 686 #    - 20  # sel
 687 #    - 21  # sel
 688 #    - 22  # sel
 689 #    - 23  # sel
 690 #    - 24  # sel
 691 #    - 25  # full
 692     csit-ligato-perf-1804-all:
 693     - 4   # full
 694     - 5   # sel
 695     - 6   # sel
 696     - 7   # sel
 697     - 8   # sel
 698     - 9   # sel
 699     - 10  # sel
 700     - 11  # sel
 701     - 12  # sel
 702     - 13  # sel
 703     - 14  # sel
 704     csit-dpdk-perf-1804-all:
 705     - 4
 706     - 5
 707     - 6
 708     - 7
 709     - 8
 710     - 9
 711     - 10
 712     - 11
 713     - 12
 714     - 13
 715     csit-vpp-functional-1804-ubuntu1604-virl:
 716     - 199
 717     csit-vpp-functional-1804-centos7-virl:
 718     - 207
 719     csit-nsh_sfc-verify-func-1804-ubuntu1604-virl:
 720     - 7
 721     csit-hc2vpp-verify-func-1804-ubuntu1604:
 722     - 3
 723
 724 -
 725   type: "output"
 726   output: "report"
 727   format:
 728     html:
 729     - full
 730     pdf:
 731     - minimal
 732
 733 ################################################################################
 734 ###                               T A B L E S                                ###
 735 ################################################################################
 736
 737 #-
 738 #  type: "table"
 739 #  title: "Performance Impact of Meltdown Patches"
 740 #  algorithm: "table_performance_comparison"
 741 #  output-file-ext: ".csv"
 742 ## TODO: specify dir
 743 #  output-file: "{DIR[STATIC,VPP]}/meltdown-impact"
 744 #  reference:
 745 #    title: "No Meltdown"
 746 ## TODO: specify data sources
 747 #    data:
 748 #      csit-vpp-perf-1707-all:
 749 #      - 9
 750 #      - 10
 751 #      - 13
 752 #  compare:
 753 #    title: "Meltdown Patches Applied"
 754 ## TODO: specify data sources
 755 #    data:
 756 #      csit-vpp-perf-1710-all:
 757 #      - 11
 758 #      - 12
 759 #      - 13
 760 #  data:
 761 #    "vpp-meltdown-impact"
 762 #  filter: "all"
 763 #  parameters:
 764 #  - "name"
 765 #  - "parent"
 766 #  - "throughput"
 767 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
 768 #  # to present all tests.
 769 #  nr-of-tests-shown: 20
 770 #
 771 #-
 772 #  type: "table"
 773 #  title: "Performance Impact of Spectre Patches"
 774 #  algorithm: "table_performance_comparison"
 775 #  output-file-ext: ".csv"
 776 ## TODO: specify dir
 777 #  output-file: "{DIR[STATIC,VPP]}/meltdown-spectre-impact"
 778 #  reference:
 779 #    title: "No Spectre"
 780 ## TODO: specify data sources
 781 #    data:
 782 #      csit-vpp-perf-1707-all:
 783 #      - 9
 784 #      - 10
 785 #      - 13
 786 #  compare:
 787 #    title: "Spectre Patches Applied"
 788 ## TODO: specify data sources
 789 #    data:
 790 #      csit-vpp-perf-1710-all:
 791 #      - 11
 792 #      - 12
 793 #      - 13
 794 #  data:
 795 #    "vpp-spectre-impact"
 796 #  filter: "all"
 797 #  parameters:
 798 #  - "name"
 799 #  - "parent"
 800 #  - "throughput"
 801 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
 802 #  # to present all tests.
 803 #  nr-of-tests-shown: 20
 804
 805 -
 806   type: "table"
 807   title: "VPP Performance Changes"
 808   algorithm: "table_performance_comparison"
 809   output-file-ext: ".csv"
 810   output-file: "{DIR[STATIC,VPP]}/performance-changes"
 811   history:
 812     -
 813       title: "rls1710"
 814       data:
 815         csit-vpp-perf-1710-all:
 816         - 11
 817         - 12
 818         - 13
 819         - 14
 820         - 15
 821         - 16
 822         - 17
 823         - 18
 824         - 19
 825         - 20
 826   reference:
 827     title: "rls1801"
 828     data:
 829       csit-vpp-perf-1801-all:
 830       - 124  # sel
 831       - 127  # sel
 832       - 128  # sel
 833       - 141  # sel
 834       - 142  # sel
 835       - 143  # sel
 836       - 145  # sel
 837       - 146  # sel
 838       - 162  # sel
 839       - 163  # sel
 840       - 167  # sel
 841       - 172  # sel acl only
 842   compare:
 843     title: "rls1804"
 844     data:
 845       csit-vpp-perf-1804-all:
 846       - 21  # sel
 847       - 22  # sel
 848       - 23  # sel
 849       - 24  # sel
 850       - 27  # sel
 851       - 28  # sel
 852       - 29  # sel
 853       - 30  # sel
 854       - 31  # sel
 855       - 35  # sel
 856   data: "vpp-performance-changes"
 857   filter: "all"
 858   parameters:
 859   - "name"
 860   - "parent"
 861   - "throughput"
 862   # Number of the best and the worst tests presented in the table. Use 0 (zero)
 863   # to present all tests.
 864   nr-of-tests-shown: 20
 865   outlier-const: 1.5
 866
 867 -
 868   type: "table"
 869   title: "VPP Performance Changes - MRR"
 870   algorithm: "table_performance_comparison_mrr"
 871   output-file-ext: ".csv"
 872   output-file: "{DIR[STATIC,VPP]}/performance-changes-mrr"
 873   reference:
 874     title: "Release 1801"
 875     data:
 876       csit-vpp-perf-check-1801:
 877       - 3
 878       - 4
 879       - 5
 880       - 6
 881       - 7
 882       - 8
 883       - 9
 884       - 11
 885       - 12
 886       - 13
 887   compare:
 888     title: "Release 1804"
 889     data:
 890       csit-vpp-perf-check-1804:
 891       - 6   # mrr - sel
 892       - 7   # mrr - sel
 893       - 8   # mrr - sel
 894       - 9   # mrr - sel
 895       - 10  # mrr - sel
 896       - 11  # mrr - sel
 897       - 12  # mrr - sel
 898       - 13  # mrr - sel
 899       - 14  # mrr - sel
 900       - 15  # mrr - sel
 901   data: "vpp-performance-changes-mrr"
 902   filter: "all"
 903   parameters:
 904   - "name"
 905   - "parent"
 906   - "result"
 907   # Number of the best and the worst tests presented in the table. Use 0 (zero)
 908   # to present all tests.
 909   nr-of-tests-shown: 20
 910   outlier-const: 1.5
 911
 912 #-
 913 #  type: "table"
 914 #  title: "Performance improvements"
 915 #  algorithm: "table_performance_improvements"
 916 #  template: "{DIR[DTR,PERF,VPP,IMPRV]}/tmpl_performance_improvements.csv"
 917 #  output-file-ext: ".csv"
 918 #  output-file: "{DIR[DTR,PERF,VPP,IMPRV]}/performance_improvements"
 919 #  columns:
 920 #  -
 921 #    title: "Test Name"
 922 #    data: "template 1"
 923 #  -
 924 #    title: "16.09 mean [Mpps]"
 925 #    data: "template 2"
 926 #  -
 927 #    title: "17.01 mean [Mpps]"
 928 #    data: "template 3"
 929 #  -
 930 #    title: "17.04 mean [Mpps]"
 931 #    data: "template 4"
 932 #  -
 933 #    title: "17.07 mean [Mpps]"
 934 #    data: "data csit-vpp-perf-1707-all mean"
 935 #  -
 936 #    title: "17.10 mean [Mpps]"
 937 #    data: "data csit-vpp-perf-1710-all csit-ligato-perf-1710-all mean"
 938 #  -
 939 #    title: "18.01 mean [Mpps]"
 940 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all mean"
 941 #  -
 942 #    title: "18.01 stdev [Mpps]"
 943 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all stdev"
 944 #  -
 945 #    title: "17.10 to 18.01 change [%]"
 946 #    data: "operation relative_change 5 6"
 947 #  rows: "generated"
 948 #  data:
 949 #    "performance-improvements"
 950 #  filter: "template"
 951 #  parameters:
 952 #  - "throughput"
 953
 954 -
 955   type: "table"
 956   title: "Detailed Test Results - VPP Performance Results"
 957   algorithm: "table_merged_details"
 958   output-file-ext: ".csv"
 959   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
 960   columns:
 961   -
 962     title: "Name"
 963     data: "data name"
 964   -
 965     title: "Documentation"
 966     data: "data doc"
 967   -
 968     title: "Status"
 969     data: "data msg"
 970   rows: "generated"
 971   data:
 972     "vpp-perf-results"
 973   filter: "not 'NDRCHK' and not 'PDRCHK'"
 974   parameters:
 975   - "name"
 976   - "parent"
 977   - "doc"
 978   - "msg"
 979
 980 -
 981   type: "table"
 982   title: "Test configuration - VPP Performance Test Configs"
 983   algorithm: "table_merged_details"
 984   output-file-ext: ".csv"
 985   output-file: "{DIR[DTC,PERF,VPP]}/vpp_test_configuration"
 986   columns:
 987   -
 988     title: "Name"
 989     data: "data name"
 990   -
 991     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
 992     data: "data vat-history"
 993   rows: "generated"
 994   data:
 995     "vpp-perf-results"
 996   filter: "not 'NDRCHK' and not 'PDRCHK'"
 997   parameters:
 998   - "parent"
 999   - "name"
1000   - "vat-history"
1001
1002 -
1003   type: "table"
1004   title: "Test Operational Data - VPP Performance Operational Data"
1005   algorithm: "table_merged_details"
1006   output-file-ext: ".csv"
1007   output-file: "{DIR[DTO,PERF,VPP]}/vpp_test_operational"
1008   columns:
1009   -
1010     title: "Name"
1011     data: "data name"
1012   -
1013     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
1014     data: "data show-run"
1015   rows: "generated"
1016   data:
1017     "vpp-perf-results"
1018   filter: "not 'NDRCHK' and not 'PDRCHK'"
1019   parameters:
1020   - "parent"
1021   - "name"
1022   - "show-run"
1023
1024 -
1025   type: "table"
1026   title: "Detailed Test Results - VPP MRR Results"
1027   algorithm: "table_details"
1028   output-file-ext: ".csv"
1029   output-file: "{DIR[DTR,MRR,VPP]}/vpp_mrr_results"
1030   columns:
1031   -
1032     title: "Name"
1033     data: "data name"
1034   -
1035     title: "Documentation"
1036     data: "data doc"
1037   -
1038     title: "Status"
1039     data: "data msg"
1040   rows: "generated"
1041   data:
1042     "vpp-mrr-results"
1043   filter: "'MRR'"
1044   parameters:
1045   - "name"
1046   - "parent"
1047   - "doc"
1048   - "msg"
1049
1050 -
1051   type: "table"
1052   title: "Test configuration - VPP MRR Test Configs"
1053   algorithm: "table_details"
1054   output-file-ext: ".csv"
1055   output-file: "{DIR[DTC,MRR,VPP]}/vpp_mrr_test_configuration"
1056   columns:
1057   -
1058     title: "Name"
1059     data: "data name"
1060   -
1061     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1062     data: "data vat-history"
1063   rows: "generated"
1064   data:
1065     "vpp-mrr-results"
1066   filter: "'MRR'"
1067   parameters:
1068   - "parent"
1069   - "name"
1070   - "vat-history"
1071
1072 -
1073   type: "table"
1074   title: "Detailed Test Results - VPP Functional Results"
1075   algorithm: "table_details"
1076   output-file-ext: ".csv"
1077   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
1078   columns:
1079   -
1080     title: "Name"
1081     data: "data name"
1082   -
1083     title: "Documentation"
1084     data: "data doc"
1085   -
1086     title: "Status"
1087     data: "data status"
1088   rows: "generated"
1089   data:
1090     "vpp-func-results"
1091   filter: "all"
1092   parameters:
1093   - "name"
1094   - "parent"
1095   - "doc"
1096   - "status"
1097
1098 -
1099   type: "table"
1100   title: "Detailed Test Results - VPP Functional Results - CentOS"
1101   algorithm: "table_details"
1102   output-file-ext: ".csv"
1103   output-file: "{DIR[DTR,FUNC,VPP,CENTOS]}/vpp_functional_results_centos"
1104   columns:
1105   -
1106     title: "Name"
1107     data: "data name"
1108   -
1109     title: "Documentation"
1110     data: "data doc"
1111   -
1112     title: "Status"
1113     data: "data status"
1114   rows: "generated"
1115   data:
1116     "vpp-func-results-centos"
1117   filter: "all"
1118   parameters:
1119   - "name"
1120   - "parent"
1121   - "doc"
1122   - "status"
1123
1124 -
1125   type: "table"
1126   title: "Test configuration - VPP Functional Test Configs"
1127   algorithm: "table_details"
1128   output-file-ext: ".csv"
1129   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
1130   columns:
1131   -
1132     title: "Name"
1133     data: "data name"
1134   -
1135     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1136     data: "data vat-history"
1137   rows: "generated"
1138   data:
1139     "vpp-func-results"
1140   filter: "all"
1141   parameters:
1142   - "parent"
1143   - "name"
1144   - "vat-history"
1145
1146 -
1147   type: "table"
1148   title: "Test configuration - VPP Functional Test Configs - CentOS"
1149   algorithm: "table_details"
1150   output-file-ext: ".csv"
1151   output-file: "{DIR[DTC,FUNC,VPP,CENTOS]}/vpp_functional_configuration_centos"
1152   columns:
1153   -
1154     title: "Name"
1155     data: "data name"
1156   -
1157     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1158     data: "data vat-history"
1159   rows: "generated"
1160   data:
1161     "vpp-func-results-centos"
1162   filter: "all"
1163   parameters:
1164   - "parent"
1165   - "name"
1166   - "vat-history"
1167
1168 -
1169   type: "table"
1170   title: "Detailed Test Results - Container Orchestrated Topologies Performance Results"
1171   algorithm: "table_details"
1172   output-file-ext: ".csv"
1173   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
1174   columns:
1175   -
1176     title: "Name"
1177     data: "data name"
1178   -
1179     title: "Documentation"
1180     data: "data doc"
1181   -
1182     title: "Status"
1183     data: "data msg"
1184   rows: "generated"
1185   data:
1186     "ligato-perf-results"
1187   filter: "all"
1188   parameters:
1189   - "name"
1190   - "parent"
1191   - "doc"
1192   - "msg"
1193
1194 -
1195   type: "table"
1196   title: "Detailed Test Results - DPDK Performance Results"
1197   algorithm: "table_details"
1198   output-file-ext: ".csv"
1199   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
1200   columns:
1201   -
1202     title: "Name"
1203     data: "data name"
1204   -
1205     title: "Documentation"
1206     data: "data doc"
1207   -
1208     title: "Status"
1209     data: "data msg"
1210   rows: "generated"
1211   data:
1212     "dpdk-perf-results"
1213   filter: "all"
1214   parameters:
1215   - "name"
1216   - "parent"
1217   - "doc"
1218   - "msg"
1219
1220 -
1221   type: "table"
1222   title: "Detailed Test Results - Honeycomb Functional Results"
1223   algorithm: "table_details"
1224   output-file-ext: ".csv"
1225   output-file: "{DIR[DTR,FUNC,HC]}/hc_functional_results"
1226   columns:
1227   -
1228     title: "Name"
1229     data: "data name"
1230   -
1231     title: "Documentation"
1232     data: "data doc"
1233   -
1234     title: "Status"
1235     data: "data status"
1236   rows: "generated"
1237   data:
1238     "hc-func-results"
1239   filter: "all"
1240   parameters:
1241   - "name"
1242   - "parent"
1243   - "doc"
1244   - "status"
1245
1246 -
1247   type: "table"
1248   title: "Detailed Test Results - NSH SFC Functional Results"
1249   algorithm: "table_details"
1250   output-file-ext: ".csv"
1251   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nsh_sfc_functional_results"
1252   columns:
1253   -
1254     title: "Name"
1255     data: "data name"
1256   -
1257     title: "Documentation"
1258     data: "data doc"
1259   -
1260     title: "Status"
1261     data: "data status"
1262   rows: "generated"
1263   data:
1264     "nsh-func-results"
1265   filter: "all"
1266   parameters:
1267   - "name"
1268   - "parent"
1269   - "doc"
1270   - "status"
1271
1272 ################################################################################
1273 ###                                F I L E S                                 ###
1274 ################################################################################
1275
1276 -
1277   type: "file"
1278   title: "VPP Performance Results"
1279   algorithm: "file_merged_test_results"
1280   output-file-ext: ".rst"
1281   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
1282   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1283   dir-tables: "{DIR[DTR,PERF,VPP]}"
1284   data:
1285     "vpp-perf-results"
1286   filter: "not 'NDRCHK' and not 'PDRCHK'"
1287   parameters:
1288   - "name"
1289   - "doc"
1290   - "level"
1291   - "parent"
1292   data-start-level: 3  # 0, 1, 2, ...
1293   chapters-start-level: 2  # 0, 1, 2, ...
1294
1295 -
1296   type: "file"
1297   title: "VPP Performance Configuration"
1298   algorithm: "file_merged_test_results"
1299   output-file-ext: ".rst"
1300   output-file: "{DIR[DTC,PERF,VPP]}/vpp_performance_configuration"
1301   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1302   dir-tables: "{DIR[DTC,PERF,VPP]}"
1303   data:
1304     "vpp-perf-results"
1305   filter: "not 'NDRCHK' and not 'PDRCHK'"
1306   parameters:
1307   - "name"
1308   - "doc"
1309   - "level"
1310   - "parent"
1311   data-start-level: 3  # 0, 1, 2, ...
1312   chapters-start-level: 2  # 0, 1, 2, ...
1313
1314 -
1315   type: "file"
1316   title: "VPP Performance Operational Data"
1317   algorithm: "file_merged_test_results"
1318   output-file-ext: ".rst"
1319   output-file: "{DIR[DTO,PERF,VPP]}/vpp_performance_operational_data"
1320   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1321   dir-tables: "{DIR[DTO,PERF,VPP]}"
1322   data:
1323     "vpp-perf-results"
1324   filter: "not 'NDRCHK' and not 'PDRCHK'"
1325   parameters:
1326   - "name"
1327   - "doc"
1328   - "level"
1329   - "parent"
1330   data-start-level: 3  # 0, 1, 2, ...
1331   chapters-start-level: 2  # 0, 1, 2, ...
1332
1333 -
1334   type: "file"
1335   title: "VPP MRR Results"
1336   algorithm: "file_test_results"
1337   output-file-ext: ".rst"
1338   output-file: "{DIR[DTR,MRR,VPP]}/vpp_mrr_results"
1339   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1340   dir-tables: "{DIR[DTR,MRR,VPP]}"
1341   data:
1342     "vpp-mrr-results"
1343   filter: "'MRR'"
1344   parameters:
1345   - "name"
1346   - "doc"
1347   - "level"
1348   - "parent"
1349   data-start-level: 2  # 0, 1, 2, ...
1350   chapters-start-level: 2  # 0, 1, 2, ...
1351
1352 -
1353   type: "file"
1354   title: "VPP MRR Configuration"
1355   algorithm: "file_test_results"
1356   output-file-ext: ".rst"
1357   output-file: "{DIR[DTC,MRR,VPP]}/vpp_mrr_configuration"
1358   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1359   dir-tables: "{DIR[DTC,MRR,VPP]}"
1360   data:
1361     "vpp-mrr-results"
1362   filter: "'MRR'"
1363   parameters:
1364   - "name"
1365   - "doc"
1366   - "level"
1367   - "parent"
1368   data-start-level: 2  # 0, 1, 2, ...
1369   chapters-start-level: 2  # 0, 1, 2, ...
1370
1371 -
1372   type: "file"
1373   title: "VPP Functional Results"
1374   algorithm: "file_test_results"
1375   output-file-ext: ".rst"
1376   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
1377   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1378   dir-tables: "{DIR[DTR,FUNC,VPP]}"
1379   data:
1380     "vpp-func-results"
1381   filter: "all"
1382   parameters:
1383   - "name"
1384   - "doc"
1385   - "level"
1386   data-start-level: 3  # 0, 1, 2, ...
1387   chapters-start-level: 2  # 0, 1, 2, ...
1388
1389 -
1390   type: "file"
1391   title: "VPP Functional Results - CentOS"
1392   algorithm: "file_test_results"
1393   output-file-ext: ".rst"
1394   output-file: "{DIR[DTR,FUNC,VPP,CENTOS]}/vpp_functional_results_centos"
1395   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1396   dir-tables: "{DIR[DTR,FUNC,VPP,CENTOS]}"
1397   data:
1398     "vpp-func-results-centos"
1399   filter: "all"
1400   parameters:
1401   - "name"
1402   - "doc"
1403   - "level"
1404   data-start-level: 3  # 0, 1, 2, ...
1405   chapters-start-level: 2  # 0, 1, 2, ...
1406
1407 -
1408   type: "file"
1409   title: "VPP Functional Configuration"
1410   algorithm: "file_test_results"
1411   output-file-ext: ".rst"
1412   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
1413   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1414   dir-tables: "{DIR[DTC,FUNC,VPP]}"
1415   data:
1416     "vpp-func-results"
1417   filter: "all"
1418   parameters:
1419   - "name"
1420   - "doc"
1421   - "level"
1422   data-start-level: 3  # 0, 1, 2, ...
1423   chapters-start-level: 2  # 0, 1, 2, ...
1424
1425 -
1426   type: "file"
1427   title: "VPP Functional Configuration - CentOS"
1428   algorithm: "file_test_results"
1429   output-file-ext: ".rst"
1430   output-file: "{DIR[DTC,FUNC,VPP,CENTOS]}/vpp_functional_configuration_centos"
1431   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1432   dir-tables: "{DIR[DTC,FUNC,VPP,CENTOS]}"
1433   data:
1434     "vpp-func-results-centos"
1435   filter: "all"
1436   parameters:
1437   - "name"
1438   - "doc"
1439   - "level"
1440   data-start-level: 3  # 0, 1, 2, ...
1441   chapters-start-level: 2  # 0, 1, 2, ...
1442
1443 -
1444   type: "file"
1445   title: "Container Orchestrated Performance Results"
1446   algorithm: "file_test_results"
1447   output-file-ext: ".rst"
1448   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
1449   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1450   dir-tables: "{DIR[DTR,PERF,COT]}"
1451   data:
1452     "ligato-perf-results"
1453   filter: "all"
1454   parameters:
1455   - "name"
1456   - "doc"
1457   - "level"
1458   data-start-level: 2  # 0, 1, 2, ...
1459   chapters-start-level: 2  # 0, 1, 2, ...
1460
1461 -
1462   type: "file"
1463   title: "DPDK Performance Results"
1464   algorithm: "file_test_results"
1465   output-file-ext: ".rst"
1466   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
1467   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1468   dir-tables: "{DIR[DTR,PERF,DPDK]}"
1469   data:
1470     "dpdk-perf-results"
1471   filter: "all"
1472   parameters:
1473   - "name"
1474   - "doc"
1475   - "level"
1476   chapters:
1477   - "suites"
1478   data-start-level: 2  # 0, 1, 2, ...
1479   chapters-start-level: 2  # 0, 1, 2, ...
1480
1481 -
1482   type: "file"
1483   title: "Honeycomb Functional Results"
1484   algorithm: "file_test_results"
1485   output-file-ext: ".rst"
1486   output-file: "{DIR[DTR,FUNC,HC]}/honeycomb_functional_results"
1487   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1488   dir-tables: "{DIR[DTR,FUNC,HC]}"
1489   data:
1490     "hc-func-results"
1491   filter: "all"
1492   parameters:
1493   - "name"
1494   - "doc"
1495   - "level"
1496   chapters:
1497   - "suites"
1498   data-start-level: 3  # 0, 1, 2, ...
1499   chapters-start-level: 2  # 0, 1, 2, ...
1500
1501 -
1502   type: "file"
1503   title: "NSH SFC Functional Results"
1504   algorithm: "file_test_results"
1505   output-file-ext: ".rst"
1506   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nshsfc_functional_results"
1507   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1508   dir-tables: "{DIR[DTR,FUNC,NSHSFC]}"
1509   data:
1510     "nsh-func-results"
1511   filter: "all"
1512   parameters:
1513   - "name"
1514   - "doc"
1515   - "level"
1516   chapters:
1517   - "suites"
1518   data-start-level: 2  # 0, 1, 2, ...
1519   chapters-start-level: 2  # 0, 1, 2, ...
1520
1521 ################################################################################
1522 ###                                P L O T S                                 ###
1523 ################################################################################
1524
1525 # Plots VPP HTTP Server Performance
1526 -
1527   type: "plot"
1528   title: "VPP HTTP Server Performance"
1529   algorithm: "plot_http_server_performance_box"
1530   output-file-type: ".html"
1531   output-file: "{DIR[STATIC,VPP]}/http-server-performance-cps"
1532   data:
1533     "plot-vpp-http-server-performance"
1534   # Keep this formatting, the filter is enclosed with " (quotation mark) and
1535   # each tag is enclosed with ' (apostrophe).
1536   filter: "'HTTP' and 'TCP_CPS'"
1537   parameters:
1538   - "result"
1539   - "name"
1540   traces:
1541     hoverinfo: "x+y"
1542     boxpoints: "outliers"
1543     whiskerwidth: 0
1544   layout:
1545     title: "VPP HTTP Server Performance"
1546     layout:
1547       "plot-cps"
1548
1549 -
1550   type: "plot"
1551   title: "VPP HTTP Server Performance"
1552   algorithm: "plot_http_server_performance_box"
1553   output-file-type: ".html"
1554   output-file: "{DIR[STATIC,VPP]}/http-server-performance-rps"
1555   data:
1556     "plot-vpp-http-server-performance"
1557   filter: "'HTTP' and 'TCP_RPS'"
1558   parameters:
1559   - "result"
1560   - "name"
1561   traces:
1562     hoverinfo: "x+y"
1563     boxpoints: "outliers"
1564     whiskerwidth: 0
1565   layout:
1566     title: "VPP HTTP Server Performance"
1567     layout:
1568       "plot-rps"
1569
1570 # Plot Throughput Speedup Analysis
1571
1572 # L2 - 10ge2p1x520 - NDR
1573 -
1574   type: "plot"
1575   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1576   algorithm: "plot_throughput_speedup_analysis"
1577   output-file-type: ".html"
1578   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-ndrdisc"
1579   data:
1580     "plot-throughput-speedup-analysis"
1581   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1582   parameters:
1583   - "throughput"
1584   - "parent"
1585   - "tags"
1586   layout:
1587     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1588     layout:
1589       "plot-throughput-speedup-analysis"
1590
1591 # L2 - 40ge2p1xl710 - NDR
1592 -
1593   type: "plot"
1594   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1595   algorithm: "plot_throughput_speedup_analysis"
1596   output-file-type: ".html"
1597   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-l2-tsa-ndrdisc"
1598   data:
1599     "plot-throughput-speedup-analysis"
1600   filter: "'NIC_Intel-XL710' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1601   parameters:
1602   - "throughput"
1603   - "parent"
1604   - "tags"
1605   layout:
1606     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1607     layout:
1608       "plot-throughput-speedup-analysis"
1609
1610 # L2 - 10ge2p1x520 - PDR
1611 -
1612   type: "plot"
1613   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1614   algorithm: "plot_throughput_speedup_analysis"
1615   output-file-type: ".html"
1616   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-pdrdisc"
1617   data:
1618     "plot-throughput-speedup-analysis"
1619   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1620   parameters:
1621   - "throughput"
1622   - "parent"
1623   - "tags"
1624   layout:
1625     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1626     layout:
1627       "plot-throughput-speedup-analysis"
1628
1629 # IPv4 - 10ge2p1x520 - NDR
1630 -
1631   type: "plot"
1632   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1633   algorithm: "plot_throughput_speedup_analysis"
1634   output-file-type: ".html"
1635   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-ndrdisc"
1636   data:
1637     "plot-throughput-speedup-analysis"
1638   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1639   parameters:
1640   - "throughput"
1641   - "parent"
1642   - "tags"
1643   layout:
1644     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1645     layout:
1646       "plot-throughput-speedup-analysis"
1647
1648 # IPv4 - 40ge2p1xl710 - NDR
1649 -
1650   type: "plot"
1651   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1652   algorithm: "plot_throughput_speedup_analysis"
1653   output-file-type: ".html"
1654   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-ip4-tsa-ndrdisc"
1655   data:
1656     "plot-throughput-speedup-analysis"
1657   filter: "'NIC_Intel-XL710' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1658   parameters:
1659   - "throughput"
1660   - "parent"
1661   - "tags"
1662   layout:
1663     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1664     layout:
1665       "plot-throughput-speedup-analysis"
1666
1667 # IPv4 - 10ge2p1x520 - PDR
1668 -
1669   type: "plot"
1670   title: "TSA: 64B-*-ethip4-ip4(base|scale)*pdrdisc"
1671   algorithm: "plot_throughput_speedup_analysis"
1672   output-file-type: ".html"
1673   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-pdrdisc"
1674   data:
1675     "plot-throughput-speedup-analysis"
1676   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1677   parameters:
1678   - "throughput"
1679   - "parent"
1680   - "tags"
1681   layout:
1682     title: "64B-*-ethip4-ip4(base|scale)*pdrdisc"
1683     layout:
1684       "plot-throughput-speedup-analysis"
1685
1686 # IPv6 - 10ge2p1x520 - NDR
1687 -
1688   type: "plot"
1689   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1690   algorithm: "plot_throughput_speedup_analysis"
1691   output-file-type: ".html"
1692   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-ndrdisc"
1693   data:
1694     "plot-throughput-speedup-analysis"
1695   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1696   parameters:
1697   - "throughput"
1698   - "parent"
1699   - "tags"
1700   layout:
1701     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1702     layout:
1703       "plot-throughput-speedup-analysis"
1704
1705 # IPv6 - 40ge2p1xl710 - NDR
1706 -
1707   type: "plot"
1708   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1709   algorithm: "plot_throughput_speedup_analysis"
1710   output-file-type: ".html"
1711   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-78B-ip6-tsa-ndrdisc"
1712   data:
1713     "plot-throughput-speedup-analysis"
1714   filter: "'NIC_Intel-XL710' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1715   parameters:
1716   - "throughput"
1717   - "parent"
1718   - "tags"
1719   layout:
1720     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1721     layout:
1722       "plot-throughput-speedup-analysis"
1723
1724 # IPv6 - 10ge2p1x520 - PDR
1725 -
1726   type: "plot"
1727   title: "TSA: 78B-*-ethip6-ip6(base|scale)*pdrdisc"
1728   algorithm: "plot_throughput_speedup_analysis"
1729   output-file-type: ".html"
1730   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-pdrdisc"
1731   data:
1732     "plot-throughput-speedup-analysis"
1733   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST'"
1734   parameters:
1735   - "throughput"
1736   - "parent"
1737   - "tags"
1738   layout:
1739     title: "78B-*-ethip6-ip6(base|scale)*pdrdisc"
1740     layout:
1741       "plot-throughput-speedup-analysis"
1742
1743 # IP4_overlay - NDR
1744 -
1745   type: "plot"
1746   title: "TSA: 64B-*-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1747   algorithm: "plot_throughput_speedup_analysis"
1748   output-file-type: ".html"
1749   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ethip4-tsa-ndrdisc"
1750   data:
1751     "plot-throughput-speedup-analysis"
1752   filter: "'NIC_Intel-X520-DA2' and '64B' and 'ENCAP' and 'NDRDISC' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1753   parameters:
1754   - "throughput"
1755   - "parent"
1756   - "tags"
1757   layout:
1758     title: "64B-*-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1759     layout:
1760       "plot-throughput-speedup-analysis"
1761
1762 # IP4_overlay - PDR
1763 -
1764   type: "plot"
1765   title: "TSA: 64B-*-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1766   algorithm: "plot_throughput_speedup_analysis"
1767   output-file-type: ".html"
1768   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ethip4-tsa-pdrdisc"
1769   data:
1770     "plot-throughput-speedup-analysis"
1771   filter: "'NIC_Intel-X520-DA2' and '64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1772   parameters:
1773   - "throughput"
1774   - "parent"
1775   - "tags"
1776   layout:
1777     title: "64B-*-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1778     layout:
1779       "plot-throughput-speedup-analysis"
1780
1781 # IP6_overlay - NDR
1782 -
1783   type: "plot"
1784   title: "TSA: 78B-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1785   algorithm: "plot_throughput_speedup_analysis"
1786   output-file-type: ".html"
1787   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ethip6-tsa-ndrdisc"
1788   data:
1789     "plot-throughput-speedup-analysis"
1790   filter: "'NIC_Intel-X520-DA2' and '78B' and 'ENCAP' and 'NDRDISC' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1791   parameters:
1792   - "throughput"
1793   - "parent"
1794   - "tags"
1795   layout:
1796     title: "78B-*-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1797     layout:
1798       "plot-throughput-speedup-analysis"
1799
1800 # IP6_overlay - PDR
1801 -
1802   type: "plot"
1803   title: "TSA: 78B-*-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1804   algorithm: "plot_throughput_speedup_analysis"
1805   output-file-type: ".html"
1806   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ethip6-tsa-pdrdisc"
1807   data:
1808     "plot-throughput-speedup-analysis"
1809   filter: "'NIC_Intel-X520-DA2' and '78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1810   parameters:
1811   - "throughput"
1812   - "parent"
1813   - "tags"
1814   layout:
1815     title: "78B-*-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1816     layout:
1817       "plot-throughput-speedup-analysis"
1818
1819 # VM VHOST - NDR
1820 -
1821   type: "plot"
1822   title: "TSA: 64B-*-.*vhost.*-ndrdisc"
1823   algorithm: "plot_throughput_speedup_analysis"
1824   output-file-type: ".html"
1825   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-vhost-sel1-tsa-ndrdisc"
1826   data:
1827     "plot-throughput-speedup-analysis"
1828   filter: "'NIC_Intel-X520-DA2' and '64B' and 'NDRDISC' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
1829   parameters:
1830   - "throughput"
1831   - "parent"
1832   - "tags"
1833   layout:
1834     title: "64B-*-.*vhost.*-ndrdisc"
1835     layout:
1836       "plot-throughput-speedup-analysis"
1837
1838 -
1839   type: "plot"
1840   title: "TSA: 64B-*-.*vhost.*-ndrdisc"
1841   algorithm: "plot_throughput_speedup_analysis"
1842   output-file-type: ".html"
1843   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-vhost-sel1-tsa-ndrdisc"
1844   data:
1845     "plot-throughput-speedup-analysis"
1846   filter: "'NIC_Intel-XL710' and '64B' and 'NDRDISC' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
1847   parameters:
1848   - "throughput"
1849   - "parent"
1850   - "tags"
1851   layout:
1852     title: "64B-*-.*vhost.*-ndrdisc"
1853     layout:
1854       "plot-throughput-speedup-analysis"
1855
1856 -
1857   type: "plot"
1858   title: "TSA: 64B-*-.*vhost.*-ndrdisc"
1859   algorithm: "plot_throughput_speedup_analysis"
1860   output-file-type: ".html"
1861   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-vhost-sel2-tsa-ndrdisc"
1862   data:
1863     "plot-throughput-speedup-analysis"
1864   filter: "'NIC_Intel-X520-DA2' and '64B' and 'NDRDISC' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
1865   parameters:
1866   - "throughput"
1867   - "parent"
1868   - "tags"
1869   layout:
1870     title: "64B-*-.*vhost.*-ndrdisc"
1871     layout:
1872       "plot-throughput-speedup-analysis"
1873
1874 -
1875   type: "plot"
1876   title: "TSA: 64B-*-.*vhost.*-ndrdisc"
1877   algorithm: "plot_throughput_speedup_analysis"
1878   output-file-type: ".html"
1879   output-file: "{DIR[STATIC,VPP]}/10ge2p1x710-64B-vhost-sel2-tsa-ndrdisc"
1880   data:
1881     "plot-throughput-speedup-analysis"
1882   filter: "'NIC_Intel-X710' and '64B' and 'NDRDISC' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
1883   parameters:
1884   - "throughput"
1885   - "parent"
1886   - "tags"
1887   layout:
1888     title: "64B-*-.*vhost.*-ndrdisc"
1889     layout:
1890       "plot-throughput-speedup-analysis"
1891
1892 -
1893   type: "plot"
1894   title: "TSA: 64B-*-.*vhost.*-ndrdisc"
1895   algorithm: "plot_throughput_speedup_analysis"
1896   output-file-type: ".html"
1897   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-vhost-sel2-tsa-ndrdisc"
1898   data:
1899     "plot-throughput-speedup-analysis"
1900   filter: "'NIC_Intel-XL710' and '64B' and 'NDRDISC' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
1901   parameters:
1902   - "throughput"
1903   - "parent"
1904   - "tags"
1905   layout:
1906     title: "64B-*-.*vhost.*-ndrdisc"
1907     layout:
1908       "plot-throughput-speedup-analysis"
1909
1910 # VM VHOST - PDR
1911 -
1912   type: "plot"
1913   title: "TSA: 64B-*-.*vhost.*-pdrdisc"
1914   algorithm: "plot_throughput_speedup_analysis"
1915   output-file-type: ".html"
1916   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-vhost-sel1-tsa-pdrdisc"
1917   data:
1918     "plot-throughput-speedup-analysis"
1919   filter: "'NIC_Intel-X520-DA2' and '64B' and 'PDRDISC' and not 'NDRDISC' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
1920   parameters:
1921   - "throughput"
1922   - "parent"
1923   - "tags"
1924   layout:
1925     title: "64B-*-.*vhost.*-pdrdisc"
1926     layout:
1927       "plot-throughput-speedup-analysis"
1928
1929 -
1930   type: "plot"
1931   title: "TSA: 64B-*-.*vhost.*-pdrdisc"
1932   algorithm: "plot_throughput_speedup_analysis"
1933   output-file-type: ".html"
1934   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-vhost-sel1-tsa-pdrdisc"
1935   data:
1936     "plot-throughput-speedup-analysis"
1937   filter: "'NIC_Intel-XL710' and '64B' and 'PDRDISC' and not 'NDRDISC' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
1938   parameters:
1939   - "throughput"
1940   - "parent"
1941   - "tags"
1942   layout:
1943     title: "64B-*-.*vhost.*-pdrdisc"
1944     layout:
1945       "plot-throughput-speedup-analysis"
1946
1947 -
1948   type: "plot"
1949   title: "TSA: 64B-*-.*vhost.*-pdrdisc"
1950   algorithm: "plot_throughput_speedup_analysis"
1951   output-file-type: ".html"
1952   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-vhost-sel2-tsa-pdrdisc"
1953   data:
1954     "plot-throughput-speedup-analysis"
1955   filter: "'NIC_Intel-X520-DA2' and '64B' and 'PDRDISC' and not 'NDRDISC' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
1956   parameters:
1957   - "throughput"
1958   - "parent"
1959   - "tags"
1960   layout:
1961     title: "64B-*-.*vhost.*-pdrdisc"
1962     layout:
1963       "plot-throughput-speedup-analysis"
1964
1965 -
1966   type: "plot"
1967   title: "TSA: 64B-*-.*vhost.*-pdrdisc"
1968   algorithm: "plot_throughput_speedup_analysis"
1969   output-file-type: ".html"
1970   output-file: "{DIR[STATIC,VPP]}/10ge2p1x710-64B-vhost-sel2-tsa-pdrdisc"
1971   data:
1972     "plot-throughput-speedup-analysis"
1973   filter: "'NIC_Intel-X710' and '64B' and 'PDRDISC' and not 'NDRDISC' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
1974   parameters:
1975   - "throughput"
1976   - "parent"
1977   - "tags"
1978   layout:
1979     title: "64B-*-.*vhost.*-pdrdisc"
1980     layout:
1981       "plot-throughput-speedup-analysis"
1982
1983 -
1984   type: "plot"
1985   title: "TSA: 64B-*-.*vhost.*-pdrdisc"
1986   algorithm: "plot_throughput_speedup_analysis"
1987   output-file-type: ".html"
1988   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-vhost-sel2-tsa-pdrdisc"
1989   data:
1990     "plot-throughput-speedup-analysis"
1991   filter: "'NIC_Intel-XL710' and '64B' and 'PDRDISC' and not 'NDRDISC' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
1992   parameters:
1993   - "throughput"
1994   - "parent"
1995   - "tags"
1996   layout:
1997     title: "64B-*-.*vhost.*-pdrdisc"
1998     layout:
1999       "plot-throughput-speedup-analysis"
2000
2001 # CRYPTO - NDR
2002 -
2003   type: "plot"
2004   title: "TSA: 64B-*-.*ipsec.*-ndrdisc"
2005   algorithm: "plot_throughput_speedup_analysis"
2006   output-file-type: ".html"
2007   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-ipsechw-tsa-ndrdisc"
2008   data:
2009     "plot-throughput-speedup-analysis"
2010   filter: "'NIC_Intel-XL710' and '64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2011   parameters:
2012   - "throughput"
2013   - "parent"
2014   - "tags"
2015   layout:
2016     title: "64B-*-.*ipsec.*-ndrdisc"
2017     layout:
2018       "plot-throughput-speedup-analysis"
2019
2020 # CRYPTO - PDR
2021 -
2022   type: "plot"
2023   title: "TSA: 64B-*-.*ipsec.*-pdrdisc"
2024   algorithm: "plot_throughput_speedup_analysis"
2025   output-file-type: ".html"
2026   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-ipsechw-tsa-pdrdisc"
2027   data:
2028     "plot-throughput-speedup-analysis"
2029   filter: "'NIC_Intel-XL710' and '64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2030   parameters:
2031   - "throughput"
2032   - "parent"
2033   - "tags"
2034   layout:
2035     title: "64B-*-.*ipsec.*-pdrdisc"
2036     layout:
2037       "plot-throughput-speedup-analysis"
2038
2039 # Container memif - NDR
2040 -
2041   type: "plot"
2042   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2043   algorithm: "plot_throughput_speedup_analysis"
2044   output-file-type: ".html"
2045   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-container-memif-tsa-ndrdisc"
2046   data:
2047     "plot-throughput-speedup-analysis"
2048   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'NDRDISC' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2049   parameters:
2050   - "throughput"
2051   - "parent"
2052   - "tags"
2053   layout:
2054     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2055     layout:
2056       "plot-throughput-speedup-analysis"
2057
2058 # Container memif - PDR
2059 -
2060   type: "plot"
2061   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
2062   algorithm: "plot_throughput_speedup_analysis"
2063   output-file-type: ".html"
2064   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-container-memif-tsa-pdrdisc"
2065   data:
2066     "plot-throughput-speedup-analysis"
2067   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2068   parameters:
2069   - "throughput"
2070   - "parent"
2071   - "tags"
2072   layout:
2073     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
2074     layout:
2075       "plot-throughput-speedup-analysis"
2076
2077 # Container orchestrated - NDR
2078 -
2079   type: "plot"
2080   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2081   algorithm: "plot_throughput_speedup_analysis"
2082   output-file-type: ".html"
2083   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-container-orchestrated-tsa-ndrdisc"
2084   data:
2085     "plot-ligato-throughput-speedup-analysis"
2086   filter: "'NIC_Intel-X520-DA2' and '64B' and ('BASE' or 'SCALE') and 'NDRDISC' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2087   parameters:
2088   - "throughput"
2089   - "parent"
2090   - "tags"
2091   layout:
2092     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2093     layout:
2094       "plot-throughput-speedup-analysis"
2095
2096 -
2097   type: "plot"
2098   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2099   algorithm: "plot_throughput_speedup_analysis"
2100   output-file-type: ".html"
2101   output-file: "{DIR[STATIC,VPP]}/10ge2p1x710-64B-container-orchestrated-tsa-ndrdisc"
2102   data:
2103     "plot-ligato-throughput-speedup-analysis"
2104   filter: "'NIC_Intel-X710' and '64B' and ('BASE' or 'SCALE') and 'NDRDISC' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2105   parameters:
2106   - "throughput"
2107   - "parent"
2108   - "tags"
2109   layout:
2110     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2111     layout:
2112       "plot-throughput-speedup-analysis"
2113
2114 # Container orchestrated - PDR
2115 -
2116   type: "plot"
2117   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
2118   algorithm: "plot_throughput_speedup_analysis"
2119   output-file-type: ".html"
2120   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-container-orchestrated-tsa-pdrdisc"
2121   data:
2122     "plot-ligato-throughput-speedup-analysis"
2123   filter: "'NIC_Intel-X520-DA2' and '64B' and ('BASE' or 'SCALE') and ''PDRDISC' and not 'NDRDISC' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2124   parameters:
2125   - "throughput"
2126   - "parent"
2127   - "tags"
2128   layout:
2129     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
2130     layout:
2131       "plot-throughput-speedup-analysis"
2132
2133 -
2134   type: "plot"
2135   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
2136   algorithm: "plot_throughput_speedup_analysis"
2137   output-file-type: ".html"
2138   output-file: "{DIR[STATIC,VPP]}/10ge2p1x710-64B-container-orchestrated-tsa-pdrdisc"
2139   data:
2140     "plot-ligato-throughput-speedup-analysis"
2141   filter: "'NIC_Intel-X710' and '64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2142   parameters:
2143   - "throughput"
2144   - "parent"
2145   - "tags"
2146   layout:
2147     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
2148     layout:
2149       "plot-throughput-speedup-analysis"
2150
2151 # Plot packets per second
2152
2153 # VPP L2 sel1
2154 -
2155   type: "plot"
2156   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2157   algorithm: "plot_performance_box"
2158   output-file-type: ".html"
2159   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc"
2160   data:
2161     "plot-vpp-throughput-latency"
2162   # Keep this formatting, the filter is enclosed with " (quotation mark) and
2163   # each tag is enclosed with ' (apostrophe).
2164   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2165   parameters:
2166   - "throughput"
2167   - "parent"
2168   traces:
2169     hoverinfo: "x+y"
2170     boxpoints: "outliers"
2171     whiskerwidth: 0
2172   layout:
2173     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2174     layout:
2175       "plot-throughput"
2176
2177 -
2178   type: "plot"
2179   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2180   algorithm: "plot_performance_box"
2181   output-file-type: ".html"
2182   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc"
2183   data:
2184     "plot-vpp-throughput-latency"
2185   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2186   parameters:
2187   - "throughput"
2188   - "parent"
2189   traces:
2190     hoverinfo: "x+y"
2191     boxpoints: "outliers"
2192     whiskerwidth: 0
2193   layout:
2194     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2195     layout:
2196       "plot-throughput"
2197
2198 -
2199   type: "plot"
2200   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2201   algorithm: "plot_performance_box"
2202   output-file-type: ".html"
2203   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-pdrdisc"
2204   data:
2205     "plot-vpp-throughput-latency"
2206   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2207   parameters:
2208   - "throughput"
2209   - "parent"
2210   traces:
2211     hoverinfo: "x+y"
2212     boxpoints: "outliers"
2213     whiskerwidth: 0
2214   layout:
2215     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2216     layout:
2217       "plot-throughput"
2218
2219 -
2220   type: "plot"
2221   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2222   algorithm: "plot_performance_box"
2223   output-file-type: ".html"
2224   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-pdrdisc"
2225   data:
2226     "plot-vpp-throughput-latency"
2227   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2228   parameters:
2229   - "throughput"
2230   - "parent"
2231   traces:
2232     hoverinfo: "x+y"
2233     boxpoints: "outliers"
2234     whiskerwidth: 0
2235   layout:
2236     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2237     layout:
2238       "plot-throughput"
2239
2240 # VPP L2 sel2
2241 -
2242   type: "plot"
2243   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2244   algorithm: "plot_performance_box"
2245   output-file-type: ".html"
2246   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc"
2247   data:
2248     "plot-vpp-throughput-latency"
2249   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2250   parameters:
2251   - "throughput"
2252   - "parent"
2253   traces:
2254     hoverinfo: "x+y"
2255     boxpoints: "outliers"
2256     whiskerwidth: 0
2257   layout:
2258     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2259     layout:
2260       "plot-throughput"
2261
2262 -
2263   type: "plot"
2264   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2265   algorithm: "plot_performance_box"
2266   output-file-type: ".html"
2267   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc"
2268   data:
2269     "plot-vpp-throughput-latency"
2270   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2271   parameters:
2272   - "throughput"
2273   - "parent"
2274   traces:
2275     hoverinfo: "x+y"
2276     boxpoints: "outliers"
2277     whiskerwidth: 0
2278   layout:
2279     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2280     layout:
2281       "plot-throughput"
2282
2283 -
2284   type: "plot"
2285   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2286   algorithm: "plot_performance_box"
2287   output-file-type: ".html"
2288   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-pdrdisc"
2289   data:
2290     "plot-vpp-throughput-latency"
2291   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2292   parameters:
2293   - "throughput"
2294   - "parent"
2295   traces:
2296     hoverinfo: "x+y"
2297     boxpoints: "outliers"
2298     whiskerwidth: 0
2299   layout:
2300     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2301     layout:
2302       "plot-throughput"
2303
2304 -
2305   type: "plot"
2306   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2307   algorithm: "plot_performance_box"
2308   output-file-type: ".html"
2309   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-pdrdisc"
2310   data:
2311     "plot-vpp-throughput-latency"
2312   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2313   parameters:
2314   - "throughput"
2315   - "parent"
2316   traces:
2317     hoverinfo: "x+y"
2318     boxpoints: "outliers"
2319     whiskerwidth: 0
2320   layout:
2321     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2322     layout:
2323       "plot-throughput"
2324
2325 # VPP IP4
2326 -
2327   type: "plot"
2328   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2329   algorithm: "plot_performance_box"
2330   output-file-type: ".html"
2331   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc"
2332   data:
2333     "plot-vpp-throughput-latency"
2334   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
2335   parameters:
2336   - "throughput"
2337   - "parent"
2338   traces:
2339     hoverinfo: "x+y"
2340     boxpoints: "outliers"
2341     whiskerwidth: 0
2342   layout:
2343     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2344     layout:
2345       "plot-throughput"
2346
2347 -
2348   type: "plot"
2349   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2350   algorithm: "plot_performance_box"
2351   output-file-type: ".html"
2352   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc"
2353   data:
2354     "plot-vpp-throughput-latency"
2355   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
2356   parameters:
2357   - "throughput"
2358   - "parent"
2359   traces:
2360     hoverinfo: "x+y"
2361     boxpoints: "outliers"
2362     whiskerwidth: 0
2363   layout:
2364     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2365     layout:
2366       "plot-throughput"
2367
2368 -
2369   type: "plot"
2370   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
2371   algorithm: "plot_performance_box"
2372   output-file-type: ".html"
2373   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-pdrdisc"
2374   data:
2375     "plot-vpp-throughput-latency"
2376   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
2377   parameters:
2378   - "throughput"
2379   - "parent"
2380   traces:
2381     hoverinfo: "x+y"
2382     boxpoints: "outliers"
2383     whiskerwidth: 0
2384   layout:
2385     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
2386     layout:
2387       "plot-throughput"
2388
2389 -
2390   type: "plot"
2391   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
2392   algorithm: "plot_performance_box"
2393   output-file-type: ".html"
2394   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-pdrdisc"
2395   data:
2396     "plot-vpp-throughput-latency"
2397   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
2398   parameters:
2399   - "throughput"
2400   - "parent"
2401   traces:
2402     hoverinfo: "x+y"
2403     boxpoints: "outliers"
2404     whiskerwidth: 0
2405   layout:
2406     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
2407     layout:
2408       "plot-throughput"
2409
2410 # VPP IP6
2411 -
2412   type: "plot"
2413   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2414   algorithm: "plot_performance_box"
2415   output-file-type: ".html"
2416   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc"
2417   data:
2418     "plot-vpp-throughput-latency"
2419   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2420   parameters:
2421   - "throughput"
2422   - "parent"
2423   traces:
2424     hoverinfo: "x+y"
2425     boxpoints: "outliers"
2426     whiskerwidth: 0
2427   layout:
2428     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2429     layout:
2430       "plot-throughput"
2431
2432 -
2433   type: "plot"
2434   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2435   algorithm: "plot_performance_box"
2436   output-file-type: ".html"
2437   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc"
2438   data:
2439     "plot-vpp-throughput-latency"
2440   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2441   parameters:
2442   - "throughput"
2443   - "parent"
2444   traces:
2445     hoverinfo: "x+y"
2446     boxpoints: "outliers"
2447     whiskerwidth: 0
2448   layout:
2449     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2450     layout:
2451       "plot-throughput"
2452
2453 -
2454   type: "plot"
2455   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
2456   algorithm: "plot_performance_box"
2457   output-file-type: ".html"
2458   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-pdrdisc"
2459   data:
2460     "plot-vpp-throughput-latency"
2461   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2462   parameters:
2463   - "throughput"
2464   - "parent"
2465   traces:
2466     hoverinfo: "x+y"
2467     boxpoints: "outliers"
2468     whiskerwidth: 0
2469   layout:
2470     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
2471     layout:
2472       "plot-throughput"
2473
2474 -
2475   type: "plot"
2476   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
2477   algorithm: "plot_performance_box"
2478   output-file-type: ".html"
2479   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-pdrdisc"
2480   data:
2481     "plot-vpp-throughput-latency"
2482   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2483   parameters:
2484   - "throughput"
2485   - "parent"
2486   traces:
2487     hoverinfo: "x+y"
2488     boxpoints: "outliers"
2489     whiskerwidth: 0
2490   layout:
2491     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
2492     layout:
2493       "plot-throughput"
2494
2495 # VPP IP4_overlay
2496 -
2497   type: "plot"
2498   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2499   algorithm: "plot_performance_box"
2500   output-file-type: ".html"
2501   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc"
2502   data:
2503     "plot-vpp-throughput-latency"
2504   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2505   parameters:
2506   - "throughput"
2507   - "parent"
2508   traces:
2509     hoverinfo: "x+y"
2510     boxpoints: "outliers"
2511     whiskerwidth: 0
2512   layout:
2513     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2514     layout:
2515       "plot-throughput"
2516
2517 -
2518   type: "plot"
2519   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2520   algorithm: "plot_performance_box"
2521   output-file-type: ".html"
2522   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc"
2523   data:
2524     "plot-vpp-throughput-latency"
2525   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2526   parameters:
2527   - "throughput"
2528   - "parent"
2529   traces:
2530     hoverinfo: "x+y"
2531     boxpoints: "outliers"
2532     whiskerwidth: 0
2533   layout:
2534     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2535     layout:
2536       "plot-throughput"
2537
2538 -
2539   type: "plot"
2540   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
2541   algorithm: "plot_performance_box"
2542   output-file-type: ".html"
2543   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-pdrdisc"
2544   data:
2545     "plot-vpp-throughput-latency"
2546   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2547   parameters:
2548   - "throughput"
2549   - "parent"
2550   traces:
2551     hoverinfo: "x+y"
2552     boxpoints: "outliers"
2553     whiskerwidth: 0
2554   layout:
2555     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
2556     layout:
2557       "plot-throughput"
2558
2559 -
2560   type: "plot"
2561   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
2562   algorithm: "plot_performance_box"
2563   output-file-type: ".html"
2564   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-pdrdisc"
2565   data:
2566     "plot-vpp-throughput-latency"
2567   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2568   parameters:
2569   - "throughput"
2570   - "parent"
2571   traces:
2572     hoverinfo: "x+y"
2573     boxpoints: "outliers"
2574     whiskerwidth: 0
2575   layout:
2576     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
2577     layout:
2578       "plot-throughput"
2579
2580 # VPP IP6_overlay
2581 -
2582   type: "plot"
2583   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2584   algorithm: "plot_performance_box"
2585   output-file-type: ".html"
2586   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc"
2587   data:
2588     "plot-vpp-throughput-latency"
2589   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2590   parameters:
2591   - "throughput"
2592   - "parent"
2593   traces:
2594     hoverinfo: "x+y"
2595     boxpoints: "outliers"
2596     whiskerwidth: 0
2597   layout:
2598     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2599     xaxis:
2600       autorange: True
2601       autotick: False
2602       fixedrange: False
2603       gridcolor: "rgb(238, 238, 238)"
2604       linecolor: "rgb(238, 238, 238)"
2605       linewidth: 1
2606       showgrid: True
2607       showline: True
2608       showticklabels: True
2609       tickcolor: "rgb(238, 238, 238)"
2610       tickmode: "linear"
2611       title: "Indexed Test Cases"
2612       zeroline: False
2613     yaxis:
2614       gridcolor: "rgb(238, 238, 238)'"
2615       hoverformat: ".4s"
2616       linecolor: "rgb(238, 238, 238)"
2617       linewidth: 1
2618       range: [2000000, 6000000]
2619       showgrid: True
2620       showline: True
2621       showticklabels: True
2622       tickcolor: "rgb(238, 238, 238)"
2623       title: "Packets Per Second [pps]"
2624       zeroline: False
2625     boxmode: "group"
2626     boxgroupgap: 0.5
2627     autosize: False
2628     margin:
2629       t: 50
2630       b: 20
2631       l: 50
2632       r: 20
2633     showlegend: True
2634     legend:
2635       orientation: "h"
2636     width: 700
2637     height: 1000
2638
2639 -
2640   type: "plot"
2641   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2642   algorithm: "plot_performance_box"
2643   output-file-type: ".html"
2644   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc"
2645   data:
2646     "plot-vpp-throughput-latency"
2647   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2648   parameters:
2649   - "throughput"
2650   - "parent"
2651   traces:
2652     hoverinfo: "x+y"
2653     boxpoints: "outliers"
2654     whiskerwidth: 0
2655   layout:
2656     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2657     layout:
2658       "plot-throughput"
2659
2660 -
2661   type: "plot"
2662   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2663   algorithm: "plot_performance_box"
2664   output-file-type: ".html"
2665   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-pdrdisc"
2666   data:
2667     "plot-vpp-throughput-latency"
2668   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2669   parameters:
2670   - "throughput"
2671   - "parent"
2672   traces:
2673     hoverinfo: "x+y"
2674     boxpoints: "outliers"
2675     whiskerwidth: 0
2676   layout:
2677     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2678     layout:
2679       "plot-throughput"
2680
2681 -
2682   type: "plot"
2683   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2684   algorithm: "plot_performance_box"
2685   output-file-type: ".html"
2686   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-pdrdisc"
2687   data:
2688     "plot-vpp-throughput-latency"
2689   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2690   parameters:
2691   - "throughput"
2692   - "parent"
2693   traces:
2694     hoverinfo: "x+y"
2695     boxpoints: "outliers"
2696     whiskerwidth: 0
2697   layout:
2698     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2699     xaxis:
2700       autorange: True
2701       autotick: False
2702       fixedrange: False
2703       gridcolor: "rgb(238, 238, 238)"
2704       linecolor: "rgb(238, 238, 238)"
2705       linewidth: 1
2706       showgrid: True
2707       showline: True
2708       showticklabels: True
2709       tickcolor: "rgb(238, 238, 238)"
2710       tickmode: "linear"
2711       title: "Indexed Test Cases"
2712       zeroline: False
2713     yaxis:
2714       gridcolor: "rgb(238, 238, 238)'"
2715       hoverformat: ".4s"
2716       linecolor: "rgb(238, 238, 238)"
2717       linewidth: 1
2718       range: [4000000, 12000000]
2719       showgrid: True
2720       showline: True
2721       showticklabels: True
2722       tickcolor: "rgb(238, 238, 238)"
2723       title: "Packets Per Second [pps]"
2724       zeroline: False
2725     boxmode: "group"
2726     boxgroupgap: 0.5
2727     autosize: False
2728     margin:
2729       t: 50
2730       b: 20
2731       l: 50
2732       r: 20
2733     showlegend: True
2734     legend:
2735       orientation: "h"
2736     width: 700
2737     height: 1000
2738
2739 # VPP VM VHOST
2740 -
2741   type: "plot"
2742   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2743   algorithm: "plot_performance_box"
2744   output-file-type: ".html"
2745   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc"
2746   data:
2747     "plot-vpp-throughput-latency"
2748   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2749   parameters:
2750   - "throughput"
2751   - "parent"
2752   traces:
2753     hoverinfo: "x+y"
2754     boxpoints: "outliers"
2755     whiskerwidth: 0
2756   layout:
2757     title: "64B-1t1c-.*vhost.*-ndrdisc"
2758     xaxis:
2759       autorange: True
2760       autotick: False
2761       fixedrange: False
2762       gridcolor: "rgb(238, 238, 238)"
2763       linecolor: "rgb(238, 238, 238)"
2764       linewidth: 1
2765       showgrid: True
2766       showline: True
2767       showticklabels: True
2768       tickcolor: "rgb(238, 238, 238)"
2769       tickmode: "linear"
2770       title: "Indexed Test Cases"
2771       zeroline: False
2772     yaxis:
2773       gridcolor: "rgb(238, 238, 238)'"
2774       hoverformat: ".4s"
2775       linecolor: "rgb(238, 238, 238)"
2776       linewidth: 1
2777       range: [0, 3500000]
2778       showgrid: True
2779       showline: True
2780       showticklabels: True
2781       tickcolor: "rgb(238, 238, 238)"
2782       title: "Packets Per Second [pps]"
2783       zeroline: False
2784     boxmode: "group"
2785     boxgroupgap: 0.5
2786     autosize: False
2787     margin:
2788       t: 50
2789       b: 20
2790       l: 50
2791       r: 20
2792     showlegend: True
2793     legend:
2794       orientation: "h"
2795     width: 700
2796     height: 1000
2797
2798 -
2799   type: "plot"
2800   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2801   algorithm: "plot_performance_box"
2802   output-file-type: ".html"
2803   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc"
2804   data:
2805     "plot-vpp-throughput-latency"
2806   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2807   parameters:
2808   - "throughput"
2809   - "parent"
2810   traces:
2811     hoverinfo: "x+y"
2812     boxpoints: "outliers"
2813     whiskerwidth: 0
2814   layout:
2815     title: "64B-2t2c-.*vhost.*-ndrdisc"
2816     layout:
2817       "plot-throughput"
2818
2819 -
2820   type: "plot"
2821   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2822   algorithm: "plot_performance_box"
2823   output-file-type: ".html"
2824   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-pdrdisc"
2825   data:
2826     "plot-vpp-throughput-latency"
2827   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2828   parameters:
2829   - "throughput"
2830   - "parent"
2831   traces:
2832     hoverinfo: "x+y"
2833     boxpoints: "outliers"
2834     whiskerwidth: 0
2835   layout:
2836     title: "64B-1t1c-.*vhost.*-pdrdisc"
2837     layout:
2838       "plot-throughput"
2839
2840 -
2841   type: "plot"
2842   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2843   algorithm: "plot_performance_box"
2844   output-file-type: ".html"
2845   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-pdrdisc"
2846   data:
2847     "plot-vpp-throughput-latency"
2848   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2849   parameters:
2850   - "throughput"
2851   - "parent"
2852   traces:
2853     hoverinfo: "x+y"
2854     boxpoints: "outliers"
2855     whiskerwidth: 0
2856   layout:
2857     title: "64B-2t2c-.*vhost.*-pdrdisc"
2858     layout:
2859       "plot-throughput"
2860
2861 # VPP VM VHOST SELECTION
2862 -
2863   type: "plot"
2864   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2865   algorithm: "plot_performance_box"
2866   output-file-type: ".html"
2867   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc"
2868   data:
2869     "plot-vpp-throughput-latency"
2870   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2871   parameters:
2872   - "throughput"
2873   - "parent"
2874   traces:
2875     hoverinfo: "x+y"
2876     boxpoints: "outliers"
2877     whiskerwidth: 0
2878   layout:
2879     title: "64B-1t1c-.*vhost.*-ndrdisc"
2880     layout:
2881       "plot-throughput"
2882
2883 -
2884   type: "plot"
2885   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2886   algorithm: "plot_performance_box"
2887   output-file-type: ".html"
2888   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc"
2889   data:
2890     "plot-vpp-throughput-latency"
2891   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2892   parameters:
2893   - "throughput"
2894   - "parent"
2895   traces:
2896     hoverinfo: "x+y"
2897     boxpoints: "outliers"
2898     whiskerwidth: 0
2899   layout:
2900     title: "64B-2t2c-.*vhost.*-ndrdisc"
2901     layout:
2902       "plot-throughput"
2903
2904 -
2905   type: "plot"
2906   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2907   algorithm: "plot_performance_box"
2908   output-file-type: ".html"
2909   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-pdrdisc"
2910   data:
2911     "plot-vpp-throughput-latency"
2912   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2913   parameters:
2914   - "throughput"
2915   - "parent"
2916   traces:
2917     hoverinfo: "x+y"
2918     boxpoints: "outliers"
2919     whiskerwidth: 0
2920   layout:
2921     title: "64B-1t1c-.*vhost.*-pdrdisc"
2922     layout:
2923       "plot-throughput"
2924
2925 -
2926   type: "plot"
2927   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2928   algorithm: "plot_performance_box"
2929   output-file-type: ".html"
2930   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-pdrdisc"
2931   data:
2932     "plot-vpp-throughput-latency"
2933   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2934   parameters:
2935   - "throughput"
2936   - "parent"
2937   traces:
2938     hoverinfo: "x+y"
2939     boxpoints: "outliers"
2940     whiskerwidth: 0
2941   layout:
2942     title: "64B-2t2c-.*vhost.*-pdrdisc"
2943     layout:
2944       "plot-throughput"
2945
2946 # VPP CRYPTO
2947 -
2948   type: "plot"
2949   title: "VPP Performance 64B-1t1c-.*ipsec.*-ndrdisc"
2950   algorithm: "plot_performance_box"
2951   output-file-type: ".html"
2952   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc"
2953   data:
2954     "plot-vpp-throughput-latency"
2955   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2956   parameters:
2957   - "throughput"
2958   - "parent"
2959   traces:
2960     hoverinfo: "x+y"
2961     boxpoints: "outliers"
2962     whiskerwidth: 0
2963   layout:
2964     title: "64B-1t1c-.*ipsec.*-ndrdisc"
2965     layout:
2966       "plot-throughput"
2967
2968 -
2969   type: "plot"
2970   title: "VPP Performance 64B-2t2c-.*ipsec.*-ndrdisc"
2971   algorithm: "plot_performance_box"
2972   output-file-type: ".html"
2973   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc"
2974   data:
2975     "plot-vpp-throughput-latency"
2976   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2977   parameters:
2978   - "throughput"
2979   - "parent"
2980   traces:
2981     hoverinfo: "x+y"
2982     boxpoints: "outliers"
2983     whiskerwidth: 0
2984   layout:
2985     title: "64B-2t2c-.*ipsec.*-ndrdisc"
2986     layout:
2987       "plot-throughput"
2988
2989 -
2990   type: "plot"
2991   title: "VPP Performance 64B-1t1c-.*ipsec.*-pdrdisc"
2992   algorithm: "plot_performance_box"
2993   output-file-type: ".html"
2994   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-pdrdisc"
2995   data:
2996     "plot-vpp-throughput-latency"
2997   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2998   parameters:
2999   - "throughput"
3000   - "parent"
3001   traces:
3002     hoverinfo: "x+y"
3003     boxpoints: "outliers"
3004     whiskerwidth: 0
3005   layout:
3006     title: "64B-1t1c-.*ipsec.*-pdrdisc"
3007     layout:
3008       "plot-throughput"
3009
3010 -
3011   type: "plot"
3012   title: "VPP Performance 64B-2t2c-.*ipsec.*-pdrdisc"
3013   algorithm: "plot_performance_box"
3014   output-file-type: ".html"
3015   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-pdrdisc"
3016   data:
3017     "plot-vpp-throughput-latency"
3018   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
3019   parameters:
3020   - "throughput"
3021   - "parent"
3022   traces:
3023     hoverinfo: "x+y"
3024     boxpoints: "outliers"
3025     whiskerwidth: 0
3026   layout:
3027     title: "64B-2t2c-.*ipsec.*-pdrdisc"
3028     layout:
3029       "plot-throughput"
3030
3031 # DPDK
3032 -
3033   type: "plot"
3034   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3035   algorithm: "plot_performance_box"
3036   output-file-type: ".html"
3037   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc"
3038   data:
3039     "plot-dpdk-throughput-latency"
3040   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3041   parameters:
3042   - "throughput"
3043   - "parent"
3044   traces:
3045     hoverinfo: "x+y"
3046     boxpoints: "outliers"
3047     whiskerwidth: 0
3048   layout:
3049     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3050     layout:
3051       "plot-throughput"
3052
3053 -
3054   type: "plot"
3055   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3056   algorithm: "plot_performance_box"
3057   output-file-type: ".html"
3058   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc"
3059   data:
3060     "plot-dpdk-throughput-latency"
3061   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3062   parameters:
3063   - "throughput"
3064   - "parent"
3065   traces:
3066     hoverinfo: "x+y"
3067     boxpoints: "outliers"
3068     whiskerwidth: 0
3069   layout:
3070     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3071     layout:
3072       "plot-throughput"
3073
3074 -
3075   type: "plot"
3076   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3077   algorithm: "plot_performance_box"
3078   output-file-type: ".html"
3079   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc"
3080   data:
3081     "plot-dpdk-throughput-latency"
3082   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
3083   parameters:
3084   - "throughput"
3085   - "parent"
3086   traces:
3087     hoverinfo: "x+y"
3088     boxpoints: "outliers"
3089     whiskerwidth: 0
3090   layout:
3091     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3092     xaxis:
3093       autorange: True
3094       autotick: False
3095       fixedrange: False
3096       gridcolor: "rgb(238, 238, 238)"
3097       linecolor: "rgb(238, 238, 238)"
3098       linewidth: 1
3099       showgrid: True
3100       showline: True
3101       showticklabels: True
3102       tickcolor: "rgb(238, 238, 238)"
3103       tickmode: "linear"
3104       title: "Indexed Test Cases"
3105       zeroline: False
3106     yaxis:
3107       gridcolor: "rgb(238, 238, 238)'"
3108       hoverformat: ".4s"
3109       linecolor: "rgb(238, 238, 238)"
3110       linewidth: 1
3111       range: [2000000, 12000000]
3112       showgrid: True
3113       showline: True
3114       showticklabels: True
3115       tickcolor: "rgb(238, 238, 238)"
3116       title: "Packets Per Second [pps]"
3117       zeroline: False
3118     boxmode: "group"
3119     boxgroupgap: 0.5
3120     autosize: False
3121     margin:
3122       t: 50
3123       b: 20
3124       l: 50
3125       r: 20
3126     showlegend: True
3127     legend:
3128       orientation: "h"
3129     width: 700
3130     height: 1000
3131
3132 -
3133   type: "plot"
3134   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3135   algorithm: "plot_performance_box"
3136   output-file-type: ".html"
3137   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc"
3138   data:
3139     "plot-dpdk-throughput-latency"
3140   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
3141   parameters:
3142   - "throughput"
3143   - "parent"
3144   traces:
3145     hoverinfo: "x+y"
3146     boxpoints: "outliers"
3147     whiskerwidth: 0
3148   layout:
3149     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3150     xaxis:
3151       autorange: True
3152       autotick: False
3153       fixedrange: False
3154       gridcolor: "rgb(238, 238, 238)"
3155       linecolor: "rgb(238, 238, 238)"
3156       linewidth: 1
3157       showgrid: True
3158       showline: True
3159       showticklabels: True
3160       tickcolor: "rgb(238, 238, 238)"
3161       tickmode: "linear"
3162       title: "Indexed Test Cases"
3163       zeroline: False
3164     yaxis:
3165       gridcolor: "rgb(238, 238, 238)'"
3166       hoverformat: ".4s"
3167       linecolor: "rgb(238, 238, 238)"
3168       linewidth: 1
3169       range: [2000000, 12000000]
3170       showgrid: True
3171       showline: True
3172       showticklabels: True
3173       tickcolor: "rgb(238, 238, 238)"
3174       title: "Packets Per Second [pps]"
3175       zeroline: False
3176     boxmode: "group"
3177     boxgroupgap: 0.5
3178     autosize: False
3179     margin:
3180       t: 50
3181       b: 20
3182       l: 50
3183       r: 20
3184     showlegend: True
3185     legend:
3186       orientation: "h"
3187     width: 700
3188     height: 1000
3189
3190 -
3191   type: "plot"
3192   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
3193   algorithm: "plot_performance_box"
3194   output-file-type: ".html"
3195   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-pdrdisc"
3196   data:
3197     "plot-dpdk-throughput-latency"
3198   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3199   parameters:
3200   - "throughput"
3201   - "parent"
3202   traces:
3203     hoverinfo: "x+y"
3204     boxpoints: "outliers"
3205     whiskerwidth: 0
3206   layout:
3207     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
3208     layout:
3209       "plot-throughput"
3210
3211 -
3212   type: "plot"
3213   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
3214   algorithm: "plot_performance_box"
3215   output-file-type: ".html"
3216   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-pdrdisc"
3217   data:
3218     "plot-dpdk-throughput-latency"
3219   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3220   parameters:
3221   - "throughput"
3222   - "parent"
3223   traces:
3224     hoverinfo: "x+y"
3225     boxpoints: "outliers"
3226     whiskerwidth: 0
3227   layout:
3228     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
3229     layout:
3230       "plot-throughput"
3231
3232 -
3233   type: "plot"
3234   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
3235   algorithm: "plot_performance_box"
3236   output-file-type: ".html"
3237   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-pdrdisc"
3238   data:
3239     "plot-dpdk-throughput-latency"
3240   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD'"
3241   parameters:
3242   - "throughput"
3243   - "parent"
3244   traces:
3245     hoverinfo: "x+y"
3246     boxpoints: "outliers"
3247     whiskerwidth: 0
3248   layout:
3249     title: "64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
3250     xaxis:
3251       autorange: True
3252       autotick: False
3253       fixedrange: False
3254       gridcolor: "rgb(238, 238, 238)"
3255       linecolor: "rgb(238, 238, 238)"
3256       linewidth: 1
3257       showgrid: True
3258       showline: True
3259       showticklabels: True
3260       tickcolor: "rgb(238, 238, 238)"
3261       tickmode: "linear"
3262       title: "Indexed Test Cases"
3263       zeroline: False
3264     yaxis:
3265       gridcolor: "rgb(238, 238, 238)'"
3266       hoverformat: ".4s"
3267       linecolor: "rgb(238, 238, 238)"
3268       linewidth: 1
3269       range: [20000000, 30000000]
3270       showgrid: True
3271       showline: True
3272       showticklabels: True
3273       tickcolor: "rgb(238, 238, 238)"
3274       title: "Packets Per Second [pps]"
3275       zeroline: False
3276     boxmode: "group"
3277     boxgroupgap: 0.5
3278     autosize: False
3279     margin:
3280       t: 50
3281       b: 20
3282       l: 50
3283       r: 20
3284     showlegend: True
3285     legend:
3286       orientation: "h"
3287     width: 700
3288     height: 1000
3289
3290 -
3291   type: "plot"
3292   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
3293   algorithm: "plot_performance_box"
3294   output-file-type: ".html"
3295   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-pdrdisc"
3296   data:
3297     "plot-dpdk-throughput-latency"
3298   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD'"
3299   parameters:
3300   - "throughput"
3301   - "parent"
3302   traces:
3303     hoverinfo: "x+y"
3304     boxpoints: "outliers"
3305     whiskerwidth: 0
3306   layout:
3307     title: "64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
3308     xaxis:
3309       autorange: True
3310       autotick: False
3311       fixedrange: False
3312       gridcolor: "rgb(238, 238, 238)"
3313       linecolor: "rgb(238, 238, 238)"
3314       linewidth: 1
3315       showgrid: True
3316       showline: True
3317       showticklabels: True
3318       tickcolor: "rgb(238, 238, 238)"
3319       tickmode: "linear"
3320       title: "Indexed Test Cases"
3321       zeroline: False
3322     yaxis:
3323       gridcolor: "rgb(238, 238, 238)'"
3324       hoverformat: ".4s"
3325       linecolor: "rgb(238, 238, 238)"
3326       linewidth: 1
3327       range: [20000000, 30000000]
3328       showgrid: True
3329       showline: True
3330       showticklabels: True
3331       tickcolor: "rgb(238, 238, 238)"
3332       title: "Packets Per Second [pps]"
3333       zeroline: False
3334     boxmode: "group"
3335     boxgroupgap: 0.5
3336     autosize: False
3337     margin:
3338       t: 50
3339       b: 20
3340       l: 50
3341       r: 20
3342     showlegend: True
3343     legend:
3344       orientation: "h"
3345     width: 700
3346     height: 1000
3347
3348 # Plot latency
3349
3350 # VPP L2 sel1
3351 -
3352   type: "plot"
3353   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3354   algorithm: "plot_latency_box"
3355   output-file-type: ".html"
3356   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc-lat50"
3357   data:
3358     "plot-vpp-throughput-latency"
3359   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
3360   parameters:
3361   - "latency"
3362   - "parent"
3363   traces:
3364     boxmean: False
3365   layout:
3366     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3367     layout:
3368       "plot-latency"
3369
3370 -
3371   type: "plot"
3372   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3373   algorithm: "plot_latency_box"
3374   output-file-type: ".html"
3375   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc-lat50"
3376   data:
3377     "plot-vpp-throughput-latency"
3378   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
3379   parameters:
3380   - "latency"
3381   - "parent"
3382   traces:
3383     boxmean: False
3384   layout:
3385     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3386     layout:
3387       "plot-latency"
3388
3389 # VPP L2 sel2
3390 -
3391   type: "plot"
3392   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3393   algorithm: "plot_latency_box"
3394   output-file-type: ".html"
3395   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc-lat50"
3396   data:
3397     "plot-vpp-throughput-latency"
3398   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
3399   parameters:
3400   - "latency"
3401   - "parent"
3402   traces:
3403     boxmean: False
3404   layout:
3405     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3406     layout:
3407       "plot-latency"
3408
3409 -
3410   type: "plot"
3411   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3412   algorithm: "plot_latency_box"
3413   output-file-type: ".html"
3414   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc-lat50"
3415   data:
3416     "plot-vpp-throughput-latency"
3417   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
3418   parameters:
3419   - "latency"
3420   - "parent"
3421   traces:
3422     boxmean: False
3423   layout:
3424     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3425     layout:
3426       "plot-latency"
3427
3428 # VPP IP4
3429 -
3430   type: "plot"
3431   title: "VPP Latency 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
3432   algorithm: "plot_latency_box"
3433   output-file-type: ".html"
3434   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc-lat50"
3435   data:
3436     "plot-vpp-throughput-latency"
3437   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
3438   parameters:
3439   - "latency"
3440   - "parent"
3441   traces:
3442     boxmean: False
3443   layout:
3444     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
3445     layout:
3446       "plot-latency"
3447
3448 -
3449   type: "plot"
3450   title: "VPP Latency 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
3451   algorithm: "plot_latency_box"
3452   output-file-type: ".html"
3453   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc-lat50"
3454   data:
3455     "plot-vpp-throughput-latency"
3456   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
3457   parameters:
3458   - "latency"
3459   - "parent"
3460   traces:
3461     boxmean: False
3462   layout:
3463     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
3464     layout:
3465       "plot-latency"
3466
3467 # VPP IP6
3468 -
3469   type: "plot"
3470   title: "VPP Latency 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
3471   algorithm: "plot_latency_box"
3472   output-file-type: ".html"
3473   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc-lat50"
3474   data:
3475     "plot-vpp-throughput-latency"
3476   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
3477   parameters:
3478   - "latency"
3479   - "parent"
3480   traces:
3481     boxmean: False
3482   layout:
3483     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
3484     layout:
3485       "plot-latency"
3486
3487 -
3488   type: "plot"
3489   title: "VPP Latency 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
3490   algorithm: "plot_latency_box"
3491   output-file-type: ".html"
3492   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc-lat50"
3493   data:
3494     "plot-vpp-throughput-latency"
3495   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
3496   parameters:
3497   - "latency"
3498   - "parent"
3499   traces:
3500     boxmean: False
3501   layout:
3502     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
3503     layout:
3504       "plot-latency"
3505
3506 # VPP IP4_overlay
3507 -
3508   type: "plot"
3509   title: "VPP Latency 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
3510   algorithm: "plot_latency_box"
3511   output-file-type: ".html"
3512   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc-lat50"
3513   data:
3514     "plot-vpp-throughput-latency"
3515   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
3516   parameters:
3517   - "latency"
3518   - "parent"
3519   traces:
3520     boxmean: False
3521   layout:
3522     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
3523     layout:
3524       "plot-latency"
3525
3526 -
3527   type: "plot"
3528   title: "VPP Latency 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
3529   algorithm: "plot_latency_box"
3530   output-file-type: ".html"
3531   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc-lat50"
3532   data:
3533     "plot-vpp-throughput-latency"
3534   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
3535   parameters:
3536   - "latency"
3537   - "parent"
3538   traces:
3539     boxmean: False
3540   layout:
3541     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
3542     layout:
3543       "plot-latency"
3544
3545 # VPP IP6_overlay
3546 -
3547   type: "plot"
3548   title: "VPP Latency 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
3549   algorithm: "plot_latency_box"
3550   output-file-type: ".html"
3551   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc-lat50"
3552   data:
3553     "plot-vpp-throughput-latency"
3554   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
3555   parameters:
3556   - "latency"
3557   - "parent"
3558   traces:
3559     boxmean: False
3560   layout:
3561     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
3562     layout:
3563       "plot-latency"
3564
3565 -
3566   type: "plot"
3567   title: "VPP Latency 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
3568   algorithm: "plot_latency_box"
3569   output-file-type: ".html"
3570   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc-lat50"
3571   data:
3572     "plot-vpp-throughput-latency"
3573   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
3574   parameters:
3575   - "latency"
3576   - "parent"
3577   traces:
3578     boxmean: False
3579   layout:
3580     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
3581     layout:
3582       "plot-latency"
3583
3584 # VPP VM VHOST
3585 -
3586   type: "plot"
3587   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
3588   algorithm: "plot_latency_box"
3589   output-file-type: ".html"
3590   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc-lat50"
3591   data:
3592     "plot-vpp-throughput-latency"
3593   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
3594   parameters:
3595   - "latency"
3596   - "parent"
3597   traces:
3598     boxmean: False
3599   layout:
3600     title: "64B-1t1c-.*vhost.*-ndrdisc"
3601     layout:
3602       "plot-latency"
3603
3604 -
3605   type: "plot"
3606   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
3607   algorithm: "plot_latency_box"
3608   output-file-type: ".html"
3609   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc-lat50"
3610   data:
3611     "plot-vpp-throughput-latency"
3612   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
3613   parameters:
3614   - "latency"
3615   - "parent"
3616   traces:
3617     boxmean: False
3618   layout:
3619     title: "64B-2t2c-.*vhost.*-ndrdisc"
3620     layout:
3621       "plot-latency"
3622
3623 # VPP VM VHOST selection
3624 -
3625   type: "plot"
3626   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
3627   algorithm: "plot_latency_box"
3628   output-file-type: ".html"
3629   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc-lat50"
3630   data:
3631     "plot-vpp-throughput-latency"
3632   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
3633   parameters:
3634   - "latency"
3635   - "parent"
3636   traces:
3637     boxmean: False
3638   layout:
3639     title: "64B-1t1c-.*vhost.*-ndrdisc"
3640     layout:
3641       "plot-latency"
3642
3643 -
3644   type: "plot"
3645   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
3646   algorithm: "plot_latency_box"
3647   output-file-type: ".html"
3648   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc-lat50"
3649   data:
3650     "plot-vpp-throughput-latency"
3651   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
3652   parameters:
3653   - "latency"
3654   - "parent"
3655   traces:
3656     boxmean: False
3657   layout:
3658     title: "64B-2t2c-.*vhost.*-ndrdisc"
3659     layout:
3660       "plot-latency"
3661
3662 # VPP CRYPTO
3663 -
3664   type: "plot"
3665   title: "VPP Latency 64B-1t1c-.*ipsec.*-ndrdisc"
3666   algorithm: "plot_latency_box"
3667   output-file-type: ".html"
3668   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc-lat50"
3669   data:
3670     "plot-vpp-throughput-latency"
3671   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
3672   parameters:
3673   - "latency"
3674   - "parent"
3675   traces:
3676     boxmean: False
3677   layout:
3678     title: "64B-1t1c-.*ipsec.*-ndrdisc"
3679     layout:
3680       "plot-latency"
3681
3682 -
3683   type: "plot"
3684   title: "VPP Latency 64B-2t2c-.*ipsec.*-ndrdisc"
3685   algorithm: "plot_latency_box"
3686   output-file-type: ".html"
3687   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc-lat50"
3688   data:
3689     "plot-vpp-throughput-latency"
3690   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
3691   parameters:
3692   - "latency"
3693   - "parent"
3694   traces:
3695     boxmean: False
3696   layout:
3697     title: "64B-2t2c-.*ipsec.*-ndrdisc"
3698     layout:
3699       "plot-latency"
3700
3701 # DPDK
3702 -
3703   type: "plot"
3704   title: "DPDK Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3705   algorithm: "plot_latency_box"
3706   output-file-type: ".html"
3707   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc-lat50"
3708   data:
3709     "plot-dpdk-throughput-latency"
3710   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3711   parameters:
3712   - "latency"
3713   - "parent"
3714   traces:
3715     boxmean: False
3716   layout:
3717     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3718     layout:
3719       "plot-latency"
3720
3721 -
3722   type: "plot"
3723   title: "DPDK Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3724   algorithm: "plot_latency_box"
3725   output-file-type: ".html"
3726   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc-lat50"
3727   data:
3728     "plot-dpdk-throughput-latency"
3729   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3730   parameters:
3731   - "latency"
3732   - "parent"
3733   traces:
3734     boxmean: False
3735   layout:
3736     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3737     layout:
3738       "plot-latency"
3739
3740 -
3741   type: "plot"
3742   title: "DPDK Latency 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3743   algorithm: "plot_latency_box"
3744   output-file-type: ".html"
3745   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc-lat50"
3746   data:
3747     "plot-dpdk-throughput-latency"
3748   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
3749   parameters:
3750   - "latency"
3751   - "parent"
3752   traces:
3753     boxmean: False
3754   layout:
3755     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3756     layout:
3757       "plot-latency"
3758
3759 -
3760   type: "plot"
3761   title: "DPDK Latency 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3762   algorithm: "plot_latency_box"
3763   output-file-type: ".html"
3764   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc-lat50"
3765   data:
3766     "plot-dpdk-throughput-latency"
3767   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
3768   parameters:
3769   - "latency"
3770   - "parent"
3771   traces:
3772     boxmean: False
3773   layout:
3774     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3775     layout:
3776       "plot-latency"
3777
3778 # Ligato - Throughput
3779
3780 # Container memif
3781 -
3782   type: "plot"
3783   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3784   algorithm: "plot_performance_box"
3785   output-file-type: ".html"
3786   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc"
3787   data:
3788     "plot-vpp-throughput-latency"
3789   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3790   parameters:
3791   - "throughput"
3792   - "parent"
3793   traces:
3794     hoverinfo: "x+y"
3795     boxpoints: "outliers"
3796     whiskerwidth: 0
3797   layout:
3798     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3799     layout:
3800       "plot-throughput"
3801
3802 -
3803   type: "plot"
3804   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3805   algorithm: "plot_performance_box"
3806   output-file-type: ".html"
3807   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc"
3808   data:
3809     "plot-vpp-throughput-latency"
3810   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3811   parameters:
3812   - "throughput"
3813   - "parent"
3814   traces:
3815     hoverinfo: "x+y"
3816     boxpoints: "outliers"
3817     whiskerwidth: 0
3818   layout:
3819     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3820     layout:
3821       "plot-throughput"
3822
3823 -
3824   type: "plot"
3825   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3826   algorithm: "plot_performance_box"
3827   output-file-type: ".html"
3828   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-pdrdisc"
3829   data:
3830     "plot-vpp-throughput-latency"
3831   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3832   parameters:
3833   - "throughput"
3834   - "parent"
3835   traces:
3836     hoverinfo: "x+y"
3837     boxpoints: "outliers"
3838     whiskerwidth: 0
3839   layout:
3840     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3841     layout:
3842       "plot-throughput"
3843
3844 -
3845   type: "plot"
3846   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3847   algorithm: "plot_performance_box"
3848   output-file-type: ".html"
3849   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-pdrdisc"
3850   data:
3851     "plot-vpp-throughput-latency"
3852   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3853   parameters:
3854   - "throughput"
3855   - "parent"
3856   traces:
3857     hoverinfo: "x+y"
3858     boxpoints: "outliers"
3859     whiskerwidth: 0
3860   layout:
3861     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3862     layout:
3863       "plot-throughput"
3864
3865 # Container orchestrated
3866 -
3867   type: "plot"
3868   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3869   algorithm: "plot_performance_box"
3870   output-file-type: ".html"
3871   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc"
3872   data:
3873     "plot-ligato-throughput-latency"
3874   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3875   parameters:
3876   - "throughput"
3877   - "parent"
3878   traces:
3879     hoverinfo: "x+y"
3880     boxpoints: "outliers"
3881     whiskerwidth: 0
3882   layout:
3883     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3884     layout:
3885       "plot-throughput"
3886
3887 -
3888   type: "plot"
3889   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3890   algorithm: "plot_performance_box"
3891   output-file-type: ".html"
3892   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc"
3893   data:
3894     "plot-ligato-throughput-latency"
3895   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3896   parameters:
3897   - "throughput"
3898   - "parent"
3899   traces:
3900     hoverinfo: "x+y"
3901     boxpoints: "outliers"
3902     whiskerwidth: 0
3903   layout:
3904     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3905     layout:
3906       "plot-throughput"
3907
3908 -
3909   type: "plot"
3910   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3911   algorithm: "plot_performance_box"
3912   output-file-type: ".html"
3913   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-pdrdisc"
3914   data:
3915     "plot-ligato-throughput-latency"
3916   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3917   parameters:
3918   - "throughput"
3919   - "parent"
3920   traces:
3921     hoverinfo: "x+y"
3922     boxpoints: "outliers"
3923     whiskerwidth: 0
3924   layout:
3925     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3926     layout:
3927       "plot-throughput"
3928
3929 -
3930   type: "plot"
3931   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3932   algorithm: "plot_performance_box"
3933   output-file-type: ".html"
3934   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-pdrdisc"
3935   data:
3936     "plot-ligato-throughput-latency"
3937   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3938   parameters:
3939   - "throughput"
3940   - "parent"
3941   traces:
3942     hoverinfo: "x+y"
3943     boxpoints: "outliers"
3944     whiskerwidth: 0
3945   layout:
3946     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3947     layout:
3948       "plot-throughput"
3949
3950 # Ligato - Latency
3951
3952 # Container memif
3953 -
3954   type: "plot"
3955   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3956   algorithm: "plot_latency_box"
3957   output-file-type: ".html"
3958   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc-lat50"
3959   data:
3960     "plot-vpp-throughput-latency"
3961   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3962   parameters:
3963   - "latency"
3964   - "parent"
3965   traces:
3966     boxmean: False
3967   layout:
3968     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3969     layout:
3970       "plot-latency"
3971
3972 -
3973   type: "plot"
3974   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3975   algorithm: "plot_latency_box"
3976   output-file-type: ".html"
3977   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc-lat50"
3978   data:
3979     "plot-vpp-throughput-latency"
3980   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3981   parameters:
3982   - "latency"
3983   - "parent"
3984   traces:
3985     boxmean: False
3986   layout:
3987     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3988     layout:
3989       "plot-latency"
3990
3991 # Container orchestrated
3992 -
3993   type: "plot"
3994   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3995   algorithm: "plot_latency_box"
3996   output-file-type: ".html"
3997   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc-lat50"
3998   data:
3999     "plot-ligato-throughput-latency"
4000   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
4001   parameters:
4002   - "latency"
4003   - "parent"
4004   traces:
4005     boxmean: False
4006   layout:
4007     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
4008     layout:
4009       "plot-latency"
4010
4011 -
4012   type: "plot"
4013   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
4014   algorithm: "plot_latency_box"
4015   output-file-type: ".html"
4016   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc-lat50"
4017   data:
4018     "plot-ligato-throughput-latency"
4019   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
4020   parameters:
4021   - "latency"
4022   - "parent"
4023   traces:
4024     boxmean: False
4025   layout:
4026     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
4027     layout:
4028       "plot-latency"